CN111382650B - 商品购物处理系统、方法、装置及电子设备 - Google Patents

商品购物处理系统、方法、装置及电子设备 Download PDF

Info

Publication number
CN111382650B
CN111382650B CN201811653113.6A CN201811653113A CN111382650B CN 111382650 B CN111382650 B CN 111382650B CN 201811653113 A CN201811653113 A CN 201811653113A CN 111382650 B CN111382650 B CN 111382650B
Authority
CN
China
Prior art keywords
user
information
shopping
image
store
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811653113.6A
Other languages
English (en)
Other versions
CN111382650A (zh
Inventor
汪玲
沈飞
姜文晖
赵小伟
刘扬
文杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201811653113.6A priority Critical patent/CN111382650B/zh
Publication of CN111382650A publication Critical patent/CN111382650A/zh
Application granted granted Critical
Publication of CN111382650B publication Critical patent/CN111382650B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Finance (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Accounting & Taxation (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了商品购物处理系统、方法和装置，以及电子设备。其中，系统包括的终端设备通过货架相机采集货架环境图像，根据货架环境图像确定目标用户的第一坐标信息和购物行为信息，向服务器发送购物处理请求；服务器通过顶视相机采集实体店环境图像，获取目标用户在购物行为发生时间在实体店环境图像中的第二坐标信息；根据两个坐标信息、货架相机的投影参数信息和顶视相机的投影参数信息，确定用户位置；根据用户位置、购物行为发生时间、用户标识与用户运动轨迹信息间的对应关系，确定用户标识；根据用户标识和购物行为信息，为目标用户执行购物处理。这种处理方式可降低硬件成本和运营成本，提升人货绑定的准确度和实时性，提升用户体验。

Description

商品购物处理系统、方法、装置及电子设备
技术领域
本申请涉及数据处理技术领域，具体涉及商品购物处理系统、方法和装置，以及电子设备。
背景技术
随着新零售概念的提出，线下零售的效率以及顾客体验越来越重要。最先进的无人零售概念，使得收银作为传统线下零售一个必不可少的环节，升华到了全新的“拿了就走”的形式，免去顾客排队和结账的环节，也节约了收银的人工成本。
实现“拿了就走”的重要一环是当顾客与商品有交互操作时，能够关联人的身份与商品信息，即完成实时的人货绑定，并及时更新顾客的购物车。一种典型的无人店人货关联解决方案如下所述。首先，在店内货架上安装多个电子标签阅读器(如RFID阅读器)及多个深度相机，并在商品上附带电子标签；然后，一方面，当顾客从货架上拿起商品或将商品放回至货架时，采用覆盖货架范围的电子标签阅读器扫描商品的电子标签并进行商品识别；另一方面，采用深度相机采集店铺环境的深度信息并进行顾客识别，也可以采用多种信号(如视觉、音频、WIFI或者GPS等)融合来进行人的定位；接下来，就可以将识别出的商品对象添加至识别出的顾客的购物车对象中。
然而，在实现本发明过程中，发明人发现该技术方案至少存在如下问题：1)由于大量使用电子标签、电子标签阅读器、深度相机等成本较高的设备，因此无人店的硬件成本较高；2)无法实时进行人货绑定，从而导致结账时要排队等待；3)要达到一定的人货绑定精准度，就要对店铺面积、客流量等有很强限制，因此难以进行大规模普及，由此导致较高的运营成本；4)对顾客进行进门排队等限流操作也严重影响顾客体验。
发明内容
本申请提供商品购物处理系统，以解决现有技术存在的硬件成本及运营成本较高，人货绑定准确度和实时性较低，以及用户体验较差的问题。本申请另外提供商品购物处理方法和装置，以及电子设备。
本申请提供一种商品购物处理系统，包括：
多个第一图像采集装置，用于采集与货架对应的第一环境图像；将所述第一环境图像发送至与所述第一图像采集装置对应的终端设备；
多个第二图像采集装置，用于采集实体店的第二环境图像；将所述第二环境图像发送至服务器；
所述终端设备，用于接收所述第一环境图像，并确定目标用户在所述第一环境图像中的第一坐标信息；根据所述第一环境图像的时序信息，确定目标用户的购物行为信息；以及，向服务器发送购物处理请求，所述处理请求包括所述第一坐标信息和所述购物行为信息；
所述服务器，用于接收所述第二环境图像，并根据所述第二环境图像，确定入店用户的用户运动轨迹信息；为入店用户分配用户标识，并生成用户标识与用户运动轨迹信息间的对应关系集；以及，接收所述处理请求，确定所述目标用户在购物行为发生时间在所述第二环境图像中的第二坐标信息；根据所述第一坐标信息、第二坐标信息、所述第一图像采集装置的投影参数信息和所述第二图像采集装置的投影参数信息，确定所述目标用户在实体店内的位置信息；根据所述位置信息、购物行为发生时间和所述用户运动轨迹信息，确定所述目标用户的用户标识；根据所述用户标识和所述购物行为信息，为所述目标用户执行购物处理。
本申请还提供一种商品购物处理系统，包括：
多个第一图像采集装置，用于采集与货架对应的第一环境图像；将所述第一环境图像发送至与所述第一图像采集装置对应的终端设备；
第二图像采集装置，用于采集实体店入口的第二环境图像；将所述第二环境图像发送至服务器；
所述终端设备，用于接收所述第一环境图像，根据所述第一环境图像抽取目标用户的用户特征，并根据所述第一环境图像的时序信息，确定目标用户的购物行为信息；以及，向服务器发送购物处理请求，所述处理请求包括所述目标用户的用户特征和所述购物行为信息；
所述服务器，用于接收所述第二环境图像，从所述第二环境图像中抽取入店用户的用户特征，为所述入店用户分配用户标识，存储所述用户标识与所述入店用户的用户特征间的对应关系；以及，接收所述购物处理请求；将所述目标用户的用户特征与多个入店用户的用户特征进行匹配；根据所述对应关系，将匹配的入店用户的用户特征对应的用户标识作为所述目标用户的用户标识；根据所述目标用户的用户标识和所述购物行为信息，为所述目标用户执行购物处理。
本申请还提供一种商品购物处理方法，包括：
通过第一图像采集装置采集与货架对应的第一环境图像；
确定目标用户在所述第一环境图像中的第一坐标信息；
根据所述第一环境图像的时序信息，确定目标用户的购物行为信息；
向服务器发送购物处理请求，所述处理请求包括所述第一坐标信息和所述购物行为信息。
可选的，所述购物行为信息包括商品信息、拿起商品或放回商品的行为信息及购物行为发生时间。
可选的，所述购物行为信息包括商品信息；
所述根据所述第一环境图像的时序信息，并确定目标用户的购物行为信息，包括：
将所述第一环境图像中的商品图像和商品库中的商品图片执行匹配；
将匹配的商品图片对应的商品标识作为所述商品图像的商品标识；以及，确定商品数量；
根据所述商品标识和所述商品数量形成所述商品信息。
可选的，所述将所述第一环境图像中的商品图像和商品库中的商品图片执行匹配，包括：
根据所述第一图像采集装置关联的货架标识，获取所述货架关联的商品图片库；
对所述商品图像和所述货架关联的商品图片执行匹配。
可选的，所述购物行为信息包括拿起商品或放回商品的行为信息；
所述根据所述第一环境图像的时序信息，并确定目标用户的购物行为信息，包括：
根据所述第一环境图像，获取用户的第二关键点的二维坐标信息；以及，根据所述第一环境图像，获取商品的二维坐标信息；
根据所述第二关键点的二维坐标信息和所述商品的二维坐标信息判断用户是否持有商品。
本申请还提供一种商品购物处理方法，包括：
通过第二图像采集装置采集实体店的第二环境图像；
根据所述第二环境图像，生成入店用户的用户运动轨迹信息；以及，为所述入店用户分配用户标识；
生成用户标识与用户运动轨迹信息间的对应关系集；以及，
接收终端设备发送的购物处理请求；所述处理请求包括目标用户在第一环境图像中的第一坐标信息和购物行为信息；
确定所述目标用户在购物行为发生时间在所述第二环境图像中的第二坐标信息；
根据所述第一坐标信息、第二坐标信息、所述第一图像采集装置的投影参数信息和所述第二图像采集装置的投影参数信息，确定所述目标用户在实体店内的位置信息；
根据所述位置信息、购物行为发生时间和所述用户运动轨迹信息，确定所述目标用户的用户标识；
根据所述用户标识和所述购物行为信息，为所述目标用户执行购物处理。
可选的，所述根据所述第二环境图像，并生成入店用户的用户运动轨迹信息，包括：
从部署在实体店入口的第二图像采集装置采集的所述第二环境图像中抽取入店用户的用户特征；
存储所述用户标识与所述用户特征间的第一对应关系；
根据多个第二图像采集装置采集的所述第二环境图像，确定店内用户的用户位置信息；
从所述第二环境图像中抽取所述店内用户的用户特征；
根据所述店内用户的用户特征和所述第一对应关系，确定所述店内用户的用户标识；
将所述第二环境图像的拍摄时间与所述店内用户的用户位置信息间的第二对应关系增加至所述用户标识的用户运动轨迹信息。
可选的，所述根据所述用户标识和所述购物行为信息，并为所述目标用户执行购物处理，包括：
根据所述购物行为信息，更新与所述用户标识对应的购物车对象。
可选的，所述购物行为信息包括：商品信息和拿起商品或放回商品的行为信息；
所述根据所述购物行为信息，并更新与所述用户标识对应的购物车对象，包括：
若所述行为信息包括拿起商品，则将所述商品信息增加至所述购物车对象。
可选的，所述根据所述购物行为信息，并更新与所述用户标识对应的购物车对象，包括：
若所述行为信息包括放回商品，则从所述购物车对象中移除所述商品信息。
本申请还提供一种商品购物处理方法，包括：
通过第一图像采集装置采集与货架对应的第一环境图像；
根据所述第一环境图像抽取目标用户的用户特征；
根据所述第一环境图像的时序信息，确定目标用户的购物行为信息；
向服务器发送购物处理请求，所述处理请求包括所述目标用户的用户特征和所述购物行为信息。
本申请还提供一种商品购物处理方法，包括：
通过第二图像采集装置采集实体店入口的第二环境图像；
从所述第二环境图像中抽取入店用户的用户特征；以及，为所述入店用户分配用户标识；
存储所述用户标识与所述入店用户的用户特征间的对应关系；以及，
接收终端设备发送的购物处理请求；所述处理请求包括目标用户的用户特征和购物行为信息；
将所述目标用户的用户特征与多个入店用户的用户特征进行匹配；
根据所述对应关系，将匹配的入店用户的用户特征对应的用户标识作为所述目标用户的用户标识；
根据所述目标用户的用户标识和所述购物行为信息，为所述目标用户执行购物处理。
本申请还提供一种商品购物处理装置，包括：
图像采集单元，用于通过第一图像采集装置采集与货架对应的第一环境图像；
第一坐标确定单元，用于确定目标用户在所述第一环境图像中的第一坐标信息；
购物行为确定单元，用于根据所述第一环境图像的时序信息，确定目标用户的购物行为信息；
请求发送单元，用于向服务器发送购物处理请求，所述处理请求包括所述第一坐标信息和所述购物行为信息。
本申请还提供一种商品购物处理装置，包括：
图像采集单元，用于通过第二图像采集装置采集实体店的第二环境图像；
用户运动轨迹确定单元，用于根据所述第二环境图像，生成入店用户的用户运动轨迹信息；
用户标识分配单元，用于为所述入店用户分配用户标识；
对应关系生成单元，用于生成用户标识与用户运动轨迹信息间的对应关系集；以及，
请求接收单元，用于接收终端设备发送的购物处理请求；所述处理请求包括目标用户在第一环境图像中的第一坐标信息和购物行为信息；
第二坐标确定单元，用于确定所述目标用户在购物行为发生时间在所述第二环境图像中的第二坐标信息；
用户位置确定单元，用于根据所述第一坐标信息、第二坐标信息、所述第一图像采集装置的投影参数信息和所述第二图像采集装置的投影参数信息，确定所述目标用户在实体店内的位置信息；
用户标识确定单元，用于根据所述位置信息、购物行为发生时间和所述用户运动轨迹信息，确定所述目标用户的用户标识；
购物处理单元，用于根据所述用户标识和所述购物行为信息，为所述目标用户执行购物处理。
本申请还提供一种商品购物处理装置，包括：
图像采集单元，用于通过第一图像采集装置采集与货架对应的第一环境图像；
用户特征抽取单元，用于根据所述第一环境图像抽取目标用户的用户特征；
购物行为确定单元，用于根据所述第一环境图像的时序信息，确定目标用户的购物行为信息；
请求发送单元，用于向服务器发送购物处理请求，所述处理请求包括所述目标用户的用户特征和所述购物行为信息。
本申请还提供一种商品购物处理装置，包括：
图像采集单元，用于通过第二图像采集装置采集实体店入口的第二环境图像；
用户特征抽取单元，用于从所述第二环境图像中抽取入店用户的用户特征；
用户标识分配单元，用于为所述入店用户分配用户标识；
对应关系存储单元，用于存储所述用户标识与所述入店用户的用户特征间的对应关系；以及，
请求接收单元，用于接收终端设备发送的购物处理请求；所述处理请求包括目标用户的用户特征和购物行为信息；
用户特征匹配单元，用于将所述目标用户的用户特征与多个入店用户的用户特征进行匹配；
用户标识确定单元，用于根据所述对应关系，将匹配的入店用户的用户特征对应的用户标识作为所述目标用户的用户标识；
购物处理单元，用于根据所述目标用户的用户标识和所述购物行为信息，为所述目标用户执行购物处理。
本申请还提供一种电子设备，包括：
处理器；以及
存储器，用于存储实现商品购物处理方法的程序，该设备通电并通过所述处理器运行该商品购物处理方法的程序后，执行下述步骤：通过第一图像采集装置采集与货架对应的第一环境图像；确定目标用户在所述第一环境图像中的第一坐标信息；根据所述第一环境图像的时序信息，确定目标用户的购物行为信息；向服务器发送购物处理请求，所述处理请求包括所述第一坐标信息和所述购物行为信息。
本申请还提供一种电子设备，包括：
处理器；以及
存储器，用于存储实现商品购物处理方法的程序，该设备通电并通过所述处理器运行该商品购物处理方法的程序后，执行下述步骤：通过第二图像采集装置采集实体店的第二环境图像；根据所述第二环境图像，生成入店用户的用户运动轨迹信息；以及，为所述入店用户分配用户标识；生成用户标识与用户运动轨迹信息间的对应关系集；以及，接收终端设备发送的购物处理请求；所述处理请求包括目标用户在第一环境图像中的第一坐标信息和购物行为信息；确定所述目标用户在购物行为发生时间在所述第二环境图像中的第二坐标信息；根据所述第一坐标信息、第二坐标信息、所述第一图像采集装置的投影参数信息和所述第二图像采集装置的投影参数信息，确定所述目标用户在实体店内的位置信息；根据所述位置信息、购物行为发生时间和所述用户运动轨迹信息，确定所述目标用户的用户标识；根据所述用户标识和所述购物行为信息，为所述目标用户执行购物处理。
本申请还提供一种电子设备，包括：
处理器；以及
存储器，用于存储实现商品购物处理方法的程序，该设备通电并通过所述处理器运行该商品购物处理方法的程序后，执行下述步骤：通过第一图像采集装置采集与货架对应的第一环境图像；根据所述第一环境图像抽取目标用户的用户特征；根据所述第一环境图像的时序信息，确定目标用户的购物行为信息；向服务器发送购物处理请求，所述处理请求包括所述目标用户的用户特征和所述购物行为信息。
本申请还提供一种电子设备，包括：
处理器；以及
存储器，用于存储实现商品购物处理方法的程序，该设备通电并通过所述处理器运行该商品购物处理方法的程序后，执行下述步骤：通过第二图像采集装置采集实体店入口的第二环境图像；从所述第二环境图像中抽取入店用户的用户特征；以及，为所述入店用户分配用户标识；存储所述用户标识与所述入店用户的用户特征间的对应关系；以及，接收终端设备发送的购物处理请求；所述处理请求包括目标用户的用户特征和购物行为信息；将所述目标用户的用户特征与多个入店用户的用户特征进行匹配；根据所述对应关系，将匹配的入店用户的用户特征对应的用户标识作为所述目标用户的用户标识；根据所述目标用户的用户标识和所述购物行为信息，为所述目标用户执行购物处理。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各种方法。
本申请还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各种方法。
与现有技术相比，本申请具有以下优点：
本申请实施例商品购物处理系统，包括服务器和部署在实体店内的终端设备，服务器通过第二图像采集装置采集实体店的环境图像，根据实体店的环境图像，生成入店用户的用户运动轨迹信息，并为入店用户分配用户标识，生成用户标识与用户运动轨迹信息间的对应关系集；终端设备通过第一图像采集装置采集实体店内与第一图像采集装置对应的货架对应的第一环境图像，根据所述第一环境图像确定目标用户的第一坐标信息，并根据以时间顺序排列的多个第一环境图像，确定目标用户的购物行为信息，向服务器发送购物处理请求；服务器接收所述请求，获取目标用户在购物行为发生时间在所述第二环境图像中的第二坐标信息；根据所述第一坐标信息、第二坐标信息、所述第一图像采集装置的投影参数信息和所述第二图像采集装置的投影参数信息，确定所述目标用户在实体店内的位置信息；根据所述位置信息、购物行为发生时间和所述对应关系集，确定所述目标用户的用户标识；根据所述用户标识和所述购物行为信息，为所述目标用户执行购物处理；这种处理方式，使得采用纯相机网络统一进行人、货、场的定位与识别，实时绑定用户与商品拿起或放回行为，从而及时更改用户购物车的内容，避免顾客排队，并且这种方式既无需使用RFID相关设备，也不限制店铺面积，且对客流的限制较小；因此，可以有效降低硬件成本和运营成本，提升人货绑定的准确度和实时性，以及有效提升用户体验。
附图说明
图1是本申请提供的一种商品购物处理系统的实施例的结构图；
图2是本申请提供的一种商品购物处理系统的实施例的系统架构图；
图3是本申请提供的一种商品购物处理系统的实施例的交互示意图；
图4是本申请提供的一种商品购物处理系统的实施例的实体店场景图；
图5是本申请提供的一种商品购物处理系统的实施例的顶视相机拍摄区域示意图；
图6是本申请提供的一种商品购物处理方法的实施例的流程图；
图7是本申请提供的一种商品购物处理装置的实施例的示意图；
图8是本申请提供的电子设备的实施例的示意图；
图9是本申请提供的一种商品购物处理方法的实施例的流程图；
图10是本申请提供的一种商品购物处理装置的实施例的示意图；
图11是本申请提供的电子设备的实施例的示意图；
图12是本申请提供的一种商品购物处理系统的实施例的示意图；
图13是本申请提供的一种商品购物处理方法的实施例的流程图；
图14是本申请提供的一种商品购物处理装置的实施例的示意图；
图15是本申请提供的电子设备的实施例的示意图；
图16是本申请提供的一种商品购物处理方法的实施例的流程图；
图17是本申请提供的一种商品购物处理装置的实施例的示意图；
图18是本申请提供的电子设备的实施例的示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
在本申请中，提供了商品购物处理系统、方法和装置，以及电子设备。在下面的实施例中逐一对各种方案进行详细说明。
第一实施例
请参考图1，其为本申请的商品购物处理系统的结构示意图。所述系统包括:多个终端设备1，服务器2，多个第一图像采集装置3，以及多个第二图像采集装置4。
所述第一图像采集装置3，用于采集与货架对应的第一环境图像，并将所述第一环境图像发送至与所述第一图像采集装置3对应的终端设备1。
所述第二图像采集装置4，用于采集实体店的第二环境图像，并将所述第二环境图像发送至服务器2。
所述终端设备1，通常部署在实体店内，可以是具有实时图像存储能力、实时用户定位能力及用户购物行为识别能力的计算设备。所述终端设备1可采用工作站。工作站是一种高端的通用微型计算机。它是为了单用户使用并提供比个人计算机更强大的性能，尤其是在图形处理能力，任务并行方面的能力。通常配有容量很大的内存储器和外部存储器，并且具有极强的信息和高性能的图形、图像处理功能的计算机。
服务器2，可以是单台服务器，也可以是由多台服务器节点构成的服务器集群。服务器2，可部署在实体店内，专门负责一个实体店的购物处理；也可以部署在数据中心，负责多个实体店的购物处理。
请参考图2，其为本申请实施例的商品购物处理系统的系统架构图。由图2可见，在一个实体店内，可包括多个所述终端设备1及服务器2。多个所述终端设备1均与所述服务器2连接，每个所述终端设备1对分别采集到的第一环境图像进行图像分析，从中识别出用户购物行为信息，并确定出目标用户在所述第一环境图像中的第一坐标信息，并将这些信息发送至服务器2，通过服务器2进行用户识别，以及对目标用户进行购物处理。
由于所述终端设备1可对与其关联的一个或多个货架的购物区域的环境图像(第一环境图像)进行图像分析，识别出关联货架的用户购物行为和用户的第一坐标信息，而服务器2通常是对整个实体店的环境图像(第二环境图像)进行分析处理，且各个终端设备1均要将识别结果发送至服务器2，以便进行用户识别及人货绑定的购物处理(如购物车对象处理)，因此，又可将所述终端设备1称为局部服务器，将服务器2称为全局服务器。
由图2可见，所述终端设备1与第一图像采集装置3(如摄像头)连接，两者间可采用无线连接方式或有线连接方式等等。所述终端设备1通过与其连接的第一图像采集装置3，采集与该第一图像采集装置3关联的货架对应的环境图像，如第一图像采集装置A关联货架1、2、3及货架4，第一图像采集装置B关联货架5和货架6等等。
本申请将通过所述第一图像采集装置3采集的环境图像称为第一环境图像，即第一环境图像包括货架购物区域的环境图像。当顾客走近货架时，所述第一图像采集装置3将拍摄到包括该顾客人像的第一环境图像。
所述终端设备1，可连接一个或多个第一图像采集装置3，即所述终端设备1可同时对多个第一图像采集装置3拍摄的第一环境图像进行用户购物行为识别及二维坐标位置确定等处理。
所述第一图像采集装置3，可与一个货架关联，即所述第一图像采集装置3和货架间为一对一的关系。例如，在每个货架上方离地面2米处均安装一个所述第一图像采集装置3。在这种情况下，所述第一图像采集装置3可拍摄到与其对应的一个货架前购物区域的第一环境图像。
所述第一图像采集装置3，也可与多个货架对应，即所述第一图像采集装置3和货架间为一对多的关系。例如，为3个货架安装一个所述第一图像采集装置3。在这种情况下，所述第一图像采集装置3可同时拍摄到这3个货架前购物区域的第一环境图像。
具体实施时，也可以是一个货架与多个所述第一图像采集装置3相对应，即所述第一图像采集装置3和货架间为多对一的关系。例如，为1个货架安装3个所述第一图像采集装置3。在这种情况下，3个第一图像采集装置3均可拍摄到该货架的第一环境图像。
第一图像采集装置3用于拍摄货架购物区域的环境图像，通常安装在与货架相关的位置，因此又将第一图像采集装置称为货架相机。所述第一图像采集装置3，可安装在货架上，如货架顶层等位置；也可安装在货架顶部以上的空间位置，如安装在货架上方离地面3米等位置。
表1示出了本实施例的第一图像采集装置3(货架相机)、货架及终端设备1(局部服务器)三者间的对应关系。
Figure BDA0001928641650000121
表1、货架、货架相机和局部服务器间对应关系
由表1可见，局部服务器Ser1-001与三个货架相机SXT-001、SXT-002和SXT-003连接，其中货架相机SXT-001关联货架HJ-001和HJ-002,货架相机SXT-002和SXT-003关联货架HJ-003，也就是说，局部服务器Ser1-001可通过三个货架相机采集三个货架的购物区域的环境图像。
请参考图3，其为本申请的商品购物处理系统的交互示意图。在本实施例中，所述终端设备1，用于通过第一图像采集装置3采集与货架对应的第一环境图像，并根据所述第一环境图像，确定目标用户在所述第一环境图像中的二维坐标信息，作为第一坐标信息，并根据多个第一环境图像及其时序信息，确定用户的购物行为信息，所述购物行为信息可包括商品信息、拿起商品或放回商品的行为信息及购物行为发生时间；以及，向服务器2发送购物处理请求，所述请求包括所述第一坐标信息和所述购物行为信息。
所述第一环境图像包括二维图像，二维图像包括多个像素点，如2560X1920个像素点。
所述终端设备1，通过第一图像采集装置3实时采集关联货架对应的第一环境图像，如第一图像采集装置3每秒拍摄25帧环境图像，并将图像实时发送至所述终端设备1。
在一个示例中，所述终端设备1可首先根据图像采集顺序，将拍摄到的图像存储到图像队列中等待处理；所述终端设备1，同时可启动图像处理程序，根据图像采集顺序，逐个对图像队列中的图像进行人像检测及关键点定位处理、及用户购物行为确定等处理。表2示出了本实施例的所述终端设备1中存储的第一环境图像队列中的信息。
Figure BDA0001928641650000131
表2、第一环境图像队列
由表2可见，存储在终端设备1中的第一环境图像队列，可包括：第一环境图像标识、第一环境图像及图像采集时间，还可包括货架相机编号等信息。
所述终端设备1，可首先通过人像检测技术检测第一环境图像是否包括人体图像，若检测到人像，则再通过人像特征点定位技术识别出人体图像的关键特征点(关键点)，如头心、脖子、肩膀、胳膊肘、手腕、胯部等10个关键点。
根据关键点的用途，可将关键点分为两类：一类为用于用户定位的关键点，即第一关键点，如头心、脖子、肩膀、胯部等关键点；另一类为用于购物行为信息确定的关键点，即第二关键点，如胳膊肘和手腕等关键点。
所述人体特征点定位算法，包括但不限于以下几类：1)基于优化的方法，如ASM(Active Shape Model，活动形状模型)、AAM(Active Appreance Model，活动外观模型)和CLM等方法；2)基于回归的方法，如级联的姿势回归(cascaded pose regression)、SDM、ESR等方法；3)基于深度学习的方法，如基于卷积神经网络(CNN)、深度自编码器(DAE)和受限玻尔兹曼机(RBM)的人体特征点定位方法。
在一个示例中，所述终端设备1，可具体用于根据所述第一环境图像，获取用户图像的第一关键点的二维坐标信息，将所述二维坐标信息作为所述第一坐标信息。
所述第一关键点,包括但不限于：头心、脖子、肩膀、胯部等关键点。所述二维坐标信息，是指所述第一关键点在第一环境头像中的坐标信息。
具体实施时，可根据一个或多个所述第一关键点确定用户在图像中的二维位置。例如，可将头心位置作为用户二维位置，这样不仅可以确保较高的用户位置准确度，并且可以有效节约计算资源。再例如，可根据头心、脖子、肩膀等多个关键点标识用户二维位置，这样可以有效提升用户定位准确度。
所述终端设备1，在获得第一环境图像后，还要对图像中是否包括商品，及具体包括哪些商品、及各种商品的数量进行识别。
在一个示例中，所述终端设备1，具体用于将所述第一环境图像中的商品图像和商品库中的商品图片执行匹配，将匹配的商品图片对应的商品标识作为所述商品图像的商品标识，并确定商品数量；根据所述商品标识和所述商品数量形成所述商品信息。
所述商品库，可包括实体店售卖的各种商品的商品信息，具体可包括商品标识、商品条形码、商品名称、商品类别、商品图片等信息。
具体实施时，可通过图像识别技术对所述第一环境图像执行商品图像检测，将检测到的商品图像与商品库中的商品图片进行匹配，即可从所述第一环境图像中识别出该商品具体为哪种商品，由此可确定该商品的商品标识，并统计得到所述第一环境图像中该商品的数量信息。
在一个示例中，所述终端设备1，具体用于根据所述第一图像采集装置关联的货架标识，获取所述货架关联的商品图片；对所述商品图像和所述货架关联的商品图片执行匹配。采用这种处理方式，可仅将环境图像中商品图像与对应货架上的商品图片进行比对，避免与整个商品库中的商品图片进行比对；因此，可以有效减少计算量，从而节约计算资源，提升商品识别速度。
具体实施时，可预先将存储在服务器2中的与所述第一图像采集装置关联的货架商品的图片下载到所述终端设备1中，由此可有效节约网络资源。
所述终端设备1，在识别出第一环境图像中的人体图像的关键点及商品信息后，还要对用户手中是否持有该商品进行识别。
在一个示例中，所述终端设备1，具体用于根据所述第一环境图像，获取用户的第二关键点的二维坐标信息，以及，根据所述第一环境图像，获取商品的二维坐标信息；根据所述第二关键点的二维坐标信息和所述商品的二维坐标信息，判断用户是否持有商品。
所述第二关键点，可以是胳膊肘和手腕等关键点。
在本实施例中，根据所述第二关键点的二维坐标信息和所述商品的二维坐标信息，获取用户手部位置与商品位置之间的距离，如果距离小于预设距离，则判定用户持有商品，否则判定用户未持有商品。
在一个示例中，所述终端设备1，具体用于根据多个连续拍摄的第一环境图像的拍摄时间顺序逐个处理每个图像，通过对比不同时刻的环境图像，确定用户是从货架中取出商品，还是将拿出的商品重新放回到货架。例如，如果ty时刻的环境图像不包括商品A，ty+1时刻的环境图像包括商品A，则表示用户从货架中取出A；如果tx时刻的环境图像包括商品A，tx+1时刻的环境图像不包括商品A，则表示用户将拿出的商品A重新放回到货架上。
所述购物行为发生时间，可以是所述终端设备1确定出用户拿起商品或放回商品的行为信息时所依据的环境图像的拍摄时间。如上例中，可以将tx+1作为用户将商品A放回到货架上的时间，或者，将ty+1作为用户取出商品A的时间。
在所述终端设备1确定出用户的购物行为信息后，就可以根据目标用户的第一坐标信息和购物行为信息生成购物处理请求，并向服务器2发送该请求。
由图3可见，所述服务器2包括两方面的数据处理操作。一方面，所述服务器2用于接收所述第二环境图像，并根据所述第二环境图像，确定入店用户的用户运动轨迹信息；为入店用户分配用户标识，并生成用户标识与用户运动轨迹信息间的对应关系集。另一方面，用于接收所述处理请求，确定所述目标用户在购物行为发生时间在所述第二环境图像中的第二坐标信息；根据所述第一坐标信息、第二坐标信息、所述第一图像采集装置的投影参数信息和所述第二图像采集装置的投影参数信息，确定所述目标用户在实体店内的位置信息；根据所述位置信息、购物行为发生时间和所述用户运动轨迹信息，确定所述目标用户的用户标识；根据所述用户标识和所述购物行为信息，为所述目标用户执行购物处理。
下面首先对所述服务器2的第一方面数据处理过程进行说明。所述服务器2，用于通过第二图像采集装置4采集实体店的第二环境图像，并根据所述第二环境图像，确定入店用户的用户运动轨迹信息；为入店用户分配用户标识，并生成用户标识与用户运动轨迹信息间的对应关系集。
所述用户运动轨迹信息，包括实体店内多个具有用户标识的用户的运动轨迹信息。其中，每个用户的运动轨迹可由该用户在实体店内的多个时刻的用户位置信息构成。表3示出了本实施例中实体店内多个用户的运动轨迹信息。
Figure BDA0001928641650000161
表3、用户运动轨迹信息
由表3可见，在本实施例中，所述用户运动轨迹信息中的用户位置信息，可以是用户的第一关键点在实体店内的三维坐标信息。其中，第一关键点包括但不限于：头心、肩膀、脖子等关键点。
如图4所示的实体店的实际场景图，在本实施例中，在实体店入口处的上方安装第二图像采集装置4(如摄像头)，该图像采集装置4可拍摄到用户进入实体店时的环境图像。同时，在实体店室内建筑空间的顶部安装多个第二图像采集装置4，这些图像采集装置可拍摄实体店室内的环境图像。所有第二图像采集装置4均可连接至(有线连接或无限连接等)所述服务器2，所述服务器2通过所述第二图像采集装置4采集实体店的第二环境图像。由于第二图像采集装置4用于拍摄实体店的环境图像，通常安装在屋顶位置，且可不受货架位置的限制，因此又将第二图像采集装置4称为顶视相机。
如图5所示，顶视相机之间要有重合区域，以确保拍摄到售货区内所有位置的环境图像。例如，将第二图像采集装置4安装在室内4米左右高度，一个顶视相机可覆盖面积大约10-15平米，由于顶视相机之间要有重合区域，因此100平米的店铺大约需要30-40个相机。表4示出了本实施例的顶视相机与覆盖区域间的对应关系。
实体店标识 顶视相机编号 区域编号
曹家湾 SXT-001 01
曹家湾 SXT-002 02
曹家湾 SXT-003 03
曹家湾 SXT-004 04
曹家湾 SXT-005 05
… … …
表4、顶视相机与覆盖区域间的对应关系
在一个示例中，所述服务器2，具体用于从部署在实体店入口的第二图像采集装置4采集的所述第二环境图像中抽取入店用户的用户特征；存储所述用户标识与所述用户特征间的第一对应关系；根据多个第二图像采集装置4采集的所述第二环境图像，确定店内用户的用户位置信息；从所述第二环境图像中抽取所述店内用户的用户特征；根据所述店内用户的用户特征和所述第一对应关系，确定所述店内用户的用户标识；将所述第二环境图像的拍摄时间与所述店内用户的用户位置信息间的第二对应关系增加至所述用户标识的用户运动轨迹信息。
所述用户特征，可以是用户的第一关键点(如头心、肩膀、脖子和胯部)的空间相对位置信息，不同用户的头心、肩膀、脖子、胯部间的相对位置关系并不相同，由此可区分不同用户。表5示出了本实施例的用户特征表。
Figure BDA0001928641650000181
表5、用户特征表
所述服务器2从第二环境图像中抽取入店用户的用户特征，并为所述入店用户设置用户标识，存储所述用户标识与所述用户特征间的第一对应关系，该用户标识作为该用户在本次购物期间的用户标识，由于该标识在整个实体店内均有效，因此可称为全局用户标识。
在本实施例中，通过安装在实体店内的多个第二图像采集装置4采集所述实体店的第二环境图像，根据图像拍摄时间同步多个所述第三环境图像，还原整个实体店内的环境图像，并根据同一时刻的多个所述第二环境图像，获取实体店内所有用户在同一时刻的位置信息，例如，根据包括同一用户的两个第二环境图像，即可确定该用户在实体店内的三维位置信息；并从第二环境图像中抽取用户特征，将该特征与用户特征表中的用户特征进行比对，由此可确定不同用户的用户标识；并根据所述第二环境图像确定每个用户在当前时刻的位置信息，将该用户位置信息与该图像拍摄时间之间的对应记录存储至确定的用户标识对应的所述用户运动轨迹信息中。
服务器2，可具体用于通过人体检测技术发现第二环境图像中的人体图像，并通过人体特征点定位技术获取人体图像的第一关键点(如头心、脖子、肩膀等关键点)，服务器2根据该关键点的二维坐标信息和拍摄该图像的第二图像采集装置的投影参数信息，将该关键点的二维坐标位置投影到实体店的三维坐标位置。同时，服务器2还可根据人体图像的第一关键点确定用户特征。
接下来对所述服务器2的第二方面数据处理过程进行说明。所述服务器2，还用于接收所述处理请求，确定所述目标用户在购物行为发生时间在所述第二环境图像中的第二坐标信息；根据所述第一坐标信息、第二坐标信息、所述第一图像采集装置的投影参数信息和所述第二图像采集装置的投影参数信息，确定所述目标用户在实体店内的位置信息；根据所述位置信息、购物行为发生时间和所述用户运动轨迹信息，确定所述目标用户的用户标识；根据所述用户标识和所述购物行为信息，为所述目标用户执行购物处理。
在本实施例中，所述服务器2接收到所述请求后，可获取与第一图像采集装置3对应的第二图像采集装置4在购物行为发生时间采集的第二环境图像，并确定目标用户在所述第二环境图像中的第二坐标信息；在获得两个相机同时拍摄到的目标用户的二维坐标信息后，根据所述第一坐标信息、第二坐标信息、所述第一图像采集装置的投影参数信息和所述第二图像采集装置的投影参数信息，即可确定所述目标用户在实体店内的位置信息。
具体实施时，根据所述第一坐标信息和所述第一图像采集装置的投影参数信息，获取所述目标用户的第一三维位置信息，该位置信息包括一条三维线段；根据所述第二坐标信息和所述第二图像采集装置的投影参数信息，获取所述目标用户的第二三维位置信息，该位置信息同样包括一条三维线段；两条三维线段的交叉点即为目标用户在实体店内的位置信息。
所述投影参数信息,包括图像采集装置的内部参数信息及外部参数信息。其中，内部参数信息包括将二维平面坐标映射到三维空间坐标的投影矩阵等等；外部参数信息可包括图像采集装置在实体店中的三维空间位置信息等等。表5示出了本实施例中第一图像采集装置的投影参数信息表。
实体店标识 货架相机编号 内部参数信息 外部参数信息
曹家湾 SXT-001 投影矩阵1 <![CDATA[(x<sub>1</sub>,y<sub>1</sub>,z<sub>1</sub>)]]>
曹家湾 SXT-002 投影矩阵2 <![CDATA[(x<sub>2</sub>,y<sub>2</sub>,z<sub>2</sub>)<!-- 14 -->]]>
曹家湾 SXT-003 … …
表5、投影参数信息表
在一个示例中，所述服务器2中存储有多个第一图像采集装置3和多个第二图像采集装置4的所述投影参数信息。要根据所述第一坐标信息和所述第一图像采集装置3的投影参数信息，获取第一三维坐标信息，就先要根据第一环境图像对应的第一图像采集装置的标识，从投影参数信息表中查询得到第一图像采集装置3的投影参数信息。
具体实施时，所述购物处理请求可包括第一环境图像对应的第一图像采集装置3的标识，以便于服务器2查询第一图像采集装置3的投影参数信息，以及确定与第一图像采集装置3对应的第二图像采集装置4。在这种情况下，所述服务器2还可存储第一图像采集装置3与第二图像采集装置4间的对应关系，以便于根据对应的图像采集装置分别采集的环境图像，确定目标用户在实体店的三维位置信息。
所述购物处理请求，还可包括目标用户的用户特征信息，以便于在第一环境图像包括多个人像、第二环境图像包括多个人像的情况下，服务器2可从第二环境图像中确定出目标用户。
所述服务器2，在确定目标用户在实体店内的位置信息后，就可以根据所述位置信息、购物行为发生时间和所述用户运动轨迹信息，确定所述目标用户的用户标识。在本实施例中，所述服务器2，将所述购物行为发生时间和所述位置信息作为查询条件，在多个用户运动轨迹信息中进行检索，查找到同一时刻、同一位置对应的用户轨迹信息，并将用户轨迹对应的用户标识作为要确定的用户标识。
在一个示例中，用户运动轨迹信息包括的用户位置信息，可以是用户头心的三维坐标信息。在这种情况下，所述位置信息也包括用户头心位置的三维坐标信息，将两个头心位置进行比对，同一时刻、同一头心位置的用户轨迹对应的用户标识即为目标用户对应的用户标识。
所述服务器2，在确定目标用户的用户标识后，就可以根据所述用户标识和所述购物行为信息，为所述目标用户执行购物处理。例如，根据所述购物行为信息，更新与所述用户标识对应的购物车对象，或者，直接为目标用户进行购物结算等处理。
在一个示例中，所述购物行为信息包括：商品信息和拿起商品或放回商品的行为信息；所述根据所述购物行为信息，并更新与所述用户标识对应的购物车对象，包括：若所述行为信息包括拿起商品，则将所述商品信息增加至所述购物车对象。
在另一个示例中，所述根据所述购物行为信息，并更新与所述用户标识对应的购物车对象，包括：若所述行为信息包括放回商品，则从所述购物车对象中移除所述商品信息。
从上述实施例可见本申请实施例商品购物处理系统包括服务器和部署在实体店内的终端设备，服务器通过第二图像采集装置采集实体店的环境图像，根据实体店的环境图像，生成入店用户的用户运动轨迹信息，并为入店用户分配用户标识，生成用户标识与用户运动轨迹信息间的对应关系集；终端设备通过第一图像采集装置采集实体店内与第一图像采集装置对应的货架对应的第一环境图像，根据所述第一环境图像确定目标用户的第一坐标信息，并根据以时间顺序排列的多个第一环境图像，确定目标用户的购物行为信息，向服务器发送购物处理请求；服务器接收所述请求，获取目标用户在购物行为发生时间在所述第二环境图像中的第二坐标信息；根据所述第一坐标信息、第二坐标信息、所述第一图像采集装置的投影参数信息和所述第二图像采集装置的投影参数信息，确定所述目标用户在实体店内的位置信息；根据所述位置信息、购物行为发生时间和所述对应关系集，确定所述目标用户的用户标识；根据所述用户标识和所述购物行为信息，为所述目标用户执行购物处理；这种处理方式，使得采用纯相机网络统一进行人、货、场的定位与识别，实时绑定用户与商品拿起或放回行为，从而及时更改用户购物车的内容，避免顾客排队，并且这种方式既无需使用RFID相关设备，也不限制店铺面积，且对客流的限制较小；因此，可以有效降低硬件成本和运营成本，提升人货绑定的准确度和实时性，以及有效提升用户体验。
在上述的实施例中，提供了一种商品购物处理系统，与之相对应的，本申请还提供一种商品购物处理方法。该方法是与上述系统的实施例相对应。由于方法实施例基本相似于系统实施例，所以描述得比较简单，相关之处参见系统实施例的部分说明即可。下述描述的方法实施例仅仅是示意性的。
第二实施例
请参考图6，其为本申请提供的一种商品购物处理方法实施例的流程图，该方法的执行主体包括商品购物装置，该装置部署在所述终端设备侧。本申请提供的一种商品购物处理方法包括：
步骤S601：通过第一图像采集装置采集与货架对应的第一环境图像；
步骤S603：确定目标用户在所述第一环境图像中的第一坐标信息。
步骤S605：根据所述第一环境图像的时序信息，确定目标用户的购物行为信息。
所述购物行为信息，可包括商品信息、拿起商品或放回商品的行为信息及购物行为发生时间；
在一个示例中，所述根据所述第一环境图像的时序信息，并确定目标用户的购物行为信息，可包括如下步骤：1)将所述第一环境图像中的商品图像和商品库中的商品图片执行匹配；2)将匹配的商品图片对应的商品标识作为所述商品图像的商品标识；以及，确定商品数量；3)根据所述商品标识和所述商品数量形成所述商品信息。
在一个示例中，所述将所述第一环境图像中的商品图像和商品库中的商品图片执行匹配，可包括如下子步骤：1)根据所述第一图像采集装置关联的货架标识，获取所述货架关联的商品图片库；2)对所述商品图像和所述货架关联的商品图片执行匹配。
在一个示例中，所述根据所述第一环境图像的时序信息，并确定目标用户的购物行为信息，还可包括如下子步骤：1)根据所述第一环境图像，获取用户的第二关键点的二维坐标信息；2)根据所述第一环境图像，获取商品的二维坐标信息；3)根据所述第二关键点的二维坐标信息和所述商品的二维坐标信息，判断用户是否持有商品。
步骤S607：向服务器发送购物处理请求，所述处理请求包括所述第一坐标信息和所述购物行为信息。
从上述实施例可见，本申请实施例商品购物处理方法，通过第一图像采集装置采集实体店内与第一图像采集装置对应的货架对应的第一环境图像，根据所述第一环境图像确定目标用户的第一坐标信息，并根据以时间顺序排列的多个第一环境图像，确定目标用户的购物行为信息，向服务器发送购物处理请求，以使得服务器接收所述请求，获取目标用户在购物行为发生时间在所述第二环境图像中的第二坐标信息；根据所述第一坐标信息、第二坐标信息、所述第一图像采集装置的投影参数信息和所述第二图像采集装置的投影参数信息，确定所述目标用户在实体店内的位置信息；根据所述位置信息、购物行为发生时间和所述对应关系集，确定所述目标用户的用户标识；根据所述用户标识和所述购物行为信息，为所述目标用户执行购物处理；这种处理方式，使得采用纯相机网络统一进行人、货、场的定位与识别，实时绑定用户与商品拿起或放回行为，从而及时更改用户购物车的内容，避免顾客排队，并且这种方式既无需使用RFID相关设备，也不限制店铺面积，且对客流的限制较小；因此，可以有效降低硬件成本和运营成本，提升人货绑定的准确度和实时性，以及有效提升用户体验。
在上述的实施例中，提供了一种购物车对象处理方法，与之相对应的，本申请还提供一种购物车对象处理装置。该装置是与上述方法的实施例相对应。
第三实施例
请参看图7，其为本申请的商品购物处理装置的实施例的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本申请另外提供一种商品购物处理装置，包括：
图像采集单元701，用于通过第一图像采集装置采集与货架对应的第一环境图像；
第一坐标确定单元703，用于确定目标用户在所述第一环境图像中的第一坐标信息；
购物行为确定单元705，用于根据所述第一环境图像的时序信息，确定目标用户的购物行为信息；
请求发送单元707，用于向服务器发送购物处理请求，所述处理请求包括所述第一坐标信息和所述购物行为信息。
第四实施例
请参考图8，其为本申请的电子设备实施例的示意图。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本实施例的一种电子设备，该电子设备包括：处理器801和存储器802；所述存储器，用于存储实现商品购物处理方法的程序，该设备通电并通过所述处理器运行该商品购物处理方法的程序后，执行下述步骤：通过第一图像采集装置采集与货架对应的第一环境图像；确定目标用户在所述第一环境图像中的第一坐标信息；根据所述第一环境图像的时序信息，确定目标用户的购物行为信息；向服务器发送购物处理请求，所述处理请求包括所述第一坐标信息和所述购物行为信息。
第五实施例
请参考图9，其为本申请提供的一种商品购物处理方法实施例的流程图，该方法的执行主体包括商品购物处理装置，该装置可部署在所述服务器侧。本申请提供的一种商品购物处理方法包括：
步骤S901：通过第二图像采集装置采集实体店的第二环境图像；
步骤S902：根据所述第二环境图像，生成入店用户的用户运动轨迹信息；以及，为所述入店用户分配用户标识；
在一个示例中，所述根据所述第二环境图像，并生成入店用户的用户运动轨迹信息，包括如下步骤：可从部署在实体店入口的第二图像采集装置采集的所述第二环境图像中抽取入店用户的用户特征；存储所述用户标识与所述用户特征间的第一对应关系；根据多个第二图像采集装置采集的所述第二环境图像，确定店内用户的用户位置信息；从所述第二环境图像中抽取所述店内用户的用户特征；根据所述店内用户的用户特征和所述第一对应关系，确定所述店内用户的用户标识；将所述第二环境图像的拍摄时间与所述店内用户的用户位置信息间的第二对应关系增加至所述用户标识的用户运动轨迹信息。
步骤S903：生成用户标识与用户运动轨迹信息间的对应关系集；
步骤S904：接收终端设备发送的购物处理请求。
所述处理请求，包括目标用户在第一环境图像中的第一坐标信息和购物行为信息。
所述购物行为信息，可包括商品信息、拿起商品或放回商品的行为信息及购物行为发生时间。
步骤S905：确定目标用户在购物行为发生时间在所述第二环境图像中的第二坐标信息；
步骤S906：根据所述购物处理请求携带的第一坐标信息、第二坐标信息、第一图像采集装置的投影参数信息和所述第二图像采集装置的投影参数信息，确定所述目标用户在实体店内的位置信息；
步骤S907：根据所述位置信息、购物行为发生时间和所述用户运动轨迹信息，确定所述目标用户的用户标识。
步骤S908：根据所述用户标识和所述购物行为信息，为所述目标用户执行购物处理。
在一个示例中，所述根据所述用户标识和所述购物行为信息，并为所述目标用户执行购物处理，包括：根据所述购物行为信息，更新与所述用户标识对应的购物车对象。
在一个示例中，所述根据所述购物行为信息，并更新与所述用户标识对应的购物车对象，包括：若所述行为信息包括拿起商品，则将所述商品信息增加至所述购物车对象。
在一个示例中，所述根据所述购物行为信息，并更新与所述用户标识对应的购物车对象，包括：若所述行为信息包括放回商品，则从所述购物车对象中移除所述商品信息。
从上述实施例可见，本申请实施例商品购物处理方法，通过第二图像采集装置采集实体店的环境图像，根据实体店的环境图像，生成入店用户的用户运动轨迹信息，并为入店用户分配用户标识，生成用户标识与用户运动轨迹信息间的对应关系集；接收终端设备发送的购物处理请求，获取目标用户在购物行为发生时间在所述第二环境图像中的第二坐标信息；根据所述第一坐标信息、第二坐标信息、所述第一图像采集装置的投影参数信息和所述第二图像采集装置的投影参数信息，确定所述目标用户在实体店内的位置信息；根据所述位置信息、购物行为发生时间和所述对应关系集，确定所述目标用户的用户标识；根据所述用户标识和所述购物行为信息，为所述目标用户执行购物处理；这种处理方式，使得采用纯相机网络统一进行人、货、场的定位与识别，实时绑定用户与商品拿起或放回行为，从而及时更改用户购物车的内容，避免顾客排队，并且这种方式既无需使用RFID相关设备，也不限制店铺面积，且对客流的限制较小；因此，可以有效降低硬件成本和运营成本，提升人货绑定的准确度和实时性，以及有效提升用户体验。
在上述的实施例中，提供了一种商品购物处理方法，与之相对应的，本申请还提供一种商品购物处理装置。该装置是与上述方法的实施例相对应。
第六实施例
请参看图10，其为本申请的商品购物处理装置的实施例的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本申请另外提供一种商品购物处理装置，包括：
图像采集单元1001，用于通过第二图像采集装置采集实体店的第二环境图像；
用户运动轨迹确定单元1002，用于根据所述第二环境图像，生成入店用户的用户运动轨迹信息；
用户标识分配单元1003，用于为所述入店用户分配用户标识；
对应关系生成单元1004，用于生成用户标识与用户运动轨迹信息间的对应关系集；以及，
请求接收单元1005，用于接收终端设备发送的购物处理请求；所述处理请求包括目标用户在第一环境图像中的第一坐标信息和购物行为信息；
第二坐标确定单元1006，用于确定所述目标用户在购物行为发生时间在所述第二环境图像中的第二坐标信息；
用户位置确定单元1007，用于根据所述第一坐标信息、第二坐标信息、所述第一图像采集装置的投影参数信息和所述第二图像采集装置的投影参数信息，确定所述目标用户在实体店内的位置信息；
用户标识确定单元1008，用于根据所述位置信息、购物行为发生时间和所述用户运动轨迹信息，确定所述目标用户的用户标识；
购物处理单元1009，用于根据所述用户标识和所述购物行为信息，为所述目标用户执行购物处理。
第七实施例
请参考图11，其为本申请的电子设备实施例的示意图。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本实施例的一种电子设备，该电子设备包括：处理器1101和存储器1102；所述存储器，用于存储实现商品购物处理方法的程序，该设备通电并通过所述处理器运行该商品购物处理方法的程序后，执行下述步骤：通过第二图像采集装置采集实体店的第二环境图像；根据所述第二环境图像，生成入店用户的用户运动轨迹信息；以及，为所述入店用户分配用户标识；生成用户标识与用户运动轨迹信息间的对应关系集；以及，接收终端设备发送的购物处理请求；所述处理请求包括目标用户在第一环境图像中的第一坐标信息和购物行为信息；确定所述目标用户在购物行为发生时间在所述第二环境图像中的第二坐标信息；根据所述第一坐标信息、第二坐标信息、所述第一图像采集装置的投影参数信息和所述第二图像采集装置的投影参数信息，确定所述目标用户在实体店内的位置信息；根据所述位置信息、购物行为发生时间和所述用户运动轨迹信息，确定所述目标用户的用户标识；根据所述用户标识和所述购物行为信息，为所述目标用户执行购物处理。
在上述的实施例中，提供了一种商品购物处理系统，与之相对应的，本申请还提供另一种商品购物处理系统。该装置是与上述系统的实施例相对应。
第八实施例
请参看图12，其为本申请的商品购物处理系统的实施例的示意图。该系统实施例与实施例一所述的系统相关之处参见实施例一的部分说明即可。
本申请另外提供一种商品购物处理系统，包括：
多个第一图像采集装置1203，可部署在实体店的货架侧，用于采集与货架对应的环境图像，作为第一环境图像；将所述第一环境图像发送至与所述第一图像采集装置对应的终端设备1201；
第二图像采集装置1204，可部署在实体店的入口侧，用于采集所述实体店入口的环境图像，作为第二环境图像；将所述第二环境图像发送至服务器1202；
所述终端设备1201，用于接收所述第一环境图像，根据所述第一环境图像抽取目标用户的用户特征，并根据多个第一环境图像的时序信息，确定目标用户的购物行为信息；以及，向服务器1704发送购物处理请求，所述请求包括所述目标用户的用户特征和所述购物行为信息；
所述用户特征，可以是用户的第一关键点(如头心、肩膀、脖子和胯部)的空间相对位置信息，如肩宽、身高、头心与脖子间距离等等，不同用户的头心、肩膀、脖子、胯部间的相对位置关系并不相同，由此可区分不同用户。
具体实施时，可通过人体检测技术发现第一环境图像中的人体图像，并通过人体特征点定位技术获取人体图像的第一关键点。由于人体检测技术及人体特征点定位技术属于较为成熟的现有技术，因此此处不再赘述。
所述服务器1202，用于接收所述第二环境图像，从所述第二环境图像中抽取入店用户的用户特征，为所述入店用户分配用户标识，存储所述用户标识与所述入店用户的用户特征间的对应关系；以及，接收所述购物处理请求；将所述目标用户的用户特征与多个入店用户的用户特征进行匹配；根据所述对应关系，将匹配的入店用户的用户特征对应的用户标识作为所述目标用户的用户标识；根据所述目标用户的用户标识和所述购物行为信息，为所述目标用户执行购物处理。
例如，目标用户的用户特征包括肩宽、身高、头心距离脖子距离等等，将具体特征值与预先确定的多个入店用户的用户特征值进行匹配，如果匹配度大于匹配度阈值，则判定两个用户为同一用户，根据所述对应关系，即可确定目标用户的用户标识。
从上述实施例可见，本申请实施例商品购物处理系统，包括服务器和部署在实体店内的终端设备，服务器通过部署在实体店的入口侧的第二图像采集装置采集实体店入口的环境图像，根据实体店入口的环境图像，抽取入店用户的用户特征，为所述入店用户分配用户标识，存储所述用户标识与所述入店用户的用户特征间的对应关系；终端设备通过第一图像采集装置采集实体店内与第一图像采集装置对应的货架对应的第一环境图像，根据所述第一环境图像抽取目标用户的用户特征，并根据以时间顺序排列的多个第一环境图像，确定目标用户的购物行为信息，向服务器发送购物处理请求；服务器接收所述请求，将所述目标用户的用户特征与多个入店用户的用户特征进行匹配；根据所述对应关系，将匹配的入店用户的用户特征对应的用户标识作为所述目标用户的用户标识；根据所述用户标识和所述购物行为信息，为所述目标用户执行购物处理；这种处理方式，使得采用纯相机网络统一进行人、货、场的定位与识别，实时绑定用户与商品拿起或放回行为，从而及时更改用户购物车的内容，避免顾客排队，并且这种方式既无需使用RFID相关设备，也不限制店铺面积，且对客流的限制较小；因此，可以有效降低硬件成本和运营成本，提升人货绑定的准确度和实时性，以及有效提升用户体验。
第九实施例
请参考图13，其为本申请提供的一种商品购物处理方法实施例的流程图，该方法的执行主体包括商品购物处理装置，该装置可部署在所述服务器侧。本申请提供的一种商品购物处理方法包括：
步骤S1301：通过第一图像采集装置采集与货架对应的第一环境图像；
步骤S1303：根据所述第一环境图像抽取目标用户的用户特征；
步骤S1305：根据所述第一环境图像的时序信息，确定目标用户的购物行为信息；
步骤S1307：向服务器发送购物处理请求，所述处理请求包括所述目标用户的用户特征和所述购物行为信息。
从上述实施例可见，本申请实施例商品购物处理方法，通过第一图像采集装置采集与货架对应的第一环境图像；根据所述第一环境图像抽取目标用户的用户特征；根据所述第一环境图像的时序信息，确定目标用户的购物行为信息；向服务器发送购物处理请求，所述处理请求包括所述目标用户的用户特征和所述购物行为信息，以使得服务器根据请求进行人货绑定处理；这种处理方式，使得采用纯相机网络统一进行人、货、场的定位与识别，实时绑定用户与商品拿起或放回行为，从而及时更改用户购物车的内容，避免顾客排队，并且这种方式既无需使用RFID相关设备，也不限制店铺面积，且对客流的限制较小；因此，可以有效降低硬件成本和运营成本，提升人货绑定的准确度和实时性，以及有效提升用户体验。
在上述的实施例中，提供了一种商品购物处理方法，与之相对应的，本申请还提供一种商品购物处理装置。该装置是与上述方法的实施例相对应。
第十实施例
请参看图14，其为本申请的商品购物处理装置的实施例的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本申请另外提供一种商品购物处理装置，包括：
图像采集单元1401，用于通过第一图像采集装置采集与货架对应的第一环境图像；
用户特征抽取单元1402，用于根据所述第一环境图像抽取目标用户的用户特征；
购物行为确定单元1403，用于根据所述第一环境图像的时序信息，确定目标用户的购物行为信息；
请求发送单元1404，用于向服务器发送购物处理请求，所述处理请求包括所述目标用户的用户特征和所述购物行为信息。
第十一实施例
请参考图15，其为本申请的电子设备实施例的示意图。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本实施例的一种电子设备，该电子设备包括：处理器1501和存储器1502；所述存储器，用于存储实现商品购物处理方法的程序，该设备通电并通过所述处理器运行该商品购物处理方法的程序后，执行下述步骤：通过第一图像采集装置采集与货架对应的第一环境图像；根据所述第一环境图像抽取目标用户的用户特征；根据所述第一环境图像的时序信息，确定目标用户的购物行为信息；向服务器发送购物处理请求，所述处理请求包括所述目标用户的用户特征和所述购物行为信息。
第十二实施例
请参考图16，其为本申请提供的一种商品购物处理方法实施例的流程图，该方法的执行主体包括商品购物处理装置，该装置可部署在所述服务器侧。本申请提供的一种商品购物处理方法包括：
步骤S1601：通过第二图像采集装置采集实体店入口的第二环境图像；
步骤S1602：从所述第二环境图像中抽取入店用户的用户特征；以及，为所述入店用户分配用户标识；
步骤S1603：存储所述用户标识与所述入店用户的用户特征间的对应关系；
步骤S1604：接收终端设备发送的购物处理请求；所述处理请求包括目标用户的用户特征和购物行为信息；
步骤S1605：将所述目标用户的用户特征与多个入店用户的用户特征进行匹配；
步骤S1606：根据所述对应关系，将匹配的入店用户的用户特征对应的用户标识作为所述目标用户的用户标识；
步骤S1607：根据所述目标用户的用户标识和所述购物行为信息，为所述目标用户执行购物处理。
从上述实施例可见，本申请实施例商品购物处理方法，通过第二图像采集装置采集实体店入口的环境图像，根据实体店入口的环境图像，抽取入店用户的用户特征，为所述入店用户分配用户标识，存储所述用户标识与所述入店用户的用户特征间的对应关系；以及，接收终端设备发送的购物处理请求，将请求携带的所述目标用户的用户特征与多个入店用户的用户特征进行匹配；根据所述对应关系，将匹配的入店用户的用户特征对应的用户标识作为所述目标用户的用户标识；根据所述用户标识和请求携带的购物行为信息，为所述目标用户执行购物处理；这种处理方式，使得采用纯相机网络统一进行人、货、场的定位与识别，实时绑定用户与商品拿起或放回行为，从而及时更改用户购物车的内容，避免顾客排队，并且这种方式既无需使用RFID相关设备，也不限制店铺面积，且对客流的限制较小；因此，可以有效降低硬件成本和运营成本，提升人货绑定的准确度和实时性，以及有效提升用户体验。
在上述的实施例中，提供了一种商品购物处理方法，与之相对应的，本申请还提供一种商品购物处理装置。该装置是与上述方法的实施例相对应。
第十三实施例
请参看图17，其为本申请的商品购物处理装置的实施例的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本申请另外提供一种商品购物处理装置，包括：
图像采集单元1701，用于通过第二图像采集装置采集实体店入口的第二环境图像；
用户特征抽取单元1702，用于从所述第二环境图像中抽取入店用户的用户特征；
用户标识分配单元1703，用于为所述入店用户分配用户标识；
对应关系存储单元1704，用于存储所述用户标识与所述入店用户的用户特征间的对应关系；以及，
请求接收单元1705，用于接收终端设备发送的购物处理请求；所述处理请求包括目标用户的用户特征和购物行为信息；
用户特征匹配单元1706，用于将所述目标用户的用户特征与多个入店用户的用户特征进行匹配；
用户标识确定单元1707，用于根据所述对应关系，将匹配的入店用户的用户特征对应的用户标识作为所述目标用户的用户标识；
购物处理单元1708，用于根据所述目标用户的用户标识和所述购物行为信息，为所述目标用户执行购物处理。
第十四实施例
请参考图18，其为本申请的电子设备实施例的示意图。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本实施例的一种电子设备，该电子设备包括：处理器1801和存储器1802；所述存储器，用于存储实现商品购物处理方法的程序，该设备通电并通过所述处理器运行该商品购物处理方法的程序后，执行下述步骤：通过第二图像采集装置采集实体店入口的第二环境图像；从所述第二环境图像中抽取入店用户的用户特征；以及，为所述入店用户分配用户标识；存储所述用户标识与所述入店用户的用户特征间的对应关系；以及，接收终端设备发送的购物处理请求；所述处理请求包括目标用户的用户特征和购物行为信息；将所述目标用户的用户特征与多个入店用户的用户特征进行匹配；根据所述对应关系，将匹配的入店用户的用户特征对应的用户标识作为所述目标用户的用户标识；根据所述目标用户的用户标识和所述购物行为信息，为所述目标用户执行购物处理。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (8)

1.一种商品购物处理系统，其特征在于，包括：
多个第一图像采集装置，用于采集与货架对应的第一环境图像；将所述第一环境图像发送至与所述第一图像采集装置对应的终端设备；
多个第二图像采集装置，用于采集实体店的第二环境图像；将所述第二环境图像发送至服务器；
所述终端设备，用于接收所述第一环境图像，并确定目标用户在所述第一环境图像中的第一坐标信息；根据所述第一环境图像的时序信息，确定目标用户的购物行为信息；以及，向服务器发送购物处理请求，所述处理请求包括所述第一坐标信息和所述购物行为信息；
所述服务器，用于接收所述第二环境图像，并根据所述第二环境图像，确定入店用户的用户运动轨迹信息；为入店用户分配用户标识，并生成用户标识与用户运动轨迹信息间的对应关系集；以及，接收所述处理请求，确定所述目标用户在购物行为发生时间在所述第二环境图像中的第二坐标信息；根据所述第一坐标信息、第二坐标信息、所述第一图像采集装置的投影参数信息和所述第二图像采集装置的投影参数信息，确定所述目标用户在实体店内的位置信息；根据所述位置信息、购物行为发生时间和所述用户运动轨迹信息，确定所述目标用户的用户标识；根据所述用户标识和所述购物行为信息，为所述目标用户执行购物处理。
2.一种商品购物处理方法，其特征在于，包括：
通过第二图像采集装置采集实体店的第二环境图像；
根据所述第二环境图像，生成入店用户的用户运动轨迹信息；以及，为所述入店用户分配用户标识；
生成用户标识与用户运动轨迹信息间的对应关系集；以及，
接收终端设备发送的购物处理请求；所述处理请求包括目标用户在第一环境图像中的第一坐标信息和购物行为信息；所述第一环境图像是通过第一图像采集装置采集的与货架对应的环境图像；
确定所述目标用户在购物行为发生时间在所述第二环境图像中的第二坐标信息；
根据所述第一坐标信息、第二坐标信息、所述第一图像采集装置的投影参数信息和所述第二图像采集装置的投影参数信息，确定所述目标用户在实体店内的位置信息；
根据所述位置信息、购物行为发生时间和所述用户运动轨迹信息，确定所述目标用户的用户标识；
根据所述用户标识和所述购物行为信息，为所述目标用户执行购物处理。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第二环境图像，并生成入店用户的用户运动轨迹信息，包括：
从部署在实体店入口的第二图像采集装置采集的所述第二环境图像中抽取入店用户的用户特征；
存储所述用户标识与所述用户特征间的第一对应关系；
根据多个第二图像采集装置采集的所述第二环境图像，确定店内用户的用户位置信息；
从所述第二环境图像中抽取所述店内用户的用户特征；
根据所述店内用户的用户特征和所述第一对应关系，确定所述店内用户的用户标识；
将所述第二环境图像的拍摄时间与所述店内用户的用户位置信息间的第二对应关系增加至所述用户标识的用户运动轨迹信息。
4.根据权利要求2所述的方法，其特征在于，所述根据所述用户标识和所述购物行为信息，并为所述目标用户执行购物处理，包括：
根据所述购物行为信息，更新与所述用户标识对应的购物车对象。
5.根据权利要求4所述的方法，其特征在于，
所述购物行为信息包括：商品信息和拿起商品或放回商品的行为信息；
所述根据所述购物行为信息，并更新与所述用户标识对应的购物车对象，包括：
若所述行为信息包括拿起商品，则将所述商品信息增加至所述购物车对象。
6.根据权利要求4或5所述的方法，其特征在于，所述根据所述购物行为信息，并更新与所述用户标识对应的购物车对象，包括：
若所述行为信息包括放回商品，则从所述购物车对象中移除所述商品信息。
7.一种商品购物处理装置，其特征在于，包括：
图像采集单元，用于通过第二图像采集装置采集实体店的第二环境图像；
用户运动轨迹确定单元，用于根据所述第二环境图像，生成入店用户的用户运动轨迹信息；
用户标识分配单元，用于为所述入店用户分配用户标识；
对应关系生成单元，用于生成用户标识与用户运动轨迹信息间的对应关系集；以及，
请求接收单元，用于接收终端设备发送的购物处理请求；所述处理请求包括目标用户在第一环境图像中的第一坐标信息和购物行为信息；所述第一环境图像是通过第一图像采集装置采集的与货架对应的环境图像；
第二坐标确定单元，用于确定所述目标用户在购物行为发生时间在所述第二环境图像中的第二坐标信息；
用户位置确定单元，用于根据所述第一坐标信息、第二坐标信息、所述第一图像采集装置的投影参数信息和所述第二图像采集装置的投影参数信息，确定所述目标用户在实体店内的位置信息；
用户标识确定单元，用于根据所述位置信息、购物行为发生时间和所述用户运动轨迹信息，确定所述目标用户的用户标识；
购物处理单元，用于根据所述用户标识和所述购物行为信息，为所述目标用户执行购物处理。
8.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储实现商品购物处理方法的程序，该设备通电并通过所述处理器运行该商品购物处理方法的程序后，执行下述步骤：通过第二图像采集装置采集实体店的第二环境图像；根据所述第二环境图像，生成入店用户的用户运动轨迹信息；以及，为所述入店用户分配用户标识；生成用户标识与用户运动轨迹信息间的对应关系集；以及，接收终端设备发送的购物处理请求；所述处理请求包括目标用户在第一环境图像中的第一坐标信息和购物行为信息；所述第一环境图像是通过第一图像采集装置采集的与货架对应的环境图像；确定所述目标用户在购物行为发生时间在所述第二环境图像中的第二坐标信息；根据所述第一坐标信息、第二坐标信息、所述第一图像采集装置的投影参数信息和所述第二图像采集装置的投影参数信息，确定所述目标用户在实体店内的位置信息；根据所述位置信息、购物行为发生时间和所述用户运动轨迹信息，确定所述目标用户的用户标识；根据所述用户标识和所述购物行为信息，为所述目标用户执行购物处理。
CN201811653113.6A 2018-12-28 2018-12-28 商品购物处理系统、方法、装置及电子设备 Active CN111382650B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811653113.6A CN111382650B (zh) 2018-12-28 2018-12-28 商品购物处理系统、方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811653113.6A CN111382650B (zh) 2018-12-28 2018-12-28 商品购物处理系统、方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN111382650A CN111382650A (zh) 2020-07-07
CN111382650B true CN111382650B (zh) 2023-05-02

Family

ID=71219582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811653113.6A Active CN111382650B (zh) 2018-12-28 2018-12-28 商品购物处理系统、方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN111382650B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8009863B1 (en) * 2008-06-30 2011-08-30 Videomining Corporation Method and system for analyzing shopping behavior using multiple sensor tracking
WO2017202694A1 (fr) * 2016-05-24 2017-11-30 Occi Procede de determination d'achats effectues par un utilisateur
CN107424273A (zh) * 2017-07-28 2017-12-01 杭州宇泛智能科技有限公司 一种无人超市的管理方法
JP2018093283A (ja) * 2016-11-30 2018-06-14 マクセル株式会社 監視情報収集システム
CN108198052A (zh) * 2018-03-02 2018-06-22 北京京东尚科信息技术有限公司 用户选购商品识别方法、装置以及智能货架系统
CN108875647A (zh) * 2018-06-22 2018-11-23 成都睿畜电子科技有限公司 一种基于牲畜身份的移动轨迹监测方法和系统
CN108898099A (zh) * 2018-06-28 2018-11-27 北京三快在线科技有限公司 数据处理方法及装置、计算机可读存储介质、电子设备
WO2018216399A1 (ja) * 2017-05-22 2018-11-29 パナソニックＩｐマネジメント株式会社 買物履歴管理システムおよび買物履歴管理方法
CN108921645A (zh) * 2018-06-07 2018-11-30 深圳码隆科技有限公司 一种商品购买判定方法、装置和用户终端
JP2018195229A (ja) * 2017-05-22 2018-12-06 パナソニックＩｐマネジメント株式会社 買物認識システムおよび買物認識方法
CN108985199A (zh) * 2018-07-02 2018-12-11 百度在线网络技术（北京）有限公司 商品取放操作的检测方法、装置及存储介质
CN109002780A (zh) * 2018-07-02 2018-12-14 深圳码隆科技有限公司 一种购物流程控制方法、装置和用户终端
CN109002782A (zh) * 2018-07-02 2018-12-14 深圳码隆科技有限公司 一种基于自动售货机的商品购买方法、装置和用户终端

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8009863B1 (en) * 2008-06-30 2011-08-30 Videomining Corporation Method and system for analyzing shopping behavior using multiple sensor tracking
WO2017202694A1 (fr) * 2016-05-24 2017-11-30 Occi Procede de determination d'achats effectues par un utilisateur
JP2018093283A (ja) * 2016-11-30 2018-06-14 マクセル株式会社 監視情報収集システム
JP2018195229A (ja) * 2017-05-22 2018-12-06 パナソニックＩｐマネジメント株式会社 買物認識システムおよび買物認識方法
WO2018216399A1 (ja) * 2017-05-22 2018-11-29 パナソニックＩｐマネジメント株式会社 買物履歴管理システムおよび買物履歴管理方法
CN107424273A (zh) * 2017-07-28 2017-12-01 杭州宇泛智能科技有限公司 一种无人超市的管理方法
CN108198052A (zh) * 2018-03-02 2018-06-22 北京京东尚科信息技术有限公司 用户选购商品识别方法、装置以及智能货架系统
CN108921645A (zh) * 2018-06-07 2018-11-30 深圳码隆科技有限公司 一种商品购买判定方法、装置和用户终端
CN108875647A (zh) * 2018-06-22 2018-11-23 成都睿畜电子科技有限公司 一种基于牲畜身份的移动轨迹监测方法和系统
CN108898099A (zh) * 2018-06-28 2018-11-27 北京三快在线科技有限公司 数据处理方法及装置、计算机可读存储介质、电子设备
CN108985199A (zh) * 2018-07-02 2018-12-11 百度在线网络技术（北京）有限公司 商品取放操作的检测方法、装置及存储介质
CN109002780A (zh) * 2018-07-02 2018-12-14 深圳码隆科技有限公司 一种购物流程控制方法、装置和用户终端
CN109002782A (zh) * 2018-07-02 2018-12-14 深圳码隆科技有限公司 一种基于自动售货机的商品购买方法、装置和用户终端

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Gross H M 等 .Vision-based Monte Carlo self-localization for a mobile service robot acting as shopping assistant in a home store.IEEE/RSJ International Conference on Intelligent Robots &amp Systems.2002,全文. *
李梦雅;康灿平;肖志强;犹元彬;王含颖;胡洪波.基于移动互联网的超市导购系统设计.物联网技术.2016,(05),全文. *
陈立龙 等.大型商场智慧购物系统研究.系统仿真学报.2016,全文. *

Also Published As

Publication number Publication date
CN111382650A (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
US10853965B2 (en) Directional impression analysis using deep learning
US9424461B1 (en) Object recognition for three-dimensional bodies
US8442307B1 (en) Appearance augmented 3-D point clouds for trajectory and camera localization
CN105009120B (zh) 基于客户端-服务器的动态搜索
Liu et al. A smart unstaffed retail shop based on artificial intelligence and IoT
CN111046752B (zh) 一种室内定位方法、计算机设备和存储介质
CN110969644B (zh) 人员轨迹追踪方法、装置及系统
CN104969538A (zh) 管理封闭区域用的移动增强现实
CN110033293A (zh) 获取用户信息的方法、装置及系统
CN103428537A (zh) 一种视频处理方法和装置
CN115249356B (zh) 识别方法、装置、设备及存储介质
CN111047622B (zh) 视频中对象的匹配方法和装置、存储介质及电子装置
CN110928959A (zh) 一种实体之间关系特征信息的确定方法、装置、电子设备及存储介质
Merino‐Gracia et al. Real‐time text tracking in natural scenes
CN111429194A (zh) 用户轨迹确定系统、方法、装置及服务器
CN111382650B (zh) 商品购物处理系统、方法、装置及电子设备
GB2523776A (en) Methods for 3D object recognition and registration
CN114360057A (zh) 数据处理方法及相关装置
CN115661624A (zh) 一种货架的数字化方法、装置及电子设备
CN115278014A (zh) 一种目标跟踪方法、系统、计算机设备及可读介质
CN112132868B (zh) 一种支付信息的确定方法、装置及设备
CN112016609B (zh) 一种图像聚类方法、装置、设备及计算机存储介质
CN110427936B (zh) 一种酒窖的藏酒管理方法及系统
KR101618308B1 (ko) 미러월드 기반 인터랙티브 온라인 쇼핑몰 구축을 위한 파노라마 영상 획득 및 객체 검출이 가능한 시스템
CN106354263A (zh) 基于面部特征追踪的实时人机交互系统及其工作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant