CN111325492A - 供应链优化方法及系统 - Google Patents

供应链优化方法及系统 Download PDF

Info

Publication number
CN111325492A
CN111325492A CN201811533006.XA CN201811533006A CN111325492A CN 111325492 A CN111325492 A CN 111325492A CN 201811533006 A CN201811533006 A CN 201811533006A CN 111325492 A CN111325492 A CN 111325492A
Authority
CN
China
Prior art keywords
user
radio frequency
video
hand
wrist
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811533006.XA
Other languages
English (en)
Other versions
CN111325492B (zh
Inventor
何华林
潘春香
倪雅博
曾安祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201811533006.XA priority Critical patent/CN111325492B/zh
Priority to PCT/US2019/066197 priority patent/WO2020123922A1/en
Priority to US16/713,479 priority patent/US11106901B2/en
Publication of CN111325492A publication Critical patent/CN111325492A/zh
Application granted granted Critical
Publication of CN111325492B publication Critical patent/CN111325492B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G06K17/0029—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device the arrangement being specially adapted for wireless interrogation of grouped or bundled articles tagged with wireless record carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种供应链优化方法，包括：识别用户翻动对象的行为，并确定该行为发生的第一时间和第一地点；识别处于被翻动状态的目标对象，并确定该目标对象被翻动时所处的第二时间和第二地点；当第一时间与第二时间匹配，且第一地点与第二地点匹配时，判定用户翻动了该目标对象。本发明一并公开了相应的计算设备以及系统。

Description

供应链优化方法及系统
技术领域
本发明涉及物联网及智能零售技术领域，尤其涉及一种供应链优化方法及系统。
背景技术
在线下零售场景中，识别店铺中顾客翻动商品的行为，可以标记出顾客对哪一个商品感兴趣，对于商家采购备货、优化供应链、优化店铺布局等具有重要意义。
在物联网时代背景下，图像技术、射频技术逐渐被应用于零售领域。但是，目前图像技术、射频技术在零售领域的应用仅限于单一的、简单的场景，例如，图像技术多应用于录像监控，而射频技术的应用局限于扫码清点库存。
发明内容
为此，本发明提供一种供应链优化方法及系统，以力图解决或至少缓解上面存在的问题。
根据本发明的一个方面，提供一种供应链优化方法，包括：识别用户翻动对象的行为，并确定所述行为发生的第一时间和第一地点；识别处于被翻动状态的目标对象，并确定所述目标对象被翻动时所处的第二时间和第二地点；当所述第一时间与所述第二时间匹配，且所述第一地点与所述第二地点匹配时，判定所述用户翻动了所述目标对象。
根据本发明的一个方面，提供一种计算设备，包括：至少一个处理器；和存储有程序指令的存储器，其中，所述程序指令被配置为适于由所述至少一个处理器执行，所述程序指令包括用于执行如上所述的供应链优化方法的指令。
根据本发明的又一个方面，提供一种存储有程序指令的可读存储介质，当所述程序指令被计算设备读取并执行时，使得所述计算设备执行如上所述的供应链优化方法。
根据本发明的一个方面，提供一种系统，包括：射频标签、射频感应器、摄像头和计算设备，其中，所述射频标签设置于对象上，用于唯一标识该对象；所述射频感应器用于接收射频标签所发出的射频信号，并从中提取出射频标签信息；所述摄像头用于采集包括用户行为的视频；所述计算设备分别与所述射频感应器和所述摄像头通信连接，适于获取所述射频标签信息和所述视频，并执行如上所述的供应链优化方法。
根据本发明的技术方案，可以自动识别出顾客翻动商品的行为，从而为商家提供准确的用户兴趣信息，对商家备货、优化供应链、优化店铺布局等具有重要意义。
本发明的系统将视频图像技术与射频技术(RFID)相结合，采用视频图像技术来识别用户翻动对象的行为，采用射频技术来识别对象被翻动的状态，将二者结合以确定哪一个用户翻动了哪一个对象。本发明的系统不仅能够准确识别用户感兴趣的对象，也为视频图像技术、射频技术在线下零售场景中的应用提供了新的思路。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。
图1示出了根据本发明一个实施例的系统100的示意图；
图2示出了根据本发明一个实施例的供应链优化方法200的流程图；
图3A、3B示出了根据本发明两个实施例的人体关键点的示意图；
图4示出了根据本发明一个实施例的采用人体姿态检测算法和目标跟踪算法来确定用户手腕坐标的示意图；
图5示出了根据本发明一个实施例的用户行为理解过程的示意图；
图6示出了根据本发明一个实施例的从用户行为视频中裁剪出手部视频过程的示意图；
图7示出了根据本发明一个实施例的计算设备700的示意图；
图8示出了根据本发明一个实施例的供应链优化装置800的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的系统100的示意图。系统100设置于线下零售店铺中，例如超市，服饰箱包、美容饰品等专卖店中。如图1所示，系统100包括射频标签110、射频感应器120、摄像头130和计算设备140。应当指出，图1所示的系统100仅作为一个示例，本领域技术人员可以理解，在实际应用中，系统100可以包括任意数量的射频标签110、射频感应器120、摄像头130和计算设备140，本发明对系统100中所包括的射频标签110、射频感应器120、摄像头130和计算设备140的数量均不做限制。
如图1所示，线下零售店铺中通常包括多个货架310，货架310上放置有多个商品320。用户330(即顾客)在店铺的行道中行走、逗留，挑选货架310上的商品320。当用户330对某个商品320感兴趣时，通常会翻动、全方位审视该商品，以获取该商品的完整详细信息。
射频标签110由耦合元件及芯片组成，每个射频标签具有唯一的标识码。在本发明的实施例中，射频标签110贴附于对象320上，用于唯一标识一个对象。在零售店铺场景中，对象即为店铺中的商品。店铺中的每个商品320上都贴附有一个射频标签110，射频标签110用于唯一标识一个商品320。射频标签110例如可以是RFID(Radio FrequencyIdentification)标签，但不限于此。
射频感应器120用于读取(有时还可以写入)射频标签信息，从而获取射频标签所对应的商品的状态信息。射频感应器120的感应距离由射频感应器120的功率、天线增益、周围环境等因素决定，通常为数米(例如2～3米)，即，射频感应器120通常能够感应到数米范围内的射频标签110。在本发明的实施例中，射频感应器120设置于货架320附近，优选地，为了排除环境干扰，更准确地识别各个射频标签的信息，每个货架320附近设置至少两个射频感应器120。例如，如图1所示，每个货架310的左右两侧分别设置有一个射频感应器120。射频感应器120例如可以是能够读取RFID标签信息的RFID感应器，但不限于此。
射频标签110及射频感应器120的工作原理如下：射频感应器120通过发射天线发送特定频率的射频信号，位于射频感应器120的感应范围内的射频标签110接收到该射频信号，会产生感应电流从而获得能量，射频标签110被激活，使得射频标签110将自身标识信息通过内置射频天线发送出去。射频感应器120的接收天线接收到从射频标签110发送来的射频信号。射频信号具有信号强度(RSSI，Received Signal Strength Indication)和相位值(Phase)两个属性。射频信号经解调和解码后将提取出射频标签信息。当商品320在货架上静止不动时，射频感应器120所感应到的该商品的射频标签110所发出的射频信号波动很小，几乎保持不变(射频信号的信号强度和相位值几乎不变)。当商品320被用户330翻动时，该商品上的射频标签110随之被翻动，这时，射频感应器120所感应到的该射频标签110的射频信号也相应地发生变化。
摄像头130用于监控录像，即采集店铺内的用户行为视频。摄像头130通常设置于店铺内的高处，例如设置于店铺的天花板上，以覆盖店铺内的较大视野范围。
计算设备140例如可以是桌面电脑、笔记本电脑等个人配置的计算机，也可以是手机、平板电脑、多媒体设备、智能可穿戴设备等移动设备，还可以是服务器，但不限于此。计算设备140可以设置于店铺本地，也可以作为远程服务器(例如云端服务器等)设置于店铺本地之外的其他地理位置，本发明对计算设备140的硬件配置情况以及部署位置均不做限制。
在本发明的实施例中，计算设备140分别与射频感应器120和摄像头130通信连接。射频感应器120和摄像头130可以通过有线的方式与计算设备140建立连接，也可以通过3G、4G、WiFi、个人热点、IEEE802.11x、蓝牙等无线的方式与计算设备140建立连接，本发明对射频感应器120、摄像头130与计算设备140之间的具体连接方式不做限制。
在本发明的实施例中，计算设备140适于获取射频感应器120所采集到的射频标签信息，以及获取摄像头130所采集到的用户行为视频，并实施本发明的供应链优化方法200，根据射频标签信息和用户行为视频来理解用户行为，确定视频中的哪个用户翻动了哪个商品。
图2示出了根据本发明一个实施例的供应链优化方法200的流程图。方法200在计算设备140中实施。如图2所示，方法200始于步骤S210。
在步骤S210中，识别用户翻动对象的行为，并确定该行为发生的第一时间和第一地点。
根据一种实施例，用户翻动对象的行为可以按照以下步骤S212～S216来识别：
在步骤S212中，获取包括用户行为的视频。该视频即摄像头130所采集到的原始监控视频。
随后，在步骤S214中，从视频中裁剪出包含用户手部图像的手部视频。
在本发明的实施例中，手部视频包括左手视频和右手视频，相应地，步骤S214可以按照以下方法实施：首先，分别确定用户的左、右手腕在视频的各帧图像中的坐标；随后，根据坐标，分别从各帧图像中裁剪出用户的左手图像和右手图像；最后，将裁剪所得到的多张左手图像进行组合，得到左手视频，以及将裁剪所得到的多张右手图像进行组合，得到右手视频。
用户的左、右手腕在各帧图像中的坐标可以采用人体姿态检测算法来确定。人体姿态检测算法有多种，例如DensePose、OpenPose、AlphaPose算法等，但不限于此。人体姿态检测算法可以从图像或视频中识别出人体的关键点，从而识别人体姿态。在一些人体姿态检测算法中，左、右手腕是识别的关键点之一，即，人体姿态检测算法可以识别出左、右手腕的坐标。左、右手腕通常是手部运动的中心支点，以手腕为中心的圆形区域可以确保包含了手部的完整图像。因此，根据左、右手腕的坐标，即可确定用户的手部图像。
图3A示出了根据本发明一个实施例的人体关键点的示意图。如图3A所示，人体上包括20个关键点，这20个关键点与人体部位的对应关系如下：1-头(Head)，2-肩中心(Shoulder Center)，3-左肩(Left Shoulder)，4-左肘(Left Elbow)，5-左手腕(LeftWrist)，6-左手(Left Hand)，7-右肩(Right Shoulder)，8-右肘(Right Elbow)，9-右手腕(Right Wrist)，10-右手(Right Hand)，11-脊柱(Spine)，12-髋中心(Hip Center)，13-左髋(Left Hip)，14-左膝(Left Knee)，15-左踝(Left Ankle)，16-左脚(Left Foot)，17-右髋(Right Hip)，18-右膝(Right Knee)，19-右踝(Right Ankle)，20-右脚(Right Foot)。在图3A中，左、右手分别是人体关键点之一，人体姿态检测算法可以确定左、右手在各帧图像中的坐标，从而确定用户的手部图像。此外，在图3A中，左、右手腕也是人体关键点，人体姿态检测算法也可以确定左、右手腕在各帧图像中的坐标，根据手腕坐标来确定用户的手部图像。
图3B示出了根据本发明另一个实施例的人体关键点的示意图。如图3B所示，人体上包括15个关键点，这15个关键点与人体部位的对应关系如下：1-头(Head)，2-肩中心(Shoulder Center)，3-左肩(Left Shoulder)，4-左肘(Left Elbow)，5-左手腕(LeftWrist)，6-右肩(Right Shoulder)，7-右肘(Right Elbow)，8-右手腕(Right Wrist)，9-髋中心(Hip Center)，10-左髋(Left Hip)，11-左膝(Left Knee)，12-左脚(Left Foot)，13-右髋(Right Hip)，14-右膝(Right Knee)，15-右脚(Right Foot)。在图3B中，左、右手不是人体关键点之一，因此，人体姿态检测算法无法确定左、右手在各帧图像中的坐标。在图3B中，左、右手腕是人体关键点，因此，可以根据左、右手腕的坐标来确定用户的手部图像。
需要说明的是，在一些实施例中，尽管人体姿态检测算法可以识别出图像中各个人体的关键点坐标，但是其难以保证前后两张图像中的手腕对应于同一个人。例如，在用户翻动商品的过程中，用户的手随着人体运动而发生甩动、伸入货架的等操作，用户的手腕常常发生被遮挡而无法观测的情况。当手腕离开视野、又重新进入视野时，错误地将不同的两只手腕关联到同一个用户可能导致对用户行为的错误理解，因此，在确定手腕坐标时，需要保证手腕对应于同一个行人。
根据一种实施例，可以采用目标跟踪算法来保证多张图像中的手腕对应于同一个用户。目标跟踪算法例如可以是KCF(Kernel Correlation Filter，核相关滤波)算法等，但不限于此。引入目标跟踪算法之后，用户的左、右手腕在用户行为视频的各帧图像中的坐标可以按照以下步骤确定：首先，采用人体姿态检测算法来确定用户的左、右手腕在一帧图像中的坐标，并确定用户的第一外接矩形；随后，采用目标跟踪算法来确定用户在下一帧图像中的第二外接矩形，将第二外接矩形内的手腕作为该用户的手腕，并采用人体姿态检测算法来确定用户的左、右手腕在该下一帧图像中的坐标，从而保证手腕对应于同一个用户。
图4示出了根据本发明一个实施例的采用人体姿态检测算法和目标跟踪算法来确定用户手腕坐标的示意图。如图4所示，在第一帧图像中，首先采用人体姿态检测算法识别出人体关键点坐标，基于人体关键点坐标，可以确定出各用户的左右手腕坐标，并且，根据各关键点坐标，可以分别确定各用户的外接矩形。在第一帧图像中，通过识别人体关键点，确定了a、b、c三个用户的外接矩形及左右手腕坐标，a、b、c三个用户的外接矩形分别为410、420、430，为每只手腕赋予独立的编号，用户a的左、右手腕编号分别为1、2，用户b的左、右手腕编号分别为3、4，用户c的左、右手腕编号分别为5、6。
目标跟踪算法可以分析各用户的外接矩形内的图像特征，并根据图像特征，确定用户在下一帧图像中的位置，即确定用户在下一帧图像中的外接矩形。参见图4，通过目标跟踪算法，确定用户a、b、c在第二帧图像中的位置如矩形框410、420、430所示，这样，矩形410、420、430内的手腕分别对应于用户a、b、c。再次运行人体姿态检测算法，可以确定第二帧图像中各用户的左、右手腕的坐标，即，矩形410内的手腕2对应于用户a，矩形420内的手腕3、4对应于用户b，矩形430内的手腕5、6对应于用户c。可见，在第二帧图像中，用户a的左手腕1离开了摄像头的视野。
随后，采用目标跟踪算法，确定用户a、b、c在第三帧图像中的位置。如图4所示，在第三帧图像中，用户b已消失，用户a、c的位置如矩形410、430所示。再次运行人体姿态检测算法，可以确定第三帧图像中各用户的左、右手腕坐标，即，矩形410内的手腕1、2对应于用户a，矩形430内的手腕5、6对应于用户c。
随后，采用采用目标跟踪算法，确定用户a、c在第四帧图像中的位置如矩形410、430所示。再次运行人体姿态检测算法，可以确定第三帧图像中各用户的左、右手腕坐标，即，矩形410内的手腕1、2对应于用户a，矩形430内的手腕5、6对应于用户c。另外，通过人体姿态检测算法，可以检测出第四帧图像中除了用户a、c之外的新的人体关键点，这时，为这些新的关键点分配用户编号d，为用户d的左、右手腕分配新的编号7、8，并根据用户d的关键点，确定用户d的外接矩形440。
在确定用户的左、右手腕在各帧图像中的坐标之后，可以根据该坐标，从各帧图像中裁剪出用户的左手图像和右手图像。裁剪的规则、裁剪出的图像的尺寸可以由本领域技术人员自行设置，本发明对此不做限制。在一个实施例中，裁剪出的左(右)手图像可以是以左(右)手坐标为中心的，长和宽为预设值的矩形图像。
在裁剪出左手、右手图像后，将裁剪所得的多张左手图像进行组合，可以得到用户的左手视频；将裁剪所得的多张右手图像进行组合，可以得到用户的右手视频。例如，如图4所示，将具有相同编号的手腕组合为手部视频，用户a的左手视频为由第一帧、第三帧、第四帧图像所裁剪出的手腕1的局部图像所组成，用户a的右手视频为由第一帧～第四帧图像所裁剪出的手腕2的局部图像所组成。
随后，在步骤S216中，将手部视频输入分类模型中，以便分类模型输出用户是否实施了翻动对象行为的判断。
在一个实施例中，手部视频包括左手视频和右手视频，在步骤S216中，将用户的左手视频和右手视频分别输入分类模型，分类模型将分别输出用户的左手、右手是否实施了翻动对象行为的判断，只要两个输出中有一个判断为是，则表明该用户实施了翻动对象行为。
在一个实施例中，分类模型以用户翻动对象时的手部视频、用户未翻动对象时的手部视频为训练样本训练得出，用户翻动对象时的手部视频为正样本(对应的分类标签为“是”)、用户未翻动对象时的手部视频为负样本(对应的分类标签为“否”)。分类模型例如可以是3D卷积模型，但不限于此。
根据一种实施例，若步骤S216中，分类模型输出用户实施了翻动对象行为的判断，则计算用户翻动对象的手腕在各帧图像中的坐标的均值，并判断该均值是否位于预设的目标区域中；若均值不位于目标区域中，则判定用户未实施翻动对象行为。在线下零售场景中，目标区域为货架区域。当用户在货架区域实施翻动行为时，表明用户翻动的是商品；当用户在非货架区域(例如行道)中实施翻动行为时，则表明用户翻动的不是商品，而是其他物品例如用户自己随身携带的物品。该方法可以排除用户翻动其他物品的行为，而准确识别出翻动商品的行为。
需要说明的是，为了判断手腕坐标均值是否在预设的目标区域中，首先需要确定目标区域的坐标。在零售场景中，目标区域为货架区域，非目标区域为行道区域。货架区域由于摆放有不同的商品，其颜色、边界等信息都比行道区域要复杂，因此，可以通过腐蚀、膨胀等形态学图像处理方法来区分货架区域和行道区域。当然，除了腐蚀、膨胀等形态学图像处理方法之外，本领域技术人员还可以采用其他图像处理方法来识别出目标区域，在一些实施例中，也可以采用人工标注的方法来确定目标区域，本发明对目标区域的确定方法不做限制。
在按照步骤S212～S216识别出用户翻动对象的行为之后，还需要确定该行为发生的第一时间和第一地点。摄像头130在录制视频时会显示录制时间，相应地，根据视频，即可确定用户实施翻动对象行为的第一时间。另外，摄像头130设置在店铺中的固定位置，因此，摄像头130所采集到的图像坐标与店铺中物体的实际坐标具有固定的对应关系，根据用户行为视频，即可以确定用户实施翻动对象行为的第一地点。
在步骤S220中，识别处于被翻动状态的目标对象，并确定目标对象被翻动时所处的第二时间和第二地点。
需要说明的是，尽管在图2所示的流程图中，步骤S210、S220顺序执行，但是，步骤S210、S220之间没有严格的先后顺序，即，可以像图2所示一样，先执行步骤S210，识别用户翻动对象的行为，然后再执行步骤S220，识别处于被翻动状态的目标对象；也可以先执行步骤S220，识别处于被翻动状态的目标对象，再执行步骤S210，识别用户翻动对象的行为。在一些实施例中，为了提高节省计算时间，提高计算效率，步骤S210和步骤S220也可以并行执行。
根据一种实施例，可以按照以下方法来识别处于被翻动状态的目标对象：首先，接收射频感应器所感应到的射频标签信息，如图1所示，射频标签110设置于对象320上且用于唯一标识该对象；随后，将射频标签信息发生波动的对象作为目标对象。参考图1，当对象(商品)320在货架上静止不动时，射频感应器120所感应到的该商品的射频标签110所发出的射频信号波动很小，几乎保持不变(射频信号的信号强度和相位值几乎不变)。当商品320被用户330翻动时，该商品上的射频标签110随之被翻动，这时，射频感应器120所感应到的该射频标签110的射频信号也相应地发生变化。因此，可以通过射频感应器所感应到的射频标签信息的波动情况来确定目标对象。
根据一种实施例，射频标签信息包括标签标识、信号强度和相位值。当射频感应器所感应到的信号强度、相位值的波动超过预设的阈值时，则表明该标签标识所对应的对象处于翻动状态。例如，在t1时刻，射频感应器感应到标签标识为id1的射频信号强度为rssi1，相位值为α1；在t2时刻，射频感应器感应到射频标签id1的射频信号强度为rssi2，相位值为α2。若rssi1与rssi2之差的绝对值大于第一阈值和/或α1与α2之差的绝对值大于第二阈值，则将射频标签id1所对应的对象标记为目标对象。
本领域技术人员可以理解，除上述阈值判断的方法之外，还可以采用其他异常检测算法来检测出发生波动的射频标签信息，以判断对象是否被翻动。异常检测算法例如可以是Grubbs算法、ESD(Extreme Studentized Deviate，极端学生化偏差)算法等离群点(Outlier)检测算法，但不限于此。
在一个实施例中，若仅采用一个射频感应器来感应射频标签发出的射频信号，则可能由于存在环境干扰而造成误判。优选地，采用两个及以上射频感应器来感应射频标签发出的射频信号，当根据每一个射频感应器所感应到的射频标签信息的波动范围均超过预设阈值时，才判定相应的对象为目标对象，从而可以排除环境干扰，增加射频标签信息识别的准确性和鲁棒性。
在识别出处于被翻动状态的目标对象后，还需要确定目标对象被翻动的第二时间和第二地点。射频感应器在感应射频标签信息时，会记录下感应射频标签信息的时间，因此，根据射频感应器所感应到的射频标签信息，即可确定目标对象被翻动的第二时间。另外，在线下零售场景中，每一个射频标签对应于一个对象(商品)，商品在货架上的位置通常是固定的，即使被顾客翻动，该商品仍位于该固定位置附近。因此，每一个标签都对应于店铺中的一个固定位置，根据射频感应器所感应到的标签标识，即可确定该标签所对应的目标对象的第二地点。
随后，在步骤S230中，当第一时间与第二时间匹配，且第一地点与第二地点匹配时，判定用户翻动了目标对象。
需要说明的是，在实践中，由于存在数据采集时的系统误差以及数据分析过程中的计算误差，很少出现第一时间与第二时间、第一地点与第二地点完全相同的情况。因此，步骤S230中的“匹配”通常不是指完全相同，而是两个数值较为接近，因而可以近似认为相同，即，第一时间与第二时间之差的绝对值、第一地点与第二地点之差的绝对值小于预设阈值。
为了更清楚地说明本发明的用户行为理解方案，图5示出了根据本发明一个实施例的用户行为理解过程的示意图。如图5所示，摄像头设置于线下店铺中，摄像头采集到的原始视频即为用户(顾客)行为视频，对用户行为视频进行裁剪，即可得到用户的手部视频。从用户行为视频中裁剪出手部视频的过程如图6所示。如图6所示，采用人体姿态检测算法来确定用户手腕关节在各帧图像中的坐标，并确定用户的外接矩形。采用目标跟踪算法，可以保证多帧图像中的手腕关联于同一个用户，即使在某些帧图像中用户的手腕被遮挡而暂时消失，在其重新进入视野时仍然可以与之前的图像关联，实现手腕短时消失重构，保证手腕对应于同一个用户，从而为准确理解用户行为奠定基础。基于人体姿态检测算法和目标跟踪算法，可以得出用户的手部视频。参考图5，在得到手部视频之后，将手部视频输入分类模型，分类模型输出顾客是否翻动了商品的判断，从而确定视频中哪些顾客翻动了商品。在一些实施例中，可以通过货架检测的方法，来排除用户翻动其他物品的行为，而准确识别出翻动商品的行为。
如图5所示，除了根据用户行为视频来确定翻动了商品的顾客之外，还需要通过射频感应器所感应到的射频(RFID)标签信息，来确定被翻动的商品。
在确定了翻动商品的顾客以及被翻动的商品之后，结合顾客翻动商品的时间地点以被翻动的商品的位置与翻动时间，即可确定视频中的哪一位顾客翻动了哪一个商品。
在一些实施例中，在确定了哪一位用户(顾客)翻动了哪一个对象(商品)之后，还可以进一步采用人脸识别等方法来识别出顾客的身份，将该顾客所翻动的商品作为该顾客感兴趣的商品，从而确定顾客对商品的偏好，并基于顾客对商品的偏好来向顾客提供商品推荐等个性化服务。
图7示出了根据本发明一个实施例的计算设备700的示意图。如图7所示，在基本的配置702中，计算设备700典型地包括系统存储器706和一个或者多个处理器704。存储器总线708可以用于在处理器704和系统存储器706之间的通信。
取决于期望的配置，处理器704可以是任何类型的处理，包括但不限于：微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器604可以包括诸如一级高速缓存710和二级高速缓存712之类的一个或者多个级别的高速缓存、处理器核心714和寄存器716。示例的处理器核心714可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器718可以与处理器704一起使用，或者在一些实现中，存储器控制器718可以是处理器704的一个内部部分。
取决于期望的配置，系统存储器706可以是任意类型的存储器，包括但不限于：易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。系统存储器706可以包括操作系统720、一个或者多个应用722以及程序数据724。应用722实际上是多条程序指令，其用于指示处理器704执行相应的操作。在一些实施方式中，应用722可以布置为在操作系统上使得处理器704利用程序数据724进行操作。
计算设备700还可以包括有助于从各种接口设备(例如，输出设备742、外设接口744和通信设备746)到基本配置702经由总线/接口控制器730的通信的接口总线740。示例的输出设备742包括图形处理单元748和音频处理单元750。它们可以被配置为有助于经由一个或者多个A/V端口752与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口744可以包括串行接口控制器754和并行接口控制器756，它们可以被配置为有助于经由一个或者多个I/O端口758和诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备746可以包括网络控制器760，其可以被布置为便于经由一个或者多个通信端口764与一个或者多个其他计算设备762通过网络通信链路的通信。
网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。
在根据本发明的计算设备700中，应用722例如可以包括供应链优化装置800，装置800包括多条程序指令，可以指示处理器704执行本发明的供应链优化方法200。计算设备700具体可以实现为本地计算机或服务器，但不限于此。
图8示出了根据本发明一个实施例的供应链优化装置800的示意图。装置800可以驻留于计算设备(例如前述计算设备140)中，用于执行本发明的供应链优化方法200。如图8所示，供应链优化装置800包括行为识别模块810、状态识别模块820和行为理解模块830。
行为识别模块810，适于识别用户翻动对象的行为，并确定所述行为发生的第一时间和第一地点。行为识别模块810具体用于执行如前述步骤S210的方法，关于行为识别模块810的处理逻辑和功能可以参见前述步骤S210的相关描述，此处不再赘述。
状态识别模块820，适于识别处于被翻动状态的目标对象，并确定所述目标对象被翻动时所处的第二时间和第二地点。状态识别模块820具体用于执行如前述步骤S220的方法，关于状态识别模块820的处理逻辑和功能可以参见前述步骤S220的相关描述，此处不再赘述。
行为理解模块830，适于在第一时间与第二时间匹配，且第一地点与第二地点匹配时，判定用户翻动了目标对象。行为理解模块830具体用于执行如前述步骤S230的方法，关于行为理解模块830的处理逻辑和功能可以参见前述步骤S230的相关描述，此处不再赘述。
这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如可移动硬盘、U盘、软盘、CD-ROM或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。
在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明的数据存储方法和/或数据查询方法。
以示例而非限制的方式，可读介质包括可读存储介质和通信介质。可读存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在可读介质的范围之内。
在此处所提供的说明书中，算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与本发明的示例一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。
如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的而非限制性的，本发明的范围由所附权利要求书限定。

Claims (17)

1.一种供应链优化方法，包括：
识别用户翻动对象的行为，并确定所述行为发生的第一时间和第一地点；
识别处于被翻动状态的目标对象，并确定所述目标对象被翻动时所处的第二时间和第二地点；
当所述第一时间与所述第二时间匹配，且所述第一地点与所述第二地点匹配时，判定所述用户翻动了所述目标对象。
2.如权利要求1所述的方法，其中，按照以下方法来识别用户翻动对象的行为：
获取包括用户行为的视频；
从所述视频中裁剪出包含用户手部图像的手部视频；
将所述手部视频输入分类模型中，以便所述分类模型输出所述用户是否实施了翻动对象行为的判断。
3.如权利要求2所述的方法，其中，所述手部视频包括左手视频和右手视频，所述从所述视频中裁剪出包含用户手部图像的手部视频的步骤包括：
分别确定用户的左、右手腕在所述视频的各帧图像中的坐标；
根据所述坐标，分别从各帧图像中裁剪出用户的左手图像和右手图像；
将裁剪所得到的多张左手图像进行组合，得到左手视频；以及
将裁剪所得到的多张右手图像进行组合，得到右手视频。
4.如权利要求3所述的方法，其中，所述分别确定用户的左、右手腕在所述视频的各帧图像中的坐标的步骤包括：
采用人体姿态检测算法来确定用户的左、右手腕在一帧图像中的坐标，并确定用户的第一外接矩形；
采用目标跟踪算法来确定所述用户在下一帧图像中的第二外接矩形，将所述第二外接矩形内的手腕作为所述用户的手腕，并采用人体姿态检测算法来确定用户的左、右手腕在所述下一帧图像中的坐标。
5.如权利要求3所述的方法，还包括：
若所述分类模型输出用户实施了翻动对象行为的判断，则计算用户翻动对象的手腕在所述各帧图像中的坐标的均值，并判断所述均值是否位于预设的目标区域中；
若所述均值不位于所述目标区域中，则判定所述用户未实施翻动对象行为。
6.如权利要求2所述的方法，其中，所述分类模型以用户翻动对象时的手部视频、用户未翻动对象时的手部视频为训练样本训练得出。
7.如权利要求6所述的方法，其中，所述分类模型包括3D卷积模型。
8.如权利要求2所述的方法，其中，所述第一时间和第一地点根据所述视频来确定。
9.如权利要求1所述的方法，其中，按照以下方法来识别处于被翻动状态的目标对象：
接收射频感应器所感应到的射频标签信息，其中，所述射频标签设置于对象上且用于唯一标识该对象；
将射频标签信息发生波动的对象作为目标对象。
10.如权利要求9所述的方法，其中，所述射频标签信息包括标签标识、信号强度和相位值。
11.如权利要求9所述的方法，其中，所述第二时间和第二地点根据所述射频感应器所感应到的射频标签信息来确定。
12.如权利要求1-11中任一项所述的方法，其中，所述用户为顾客，所述对象、所述目标对象均为商品。
13.如权利要求5所述的方法，其中，所述目标区域包括货架区域。
14.一种计算设备，包括：
至少一个处理器；和
存储有程序指令的存储器，其中，所述程序指令被配置为适于由所述至少一个处理器执行，所述程序指令包括用于执行如权利要求1-13中任一项所述方法的指令。
15.一种存储有程序指令的可读存储介质，当所述程序指令被计算设备读取并执行时，使得所述计算设备执行如权利要求1-13中任一项所述的供应链优化方法。
16.一种系统，包括：射频标签、射频感应器、摄像头和计算设备，其中，
所述射频标签设置于对象上，用于唯一标识该对象；
所述射频感应器用于接收射频标签所发出的射频信号，并从中提取出射频标签信息；
所述摄像头用于采集包括用户行为的视频；
所述计算设备分别与所述射频感应器和所述摄像头通信连接，适于获取所述射频标签信息和所述视频，并执行如权利要求1-13中任一项所述的供应链优化方法。
17.如权利要求16所述的系统，其中，所述射频感应器的数量至少为2。
CN201811533006.XA 2018-12-14 2018-12-14 供应链优化方法及系统 Active CN111325492B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201811533006.XA CN111325492B (zh) 2018-12-14 2018-12-14 供应链优化方法及系统
PCT/US2019/066197 WO2020123922A1 (en) 2018-12-14 2019-12-13 Method and system for recognizing user actions with respect to objects
US16/713,479 US11106901B2 (en) 2018-12-14 2019-12-13 Method and system for recognizing user actions with respect to objects

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811533006.XA CN111325492B (zh) 2018-12-14 2018-12-14 供应链优化方法及系统

Publications (2)

Publication Number Publication Date
CN111325492A true CN111325492A (zh) 2020-06-23
CN111325492B CN111325492B (zh) 2023-04-28

Family

ID=71072631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811533006.XA Active CN111325492B (zh) 2018-12-14 2018-12-14 供应链优化方法及系统

Country Status (3)

Country Link
US (1) US11106901B2 (zh)
CN (1) CN111325492B (zh)
WO (1) WO2020123922A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11963062B1 (en) * 2017-10-23 2024-04-16 Retail Aware, Inc. System and method for identifying product engagements
JP7368982B2 (ja) 2019-09-05 2023-10-25 東芝テック株式会社 販売管理システム及び販売管理方法
CN111259751B (zh) * 2020-01-10 2023-08-29 北京百度网讯科技有限公司 基于视频的人体行为识别方法、装置、设备及存储介质
CN112287891B (zh) * 2020-11-23 2022-06-10 福州大学 基于表情行为特征提取的通过视频评估学习专注力的方法
CN112973110A (zh) * 2021-03-19 2021-06-18 深圳创维－Rgb电子有限公司 云游戏控制方法、装置、网络电视及计算机可读存储介质
CN113379381B (zh) * 2021-06-08 2022-05-10 深圳市宇航智造技术有限公司 一种消毒工作监测管理方法及系统
CN114842459A (zh) * 2022-03-31 2022-08-02 上海商汤临港智能科技有限公司 动作检测方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020126161A1 (en) * 1994-07-05 2002-09-12 Hitachi, Ltd. Information processing system
US20120192235A1 (en) * 2010-10-13 2012-07-26 John Tapley Augmented reality system and method for visualizing an item
US20150154449A1 (en) * 2013-11-29 2015-06-04 Fujitsu Limited Method and apparatus for recognizing actions
CN106469382A (zh) * 2015-08-14 2017-03-01 阿里巴巴集团控股有限公司 闲置商品对象信息处理方法及装置
CN108830251A (zh) * 2018-06-25 2018-11-16 北京旷视科技有限公司 信息关联方法、装置和系统
CN108876067A (zh) * 2018-09-06 2018-11-23 北京翰宁智能科技有限责任公司 无人自动贩卖商店优化售卖商品的方法
CN108960366A (zh) * 2018-06-28 2018-12-07 厦门艾欧特科技有限公司 商品信息显示管理方法、装置、设备及智能商品架系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6014461A (en) 1994-11-30 2000-01-11 Texas Instruments Incorporated Apparatus and method for automatic knowlege-based object identification
US6697103B1 (en) 1998-03-19 2004-02-24 Dennis Sunga Fernandez Integrated network for monitoring remote objects
US7865398B2 (en) 2003-09-30 2011-01-04 Microsoft Corporation Radio frequency identification tag on picking container and display of picklist to order filler
US7336177B2 (en) 2005-08-25 2008-02-26 Kimberly-Clark Worldwide, Inc. RFID system and method for tracking individual articles
US7757947B2 (en) 2006-03-17 2010-07-20 Siemens Aktiengesellschaft R.F.I.D. enabled storage bin and method for tracking inventory
US7504949B1 (en) 2006-05-24 2009-03-17 Amazon Technologies, Inc. Method and apparatus for indirect asset tracking with RFID
US8175925B1 (en) 2006-08-18 2012-05-08 Amazon Technologies, Inc. Position-based item identification in a materials handling facility
US7495561B2 (en) 2006-08-25 2009-02-24 International Business Machines Corporation Item position indicator and optimized item retrieval for a sensor equipped storage unit
US7693757B2 (en) 2006-09-21 2010-04-06 International Business Machines Corporation System and method for performing inventory using a mobile inventory robot
US20100027845A1 (en) 2008-07-31 2010-02-04 Samsung Electronics Co., Ltd. System and method for motion detection based on object trajectory
WO2012150602A1 (en) 2011-05-03 2012-11-08 Yogesh Chunilal Rathod A system and method for dynamically monitoring, recording, processing, attaching dynamic, contextual & accessible active links & presenting of physical or digital activities, actions, locations, logs, life stream, behavior & status
US9393961B1 (en) 2012-09-19 2016-07-19 Google Inc. Verifying a target object with reverse-parallax analysis
US9405379B2 (en) 2013-06-13 2016-08-02 Microsoft Technology Licensing, Llc Classification of user input
US10268983B2 (en) 2013-06-26 2019-04-23 Amazon Technologies, Inc. Detecting item interaction and movement
JP2015153195A (ja) 2014-02-14 2015-08-24 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
US10242393B1 (en) 2014-06-24 2019-03-26 Amazon Technologies, Inc. Determine an item and user action in a materials handling facility
US20160110791A1 (en) 2014-10-15 2016-04-21 Toshiba Global Commerce Solutions Holdings Corporation Method, computer program product, and system for providing a sensor-based environment
US10280054B2 (en) 2015-03-06 2019-05-07 Walmart Apollo, Llc Shopping facility assistance systems, devices and methods
US10001402B1 (en) 2015-06-19 2018-06-19 Amazon Technologies, Inc. Instrumented item stowage system with modular elements
US20170186291A1 (en) 2015-12-24 2017-06-29 Jakub Wenus Techniques for object acquisition and tracking
US10740622B2 (en) * 2017-03-23 2020-08-11 Hall Labs Llc Method of theft detection and prevention

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020126161A1 (en) * 1994-07-05 2002-09-12 Hitachi, Ltd. Information processing system
US20120192235A1 (en) * 2010-10-13 2012-07-26 John Tapley Augmented reality system and method for visualizing an item
US20150154449A1 (en) * 2013-11-29 2015-06-04 Fujitsu Limited Method and apparatus for recognizing actions
CN106469382A (zh) * 2015-08-14 2017-03-01 阿里巴巴集团控股有限公司 闲置商品对象信息处理方法及装置
CN108830251A (zh) * 2018-06-25 2018-11-16 北京旷视科技有限公司 信息关联方法、装置和系统
CN108960366A (zh) * 2018-06-28 2018-12-07 厦门艾欧特科技有限公司 商品信息显示管理方法、装置、设备及智能商品架系统
CN108876067A (zh) * 2018-09-06 2018-11-23 北京翰宁智能科技有限责任公司 无人自动贩卖商店优化售卖商品的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
涂海丽;唐晓波;: "基于标签的商品推荐模型研究" *

Also Published As

Publication number Publication date
US11106901B2 (en) 2021-08-31
US20200193148A1 (en) 2020-06-18
WO2020123922A1 (en) 2020-06-18
CN111325492B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN111325492B (zh) 供应链优化方法及系统
US20240135353A1 (en) Self-Checkout Anti-Theft Vehicle Systems And Methods
JP6869345B2 (ja) 注文情報決定方法および装置
US20200151692A1 (en) Systems and methods for training data generation for object identification and self-checkout anti-theft
EP2751748B1 (en) Methods and arrangements for identifying objects
US8345101B2 (en) Automatically calibrating regions of interest for video surveillance
US20190371134A1 (en) Self-checkout system, method thereof and device therefor
Zhang et al. Robust image corner detection based on scale evolution difference of planar curves
US20100134624A1 (en) Detecting primitive events at checkout
CN110622173A (zh) 贴错标签的产品的检测
WO2021072699A1 (en) Irregular scan detection for retail systems
US20170032349A1 (en) Information processing apparatus
JP7081310B2 (ja) 行動分析装置、行動分析システム、行動分析方法、プログラムおよび記録媒体
CN108875501B (zh) 人体属性识别方法、装置、系统及存储介质
CN112154488B (zh) 信息处理装置、控制方法和程序
US20230130674A1 (en) Computer-readable recording medium storing learning program, learning method, and information processing apparatus
US20220414899A1 (en) Item location detection using homographies
US20220414900A1 (en) Item identification using multiple cameras
US20220414379A1 (en) Hand detection trigger for item identification
US20230169452A1 (en) System Configuration for Learning and Recognizing Packaging Associated with a Product
US20230267743A1 (en) Computer-readable recording medium, information processing method, and information processing apparatus
US20230094892A1 (en) Computer-readable recording medium, estimation method, and estimation device
US20230034988A1 (en) Computer-readable recording medium storing information processing program, information processing method, and information processing device
JP6741877B2 (ja) タグ情報を用いた物品管理システム
Shirasaka et al. Supervised learning for object classification from image and RFID data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant