CN111507315A - 一种物品取放事件检测方法、装置及设备 - Google Patents

一种物品取放事件检测方法、装置及设备 Download PDF

Info

Publication number
CN111507315A
CN111507315A CN202010544707.4A CN202010544707A CN111507315A CN 111507315 A CN111507315 A CN 111507315A CN 202010544707 A CN202010544707 A CN 202010544707A CN 111507315 A CN111507315 A CN 111507315A
Authority
CN
China
Prior art keywords
hand
person
determining
shelf
video image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010544707.4A
Other languages
English (en)
Inventor
张天琦
邹明杰
程浩
吴昌建
陈鹏
张玉全
戴华东
龚晖
张迪
朱皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202010544707.4A priority Critical patent/CN111507315A/zh
Publication of CN111507315A publication Critical patent/CN111507315A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/117—Biometrics derived from hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种物品取放事件检测方法、装置及设备，方法包括：针对货架进行视频采集，通过对视频图像进行分析，确定货架上的物品取放事件；可见，本方案不依赖于重力传感器的精度，对于一些重力传感器不易感知的物品，采用本方案仍能够准确检测这些物品的取放事件，本方案提高了检测的准确性。

Description

一种物品取放事件检测方法、装置及设备
技术领域
本发明涉及零售技术领域，特别是涉及一种物品取放事件检测方法、装置及设备。
背景技术
传统的零售行业中，一般需要配备专门的销售人员和收款人员，人力成本较高。随着技术的发展，出现了一些无人超市、无人商场等不需要配备销售人员和收款人员的购物场所。
这些购物场所中，需要检测货架上的物品取放事件，也就是检测货架上的物品是否被顾客取走或者放回。检测方案一般包括：在货架上安装重力传感器，基于重力传感器采集的重力数值，判断顾客是否取走或者放回了该货架上的物品。
但是重力传感器的精度有限，导致上述检测方案的准确性较差。比如，顾客取走或者放回一些重力较小的物品，重力传感器采集的重力数值没有变化，也就不能检测出货架上的物品取放事件。
发明内容
本发明实施例的目的在于提供一种物品取放事件检测方法、装置及设备，以提高检测的准确性。
为达到上述目的，本发明实施例提供了一种物品取放事件检测方法，包括：
获取针对货架采集的视频图像；
通过检测并跟踪所述视频图像中的人员手部，确定所述人员手部靠近所述货架时手持物品的数量，作为第一数量，以及确定所述人员手部离开所述货架时手持物品的数量，作为第二数量；
基于所述第一数量与所述第二数量的对比结果，确定所述货架上的物品取放事件。
可选的，所述通过检测并跟踪所述视频图像中的人员手部，确定所述人员手部靠近所述货架时手持物品的数量，作为第一数量，以及确定所述人员手部离开所述货架时手持物品的数量，作为第二数量，包括：
检测所述视频图像中的人员手部；
判断所述人员手部是否进入货架区域；
如果是，通过对所述人员手部进行跟踪，确定所述人员手部进入所述货架区域的时刻，作为第一时刻，以及确定所述人员手部离开所述货架区域的时刻，作为第二时刻；
在所获取的视频图像中，确定所述第一时刻采集的图像，作为第一视频图像，以及确定所述第二时刻采集的图像，作为第二视频图像；
在第一视频图像中，检测所述人员手部持有物品的数量，作为第一数量；在所述第二视频图像中，检测所述人员手部持有物品的数量，作为第二数量。
可选的，所述货架包括多个货格，每个货格中放置同一种物品；
所述判断所述人员手部是否进入货架区域，包括：
判断所述人员手部是否进入货格对应的预设搜索区域；
所述通过对所述人员手部进行跟踪，确定所述人员手部进入所述货架区域的时刻，作为第一时刻，以及确定所述人员手部离开所述货架区域的时刻，作为第二时刻，包括：
通过对所述人员手部进行跟踪，确定所述人员手部进入货格对应的预设搜索区域的时刻，作为第一时刻，以及确定所述人员手部离开所述货格对应的预设搜索区域的时刻，作为第二时刻；
所述基于所述第一数量与所述第二数量的对比结果，确定所述货架上的物品取放事件，包括：
若所述第一数量与所述第二数量不相等，则确定所述人员手部进入的搜索区域对应的货格，作为目标货格，并确定所述目标货格中的物品取放事件。
可选的，所述获取针对货架采集的视频图像，包括：
获取设置于货架上方的相机针对所述货架采集的二维图像和深度图像；
所述检测所述视频图像中的人员手部，包括：
在所述二维图像中检测人员手部，并基于所述二维图像与所述深度图像之间的映射关系，得到所述人员手部的三维坐标；
所述确定所述人员手部进入的搜索区域对应的货格，作为目标货格，包括：
基于所述人员手部的三维坐标、以及预先标定得到的各货格对应的预设搜索区域的三维坐标，确定所述人员手部进入的搜索区域对应的货格，作为目标货格。
可选的，所述确定所述人员手部进入的搜索区域对应的货格，作为目标货格之后，还包括：
确定所述目标货格上放置物品的类别，作为目标类别；
所述确定所述目标货格中的物品取放事件，包括：
计算所述第二数量与所述第一数量的差值；
若所述差值大于0，则确定所述目标货格中的物品取放事件为：所述差值个所述目标类别的物品被取走；
若所述差值小于0，则确定所述目标货格中的物品取放事件为：所述差值个所述目标类别的物品被放回。
可选的，所述方法还包括：
基于所述目标货格中的物品取放事件，更新所述目标类别的物品对应的库存记录。
可选的，所述方法还包括：
基于所述目标货格中的物品取放事件，更新所述人员的购物信息。
可选的，所述通过检测并跟踪所述视频图像中的人员手部，确定所述人员手部靠近所述货架时手持物品的数量，作为第一数量，以及确定所述人员手部离开所述货架时手持物品的数量，作为第二数量，包括：
检测所述视频图像中的人员手部；
判断所述人员手部是否进入货架区域；
如果是，在第一视频图像中，检测所述人员手部持有物品的数量，作为第一数量，所述第一视频图像为：所述人员手部进入所述货架区域时的视频图像；
通过对所述人员手部进行跟踪，确定所述人员手部离开所述货架区域时的视频图像，作为第二视频图像；
在所述第二视频图像中，检测所述人员手部持有物品的数量，作为第二数量。
为达到上述目的，本发明实施例还提供了一种物品取放事件检测装置，包括：
获取模块，用于获取针对货架采集的视频图像；
第一确定模块，用于通过检测并跟踪所述视频图像中的人员手部，确定所述人员手部靠近所述货架时手持物品的数量，作为第一数量，以及确定所述人员手部离开所述货架时手持物品的数量，作为第二数量；
第二确定模块，用于基于所述第一数量与所述第二数量的对比结果，确定所述货架上的物品取放事件。
可选的，所述第一确定模块，包括：
第一检测子模块，用于检测所述视频图像中的人员手部；
判断子模块，用于判断所述人员手部是否进入货架区域；如果是，触发第一确定子模块；
第一确定子模块，用于通过对所述人员手部进行跟踪，确定所述人员手部进入所述货架区域的时刻，作为第一时刻，以及确定所述人员手部离开所述货架区域的时刻，作为第二时刻；
第二确定子模块，用于在所获取的视频图像中，确定所述第一时刻采集的图像，作为第一视频图像，以及确定所述第二时刻采集的图像，作为第二视频图像；
第二检测子模块，用于在第一视频图像中，检测所述人员手部持有物品的数量，作为第一数量；在所述第二视频图像中，检测所述人员手部持有物品的数量，作为第二数量。
可选的，所述货架包括多个货格，每个货格中放置同一种物品；
所述判断子模块，具体用于：判断所述人员手部是否进入货格对应的预设搜索区域；
所述第一确定子模块，具体用于：通过对所述人员手部进行跟踪，确定所述人员手部进入货格对应的预设搜索区域的时刻，作为第一时刻，以及确定所述人员手部离开所述货格对应的预设搜索区域的时刻，作为第二时刻；
所述第二确定模块，包括：
第二确定子模块，用于在所述第一数量与所述第二数量不相等的情况下，确定所述人员手部进入的搜索区域对应的货格，作为目标货格；
第三确定子模块，用于确定所述目标货格中的物品取放事件。
可选的，所述获取模块，具体用于：
获取设置于货架上方的相机针对所述货架采集的二维图像和深度图像；
所述第一检测子模块，具体用于：
在所述二维图像中检测人员手部，并基于所述二维图像与所述深度图像之间的映射关系，得到所述人员手部的三维坐标；
所述第二确定子模块，具体用于：
在所述第一数量与所述第二数量不相等的情况下，基于所述人员手部的三维坐标、以及预先标定得到的各货格对应的预设搜索区域的三维坐标，确定所述人员手部进入的搜索区域对应的货格，作为目标货格。
可选的，所述装置还包括：
第三确定模块，用于确定所述目标货格上放置物品的类别，作为目标类别；
所述第三确定子模块，具体用于：
计算所述第二数量与所述第一数量的差值；
若所述差值大于0，则确定所述目标货格中的物品取放事件为：所述差值个所述目标类别的物品被取走；
若所述差值小于0，则确定所述目标货格中的物品取放事件为：所述差值个所述目标类别的物品被放回。
可选的，所述装置还包括：
第一更新模块，用于基于所述目标货格中的物品取放事件，更新所述目标类别的物品对应的库存记录。
可选的，所述装置还包括：
第二更新模块，用于基于所述目标货格中的物品取放事件，更新所述人员的购物信息。
可选的，所述第一确定模块，具体用于：
检测所述视频图像中的人员手部；
判断所述人员手部是否进入货架区域；
如果是，在第一视频图像中，检测所述人员手部持有物品的数量，作为第一数量，所述第一视频图像为：所述人员手部进入所述货架区域时的视频图像；
通过对所述人员手部进行跟踪，确定所述人员手部离开所述货架区域时的视频图像，作为第二视频图像；
在所述第二视频图像中，检测所述人员手部持有物品的数量，作为第二数量。
为达到上述目的，本发明实施例还提供了一种电子设备，包括处理器和存储器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任意一种物品取放事件检测方法。
应用本发明所示实施例，针对货架进行视频采集，通过对视频图像进行分析，确定货架上的物品取放事件；可见，本方案不依赖于重力传感器的精度，对于一些重力传感器不易感知的物品，采用本方案仍能够准确检测这些物品的取放事件，本方案提高了检测的准确性。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的物品取放事件检测方法的第一种流程示意图；
图2为本发明实施例提供的一种相机架设示意图；
图3为本发明实施例提供的另一种相机架设示意图；
图4为本发明实施例提供的一种确定人员手持物品数量的流程示意图；
图5为本发明实施例提供的物品取放事件检测方法的第二种流程示意图；
图6为本发明实施例提供的一种物品取放事件检测装置的结构示意图；
图7为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了达到上述目的，本发明实施例提供了一种物品取放事件检测方法、装置及设备，该方法及装置可以应用于各种电子设备，具体不做限定。
图1为本发明实施例提供的物品取放事件检测方法的第一种流程示意图，包括：
S101：获取针对货架采集的视频图像。
举例来说，参考图2所示，可以在货架的上方设置相机，比如，可以在货架正前方(面向顾客一侧)距地面约3.5米高的位置，架设垂直向下拍摄的相机。或者，参考图3所示，可以在货架面向顾客一侧设置相机，该相机朝向该货架进行图像采集。相机的具体位置不做限定。
S102：通过检测并跟踪视频图像中的人员手部，确定该人员手部靠近该货架时手持物品的数量，作为第一数量，以及确定该人员手部离开该货架时手持物品的数量，作为第二数量。
举例来说，相机的位置及拍摄角度是固定的，货架的位置也是固定的。相机可以针对一个货架或者多个货架进行图像采集。
一种实施方式中，可以预先标定视频图像中的货架区域、以及货架上放置的物品类别。如果同一货架上摆放了多种物品，可以预先标定货架的各个位置上所放置的物品类别。
这种实施方式中，如果相机针对一个货架进行图像采集，并且这一个货架上放置同一种物品，则不需要确定人员手部在货架中的具体位置，确定人员手部是否靠近、离开货架即可。如果相机针对一个货架进行图像采集，但这一个货架上放置不同类别的物品，则后续内容中需要确定人员手部在货架中的具体位置，以便确定用户取走或放回物品的类别。
如果相机针对多个货架进行图像采集，同一货架上放置同一种物品，则后续内容中需要确定人员手部所在的具体货架，以便确定用户取走或放回物品的类别。如果相机针对多个货架进行图像采集，同一货架上放置不同类别的物品，则后续内容中需要确定人员手部所在的具体货架、以及人员手部在货架中的具体位置，以便确定用户取走或放回物品的类别。
或者，另一种实施方式中，也可以在物品取放事件检测过程中，识别视频图像中的货架区域、以及货架上放置的物品类别。举例来说，本实施方式中，可以预先存储每种物品的模型，将视频图像中人员手部所持的物品与各种物品的模型进行匹配，从而确定人员手持物品的类别。
一种实施方式中，参考图4所示，S102可以包括：
S102A：检测视频图像中的人员手部。
举例来说，可以采用基于卷积神经网络的bottom-up(自下而上的，从点到面的)关键点检测算法，检测视频图像中的手部关键点。或者，也可以采用其他目标检测算法，检测视频图像中的人员手部。具体检测方式不做限定。
S102B：判断该人员手部是否进入货架区域；如果是，执行S102C-S102E。
如上所述，可以预先标定视频图像中的货架区域。或者，也可以在物品取放事件检测过程中，识别视频图像中的货架区域。
S102C：通过对该人员手部进行跟踪，确定该人员手部进入该货架区域的时刻，作为第一时刻，以及确定该人员手部离开该货架区域的时刻，作为第二时刻。
如上所述，如果同一货架上放置同一种物品，则不需要确定人员手部在这一货架中的具体位置，确定人员手部是否靠近、离开这一货架即可。如果同一货架上放置不同类别的物品，则后续内容中需要确定人员手部在这一货架中的具体位置，以便确定用户取走或放回物品的类别。
一种实施方式中，可以将货架划分为多个货格，每个货格中放置同一种物品。这种实施方式中，S102B可以包括：判断所述人员手部是否进入货格对应的预设搜索区域。
举例来说，可以预先设定每个货格对应的搜索区域，比如，可以将货格上下左右各外扩10厘米，将货格面向顾客的方向外扩30厘米，得到一个立方体区域，将该立方体区域作为该货格对应的搜索区域。如果检测到人员手部进入货格对应的搜索区域，则表示上述S102B判断结果为是。
这样，搜索区域大于货格本身所在区域，可以提高检测灵敏度。或者，其他情况下，也可以不对货格进行外扩，将货格所在区域作为搜索区域。具体的搜索区域不做限定。
这种实施方式中，S102C可以包括：通过对所述人员手部进行跟踪，确定所述人员手部进入货格对应的预设搜索区域的时刻，作为第一时刻，以及确定所述人员手部离开该货格对应的预设搜索区域的时刻，作为第二时刻。
S102D：在所获取的视频图像中，确定第一时刻采集的图像，作为第一视频图像，以及确定第二时刻采集的图像，作为第二视频图像。
S102E：在第一视频图像中，检测该人员手部持有物品的数量，作为第一数量；在第二视频图像中，检测该人员手部持有物品的数量，作为第二数量。
举例来说，可以采用目标检测的卷积神经网络，比如YOLO-V3网络(YOLO：You OnlyLook Once，你只需要看一遍；V3：Version3，版本3)，对第一视频图像和第二视频图像进行物品检测，得到物品目标矩形框。每个物品对应一个物品目标矩形框，这样，可以基于物品目标矩形框的数量，确定人员手部持有物品的数量。或者，也可以采用其他目标检测算法，检测视频图像中手持物品的数量。具体检测方式不做限定。
另一种实施方式中，S102可以包括：检测所述视频图像中的人员手部；
判断所述人员手部是否进入货架区域；
如果是，在第一视频图像中，检测所述人员手部持有物品的数量，作为第一数量，所述第一视频图像为：所述人员手部进入所述货架区域时的视频图像；
通过对所述人员手部进行跟踪，确定所述人员手部离开所述货架区域时的视频图像，作为第二视频图像；
在所述第二视频图像中，检测所述人员手部持有物品的数量，作为第二数量。
在视频图像中，检测人员手部以及检测人员手部持有物品数量的具体检测方式，上述内容已经介绍过，这里不再赘述。
假设在第N帧视频图像中检测到人员手部，N为正整数，判断该人员手部是否进入货架区域：如果判断结果为否，则继续对第N+1帧视频图像进行检测。如果判断结果为是，则在第N帧视频图像中检测所述人员手部持有物品的数量，作为第一数量。
如果判断结果为是，在第N帧视频图像之后的视频图像中，对所述人员手部进行跟踪。假设在第N+M帧图像中检测到所述人员手部离开所述货架区域，M为正整数，则在第N+M帧图像中检测所述人员手部持有物品的数量，作为第二数量。
一种实施方式中，参考图3所示，在货架面向顾客一侧设置相机，该相机朝向该货架进行图像采集，这种实施方式中，视频图像可以表示出X轴的坐标和Y轴的坐标，仅基于X轴的坐标和Y轴的坐标，便可以区分货架中的不同货格，可以确定货格所在的行和列。仅基于人员手部在视频图像中的二维坐标(X轴的坐标和Y轴的坐标)，便可以确定人员手部进入了货架中的哪个货格。
另一种实施方式中，参考图2所示，在货架上方设置相机，该相机垂直向下进行图像采集，这种实施方式中，视频图像表示出X轴的坐标和Z轴的坐标，但仅基于X轴的坐标和Z轴的坐标，并不能区分货架中的不同货格。仅基于人员手部在视频图像中的二维坐标，也就是X轴的坐标和Z轴的坐标，并不能区分货架中的不同货格，仅能确定货格所在列，不能确定货格所在行。这种实施方式中，可以确定人员手部及货格的三维坐标，以便确定人员手部进入了货架中的哪个货格。
本实施方式中，S101可以包括：获取设置于货架上方的相机针对所述货架采集的二维图像和深度图像；S102A可以包括：在所述二维图像中检测人员手部，并基于所述二维图像与所述深度图像之间的映射关系，得到所述人员手部的三维坐标。
此外，还可以基于所述人员手部的三维坐标、以及预先标定得到的各货格对应的预设搜索区域的三维坐标，确定所述人员手部进入的搜索区域对应的货格，作为目标货格。
一种情况下，上述判定人员手部进入货架区域的情况下，可以进一步确定人员手部进入了哪一个货格，将该货格作为目标货格。或者，另一种情况下，后续内容中得到第一数量和第二数量后，若第一数量和第二数量不相等，再进一步确定人员手部进入了哪一个货格，将该货格作为目标货格。
举例来说，一种情况下，可以在货架上方设置多目相机，该多目相机可以为双目相机，或者可以为三目相机，具体不做限定。该多目相机针对货架采集的多目图像即为二维图像，基于该多目图像可以计算得到深度图像。或者，另一种情况下，也可以在货架上方设置深度相机，该深度相机针对货架进行图像采集，得到二维图像和深度图像。
可以预先标定每个货格对应的搜索区域的三维坐标。可以在二维图像中检测人员手部，得到人员手部的二维坐标，然后再基于二维图像与深度图像之间的映射关系，得到人员手部的三维坐标。这样，便可以基于三维坐标，判断人员手部进入了哪个货格的对应的预设搜索区域。该“哪个货格”即为上述目标货格。可以在连续多帧视频图像中对人员手部进行跟踪，这样，可以更准确地判断该人员手部进入了哪个货格的对应的预设搜索区域。
S103：基于第一数量与第二数量的对比结果，确定该货架上的物品取放事件。
举例来说，物品取放事件中可以包括：取走事件还是放回事件；或者，物品取放事件中还可以包括：事件对应的物品类别、事件对应的物品数量。
可以基于第一数量与第二数量的差值，确定货架上的物品被取走还是被放回(取走事件还是放回事件)。比如，计算第二数量与第一数量的差值，若差值大于0，则为取走事件，若差值小于为0，则为放回事件。事件对应的物品数量即为该差值的绝对值。事件对应的物品类别即为该货架上放置物品的类别。
上述一种情况下，一个货架包括多个货格，每个货格中放置同一种物品。一种实施方式中，上述判定人员手部进入货架区域的情况下，可以进一步确定人员手部进入了哪一个货格，将该货格作为目标货格。
或者，另一种实施方式中，在得到第一数量和第二数量后，若第一数量和第二数量不相等，再进一步确定人员手部进入了哪一个货格，将该货格作为目标货格。
这种实施方式中，S103可以包括：若所述第一数量与所述第二数量不相等，则确定所述人员手部进入的搜索区域对应的货格，作为目标货格，并确定所述目标货格中的物品取放事件。
一种实施方式中，确定所述人员手部进入的搜索区域对应的货格，作为目标货格之后，可以确定所述目标货格上放置物品的类别，作为目标类别。这种实施方式中，确定所述目标货格中的物品取放事件，包括：计算所述第二数量与所述第一数量的差值；若所述差值大于0，则确定所述目标货格中的物品取放事件为：所述差值个所述目标类别的物品被取走；若所述差值小于0，则确定所述目标货格中的物品取放事件为：所述差值个所述目标类别的物品被放回。
一种实施方式中，可以基于所述目标货格中的物品取放事件，更新所述目标类别的物品对应的库存记录。
举例来说，可以预先标定每个货架上放置的物品类别及物品数量。上述一种实施方式中，货架包括多个货格，每个货格中放置同一种物品，这种实施方式中，可以预先标定每个货格上放置的物品类别及物品数量。可以基于标定结果形成库存记录。
比如，假设货架上包括6行6列，形成6*6＝36个货格，分别为这36个货格分配标识，标识可以为序号，或者也可以为行列号，具体标识不做限定。预先确定每个货格中放置物品的类别及数量，将货格标识与物品类别及数量对应存储，形成库存记录。
假设第3行第3列的货格中放置的物品为巧克力，假设检测到顾客的手部进入该货格对应的预设搜索区域时，手部持有物品数量为0，检测到该顾客的手部离开该货格对应的预设搜索区域时，手部持有物品数量为2，则确定该货格中2件巧克力被取走。这种情况下，可以将库存记录中，第3行第3列的货格对应的巧克力数量减少两个。
假设又检测到顾客的手部进入第3行第3列的货格对应的预设搜索区域，且手部持有物品数量为2，后又检测到该顾客的手部离开该货格对应的预设搜索区域时，手部持有物品数量为1，则确定该货格中1件巧克力又被放回。这种情况下，可以将库存记录中，第3行第3列的货格对应的巧克力数量增加一个。
一种实施方式中，可以基于所述目标货格中的物品取放事件，更新所述人员的购物信息。
举例来说，在一些购物场景中，可以自人员进入购物场所时起，为人员建立购物信息，并对人员进行跟踪，当检测到该人员对货格中的物品发生取放行为时，基于该货格中的物品取放事件，更新该人员的购物信息。
例如，在无人超市或者无人商场等购物场所的入口处，设置门禁设备，顾客A在该门禁设备上进行认证，门禁设备为顾客A建立虚拟购物车。购物场所中各处设置有相机，基于相机采集的视频图像，对顾客A进行轨迹跟踪。假设应用本方案，检测到视频图像中顾客A的人员手部，并确定出顾客A对货格B中的物品C进行了取放行为，或者说，确定出货格B中的物品C的取放事件，并且通过轨迹跟踪确定出取放该物品C的人员为顾客A。如果为取走P个物品C的事件，则在顾客A的虚拟购物车中，增加P个物品C的信息，如果为放回Q个物品C的事件，则在顾客A的虚拟购物车中，减少Q个物品C的信息。P和Q均表示正整数。
应用本发明所示实施例，针对货架进行视频采集，通过对视频图像进行分析，确定货架上的物品取放事件；可见，第一方面，本方案不依赖于重力传感器的精度，对于一些重力传感器不易感知的物品，采用本方案仍能够准确检测这些物品的取放事件，本方案提高了检测的准确性。
第二方面，如果采用基于重力传感器进行检测的方案，重力传感器重采集的重力数值发生变化后，需要稳定一段时间，才能得到较准确的重力数值。因此，这种方案不能识别短时间内的连续取放行为。例如，一位顾客先放回一件物品，另一位顾客又紧接着拿起这件物品，重力传感器稳定后，其变化值为0，并不能检测出物品被放回和取走的事件。而应用本发明所示实施例，基于视频图像可以检测出物品被放回和取走的事件，提高了检测的准确性。
第三方面，如果将货架划分为多个货格，每个货格中放置同一种物品，采用基于重力传感器进行检测的方案，则需要针对每个货格分别安装一个重力传感器，成本较高。而应用本发明所示实施例，同一相机可以针对多个货格进行图像采集，基于视频图像可以识别该多个货格中的物品取放事件，并不需要针对每个货格分别安装一台相机，减少了成本。
第四方面，一些相关方案中，在每个物品上粘贴RFID(Radio FrequencyIdentification，射频识别)标签，顾客离开购物场所时，通过仪器自动检测RFID标签，确定物品取放事件，进而对顾客购买的物品进行结算扣款。但这种方案中，需要在每个物品上都粘贴RFID标签，成本较高，并且造成了资源浪费。而应用本发明所示实施例，不需要在物品上粘贴RFID标签，降低了成本，减少了浪费。
图5为本发明实施例提供的物品取放事件检测方法的第二种流程示意图，包括：
S501：获取针对货架采集的视频图像。
S502：检测该视频图像中的人员手部。
举例来说，可以采用基于卷积神经网络的bottom-up(自下而上的，从点到面的)关键点检测算法，检测视频图像中的手部关键点。或者，也可以采用其他目标检测算法，检测视频图像中的人员手部。具体检测方式不做限定。
S503：判断该人员手部是否进入货格对应的预设搜索区域，如果是，执行S504。
可以将货架划分为多个货格，每个货格中放置同一种物品。举例来说，可以预先设定每个货格对应的搜索区域，比如，可以将货格上下左右各外扩10厘米，将货格面向顾客的方向外扩30厘米，得到一个立方体区域，将该立方体区域作为该货格对应的搜索区域。如果检测到人员手部进入货格对应的搜索区域，则表示S503判断结果为是。
这样，搜索区域大于货格本身所在区域，可以提高检测灵敏度。或者，其他情况下，也可以不对货格进行外扩，将货格所在区域作为搜索区域。具体的搜索区域不做限定。
S504：通过对该人员手部进行跟踪，确定该人员手部进入货格对应的预设搜索区域的时刻，作为第一时刻，以及确定该人员手部离开该货格对应的预设搜索区域的时刻，作为第二时刻。
S505：在所获取的视频图像中，确定第一时刻采集的图像，作为第一视频图像，以及确定第二时刻采集的图像，作为第二视频图像。
S506：在第一视频图像中，检测该人员手部持有物品的数量，作为第一数量；在第二视频图像中，检测该人员手部持有物品的数量，作为第二数量。
举例来说，可以采用目标检测的卷积神经网络，比如YOLO-V3网络(YOLO：You OnlyLook Once，你只需要看一遍；V3：Version3，版本3)，对第一视频图像和第二视频图像进行物品检测，得到物品目标矩形框。每个物品对应一个物品目标矩形框，这样，可以基于物品目标矩形框的数量，确定人员手部持有物品的数量。或者，也可以采用其他目标检测算法，检测视频图像中手持物品的数量。具体检测方式不做限定。
S507：若第一数量与第二数量不相等，则确定该人员手部进入的搜索区域对应的货格，作为目标货格。
S508：确定目标货格上放置物品的类别，作为目标类别。
举例来说，可以预先标定每个货格中放置的物品类别，这样，在S507确定出目标货格后，便可以得到目标货格上放置物品的类别，为了方便描述，将其称为目标类别。
S509：计算第二数量与第一数量的差值；判断该差值大于0还是小于0。如果大于0，执行S510，如果小于0，执行S511。
S510：确定目标货格中的物品取放事件为：该差值个目标类别的物品被取走。
S511：确定目标货格中的物品取放事件为：该差值个目标类别的物品被放回。
应用本发明所示实施例，第一方面，本方案不依赖于重力传感器的精度，对于一些重力传感器不易感知的物品，采用本方案仍能够准确检测这些物品的取放事件，本方案提高了检测的准确性。第二方面，基于视频图像可以检测出短时间内发生的物品被放回和取走的事件，提高了检测的准确性。第三方面，如果将货架划分为多个货格，每个货格中放置同一种物品，同一相机可以针对多个货格进行图像采集，基于视频图像可以识别该多个货格中的物品取放事件，并不需要针对每个货格分别安装一台相机，减少了成本。第四方面，不需要在物品上粘贴RFID标签，降低了成本，减少了浪费。
为达到上述目的，本发明实施例还提供了一种物品取放事件检测装置，如图6所示，包括：
获取模块601，用于获取针对货架采集的视频图像；
第一确定模块602，用于通过检测并跟踪所述视频图像中的人员手部，确定所述人员手部靠近所述货架时手持物品的数量，作为第一数量，以及确定所述人员手部离开所述货架时手持物品的数量，作为第二数量；
第二确定模块603，用于基于所述第一数量与所述第二数量的对比结果，确定所述货架上的物品取放事件。
一种实施方式中，第一确定模块602，包括：第一检测子模块、判断子模块、第一确定子模块、第二确定子模块和第二检测子模块(图中未示出)，其中，
第一检测子模块，用于检测所述视频图像中的人员手部；
判断子模块，用于判断所述人员手部是否进入货架区域；如果是，触发第一确定子模块；
第一确定子模块，用于通过对所述人员手部进行跟踪，确定所述人员手部进入所述货架区域的时刻，作为第一时刻，以及确定所述人员手部离开所述货架区域的时刻，作为第二时刻；
第二确定子模块，用于在所获取的视频图像中，确定所述第一时刻采集的图像，作为第一视频图像，以及确定所述第二时刻采集的图像，作为第二视频图像；
第二检测子模块，用于在第一视频图像中，检测所述人员手部持有物品的数量，作为第一数量；在所述第二视频图像中，检测所述人员手部持有物品的数量，作为第二数量。
一种实施方式中，所述货架包括多个货格，每个货格中放置同一种物品；
所述判断子模块，具体用于：判断所述人员手部是否进入货格对应的预设搜索区域；
所述第一确定子模块，具体用于：通过对所述人员手部进行跟踪，确定所述人员手部进入货格对应的预设搜索区域的时刻，作为第一时刻，以及确定所述人员手部离开所述货格对应的预设搜索区域的时刻，作为第二时刻；
第二确定模块603包括：第二确定子模块和第三确定子模块(图中未示出)，其中，
第二确定子模块，用于在所述第一数量与所述第二数量不相等的情况下，确定所述人员手部进入的搜索区域对应的货格，作为目标货格；
第三确定子模块，用于确定所述目标货格中的物品取放事件。
一种实施方式中，获取模块601具体用于：
获取设置于货架上方的相机针对所述货架采集的二维图像和深度图像；
所述第一检测子模块，具体用于：
在所述二维图像中检测人员手部，并基于所述二维图像与所述深度图像之间的映射关系，得到所述人员手部的三维坐标；
所述第二确定子模块，具体用于：
在所述第一数量与所述第二数量不相等的情况下，基于所述人员手部的三维坐标、以及预先标定得到的各货格对应的预设搜索区域的三维坐标，确定所述人员手部进入的搜索区域对应的货格，作为目标货格。
一种实施方式中，所述装置还包括：
第三确定模块(图中未示出)，用于确定所述目标货格上放置物品的类别，作为目标类别；
所述第三确定子模块，具体用于：
计算所述第二数量与所述第一数量的差值；
若所述差值大于0，则确定所述目标货格中的物品取放事件为：所述差值个所述目标类别的物品被取走；
若所述差值小于0，则确定所述目标货格中的物品取放事件为：所述差值个所述目标类别的物品被放回。
一种实施方式中，所述装置还包括：
第一更新模块(图中未示出)，用于基于所述目标货格中的物品取放事件，更新所述目标类别的物品对应的库存记录。
一种实施方式中，所述装置还包括：
第二更新模块(图中未示出)，用于基于所述目标货格中的物品取放事件，更新所述人员的购物信息。
一种实施方式中，第一确定模块602具体用于：
检测所述视频图像中的人员手部；
判断所述人员手部是否进入货架区域；
如果是，在第一视频图像中，检测所述人员手部持有物品的数量，作为第一数量，所述第一视频图像为：所述人员手部进入所述货架区域时的视频图像；
通过对所述人员手部进行跟踪，确定所述人员手部离开所述货架区域时的视频图像，作为第二视频图像；
在所述第二视频图像中，检测所述人员手部持有物品的数量，作为第二数量。
应用本发明所示实施例，第一方面，本方案不依赖于重力传感器的精度，对于一些重力传感器不易感知的物品，采用本方案仍能够准确检测这些物品的取放事件，本方案提高了检测的准确性。第二方面，基于视频图像可以检测出短时间内发生的物品被放回和取走的事件，提高了检测的准确性。第三方面，如果将货架划分为多个货格，每个货格中放置同一种物品，同一相机可以针对多个货格进行图像采集，基于视频图像可以识别该多个货格中的物品取放事件，并不需要针对每个货格分别安装一台相机，减少了成本。第四方面，不需要在物品上粘贴RFID标签，降低了成本，减少了浪费。
本发明实施例还提供了一种电子设备，如图7所示，包括处理器701和存储器702，
存储器702，用于存放计算机程序；
处理器701，用于执行存储器702上所存放的程序时，实现上述任意一种物品取放事件检测方法。
上述电子设备提到的存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一种物品取放事件检测方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任意一种物品取放事件检测方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例、设备实施例、计算机可读存储介质实施例、以及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (11)

1.一种物品取放事件检测方法，其特征在于，包括：
获取针对货架采集的视频图像；
通过检测并跟踪所述视频图像中的人员手部，确定所述人员手部靠近所述货架时手持物品的数量，作为第一数量，以及确定所述人员手部离开所述货架时手持物品的数量，作为第二数量；
基于所述第一数量与所述第二数量的对比结果，确定所述货架上的物品取放事件。
2.根据权利要求1所述的方法，其特征在于，所述通过检测并跟踪所述视频图像中的人员手部，确定所述人员手部靠近所述货架时手持物品的数量，作为第一数量，以及确定所述人员手部离开所述货架时手持物品的数量，作为第二数量，包括：
检测所述视频图像中的人员手部；
判断所述人员手部是否进入货架区域；
如果是，通过对所述人员手部进行跟踪，确定所述人员手部进入所述货架区域的时刻，作为第一时刻，以及确定所述人员手部离开所述货架区域的时刻，作为第二时刻；
在所获取的视频图像中，确定所述第一时刻采集的图像，作为第一视频图像，以及确定所述第二时刻采集的图像，作为第二视频图像；
在第一视频图像中，检测所述人员手部持有物品的数量，作为第一数量；在所述第二视频图像中，检测所述人员手部持有物品的数量，作为第二数量。
3.根据权利要求2所述的方法，其特征在于，所述货架包括多个货格，每个货格中放置同一种物品；
所述判断所述人员手部是否进入货架区域，包括：
判断所述人员手部是否进入货格对应的预设搜索区域；
所述通过对所述人员手部进行跟踪，确定所述人员手部进入所述货架区域的时刻，作为第一时刻，以及确定所述人员手部离开所述货架区域的时刻，作为第二时刻，包括：
通过对所述人员手部进行跟踪，确定所述人员手部进入货格对应的预设搜索区域的时刻，作为第一时刻，以及确定所述人员手部离开所述货格对应的预设搜索区域的时刻，作为第二时刻；
所述基于所述第一数量与所述第二数量的对比结果，确定所述货架上的物品取放事件，包括：
若所述第一数量与所述第二数量不相等，则确定所述人员手部进入的搜索区域对应的货格，作为目标货格，并确定所述目标货格中的物品取放事件。
4.根据权利要求3所述的方法，其特征在于，所述获取针对货架采集的视频图像，包括：
获取设置于货架上方的相机针对所述货架采集的二维图像和深度图像；
所述检测所述视频图像中的人员手部，包括：
在所述二维图像中检测人员手部，并基于所述二维图像与所述深度图像之间的映射关系，得到所述人员手部的三维坐标；
所述确定所述人员手部进入的搜索区域对应的货格，作为目标货格，包括：
基于所述人员手部的三维坐标、以及预先标定得到的各货格对应的预设搜索区域的三维坐标，确定所述人员手部进入的搜索区域对应的货格，作为目标货格。
5.根据权利要求1所述的方法，其特征在于，所述通过检测并跟踪所述视频图像中的人员手部，确定所述人员手部靠近所述货架时手持物品的数量，作为第一数量，以及确定所述人员手部离开所述货架时手持物品的数量，作为第二数量，包括：
检测所述视频图像中的人员手部；
判断所述人员手部是否进入货架区域；
如果是，在第一视频图像中，检测所述人员手部持有物品的数量，作为第一数量，所述第一视频图像为：所述人员手部进入所述货架区域时的视频图像；
通过对所述人员手部进行跟踪，确定所述人员手部离开所述货架区域时的视频图像，作为第二视频图像；
在所述第二视频图像中，检测所述人员手部持有物品的数量，作为第二数量。
6.一种物品取放事件检测装置，其特征在于，包括：
获取模块，用于获取针对货架采集的视频图像；
第一确定模块，用于通过检测并跟踪所述视频图像中的人员手部，确定所述人员手部靠近所述货架时手持物品的数量，作为第一数量，以及确定所述人员手部离开所述货架时手持物品的数量，作为第二数量；
第二确定模块，用于基于所述第一数量与所述第二数量的对比结果，确定所述货架上的物品取放事件。
7.根据权利要求6所述的装置，其特征在于，所述第一确定模块，包括：
第一检测子模块，用于检测所述视频图像中的人员手部；
判断子模块，用于判断所述人员手部是否进入货架区域；如果是，触发第一确定子模块；
第一确定子模块，用于通过对所述人员手部进行跟踪，确定所述人员手部进入所述货架区域的时刻，作为第一时刻，以及确定所述人员手部离开所述货架区域的时刻，作为第二时刻；
第二确定子模块，用于在所获取的视频图像中，确定所述第一时刻采集的图像，作为第一视频图像，以及确定所述第二时刻采集的图像，作为第二视频图像；
第二检测子模块，用于在第一视频图像中，检测所述人员手部持有物品的数量，作为第一数量；在所述第二视频图像中，检测所述人员手部持有物品的数量，作为第二数量。
8.根据权利要求7所述的装置，其特征在于，所述货架包括多个货格，每个货格中放置同一种物品；
所述判断子模块，具体用于：判断所述人员手部是否进入货格对应的预设搜索区域；
所述第一确定子模块，具体用于：通过对所述人员手部进行跟踪，确定所述人员手部进入货格对应的预设搜索区域的时刻，作为第一时刻，以及确定所述人员手部离开所述货格对应的预设搜索区域的时刻，作为第二时刻；
所述第二确定模块，包括：
第二确定子模块，用于在所述第一数量与所述第二数量不相等的情况下，确定所述人员手部进入的搜索区域对应的货格，作为目标货格；
第三确定子模块，用于确定所述目标货格中的物品取放事件。
9.根据权利要求8所述的装置，其特征在于，所述获取模块，具体用于：
获取设置于货架上方的相机针对所述货架采集的二维图像和深度图像；
所述第一检测子模块，具体用于：
在所述二维图像中检测人员手部，并基于所述二维图像与所述深度图像之间的映射关系，得到所述人员手部的三维坐标；
所述第二确定子模块，具体用于：
在所述第一数量与所述第二数量不相等的情况下，基于所述人员手部的三维坐标、以及预先标定得到的各货格对应的预设搜索区域的三维坐标，确定所述人员手部进入的搜索区域对应的货格，作为目标货格。
10.根据权利要求6所述的装置，其特征在于，所述第一确定模块，具体用于：
检测所述视频图像中的人员手部；
判断所述人员手部是否进入货架区域；
如果是，在第一视频图像中，检测所述人员手部持有物品的数量，作为第一数量，所述第一视频图像为：所述人员手部进入所述货架区域时的视频图像；
通过对所述人员手部进行跟踪，确定所述人员手部离开所述货架区域时的视频图像，作为第二视频图像；
在所述第二视频图像中，检测所述人员手部持有物品的数量，作为第二数量。
11.一种电子设备，其特征在于，包括处理器和存储器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
CN202010544707.4A 2020-06-15 2020-06-15 一种物品取放事件检测方法、装置及设备 Pending CN111507315A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010544707.4A CN111507315A (zh) 2020-06-15 2020-06-15 一种物品取放事件检测方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010544707.4A CN111507315A (zh) 2020-06-15 2020-06-15 一种物品取放事件检测方法、装置及设备

Publications (1)

Publication Number Publication Date
CN111507315A true CN111507315A (zh) 2020-08-07

Family

ID=71865083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010544707.4A Pending CN111507315A (zh) 2020-06-15 2020-06-15 一种物品取放事件检测方法、装置及设备

Country Status (1)

Country Link
CN (1) CN111507315A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915020A (zh) * 2020-08-12 2020-11-10 杭州海康威视数字技术股份有限公司 检测模型的更新方法、装置及存储介质
CN112001349A (zh) * 2020-08-31 2020-11-27 杭州海康威视数字技术股份有限公司 数据审核方法、系统及电子设备
CN112101867A (zh) * 2020-09-15 2020-12-18 四川精益达工程检测有限责任公司 一种用于货架上物品的信息生成方法及系统
CN112529959A (zh) * 2020-12-14 2021-03-19 北京爱笔科技有限公司 一种物品移动检测方法及装置
CN112598745A (zh) * 2020-12-14 2021-04-02 北京爱笔科技有限公司 一种人货关联事件确定方法及装置
CN113888798A (zh) * 2021-09-28 2022-01-04 北京每日优鲜电子商务有限公司 无人售货柜的商品变动检测方法、装置、设备和存储介质
WO2023138445A1 (zh) * 2022-01-24 2023-07-27 索尼半导体解决方案公司 用于检测人摔倒、人的拾取或放回行为的检测方法和设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107749114A (zh) * 2017-10-21 2018-03-02 厦门华联电子股份有限公司 一种智能货物管理系统、方法及智能储物柜
CN108335406A (zh) * 2018-02-08 2018-07-27 合肥美的智能科技有限公司 无人售货设备及其售货方法和无人售货系统
US10133933B1 (en) * 2017-08-07 2018-11-20 Standard Cognition, Corp Item put and take detection using image recognition
CN109214751A (zh) * 2018-02-01 2019-01-15 贺桂和 一种基于库存位置变化的智能库存管理系统
CN109979130A (zh) * 2019-03-29 2019-07-05 厦门益东智能科技有限公司 一种商品自动识别和结算售货柜、方法以及系统
US10384869B1 (en) * 2014-12-15 2019-08-20 Amazon Technologies, Inc. Optical item management system
CN110246280A (zh) * 2019-05-30 2019-09-17 北京百度网讯科技有限公司 人货绑定方法及装置、计算机设备及可读介质
CN110472515A (zh) * 2019-07-23 2019-11-19 阿里巴巴集团控股有限公司 货架商品检测方法及系统
CN110889845A (zh) * 2019-11-29 2020-03-17 深圳市商汤科技有限公司 测量方法及装置、电子设备和存储介质
CN111079478A (zh) * 2018-10-19 2020-04-28 杭州海康威视数字技术股份有限公司 一种无人售货架监控方法、装置、电子设备及系统
CN111127174A (zh) * 2020-01-06 2020-05-08 鄂尔多斯市东驿科技有限公司 智能化无人超市控制系统
CN111142418A (zh) * 2020-01-06 2020-05-12 鄂尔多斯市东驿科技有限公司 商品监测控制系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10384869B1 (en) * 2014-12-15 2019-08-20 Amazon Technologies, Inc. Optical item management system
US10133933B1 (en) * 2017-08-07 2018-11-20 Standard Cognition, Corp Item put and take detection using image recognition
CN107749114A (zh) * 2017-10-21 2018-03-02 厦门华联电子股份有限公司 一种智能货物管理系统、方法及智能储物柜
CN109214751A (zh) * 2018-02-01 2019-01-15 贺桂和 一种基于库存位置变化的智能库存管理系统
CN108335406A (zh) * 2018-02-08 2018-07-27 合肥美的智能科技有限公司 无人售货设备及其售货方法和无人售货系统
CN111079478A (zh) * 2018-10-19 2020-04-28 杭州海康威视数字技术股份有限公司 一种无人售货架监控方法、装置、电子设备及系统
CN109979130A (zh) * 2019-03-29 2019-07-05 厦门益东智能科技有限公司 一种商品自动识别和结算售货柜、方法以及系统
CN110246280A (zh) * 2019-05-30 2019-09-17 北京百度网讯科技有限公司 人货绑定方法及装置、计算机设备及可读介质
CN110472515A (zh) * 2019-07-23 2019-11-19 阿里巴巴集团控股有限公司 货架商品检测方法及系统
CN110889845A (zh) * 2019-11-29 2020-03-17 深圳市商汤科技有限公司 测量方法及装置、电子设备和存储介质
CN111127174A (zh) * 2020-01-06 2020-05-08 鄂尔多斯市东驿科技有限公司 智能化无人超市控制系统
CN111142418A (zh) * 2020-01-06 2020-05-12 鄂尔多斯市东驿科技有限公司 商品监测控制系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915020A (zh) * 2020-08-12 2020-11-10 杭州海康威视数字技术股份有限公司 检测模型的更新方法、装置及存储介质
CN111915020B (zh) * 2020-08-12 2024-02-23 杭州海康威视数字技术股份有限公司 检测模型的更新方法、装置及存储介质
CN112001349A (zh) * 2020-08-31 2020-11-27 杭州海康威视数字技术股份有限公司 数据审核方法、系统及电子设备
CN112001349B (zh) * 2020-08-31 2023-09-26 杭州海康威视数字技术股份有限公司 数据审核方法、系统及电子设备
CN112101867A (zh) * 2020-09-15 2020-12-18 四川精益达工程检测有限责任公司 一种用于货架上物品的信息生成方法及系统
CN112529959A (zh) * 2020-12-14 2021-03-19 北京爱笔科技有限公司 一种物品移动检测方法及装置
CN112598745A (zh) * 2020-12-14 2021-04-02 北京爱笔科技有限公司 一种人货关联事件确定方法及装置
CN112598745B (zh) * 2020-12-14 2024-05-28 北京爱笔科技有限公司 一种人货关联事件确定方法及装置
CN113888798A (zh) * 2021-09-28 2022-01-04 北京每日优鲜电子商务有限公司 无人售货柜的商品变动检测方法、装置、设备和存储介质
WO2023138445A1 (zh) * 2022-01-24 2023-07-27 索尼半导体解决方案公司 用于检测人摔倒、人的拾取或放回行为的检测方法和设备

Similar Documents

Publication Publication Date Title
CN111507315A (zh) 一种物品取放事件检测方法、装置及设备
CN108335408B (zh) 用于自动售货机的物品识别方法、装置、系统及存储介质
JP7229580B2 (ja) 無人販売システム
CN108320404B (zh) 基于神经网络的商品识别方法、装置、自助收银台
US20220198550A1 (en) System and methods for customer action verification in a shopping cart and point of sales
CN106934692B (zh) 物品信息处理系统、方法及装置
CN111415461B (zh) 物品识别方法及系统、电子设备
CN111680654B (zh) 一种基于物品取放事件的人员信息获取方法、装置及设备
JP4972491B2 (ja) 顧客動作判定システム
CN107403332B (zh) 货架取物侦测系统及方法
CN108051777B (zh) 目标的追踪方法、装置及电子设备
CN112464697B (zh) 基于视觉和重力感应的商品与顾客的匹配方法和装置
KR20180070566A (ko) 정보 처리 장치 및 정보 처리 방법, 웨어러블 단말기, 그리고 프로그램
JP6665927B2 (ja) 行動分析装置、行動分析システム、行動分析方法及びプログラム
CN111079478A (zh) 一种无人售货架监控方法、装置、电子设备及系统
CN112907168A (zh) 动态商品识别方法、无人售货柜及其售货方法
CN110647825A (zh) 无人超市物品确定方法、装置、设备及存储介质
US11600019B2 (en) Image-based inventory estimation
CN111831673A (zh) 货品识别系统、货品识别方法及电子设备
CN109711498B (zh) 目标对象的行为预测方法、装置、处理设备及智能置物架
CN111310610B (zh) 货品识别方法、货品识别系统及电子设备
CN111680657B (zh) 一种物品取放事件的触发人员确定方法、装置及设备
EP3474183A1 (en) System for tracking products and users in a store
CN110954964A (zh) 产品识别装置及无人售货设备
CN118097519B (zh) 基于商品轨迹分析的智能购物车购物行为分析方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination