CN111079478A - 一种无人售货架监控方法、装置、电子设备及系统 - Google Patents

一种无人售货架监控方法、装置、电子设备及系统 Download PDF

Info

Publication number
CN111079478A
CN111079478A CN201811224763.9A CN201811224763A CN111079478A CN 111079478 A CN111079478 A CN 111079478A CN 201811224763 A CN201811224763 A CN 201811224763A CN 111079478 A CN111079478 A CN 111079478A
Authority
CN
China
Prior art keywords
target user
hand
target
image
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811224763.9A
Other languages
English (en)
Other versions
CN111079478B (zh
Inventor
陈锡
任烨
童俊艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201811224763.9A priority Critical patent/CN111079478B/zh
Publication of CN111079478A publication Critical patent/CN111079478A/zh
Application granted granted Critical
Publication of CN111079478B publication Critical patent/CN111079478B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Artificial Intelligence (AREA)
  • Development Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Toxicology (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种无人售货架监控方法、装置、电子设备及系统，该方法包括：当在购物区域内检测到目标用户时，依次确定目标用户在各帧图像中的手部位置和手部状态，手部状态包括：目标用户的手部所持有商品的数量；基于手部位置与无人售货架的边缘线的位置关系，检测目标用户是否发生预定操作，预定操作为手部穿入边缘线且手部穿入边缘线后穿出边缘线；当检测到目标用户发生预定操作时，基于本次预定操作发生过程中各个手部状态所包括的数量的变化，确定目标用户拿取/放置商品的数量；基于每次确定出的目标用户拿取/放置商品的数量，更新目标用户所拿取商品的目标数量。通过本发明实施例提供的技术方案，可以有效地对无人售货架进行监控。

Description

一种无人售货架监控方法、装置、电子设备及系统
技术领域
本发明涉及视频监控技术领域，特别是涉及一种无人售货架监控方法、装置、电子设备及系统。
背景技术
随着科学技术的发展，无人售货架的应用范围越来越广。例如，无人售货架可以利用到超市、办公室、校园、食堂、商场等。
无人售货架没有工作人员的管理，为了确保无人售货架中摆放的商品能够正常有序地销售，需要对无人售货架进行监控。例如，需要监控用户进入无人售货架对应的购物区域后，用户所拿取商品的数量等，该购物区域包含货架所在的区域和用户在选择货架上摆放的商品时所在的区域。可见，如何对无人售货架进行有效地监控，是一个亟待解决的问题。
发明内容
本发明实施例的目的在于提供一种无人售货架监控方法、装置、电子设备及系统，以有效地监控对无人售货架进行。具体技术方案如下：
第一方面，本发明实施例一种无人售货架监控方法，应用于监控系统，所述监控系统包括图像采集设备，所述图像采集设备的采集区域包括预定的购物区域，所述方法包括：
当在所述购物区域内检测到目标用户时，依次确定所述目标用户在各帧图像中的手部位置和手部状态，所述各帧图像为所述图像采集设备采集的包含所述目标用户的图像，所述手部状态包括：所述目标用户的手部所持有商品的数量；
基于所述手部位置与无人售货架的边缘线的位置关系，检测所述目标用户是否发生预定操作，所述预定操作为手部穿入边缘线且手部穿入边缘线后穿出边缘线；
当检测到所述目标用户发生预定操作时，基于本次预定操作发生过程中各个手部状态所包括的数量的变化，确定所述目标用户拿取/放置商品的数量；
基于每次确定出的所述目标用户拿取/放置商品的数量，更新所述目标用户所拿取商品的目标数量。
可选的，所述方法还包括：
当在所述购物区域内检测到目标用户时，基于所述图像采集设备实时采集的图像，构建所述目标用户的关于头肩位置的运动轨迹，所述运动轨迹中的头肩位置关联有手部位置，任一头肩位置与所关联的手部位置为从同一图像中所确定的且属于同一身体区域；
所述依次确定所述目标用户在各帧图像中的手部位置和手部状态的步骤，包括：
将所述运动轨迹中头肩位置所关联的手部位置，作为所述目标用户在各帧图像中的手部位置；
基于所述目标用户在各帧图像中的手部位置，确定所述各帧图像中的手部图像；
对所确定的各个手部图像进行手部状态识别，得到所述目标用户在所述各帧图像中的手部状态。
可选的，所述构建所述目标用户的关于头肩位置的运动轨迹，包括：
对所述图像采集设备持续采集的图像进行头肩检测和手部检测，得到头肩位置和所述头肩位置对应的手部位置；任一头肩位置对应的手部位置与该头肩位置属于同一身体区域；
基于所得到的头肩位置，对所述目标用户进行位置跟踪，得到所述目标用户的关于头肩位置的运动轨迹；
针对所述运动轨迹中的每一头肩位置，将该头肩位置对应的手部位置，与该头肩位置进行关联。
可选的，所述手部状态还包括：所述目标用户手部所持有的用户终端对应的操作状态，所述操作状态用于表征所述用户终端是否扫码；所述方法还包括：
基于所确定的操作状态，判断所述目标用户手部所持有的用户终端是否执行扫码操作；
如果是，将当前的目标数量发送至所述用户终端，以使所述用户终端将所接收到的目标数量显示在支付界面中，其中，所述支付界面为所述用户终端执行扫码操作后所显示的界面。
可选的，所述基于所确定的操作状态，判断所述目标用户手部所持有的用户终端是否执行扫码操作的步骤，包括：
基于所述操作状态，统计所述目标用户持续利用所述用户终端扫码的帧数；判断统计所得到的帧数是否大于预设扫码帧数；
若为是，判定所述目标用户所持有的用户终端执行扫码操作。
可选的，所述方法还包括：
在监测到所述目标用户离开所述购物区域时，如果判定出所述目标用户所持有的用户终端未执行过扫码操作，判断当前的目标数量是否大于0；
若为是，输出第一报警信息，所述第一报警信息用于提示所述目标用户执行扫码操作。
可选的，所述方法还包括：
在监测到所述目标用户离开所述购物区域时，如果判定出所述目标用户所持有的用户终端已执行扫码操作，判断是否获取到所述用户终端发送的支付完成信息；
若为否，输出第二报警信息，所述第二报警信息用于提示所述目标用户完成支付操作。
可选的，在判定获取到所述用户终端发送的支付完成信息后，所述方法还包括：
判断所述支付完成信息中携带的支付金额是否与目标支付金额一致，其中，所述目标支付金额为基于当前的目标数量和所述目标用户所拿取商品的单价计算所得到的；
若不一致，输出第三报警信息，所述第三报警信息用于提示所述目标用户所支付的金额错误。
第二方面，本发明实施例提供了一种无人售货架监控装置，应用于监控系统，所述监控系统包括图像采集设备，所述图像采集设备的采集区域包括预定的购物区域，所述装置包括：
信息确定模块，用于当在所述购物区域内检测到目标用户时，依次确定所述目标用户在各帧图像中的手部位置和手部状态，所述各帧图像为所述图像采集设备采集的包含所述目标用户的图像，所述手部状态包括：所述目标用户的手部所持有商品的数量；
操作检测模块，用于基于所述手部位置与无人售货架的边缘线的位置关系，检测所述目标用户是否发生预定操作，所述预定操作为手部穿入边缘线且手部穿入边缘线后穿出边缘线；
第一数量确定模块，用于当检测到所述目标用户发生预定操作时，基于本次预定操作发生过程中各个手部状态所包括的数量的变化，确定所述目标用户拿取/放置商品的数量；
第二数量确定模块，用于基于每次确定出的所述目标用户拿取/放置商品的数量，更新所述目标用户所拿取商品的目标数量。
可选的，所述装置还包括：
轨迹构建模块，用于当在所述购物区域内检测到目标用户时，基于所述图像采集设备实时采集的图像，构建所述目标用户的关于头肩位置的运动轨迹，所述运动轨迹中的头肩位置关联有手部位置，任一头肩位置与所关联的手部位置为从同一图像中所确定的且属于同一身体区域；
所述信息确定模块，包括：
手部位置确定子模块，用于将所述运动轨迹中头肩位置所关联的手部位置，作为所述目标用户在各帧图像中的手部位置；
手部图像确定子模块，用于基于所述目标用户在各帧图像中的手部位置，确定所述各帧图像中的手部图像；
手部状态确定子模块，用于对所确定的各个手部图像进行手部状态识别，得到所述目标用户在所述各帧图像中的手部状态。
可选的，所述轨迹构建模块，具体用于：
对所述图像采集设备持续采集的图像进行头肩检测和手部检测，得到头肩位置和所述头肩位置对应的手部位置；任一头肩位置对应的手部位置与该头肩位置属于同一身体区域；
基于所得到的头肩位置，对所述目标用户进行位置跟踪，得到所述目标用户的关于头肩位置的运动轨迹；
针对所述运动轨迹中的每一头肩位置，将该头肩位置对应的手部位置，与该头肩位置进行关联。
可选的，所述手部状态还包括：所述目标用户手部所持有的用户终端对应的操作状态，所述操作状态用于表征所述用户终端是否扫码；所述装置还包括：
扫码操作判断模块，用于基于所确定的操作状态，判断所述目标用户手部所持有的用户终端是否执行扫码操作；
目标数量发送模块，用于如果扫码操作判断模块判断出所述目标用户手部所持有的用户终端执行扫码操作，将当前的目标数量发送至所述用户终端，以使所述用户终端将所接收到的目标数量显示在支付界面中，其中，所述支付界面为所述用户终端执行扫码操作后所显示的界面。
可选的，所述扫码操作判断模块，具体用于：
基于所述操作状态，统计所述目标用户持续利用所述用户终端扫码的帧数；判断统计所得到的帧数是否大于预设扫码帧数；
若为是，判定所述目标用户所持有的用户终端执行扫码操作。
可选的，所述装置还包括：
目标数量判断模块，用于在监测到所述目标用户离开所述购物区域时，如果判定出所述目标用户所持有的用户终端未执行过扫码操作，判断当前的目标数量是否大于0；
第一报警信息输出模块，用于若目标数量判断模块判断出当前的目标数量大于0，输出第一报警信息，所述第一报警信息用于提示所述目标用户执行扫码操作。
可选的，所述装置还包括：
支付判断模块，用于在监测到所述目标用户离开所述购物区域时，如果判定出所述目标用户所持有的用户终端已执行扫码操作，判断是否获取到所述用户终端发送的支付完成信息；
第二报警信息输出模块，用于若支付判断模块判断出未获取到所述用户终端发送的支付完成信息时，输出第二报警信息，所述第二报警信息用于提示所述目标用户完成支付操作。
可选的，所述装置还包括：
支付金额判断模块，用于在支付判断模块判定获取到所述用户终端发送的支付完成信息后，判断所述支付完成信息中携带的支付金额是否与目标支付金额一致，其中，所述目标支付金额为基于当前的目标数量和所述目标用户所拿取商品的单价计算所得到的，；
第三报警信息输出模块，用于若支付金额判断模块判断所述支付完成信息中携带的支付金额与目标支付金额不一致，输出第三报警信息，所述第三报警信息用于提示所述目标用户所支付的金额错误。
第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第一方面所述的无人售货架监控方法。
第四方面，本发明实施例提供了一种监控系统，所述系统包括：图像采集设备；
所述图像采集设备，用于：
当在所述购物区域内检测到目标用户时，依次确定所述目标用户在各帧图像中的手部位置和手部状态，所述各帧图像为所述图像采集设备采集的包含所述目标用户的图像，所述手部状态包括：所述目标用户的手部所持有商品的数量；
基于所述手部位置与所述货架的边缘线的位置关系，检测所述目标用户是否发生预定操作，所述预定操作为手部穿入边缘线且手部穿入边缘线后穿出边缘线；
当检测到所述目标用户发生预定操作时，基于本次预定操作发生过程中各个手部状态所包括的数量的变化，确定所述目标用户拿取/放置商品的数量；
基于每次确定出的所述目标用户拿取/放置商品的数量，更新所述目标用户所拿取商品的目标数量。
可选的，当在所述购物区域内检测到目标用户时，基于所述图像采集设备实时采集的图像，构建所述目标用户的关于头肩位置的运动轨迹，所述运动轨迹中的头肩位置关联有手部位置，任一头肩位置与所关联的手部位置为从同一图像中所确定的且属于同一身体区域；
所述图像采集设备，具体用于：
将所述运动轨迹中头肩位置所关联的手部位置，作为所述目标用户在各帧图像中的手部位置；
基于所述目标用户在各帧图像中的手部位置，确定所述各帧图像中的手部图像；
对所确定的各个手部图像进行手部状态识别，得到所述目标用户在所述各帧图像中的手部状态。
可选的，所述构建所述目标用户的关于头肩位置的运动轨迹，具体为：
对所述图像采集设备持续采集的图像进行头肩检测和手部检测，得到头肩位置和所述头肩位置对应的手部位置；任一头肩位置对应的手部位置与该头肩位置属于同一身体区域；
基于所得到的头肩位置，对所述目标用户进行位置跟踪，得到所述目标用户的关于头肩位置的运动轨迹；
针对所述运动轨迹中的每一头肩位置，将该头肩位置对应的手部位置，与该头肩位置进行关联。
可选的，所述手部状态还包括：所述目标用户手部所持有的用户终端对应的操作状态，所述操作状态用于表征所述用户终端是否扫码；
所述图像采集设备还用于：
基于所确定的操作状态，判断所述目标用户手部所持有的用户终端是否执行扫码操作；
如果是，将当前的目标数量发送至所述用户终端，以使所述用户终端将所接收到的目标数量显示在支付界面中，其中，所述支付界面为所述用户终端执行扫码操作后所显示的界面。
可选的，所述图像采集设备，还具体用于：
基于所述操作状态，统计所述目标用户持续利用所述用户终端扫码的帧数；判断统计所得到的帧数是否大于预设扫码帧数；
若为是，判定所述目标用户所持有的用户终端执行扫码操作。
可选的，所述图像采集设备还用于：
在监测到所述目标用户离开所述购物区域时，如果判定出所述目标用户所持有的用户终端未执行过扫码操作，判断当前的目标数量是否大于0；
若为是，输出第一报警信息，所述第一报警信息用于提示所述目标用户执行扫码操作。
可选的，所述图像采集设备还用于：
在监测到所述目标用户离开所述购物区域时，如果判定出所述目标用户所持有的用户终端已执行扫码操作，判断是否获取到所述用户终端发送的支付完成信息；
若为否，输出第二报警信息，所述第二报警信息用于提示所述目标用户完成支付操作。
可选的，所述图像采集设备还用于：
在判定获取到所述用户终端发送的支付完成信息后，判断所述支付完成信息中携带的支付金额是否与目标支付金额一致，其中，所述目标支付金额为基于当前的目标数量和所述目标用户所拿取商品的单价计算所得到的；
若不一致，输出第三报警信息，所述第三报警信息用于提示所述目标用户所支付的金额错误。
本发明实施例提供的技术方案，当在购物区域内检测到目标用户时，依次确定目标用户在各帧图像中的手部位置和手部状态，各帧图像为图像采集设备采集的包含目标用户的图像，手部状态包括：目标用户的手部所持有商品的数量；并基于手部位置与货架的边缘线的位置关系，检测目标用户是否发生预定操作，预定操作为手部穿入边缘线且手部穿入边缘线后穿出边缘线；并且，当检测到目标用户发生预定操作时，基于本次预定操作发生过程中各个手部状态所包括的数量的变化，确定目标用户拿取/放置商品的数量；基于每次确定出的目标用户拿取/放置商品的数量，更新目标用户所拿取商品的目标数量。可见，通过本发明实施例提供的技术方案，当检测到用户进入无人售货架对应的购物区域后，可以确定用户所拿取商品的数量，进而可以实现对无人售货架进行有效地监控。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种无人售货架监控方法的流程图；
图2为本发明实施例所提供的购物区域的示意图；
图3为本发明实施例所提供的另一种无人售货架监控方法的流程图；
图4为本发明实施例所提供的一种无人售货架监控装置的结构示意图；
图5为本发明实施例所提供的一种电子设备的结构示意图；
图6为本发明实施例所提供的一种无人售货架监控系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了有效地对无人售货架进行监控，本发明实施例提供了一种无人售货架监控方法、装置、电子设备及系统。
第一方面，下面首先对本发明实施例所提供的一种无人售货架监控方法进行介绍。
需要说明的是，本发明实施例所提供的一种无人售货架监控方法的执行主体可以为一种无人售货架监控装置，该无人售货架监控装置可以运行于一种监控系统中用于数据处理的设备。
在具体应用中，该监控系统可以包括：图像采集设备，此时，该无人售货架监控装置可以运行于该图像采集设备中，该图像采集设备采集图像的区域可以包括无人售货架对应的购物区域，并且，该图像采集设备可以基于其自身所采集的图像实现对无人售货架的监控。其中，该图像采集设备可以为摄像机等，图像采集设备可以垂直安装，也可以倾斜安装，当然并不局限于此。
可以理解的是，监控系统中除了包括图像采集设备外，还可以包括与图像采集设备通信连接的服务器，此时，该无人售货架监控装置可以运行于该服务器，该服务器可以获取图像采集设备所采集的图像，并基于图像采集设备所采集的图像来实现对无人售货架的监控。
如图1所示，本发明实施例所提供的一种无人售货架监控方法，可以包括如下步骤：
S110，当在购物区域内检测到目标用户时，依次确定目标用户在各帧图像中的手部位置和手部状态，各帧图像为图像采集设备采集的包含目标用户的图像，手部状态包括：目标用户的手部所持有商品的数量。
需要说明的是，图像采集设备的采集区域可以包括无人售货架对应的购物区域，该购物区域可以包含货架所在的区域和用户在选择货架上摆放的商品时所在的区域，如图2所示。
用户在进入一无人售货架对应的购物区域时，即可以检测到购物区域内有目标用户，也就是说，目标用户可以为购物区域内的任一用户。当在购物区域内检测到目标用户时，图像采集设备可以采集多帧包含目标用户的图像；并且，由于目标用户通过手部来拿取或者放置无人售货架中摆放的商品，因此，可以依次确定目标用户在各帧图像中的手部位置和手部状态。
可以理解的是，目标用户在各帧图像中的手部位置可以位于无人售货架所在的区域，也可以位于用户在选择无人售货架上摆放的商品时所在的区域。
并且，目标用户在各帧图像中的手部状态可以包括：目标用户的手部所持有商品的数量。目标用户的手部所持有商品的数量可以为0，也可以大于0。当目标用户的手部所持有商品的数量为0时，说明目标用户的手中没有商品。当目标用户的手部所持有商品的数量大于0时，说明目标用户的手中有商品。例如，目标用户的手部所持有商品的数量为2，说明目标用户的手部存在2件商品。
需要说明的是，确定目标用户在各帧图像中的手部位置和手部状态的方式可以有多种，例如，可以通过卷积神经网络来确定目标用户在各帧图像中的手部位置和手部状态，当然，本发明实施例中并不对确定目标用户在各帧图像中的手部位置和手部状态的方式做具体限定。
为了方案完整及方案描述清楚，将在下面实施例中对依次确定目标用户在各帧图像中的手部位置和手部状态的具体实施方式进行详细阐述。
S120，基于手部位置与无人售货架的边缘线的位置关系，检测目标用户是否发生预定操作，预定操作为手部穿入边缘线且手部穿入边缘线后穿出边缘线。
可以理解的是，目标用户的手部位置与无人售货架的边缘线的位置关系，是判断目标用户的手部进入无人售货架所在的区域或者目标用户的手部离开无人售货架所在的区域的依据。
例如，目标用户需要拿取无人售货架中摆放的商品时，目标用户的手部可以穿入无人售货架的边缘线，并且在拿取到1件商品后，目标用户的手部可以穿出无人售货架的边缘线。在这个过程中，目标用户的手部所持有商品的数量由0变为1。
再例如，目标用户拿取了1件无人售货架中摆放的商品后，发现其拿取的商品不是其想要的商品，此时，目标用户的手部可以穿入无人售货架的边缘线，并且将商品放置于无人售货架后，目标用户的手部可以穿出无人售货架的边缘线。在这个过程中，目标用户的手部所持有商品的数量由1变为0。
由上述描述可知，目标用户的手部穿入无人售货架的边缘线且手部穿入边缘线后穿出边缘线，目标用户的手部所持有商品的数量可能发生变化。因此，为了后续步骤中能够确定出目标用户的手部所持有商品的数量是否发生变化，可以基于手部位置与无人售货架的边缘线的位置关系，检测目标用户是否发生预定操作，该预定操作为手部穿入边缘线且手部穿入边缘线后穿出边缘线。
S130，当检测到目标用户发生预定操作时，基于本次预定操作发生过程中各个手部状态所包括的数量的变化，确定目标用户拿取/放置商品的数量。
当检测到目标用户发生预定操作时，说明目标用户的手部所持有商品的数量可能发生变化，因此，可以基于本次预定操作发生过程中各个手部状态所包含的数量的变化，来确定目标用户拿取商品的数量，或者目标用户放置商品的数量。
举例1，在一次预定操作中，手部穿入边缘线时，手部状态所包括的数量为0，手部穿入边缘线后穿出边缘线时，手部状态所包含的数量为2，此时，可以确定目标用户拿取了2件商品。
举例2，在一次预定操作中，手部穿入边缘线时，手部状态所包括的数量为2，手部穿入边缘线后穿出边缘线时，手部状态所包含的数量为0，此时，可以确定目标用户放置了2件商品。
举例3，在一次预定操作中，手部穿入边缘线时，手部状态所包括的数量为2，手部穿入边缘线后穿出边缘线时，手部状态所包含的数量为5，此时，可以确定目标用户拿取了3件商品。
举例4，在一次预定操作中，手部穿入边缘线时，手部状态所包括的数量为5，手部穿入边缘线后穿出边缘线时，手部状态所包含的数量为2，此时，可以确定目标用户放置了3件商品。
S140，基于每次确定出的目标用户拿取/放置商品的数量，更新目标用户所拿取商品的目标数量。
可以理解的是，目标用户在选取商品时，可能执行多次预定操作。举例而言，目标用户一共执行了3次预定操作，其中，第一次预定操作中，空手穿入边缘线后，手握1件物品穿出边缘线，此时，目标用户拿取了1件商品；第二次预定操作中，手握1件物品穿入边缘线后，空手穿出边缘线，此时，目标用户放置了1件商品；第三次预定操作中，空手穿入边缘线后，手握2件物品穿出边缘线，此时，目标用户拿取了2件商品。基于这3次确定出的目标用户拿取或放置商品的数量，可以得到目标用户所拿取商品的目标数量为2。
本发明实施例提供的技术方案，当在购物区域内检测到目标用户时，依次确定目标用户在各帧图像中的手部位置和手部状态，各帧图像为图像采集设备采集的包含目标用户的图像，手部状态包括：目标用户的手部所持有商品的数量；并基于手部位置与货架的边缘线的位置关系，检测目标用户是否发生预定操作，预定操作为手部穿入边缘线且手部穿入边缘线后穿出边缘线；并且，当检测到目标用户发生预定操作时，基于本次预定操作发生过程中各个手部状态所包括的数量的变化，确定目标用户拿取/放置商品的数量；基于每次确定出的目标用户拿取/放置商品的数量，更新目标用户所拿取商品的目标数量。可见，通过本发明实施例提供的技术方案，当检测到用户进入无人售货架对应的购物区域后，可以确定用户所拿取商品的数量，进而可以实现对无人售货架进行有效地监控。
为了方案描述清楚和方案完整，下面将对依次确定所述目标用户在各帧图像中的手部位置和手部状态的具体实施方式进行详细阐述。
在一种实施方式中，当在购物区域内检测到目标用户时，基于图像采集设备实时采集的图像，构建目标用户的关于头肩位置的运动轨迹，运动轨迹中的头肩位置关联有手部位置，任一头肩位置与所关联的手部位置为从同一图像中所确定的且属于同一身体区域；
作为本发明实施例的一种实现方式，构建目标用户的关于头肩位置的运动轨迹，可以包括：
对图像采集设备持续采集的图像进行头肩检测和手部检测，得到头肩位置和头肩位置对应的手部位置；任一头肩位置对应的手部位置与该头肩位置属于同一身体区域；
基于所得到的头肩位置，对目标用户进行位置跟踪，得到目标用户的关于头肩位置的运动轨迹；
针对运动轨迹中的每一头肩位置，将该头肩位置对应的手部位置，与该头肩位置进行关联。
在该实现方式中，当在购物区域内检测到目标用户时，图像采集设备可以实时采集包含目标用户的图像，也就是说，跟踪目标用户。由于购物区域中可能有多个用户，且一个用户的头肩可以作为该用户的标识，因此，为了能够准确地确定目标用户在各帧图像中的手部位置和手部状态，可以构建目标用户的关于头肩位置的运动轨迹，且该运动轨迹中头肩位置关联有目标用户的手部位置。
需要说明的是，对于购物区域中的任一用户而言，可以判断该用户的头肩和手部的置信度，并将置信度大于预设置信度的用户确定为目标用户。本发明实施例对预设置信度的大小不做具体限定。
此时，依次确定目标用户在各帧图像中的手部位置和手部状态的步骤，可以包括：
将运动轨迹中头肩位置所关联的手部位置，作为目标用户在各帧图像中的手部位置；
基于目标用户在各帧图像中的手部位置，确定各帧图像中的手部图像；
对所确定的各个手部图像进行手部状态识别，得到目标用户在各帧图像中的手部状态。
由于运动轨迹中的头肩位置关联有手部位置，因此，可以将目标用户的关于头肩位置的运动轨迹中，头肩位置所关联的手部位置作为目标用户在各帧图像中的手部位置；并且，在确定了目标用户在各帧图像中的手部位置后，可以提取各帧图像中手部位置对应的手部图像，并对各帧图像中的手部图像进行手部状态识别，即可以得到目标用户在各帧图像中的手部状态。
目标用户在拿取了无人售货架中摆放的商品后，需要对所拿取的商品进行付款操作。在一种实施方式中，手部状态还可以包括：目标用户手部所持有的用户终端对应的操作状态，操作状态用于表征用户终端是否扫码；如图3所示，无人售货架监控方法还可以包括：
S150，基于所确定的操作状态，判断目标用户手部所持有的用户终端是否执行扫码操作；
由于手部状态包括目标用户手部所持有的用户终端对应的操作状态，且该操作状态用户表征用户终端是否扫码，因此，在操作状态用于表征用户终端执行扫码操作时，可以判定目标用户手部所持有的用户终端执行扫码操作；在操作状态用于表征用户终端未执行扫码操作时，可以判定目标用户手部所持有的用户终端未执行扫码操作。
需要说明的是，确实目标用户手部所持有的用户终端对应的操作状态的方式可以有多种，例如，可以通过卷积神经网络来确定目标用户手部所持有的用户终端对应的操作状态。
作为本发明实施例的一种实现方式，基于所确定的操作状态，判断目标用户手部所持有的用户终端是否执行扫码操作的步骤，可以包括：
基于操作状态，统计目标用户持续利用用户终端扫码的帧数；判断统计所得到的帧数是否大于预设扫码帧数；
若判断出统计所得到的帧数大于预设扫码帧数，判定目标用户所持有的用户终端执行目标扫码操作。
在该实现方式中，为了更精准地确定目标用户手部所持有的用户终端是否在真实地执行扫码操作，可以统计目标用户持续利用用户终端扫码的帧数，并判断该帧数是否大于预设扫码帧数，如果该帧数大于预设扫码帧数，说明目标用户在真实地执行扫码操作，因此，可以判定目标用户所持有的用户终端执行扫码操作；相反地，如果该帧数小于预设扫码帧数，说明目标用户没有真实地执行扫码操作，因此，可以判定目标用户所持有的用户终端未执行扫码操作。
需要说明的是，预设扫码帧数的大小可以根据实际情况进行设定，本发明实施例对预设扫码帧数的大小不做具体限定。
S160，如果目标用户手部所持有的用户终端执行扫码操作，将当前的目标数量发送至用户终端，以使用户终端将所接收到的目标数量显示在支付界面中，其中，支付界面为用户终端执行扫码操作后所显示的界面。
在判断出目标用户手部所持有的用户终端执行扫码操作时，为了方便目标用户对所拿取的商品进行付款，可以将当前的目标数量发送至用户终端，这样，用户终端可以将接收到的目标数量显示在支付界面中，并且，无人售货架中通常粘贴有目标用户所拿取商品的单价，因此，目标用户可以得知其自身所要付款的金额，并通过支付界面对其自身所拿取的商品进行付款。
可见，通过本发明实施例提供的技术方案，当检测到用户进入无人售货架对应的购物区域后，可以确定用户所拿取商品的数量，进而可以实现对无人售货架进行有效地监控；并且，通过将用户所拿取商品的数量发送给用户手部所持有的用户终端，方便用户对其自身所拿取的商品进行付款。
在实际应用中，可能存在一种情况：用户拿取了无人售货架中的商品，但是由于用户一时疏忽等原因忘记执行扫码操作，即用户忘记对其自身所拿取商品执行付款操作。为了有效地预防这种情况的发生，在一种实施方式中，无人售货架监控方法还可以包括：
在监测到目标用户离开购物区域时，如果判定出目标用户所持有的用户终端未执行过扫码操作，判断当前的目标数量是否大于0；
若当前的目标数量大于0，输出第一报警信息，第一报警信息用于提示目标用户执行扫码操作。
在该实施方式中，在监测到目标用户离开购物区域时，如果判定目标用户所持有的用户终端没有执行过扫码操作，可以判断当前的目标数量是否大于0，如果当前的目标数量大于0，则说明目标用户拿取了无人售货架中摆放的商品，此时，可以输出第一报警信息，例如，该第一报警信息的内容可以为：不要悄悄地带走我哦，从而可以达到提示目标用户执行扫码操作的目的。
可以理解的是，在判断出当前的目标数量为0时，也可以输出报警信息，例如，该报警信息的内容可以为：欢迎下次光临。
可见，通过本发明实施例提供的技术方案，当检测到用户进入无人售货架对应的购物区域后，可以确定用户所拿取商品的数量，进而可以实现对无人售货架进行有效地监控；并且，通过发出第一报警信息，可以有效地预防用户忘记对其所拿取商品进行付款的情况发生。
在实际应用中，还可以存在另一种情况：目标用户拿取了无人售货架中摆放的商品，且目标用户所持有的用户终端已经执行了扫码操作，但是，目标用户所持有的用户终端未能成功付款。在一种实施方式中，该无人售货架监控方法还可以包括：
在监测到目标用户离开购物区域时，如果判定出目标用户所持有的用户终端已执行扫码操作，判断是否获取到用户终端发送的支付完成信息；
如果未能获取到用户终端发送的支付完成信息，输出第二报警信息，第二报警信息用于提示目标用户完成支付操作。
在该实施方式中，在监测到目标用户离开购物区域时，如果判定目标用户所持有的用户终端已执行扫码扫码，为了确定用户终端成功付款，还可以判断是否获取到用户终端发送的支付完成信息，如果未能成功接收到用户终端发送的支付完成信息，则可以输出第二报警信息，例如，该第二报警信息的内容可以为：您确定下次来支付吗？，从而可以达到提示目标用户进一步完成支付操作。当然，在判断出获取到用户终端发送的支付完成信息后，也可以发送报警信息，例如，该报警信息的内容可以为：支付成功，请带走我吧。
可以理解的是，虽然获取到用户终端发送的支付完成信息，但是支付完成信息中携带的支付金额可能与所拿取商品实际要支付的金额不同。因此，作为本发明实施例提供的一种实现方式，在判定获取到用户终端发送的支付完成信息后，无人售货架监控方法还可以包括：
判断支付完成信息中携带的支付金额是否与目标支付金额一致，其中，目标支付金额为基于当前的目标数量和目标用户所拿取商品的单价计算所得到的；
如果判断出支付完成信息中携带的支付金额与目标支付金额不一致，输出第三报警信息，第三报警信息用于提示目标用户所支付的金额错误。
在该实施方式中，在判断出支付完成信息中携带的支付金额与目标支付金额不一致，可以输出第三报警信息，例如，该第三报警信息的内容可以为：您支付的金额有误。从而可以提示目标用户所支付的金额错误。
举例而言，支付完成信息中携带的支付金额为5元，目标支付金额为10元，此时，可以输出第三报警信息。
可见，通过本发明实施例提供的技术方案，当检测到用户进入无人售货架对应的购物区域后，可以确定用户所拿取商品的数量，进而可以实现对无人售货架进行有效地监控；并且，可以有效地防止用户未能成功付款或者付款金额错误的情况发生。
第二方面，本发明实施例提供了一种无人售货架监控装置，应用于监控系统，所述监控系统包括图像采集设备，所述图像采集设备的采集区域包括预定的购物区域，如图4所示，所述装置可以包括：
信息确定模块410，用于当在所述购物区域内检测到目标用户时，依次确定所述目标用户在各帧图像中的手部位置和手部状态，所述各帧图像为所述图像采集设备采集的包含所述目标用户的图像，所述手部状态包括：所述目标用户的手部所持有商品的数量；
操作检测模块420，用于基于所述手部位置与无人售货架的边缘线的位置关系，检测所述目标用户是否发生预定操作，所述预定操作为手部穿入边缘线且手部穿入边缘线后穿出边缘线；
第一数量确定模块430，用于当检测到所述目标用户发生预定操作时，基于本次预定操作发生过程中各个手部状态所包括的数量的变化，确定所述目标用户拿取/放置商品的数量；
第二数量确定模块440，用于基于每次确定出的所述目标用户拿取/放置商品的数量，更新所述目标用户所拿取商品的目标数量。
本发明实施例提供的技术方案，当在购物区域内检测到目标用户时，依次确定目标用户在各帧图像中的手部位置和手部状态，各帧图像为图像采集设备采集的包含目标用户的图像，手部状态包括：目标用户的手部所持有商品的数量；并基于手部位置与货架的边缘线的位置关系，检测目标用户是否发生预定操作，预定操作为手部穿入边缘线且手部穿入边缘线后穿出边缘线；并且，当检测到目标用户发生预定操作时，基于本次预定操作发生过程中各个手部状态所包括的数量的变化，确定目标用户拿取/放置商品的数量；基于每次确定出的目标用户拿取/放置商品的数量，更新目标用户所拿取商品的目标数量。可见，通过本发明实施例提供的技术方案，当检测到用户进入无人售货架对应的购物区域后，可以确定用户所拿取商品的数量，进而可以实现对无人售货架进行有效地监控。
可选的，所述装置还可以包括：
轨迹构建模块，用于当在所述购物区域内检测到目标用户时，基于所述图像采集设备实时采集的图像，构建所述目标用户的关于头肩位置的运动轨迹，所述运动轨迹中的头肩位置关联有手部位置，任一头肩位置与所关联的手部位置为从同一图像中所确定的且属于同一身体区域；
所述信息确定模块，包括：
手部位置确定子模块，用于将所述运动轨迹中头肩位置所关联的手部位置，作为所述目标用户在各帧图像中的手部位置；
手部图像确定子模块，用于基于所述目标用户在各帧图像中的手部位置，确定所述各帧图像中的手部图像；
手部状态确定子模块，用于对所确定的各个手部图像进行手部状态识别，得到所述目标用户在所述各帧图像中的手部状态。
可选的，所述轨迹构建模块，具体用于：
对所述图像采集设备持续采集的图像进行头肩检测和手部检测，得到头肩位置和所述头肩位置对应的手部位置；任一头肩位置对应的手部位置与该头肩位置属于同一身体区域；
基于所得到的头肩位置，对所述目标用户进行位置跟踪，得到所述目标用户的关于头肩位置的运动轨迹；
针对所述运动轨迹中的每一头肩位置，将该头肩位置对应的手部位置，与该头肩位置进行关联。
可选的，所述手部状态还包括：所述目标用户手部所持有的用户终端对应的操作状态，所述操作状态用于表征所述用户终端是否扫码；所述装置还包括：
扫码操作判断模块，用于基于所确定的操作状态，判断所述目标用户手部所持有的用户终端是否执行扫码操作；
目标数量发送模块，用于如果扫码操作判断模块判断出所述目标用户手部所持有的用户终端执行扫码操作，将当前的目标数量发送至所述用户终端，以使所述用户终端将所接收到的目标数量显示在支付界面中，其中，所述支付界面为所述用户终端执行扫码操作后所显示的界面。
可选的，所述扫码操作判断模块，具体用于：
基于所述操作状态，统计所述目标用户持续利用所述用户终端扫码的帧数；判断统计所得到的帧数是否大于预设扫码帧数；
若为是，判定所述目标用户所持有的用户终端执行扫码操作。
可选的，所述装置还可以包括：
目标数量判断模块，用于在监测到所述目标用户离开所述购物区域时，如果判定出所述目标用户所持有的用户终端未执行过扫码操作，判断当前的目标数量是否大于0；
第一报警信息输出模块，用于若目标数量判断模块判断出当前的目标数量大于0，输出第一报警信息，所述第一报警信息用于提示所述目标用户执行扫码操作。
可选的，所述装置还可以包括：
支付判断模块，用于在监测到所述目标用户离开所述购物区域时，如果判定出所述目标用户所持有的用户终端已执行扫码操作，判断是否获取到所述用户终端发送的支付完成信息；
第二报警信息输出模块，用于若支付判断模块判断出未获取到所述用户终端发送的支付完成信息时，输出第二报警信息，所述第二报警信息用于提示所述目标用户完成支付操作。
可选的，所述装置还可以包括：
支付金额判断模块，用于在支付判断模块判定获取到所述用户终端发送的支付完成信息后，判断所述支付完成信息中携带的支付金额是否与目标支付金额一致，其中，所述目标支付金额为基于当前的目标数量和所述目标用户所拿取商品的单价计算所得到的，；
第三报警信息输出模块，用于若支付金额判断模块判断所述支付完成信息中携带的支付金额与目标支付金额不一致，输出第三报警信息，所述第三报警信息用于提示所述目标用户所支付的金额错误。
第三方面，本发明实施例还提供了一种电子设备，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，
存储器503，用于存放计算机程序；
处理器501，用于执行存储器503上所存放的程序时，实现第一方面所述的无人售货架监控方法。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例提供的技术方案，当在购物区域内检测到目标用户时，依次确定目标用户在各帧图像中的手部位置和手部状态，各帧图像为图像采集设备采集的包含目标用户的图像，手部状态包括：目标用户的手部所持有商品的数量；并基于手部位置与货架的边缘线的位置关系，检测目标用户是否发生预定操作，预定操作为手部穿入边缘线且手部穿入边缘线后穿出边缘线；并且，当检测到目标用户发生预定操作时，基于本次预定操作发生过程中各个手部状态所包括的数量的变化，确定目标用户拿取/放置商品的数量；基于每次确定出的目标用户拿取/放置商品的数量，更新目标用户所拿取商品的目标数量。可见，通过本发明实施例提供的技术方案，当检测到用户进入无人售货架对应的购物区域后，可以确定用户所拿取商品的数量，进而可以实现对无人售货架进行有效地监控。
第四方面，本发明实施例提供了一种监控系统，如图6所示，所述监控系统610包括：图像采集设备611；
所述图像采集设备611，用于：
当在所述购物区域内检测到目标用户时，依次确定所述目标用户在各帧图像中的手部位置和手部状态，所述各帧图像为所述图像采集设备采集的包含所述目标用户的图像，所述手部状态包括：所述目标用户的手部所持有商品的数量；
基于所述手部位置与所述货架的边缘线的位置关系，检测所述目标用户是否发生预定操作，所述预定操作为手部穿入边缘线且手部穿入边缘线后穿出边缘线；
当检测到所述目标用户发生预定操作时，基于本次预定操作发生过程中各个手部状态所包括的数量的变化，确定所述目标用户拿取/放置商品的数量；
基于每次确定出的所述目标用户拿取/放置商品的数量，更新所述目标用户所拿取商品的目标数量。
本发明实施例提供的技术方案，当在购物区域内检测到目标用户时，依次确定目标用户在各帧图像中的手部位置和手部状态，各帧图像为图像采集设备采集的包含目标用户的图像，手部状态包括：目标用户的手部所持有商品的数量；并基于手部位置与货架的边缘线的位置关系，检测目标用户是否发生预定操作，预定操作为手部穿入边缘线且手部穿入边缘线后穿出边缘线；并且，当检测到目标用户发生预定操作时，基于本次预定操作发生过程中各个手部状态所包括的数量的变化，确定目标用户拿取/放置商品的数量；基于每次确定出的目标用户拿取/放置商品的数量，更新目标用户所拿取商品的目标数量。可见，通过本发明实施例提供的技术方案，当检测到用户进入无人售货架对应的购物区域后，可以确定用户所拿取商品的数量，进而可以实现对无人售货架进行有效地监控。
可选的，当在所述购物区域内检测到目标用户时，基于所述图像采集设备实时采集的图像，构建所述目标用户的关于头肩位置的运动轨迹，所述运动轨迹中的头肩位置关联有手部位置，任一头肩位置与所关联的手部位置为从同一图像中所确定的且属于同一身体区域；
所述图像采集设备，具体用于：
将所述运动轨迹中头肩位置所关联的手部位置，作为所述目标用户在各帧图像中的手部位置；
基于所述目标用户在各帧图像中的手部位置，确定所述各帧图像中的手部图像；
对所确定的各个手部图像进行手部状态识别，得到所述目标用户在所述各帧图像中的手部状态。
可选的，所述构建所述目标用户的关于头肩位置的运动轨迹，具体为：
对所述图像采集设备持续采集的图像进行头肩检测和手部检测，得到头肩位置和所述头肩位置对应的手部位置；任一头肩位置对应的手部位置与该头肩位置属于同一身体区域；
基于所得到的头肩位置，对所述目标用户进行位置跟踪，得到所述目标用户的关于头肩位置的运动轨迹；
针对所述运动轨迹中的每一头肩位置，将该头肩位置对应的手部位置，与该头肩位置进行关联。
可选的，所述手部状态还包括：所述目标用户手部所持有的用户终端对应的操作状态，所述操作状态用于表征所述用户终端是否扫码；
所述图像采集设备还用于：
基于所确定的操作状态，判断所述目标用户手部所持有的用户终端是否执行扫码操作；
如果是，将当前的目标数量发送至所述用户终端，以使所述用户终端将所接收到的目标数量显示在支付界面中，其中，所述支付界面为所述用户终端执行扫码操作后所显示的界面。
可选的，所述图像采集设备，还具体用于：
基于所述操作状态，统计所述目标用户持续利用所述用户终端扫码的帧数；判断统计所得到的帧数是否大于预设扫码帧数；
若为是，判定所述目标用户所持有的用户终端执行扫码操作。
可选的，所述图像采集设备还用于：
在监测到所述目标用户离开所述购物区域时，如果判定出所述目标用户所持有的用户终端未执行过扫码操作，判断当前的目标数量是否大于0；
若为是，输出第一报警信息，所述第一报警信息用于提示所述目标用户执行扫码操作。
可选的，所述图像采集设备还用于：
在监测到所述目标用户离开所述购物区域时，如果判定出所述目标用户所持有的用户终端已执行扫码操作，判断是否获取到所述用户终端发送的支付完成信息；
若为否，输出第二报警信息，所述第二报警信息用于提示所述目标用户完成支付操作。
可选的，所述图像采集设备还用于：
在判定获取到所述用户终端发送的支付完成信息后，判断所述支付完成信息中携带的支付金额是否与目标支付金额一致，其中，所述目标支付金额为基于当前的目标数量和所述目标用户所拿取商品的单价计算所得到的；
若不一致，输出第三报警信息，所述第三报警信息用于提示所述目标用户所支付的金额错误。
第五方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的无人售货架监控方法。
本发明实施例提供的技术方案，当在购物区域内检测到目标用户时，依次确定目标用户在各帧图像中的手部位置和手部状态，各帧图像为图像采集设备采集的包含目标用户的图像，手部状态包括：目标用户的手部所持有商品的数量；并基于手部位置与货架的边缘线的位置关系，检测目标用户是否发生预定操作，预定操作为手部穿入边缘线且手部穿入边缘线后穿出边缘线；并且，当检测到目标用户发生预定操作时，基于本次预定操作发生过程中各个手部状态所包括的数量的变化，确定目标用户拿取/放置商品的数量；基于每次确定出的目标用户拿取/放置商品的数量，更新目标用户所拿取商品的目标数量。可见，通过本发明实施例提供的技术方案，当检测到用户进入无人售货架对应的购物区域后，可以确定用户所拿取商品的数量，进而可以实现对无人售货架进行有效地监控。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、监控系统、存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (18)

1.一种无人售货架监控方法，其特征在于，应用于监控系统，所述监控系统包括图像采集设备，所述图像采集设备的采集区域包括预定的购物区域，所述方法包括：
当在所述购物区域内检测到目标用户时，依次确定所述目标用户在各帧图像中的手部位置和手部状态，所述各帧图像为所述图像采集设备采集的包含所述目标用户的图像，所述手部状态包括：所述目标用户的手部所持有商品的数量；
基于所述手部位置与无人售货架的边缘线的位置关系，检测所述目标用户是否发生预定操作，所述预定操作为手部穿入边缘线且手部穿入边缘线后穿出边缘线；
当检测到所述目标用户发生预定操作时，基于本次预定操作发生过程中各个手部状态所包括的数量的变化，确定所述目标用户拿取/放置商品的数量；
基于每次确定出的所述目标用户拿取/放置商品的数量，更新所述目标用户所拿取商品的目标数量。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当在所述购物区域内检测到目标用户时，基于所述图像采集设备实时采集的图像，构建所述目标用户的关于头肩位置的运动轨迹，所述运动轨迹中的头肩位置关联有手部位置，任一头肩位置与所关联的手部位置为从同一图像中所确定的且属于同一身体区域；
所述依次确定所述目标用户在各帧图像中的手部位置和手部状态的步骤，包括：
将所述运动轨迹中头肩位置所关联的手部位置，作为所述目标用户在各帧图像中的手部位置；
基于所述目标用户在各帧图像中的手部位置，确定所述各帧图像中的手部图像；
对所确定的各个手部图像进行手部状态识别，得到所述目标用户在所述各帧图像中的手部状态。
3.根据权利要求2所述的方法，其特征在于，所述构建所述目标用户的关于头肩位置的运动轨迹，包括：
对所述图像采集设备持续采集的图像进行头肩检测和手部检测，得到头肩位置和所述头肩位置对应的手部位置；任一头肩位置对应的手部位置与该头肩位置属于同一身体区域；
基于所得到的头肩位置，对所述目标用户进行位置跟踪，得到所述目标用户的关于头肩位置的运动轨迹；
针对所述运动轨迹中的每一头肩位置，将该头肩位置对应的手部位置，与该头肩位置进行关联。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述手部状态还包括：所述目标用户手部所持有的用户终端对应的操作状态，所述操作状态用于表征所述用户终端是否扫码；所述方法还包括：
基于所确定的操作状态，判断所述目标用户手部所持有的用户终端是否执行扫码操作；
如果是，将当前的目标数量发送至所述用户终端，以使所述用户终端将所接收到的目标数量显示在支付界面中，其中，所述支付界面为所述用户终端执行扫码操作后所显示的界面。
5.根据权利要求4所述的方法，其特征在于，所述基于所确定的操作状态，判断所述目标用户手部所持有的用户终端是否执行扫码操作的步骤，包括：
基于所述操作状态，统计所述目标用户持续利用所述用户终端扫码的帧数；判断统计所得到的帧数是否大于预设扫码帧数；
若为是，判定所述目标用户所持有的用户终端执行扫码操作。
6.根据权利要求4所述的方法，其特征在于，所述方法还包括：
在监测到所述目标用户离开所述购物区域时，如果判定出所述目标用户所持有的用户终端未执行过扫码操作，判断当前的目标数量是否大于0；
若为是，输出第一报警信息，所述第一报警信息用于提示所述目标用户执行扫码操作。
7.根据权利要求4所述的方法，其特征在于，所述方法还包括：
在监测到所述目标用户离开所述购物区域时，如果判定出所述目标用户所持有的用户终端已执行扫码操作，判断是否获取到所述用户终端发送的支付完成信息；
若为否，输出第二报警信息，所述第二报警信息用于提示所述目标用户完成支付操作。
8.根据权利要求7所述的方法，其特征在于，在判定获取到所述用户终端发送的支付完成信息后，所述方法还包括：
判断所述支付完成信息中携带的支付金额是否与目标支付金额一致，其中，所述目标支付金额为基于当前的目标数量和所述目标用户所拿取商品的单价计算所得到的；
若不一致，输出第三报警信息，所述第三报警信息用于提示所述目标用户所支付的金额错误。
9.一种无人售货架监控装置，其特征在于，应用于监控系统，所述监控系统包括图像采集设备，所述图像采集设备的采集区域包括预定的购物区域，所述装置包括：
信息确定模块，用于当在所述购物区域内检测到目标用户时，依次确定所述目标用户在各帧图像中的手部位置和手部状态，所述各帧图像为所述图像采集设备采集的包含所述目标用户的图像，所述手部状态包括：所述目标用户的手部所持有商品的数量；
操作检测模块，用于基于所述手部位置与无人售货架的边缘线的位置关系，检测所述目标用户是否发生预定操作，所述预定操作为手部穿入边缘线且手部穿入边缘线后穿出边缘线；
第一数量确定模块，用于当检测到所述目标用户发生预定操作时，基于本次预定操作发生过程中各个手部状态所包括的数量的变化，确定所述目标用户拿取/放置商品的数量；
第二数量确定模块，用于基于每次确定出的所述目标用户拿取/放置商品的数量，更新所述目标用户所拿取商品的目标数量。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
轨迹构建模块，用于当在所述购物区域内检测到目标用户时，基于所述图像采集设备实时采集的图像，构建所述目标用户的关于头肩位置的运动轨迹，所述运动轨迹中的头肩位置关联有手部位置，任一头肩位置与所关联的手部位置为从同一图像中所确定的且属于同一身体区域；
所述信息确定模块，包括：
手部位置确定子模块，用于将所述运动轨迹中头肩位置所关联的手部位置，作为所述目标用户在各帧图像中的手部位置；
手部图像确定子模块，用于基于所述目标用户在各帧图像中的手部位置，确定所述各帧图像中的手部图像；
手部状态确定子模块，用于对所确定的各个手部图像进行手部状态识别，得到所述目标用户在所述各帧图像中的手部状态。
11.根据权利要求10所述的装置，其特征在于，所述轨迹构建模块，具体用于：
对所述图像采集设备持续采集的图像进行头肩检测和手部检测，得到头肩位置和所述头肩位置对应的手部位置；任一头肩位置对应的手部位置与该头肩位置属于同一身体区域；
基于所得到的头肩位置，对所述目标用户进行位置跟踪，得到所述目标用户的关于头肩位置的运动轨迹；
针对所述运动轨迹中的每一头肩位置，将该头肩位置对应的手部位置，与该头肩位置进行关联。
12.根据权利要求9-11任一项所述的装置，其特征在于，所述手部状态还包括：所述目标用户手部所持有的用户终端对应的操作状态，所述操作状态用于表征所述用户终端是否扫码；所述装置还包括：
扫码操作判断模块，用于基于所确定的操作状态，判断所述目标用户手部所持有的用户终端是否执行扫码操作；
目标数量发送模块，用于如果扫码操作判断模块判断出所述目标用户手部所持有的用户终端执行扫码操作，将当前的目标数量发送至所述用户终端，以使所述用户终端将所接收到的目标数量显示在支付界面中，其中，所述支付界面为所述用户终端执行扫码操作后所显示的界面。
13.根据权利要求12所述的装置，其特征在于，所述扫码操作判断模块，具体用于：
基于所述操作状态，统计所述目标用户持续利用所述用户终端扫码的帧数；判断统计所得到的帧数是否大于预设扫码帧数；
若为是，判定所述目标用户所持有的用户终端执行扫码操作。
14.根据权利要求12所述的装置，其特征在于，所述装置还包括：
目标数量判断模块，用于在监测到所述目标用户离开所述购物区域时，如果判定出所述目标用户所持有的用户终端未执行过扫码操作，判断当前的目标数量是否大于0；
第一报警信息输出模块，用于若目标数量判断模块判断出当前的目标数量大于0，输出第一报警信息，所述第一报警信息用于提示所述目标用户执行扫码操作。
15.根据权利要求12所述的装置，其特征在于，所述装置还包括：
支付判断模块，用于在监测到所述目标用户离开所述购物区域时，如果判定出所述目标用户所持有的用户终端已执行扫码操作，判断是否获取到所述用户终端发送的支付完成信息；
第二报警信息输出模块，用于若支付判断模块判断出未获取到所述用户终端发送的支付完成信息时，输出第二报警信息，所述第二报警信息用于提示所述目标用户完成支付操作。
16.根据权利要求15所述的装置，其特征在于，所述装置还包括：
支付金额判断模块，用于在支付判断模块判定获取到所述用户终端发送的支付完成信息后，判断所述支付完成信息中携带的支付金额是否与目标支付金额一致，其中，所述目标支付金额为基于当前的目标数量和所述目标用户所拿取商品的单价计算所得到的；
第三报警信息输出模块，用于若支付金额判断模块判断所述支付完成信息中携带的支付金额与目标支付金额不一致，输出第三报警信息，所述第三报警信息用于提示所述目标用户所支付的金额错误。
17.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-8任一所述的方法步骤。
18.一种监控系统，其特征在于，所述系统包括：图像采集设备；
所述图像采集设备，用于：
当在所述购物区域内检测到目标用户时，依次确定所述目标用户在各帧图像中的手部位置和手部状态，所述各帧图像为所述图像采集设备采集的包含所述目标用户的图像，所述手部状态包括：所述目标用户的手部所持有商品的数量；
基于所述手部位置与所述货架的边缘线的位置关系，检测所述目标用户是否发生预定操作，所述预定操作为手部穿入边缘线且手部穿入边缘线后穿出边缘线；
当检测到所述目标用户发生预定操作时，基于本次预定操作发生过程中各个手部状态所包括的数量的变化，确定所述目标用户拿取/放置商品的数量；
基于每次确定出的所述目标用户拿取/放置商品的数量，更新所述目标用户所拿取商品的目标数量。
CN201811224763.9A 2018-10-19 2018-10-19 一种无人售货架监控方法、装置、电子设备及系统 Active CN111079478B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811224763.9A CN111079478B (zh) 2018-10-19 2018-10-19 一种无人售货架监控方法、装置、电子设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811224763.9A CN111079478B (zh) 2018-10-19 2018-10-19 一种无人售货架监控方法、装置、电子设备及系统

Publications (2)

Publication Number Publication Date
CN111079478A true CN111079478A (zh) 2020-04-28
CN111079478B CN111079478B (zh) 2023-04-18

Family

ID=70309380

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811224763.9A Active CN111079478B (zh) 2018-10-19 2018-10-19 一种无人售货架监控方法、装置、电子设备及系统

Country Status (1)

Country Link
CN (1) CN111079478B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507315A (zh) * 2020-06-15 2020-08-07 杭州海康威视数字技术股份有限公司 一种物品取放事件检测方法、装置及设备
CN111680654A (zh) * 2020-06-15 2020-09-18 杭州海康威视数字技术股份有限公司 一种基于物品取放事件的人员信息获取方法、装置及设备
CN112991379A (zh) * 2021-04-09 2021-06-18 华南理工大学 一种基于动态视觉的无人售货方法及系统
CN113378802A (zh) * 2021-08-12 2021-09-10 北京每日优鲜电子商务有限公司 报警信息发送方法、电子设备和计算机可读介质
CN114360182A (zh) * 2020-09-27 2022-04-15 腾讯科技（深圳）有限公司 一种智能告警方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150039458A1 (en) * 2013-07-24 2015-02-05 Volitional Partners, Inc. Method and system for automated retail checkout using context recognition
JP2015201115A (ja) * 2014-04-10 2015-11-12 サッポロビール株式会社 商品販売装置及び画像表示方法
CN105518734A (zh) * 2013-09-06 2016-04-20 日本电气株式会社 顾客行为分析系统、顾客行为分析方法、非暂时性计算机可读介质和货架系统
CN107742381A (zh) * 2017-09-30 2018-02-27 苏州大学 一种包装食品无人售货方法
CN108175227A (zh) * 2018-02-26 2018-06-19 北京地平线机器人技术研发有限公司 货架控制方法、装置和电子设备
CN108198030A (zh) * 2017-12-29 2018-06-22 深圳正品创想科技有限公司 一种手推车控制方法、装置及电子设备
CN108615285A (zh) * 2018-04-23 2018-10-02 合肥美的智能科技有限公司 无人售货设备安全开门控制方法、服务器及无人售货系统
CN108629573A (zh) * 2018-04-08 2018-10-09 深圳奥比中光科技有限公司 一种智能自助购物方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150039458A1 (en) * 2013-07-24 2015-02-05 Volitional Partners, Inc. Method and system for automated retail checkout using context recognition
CN105518734A (zh) * 2013-09-06 2016-04-20 日本电气株式会社 顾客行为分析系统、顾客行为分析方法、非暂时性计算机可读介质和货架系统
JP2015201115A (ja) * 2014-04-10 2015-11-12 サッポロビール株式会社 商品販売装置及び画像表示方法
CN107742381A (zh) * 2017-09-30 2018-02-27 苏州大学 一种包装食品无人售货方法
CN108198030A (zh) * 2017-12-29 2018-06-22 深圳正品创想科技有限公司 一种手推车控制方法、装置及电子设备
CN108175227A (zh) * 2018-02-26 2018-06-19 北京地平线机器人技术研发有限公司 货架控制方法、装置和电子设备
CN108629573A (zh) * 2018-04-08 2018-10-09 深圳奥比中光科技有限公司 一种智能自助购物方法及系统
CN108615285A (zh) * 2018-04-23 2018-10-02 合肥美的智能科技有限公司 无人售货设备安全开门控制方法、服务器及无人售货系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507315A (zh) * 2020-06-15 2020-08-07 杭州海康威视数字技术股份有限公司 一种物品取放事件检测方法、装置及设备
CN111680654A (zh) * 2020-06-15 2020-09-18 杭州海康威视数字技术股份有限公司 一种基于物品取放事件的人员信息获取方法、装置及设备
CN111680654B (zh) * 2020-06-15 2023-10-13 杭州海康威视数字技术股份有限公司 一种基于物品取放事件的人员信息获取方法、装置及设备
CN114360182A (zh) * 2020-09-27 2022-04-15 腾讯科技（深圳）有限公司 一种智能告警方法、装置、设备及存储介质
CN114360182B (zh) * 2020-09-27 2024-02-27 腾讯科技（深圳）有限公司 一种智能告警方法、装置、设备及存储介质
CN112991379A (zh) * 2021-04-09 2021-06-18 华南理工大学 一种基于动态视觉的无人售货方法及系统
CN112991379B (zh) * 2021-04-09 2024-02-09 华南理工大学 一种基于动态视觉的无人售货方法及系统
CN113378802A (zh) * 2021-08-12 2021-09-10 北京每日优鲜电子商务有限公司 报警信息发送方法、电子设备和计算机可读介质
CN113378802B (zh) * 2021-08-12 2021-11-19 北京每日优鲜电子商务有限公司 报警信息发送方法、电子设备和计算机可读介质

Also Published As

Publication number Publication date
CN111079478B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN111079478B (zh) 一种无人售货架监控方法、装置、电子设备及系统
CN108335408B (zh) 用于自动售货机的物品识别方法、装置、系统及存储介质
CN108320404B (zh) 基于神经网络的商品识别方法、装置、自助收银台
CN110866429B (zh) 漏扫识别方法、装置、自助收银终端及系统
CN108875664B (zh) 选购商品的识别方法、装置以及售货机
CN108198331B (zh) 一种取货检测方法、装置及无人售货柜
US10129507B2 (en) System and method for self-checkout using product images
US11887051B1 (en) Identifying user-item interactions in an automated facility
CN110050284A (zh) 一种自动店内登记系统
CN108269371A (zh) 商品自动结算方法、装置、自助收银台
CN111263224B (zh) 视频处理方法、装置及电子设备
CN109353397B (zh) 商品管理方法、装置和系统及存储介质及购物车
CN108960132B (zh) 一种开放式自动售货机中商品的购买方法及其装置
CN111429655A (zh) 货品识别方法及货品识别系统、存储介质及电子设备
EP3901841A1 (en) Settlement method, apparatus, and system
CN110717769B (zh) 一种智能柜物品的退货方法、装置、设备及存储介质
CN109556695B (zh) 称重方法、称重装置、无人售货柜和无人售货方法
WO2019165895A1 (zh) 自动售货方法和系统以及自动售货装置和自动贩售机
CN111126990A (zh) 物品自动识别方法、结算方法、装置、终端及存储介质
CN112907168A (zh) 动态商品识别方法、无人售货柜及其售货方法
US11238401B1 (en) Identifying user-item interactions in an automated facility
CN111260685B (zh) 视频处理方法、装置及电子设备
CN111507792A (zh) 一种自助购物方法、计算机可读存储介质及系统
US20230005348A1 (en) Fraud detection system and method
CN111310610B (zh) 货品识别方法、货品识别系统及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant