CN117409484A - 基于云值守的客户违规行为检测方法、装置及存储介质 - Google Patents

基于云值守的客户违规行为检测方法、装置及存储介质 Download PDF

Info

Publication number
CN117409484A
CN117409484A CN202311714730.3A CN202311714730A CN117409484A CN 117409484 A CN117409484 A CN 117409484A CN 202311714730 A CN202311714730 A CN 202311714730A CN 117409484 A CN117409484 A CN 117409484A
Authority
CN
China
Prior art keywords
user
image
joint point
frame
wrist
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311714730.3A
Other languages
English (en)
Inventor
聂琨林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Hantang Cloud Distributed Storage Technology Co ltd
Original Assignee
Sichuan Hantang Cloud Distributed Storage Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Hantang Cloud Distributed Storage Technology Co ltd filed Critical Sichuan Hantang Cloud Distributed Storage Technology Co ltd
Priority to CN202311714730.3A priority Critical patent/CN117409484A/zh
Publication of CN117409484A publication Critical patent/CN117409484A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明公开一种基于云值守的客户违规行为检测方法、装置及存储介质，涉及行为检测技术领域。该方法包括获取无人值守商店内用户的图像序列；检测用户的手部区域是否存在烟头；如果存在，则对图像序列中的每帧图像的进行用户关节点提取，得到每帧图像中用户的人体关节点；基于用户的手腕关节点、手肘关节点、肩关节点和头部关节点在像素坐标系中的坐标，计算出每帧图像中用户的手臂角度以及用户的手腕关节点与头部关节点之间的间隔距离；如果有连续N帧图像所对应的间隔距离小于第一预设距离，且所对应的夹角低于预设角度，则判定存在违规抽烟行为。本发明公开的方法、装置及存储介质能够更加准确的检测出无人值守商店内的违规抽烟行为。

Description

基于云值守的客户违规行为检测方法、装置及存储介质
技术领域
本发明属于行为检测技术领域，具体涉及一种基于云值守的客户违规行为检测方法、装置及存储介质。
背景技术
随着互联网和实体经济的发展，零售业新形态的无人值守商店开始变得火热，相对于传统的零售业，无人值守商店避免了大量的人工开支，其减少了店铺的运营成本，因此被广泛应用于各个行业。
由于无人值守商店中没有工作人员看守，若发生事故往往无法及时安排人员进行处理，因此对于店内的安全检测显得十分有必要，特别是容易引发火灾的店内抽烟行为的检测。目前，对于无人值守商店内客户抽烟行为的检测，大都是通过检测用户手中持有烟头来实现，然而在实际情形中，一些用户手持类似烟头的物品而实际上未抽烟的情形也会被误判为存在抽烟行为，从而导致误判。
因此，如何提供一种有效的方案，以实现无人值守商店内违规抽烟行为的准确检测，已成为现有技术中一亟待解决的问题。
发明内容
本发明的目的是提供一种基于云值守的客户违规行为检测方法、装置及存储介质，用以解决现有技术中存在的上述问题。
为了实现上述目的，本发明采用以下技术方案：
第一方面，本发明提供了一种基于云值守的客户违规行为检测方法，用于无人值守商店内违规抽烟行为的检测，包括：
获取无人值守商店内用户的图像序列；
通过目标检测算法检测所述图像序列中用户的手部区域是否存在烟头；
如果所述图像序列中用户的手部区域存在烟头，则对所述图像序列中的每帧图像的进行用户关节点提取，得到每帧图像中用户的人体关节点，所述人体关节点包括手腕关节点、手肘关节点、肩关节点和头部关节点；
基于每帧图像中用户的手腕关节点、手肘关节点、肩关节点和头部关节点在像素坐标系中的坐标，计算出每帧图像中用户的手臂角度以及每帧图像中用户的手腕关节点与头部关节点之间的间隔距离，所述手臂角度为第一连线与第二连线之间的夹角，所述第一连线为手腕关节点与手肘关节点的连线，所述第二连线为手肘关节点与肩关节点的连线；
如果有连续N帧图像所对应的间隔距离小于第一预设距离，且所述连续N帧图像所对应的夹角低于预设角度，则判定无人值守商店内存在违规抽烟行为，其中N为大于2的正整数。
基于上述公开的内容，本发明通过获取无人值守商店内用户的图像序列；通过目标检测算法检测图像序列中用户的手部区域是否存在烟头；如果图像序列中用户的手部区域存在烟头，则对图像序列中的每帧图像的进行用户关节点提取，得到每帧图像中用户的人体关节点，人体关节点手腕关节点、手肘关节点、肩关节点和头部关节点；基于每帧图像中用户的手腕关节点、手肘关节点、肩关节点和头部关节点在像素坐标系中的坐标，计算出每帧图像中用户的手臂角度以及每帧图像中用户的手腕关节点与头部关节点之间的间隔距离，手臂角度为第一连线与第二连线之间的夹角，第一连线为手腕关节点与手肘关节点的连线，第二连线为手肘关节点与肩关节点的连线；如果有连续N帧图像所对应的间隔距离小于第一预设距离，且连续N帧图像所对应的夹角低于预设角度，则判定无人值守商店内存在违规抽烟行为，其中N为大于2的正整数。如此，在对无人值守商店内客户违规抽烟行为进行检测时，除对手部区域是否存在烟头进行检测外，还结合用户手臂角度以及用户手腕与头部之间的间隔距离等参数来判断用户是否存在吸烟动作，从而能够更加准确的检测出无人值守商店内的违规抽烟行为，避免出现误检测的情况发生。
通过上述的设计，本发明在对无人值守商店内客户违规抽烟行为进行检测时，除对手部区域是否存在烟头进行检测外，还结合用户手臂角度以及用户手腕与头部之间的间隔距离等参数来判断用户是否存在吸烟动作，从而能够更加准确的检测出无人值守商店内的违规抽烟行为，避免出现误检测的情况发生，便于实际应用和推广。
在一个可能的设计中，所述基于每帧图像中用户的手腕关节点、手肘关节点、肩关节点和头部关节点在像素坐标系中的坐标，计算出每帧图像中用户的手臂角度以及每帧图像中用户的手腕关节点与头部关节点之间的间隔距离，包括：
基于每帧图像中用户的手腕关节点、手肘关节点和肩关节点在像素坐标系中的坐标，计算出每帧图像中位于同侧的手腕关节点与手肘关节点之间的距离、每帧图像中位于同侧的手肘关节点与肩关节点的距离以及每帧图像中位于同侧的手腕关节点与肩关节点的距离；
基于每帧图像中位于同侧的手腕关节点与手肘关节点之间的距离、每帧图像中位于同侧的手肘关节点与肩关节点的距离以及每帧图像中位于同侧的手腕关节点与肩关节点的距离，计算出每帧图像中用户的且与存在烟头的手部区域同侧的手臂角度；
基于每帧图像中用户的手腕关节点和头部关节点在像素坐标系中的坐标，计算出每帧图像中用户的且与存在烟头的手部区域同侧的手腕关节点与头部关节点之间的间隔距离。
在一个可能的设计中，任一图像中用户的且与存在烟头的手部区域同侧的手臂角度为，其中a表示用户的且与存在烟头的手部区域同侧的手肘关节点与肩关节点的距离，b表示用户的且与存在烟头的手部区域同侧的手腕关节点与肩关节点的距离，c表示用户的且与存在烟头的手部区域同侧的手腕关节点与手肘关节点的距离。
在一个可能的设计中，任一图像中用户的且与存在烟头的手部区域同侧的手腕关节点与头部关节点之间的间隔距离为，其中x2表示任一图像中用户的且与存在烟头的手部区域同侧的手腕关节点在像素坐标系中的横坐标，y2表示任一图像中用户的且与存在烟头的手部区域同侧的手腕关节点在像素坐标系中的纵坐标，x1表示任一图像中用户的且与存在烟头的手部区域同侧的头部关节点在像素坐标系中的横坐标，y1表示任一图像中用户的且与存在烟头的手部区域同侧的头部关节点在像素坐标系中的纵坐标。
在一个可能的设计中，所述通过目标检测算法检测所述图像序列中用户的手部区域是否存在烟头，包括：
通过第一目标检测算法检测所述图像序列的至少一帧图像中用户的手部区域；
通过第二目标检测算法检测所述至少一帧图像中是否存在烟头；
如果所述至少一帧图像中存在烟头，则计算所述至少一帧图像中烟头与用户的手部区域之间的距离；
如果所述至少一帧图像中烟头与用户的手部区域之间的距离均小于第二预设距离，则判定所述图像序列中用户的手部区域存在烟头。
在一个可能的设计中，所述第一目标检测算法和所述第二目标检测算法均为YOLOv5算法。
在一个可能的设计中，在判定无人值守商店内存在违规抽烟行为之后，所述方法还包括：
向无人值守商店内的语音播报设备发送语音播报指令，以使所述语音播报设备发出提示语音。
第二方面，本发明提供了一种基于云值守的客户违规行为检测装置，其特征在于，用于无人值守商店内违规抽烟行为的检测，包括：
获取单元，用于获取无人值守商店内用户的图像序列；
检测单元，用于通过目标检测算法检测所述图像序列中用户的手部区域是否存在烟头；
提取单元，用于如果所述图像序列中用户的手部区域存在烟头，则对所述图像序列中的每帧图像的进行用户关节点提取，得到每帧图像中用户的人体关节点，所述人体关节点包括手腕关节点、手肘关节点、肩关节点和头部关节点；
计算单元，用于基于每帧图像中用户的手腕关节点、手肘关节点、肩关节点和头部关节点在像素坐标系中的坐标，计算出每帧图像中用户的手臂角度以及每帧图像中用户的手腕关节点与头部关节点之间的间隔距离，所述手臂角度为第一连线与第二连线之间的夹角，所述第一连线为手腕关节点与手肘关节点的连线，所述第二连线为手肘关节点与肩关节点的连线；
判断单元，用于如果有连续N帧图像所对应的间隔距离小于第一预设距离，且所述连续N帧图像所对应的夹角低于预设角度，则判定无人值守商店内存在违规抽烟行为，其中N为大于2的正整数。
第三方面，本发明提供了另一种基于云值守的客户违规行为检测装置，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如上述第一方面或第一方面任一可能设计所述的基于云值守的客户违规行为检测方法。
第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行第一方面或第一方面任一可能设计所述的基于云值守的客户违规行为检测方法。
第五方面，本发明提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面或第一方面任一可能设计所述的基于云值守的客户违规行为检测方法。
有益效果：
本发明提供的基于云值守的客户违规行为检测方法、装置及存储介质，在对无人值守商店内客户违规抽烟行为进行检测时，除对手部区域是否存在烟头进行检测外，还结合用户手臂角度以及用户手腕与头部之间的间隔距离等参数来判断用户是否存在吸烟动作，从而能够更加准确的检测出无人值守商店内的违规抽烟行为，避免出现误检测的情况发生，便于实际应用和推广。
附图说明
图1为本申请实施例提供的基于云值守的客户违规行为检测方法的流程图；
图2为本申请实施例提供的基于云值守的客户违规行为检测装置的结构示意图；
图3为本申请实施例提供的另一基于云值守的客户违规行为检测装置的结构示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍，显而易见地，下面关于附图结构的描述仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。
应当理解，尽管本文可能使用术语第一、第二等等来描述各种单元，但是这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元称作第二单元,并且类似地可以将第二单元称作第一单元，同时不脱离本发明的示例实施例的范围。
应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B三种情况；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A，单独存在A和B两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。
为了实现无人值守商店内违规抽烟行为的准确检测，本申请实施例提供了一种基于云值守的客户违规行为检测方法、装置及存储介质，该基于云值守的客户违规行为检测方法、装置及存储介质能够更加准确的检测出无人值守商店内的违规抽烟行为，避免出现误检测的情况发生。
本申请实施例提供的基于云值守的客户违规行为检测方法应用于与无人值守商店内的监控设备通信连接的后台管理终端或服务器。可以理解，所述执行主体并不构成对本申请实施例的限定。
下面将对本申请实施例提供的基于云值守的客户违规行为检测方法进行详细说明。
如图1所示，是本申请实施例第一方面提供的基于云值守的客户违规行为检测方法的流程图，该基于云值守的客户违规行为检测方法可以但不限于包括如下步骤S101-S105。
步骤S101.获取无人值守商店内用户的图像序列。
本申请实施例中，无人值守商店内设置有监控摄像机，所述监控摄像机可以设置多个并布置在无人值守商店内的不同位置，以便覆盖整个无人值守商店。在对无人值守商店内的违规抽烟行为进行检测时，监控摄像机获取无人值守商店内用户的图像序列并上传。所述图像序列包括连续的多帧图像。
步骤S102.通过目标检测算法检测图像序列中用户的手部区域是否存在烟头。
具体的，检测用户的手部区域是否存在烟头可以但不限于包括如下步骤S1021-S1024。
步骤S1021.通过第一目标检测算法检测图像序列的至少一帧图像中用户的手部区域。
其中，所述第一目标检测算法可以但不限于是YOLOv4或YOLOv5算法等，本申请实施例中不再具体限定。
步骤S1022.通过第二目标检测算法检测至少一帧图像中是否存在烟头。
其中，所述第二目标检测算法可以但不限于是YOLOv4或YOLOv5算法等，本申请实施例中不再具体限定。
通过目标检测算法检测用户的手部区域以及图像中是否存在烟头为现有技术，于此不再详细说明。
步骤S1023.如果至少一帧图像中存在烟头，则计算至少一帧图像中烟头与用户的手部区域之间的距离。
本申请实施例中，在检测出该至少一帧图像中的烟头以及用户的手部区域后，可记录烟头中心点和用户的手部区域中心点在像素坐标系中的像素坐标，然后根据同一帧图像中烟头中心点和用户的手部区域中心点在像素坐标系中的像素坐标，计算出该至少一帧图像的每帧图像中烟头与用户的手部区域之间的距离（像素距离）。
步骤S1024.如果至少一帧图像中烟头与用户的手部区域之间的距离均小于第二预设距离，则判定图像序列中用户的手部区域存在烟头。
如果该至少一帧图像中烟头与用户的手部区域之间的距离均小于第二预设距离，则判定图像序列中用户的手部区域存在烟头。其中，所述第二预设距离可根据实际情况设定。
步骤S103.如果图像序列中用户的手部区域存在烟头，则对图像序列中的每帧图像的进行用户关节点提取，得到每帧图像中用户的人体关节点。
其中，人体关节点包括手腕关节点、手肘关节点、肩关节点和头部关节点。
步骤S104.基于每帧图像中用户的手腕关节点、手肘关节点、肩关节点和头部关节点在像素坐标系中的坐标，计算出每帧图像中用户的手臂角度以及每帧图像中用户的手腕关节点与头部关节点之间的间隔距离。
其中，手臂角度为第一连线与第二连线之间的夹角，第一连线为（同一侧的）手腕关节点与手肘关节点的连线，第二连线为（同一侧的）手肘关节点与肩关节点的连线。
更具体的，可以先基于每帧图像中用户的手腕关节点、手肘关节点和肩关节点在像素坐标系中的坐标，计算出每帧图像中位于同侧的手腕关节点与手肘关节点之间的距离、每帧图像中位于同侧的手肘关节点与肩关节点的距离以及每帧图像中位于同侧的手腕关节点与肩关节点的距离。然后，基于每帧图像中位于同侧的手腕关节点与手肘关节点之间的距离、每帧图像中位于同侧的手肘关节点与肩关节点的距离以及每帧图像中位于同侧的手腕关节点与肩关节点的距离，计算出每帧图像中用户的且与存在烟头的手部区域同侧的手臂角度。最后，基于每帧图像中用户的手腕关节点和头部关节点在像素坐标系中的坐标，计算出每帧图像中用户的且与存在烟头的手部区域同侧的手腕关节点与头部关节点之间的间隔距离。
其中，任一图像中用户的且与存在烟头的手部区域同侧的手臂角度可以表示为，其中a表示用户的且与存在烟头的手部区域同侧的手肘关节点与肩关节点的距离，b表示用户的且与存在烟头的手部区域同侧的手腕关节点与肩关节点的距离，c表示用户的且与存在烟头的手部区域同侧的手腕关节点与手肘关节点的距离。任一图像中用户的且与存在烟头的手部区域同侧的手腕关节点与头部关节点之间的间隔距离可以表示为/>，其中x2表示该任一图像中用户的且与存在烟头的手部区域同侧的手腕关节点在像素坐标系中的横坐标，y2表示该任一图像中用户的且与存在烟头的手部区域同侧的手腕关节点在像素坐标系中的纵坐标，x1表示该任一图像中用户的且与存在烟头的手部区域同侧的头部关节点在像素坐标系中的横坐标，y1表示该任一图像中用户的且与存在烟头的手部区域同侧的头部关节点在像素坐标系中的纵坐标。
步骤S105.如果有连续N帧图像所对应的间隔距离小于第一预设距离，且连续N帧图像所对应的夹角低于预设角度，则判定无人值守商店内存在违规抽烟行为。
如果有连续N帧图像所对应的（手腕关节点与头部关节点之间的）间隔距离小于第一预设距离，且连续N帧图像所对应的夹角低于预设角度，则说明该连续N帧图像所对应的时间内用户均保持抽烟的姿势，且由于用户的手部区域存在烟头，因此可以判定该用户存在抽烟行为，也即无人值守商店内的存在违规抽烟行为。其中，N为大于2的正整数，例如N可以取5、10或15等，N的取值可根据监控摄像机所采集图像的频率设定。
在一个或多个实施例中，在判定无人值守商店内存在违规抽烟行为之后，还可以向无人值守商店内的语音播报设备发送语音播报指令，以使所述语音播报设备发出提示语音以提醒抽烟的用户。
本发明提供的基于云值守的客户违规行为检测方法，通过获取无人值守商店内用户的图像序列；通过目标检测算法检测图像序列中用户的手部区域是否存在烟头；如果图像序列中用户的手部区域存在烟头，则对图像序列中的每帧图像的进行用户关节点提取，得到每帧图像中用户的人体关节点，人体关节点手腕关节点、手肘关节点、肩关节点和头部关节点；基于每帧图像中用户的手腕关节点、手肘关节点、肩关节点和头部关节点在像素坐标系中的坐标，计算出每帧图像中用户的手臂角度以及每帧图像中用户的手腕关节点与头部关节点之间的间隔距离，手臂角度为第一连线与第二连线之间的夹角，第一连线为手腕关节点与手肘关节点的连线，第二连线为手肘关节点与肩关节点的连线；如果有连续N帧图像所对应的间隔距离小于第一预设距离，且连续N帧图像所对应的夹角低于预设角度，则判定无人值守商店内存在违规抽烟行为，其中N为大于2的正整数。如此，在对无人值守商店内客户违规抽烟行为进行检测时，除对手部区域是否存在烟头进行检测外，还结合用户手臂角度以及用户手腕与头部之间的间隔距离等参数来判断用户是否存在吸烟动作，从而能够更加准确的检测出无人值守商店内的违规抽烟行为，避免出现误检测的情况发生，便于实际应用和推广。
请参阅图2，本申请实施例第二方面提供了一种基于云值守的客户违规行为检测装置，用于无人值守商店内违规抽烟行为的检测，该基于云值守的客户违规行为检测装置包括：
获取单元，用于获取无人值守商店内用户的图像序列；
检测单元，用于通过目标检测算法检测所述图像序列中用户的手部区域是否存在烟头；
提取单元，用于如果所述图像序列中用户的手部区域存在烟头，则对所述图像序列中的每帧图像的进行用户关节点提取，得到每帧图像中用户的人体关节点，所述人体关节点包括手腕关节点、手肘关节点、肩关节点和头部关节点；
计算单元，用于基于每帧图像中用户的手腕关节点、手肘关节点、肩关节点和头部关节点在像素坐标系中的坐标，计算出每帧图像中用户的手臂角度以及每帧图像中用户的手腕关节点与头部关节点之间的间隔距离，所述手臂角度为第一连线与第二连线之间的夹角，所述第一连线为手腕关节点与手肘关节点的连线，所述第二连线为手肘关节点与肩关节点的连线；
判断单元，用于如果有连续N帧图像所对应的间隔距离小于第一预设距离，且所述连续N帧图像所对应的夹角低于预设角度，则判定无人值守商店内存在违规抽烟行为，其中N为大于2的正整数。
本实施例第二方面提供的基于云值守的客户违规行为检测装置的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
如图3所示，本申请实施例第三方面提供了另一种基于云值守的客户违规行为检测装置，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如实施例第一方面所述的基于云值守的客户违规行为检测方法。
具体举例的，所述存储器可以但不限于包括随机存取存储器（RAM）、只读存储器（ROM）、闪存（Flash Memory）、先进先出存储器（FIFO）和/或先进后出存储器（FILO）等等；所述处理器可以不限于采用型号为STM32F105系列的微处理器、ARM（Advanced RISCMachines）、X86等架构处理器或集成NPU（neural-network processing units）的处理器；所述收发器可以但不限于为WiFi（无线保真）无线收发器、蓝牙无线收发器、通用分组无线服务技术（General Packet Radio Service，GPRS）无线收发器、紫蜂协议（基于IEEE802.15.4标准的低功耗局域网协议，ZigBee）无线收发器、3G收发器、4G收发器和/或5G收发器等。
本实施例第四方面提供了一种存储包含有实施例第一方面所述的基于云值守的客户违规行为检测方法的指令的计算机可读存储介质，即所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面所述的基于云值守的客户违规行为检测方法。其中，所述计算机可读存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
本实施例第五方面提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如实施例第一方面所述的基于云值守的客户违规行为检测方法，其中，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
应当理解，在下面的描述中提供了特定的细节,以便于对示例实施例的完全理解。然而，本领域普通技术人员应当理解可以在没有这些特定细节的情况下实现示例实施例。例如可以在框图中示出系统，以避免用不必要的细节来使得示例不清楚。在其他实例中，可以不以不必要的细节来示出众所周知的过程、结构和技术，以避免使得示例实施例不清。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于云值守的客户违规行为检测方法，用于无人值守商店内违规抽烟行为的检测，其特征在于，包括：
获取无人值守商店内用户的图像序列；
通过目标检测算法检测所述图像序列中用户的手部区域是否存在烟头；
如果所述图像序列中用户的手部区域存在烟头，则对所述图像序列中的每帧图像的进行用户关节点提取，得到每帧图像中用户的人体关节点，所述人体关节点包括手腕关节点、手肘关节点、肩关节点和头部关节点；
基于每帧图像中用户的手腕关节点、手肘关节点、肩关节点和头部关节点在像素坐标系中的坐标，计算出每帧图像中用户的手臂角度以及每帧图像中用户的手腕关节点与头部关节点之间的间隔距离，所述手臂角度为第一连线与第二连线之间的夹角，所述第一连线为手腕关节点与手肘关节点的连线，所述第二连线为手肘关节点与肩关节点的连线；
如果有连续N帧图像所对应的间隔距离小于第一预设距离，且所述连续N帧图像所对应的夹角低于预设角度，则判定无人值守商店内存在违规抽烟行为，其中N为大于2的正整数。
2.根据权利要求1所述的基于云值守的客户违规行为检测方法，其特征在于，所述基于每帧图像中用户的手腕关节点、手肘关节点、肩关节点和头部关节点在像素坐标系中的坐标，计算出每帧图像中用户的手臂角度以及每帧图像中用户的手腕关节点与头部关节点之间的间隔距离，包括：
基于每帧图像中用户的手腕关节点、手肘关节点和肩关节点在像素坐标系中的坐标，计算出每帧图像中位于同侧的手腕关节点与手肘关节点之间的距离、每帧图像中位于同侧的手肘关节点与肩关节点的距离以及每帧图像中位于同侧的手腕关节点与肩关节点的距离；
基于每帧图像中位于同侧的手腕关节点与手肘关节点之间的距离、每帧图像中位于同侧的手肘关节点与肩关节点的距离以及每帧图像中位于同侧的手腕关节点与肩关节点的距离，计算出每帧图像中用户的且与存在烟头的手部区域同侧的手臂角度；
基于每帧图像中用户的手腕关节点和头部关节点在像素坐标系中的坐标，计算出每帧图像中用户的且与存在烟头的手部区域同侧的手腕关节点与头部关节点之间的间隔距离。
3.根据权利要求2所述的基于云值守的客户违规行为检测方法，其特征在于，任一图像中用户的且与存在烟头的手部区域同侧的手臂角度为，其中a表示用户的且与存在烟头的手部区域同侧的手肘关节点与肩关节点的距离，b表示用户的且与存在烟头的手部区域同侧的手腕关节点与肩关节点的距离，c表示用户的且与存在烟头的手部区域同侧的手腕关节点与手肘关节点的距离。
4.根据权利要求2所述的基于云值守的客户违规行为检测方法，其特征在于，任一图像中用户的且与存在烟头的手部区域同侧的手腕关节点与头部关节点之间的间隔距离为，其中x2表示任一图像中用户的且与存在烟头的手部区域同侧的手腕关节点在像素坐标系中的横坐标，y2表示任一图像中用户的且与存在烟头的手部区域同侧的手腕关节点在像素坐标系中的纵坐标，x1表示任一图像中用户的且与存在烟头的手部区域同侧的头部关节点在像素坐标系中的横坐标，y1表示任一图像中用户的且与存在烟头的手部区域同侧的头部关节点在像素坐标系中的纵坐标。
5.根据权利要求1所述的基于云值守的客户违规行为检测方法，其特征在于，所述通过目标检测算法检测所述图像序列中用户的手部区域是否存在烟头，包括：
通过第一目标检测算法检测所述图像序列的至少一帧图像中用户的手部区域；
通过第二目标检测算法检测所述至少一帧图像中是否存在烟头；
如果所述至少一帧图像中存在烟头，则计算所述至少一帧图像中烟头与用户的手部区域之间的距离；
如果所述至少一帧图像中烟头与用户的手部区域之间的距离均小于第二预设距离，则判定所述图像序列中用户的手部区域存在烟头。
6.根据权利要求5所述的基于云值守的客户违规行为检测方法，其特征在于，所述第一目标检测算法和所述第二目标检测算法均为YOLOv5算法。
7.根据权利要求1所述的基于云值守的客户违规行为检测方法，其特征在于，在判定无人值守商店内存在违规抽烟行为之后，所述方法还包括：
向无人值守商店内的语音播报设备发送语音播报指令，以使所述语音播报设备发出提示语音。
8.一种基于云值守的客户违规行为检测装置，其特征在于，用于无人值守商店内违规抽烟行为的检测，其特征在于，包括：
获取单元，用于获取无人值守商店内用户的图像序列；
检测单元，用于通过目标检测算法检测所述图像序列中用户的手部区域是否存在烟头；
提取单元，用于如果所述图像序列中用户的手部区域存在烟头，则对所述图像序列中的每帧图像的进行用户关节点提取，得到每帧图像中用户的人体关节点，所述人体关节点包括手腕关节点、手肘关节点、肩关节点和头部关节点；
计算单元，用于基于每帧图像中用户的手腕关节点、手肘关节点、肩关节点和头部关节点在像素坐标系中的坐标，计算出每帧图像中用户的手臂角度以及每帧图像中用户的手腕关节点与头部关节点之间的间隔距离，所述手臂角度为第一连线与第二连线之间的夹角，所述第一连线为手腕关节点与手肘关节点的连线，所述第二连线为手肘关节点与肩关节点的连线；
判断单元，用于如果有连续N帧图像所对应的间隔距离小于第一预设距离，且所述连续N帧图像所对应的夹角低于预设角度，则判定无人值守商店内存在违规抽烟行为，其中N为大于2的正整数。
9.一种基于云值守的客户违规行为检测装置，其特征在于，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如权利要求1～7任意一项所述的基于云值守的客户违规行为检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如权利要求1～7任意一项所述的基于云值守的客户违规行为检测方法。
CN202311714730.3A 2023-12-14 2023-12-14 基于云值守的客户违规行为检测方法、装置及存储介质 Pending CN117409484A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311714730.3A CN117409484A (zh) 2023-12-14 2023-12-14 基于云值守的客户违规行为检测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311714730.3A CN117409484A (zh) 2023-12-14 2023-12-14 基于云值守的客户违规行为检测方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN117409484A true CN117409484A (zh) 2024-01-16

Family

ID=89496560

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311714730.3A Pending CN117409484A (zh) 2023-12-14 2023-12-14 基于云值守的客户违规行为检测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN117409484A (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110688921A (zh) * 2019-09-17 2020-01-14 东南大学 一种基于人体动作识别技术的驾驶员抽烟行为检测方法
CN111310542A (zh) * 2019-12-02 2020-06-19 湖南中烟工业有限责任公司 吸烟行为检测方法及系统、终端、存储介质
CN112528960A (zh) * 2020-12-29 2021-03-19 之江实验室 一种基于人体姿态估计和图像分类的吸烟行为检测方法
CN112668387A (zh) * 2020-09-24 2021-04-16 上海荷福人工智能科技（集团）有限公司 基于AlphaPose实现的违规抽烟识别方法
CN113505707A (zh) * 2021-07-14 2021-10-15 腾讯音乐娱乐科技（深圳）有限公司 吸烟行为检测方法、电子设备及可读存储介质
CN113609963A (zh) * 2021-08-03 2021-11-05 北京睿芯高通量科技有限公司 一种实时多人体角度的抽烟行为检测方法
CN114663807A (zh) * 2022-03-14 2022-06-24 浙江工业大学 一种基于视频分析的吸烟行为检测方法
WO2022142786A1 (zh) * 2020-12-30 2022-07-07 中兴通讯股份有限公司 驾驶行为识别方法、设备和存储介质
CN114913598A (zh) * 2022-05-06 2022-08-16 昆明理工大学 一种基于计算机视觉的吸烟行为识别方法
CN115359381A (zh) * 2022-07-06 2022-11-18 深圳天海宸光科技有限公司 一种抽烟行为识别方法及系统
CN115471916A (zh) * 2022-09-21 2022-12-13 广联达科技股份有限公司 吸烟检测方法、装置、设备及存储介质
CN116580452A (zh) * 2023-04-23 2023-08-11 武汉大学 结合动作识别和目标检测的抽烟、打电话检测方法及系统
WO2023202346A1 (zh) * 2022-04-22 2023-10-26 中兴通讯股份有限公司 一种吸烟行为检测方法、装置及相关设备

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110688921A (zh) * 2019-09-17 2020-01-14 东南大学 一种基于人体动作识别技术的驾驶员抽烟行为检测方法
CN111310542A (zh) * 2019-12-02 2020-06-19 湖南中烟工业有限责任公司 吸烟行为检测方法及系统、终端、存储介质
CN112668387A (zh) * 2020-09-24 2021-04-16 上海荷福人工智能科技（集团）有限公司 基于AlphaPose实现的违规抽烟识别方法
CN112528960A (zh) * 2020-12-29 2021-03-19 之江实验室 一种基于人体姿态估计和图像分类的吸烟行为检测方法
WO2022142786A1 (zh) * 2020-12-30 2022-07-07 中兴通讯股份有限公司 驾驶行为识别方法、设备和存储介质
CN113505707A (zh) * 2021-07-14 2021-10-15 腾讯音乐娱乐科技（深圳）有限公司 吸烟行为检测方法、电子设备及可读存储介质
CN113609963A (zh) * 2021-08-03 2021-11-05 北京睿芯高通量科技有限公司 一种实时多人体角度的抽烟行为检测方法
CN114663807A (zh) * 2022-03-14 2022-06-24 浙江工业大学 一种基于视频分析的吸烟行为检测方法
WO2023202346A1 (zh) * 2022-04-22 2023-10-26 中兴通讯股份有限公司 一种吸烟行为检测方法、装置及相关设备
CN116977883A (zh) * 2022-04-22 2023-10-31 中兴通讯股份有限公司 一种吸烟行为检测方法、装置及相关设备
CN114913598A (zh) * 2022-05-06 2022-08-16 昆明理工大学 一种基于计算机视觉的吸烟行为识别方法
CN115359381A (zh) * 2022-07-06 2022-11-18 深圳天海宸光科技有限公司 一种抽烟行为识别方法及系统
CN115471916A (zh) * 2022-09-21 2022-12-13 广联达科技股份有限公司 吸烟检测方法、装置、设备及存储介质
CN116580452A (zh) * 2023-04-23 2023-08-11 武汉大学 结合动作识别和目标检测的抽烟、打电话检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JINGYUAN ZHANG 等: "Intelligent Recognition of Smoking and Calling Behaviors for Safety Surveillance", 《ELECTRONIC》, 26 July 2023 (2023-07-26), pages 1 - 15 *
邸昱卿 等: "基于人体关键点的吸烟行为识别方法研究", 《电视技术》, vol. 46, no. 5, 31 May 2022 (2022-05-31), pages 12 - 16 *

Similar Documents

Publication Publication Date Title
CN107968689B (zh) 基于无线通信信号的感知识别方法及装置
CN112299172A (zh) 手势求救的识别方法、装置及存储介质
CN112689132B (zh) 目标对象监控方法和监控设备
CN110705383A (zh) 吸烟行为检测方法、装置、终端和可读存储介质
CN108737968A (zh) 一种通过无线技术感知乘客异常行为的方法
CN112017323A (zh) 一种巡检报警方法、装置、可读存储介质及终端设备
CN111950491B (zh) 一种人员密度的监控方法、装置及计算机可读存储介质
CN107517391A (zh) 一种用于鉴别视频直播中异常直播信息的方法和设备
CN113657163A (zh) 行为识别方法、电子装置和存储介质
CN113011211B (zh) 一种吸烟行为的检测方法、装置、电子设备及存储介质
CN115861915A (zh) 消防通道监控方法、消防通道监控装置以及存储介质
CN110428579B (zh) 基于图像识别的室内监控系统、方法及装置
CN117409484A (zh) 基于云值守的客户违规行为检测方法、装置及存储介质
CN113628172A (zh) 一种人员手持武器智能检测算法及智慧城市安防系统
CN116434346B (zh) 无人值守商店内顾客行为的检测方法、装置及存储介质
CN110928305A (zh) 用于铁路客运车站巡更机器人的巡更方法及系统
CN114363579B (zh) 一种监控视频的共享方法、装置及电子设备
JP2012178059A (ja) 防犯システム及び防犯プログラム
Alam et al. Mobile sensing framework for task partitioning between cloud and edge device for improved performance
CN115576852B (zh) 模糊测试用例的质量评估方法、装置、设备以及存储介质
CN113055472B (zh) 一种基于安全认证的物联网数据控制方法及装置
CN109145593A (zh) 一种物联网过滤非法数据的方法、装置及计算机设备
CN114339642B (zh) 伴随用户的识别方法、装置、设备及介质
CN113194298B (zh) 实现非智能相机图像结构化的方法、装置、系统及介质
CN116992400B (zh) 一种基于时空特征融合的协同感知方法及协同感知装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination