CN113011211B - 一种吸烟行为的检测方法、装置、电子设备及存储介质 - Google Patents

一种吸烟行为的检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113011211B
CN113011211B CN201911315449.6A CN201911315449A CN113011211B CN 113011211 B CN113011211 B CN 113011211B CN 201911315449 A CN201911315449 A CN 201911315449A CN 113011211 B CN113011211 B CN 113011211B
Authority
CN
China
Prior art keywords
human body
key point
information
preset
exists
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911315449.6A
Other languages
English (en)
Other versions
CN113011211A (zh
Inventor
郝凯旋
丁鑫棚
胡文泽
王孝宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Intellifusion Technologies Co Ltd
Original Assignee
Shenzhen Intellifusion Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Intellifusion Technologies Co Ltd filed Critical Shenzhen Intellifusion Technologies Co Ltd
Priority to CN201911315449.6A priority Critical patent/CN113011211B/zh
Publication of CN113011211A publication Critical patent/CN113011211A/zh
Application granted granted Critical
Publication of CN113011211B publication Critical patent/CN113011211B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像识别技术领域,提供一种吸烟行为的检测方法、装置、电子设备及存储介质,所述方法包括步骤:获取视频帧数据,所述视频帧数据包括嘴部香烟信息以及人体关键点信息;若检测到所述嘴部香烟信息为空信息,则判断所述人体关键点信息中是否存在预设人体姿态信息;若所述人体关键点信息中存在所述预设人体姿态信息,则检测存在所述预设人体姿态信息对应的预设人体区域,基于所述预设人体区域判断所述视频帧数据中是否存在吸烟行为;若存在所述吸烟行为,则触发警告,并将存在所述吸烟行为的图像进行存储。本发明实施例有利于完善检测系统,提高系统检测吸烟行为的准确率。

Description

一种吸烟行为的检测方法、装置、电子设备及存储介质
技术领域
本发明涉及图像识别技术领域,尤其涉及一种吸烟行为的检测方法、装置、电子设备及存储介质。
背景技术
在日常生活中吸烟行为是一种较为常见的行为。但是,在工地、加油站等存放易燃品等场所,抽烟行为有可能引起火灾等重大安全事故。如何在禁烟区域进行有效的监管已成为一个重要议题。现有的吸烟行为检测算法中,大多基于对人脸中嘴部香烟的检测,然而在实际监控场景中,难以获取到人脸的嘴部区域,使得检测系统出现漏洞,导致检测结果出现误判。可见,现有技术中,对吸烟行为的检测存在检测准确率低的问题。
发明内容
本发明实施例提供一种吸烟行为的检测方法,能够提高检测吸烟行为的准确率。
第一方面,本发明实施例提供一种吸烟行为的检测方法,所述方法包括以下步骤:
获取视频帧数据,所述视频帧数据包括嘴部香烟信息以及人体关键点信息;
若检测到所述嘴部香烟信息为空信息,则判断所述人体关键点信息中是否存在预设人体姿态信息;
若所述人体关键点信息中存在所述预设人体姿态信息,则检测存在所述预设人体姿态信息对应的预设人体区域,基于所述预设人体区域判断所述视频帧数据中是否存在吸烟行为;
若存在所述吸烟行为,则触发警告,并将存在所述吸烟行为的图像进行存储。
第二方面,本发明实施例还提供一种吸烟行为的检测装置,包括:
获取模块,用于获取视频帧数据,所述视频帧数据包括嘴部香烟信息以及人体关键点信息;
第一判断模块,用于若检测到所述嘴部香烟信息为空信息,则判断所述人体关键点信息中是否存在预设人体姿态信息;
第二判断模块,用于若所述人体关键点信息中存在所述预设人体姿态信息,则检测存在所述预设人体姿态信息对应的预设人体区域,基于所述预设人体区域判断所述视频帧数据中是否存在吸烟行为;
发送模块,用于若存在所述吸烟行为,则触发警告,并将存在所述吸烟行为的图像进行存储。
第三方面,本发明实施例还提供一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述实施例提供的吸烟行为的检测方法中的步骤。
第四方面,一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现所述实施例提供的吸烟行为的检测方法中的步骤。
本发明实施例中,通过获取视频帧数据,所述视频帧数据包括嘴部香烟信息以及人体关键点信息;若检测到所述嘴部香烟信息为空信息,则判断所述人体关键点信息中是否存在预设人体姿态信息;若所述人体关键点信息中存在所述预设人体姿态信息,则检测存在所述预设人体姿态信息对应的预设人体区域,基于所述预设人体区域判断所述视频帧数据中是否存在吸烟行为;若所述吸烟行为,则触发警告,并将存在所述吸烟行为的图像进行存储。本发明实施例通过对获取到的视频帧数据中的嘴部香烟信息判断是否存在吸烟行为,若能够直接判断出存在吸烟行为,则可以直接触发报警,在无法通过嘴部香烟信息判断出是否存在吸烟行为时,便可以通过判断人体关键点信息中是否存在预设人体姿态信息,针对存在的情况会判断是否能够检测到存在预设人体姿态信息对应的人脸区域,针对无法检测到人脸区域却又存在预设人体姿态信息的情况,触发警告,并将存在吸烟行为的图像进行存储,这样,通过结合嘴部香烟信息以及人体关键点信息进行综合分析,能够对是否存在吸烟行为做出更准确地判断,有利于完善检测系统,提高系统检测吸烟行为的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种吸烟行为的检测方法的流程图;
图2是本发明实施例提供的另一种吸烟行为的检测方法的流程图;
图3是本发明实施例提供的另一种吸烟行为的检测方法的流程图;
图4是本发明实施例提供的另一种吸烟行为的检测方法的流程图;
图5是本发明实施例提供的一种吸烟行为的检测装置的结构示意图;
图6是本发明实施例提供的另一种吸烟行为的检测装置的结构示意图;
图7是本发明实施例提供的另一种吸烟行为的检测装置的结构示意图;
图8是本发明实施例提供的另一种吸烟行为的检测装置的结构示意图;
图9是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请的说明书和权利要求书及附图说明中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。本申请的说明书和权利要求书或附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
如图1所示,图1是本发明实施例提供的一种吸烟行为的检测方法的流程图,该吸烟行为的检测方法包括以下步骤:
101、获取视频帧数据,视频帧数据包括嘴部香烟信息以及人体关键点信息。
在本实施例中,吸烟行为的检测方法运行于其上的电子设备可以通过有线连接方式或者无线连接方式,在人工启动系统、或者系统自启动时,系统主动或者被动发出吸烟检测命令,对该命令进行解析之后,通过前端的视频采集设备获取当前的视频帧数据等。其中,视频采集设备可以是具有抓拍、显示等功能的摄像头或者带有摄像头的其他设备。需要指出的是,无线连接方式可以包括但不限于3G/4G连接、WiFi(Wireless-Fidelity)连接、蓝牙连接、WiMAX(Worldwide Interoperability for Microwave Access)连接、Zigbee(低功耗局域网协议,又称紫峰协议)连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
上述吸烟行为的检测方法可以运用在工地、加油站等存放易燃易爆炸物品等的场所,还可以运用在火车、客车、高铁、地铁、办公楼等公共场所等。
其中,视频帧数据中可以包括当前场景中的多个方位的画面,例如:运用在地铁时,可以包括每节车厢中座位区、站立区等的设备以及乘客等。若场景中设置有多个摄像头,多个摄像头可以同时对不同区域进行实时或定时视频帧数据采集。上述摄像头可以是固定摄像头,有固定的检测区域,也可以是旋转摄像头,有活动检测区域,旋转角度可以是30°、60°、90°等,可以根据需求自行调整。
上述视频帧数据中的嘴部香烟信息可以包括嘴部无香烟以及嘴部有香烟;上述人体关键点信息可以包括人体的眼、耳、肩、手肘、手首、腰、膝、足等18个关键点信息以及由其组成的多个人体姿态信息。可以对嘴部香烟信息进行二分类,分为吸烟与不吸烟,用于对采集到的嘴部香烟信息进行判断,例如:检测到嘴巴有香烟,则直接判断为吸烟;或者检测到嘴巴没有香烟,则表示从嘴部香烟信息无法判断是否吸烟。
102、若检测到嘴部香烟信息为空信息,则判断人体关键点信息是否存在预设人体姿态信息。
其中,空信息可以表示从当前的嘴部香烟信息可以判断出该嘴部香烟信息中不存在吸烟行为。在检测为空信息后,可以对人体关键点信息进行判断,识别上述眼、耳、肩、手肘、手首、腰、膝、足等18个关键点组成的人体姿态信息中是否包含有预设人体姿态信息。上述的预设人体姿态信息可以是由上述的多个人体关键点组成的某个动作或者多个动作,可以用于预测是否吸烟的姿态信息,例如:手部与肩部的位置等。人体关键点信息组成的人体姿态信息可以包括多个,预设人体姿态信息至少可以是一个。
103、若人体关键点信息中存在预设人体姿态信息,则检测存在预设人体姿态信息对应的预设人体区域,基于预设人体区域判断视频帧数据中是否存在吸烟行为。
其中,因未从嘴部香烟信息中检测到有吸烟行为,当识别到人体关键点信息中包括有预设人体姿态信息后,则可以预测上述视频帧数据中存在吸烟行为。为了对预测结果进一步的取证,可以对第一检测模型检测到的图像进行识别,检测存在预设人体姿态信息的视频帧中的预设人体区域,判断是否存在预测预设人体区域,例如:人脸区域。根据判断的结果可以确定视频帧数据中是否存在吸烟行为。
104、若存在吸烟行为,则触发警告,并将存在吸烟行为的图像进行存储。
其中,警告的方式可以包括语音警告、灯光警告、文字显示警告等,例如:发出“请勿在公共场合吸烟”、“请勿在特殊场所吸烟”等语音播报,或者通过蜂鸣器发出报警声和/或发出警告的黄灯或红灯信号等。在系统中,可以设置有多个存储区,某些存储区中可以存储有摄像头检测到的所有视频帧数据,若判断出视频帧数据中存在吸烟行为时,可以将该视频帧数据中存在有吸烟行为的图像提取出来存储在一个新的存储区中。这样,将存在有吸烟行为的图像进行存储可以将其作为之后调查的证据使用。
作为一种可能的实施例方式,可以预设嘴部香烟信息的优先级高于人体关键点信息,在通过直接对嘴部香烟信息进行检测,检测到嘴部香烟信息中存在香烟时,则可以直接通过该嘴部香烟信息判断存在吸烟行为,不用对人体关键点信息继续进行检测,并且可以直接触发警告,将该上述存在吸烟行为的嘴部香烟信息的图像进行存储。
本发明实施例中,获取视频帧数据,视频帧数据包括嘴部香烟信息以及人体关键点信息;若检测到嘴部香烟信息非吸烟嘴部香烟信息,则判断人体关键点信息是否存在预设人体姿态信息;若存在,则预测视频帧数据中存在吸烟行为,并检测与存在预设人体姿态信息对应的预设人体区域,基于预设人体区域判断视频帧数据中是否存在吸烟行为;若存在,则触发警告,并将存在吸烟行为的图像进行存储。本发明实施例通过对获取到的视频帧数据中的嘴部香烟信息判断是否存在吸烟行为,若能过直接判断出存在吸烟行为,则可以直接触发报警,在无法通过嘴部香烟信息判断出是否存在吸烟行为时,便可以通过判断人体关键点信息中是否存在预设人体姿态信息,针对存在的情况会继续判断是否能够检测到存在预设人体姿态信息对应的人脸区域,针对无法检测到人脸区域却又存在预设人体姿态信息的情况,触发警告,并将存在吸烟行为的图像进行存储,这样,既可以直接通过嘴部香烟信息直接判断出是否存在吸烟行为,还可以通过结合嘴部香烟信息以及人体关键点信息进行综合分析,对是否存在吸烟行为做出更准确地判断,有利于完善检测系统,提高系统检测吸烟行为的准确率。
如图2所示,图2是本发明实施例提供的另一种方法流程图,包括以下步骤:
201、获取视频帧数据,视频帧数据包括嘴部香烟信息以及人体关键点信息。
202、采集嘴部香烟信息,通过第一检测模型对嘴部香烟信息进行识别。
其中,第一检测模型可以是目标检测模型,该目标为人脸。目标检测模型可以采用YOLO-V3(You Only Look Once-V3)网络进行判断,YOLO-V3是一种使用深卷积神经网络学习的特征来检测物体的目标检测器。可以预先通过收集人脸数据集,将人脸数据集通过卷积神经网络进行深度学习,以实现对该目标检测器进行训练,使得该目标检测器能够准确地识别出不同人脸图像中的特征值,其中,人脸图像可以是包括香烟的各种人脸图像数据,香烟也可包括多种类型。
上述卷积神经网络(Convolutional Neural Network,CNN)的基本结构包括两层,其一为特征提取层,每个神经元的输入与前一层的局部接受域相连,并提取该局部的特征。一旦该局部特征被提取后,它与其它特征间的位置关系也随之确定下来;其二为特征映射层,网络的每个计算层由多个特征映射组成,每个特征映射是一个平面,平面上所有神经元的权值相等。
因此,通过上述目标检测模型对嘴部香烟信息中的嘴部香烟信息进行识别时,可以获取嘴巴、嘴巴中的香烟等作为特征值进行识别,判断该特征值与训练过程中识别到的特征值是否相同或相似。
203、若嘴部香烟信息中不存在预测物体,则确认嘴部香烟信息为空信息。
上述的预测物体可以是香烟,若识别到嘴部香烟信息中没有香烟,则判断该嘴部香烟信息为空信息。
204、人体关键点信息包括人体姿态信息,采集人体关键点信息,通过第二检测模型对人体关键点信息中的人体姿态信息进行识别,判断人体姿态信息中是否存在预设人体姿态信息。
上述的第二检测模型可以是多人人体姿态估计模型(OpenPose),它是基于CNN和监督学习并以caffe(Convolutional Architecture for Fast Feature Embedding)为框架开发的开源库。可以实现人体动作、面部表情、手指运动等姿态估计。适用于单人和多人,具有极好的鲁棒性。在本发明实施例中,主要用于对人体动作的姿态估计。
在判断嘴部香烟信息中并没有吸烟行为后,可以结合第二检测模型继续进行判断,通过多人人体姿态估计模型采集人体关键信息,对人体关键信息进行实时追踪,锁定各人体关键点信息之间的路径移动,判断各人体关键点信息之间形成的人体姿态信息中是否存在预设人体姿态信息。这样,有利于提高检测结果的准确性。
205、若人体关键点信息中存在预设人体姿态信息,则检测存在预设人体姿态信息对应的预设人体区域,基于预设人体区域判断视频帧数据中是否存在吸烟行为。
206、若吸烟行为,则触发警告,并将存在吸烟行为的图像进行存储。
可选的,上述步骤204包括:
获取人体关键点信息,其中,人体关键点信息包括手部关键点坐标、耳部关键点坐标以及肩部关键点坐标。
其中,手部关键点坐标可以是指手指(左手指与右手指)部位关键点的具体位置;耳部关键点坐标可以是指耳朵(左耳与右耳)部位关键点的具体位置;肩部关键点坐标可以是指肩膀(左肩与右肩)部位关键点的具体位置,上述各个部位的关键点可以自定义,也可以固定设置,例如:手指部位关键点为中指的中段靠近食指的部位,也可以是食指的中段靠近中指的部位。
在多人人体姿态估计模型中,对图像的尺寸确定好之后,可以基于图像的尺寸建立多维坐标,确定上述手部关键点坐标、耳部关键点坐标以及肩部关键点坐标在图像中的具体位置。
分别计算手部关键点坐标与耳部关键点坐标之间的第一关键点距离,以及手部关键点到肩部关键点坐标之间的第二关键点距离。
其中,计算手部关键点坐标到耳部关键点坐标之间的第一关键点距离,以及到手部关键点坐标到肩部关键点坐标的第二关键点距离,可以是同时选取手部的同一个关键点,例如:中指、拇指、手掌等。通过判断第一关键点距离以及第二关键点距离的大小来判断人体关键点信息中是否属于预设人体姿态信息。此外,除了获取手部与耳部及肩部的关键点坐标外,也可以获取手部与颈部、胸部等关键点坐标,在本发明实施例中,对此不做限定。
作为一种可能的实施例方式,还可以通过判断手部关键点坐标是否处于耳部关键点坐标以及到肩部关键点坐标的坐标预设范围,进而判断人体关键点信息中是否属于预设人体姿态信息。耳部关键点坐标的坐标预设范围以及到肩部关键点坐标的坐标预设范围可以有重合的部分,也可以完全不重合。对于耳部关键点坐标的坐标预设范围以及到肩部关键点坐标的坐标预设范围不重合的情况,可以分别判断手部关键点坐标是否即处于耳部关键点坐标的坐标预设范围内,或者处于肩部关键点坐标的坐标预设范围内,例如:以耳部关键点坐标为参考点,在该参考点半径为20cm范围内,或者以肩部关键点坐标为参考点,在该参考点横向20cm范围内/在该参考点竖向10cm范围内。当然,对于耳部关键点坐标的坐标预设范围以及到肩部关键点坐标的坐标预设范围有重合的情况,可以判断手部关键点坐标是否处于耳部关键点坐标与到肩部关键点坐标的坐标预设范围的重合范围内。通过检测手部关键点坐标与耳部关键点坐标的坐标预设范围,以及与肩部关键点坐标的坐标预设范围来确定人体关键点信息中存在预设人体姿态信息,能够提高检测结果的准确率。
若第一关键点距离与第二关键点距离同时满足预设距离阈值,则确认人体关键点信息中存在预设人体姿态信息。
上述预设距离阈值可以设置为一个固定的值,例如:手部关键点坐标到耳部关键点坐标的预设距离阈值为18cm,手部关键点坐标到耳部关键点坐标的预设距离阈值也为18cm,若检测到手部关键点坐标到耳部关键点坐标之间的第一关键点距离为15cm,且手部关键点坐标到肩部关键点坐标的第二关键点阈距离为16cm,则表示第一关键点距离与第二关键点距离同时满足预设距离阈值。当然,针对不同的对象,上述的预设距离阈值也可以是设置为不同的值,例如:手部关键点坐标到耳部关键点坐标的预设距离阈值为18cm,手部关键点坐标到耳部关键点坐标的预设距离阈值也为30cm,若检测到手部关键点坐标到耳部关键点坐标之间的第一关键点距离为15cm,且手部关键点坐标到肩部关键点坐标的第二关键点阈距离为26cm,则表示第一关键点距离与第二关键点距离同时满足上述两个预设距离阈值。通过计算手部关键点坐标到耳部关键点坐标的第一关键点距离,以及手部关键点坐标到肩部关键点坐标之间的第二关键点距离,对第一关键点距离与第二关键点距离与预设距离阈值的位置关系进行检测,基于检测结果能够判断人体关键点信息中是否存在预设人体姿态信息。
上述步骤204包括:
在预设时间间隔内,多次对第一关键点距离以及第二关键点距离进行检测,获取第一关键点距离及第二关键点距离同时满足预设距离阈值的次数。
其中,预设时间间隔的长短可调整,例如:1s、2s等。多次对上述关键点距离进行判断多次对第一关键点距离以及第二关键点距离进行检测,有利于提高预测结果的准确率。多次可以使3次、4次等,例如:间隔2s检测一次,连续3次检测到上述第一关键点距离以及第二关键点距离均在预设距离阈值内,上述第一关键点距离为手部关键点坐标到耳部关键点坐标的距离,第二关键点距离为手部关键点坐标到肩部关键点坐标的距离,预设距离阈值包括手部关键点坐标到耳部关键点坐标的预设距离阈值,以及手部关键点坐标到肩部关键点坐标的预设距离阈值。
比较第一关键点距离及第二关键点距离同时满足预设距离阈值的次数是否达到次数阈值;
若达到,则确定视频帧数据中存在吸烟行为。
其中,次数阈值可以预先设置,例如:次数阈值为4次、5次等。当多次检测到关键点距离满足预设距离阈值时,可以判断多次检测到第一关键点距离及第二关键点距离同时满足预设距离阈值的次数与次数阈值的大小,例如:次数阈值为5次,在10分钟内,6次检测到第一关键点距离及第二关键点距离同时满足预设距离阈值,则预测视频帧数据中存在吸烟行为。进行多次检测及比较可以提高检测结果的准确度。
可选的,上述步骤206可以包括:
若视频帧数据中存在吸烟行为,则触发警告。
若关键点距离满足预设距离阈值的次数达到次数阈值,则提取关键点距离满足预设距离阈值时的图像,将多次提取的图像进行存储。
当关键点距离满足预设距离阈值的次数达到次数阈值时,可以提取每次关键点距离满足预设距离阈值的图像,并可以将多次提取到的图像存储在系统的同一个存储区内,便于调用时,可以直接提取出多次出现关键点距离满足预设距离阈值的图像数据。
本发明实施例中,通过获取视频帧数据,通过目标检测模型对视频帧数据中的嘴部香烟信息进行识别,判断该嘴部香烟信息的嘴部香烟信息中是否存在香烟,在不存在香烟的情况下,继续通过人体姿态估计模型对视频帧数据中的人体姿态信息进行识别,判断人体姿态中是否存在预设人体姿态信息,若存在,则检测与存在预设人体姿态信息对应的预设人体区域,基于预设人体区域判断视频帧数据中是否存在吸烟行为;若存在,则触发警告,并将存在吸烟行为的图像进行存储。本发明实施例先通过目标检测模型直接对嘴部香烟信息进行判断,在没有吸烟行为的情况下,通过人体姿态估计模型判断人体关键点信息中是否存在预设人体姿态信息,存在则对存在预设人体姿态信息对应的预设人体区域进行识别,根据是否检测到对应功能的预设人体区域选择是否要触发警告,以及将存在吸烟行为的图像存储作为证据。有利于完善检测系统,提高系统检测吸烟行为的准确率。
如图4所示,图4为本发明实施提供的另一种吸烟行为的检测方法的流程图,具体包括以下步骤:
301、获取视频帧数据,视频帧数据包括嘴部香烟信息以及人体关键点信息。
302、若检测到嘴部香烟信息为空信息,则判断人体关键点信息中是否存在预设人体姿态信息。
303、若人体关键点信息中存在预设人体姿态信息,则通过第一检测模型检测人体关键点信息中存在预设人体姿态信息对应的人脸区域。
其中,对嘴部香烟信息进行识别,判断嘴部香烟信息中没有吸烟行为时可以有两种情况,其一为人脸区域处于非正对摄像头位置,以至于识别不到人脸区域;其二为人脸区域处于摄像头能够识别到的范围内,但是并没有检测到有吸烟行为,例如:人脸被遮挡物遮住等。因此,预测视频帧数据中存在吸烟行为后,可以通过第一检测模型对第一检测模型检测人体关键点信息中存在预设人体姿态信息对应的人脸区域进行识别,判断是否可以检测到人脸区域。
304、若未检测到人体关键点信息中的人脸区域,则确认视频帧数据中存在吸烟行为。
若没有检测到人脸区域,只是检测到根据人体关键点信息构成的人体姿态信息中存在预设人体姿态信息时,则确认视频帧数据中存在吸烟行为。
305、若检测到人脸区域且在人脸区域中未检测到吸烟行为,则不触发警告。
若检测到根据人体关键点信息构成的人体姿态信息中存在预设人体姿态信息时,且检测到人脸区域,从人脸区域判断出没有吸烟行为时,可以确认视频帧数据中不存在吸烟行为,同时也不会触发警告。
在本发明实施例中,通获取视频帧数据,对视频帧数据中的嘴部香烟信息进行直接判断,当从嘴部香烟信息中判断出没有吸烟行为时,基于对人体关键点信息进行判断,检测其中是否存在预设人体姿态信息,在存在的情况下检测与存在预设人体姿态信息的图像中的人脸区域,若是检测不到人脸区域,则确定视频帧数据中存在吸烟行为,并触发警告,同时将其图像存储;若是检测到人脸区域且判别为没有吸烟行为,便可以不发出警告。这样,通过对人脸区域的具体情况进行分析,决定是否需要触发警告,以及对存在有预设人体姿态的图像进行存储。通过多重判断,可以提高检测结果的准确率。
如图4所示,图4是本发明实施例提供的一种吸烟行为的检测装置的结构示意图,吸烟行为的检测装置400包括:
获取模块401,用于获取视频帧数据,视频帧数据包括嘴部香烟信息以及人体关键点信息;
第一判断模块402,用于若检测到嘴部香烟信息为空信息,则判断人体关键点信息中是否存在预设人体姿态信息;
第二判断模块403,用于若人体关键点信息中存在预设人体姿态信息,则检测存在预设人体姿态信息对应的预设人体区域,基于预设人体区域判断视频帧数据中是否存在吸烟行为;
发送模块404,用于若存在吸烟行为,则触发警告,并将存在吸烟行为的图像进行存储。
可选的,人体关键点信息包括人体姿态信息,如图5所示,图5是本发明实施例提供的另一种吸烟行为的检测装置的结构示意图,第一判断模块402包括:
采集单元4021,用于采集嘴部香烟信息,通过第一检测模型对嘴部香烟信息进行识别;
第一确认单元4022,用于若嘴部香烟信息中不存在预测物体,则确认嘴部香烟信息为空信息。
识别单元4023,用于采集人体关键点信息,通过第二检测模型对人体关键点信息中的人体姿态信息进行识别,判断人体姿态信息中是否存在预设人体姿态信息。
可选的,上述发送模块404还用于若检测到嘴部香烟信息中存在预测物体,则触发警告,并将存在预测物体的图像直接进行存储。
可选的,如图6所示,图6是本发明实施例提供的另一种吸烟行为的检测装置的结构示意图,识别单元4023包括:
获取子单元40231,用于获取人体关键点信息,其中,人体关键点信息包括手部关键点坐标、耳部关键点坐标以及肩部关键点坐标;
计算子单元40232,用于分别计算手部关键点坐标与耳部关键点坐标之间的第一关键点距离,以及手部关键点到肩部关键点坐标之间的第二关键点距离;
确认子单元40233,用于若第一关键点距离与第二关键点距离同时满足预设距离阈值,则确认人体关键点信息中存在预设人体姿态信息。
可选的,如图7所示,图7是本发明实施例提供的另一种吸烟行为的检测装置的结构示意图,上述第一判断模块402还包括:
检测单元4024,用于在预设时间间隔内,多次对第一关键点距离以及第二关键点距离进行检测,获取第一关键点距离及第二关键点距离同时满足预设距离阈值的次数;
比较单元4025,用于比较第一关键点距离及第二关键点距离同时满足预设距离阈值的次数是否达到次数阈值;
预测单元4026,用于若达到,则确定视频帧数据中存在吸烟行为。
可选的,如图8所示,图8是本发明实施例提供的另一种吸烟行为的检测装置的结构示意图,上述第二判断模块403包括:
检测单元4031,用于通过第一检测模型检测人体关键点信息中存在预设人体姿态信息对应的人脸区域。
第二确认单元4032,用于若未检测到人脸区域,则确认视频帧数据中存在吸烟行为。
第二确认单元4032还用于若检测到人脸区域且在人脸区域中未检测到吸烟行为,则不触发警告。
本发明实施例提供的吸烟行为的检测装置能够实现上述方法实施例中吸烟行为的检测方法实现的各个过程且可以达到相同的有益效果,为避免重复,这里不再赘述。
如图9所示,图9是本发明实施例提供的一种电子设备的结构示意图,该电子设备900包括:存储器902、处理器901、网络接口903及存储在存储器902上并可在处理器901上运行的计算机程序,处理器901执行计算机程序时实现实施例提供的吸烟行为的检测方法中的步骤。
具体的,处理器901用于执行以下步骤:
获取视频帧数据,视频帧数据包括嘴部香烟信息以及人体关键点信息;
若检测到嘴部香烟信息为空信息,则判断人体关键点信息中是否存在预设人体姿态信息;
若人体关键点信息中存在预设人体姿态信息,则检测存在预设人体姿态信息对应的预设人体区域,基于预设人体区域判断视频帧数据中是否存在吸烟行为;
若存在吸烟行为,则触发警告,并将存在吸烟行为的图像进行存储。
可选的,人体关键点信息包括人体姿态信息,处理器901执行的人体关键点信息包括人体姿态信息,若检测到嘴部香烟信息为空信息,则判断人体关键点信息中是否存在预设人体姿态信息的步骤包括:
采集嘴部香烟信息,通过第一检测模型对嘴部香烟信息进行识别;
若嘴部香烟信息中不存在预测物体,则确认嘴部香烟信息为空信息;
采集人体关键点信息,通过第二检测模型对人体关键点信息中的人体姿态信息进行识别,判断人体姿态信息中是否存在预设人体姿态信息。
可选的,在获取视频帧数据之后,处理器901还用于执行若检测到嘴部香烟信息中存在预测物体,则触发警告,并将存在预测物体的图像直接进行存储。
可选的,处理器901执行的判断人体姿态信息中是否存在预设人体姿态信息的步骤包括:
获取人体关键点信息,其中,人体关键点信息包括手部关键点坐标、耳部关键点坐标以及肩部关键点坐标;
分别计算手部关键点坐标与耳部关键点坐标之间的第一关键点距离,以及手部关键点到肩部关键点坐标之间的第二关键点距离;
若第一关键点距离与第二关键点距离同时满足预设距离阈值,则确认人体关键点信息中存在预设人体姿态信息。
可选的,处理器901执行的判断人体关键点信息中是否存在预设人体姿态信息的步骤还包括:
在预设时间间隔内,多次对第一关键点距离以及第二关键点距离进行检测,获取第一关键点距离及第二关键点距离同时满足预设距离阈值的次数;
比较第一关键点距离及第二关键点距离同时满足预设距离阈值的次数是否达到次数阈值;
若达到,则确定视频帧数据中存在吸烟行为。
可选的,预设人体区域包括人脸区域,处理器901执行的预设人体区域包括人脸区域,检测存在预设人体姿态信息对应的预设人体区域,基于预设人体区域判断视频帧数据中是否存在吸烟行为的步骤包括:
通过第一检测模型检测人体关键点信息中存在预设人体姿态信息对应的人脸区域;
若未检测到人脸区域,则确认视频帧数据中存在吸烟行为;
若检测到人脸区域且在人脸区域中未检测到吸烟行为,则不触发警告。
本发明实施例提供的电子设备900能够实现吸烟行为的检测方法实施例中的各个实施方式,以及相应有益效果,为避免重复,这里不再赘述。
需要指出的是,图中仅示出了具有组件的901-903,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。其中,本技术领域技术人员可以理解,这里的电子设备900是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、可编程门阵列(Field-Programmable GateArray,FPGA)、数字处理器(Digital Signal Processor,DSP)、嵌入式设备等。
电子设备900可以是桌上型计算机、笔记本及掌上电脑等计算设备。电子设备900可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
存储器902至少包括一种类型的可读存储介质,可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,存储器902可以是电子设备900的内部存储单元,例如该电子设备900的硬盘或内存。在另一些实施例中,存储器902也可以是电子设备900的外部存储设备,例如该电子设备900上配备的插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。当然,存储器902还可以既包括电子设备900的内部存储单元也包括其外部存储设备。本实施例中,存储器902通常用于存储安装于电子设备900的操作系统和各类应用软件,例如吸烟行为的检测方法的程序代码等。此外,存储器902还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器901在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器901通常用于控制电子设备900的总体操作。本实施例中,处理器901用于运行存储器902中存储的程序代码或者处理数据,例如运行吸烟行为的检测方法的程序代码。
网络接口903可包括无线网络接口或有线网络接口,该网络接口903通常用于在电子设备900与其他电子设备之间建立通信连接。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器901执行时实现实施例提供的吸烟行为的检测方法中的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本领域普通技术人员可以理解实现实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如各方法的实施例的流程。其中,存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存取存储器902(Random Access Memory,简称RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (10)

1.一种吸烟行为的检测方法,其特征在于,包括以下步骤:
获取视频帧数据,所述视频帧数据包括嘴部香烟信息以及人体关键点信息;
若检测到所述嘴部香烟信息为空信息,则判断所述人体关键点信息中是否存在预设人体姿态信息;
若所述人体关键点信息中存在所述预设人体姿态信息,则检测存在所述预设人体姿态信息对应的预设人体区域,基于所述预设人体区域判断所述视频帧数据中是否存在吸烟行为;
若存在所述吸烟行为,则触发警告,并将存在所述吸烟行为的图像进行存储。
2.如权利要求1所述的吸烟行为的检测方法,其特征在于,所述若检测到所述嘴部香烟信息为空信息,则判断所述人体关键点信息中是否存在预设人体姿态信息的步骤包括:
采集所述嘴部香烟信息,通过第一检测模型对所述嘴部香烟信息进行识别;
若所述嘴部香烟信息中不存在预测物体,则确认所述嘴部香烟信息为空信息;
采集所述人体关键点信息,通过第二检测模型对所述人体关键点信息中的所述人体姿态信息进行识别,判断所述人体姿态信息中是否存在所述预设人体姿态信息。
3.如权利要求2所述的吸烟行为的检测方法,其特征在于,在所述获取视频帧数据之后,所述方法还包括:
若检测到所述嘴部香烟信息中存在所述预测物体,则触发警告,并将存在所述预测物体的图像直接进行存储。
4.如权利要求2所述的吸烟行为的检测方法,其特征在于,所述判断所述人体姿态信息中是否存在所述预设人体姿态信息的步骤包括:
获取人体关键点信息,其中,所述人体关键点信息包括手部关键点坐标、耳部关键点坐标以及肩部关键点坐标;
分别计算所述手部关键点坐标与所述耳部关键点坐标之间的第一关键点距离,以及所述手部关键点到所述肩部关键点坐标之间的第二关键点距离;
若所述第一关键点距离与所述第二关键点距离同时满足预设距离阈值,则确认所述人体关键点信息中存在所述预设人体姿态信息。
5.如权利要求4所述的吸烟行为的检测方法,其特征在于,所述判断所述人体关键点信息中是否存在预设人体姿态信息的步骤还包括:
在预设时间间隔内,多次对所述第一关键点距离以及第二关键点距离进行检测,获取所述第一关键点距离及所述第二关键点距离同时满足所述预设距离阈值的次数;
比较所述第一关键点距离及所述第二关键点距离同时满足所述预设距离阈值的次数是否达到次数阈值;
若达到,则确定所述视频帧数据中存在吸烟行为。
6.如权利要求1所述的吸烟行为的检测方法,其特征在于,所述预设人体区域包括人脸区域,所述检测存在所述预设人体姿态信息对应的预设人体区域,基于所述预设人体区域判断所述视频帧数据中是否存在吸烟行为的步骤包括:
通过第一检测模型检测所述人体关键点信息中存在所述预设人体姿态信息对应的人脸区域;
若未检测到所述人脸区域,则确认所述视频帧数据中存在所述吸烟行为;
若检测到所述人脸区域且在所述人脸区域中未检测到所述吸烟行为,则不触发警告。
7.一种吸烟行为的检测装置,其特征在于,包括:
获取模块,用于获取视频帧数据,所述视频帧数据包括嘴部香烟信息以及人体关键点信息;
第一判断模块,用于若检测到所述嘴部香烟信息为空信息,则判断所述人体关键点信息中是否存在预设人体姿态信息;
第二判断模块,用于若存在,则检测存在所述预设人体姿态信息对应的预设人体区域,基于所述预设人体区域判断所述视频帧数据中是否存在吸烟行为;
发送模块,用于若存在,则触发警告,并将存在所述吸烟行为的图像进行存储。
8.如权利要求7所述的吸烟行为的检测装置,其特征在于,所述第一判断模块包括:
采集单元,用于采集嘴部香烟信息,通过第一检测模型对嘴部香烟信息进行识别;
第一确认单元,用于若嘴部香烟信息中不存在预测物体,则确认嘴部香烟信息为空信息。
9.一种电子设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的吸烟行为的检测方法中的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的吸烟行为的检测方法中的步骤。
CN201911315449.6A 2019-12-19 2019-12-19 一种吸烟行为的检测方法、装置、电子设备及存储介质 Active CN113011211B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911315449.6A CN113011211B (zh) 2019-12-19 2019-12-19 一种吸烟行为的检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911315449.6A CN113011211B (zh) 2019-12-19 2019-12-19 一种吸烟行为的检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113011211A CN113011211A (zh) 2021-06-22
CN113011211B true CN113011211B (zh) 2024-05-07

Family

ID=76382553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911315449.6A Active CN113011211B (zh) 2019-12-19 2019-12-19 一种吸烟行为的检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113011211B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114220000B (zh) * 2021-11-23 2022-09-20 慧之安信息技术股份有限公司 一种基于深度学习的加油站吸烟行为检测告警方法
CN113971839A (zh) * 2021-12-23 2022-01-25 宏景科技股份有限公司 检测图像、视频中人体异常行为方法、装置、设备和介质
CN114783061B (zh) * 2022-04-26 2023-04-18 南京积图网络科技有限公司 一种吸烟行为检测方法、装置、设备和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009015519A (ja) * 2007-07-03 2009-01-22 Omron Corp 喫煙者検出装置、喫煙者警報システム、喫煙者監視サーバ、消し忘れタバコ警報装置、喫煙者検出方法、および、喫煙者検出プログラム
CN109598214A (zh) * 2018-11-22 2019-04-09 深圳爱莫科技有限公司 吸烟行为识别方法和装置
CN110569771A (zh) * 2019-08-30 2019-12-13 重庆博拉智略科技有限公司 吸烟识别方法、装置、存储介质及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009015519A (ja) * 2007-07-03 2009-01-22 Omron Corp 喫煙者検出装置、喫煙者警報システム、喫煙者監視サーバ、消し忘れタバコ警報装置、喫煙者検出方法、および、喫煙者検出プログラム
CN109598214A (zh) * 2018-11-22 2019-04-09 深圳爱莫科技有限公司 吸烟行为识别方法和装置
CN110569771A (zh) * 2019-08-30 2019-12-13 重庆博拉智略科技有限公司 吸烟识别方法、装置、存储介质及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度图像的嵌入式人体坐姿检测系统的实现;曾星;罗武胜;孙备;鲁琴;刘涛诚;;计算机测量与控制(第09期);全文 *

Also Published As

Publication number Publication date
CN113011211A (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN113011211B (zh) 一种吸烟行为的检测方法、装置、电子设备及存储介质
CN110425005B (zh) 矿井下皮带运输人员人机交互行为安全监控与预警方法
CA3094424C (en) Safety monitoring and early-warning method for man-machine interaction behavior of underground conveyor belt operator
JP4924607B2 (ja) 不審行動検知装置および方法、プログラムおよび記録媒体
CN105590097B (zh) 暗视觉条件下双摄像头协同实时人脸识别安防系统及方法
US20150077329A1 (en) Eye tracking-based user interface method and apparatus
US20070229663A1 (en) Image processing apparatus, monitoring camera, and image monitoring system
CN109766755B (zh) 人脸识别方法及相关产品
CN111126153B (zh) 基于深度学习的安全监测方法、系统、服务器及存储介质
WO2021023198A1 (zh) 一种列车安全驾驶监测系统及方法
CN112016528B (zh) 行为识别方法、装置、电子设备及可读存储介质
CN111222493B (zh) 一种视频处理方法及装置
CN111563480A (zh) 冲突行为检测方法、装置、计算机设备和存储介质
CN113591701A (zh) 呼吸检测区域确定方法、装置、存储介质及电子设备
CN109544870A (zh) 用于智能监控系统的报警判断方法与智能监控系统
CN111914667A (zh) 一种吸烟检测方法及装置
CN110865415B (zh) 一种安检方法及装置
CN111814510A (zh) 一种遗留物主体检测方法及装置
JP5718632B2 (ja) 部位認識装置、部位認識方法、及び部位認識プログラム
CN109800656B (zh) 定位方法及相关产品
CN114220117A (zh) 一种穿戴合规性检测方法、装置和计算机可读存储介质
JP2022003526A (ja) 情報処理装置、検出システム、情報処理方法、及びプログラム
CN111832450B (zh) 基于图像识别的持刀检测方法
CN113569671A (zh) 异常行为报警方法、装置
WO2023164782A1 (en) Harm prevention monitoring system and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant