CN114663807A - 一种基于视频分析的吸烟行为检测方法 - Google Patents

一种基于视频分析的吸烟行为检测方法 Download PDF

Info

Publication number
CN114663807A
CN114663807A CN202210247501.4A CN202210247501A CN114663807A CN 114663807 A CN114663807 A CN 114663807A CN 202210247501 A CN202210247501 A CN 202210247501A CN 114663807 A CN114663807 A CN 114663807A
Authority
CN
China
Prior art keywords
joint
pedestrian
joint point
frame
smoking behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210247501.4A
Other languages
English (en)
Inventor
翁立波
楼韦东
高飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202210247501.4A priority Critical patent/CN114663807A/zh
Publication of CN114663807A publication Critical patent/CN114663807A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及智能监控领域，具体是一种基于视频分析的吸烟行为检测方法。首先使用训练好的深度网络模型进行行人骨架关节点提取；对得到关节点数据信息进行特征提取；用图卷积网络对特征数据进行分析，得到吸烟行为识别结果。本发明根据骨骼关节点获得关节点数据信息，并将其输入到图卷积神经网络判断行人是否存在吸烟行为，采用图卷积网络分析关节点之间的联系并与传统通过人工制定规则的行为分析方法相比，有效增加其泛化能力，其中还通过注意力机制对不同关节进行加权区分不同躯干的重要性来提高判断效率。

Description

一种基于视频分析的吸烟行为检测方法
技术领域
本发明涉及智能监控领域，具体是一种基于视频分析的吸烟行为检测方法。
背景技术
通过人工主观排查的方式，即人工逐一观看每个摄像头的视频判断是否有吸烟行为需要大量人力和时间，成本过高。随着计算机视觉技术的发展以及在视频分析中的广泛应用，监控视频的管理效率得到了提高，智能分析算法的检测识别能力得到了提升，同时又降低了监控的人力成本。
吸烟行为不仅危害自身健康，并且在公共场所吸烟还损害他人健康以及造成许多潜在的危害，例如火灾等。国家也高度重视控烟工作，制定各种场所的禁烟条例。因此，加强在公共场所对吸烟行为的管控工作显得尤为重要。基于传感器的烟雾检测是目前使用最广泛的检测方法。但在空间较大的场所存在反应不及时的问题。因此需要利用监控视频对吸烟行为进行实时检测。同样的，智能监控领域需要快速、准确的解决方案来更好地实现在公共场所对吸烟行为的识别。因此设计一种基于监控视频的吸烟行为检测方法，对加强在公共场所吸烟行为的监控管理具有重要意义。
当前涉及吸烟行为的检测方法有：发明专利，专利号为：CN201810705187.3，名称为：基于多算法融合的出租车驾驶员吸烟行为的自动检测方法，该发明公开了一种基于Haar特征提取和Adaboost算法的吸烟行为检测方法，通过多算法融合进行烟雾区域的识别，从而检测吸烟行为。但该方法只针对特定场景并且吸烟产生的烟雾存在容易发散的问题，因此在公共场所仅依靠检测烟雾来判定吸烟行为存在较大的难度。发明专利，专利申请号为：CN202111113787.9，名称：基于优化的YOLOv4模型的吸烟行为识别方法，该发明公开了一种基于YOLO-V4的吸烟行为检测方法，通过YOLO-V4算法识别烟头这一小目标来判断是否存在吸烟行为。但该方法存在烟头颜色与背景颜色相似、光照强烈等因素导致烟头难以被检测的问题。
综上所述，当前解决方案有一定的局限性，忽略了行人吸烟行为的动作与骨骼关节点姿态存在着联系。为此，提出了通过视频分析人体骨骼关节点进行吸烟行为检测的方法。
发明内容
为了解决上述基于深度学习的吸烟行为检测存在的问题，本发明提供一种基于视频分析的吸烟行为检测方法。本发明首先使用深度学习的方法提取骨骼关节点，对吸烟行为的关节点数据分析，判断是否存在吸烟行为。
本发明的技术方案如下：
一种基于视频分析的吸烟行为检测方法，包括如下步骤：
步骤1：利用基于深度学习的骨骼关节点模型提取视频中行人的骨骼关节点数据并表示成集合J＝{(xi,j,yi,j)|i＝1,2,…,n,j＝1,2,…,7}，其中，(xi,j,yi,j)表示第i帧中行人的第j个骨骼关节坐标，j对应G＝{鼻，眼，耳，腕，肘，肩，脖}中的元素，G为有序集合；
步骤2：根据集合J中的每个骨骼关节点数据得到三种不同的骨架描述特征，具体步骤为：
步骤2.1：根据式(1)计算第i帧手腕与其他关节的距离集合
Figure BDA0003545413620000021
Figure BDA0003545413620000022
其中，
Figure BDA0003545413620000023
表示第i帧中行人的第r个关节点与第s个关节点的距离；
步骤2.2：根据式(2)计算第i帧行人的所有关节角度集合Ai＝{αj|j＝1,2,…,7}；
Figure BDA0003545413620000024
其中，m和n为j相邻关节点序号，若无相邻关节，则αs＝0，
Figure BDA0003545413620000025
和
Figure BDA0003545413620000026
根据式(1)计算；
步骤2.3：遍历J中每一帧的骨骼关节点数据，计算每帧的关节位移集合Li＝{li,j|j＝1,2,…,7}，其中li,j表示第i帧关节点与上一帧的位移，根据式(3)计算；
Figure BDA0003545413620000027
步骤2.4：根据上述步骤得到图卷积网络的输入Ii＝{(Di，Ai，Li)}；
步骤3：最后根据步骤2.4得到的数据输入到图卷积网络判断行人是否存在吸烟行为，具体步骤为：
步骤3.1：建立图卷积网络，输入的数据进行BN归一化，经过9个GCN单元，每经过一个GCN单元将特征dropout，其中前三层的输出有64个通道，中间三层有128个通道，最后三层有256个通道，每个GCN单元包括：注意力模块，图卷积模块，时间卷积模块；
步骤3.2：接着经过全局平均池化得到特征向量，最后用SoftMax函数进行分类，得到吸烟行为的预测概率。
本发明的优点为：本发明根据骨骼关节点获得关节点数据信息，并将其输入到图卷积神经网络判断行人是否存在吸烟行为，采用图卷积网络分析关节点之间的联系并与传统通过人工制定规则的行为分析方法相比，有效增加其泛化能力，其中还通过注意力机制对不同关节进行加权区分不同躯干的重要性来提高判断效率。
附图说明
图1行人骨骼关节点对应图；
图2基于关节点数据的图卷积网络结构图。
具体实施方式
下面结合附图和实施例，对本发明进行进一步的说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
本发明首先使用深度学习的方法提取骨骼关节点，对吸烟行为的关节点数据分析，判断是否存在吸烟行为。
本发明的一种基于视频分析的吸烟行为检测方法，具体步骤如下：
步骤1：利用基于深度学习的骨骼关节点模型(如AlphaPose)提取视频中行人的骨骼关节点数据并表示成集合J＝{(xi,j,yi,j)|i＝1,2,…,n,j＝1,2,…,7}，其中，(xi,j,yi,j)表示第i帧中行人的第j个骨骼关节坐标，j对应G＝{鼻，眼，耳，腕，肘，肩，脖}中的元素，G为有序集合，如图1所示，(xi,1,yi,1)对应鼻1坐标，(xi,2,yi,2)对应眼2坐标，(xi,3,yi,3)对应耳3坐标，(xi,4,yi,4)对应腕4坐标，(xi,5,yi,5)对应肘5坐标，(xi,6,yi,6)对应肩6坐标，(xi,7,yi,7)对应脖7坐标；
步骤2：根据集合J中的每个骨骼关节点数据得到三种不同的骨架描述特征，具体步骤为：
步骤2.1：根据式(1)计算第i帧手腕与其他关节的距离集合
Figure BDA0003545413620000041
Figure BDA0003545413620000042
其中，
Figure BDA0003545413620000043
表示第i帧中行人的第r个关节点与第s个关节点的距离；
步骤2.2：根据式(2)计算第i帧行人的所有关节角度集合Ai＝{αj|j＝1,2,…,7}；
Figure BDA0003545413620000044
其中，m和n为j相邻关节点序号，若无相邻关节，则αs＝0，
Figure BDA0003545413620000045
和
Figure BDA0003545413620000046
根据式(1)计算；
步骤2.3：遍历J中每一帧的骨骼关节点数据，计算每帧的关节位移集合Li＝{li,j|j＝1,2,…,7}，其中li,j表示第i帧关节点与上一帧的位移，根据式(3)计算；
Figure BDA0003545413620000047
步骤2.4：根据上述步骤得到图卷积网络的输入Ii＝{(Di，Ai，Li)}；
步骤3：最后根据步骤2.4得到的数据输入到图卷积网络判断行人是否存在吸烟行为，具体步骤为：
步骤3.1：如图2所示，建立图卷积网络，输入的数据进行BN归一化，经过9个GCN单元，每经过一个GCN单元将特征dropout，其中前三层的输出有64个通道，中间三层有128个通道，最后三层有256个通道，每个GCN单元包括：注意力模块，图卷积模块，时间卷积模块；
步骤3.2：接着经过全局平均池化得到特征向量，最后用SoftMax函数进行分类，得到吸烟行为的预测概率。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.一种基于视频分析的吸烟行为检测方法，其特征在于，包括如下步骤：
步骤1：利用基于深度学习的骨骼关节点模型提取视频中行人的骨骼关节点数据并表示成集合J＝{(xi,j,yi,j)|i＝1,2,…,n,j＝1,2,…,7}，其中，(xi,j,yi,j)表示第i帧中行人的第j个骨骼关节坐标，j对应G＝{鼻，眼，耳，腕，肘，肩，脖}中的元素，G为有序集合；
步骤2：根据集合J中的每个骨骼关节点数据得到三种不同的骨架描述特征，具体步骤为：
步骤2.1：根据式(1)计算第i帧手腕与其他关节的距离集合
Figure FDA0003545413610000011
Figure FDA0003545413610000012
其中，
Figure FDA0003545413610000013
表示第i帧中行人的第r个关节点与第s个关节点的距离；
步骤2.2：根据式(2)计算第i帧行人的所有关节角度集合Ai＝{αj|j＝1,2,…,7}；
Figure FDA0003545413610000014
其中，m和n为j相邻关节点序号，若无相邻关节，则αs＝0，
Figure FDA0003545413610000015
和
Figure FDA0003545413610000016
根据式(1)计算；
步骤2.3：遍历J中每一帧的骨骼关节点数据，计算每帧的关节位移集合Li＝{li,j|j＝1,2,…,7}，其中li,j表示第i帧关节点与上一帧的位移，根据式(3)计算；
Figure FDA0003545413610000017
步骤2.4：根据上述步骤得到图卷积网络的输入Ii＝{(Di，Ai，Li)}；
步骤3：最后根据步骤2.4得到的数据输入到图卷积网络判断行人是否存在吸烟行为，具体步骤为：
步骤3.1：建立图卷积网络，输入的数据进行BN归一化，经过9个GCN单元，每经过一个GCN单元将特征dropout，其中前三层的输出有64个通道，中间三层有128个通道，最后三层有256个通道，每个GCN单元包括：注意力模块，图卷积模块，时间卷积模块；
步骤3.2：接着经过全局平均池化得到特征向量，最后用SoftMax函数进行分类，得到吸烟行为的预测概率。
CN202210247501.4A 2022-03-14 2022-03-14 一种基于视频分析的吸烟行为检测方法 Pending CN114663807A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210247501.4A CN114663807A (zh) 2022-03-14 2022-03-14 一种基于视频分析的吸烟行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210247501.4A CN114663807A (zh) 2022-03-14 2022-03-14 一种基于视频分析的吸烟行为检测方法

Publications (1)

Publication Number Publication Date
CN114663807A true CN114663807A (zh) 2022-06-24

Family

ID=82029464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210247501.4A Pending CN114663807A (zh) 2022-03-14 2022-03-14 一种基于视频分析的吸烟行为检测方法

Country Status (1)

Country Link
CN (1) CN114663807A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205767A (zh) * 2022-09-16 2022-10-18 浪潮通信信息系统有限公司 一种抽烟行为检测方法、系统及装置
CN117409484A (zh) * 2023-12-14 2024-01-16 四川汉唐云分布式存储技术有限公司 基于云值守的客户违规行为检测方法、装置及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205767A (zh) * 2022-09-16 2022-10-18 浪潮通信信息系统有限公司 一种抽烟行为检测方法、系统及装置
CN117409484A (zh) * 2023-12-14 2024-01-16 四川汉唐云分布式存储技术有限公司 基于云值守的客户违规行为检测方法、装置及存储介质

Similar Documents

Publication Publication Date Title
Nath et al. Deep learning for site safety: Real-time detection of personal protective equipment
CN110135249B (zh) 基于时间注意力机制和lstm的人体行为识别方法
Oliveira et al. Deep learning for human part discovery in images
CN108520226B (zh) 一种基于躯体分解和显著性检测的行人重识别方法
US8462996B2 (en) Method and system for measuring human response to visual stimulus based on changes in facial expression
CN111488804A (zh) 基于深度学习的劳保用品佩戴情况检测和身份识别的方法
CN110717389B (zh) 基于生成对抗和长短期记忆网络的驾驶员疲劳检测方法
CN104915655A (zh) 一种多路监控视频的管理方法与设备
CN110717411A (zh) 一种基于深层特征融合的行人重识别方法
CN111563452B (zh) 一种基于实例分割的多人体姿态检测及状态判别方法
CN111382679A (zh) 帕金森病步态运动障碍严重程度的评估方法、系统及设备
CN114663807A (zh) 一种基于视频分析的吸烟行为检测方法
CN111611905A (zh) 一种可见光与红外融合的目标识别方法
CN110807434A (zh) 一种基于人体解析粗细粒度结合的行人重识别系统及方法
Nigam et al. A review of computational approaches for human behavior detection
CN111738218B (zh) 人体异常行为识别系统及方法
CN111209818A (zh) 视频个体识别方法、系统、设备及可读存储介质
CN110688980B (zh) 基于计算机视觉的人体姿态分类方法
CN105975932A (zh) 基于时间序列shapelet的步态识别分类方法
CN111523559B (zh) 一种基于多特征融合的异常行为检测方法
CN114973120A (zh) 一种基于多维传感数据与监控视频多模异构融合的行为识别方法及系统
CN111444488A (zh) 一种基于动态手势的身份认证方法
CN109325408A (zh) 一种手势判断方法及存储介质
CN113569766B (zh) 一种面向无人机巡逻的行人异常行为检测方法
CN113869276B (zh) 基于微表情的谎言识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination