CN111339970A - 一种适用于公共环境下的吸烟行为检测方法 - Google Patents

一种适用于公共环境下的吸烟行为检测方法 Download PDF

Info

Publication number
CN111339970A
CN111339970A CN202010134969.3A CN202010134969A CN111339970A CN 111339970 A CN111339970 A CN 111339970A CN 202010134969 A CN202010134969 A CN 202010134969A CN 111339970 A CN111339970 A CN 111339970A
Authority
CN
China
Prior art keywords
region
smoking
mouth
combined
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010134969.3A
Other languages
English (en)
Other versions
CN111339970B (zh
Inventor
蒋峥嵘
王海峰
方世琪
张金龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Chemical Industry Park Public Pipe Rack Co ltd
Original Assignee
Shanghai Chemical Industry Park Public Pipe Rack Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Chemical Industry Park Public Pipe Rack Co ltd filed Critical Shanghai Chemical Industry Park Public Pipe Rack Co ltd
Priority to CN202010134969.3A priority Critical patent/CN111339970B/zh
Publication of CN111339970A publication Critical patent/CN111339970A/zh
Application granted granted Critical
Publication of CN111339970B publication Critical patent/CN111339970B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种适用于公共环境下的吸烟行为检测方法，包括：步骤一：通过远程现场摄像头采集的实时视频流通过有线或无线方式传送至服务器端；步骤二：在得到实时视频流后，对实时视频流中的视频图像进行人脸检测和关键点提取，提取出人脸嘴部区域；步骤三：得到人脸嘴部区域后，基于肤色模型，进一步提取人脸嘴部和吸烟手部的联合感兴趣区域；步骤四：针对联合感兴趣区域进行特征计算；步骤五：根据每视频帧图像计算获得的特征，进行多帧联合统计处理，判断是否存在吸烟动作。本发明结合肤色模型获得人脸嘴部区域以及人脸嘴部和吸烟手部的联合感兴趣区域，再进行区域特征计算，结合多帧视频的综合判别，可快速准确的对吸烟行为进行有效检测。

Description

一种适用于公共环境下的吸烟行为检测方法
技术领域
本发明涉及一种适用于公共环境下的吸烟行为检测方法。
背景技术
人工智能AI与传统工业需求的结合是促进我国工业产业信息化智能化的重要手段。而工业现场施工安全又是施工过程监控的重要环节。施工现场部署智能视频监控系统已经是保证安全施工和生产的必要手段。在施工过程中，现场直接施工作业环节仍存在安全隐患和质量事故，对此，监控系统能起到信息采集、事后分析辨别的作用。但对于采集的海量信息仍然需要人工进行辨别是否存在违章施工等危险动作，工作量巨大且不能实时进行监控和报警。因此，对视频监控区域的违章行为实时智能分析需求十分迫切。随着AI技术的快速发展，为视频监控信息的智能化实时分析和预警提供了良好的技术手段，本发明针对施工现场的人员吸烟异常行为进行实时检测并报警，所研发的智能分析系统具有良好的应用和推广价值。
现有技术中针对吸烟行为检测主要针对汽车驾驶员的异常行为判断，所采用的技术主要为利用肤色模型进行手部区域提取后进行手势识别，如文献1“王超，针对吸烟行为的手势识别算法研究[M],燕山大学，2013”，及基于烟雾的吸烟行为检测，如文献2“黄训平，贾克斌，刘鹏宇.基于交通监控的出租车司机吸烟行为自动检测.计算机仿真”。以上所采用的方法对于距离较远或室外场景吸烟行为均难以进行较为准确的检测。
发明内容
本发明的目的，就是为了解决上述问题而提供了一种适用于公共环境下的吸烟行为检测方法，利用深度学习方法有效提取人脸及嘴部区域，结合肤色模型获得嘴部区域和频繁吸烟时手部联合区域，再进行区域特征计算，结合多帧视频的综合判别，可快速、准确的对吸烟行为进行有效检测。
本发明的目的是这样实现的：
本发明的一种适用于公共环境下的吸烟行为检测方法，包括以下步骤：
步骤一：通过远程现场摄像头采集的实时视频流通过有线或无线方式传送至服务器端；
步骤二：在得到实时视频流后，对实时视频流中的视频图像进行人脸检测和关键点提取，从而提取出人脸嘴部区域；
步骤三：提取得到人脸嘴部区域后，基于肤色模型，进一步提取人脸嘴部和吸烟手部的联合感兴趣区域；
步骤四：针对联合感兴趣区域进行特征计算；
步骤五：根据每视频帧图像计算获得的特征，进行多帧联合统计处理，判断是否存在吸烟动作。
上述的一种适用于公共环境下的吸烟行为检测方法，其中，步骤二中的对实时视频流中的视频图像进行人脸检测和关键点提取的具体步骤包括：
S21：利用基于深度学习的MTCNN算法或Haar-Adaboost算法，对实时视频流中的视频图像进行人脸检测及人脸关键点检测；
S22：根据检测出的人脸区域及关键点，提取出人脸嘴部区域。
上述的一种适用于公共环境下的吸烟行为检测方法，其中，步骤三包括以下步骤：
S31：提取出步骤二中的人脸嘴部区域后，针对吸烟时手部会在嘴部区域频繁靠近这一特征，基于肤色模型，进一步检测人脸嘴部和吸烟手部的联合感兴趣区域，并进行联合感兴趣区域的提取；
S32：在进行人脸嘴部和吸烟手部的联合感兴趣区域的检测和提取时，先通过肤色模型将感兴趣区域的RGB图像转换为HSV格式，利用肤色模型在H分量、S分量和V分量分别进行肤色阈值设定，检测出嘴部附近的肤色区域，当持烟的手接近嘴部时，则可以精确提取出人脸嘴部和吸烟手部的联合感兴趣区域。
上述的一种适用于公共环境下的吸烟行为检测方法，其中，步骤四中的联合感兴趣区域的特征计算包括以下步骤：
S41:由于未吸烟时只有嘴部区域和吸烟时嘴手区域融合，在图像表征上具有明细差异，因此针对提取出的联合感兴趣区域，计算其轮廓特征和面积特征。首先，对提取出的联合感兴趣区域通过肤色模型获得二值化图像，进行联合感兴趣区域轮廓跟踪，获得联合感兴趣区域的周长L和面积S；
S42：计算联合感兴趣区域的形状因子P＝L2/S；
S43：计算联合感兴趣区域的联合特征F＝αS+(1-α)P，其中α＝0.7。
上述的一种适用于公共环境下的吸烟行为检测方法，其中，步骤五包括以下步骤：
S51：对于连续的视频，对每个视频帧计算联合感兴趣区域的联合特征F；
S52：由于吸烟动作手部会频繁靠近嘴部区域，因此进行多帧联合特征F的分析，若F的显著变化的次数超过设定的阈值，则判断存在吸烟动作。
上述的一种适用于公共环境下的吸烟行为检测方法，其中，吸烟行为检测方法还包括以下步骤：
步骤六：若S52中判断存在吸烟动作，则进行报警，并将被判断为存在吸烟动作的连续若干帧视频进行存储。
本发明利用深度学习方法有效提取人脸及嘴部区域，结合肤色模型获得人脸嘴部区域以及人脸嘴部和吸烟手部的联合感兴趣区域，再进行区域特征计算，结合多帧视频的综合判别，可快速、准确的对吸烟行为进行有效检测。
附图说明
图1是本发明的一种适用于公共环境下的吸烟行为检测方法的流程图。
具体实施方式
下面将结合附图，对本发明作进一步说明。
请参阅图1，图中示出了本发明一种适用于公共环境下的吸烟行为检测方法，包括以下步骤：
步骤一：通过远程现场摄像头采集的实时视频流通过有线或无线方式传送至服务器端；
步骤二：在得到实时视频流后，对实时视频流中的视频图像进行人脸检测和关键点提取，从而提取出人脸嘴部区域；
步骤三：提取得到人脸嘴部区域后，基于肤色模型，进一步提取人脸嘴部和吸烟手部的联合感兴趣区域；
步骤四：针对联合感兴趣区域进行特征计算；
步骤五：根据每视频帧图像计算获得的特征，进行多帧联合统计处理，判断是否存在吸烟动作；
步骤二中的对实时视频流中的视频图像进行人脸检测和关键点提取的具体步骤包括：
S21：利用基于深度学习的MTCNN算法或Haar-Adaboost算法，对实时视频流中的视频图像进行人脸检测及人脸关键点检测；
S22：根据检测出的人脸区域及关键点，提取出人脸嘴部区域。
步骤三包括以下步骤：
S31：提取出步骤二中的人脸嘴部区域后，针对吸烟时手部会在嘴部区域频繁靠近这一特征，基于肤色模型，进一步检测人脸嘴部和吸烟手部的联合感兴趣区域，并进行联合感兴趣区域的提取；
S32：进行人脸嘴部和吸烟手部的联合感兴趣区域的检测和提取时，先通过肤色模型将感兴趣区域的RGB图像转换为HSV格式，利用肤色模型在H分量、S分量和V分量分别进行肤色阈值设定，检测出嘴部附近的肤色区域，当持烟的手接近嘴部时，则可以精确提取出人脸嘴部和吸烟手部的联合感兴趣区域。
步骤四中的联合感兴趣区域的特征计算包括以下步骤：
S41:由于未吸烟时只有嘴部区域和吸烟时嘴手区域融合，在图像表征上具有明细差异，因此针对提取出的联合感兴趣区域，计算其轮廓特征和面积特征。首先，对提取出的联合感兴趣区域通过肤色模型获得二值化图像，进行联合感兴趣区域轮廓跟踪，获得联合感兴趣区域的周长L和面积S；
S42：计算联合感兴趣区域的形状因子P＝L2/S；
S43：计算联合感兴趣区域的联合特征F＝αS+(1-α)P，其中α＝0.7。
步骤五包括以下步骤：
S51：对于连续的视频，对每个视频帧计算联合感兴趣区域的联合特征F；
S52：由于吸烟动作手部会频繁靠近嘴部区域，因此进行多帧联合特征F的分析，若F的显著变化的次数超过设定的阈值，则判断存在吸烟动作，阈值取2。
吸烟行为检测方法还包括以下步骤：
步骤六：若S52中判断存在吸烟动作，则进行报警，并将被判断为存在吸烟动作的连续若干帧视频进行存储。
本发明利用深度学习方法有效提取人脸及嘴部区域，结合肤色模型获得人脸嘴部区域以及人脸嘴部和吸烟手部的联合感兴趣区域，再进行区域特征计算，结合多帧视频的综合判别，可快速、准确的对吸烟行为进行有效检测。
以上实施例仅供说明本发明之用，而非对本发明的限制，有关技术领域的技术人员，在不脱离本发明的精神和范围的情况下，还可以作出各种变换或变型，因此所有等同的技术方案也应该属于本发明的范畴，应由各权利要求所限定。

Claims (6)

1.一种适用于公共环境下的吸烟行为检测方法，其特征在于，所述吸烟行为检测方法包括以下步骤：
步骤一：通过远程现场摄像头采集的实时视频流通过有线或无线方式传送至服务器端；
步骤二：在得到实时视频流后，对实时视频流中的视频图像进行人脸检测和关键点提取，从而提取出人脸嘴部区域；
步骤三：提取得到所述人脸嘴部区域后，基于肤色模型，进一步提取人脸嘴部和吸烟手部的联合感兴趣区域；
步骤四：针对所述联合感兴趣区域进行特征计算；
步骤五：根据每视频帧图像计算获得的特征，进行多帧联合统计处理，判断是否存在吸烟动作。
2.如权利要求1所述的一种适用于公共环境下的吸烟行为检测方法，其特征在于，所述步骤二中的对实时视频流中的视频图像进行人脸检测和关键点提取的具体步骤包括：
S21：利用基于深度学习的MTCNN算法或Haar-Adaboost算法，对实时视频流中的视频图像进行人脸检测及人脸关键点检测；
S22：根据检测出的人脸区域及关键点，提取出人脸嘴部区域。
3.如权利要求1所述的一种适用于公共环境下的吸烟行为检测方法，其特征在于，所述步骤三包括以下步骤：
S31：提取出所述步骤二中的人脸嘴部区域后，针对吸烟时手部会在嘴部区域频繁靠近这一特征，基于肤色模型，进一步检测人脸嘴部和吸烟手部的联合感兴趣区域，并进行所述联合感兴趣区域的提取；
S32：在进行人脸嘴部和吸烟手部的联合感兴趣区域的检测和提取时，先通过肤色模型将所述感兴趣区域的RGB图像转换为HSV格式，利用肤色模型在H分量、S分量和V分量分别进行肤色阈值设定，检测出嘴部附近的肤色区域，当持烟的手接近嘴部时，则可以精确提取出人脸嘴部和吸烟手部的联合感兴趣区域。
4.如权利要求1所述的一种适用于公共环境下的吸烟行为检测方法，其特征在于，所述步骤四中的联合感兴趣区域的特征计算包括以下步骤：
S41:由于未吸烟时只有嘴部区域和吸烟时嘴手区域融合，在图像表征上具有明细差异，因此针对提取出的联合感兴趣区域，计算其轮廓特征和面积特征。首先，对提取出的联合感兴趣区域通过肤色模型获得二值化图像，进行联合感兴趣区域轮廓跟踪，获得联合感兴趣区域的周长L和面积S；
S42：计算联合感兴趣区域的形状因子P＝L2/S；
S43：计算联合感兴趣区域的联合特征F＝αS+(1-α)P，其中α＝0.7。
5.如权利要求1所述的一种适用于公共环境下的吸烟行为检测方法，其特征在于，所述步骤五包括以下步骤：
S51：对于连续的视频，对每个视频帧计算联合感兴趣区域的联合特征F；
S52：由于吸烟动作手部会频繁靠近嘴部区域，因此进行多帧联合特征F的分析，若F的显著变化的次数超过设定的阈值，则判断存在吸烟动作。
6.如权利要求5所述的一种适用于公共环境下的吸烟行为检测方法，其特征在于，所述吸烟行为检测方法还包括以下步骤：
步骤六：若所述S52中判断存在吸烟动作，则进行报警，并将被判断为存在吸烟动作的连续若干帧视频进行存储。
CN202010134969.3A 2020-03-02 2020-03-02 一种适用于公共环境下的吸烟行为检测方法 Active CN111339970B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010134969.3A CN111339970B (zh) 2020-03-02 2020-03-02 一种适用于公共环境下的吸烟行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010134969.3A CN111339970B (zh) 2020-03-02 2020-03-02 一种适用于公共环境下的吸烟行为检测方法

Publications (2)

Publication Number Publication Date
CN111339970A true CN111339970A (zh) 2020-06-26
CN111339970B CN111339970B (zh) 2023-04-07

Family

ID=71183832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010134969.3A Active CN111339970B (zh) 2020-03-02 2020-03-02 一种适用于公共环境下的吸烟行为检测方法

Country Status (1)

Country Link
CN (1) CN111339970B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115775A (zh) * 2020-08-07 2020-12-22 北京工业大学 一种基于计算机视觉的监控场景下的吸烟行为检测方法
CN112668430A (zh) * 2020-12-21 2021-04-16 四川长虹电器股份有限公司 一种吸烟行为检测方法、系统、计算机设备、存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509902A (zh) * 2018-03-30 2018-09-07 湖北文理学院 一种驾驶员行车过程中手持电话通话行为检测方法
CN109190496A (zh) * 2018-08-09 2019-01-11 华南理工大学 一种基于多特征融合的单目静态手势识别方法
CN109800640A (zh) * 2018-12-14 2019-05-24 天津大学 一种基于二维曲面拟合的吸烟检测方法
US20190370577A1 (en) * 2018-06-04 2019-12-05 Shanghai Sensetime Intelligent Technology Co., Ltd Driving Management Methods and Systems, Vehicle-Mounted Intelligent Systems, Electronic Devices, and Medium
CN110705383A (zh) * 2019-09-09 2020-01-17 深圳市中电数通智慧安全科技股份有限公司 吸烟行为检测方法、装置、终端和可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509902A (zh) * 2018-03-30 2018-09-07 湖北文理学院 一种驾驶员行车过程中手持电话通话行为检测方法
US20190370577A1 (en) * 2018-06-04 2019-12-05 Shanghai Sensetime Intelligent Technology Co., Ltd Driving Management Methods and Systems, Vehicle-Mounted Intelligent Systems, Electronic Devices, and Medium
CN109190496A (zh) * 2018-08-09 2019-01-11 华南理工大学 一种基于多特征融合的单目静态手势识别方法
CN109800640A (zh) * 2018-12-14 2019-05-24 天津大学 一种基于二维曲面拟合的吸烟检测方法
CN110705383A (zh) * 2019-09-09 2020-01-17 深圳市中电数通智慧安全科技股份有限公司 吸烟行为检测方法、装置、终端和可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王丹: "基于机器视觉的驾驶员打电话行为检测", 《中国优秀博硕士学位论文全文数据库（硕士）工程科技II辑》, 15 March 2016 (2016-03-15) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115775A (zh) * 2020-08-07 2020-12-22 北京工业大学 一种基于计算机视觉的监控场景下的吸烟行为检测方法
CN112115775B (zh) * 2020-08-07 2024-06-07 北京工业大学 一种基于计算机视觉的监控场景下的吸烟行为检测方法
CN112668430A (zh) * 2020-12-21 2021-04-16 四川长虹电器股份有限公司 一种吸烟行为检测方法、系统、计算机设备、存储介质

Also Published As

Publication number Publication date
CN111339970B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN112396658B (zh) 一种基于视频的室内人员定位方法及定位系统
CN111047818A (zh) 一种基于视频图像的森林火灾预警系统
CN111339970B (zh) 一种适用于公共环境下的吸烟行为检测方法
CN102164270A (zh) 具有异常事件发掘功能的智能视频监控方法及系统
CN111462451A (zh) 基于视频信息的秸秆焚烧检测报警系统
CN106355154B (zh) 一种监控视频中检测频繁过人的方法
CN110751051A (zh) 一种基于机器视觉的异常驾驶行为检测方法
CN111738218B (zh) 人体异常行为识别系统及方法
CN112232211A (zh) 一种基于深度学习的智能视频监控系统
CN110096945B (zh) 基于机器学习的室内监控视频关键帧实时提取方法
CN111899452A (zh) 基于边缘计算的森林防火预警系统
CN103152558B (zh) 基于场景识别的入侵检测方法
CN112188164A (zh) 一种基于ai视觉的违规行为实时监测系统及方法
CN111259718A (zh) 一种基于高斯混合模型的扶梯滞留检测方法及系统
CN210666820U (zh) 一种基于dsp边缘计算的行人异常行为检测系统
CN110930632B (zh) 一种基于人工智能的预警系统
CN116403377A (zh) 一种公共场所异常行为与隐患检测装置
CN107704818A (zh) 一种基于视频图像的火灾检测系统
CN116977909B (zh) 一种基于多模态数据的深度学习火灾强度识别方法及系统
CN113627321A (zh) 基于人工智能的图像识别方法、装置及计算机设备
CN111832450B (zh) 基于图像识别的持刀检测方法
CN113179389A (zh) 一种输电线路危险车辆吊车扬臂识别系统及识别方法
CN113052140A (zh) 一种基于视频的变电站人员车辆违规检测方法及系统
CN110992629A (zh) 一种基于视频监控的检测静止人体方法
CN116152735A (zh) 一种基于边缘云计算的安防监控危险源识别系统与方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant