CN114613010A - 检测模型的训练方法及装置、吸烟行为的检测方法及装置 - Google Patents

检测模型的训练方法及装置、吸烟行为的检测方法及装置 Download PDF

Info

Publication number
CN114613010A
CN114613010A CN202210259277.0A CN202210259277A CN114613010A CN 114613010 A CN114613010 A CN 114613010A CN 202210259277 A CN202210259277 A CN 202210259277A CN 114613010 A CN114613010 A CN 114613010A
Authority
CN
China
Prior art keywords
smoking
image
training
detection
confidence value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210259277.0A
Other languages
English (en)
Inventor
范清
唐大闰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Minglue Zhaohui Technology Co Ltd
Original Assignee
Beijing Minglue Zhaohui Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Minglue Zhaohui Technology Co Ltd filed Critical Beijing Minglue Zhaohui Technology Co Ltd
Priority to CN202210259277.0A priority Critical patent/CN114613010A/zh
Publication of CN114613010A publication Critical patent/CN114613010A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及图像处理技术领域，公开一种吸烟行为的检测方法，包括：根据预设的采样率，从监控视频流中获取待检测图像；将所述待检测图像输入至预设的检测模型中，得到所述待检测图像对应的识别结果，其中，所述识别结果包括所述待检测图像中包含烟头的信心值以及吸烟手势的信心值；根据所述烟头的信心值以及吸烟手势的信心值，确定所述监控视频流中是否发生吸烟行为。本申请提高了对于烟头等体积较小的目标的检测准确率，采用吸烟手势检测来辅助烟头检测进行综合判断，避免了由于更小分辨率的烟头导致的漏检，降低了漏检率。本申请还公开一种采用吸烟手势检测来辅助烟头检测进行综合判断，避免了由于更小分辨率的烟头导致的漏检，降低了漏检率。

Description

检测模型的训练方法及装置、吸烟行为的检测方法及装置
技术领域
本申请涉及图像处理技术领域，例如涉及一种吸烟行为的检测方法及装置、检测模型的训练方法及装置。
背景技术
目前，在公共场所内吸烟，不仅对自身、他人身体健康造成潜在的危害，还存在火灾隐患。因此，出于健康和安全方面的考虑，对于机场、加油站、化工仓库、办公室和公共交通环境等严禁吸烟的场景，需要进行吸烟行为检测，为了能够准确地识别出是否存在吸烟行为，相关技术提供了一种吸烟行为的检测方法，包括：获取待测图像，并将所述待测图像输入以香烟为目标的目标检测模型，确定疑似香烟范围；识别所述待测图像中的多个人脸关键点，并利用所述人脸关键点确定嘴部范围；计算所述疑似香烟范围与所述嘴部范围之间的匹配参数，其中，所述匹配参数为所述疑似香烟范围与所述嘴部范围之间的目标距离，和/或，所述嘴部范围与所述疑似香烟范围之间的交集面积；若所述匹配参数处于预设范围，则确定所述待测图像中存在吸烟行为。
在实现本申请的过程中，发现相关技术中至少存在如下问题：
基于计算机视觉的深度目标检测容易受到图像噪声干扰而导致错误检测，并且难以识别烟头等体积较小的目标，导致漏检率较高。
发明内容
为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
本申请提供了一种吸烟行为的检测方法及装置、检测模型的训练方法及装置、电子设备和存储介质，采用应用于深度学习技术领域的技术手段，以减少吸烟行为的错误检测并降低漏检率。
在一些实施例中，所述吸烟行为的检测方法包括：
根据预设的采样率，从监控视频流中获取待检测图像；
将所述待检测图像输入至预设的检测模型中，得到所述待检测图像对应的识别结果，其中，所述识别结果包括所述待检测图像中包含烟头的信心值以及吸烟手势的信心值；
根据所述烟头的信心值以及吸烟手势的信心值，确定所述监控视频流中是否发生吸烟行为。
在一些实施例中，所述检测模型的训练方法，包括：
获取训练样本并标注训练标签，其中，所述训练样本包括多个包含吸烟行为的吸烟图像，所述训练标签包括每个所述吸烟图像中烟头对应的包围盒和烟头类别、以及吸烟手势对应的包围盒和吸烟手势类别；
对所述吸烟图像进行预处理，并将预处理后的所述吸烟图像输入至所述检测模型中进行训练，直至达到训练停止条件。
在一些实施例中，所述吸烟行为的检测装置，包括：
图像采样模块，被配置为根据预设的采样率，从监控视频流中获取待检测图像；
图像识别模块，被配置为将所述待检测图像输入至预设的检测模型中，得到所述待检测图像对应的识别结果，其中，所述识别结果包括所述待检测图像中包含烟头的信心值以及吸烟手势的信心值；
行为检测模块，被配置为根据所述烟头的信心值以及吸烟手势的信心值，确定所述监控视频流中是否发生吸烟行为。
在一些实施例中，所述检测模型的训练装置，包括：
数据获取模块，被配置为获取训练样本并标注训练标签，其中，所述训练样本包括多个包含吸烟行为的吸烟图像，所述训练标签包括每个所述吸烟图像中烟头对应的包围盒和烟头类别、以及吸烟手势对应的包围盒和吸烟手势类别；
模型训练模块，被配置为对所述吸烟图像进行预处理，并将预处理后的所述吸烟图像输入至所述检测模型中进行训练，直至达到训练停止条件。
在一些实施例中，所述电子设备，包括存储器和处理器，其中：
所述存储器，用于保存计算机程序；
所述处理器，用于执行所述计算机程序，以实现如权利要求1至4任一项所述的吸烟行为的检测方法，或者实现如权利要求5至7任一项所述的检测模型的训练方法。
在一些实施例中，所述存储介质，存储有程序指令，所述程序指令在运行时，执行如本申请所述的吸烟行为的检测方法，或者执行如本申请所述的检测模型的训练方法。
本申请提供的吸烟行为的检测方法及装置、检测模型的训练方法及装置、电子设备和存储介质，可以实现以下技术效果：
本申请基于吸烟行为存在的特性吸烟手势，采用应用于深度学习技术领域的技术手段，通过检测模型对监控视频流中获取的待检测图像进行处理，针对烟头和吸烟手势进行位置监测和信心值预测，进而判断出监控视频流中是否存在吸烟行为，从而提高了对于烟头等体积较小的目标的检测准确率，同时，采用吸烟手势检测来辅助烟头检测进行综合判断，避免了由于更小分辨率的烟头导致的漏检，降低了漏检率。
以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。
附图说明
一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：
图1是本申请提供的一个吸烟行为的检测方法的示意图；
图2是本申请提供的从监控视频流中获取待检测图像方法的示意图；
图3是本申请提供的确定所述监控视频流中是否发生吸烟行为方法的示意图；
图4是本申请提供的另一确定所述监控视频流中是否发生吸烟行为方法的示意图；
图5是本申请提供的另一个吸烟行为的检测方法的示意图；
图6是本申请提供的一个检测模型的训练方法的示意图；
图7是本申请提供的一个检测模型的训练方法的示意图；
图8是本申请的一个检测模型的应用示意图；
图9是本申请提供的一个吸烟行为的检测装置的示意图；
图10是本申请提供的一个检测模型的训练装置的示意图；
图11是本申请提供的一个计算设备的示意图。
具体实施方式
为了能够更加详尽地了解本申请的特点与技术内容，下面结合附图对本申请的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
除非另有说明，术语“多个”表示两个或两个以上。
本申请中，字符“/”表示前后对象是一种“或”的关系。例如，A/B表示：A或B。
术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，A和/或B，表示：A或B，或，A和B这三种关系。
术语“对应”可以指的是一种关联关系或绑定关系，A与B相对应指的是A与B之间是一种关联关系或绑定关系。
随着技术不断地进步，吸烟检测的方法也随之不断地改进。传统的吸烟检测方法通常都是通过烟雾传感器或可穿戴设备等物理方式进行检测。然而，传统的吸烟检测方法存在诸多局限：一是室外场景中烟雾浓度被极大地稀释，无法被烟雾传感器所感应；二是可穿戴设备执行检测的成本较高，需要人人拥有。此外，这种方法通过判断肢体多个部位的运动轨迹和速度，与吸烟的动作行为进行模式匹配，进而通过支持向量机(Support VectorMachine，SVM)等机器学习分类方法对匹配度进行判断，故而该类方法的检测的准确率和效率比较低。
除了使用物理设备的方法检测吸烟外，还有现有技术使用传统图形学中的目标检测方法进行吸烟检测，这类方法主体分为三个步骤：首先设定不同的大小和步长滑动窗口，然后将所有的窗口在图像上每个位置进行滑动。对于每个窗口，通过方向梯度直方图(Histogram of Oriented Gradient，HOG)或尺度不变特征变换(Scale-InvariantFeature Transform，SIFT)方法提取出待测物体特征，最后使用分类算法对每个滑动窗口进行分类，比如SVM、Adaboost等方法，选取最高得分的滑窗作为检测结果。但是这类方法存在如下缺陷：首先是检测效果不理想，易受到其他物体干扰，并且定位不准确，依赖预设滑动窗口尺寸与滑动步长；其次，该方法计算量也大，需要对每个滑动窗口进行特征处理与分类判断；最后手动提取特征的方式和过程比较复杂，不具备泛化性。
此外，由于深度学习在计算机视觉领域内多个方向的成功，目前基于深度学习的目标检测方法也成为吸烟行为检测的主流方法，但是，这类方法容易受到图像噪声干扰而导致错误检测，并且难以识别烟头等体积较小的目标，导致漏检率较高。
为了解决上述技术问题，结合图1所示，本申请提供一种吸烟行为的检测方法，包括：
步骤101：根据预设的采样率，从监控视频流中获取待检测图像。
在本申请的实施例中，本申请的吸烟行为检测系统根据预设的采样率，从监控视频流中按固定周期采集待检测图像，所述待检测图像中可能包含吸烟行为，也可能不包含吸烟行为，本申请在此不进行具体限定。
步骤102：将所述待检测图像输入至预设的检测模型中，得到所述待检测图像对应的识别结果，其中，所述识别结果包括所述待检测图像中包含烟头的信心值以及吸烟手势的信心值。
在本申请的实施例中，本申请的吸烟行为检测系统将采集到的待检测图像输入至预训练好的检测模型中，检测模型以香烟的烟头和为吸烟手势目标，经过预测推理和检测，从其头部(Head)输出所述待检测图像对应的识别结果，其中，所述识别结果包括所述待检测图像中包含烟头的位置和烟头的信心值，以及吸烟手势的位置和吸烟手势的信心值，其中，信心值可以理解为置信水平，也就是待检测图像中包含烟头和吸烟手势的概率，例如，待检测图像中的某一物体是否为烟头的概率，或者有多少可能性为烟头的概率。
步骤103：根据所述烟头的信心值以及吸烟手势的信心值，确定所述监控视频流中是否发生吸烟行为。
在本申请的实施例中，本申请的吸烟行为检测系统根据检测模型输出的烟头的信心值以及吸烟手势的信心值，综合判断监控视频流中是否发生吸烟行为，以便进行预警，例如，若确定待检测图像中包含烟头，则可以直接确定该待检测图像中存在吸烟行为，无需进行进一步检测。若无法确定待检测图像中包含烟头，则可以通过吸烟手势的信心值进行辅助判断，从而确定该待检测图像中是否存在吸烟行为。
采用本申请提供的吸烟行为的检测方法，基于吸烟行为存在的特性吸烟手势，采用应用于深度学习技术领域的技术手段，通过检测模型对监控视频流中获取的待检测图像进行处理，针对烟头和吸烟手势进行位置监测和信心值预测，进而判断出监控视频流中是否存在吸烟行为，从而提高了对于烟头等体积较小的目标的检测准确率，同时，采用吸烟手势检测来辅助烟头检测进行综合判断，避免了由于更小分辨率的烟头导致的漏检，降低了漏检率。
可选地，结合图2所示，所述根据预设的采样率，从监控视频流中获取待检测图像，包括：
步骤201：根据预设的采样周期从监控视频流抽取视频帧。
步骤202：根据抽取到的视频帧生成待检测图像。
在本申请的实施例中，本申请的吸烟行为检测系统可以根据预设的采样周期，例如1秒、2秒或3秒，从监控视频流抽取视频帧，并将视频帧对应的图像作为待检测图像输入至已经训练好的检测模型中。
这样，能更好地保证吸烟检测的及时性，保证快速反应和预警，避免出现检测空档。
可选地，结合图3所示，所述根据所述烟头的信心值以及吸烟手势的信心值，确定所述监控视频流中是否发生吸烟行为，包括：
步骤301：判断所述烟头的信心值是否大于第一阈值；若是，则执行步骤302；若否，则执行步骤303。
步骤302：判定所述监控视频流中发生吸烟行为，并发送对应的吸烟报警信息。
步骤303：根据所述吸烟手势的信心值，确定所述监控视频流中是否发生吸烟行为。
在本申请的实施例中，本申请的吸烟行为检测系统判断烟头的信心值是否大于第一阈值，其中，所述第一阈值可以是0.5、0.6或0.7，如果烟头的信心值大于第一阈值，则有较大概率表明待检测图像中包含烟头，从而可以直接判定发生吸烟行为，并触发吸烟报警信息给相关的控制系统。如果烟头的信心值小于第一阈值，则表明待检测图像中是否存在烟头是存疑的，此时，就需要进一步根据所述吸烟手势的信心值，确定所述监控视频流中是否发生吸烟行为。
这样，通过优先判断烟头的信心值是否大于第一阈值，可以快速的实现初步的吸烟检测，从而提高吸烟行为的检测速度和实时性要求。
可选地，结合图4所示，所述根据所述烟头的信心值以及吸烟手势的信心值，确定所述监控视频流中是否发生吸烟行为，包括：
步骤401：判断所述吸烟手势的信心值是否大于第二阈值；若是，则执行步骤402；若否，则执行步骤403。
步骤402：判定所述监控视频流中发生吸烟行为，并发送对应的吸烟报警信息。
步骤403：判定所述监控视频流中未发生吸烟行为。
在本申请的实施例中，本申请的吸烟行为检测系统在烟头的信心值小于第一阈值的情况下，进一步判断吸烟手势的信心值是否大于第二阈值，其中，所述第二阈值可以是0.6、0.7或0.8，如果吸烟手势的信心值大于第二阈值，则有较大概率表明待检测图像中包含烟头和吸烟行为，从而可以判定监控视频流中发生吸烟行为，并触发吸烟报警信息给相关的控制系统。如果吸烟手势的信心值小于第二阈值，并且烟头的信心值小于第一阈值，则表明待检测图像中不存在吸烟行为。
这样，能更好地针对更小分辨率的烟头漏检问题，采用吸烟手势检测进一步提高准确率。
在实际应用中，如图5所示，本申请提供一种吸烟行为的检测方法，包括：
步骤501：根据预设的采样周期从监控视频流抽取视频帧，生成待检测图像。
步骤502：将所述待检测图像输入至预设的检测模型中，得到所述待检测图像对应的识别结果，其中，所述识别结果包括所述待检测图像中包含烟头的信心值以及吸烟手势的信心值。
步骤503：判断所述烟头的信心值是否大于第一阈值；若是，则执行步骤504；若否，则执行步骤505。
步骤504：判定所述监控视频流中发生吸烟行为，并发送对应的吸烟报警信息。
步骤505：判断所述吸烟手势的信心值是否大于第二阈值；若是，则执行步骤504；若否，则执行步骤506。
步骤506：判定所述监控视频流中未发生吸烟行为。
本申请的吸烟行为检测系统通过输入监控视频流，经过预处理和模型预测推理，输出吸烟行为的检测结果并触发吸烟违规报警，有利于提高吸烟行为检测的准确率。
结合图6所示，本申请提供一种检测模型的训练方法，包括：
步骤601：获取训练样本并标注训练标签，其中，所述训练样本包括多个包含吸烟行为的吸烟图像，所述训练标签包括每个所述吸烟图像中烟头对应的包围盒和烟头类别、以及吸烟手势对应的包围盒和吸烟手势类别。
在本申请的实施例中，在数据集整理的过程中，本申请从监控视频采集包含吸烟行为的约200个视频片段，每个片段长度约5分钟。然后对采集的视频片段进行手工标注。对于每个视频片段，每秒采样一帧由标注者使用开源标注软件YOLO Mark手工标注出烟头的包围盒和类别，以及吸烟手势的包围盒和类别。标注形式为5元组(x、y、w、h、class)，其中x、y、h、w和class分别表示包围盒的左上角坐标、宽度、高度和类别。整个数据集大约60000张图像数据，按7：2：1分为训练集、验证集和测试集。
步骤602：对所述吸烟图像进行预处理，并将预处理后的所述吸烟图像输入至所述检测模型中进行训练，直至达到训练停止条件。
在本申请的实施例中，对所述吸烟图像进行预处理，包括对所述吸烟图像进行数据增强；或者，对所述吸烟图像进行图像变换；或者，对所述吸烟图像进行自适应锚框计算；或者，将所述吸烟图像锁缩放至目标分辨率，以及上述数据处理方式的排列组合，本申请在此不具体限定。
具体而言，数据增强可以是Mosaic数据增强，主要思想是将四张图片进行随机裁剪，再拼接到一张图上作为训练数据，这样做的好处是丰富了图片的背景，并且四张图片拼接在一起变相地提高了批量尺寸(Batch Size)，在进行批量标准化(BatchNormalization)的时候也会计算四张图片，所以对本身批量尺寸不是很依赖，单块GPU就可以训练YOLO。
图像变换可以包括随机平移、旋转、水平镜像、翻转或裁剪等预处理方式。
自适应锚框(Anchor Boxes)是一组预设的边框，在训练时，以真实的边框位置相对于预设边框的偏移来构建训练样本。相当于，预设边框先大致在可能的位置“框”出来目标，然后再在这些预设边框的基础上进行调整，一个自适应锚框可以由边框的纵横比和边框的面积(尺度)来定义，相当于一系列预设边框的生成规则，根据自适应锚框可以在图像的任意位置，生成一系列的边框。
可选地，所述目标分辨率可以是608x608像素。
采用本申请提供的检测模型的训练方法，通过将多个包含吸烟行为的吸烟图像作为样本，将吸烟图像中烟头对应的包围盒和烟头类别、以及吸烟手势对应的包围盒和吸烟手势类别作为标签，进行模型训练，得到了能够同时对烟头和吸烟手势进行预测的检测模型，提高了小型目标的检测准确率，同时，针对烟头错误检测及漏检问题，增加手势检测，通过吸烟手势判定进一步提高吸烟行为检测的准确率。
可选地，结合图7所示，所述将预处理后的所述吸烟图像输入至所述检测模型中进行训练，直至达到训练停止条件，包括：
步骤701：根据预设的批量尺寸将多个吸烟图像进行分批处理，得到多个包含相同数量的吸烟图像的吸烟图像集合。
步骤702：根据预设的初始学习率和权重衰减系数，通过随机梯度下降代算法和多个吸烟图像集合对所述检测模型进行多次迭代训练。
步骤703：在多次迭代训练全部完成后，获得所述检测模型。
在本申请的实施例中，批量尺寸(Batch Size)是指一次迭代训练所选取的样本数，批量尺寸的大小影响模型的优化程度和速度，同时其直接影响到GPU内存的使用情况，适当的批量尺寸能够使得梯度下降方向更加准确。所述随机梯度下降代算法可以是Adam梯度优化算法，Adam梯度优化算法与经典的随机梯度下降法是不同的，随机梯度下降保持一个单一的学习速率，用于所有的权重更新，并且在训练过程中学习速率不会改变。每一个网络权重都保持一个学习速率，并随着学习的展开而单独地进行调整。权重衰减等价于L2范数正则化(Regularization)，正则化通过为模型损失函数添加惩罚项使训练出的模型参数值较小，是应对过拟合的常用手段，在添加了正则项后，损失函数计算梯度下降时就要同时满足原损失函数和正则项的权重同时等于0，压缩了解的空间，即对权重的可能的取值做了限制。
例如，训练过程中的批量尺寸可以是64，使用Adam梯度优化器，初始的学习率可以是0.001，权重衰减系数可以是0.0005，整个训练过程持续30次迭代后停止，训练完成得到训练好的检测模型。
这样，能够更好地对检测模型进行训练，以得到准确率高，收外部异性小的检测模型。
在实际应用中，如图8所示，本申请的检测模型包括依次相连的Focus模块、卷积层、残差模块、注意力模块、空间金字塔池化(Spatial Pyramid Pooling，SPP)模块、烟头检测头部和吸烟手势检测头部，其中，Focus模块在YOLO中是图片进入主干网络(Back Bone)前，对图片进行切片操作，具体操作是在一张图片中每隔一个像素拿到一个值，类似于邻近下采样，这样就拿到了四张图片，四张图片互补，长的差不多，但是没有信息丢失，将W、H信息就集中到了通道空间，输入通道扩充了4倍，即拼接起来的图片相对于原先的RGB三通道模式变成了12个通道，最后将得到的新图片再经过卷积操作，最终得到了没有信息丢失情况下的二倍下采样特征图。同时，通过在最后一个卷积层后连接金字塔池化模块，使用这种方式，可以让网络输入任意的图片，而且还会生成固定大小的输出，
本申请设计了一种轻量级的吸烟检测网络架构，该架构通过融合多层次不同的特征图向量，增加注意力机制及SPP模块等改进原网络结构，提高了小型目标的检测准确率，针对烟头误检及漏检问题，增加手势检测，通过吸烟手势判定，进一步提高了吸烟行为检测的准确率。
结合图9所示，本申请提供一种吸烟行为的检测装置，包括：
图像采样模块901，被配置为根据预设的采样率，从监控视频流中获取待检测图像；
图像识别模块902，被配置为将所述待检测图像输入至预设的检测模型中，得到所述待检测图像对应的识别结果，其中，所述识别结果包括所述待检测图像中包含烟头的信心值以及吸烟手势的信心值；
行为检测模块903，被配置为根据所述烟头的信心值以及吸烟手势的信心值，确定所述监控视频流中是否发生吸烟行为。
可选地，所述图像采样模块901，具体被配置为：
根据预设的采样周期从监控视频流抽取视频帧；
根据抽取到的视频帧生成待检测图像。
可选地，所述行为检测模块903，具体被配置为：
判断所述烟头的信心值是否大于第一阈值；
若是，则判定所述监控视频流中发生吸烟行为，并发送对应的吸烟报警信息；
若否，则根据所述吸烟手势的信心值，确定所述监控视频流中是否发生吸烟行为。
可选地，所述行为检测模块903，具体被配置为：
判断所述吸烟手势的信心值是否大于第二阈值；
若是，则判定所述监控视频流中发生吸烟行为，并发送对应的吸烟报警信息；
若否，则判定所述监控视频流中未发生吸烟行为。
采用本申请提供的吸烟行为的检测装置，基于吸烟行为存在的特性吸烟手势，本申请通过检测模型对监控视频流中获取的待检测图像进行处理，针对烟头和吸烟手势进行位置监测和信心值预测，进而判断出监控视频流中是否存在吸烟行为，从而提高了对于烟头等体积较小的目标的检测准确率，同时，采用吸烟手势检测来辅助烟头检测进行综合判断，避免了由于更小分辨率的烟头导致的漏检，降低了漏检率。
结合图10所示，本申请提供一种检测模型的训练装置，包括：
数据获取模块100，被配置为获取训练样本并标注训练标签，其中，所述训练样本包括多个包含吸烟行为的吸烟图像，所述训练标签包括每个所述吸烟图像中烟头对应的包围盒和烟头类别、以及吸烟手势对应的包围盒和吸烟手势类别；
模型训练模块101，被配置为对所述吸烟图像进行预处理，并将预处理后的所述吸烟图像输入至所述检测模型中进行训练，直至达到训练停止条件。
可选地，所述模型训练模块101，具体被配置为：
对所述吸烟图像进行数据增强；或者，
对所述吸烟图像进行图像变换；或者，
对所述吸烟图像进行自适应锚框计算；或者，
将所述吸烟图像锁缩放至目标分辨率。
可选地，所述模型训练模块101，具体被配置为：
根据预设的批量尺寸将多个吸烟图像进行分批；
根据预设的初始学习率和权重衰减系数，通过随机梯度下降代算法对所述检测模型进行多次迭代训练；
在多次迭代训练全部完成后，获得所述检测模型。
采用本申请提供的检测模型的训练装置，通过将多个包含吸烟行为的吸烟图像作为样本，将吸烟图像中烟头对应的包围盒和烟头类别、以及吸烟手势对应的包围盒和吸烟手势类别作为标签，进行模型训练，得到了能够同时对烟头和吸烟手势进行预测的检测模型，提高了小型目标的检测准确率，同时，针对烟头错误检测及漏检问题，增加手势检测，通过吸烟手势判定进一步提高吸烟行为检测的准确率。
结合图11所示，本申请提供一种电子设备，包括处理器(processor)110和存储器(memory)111。可选地，该电子设备还可以包括通信接口(Communication Interface)112和总线113。其中，处理器110、通信接口112、存储器111可以通过总线113完成相互间的通信。通信接口112可以用于信息传输。处理器110可以调用存储器111中的逻辑指令，以执行上述实施例的检测模型的训练方法。
此外，上述的存储器111中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器111作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本申请中的方法对应的程序指令/模块。处理器110通过运行存储在存储器111中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述实施例中吸烟行为的加测方法或检测模型的训练方法。
存储器111可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器111可以包括高速随机存取存储器，还可以包括非易失性存储器。
本申请提供了一种计算机，包含上述的吸烟行为的检测装置，或包含上述的检测模型的训练装置。
本申请提供了一种存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为执行上述吸烟行为的加测方法或检测模型的训练方法。
上述的存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。
本申请的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或多个指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请所述方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本申请的范围。所述技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本申请中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
附图中的流程图和框图显示了根据本申请的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (11)

1.一种吸烟行为的检测方法，其特征在于，包括：
根据预设的采样率，从监控视频流中获取待检测图像；
将所述待检测图像输入至预设的检测模型中，得到所述待检测图像对应的识别结果，其中，所述识别结果包括所述待检测图像中包含烟头的信心值以及吸烟手势的信心值；
根据所述烟头的信心值以及吸烟手势的信心值，确定所述监控视频流中是否发生吸烟行为。
2.根据权利要求1所述的检测方法，其特征在于，所述根据预设的采样率，从监控视频流中获取待检测图像，包括：
根据预设的采样周期从监控视频流抽取视频帧；
根据抽取到的视频帧生成待检测图像。
3.根据权利要求1所述的检测方法，其特征在于，所述根据所述烟头的信心值以及吸烟手势的信心值，确定所述监控视频流中是否发生吸烟行为，包括：
判断所述烟头的信心值是否大于第一阈值；
若是，则判定所述监控视频流中发生吸烟行为，并发送对应的吸烟报警信息；
若否，则根据所述吸烟手势的信心值，确定所述监控视频流中是否发生吸烟行为。
4.根据权利要求3所述的检测方法，其特征在于，所述根据所述烟头的信心值以及吸烟手势的信心值，确定所述监控视频流中是否发生吸烟行为，包括：
判断所述吸烟手势的信心值是否大于第二阈值；
若是，则判定所述监控视频流中发生吸烟行为，并发送对应的吸烟报警信息；
若否，则判定所述监控视频流中未发生吸烟行为。
5.一种检测模型的训练方法，其特征在于，包括：
获取训练样本并标注训练标签，其中，所述训练样本包括多个包含吸烟行为的吸烟图像，所述训练标签包括每个所述吸烟图像中烟头对应的包围盒和烟头类别、以及吸烟手势对应的包围盒和吸烟手势类别；
对所述吸烟图像进行预处理，并将预处理后的所述吸烟图像输入至所述检测模型中进行训练，直至达到训练停止条件。
6.根据权利要求5所述的训练方法，其特征在于，所述对所述吸烟图像进行预处理，包括：
对所述吸烟图像进行数据增强；或者，
对所述吸烟图像进行图像变换；或者，
对所述吸烟图像进行自适应锚框计算；或者，
将所述吸烟图像锁缩放至目标分辨率。
7.根据权利要求5所述的训练方法，其特征在于，所述将预处理后的所述吸烟图像输入至所述检测模型中进行训练，直至达到训练停止条件，包括：
根据预设的批量尺寸将多个吸烟图像进行分批处理，得到多个包含相同数量的吸烟图像的吸烟图像集合；
根据预设的初始学习率和权重衰减系数，通过随机梯度下降代算法和多个吸烟图像集合对所述检测模型进行多次迭代训练；
在多次迭代训练全部完成后，获得所述检测模型。
8.一种吸烟行为的检测装置，其特征在于，包括：
图像采样模块，被配置为根据预设的采样率，从监控视频流中获取待检测图像；
图像识别模块，被配置为将所述待检测图像输入至预设的检测模型中，得到所述待检测图像对应的识别结果，其中，所述识别结果包括所述待检测图像中包含烟头的信心值以及吸烟手势的信心值；
行为检测模块，被配置为根据所述烟头的信心值以及吸烟手势的信心值，确定所述监控视频流中是否发生吸烟行为。
9.一种检测模型的训练装置，其特征在于，包括：
数据获取模块，被配置为获取训练样本并标注训练标签，其中，所述训练样本包括多个包含吸烟行为的吸烟图像，所述训练标签包括每个所述吸烟图像中烟头对应的包围盒和烟头类别、以及吸烟手势对应的包围盒和吸烟手势类别；
模型训练模块，被配置为对所述吸烟图像进行预处理，并将预处理后的所述吸烟图像输入至所述检测模型中进行训练，直至达到训练停止条件。
10.一种电子设备，其特征在于，包括存储器和处理器，其中：
所述存储器，用于保存计算机程序；
所述处理器，用于执行所述计算机程序，以实现如权利要求1至4任一项所述的吸烟行为的检测方法，或者实现如权利要求5至7任一项所述的检测模型的训练方法。
11.一种存储介质，存储有程序指令，其特征在于，所述程序指令在运行时，执行如权利要求1至4任一项所述的吸烟行为的检测方法，或者执行如权利要求5至7任一项所述的检测模型的训练方法。
CN202210259277.0A 2022-03-16 2022-03-16 检测模型的训练方法及装置、吸烟行为的检测方法及装置 Pending CN114613010A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210259277.0A CN114613010A (zh) 2022-03-16 2022-03-16 检测模型的训练方法及装置、吸烟行为的检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210259277.0A CN114613010A (zh) 2022-03-16 2022-03-16 检测模型的训练方法及装置、吸烟行为的检测方法及装置

Publications (1)

Publication Number Publication Date
CN114613010A true CN114613010A (zh) 2022-06-10

Family

ID=81862149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210259277.0A Pending CN114613010A (zh) 2022-03-16 2022-03-16 检测模型的训练方法及装置、吸烟行为的检测方法及装置

Country Status (1)

Country Link
CN (1) CN114613010A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115862144A (zh) * 2022-12-23 2023-03-28 杭州晨安科技股份有限公司 一种摄像机手势识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115862144A (zh) * 2022-12-23 2023-03-28 杭州晨安科技股份有限公司 一种摄像机手势识别方法
CN115862144B (zh) * 2022-12-23 2023-06-23 杭州晨安科技股份有限公司 一种摄像机手势识别方法

Similar Documents

Publication Publication Date Title
US11188783B2 (en) Reverse neural network for object re-identification
CN111754541B (zh) 目标跟踪方法、装置、设备及可读存储介质
CN113807276B (zh) 基于优化的YOLOv4模型的吸烟行为识别方法
CN111222500B (zh) 一种标签提取方法及装置
CN112580523A (zh) 行为识别方法、装置、设备及存储介质
CN113553979B (zh) 一种基于改进yolo v5的安全服检测方法和系统
WO2012004281A1 (en) Optimization of human activity determination from video
CN111753602A (zh) 动作识别方法和装置、电子设备、存储介质
US20200311962A1 (en) Deep learning based tattoo detection system with optimized data labeling for offline and real-time processing
CN111523421A (zh) 基于深度学习融合各种交互信息的多人行为检测方法及系统
CN111368634A (zh) 基于神经网络的人头检测方法、系统及存储介质
CN115713715A (zh) 一种基于深度学习的人体行为识别方法及识别系统
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法
CN114613010A (zh) 检测模型的训练方法及装置、吸烟行为的检测方法及装置
CN113673308B (zh) 对象识别方法、装置和电子系统
CN113095199B (zh) 一种高速行人识别方法及装置
CN113570615A (zh) 一种基于深度学习的图像处理方法、电子设备及存储介质
CN116189063B (zh) 一种用于智能视频监控的关键帧优化方法及装置
CN115797970B (zh) 基于YOLOv5模型的密集行人目标检测方法及系统
CN110956097A (zh) 遮挡人体提取方法及模块、场景转换方法及装置
Berkovskyi et al. CREATION OF INTELLIGENT SYSTEMS FOR ANALYZING SUPERMARKET VISITORS TO IDENTIFY CRIMINAL ELEMENTS
CN114693606B (zh) 一种基于行人区域合并的安全设备穿戴检测方法
CN117315768A (zh) 基于深度学习的抽烟检测方法、系统及装置
CN118262194A (zh) 基于连续手语识别模型的频域对抗样本攻击方法
CN115797980A (zh) 一种掌纹识别方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination