CN114255477A - 一种吸烟行为检测的方法和相关装置 - Google Patents

一种吸烟行为检测的方法和相关装置 Download PDF

Info

Publication number
CN114255477A
CN114255477A CN202111493722.1A CN202111493722A CN114255477A CN 114255477 A CN114255477 A CN 114255477A CN 202111493722 A CN202111493722 A CN 202111493722A CN 114255477 A CN114255477 A CN 114255477A
Authority
CN
China
Prior art keywords
image
target
behavior
cigarette
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111493722.1A
Other languages
English (en)
Inventor
陶勇
梅志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iflytek Information Technology Co Ltd
Original Assignee
Iflytek Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iflytek Information Technology Co Ltd filed Critical Iflytek Information Technology Co Ltd
Priority to CN202111493722.1A priority Critical patent/CN114255477A/zh
Publication of CN114255477A publication Critical patent/CN114255477A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种吸烟行为检测的方法和相关装置，该方法包括：在摄像头获取目标图像后输入目标检测模型，得到目标图像中香烟的第一位置和目标人体部位的第二位置；判断得到第一位置和第二位置存在交集时，根据第一位置在目标图像中的相对位置调整摄像头，得到第一位置的细节图像；将细节图像再次输入目标检测模型检测到香烟时，利用行为分类模型检测细节图像中是否存在吸烟行为。基于此，该方式在图像中手部或脸部附近实际上是与香烟比较相似的其他物品时，降低误检测为吸烟行为的概率，从而提高吸烟行为检测的准确率。

Description

一种吸烟行为检测的方法和相关装置
技术领域
本申请涉及检测技术领域，尤其涉及一种吸烟行为检测的方法和相关装置。
背景技术
吸烟有危害，不仅仅危害人体健康，还会对社会产生不良的影响。目前很多国家都出台了禁烟法令，严格禁止公共场所吸烟，特别是在车站和机场等这些人流量较大的公共场所。基于此，吸烟行为检测在公共场所尤为重要。
相关技术中，上述吸烟行为检测一般是通过深度学习得到的检测模型，检测视频流抽帧解码后的目标图像中香烟、手部和脸部，判断检测的香烟的位置与手部的位置是否存在交集，或者判断检测的香烟的位置与脸部的位置是否存在交集，以此检测是否为吸烟行为。
然而，香烟本身是比较小的物品，在目标图像中所携带的特征信息较少，导致特征表达能力弱；因此，在图像中手部或脸部附近实际上是与香烟比较相似的其他物品时，很容易误检测为吸烟行为，从而导致吸烟行为检测的准确率降低。
发明内容
有鉴于此，本申请实施例提供一种吸烟行为检测的方法和相关装置，在图像中手部或脸部附近实际上是与香烟比较相似的其他物品时，降低误检测为吸烟行为的概率，从而提高吸烟行为检测的准确率。
第一方面，本申请实施例提供了一种吸烟行为检测的方法，所述方法包括：
在通过摄像头获取目标图像后，通过目标检测模型检测所述目标图像中香烟的第一位置和目标人体部位的第二位置；所述目标人体部位包括手部和/或脸部；
若所述第一位置和所述第二位置存在交集，根据所述第一位置在所述目标图像中的相对位置调整所述摄像头，获得所述第一位置的细节图像；
若通过目标检测模型在所述细节图像中检测到所述香烟，通过行为分类模型检测所述细节图像中是否存在吸烟行为。
可选的，所述根据所述第一位置在所述目标图像中的相对位置调整所述摄像头，获得所述第一位置的细节图像，包括：
根据所述相对位置，确定所述摄像头的偏移角度和所述第一位置的放大系数；
控制所述摄像头旋转所述偏移角度，并调整所述摄像头的焦距以满足所述放大系数，获得所述细节图像。
可选的，所述根据所述相对位置，确定所述摄像头的偏移角度和所述第一位置的放大系数，包括：
根据所述相对位置、所述目标图像的图像尺寸、所述摄像头的可视角度和所述摄像头的显示比例，确定所述偏移角度；
根据所述相对位置、所述图像尺寸和所述摄像头的缩放系数，确定所述放大系数。
可选的，所述方法还包括：
根据所述细节图像中所述香烟的第三位置进行图像剪裁，获得所述第三位置的剪裁图像；
所述通过行为分类模型检测所述细节图像中是否存在吸烟行为，包括：
通过所述行为分类模型检测所述剪裁图像中是否存在所述吸烟行为。
可选的，所述根据所述细节图像中所述香烟的第三位置进行图像剪裁，获得所述第三位置的剪裁图像，包括：
确定所述第三位置对应的剪裁尺寸；
根据所述剪裁尺寸进行图像剪裁，获得所述剪裁图像。
可选的，所述目标检测模型是基于标注所述香烟和所述目标人体部位的第一训练图像训练预设检测模型获得的；所述目标检测模型的获得步骤，包括：
获取所述第一训练图像中所述香烟的香烟标签、所述香烟的第一标注位置、所述目标人体部位的目标人体部位标签和所述目标人体部位的第二标注位置；
通过所述预设检测模型获得所述第一训练图像中所述香烟的第一预测标签、所述香烟的第一预测位置、所述目标人体部位的第二预测标签和所述目标人体部位的第二预测位置；
根据所述第一预测标签、所述第一预测位置、所述第二预测标签、所述第二预测位置、所述香烟标签、所述第一标注位置、所述目标人体部位标签、所述第二标注位置和所述预设检测模型的损失函数，调整所述预设检测模型的模型参数，获得所述目标检测模型。
可选的，所述行为分类模型是基于标注所述吸烟行为的第二训练图像和标注相似行为的第三训练图像训练预设分类模型获得的，所述相似行为与所述吸烟行为的相似度大于等于预设相似度；所述行为分类模型的获得步骤，包括：
获取所述第二训练图像的吸烟行为标签和第三训练图像的相似行为标签；
通过所述预设分类模型获得所述第二训练图像的第一预测行为标签和所述第三训练图像的第二预测行为标签；
根据所述第一预测行为标签、所述第二预测行为标签、所述吸烟行为标签、所述相似行为标签和所述预设分类模型的损失函数，调整所述预设分类模型的模型参数，获得所述行为分类模型。
第二方面，本申请实施例提供了一种吸烟行为检测的装置，所述装置包括：检测单元和获得单元；
所述检测单元，用于在摄像头获取目标图像后，通过目标检测模型检测所述目标图像中香烟的第一位置和目标人体部位的第二位置；所述目标人体部位包括手部和/或脸部；
所述获得单元，用于若所述第一位置和所述第二位置存在交集，根据所述第一位置在所述目标图像中的相对位置调整所述摄像头，获得所述第一位置的细节图像；
所述检测单元，还用于若通过目标检测模型在所述细节图像中检测到所述香烟，通过行为分类模型检测所述细节图像中是否存在吸烟行为。
可选的，所述获得单元包括第一确定子单元和第一获得子单元：
所述第一确定子单元，用于根据所述相对位置，确定所述摄像头的偏移角度和所述第一位置的放大系数；
所述第一获得子单元，用于控制所述摄像头旋转所述偏移角度，并调整所述摄像头的焦距以满足所述放大系数，获得所述细节图像。
可选的，所述确定子单元包括第一确定模块和第二确定模块：
所述第一确定模块，用于根据所述相对位置、所述目标图像的图像尺寸、所述摄像头的可视角度和所述摄像头的显示比例，确定所述偏移角度；
所述第二确定模块，用于根据所述相对位置、所述图像尺寸和所述摄像头的缩放系数，确定所述放大系数。
可选的，所述装置还包括剪裁单元：
所述剪裁单元，用于根据所述细节图像中所述香烟的第三位置进行图像剪裁，获得所述第三位置的剪裁图像；
所述检测单元，用于：
通过所述行为分类模型检测所述剪裁图像中是否存在所述吸烟行为。
可选的，所述剪裁单元包括第二确定子单元和第二获得子单元：
所述第二确定子单元，用于确定所述第三位置对应的剪裁尺寸；
所述第二获得子单元，用于根据所述剪裁尺寸进行图像剪裁，获得所述剪裁图像。
可选的，所述目标检测模型是基于标注所述香烟和所述目标人体部位的第一训练图像训练预设检测模型获得的；所述装置还包括目标检测模型获得单元，所述目标检测模型获得单元包括第一获取子单元、第三获得子单元和第一调整子单元：
所述第一获取子单元，用于通过所述预设检测模型获得所述第一训练图像中所述香烟的第一预测标签、所述香烟的第一预测位置、所述目标人体部位的第二预测标签和所述目标人体部位的第二预测位置；
所述第三获得子单元，用于根据所述第一预测标签、所述第一预测位置、所述第二预测标签、所述第二预测位置、所述香烟标签、所述第一标注位置、所述目标人体部位标签、所述第二标注位置和所述预设检测模型的损失函数，调整所述预设检测模型的模型参数，获得所述目标检测模型；
所述第一调整子单元，用于根据所述第一预测标签、所述第一预测位置、所述第二预测标签、所述第二预测位置、所述香烟标签、所述第一标注位置、所述目标人体部位标签、所述第二标注位置和所述预设检测模型的损失函数，调整所述预设检测模型的模型参数，获得所述目标检测模型。
可选的，所述行为分类模型是基于标注所述吸烟行为的第二训练图像和标注相似行为的第三训练图像训练预设分类模型获得的，所述相似行为与所述吸烟行为的相似度大于等于预设相似度；所述装置还包括行为分类模型获得单元，所述行为分类模型获得单元包括第二获取子单元、第四获得子单元和第二调整子单元：
所述第二获取子单元，用于获取所述第二训练图像的吸烟行为标签和第三训练图像的相似行为标签；
所述第四获得子单元，用于通过所述预设分类模型获得所述第二训练图像的第一预测行为标签和所述第三训练图像的第二预测行为标签；
所述第二调整子单元，用于根据所述第一预测行为标签、所述第二预测行为标签、所述吸烟行为标签、所述相似行为标签和所述预设分类模型的损失函数，调整所述预设分类模型的模型参数，获得所述行为分类模型。
第三方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行上述第一方面所述的吸烟行为检测的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述第一方面所述的吸烟行为检测的方法。
与现有技术相比，本申请至少具有以下优点：
采用本申请实施例的技术方案，在摄像头获取目标图像后输入目标检测模型，得到目标图像中香烟的第一位置和目标人体部位的第二位置；判断得到第一位置和第二位置存在交集时，根据第一位置在目标图像中的相对位置调整摄像头，得到第一位置的细节图像；将细节图像再次输入目标检测模型检测到香烟时，利用行为分类模型检测细节图像中是否存在吸烟行为。可见，目标检测模型检测到目标图像中香烟的第一位置后，通过调整摄像头放大第一位置得到对应的细节图像；在通过目标检测模型以细节图像中更细节的特征信息再次检测到香烟时，通过行为分类模型即可准确判断是否存在吸烟行为。基于此，该方式在图像中手部或脸部附近实际上是与香烟比较相似的其他物品时，降低误检测为吸烟行为的概率，从而提高吸烟行为检测的准确率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例中一种应用场景所涉及的系统框架示意图；
图2为本申请实施例提供的一种吸烟行为检测的方法的流程示意图；
图3为本申请实施例提供的一种确定摄像头的偏移角度的示意图；
图4为本申请实施例提供的第二训练图像的示意图；
图5为本申请实施例提供的一种细节图像至剪裁图像的示意图；
图6为本申请实施例提供的一种吸烟行为检测的装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
现阶段，在车站和机场等公共场所的吸烟行为检测采用智能视频检测技术。即，该吸烟行为检测是指通过深度学习得到的检测模型，检测视频流抽帧解码后的目标图像中香烟、手部和脸部，判断检测的香烟的位置与手部的位置是否存在交集，或者判断检测的香烟的位置与脸部的位置是否存在交集，以此检测是否为吸烟行为。
但是，发明人经过研究发现，香烟本身是比较小的物品，在目标图像中所携带的特征信息较少，导致特征表达能力弱。因此，在图像中手部或脸部附近实际上是与香烟比较相似的其他物品时，例如，图像中手部附近实际上是显示为长条状的手机，或者，脸部附近实际上是显示为长条状的衣物标识等等，该情况下很容易误检测为吸烟行为，从而导致吸烟行为检测的准确率降低。
为了解决这一问题，在本申请实施例中，在摄像头获取目标图像后输入目标检测模型，得到目标图像中香烟的第一位置和目标人体部位的第二位置；判断得到第一位置和第二位置存在交集时，根据第一位置在目标图像中的相对位置调整摄像头，得到第一位置的细节图像；将细节图像再次输入目标检测模型检测到香烟时，利用行为分类模型检测细节图像中是否存在吸烟行为。可见，目标检测模型检测到目标图像中香烟的第一位置后，通过调整摄像头放大第一位置得到对应的细节图像；在通过目标检测模型以细节图像中更细节的特征信息再次检测到香烟时，通过行为分类模型即可准确判断是否存在吸烟行为。基于此，该方式在图像中手部或脸部附近实际上是与香烟比较相似的其他物品时，降低误检测为吸烟行为的概率，从而提高吸烟行为检测的准确率。
举例来说，本申请实施例的场景之一，可以是应用到如图1所示的场景中。该场景包括摄像头101和服务器102，摄像头101由服务器102所控制。在摄像头101拍摄车站和机场等公共场所获取目标图像后，摄像头101将目标图像发送至服务器102，服务器102采用本申请实施例提供的实施方式实现吸烟行为检测。
首先，在上述应用场景中，虽然将本申请实施例提供的实施方式的动作描述由服务器102执行；但是，本申请实施例在执行主体方面不受限制，只要执行了本申请实施例提供的实施方式所公开的动作即可。
其次，上述场景仅是本申请实施例提供的一个场景示例，本申请实施例并不限于此场景。
下面结合附图，通过实施例来详细说明本申请实施例中吸烟行为检测的方法和相关装置的具体实现方式。
示例性方法
参见图2，示出了本申请实施例中一种吸烟行为检测的方法的流程示意图。在本实施例中，所述方法例如可以包括以下步骤：
步骤201：在通过摄像头获取目标图像后，通过目标检测模型检测所述目标图像中香烟的第一位置和目标人体部位的第二位置；所述目标人体部位包括手部和/或脸部。
本申请实施例中，基于车站和机场等公共场所的吸烟行为检测需求，公共场所安装的摄像头可以拍摄视频流，对视频流进行抽帧、解码可以获取目标图像。在获取到目标图像后，首先需要检测目标图像中是否存在香烟和目标人体部位；考虑到吸烟行为的特性是香烟拿在手里和/或含在嘴里，则目标人体部位例如可以包括手部和/或脸部。其中，摄像头并非是用于实现抓拍的摄像头，而是支持实时消息传输协议(Real Time MessagingProtocol，RTMP)、实时流传输协议(Real Time Streaming Protocol，RTSP)的摄像头。
其中，检测目标图像中是否存在香烟和目标人体部位，例如可以是在通过标注香烟和目标人体部位的第一训练图像训练预设检测模型得到目标检测模型的基础上，将目标图像输入目标检测模型，检测目标图像中香烟的位置作为第一位置，并检测目标图像中目标人体部位的位置作为第二位置，则目标检测模型输出香烟的第一位置和目标人体部位第二位置。
目标检测模型的得到过程实际上是指：首先，需要获取第一训练图像中香烟的标识、香烟的位置、目标人体部位的标识和目标人体部位的位置；即，第一训练图像中香烟的香烟标签、香烟的第一标注位置、目标人体部位的目标人体部位标签和目标人体部位的第二标注位置。然后，需要将第一训练图像输入预设检测模型，以预测得到第一训练图像中香烟的预测标签、香烟的预测位置、目标人体部位的预测标签和目标人体部位的预测位置；即，香烟的第一预测标签、香烟的第一预测位置、目标人体部位的第二预测标签和目标人体部位的第二预测位置。最后，利用预设检测模型的损失函数，结合上述标注的信息和预测得到的信息，多次迭代训练调整预设检测模型的模型参数，直至预设检测模型收敛或达到预设迭代次数则完成训练，将训练完成的预设检测模型作为目标检测模型。
因此，在本申请实施例一种可选的实施方式中，所述目标检测模型是基于标注所述香烟和所述目标人体部位的第一训练图像训练预设检测模型获得的；所述目标检测模型的获得步骤例如可以包括以下步骤A-步骤C：
步骤A：获取所述第一训练图像中所述香烟的香烟标签、所述香烟的第一标注位置、所述目标人体部位的目标人体部位标签和所述目标人体部位的第二标注位置。
其中，香烟的第一标注位置可以是包括香烟的第一包围框，目标人体部位的第二标注位置可以是包括目标人体部位的第二包围框。
步骤B：通过所述预设检测模型获得所述第一训练图像中所述香烟的第一预测标签、所述香烟的第一预测位置、所述目标人体部位的第二预测标签和所述目标人体部位的第二预测位置。
其中，预设检测模型例如可以包括Yolov3、Yolov4、Yolov5、SSD、Faster-RCNN和CenterNet中任意一种检测算法。
步骤C：根据所述第一预测标签、所述第一预测位置、所述第二预测标签、所述第二预测位置、所述香烟标签、所述第一标注位置、所述目标人体部位标签、所述第二标注位置和所述预设检测模型的损失函数，调整所述预设检测模型的模型参数，获得所述目标检测模型。
作为一种步骤201的示例，在通过摄像头获取目标图像后，对目标图像进行图像预处理输入目标检测模型，例如，对目标图像进行特定尺寸调整和颜色通道变换等输入目标检测模型，考虑到香烟本身是比较小的物品，该目标检测模型的输入图像的特定尺寸不应过小，例如可以为640×640；目标检测模型的输出包括香烟的第一位置为第一包围框和目标人体部位的第二位置为第二包围框。此外，若第一包围框置信度小于置信度阈值0.5，表示检测得到的香烟可信度低，可以直接舍弃；同理，若第二包围框的置信度小于置信度阈值0.5，表示检测得到的目标人体部位可信度低，也可以直接舍弃。另外，对于任意两个重叠的包围框需要采用非极大值抑制操作，去除同一目标的出现重叠的多余包围框。
步骤202：若所述第一位置和所述第二位置存在交集，根据所述第一位置在所述目标图像中的相对位置调整所述摄像头，获得所述第一位置的细节图像。
由于相关技术中，判断检测的香烟的第一位置与目标人体部位的第二位置是否存在交集，以此检测是否为吸烟行为，然而，香烟本身是比较小的物品，在目标图像中所携带的特征信息较少，导致特征表达能力弱；因此，在图像中手部或脸部附近实际上是与香烟比较相似的其他物品时，很容易误检测为吸烟行为，从而导致吸烟行为检测的准确率降低。
因此，本申请实施例中，在判断得到香烟的第一位置与目标人体部位的第二位置存在交集时，并不直接检测为吸烟行为；而是通过香烟的第一位置在目标图像中的相对位置调整摄像头，使得香烟的第一位置移动至摄像头拍摄图像的相对居中位置，并放大香烟的第一位置，从而得到香烟的第一位置的特写，即，香烟的第一位置的细节图像。
步骤202具体实现时，首先，通过香烟的第一位置在目标图像中的相对位置，不仅需要计算使得香烟的第一位置移动至摄像头拍摄图像的相对居中位置，摄像头所需的偏移角度，而且需要计算能够放大香烟的第一位置所需的放大系数。然后，通过控制摄像头旋转前述计算得到的偏移角度，并调整摄像头的焦距以满足前述计算得到的放大系数，即可得到香烟的第一位置的细节图像。因此，在本申请实施例一种可选的实施方式中，所述步骤202例如可以以下步骤2021-步骤2022：
步骤2021：根据所述相对位置，确定所述摄像头的偏移角度和所述第一位置的放大系数。
其中，计算摄像头的偏移角度实际上需要在香烟的第一位置在目标图像中的相对位置的基础上，结合目标图像的图像尺寸、摄像头的可视角度和摄像头的显示比例进行综合计算得到偏移角度。计算香烟的第一位置放大系数需要在香烟的第一位置在目标图像中的相对位置的基础上，结合目标图像的图像尺寸、摄像头的缩放系数进行综合计算得到放大系数。因此，在本申请实施例一种可选的实施方式中，所述步骤2021例如可以以下步骤D-步骤E：
步骤D：根据所述相对位置、所述目标图像的图像尺寸、所述摄像头的可视角度和所述摄像头的显示比例，确定所述偏移角度。
作为一种示例，如图3所示的一种确定摄像头的偏移角度的示意图。其中，香烟的第一位置在目标图像中的相对位置包括第一位置的中心点与目标图像的中心点x轴偏差像素a、第一位置的中心点与目标图像的中心点y轴偏差像素b，目标图像的图像尺寸包括长度像素c和宽度像素d，摄像头的可视角度为e，摄像头的显示比例为f，例如，摄像头显示模式为16:9时f记为9/16；则摄像头的偏移角度包括水平偏移角度a×e/c和垂直偏移角度(b×f)/(c×d)。
步骤E：根据所述相对位置、所述图像尺寸和所述摄像头的缩放系数，确定所述放大系数。
作为一种示例，香烟的第一位置在目标图像中的相对位置包括第一位置的中心点与目标图像的中心点x轴偏差像素a、第一位置的中心点与目标图像的中心点y轴偏差像素b，目标图像的图像尺寸包括长度像素c和宽度像素d，摄像头的缩放系数为z；则香烟的第一位置的放大系数为z×(c/a与d/b中较小数值)/k，其中，k例如可以为3，使得第一位置放大3倍大小，在c/a大于d/b时，表示放大后的第一位置在宽度上满足放大3倍大小，反之，表示放大后的第一位置在长度上满足放大3倍大小。
步骤2022：控制所述摄像头旋转所述偏移角度，并调整所述摄像头的焦距以满足所述放大系数，获得所述细节图像。
步骤203：若通过目标检测模型在所述细节图像中检测到所述香烟，通过行为分类模型检测所述细节图像中是否存在吸烟行为。
本申请实施例中，由步骤203获得香烟的第一位置的细节图像后，需要考虑细节图像中更细节的系行为特征信息，检测细节图像中是否存在香烟，例如可以将细节图像输入目标检测模型；若再次检测到香烟，则需要进一步检测细节图像中是否存在吸烟行为。当然，若在细节图像中检测不到香烟，可能是在目标图像中检测到的香烟是误检，也可能是目标图像中检测到香烟发生移动，已经不在调整摄像头后的拍摄区域内。
其中，检测细节图像中是否存在吸烟行为，例如可以是在通过标注吸烟行为的第二训练图像、以及标注与吸烟行为较为相似的相似行为的第三训练图像，训练预设分类模型得到行为分类模型的基础上，将细节图像输入行为分类模型以检测细是否存在吸烟行为。此外，通过行为分类模型检测到细节图像中存在吸烟行为，需要存储该细节图像并进行吸烟行为预警。
行为分类模型的得到过程实际上是指：首先，需要获取第二训练图像的吸烟行为标签和第三训练图像的相似行为标签，吸烟行为标签用于标识第二训练图像中的吸烟行为，相似行为标签用于标识第三训练图像中的与吸烟行为相似度大于等于预设相似度的相似行为。然后，需要将第二训练图像和第三训练图像输入预设分类模型，以预测得到第二训练图像的行为标签和第三训练图像的行为标签，即，第二训练图像的第一预测行为标签和第三训练图像的第二预测行为标签。最后，利用预设分类模型的损失函数，结合上述吸烟行为标签、相似行为标签和预测得到的信息，多次迭代训练调整预设分类模型的模型参数，直至预设分类模型收敛或达到预设迭代次数则完成训练，将训练完成的预设分类模型作为行为分类模型。
因此，在本申请实施例一种可选的实施方式中，所述行为分类模型是基于标注所述吸烟行为的第二训练图像和标注相似行为的第三训练图像训练预设分类模型获得的，所述相似行为与所述吸烟行为的相似度大于等于预设相似度；所述行为分类模型的获得步骤例如可以包括以下步骤F-步骤H：
步骤F：获取所述第二训练图像的吸烟行为标签和第三训练图像的相似行为标签。
其中，第二训练图像例如可以包括手里拿着香烟的图像和嘴里含着香烟的图像，如图4所示的第二训练图像的示意图；第三训练图像例如可以包括手里拿着长条状手机的图像、手里拿着长条状口红的图像和嘴里含着长条状零食的图像等等。
步骤G：通过所述预设分类模型获得所述第二训练图像的第一预测行为标签和所述第三训练图像的第二预测行为标签。
其中，预设分类模型例如可以是包括残差网络ResNet50。
步骤H：根据所述第一预测行为标签、所述第二预测行为标签、所述吸烟行为标签、所述相似行为标签和所述预设分类模型的损失函数，调整所述预设分类模型的模型参数，获得所述行为分类模型。
此外，本申请实施例中，还可以通过细节图像中香烟的第三位置，对细节图像中香烟所在区域进行图像剪裁，得到第三位置的剪裁图像，该剪裁图像相较于细节图像具有更多的行为特征信息；则步骤203中进一步检测细节图像中是否存在吸烟行为，可以是进一步检测剪裁图像中是否存在吸烟行为。因此，在本申请实施例一种可选的实施方式中，所述方法例如还可以包括步骤I：根据所述细节图像中所述香烟的第三位置进行图像剪裁，获得所述第三位置的剪裁图像；对应地，所述步骤203例如可以包括：通过所述行为分类模型检测所述剪裁图像中是否存在所述吸烟行为。
步骤I具体实施时，首先，以细节图像中香烟的第三位置为基础，设定第三位置对应的剪裁尺寸；然后，以前述设定的剪裁尺寸为标准进行图像剪裁从而得到剪裁图像。因此，在本申请实施例一种可选的实施方式中，所述步骤I例如可以以下步骤I1-步骤I2：
步骤I1：确定所述第三位置对应的剪裁尺寸。
步骤I2：根据所述剪裁尺寸进行图像剪裁，获得所述剪裁图像。
作为一种示例，如图5所示的一种细节图像至剪裁图像的示意图。其中，细节图像中香烟的第三位置例如可以是第三包围框，第三位置对应的剪裁尺寸例如可以是第三包围框以中心点为基准长宽各增加一倍，以该剪裁尺寸进行图像剪裁得到剪裁图像。
此外，本申请实施例中，在执行步骤201-步骤202之后，还需要重置摄像头以去除步骤202中对摄像头的调整。
通过本实施例提供的各种实施方式，在摄像头获取目标图像后输入目标检测模型，得到目标图像中香烟的第一位置和目标人体部位的第二位置；判断得到第一位置和第二位置存在交集时，根据第一位置在目标图像中的相对位置调整摄像头，得到第一位置的细节图像；将细节图像再次输入目标检测模型检测到香烟时，利用行为分类模型检测细节图像中是否存在吸烟行为。可见，目标检测模型检测到目标图像中香烟的第一位置后，通过调整摄像头放大第一位置得到对应的细节图像；在通过目标检测模型以细节图像中更细节的特征信息再次检测到香烟时，通过行为分类模型即可准确判断是否存在吸烟行为。基于此，该方式在图像中手部或脸部附近实际上是与香烟比较相似的其他物品时，降低误检测为吸烟行为的概率，从而提高吸烟行为检测的准确率。
示例性装置
参见图6，示出了本申请实施例中一种吸烟行为检测的装置的结构示意图。在本实施例中，所述装置例如具体可以包括：检测单元和获得单元；
所述检测单元601，用于在摄像头获取目标图像后，通过目标检测模型检测所述目标图像中香烟的第一位置和目标人体部位的第二位置；所述目标人体部位包括手部和/或脸部；
所述获得单元602，用于若所述第一位置和所述第二位置存在交集，根据所述第一位置在所述目标图像中的相对位置调整所述摄像头，获得所述第一位置的细节图像；
所述检测单元601，还用于若通过目标检测模型在所述细节图像中检测到所述香烟，通过行为分类模型检测所述细节图像中是否存在吸烟行为。
在本申请实施例一种可选的实施方式中，所述获得单元602包括第一确定子单元和第一获得子单元：
所述第一确定子单元，用于根据所述相对位置，确定所述摄像头的偏移角度和所述第一位置的放大系数；
所述第一获得子单元，用于控制所述摄像头旋转所述偏移角度，并调整所述摄像头的焦距以满足所述放大系数，获得所述细节图像。
在本申请实施例一种可选的实施方式中，所述确定子单元包括第一确定模块和第二确定模块：
所述第一确定模块，用于根据所述相对位置、所述目标图像的图像尺寸、所述摄像头的可视角度和所述摄像头的显示比例，确定所述偏移角度；
所述第二确定模块，用于根据所述相对位置、所述图像尺寸和所述摄像头的缩放系数，确定所述放大系数。
在本申请实施例一种可选的实施方式中，所述装置还包括剪裁单元：
所述剪裁单元，用于根据所述细节图像中所述香烟的第三位置进行图像剪裁，获得所述第三位置的剪裁图像；
所述检测单元601，用于：
通过所述行为分类模型检测所述剪裁图像中是否存在所述吸烟行为。
在本申请实施例一种可选的实施方式中，所述剪裁单元包括第二确定子单元和第二获得子单元：
所述第二确定子单元，用于确定所述第三位置对应的剪裁尺寸；
所述第二获得子单元，用于根据所述剪裁尺寸进行图像剪裁，获得所述剪裁图像。
在本申请实施例一种可选的实施方式中，所述目标检测模型是基于标注所述香烟和所述目标人体部位的第一训练图像训练预设检测模型获得的；所述装置还包括目标检测模型获得单元，所述目标检测模型获得单元包括第一获取子单元、第三获得子单元和第一调整子单元：
所述第一获取子单元，用于通过所述预设检测模型获得所述第一训练图像中所述香烟的第一预测标签、所述香烟的第一预测位置、所述目标人体部位的第二预测标签和所述目标人体部位的第二预测位置；
所述第三获得子单元，用于根据所述第一预测标签、所述第一预测位置、所述第二预测标签、所述第二预测位置、所述香烟标签、所述第一标注位置、所述目标人体部位标签、所述第二标注位置和所述预设检测模型的损失函数，调整所述预设检测模型的模型参数，获得所述目标检测模型；
所述第一调整子单元，用于根据所述第一预测标签、所述第一预测位置、所述第二预测标签、所述第二预测位置、所述香烟标签、所述第一标注位置、所述目标人体部位标签、所述第二标注位置和所述预设检测模型的损失函数，调整所述预设检测模型的模型参数，获得所述目标检测模型。
在本申请实施例一种可选的实施方式中，所述行为分类模型是基于标注所述吸烟行为的第二训练图像和标注相似行为的第三训练图像训练预设分类模型获得的，所述相似行为与所述吸烟行为的相似度大于等于预设相似度；所述装置还包括行为分类模型获得单元，所述行为分类模型获得单元包括第二获取子单元、第四获得子单元和第二调整子单元：
所述第二获取子单元，用于获取所述第二训练图像的吸烟行为标签和第三训练图像的相似行为标签；
所述第四获得子单元，用于通过所述预设分类模型获得所述第二训练图像的第一预测行为标签和所述第三训练图像的第二预测行为标签；
所述第二调整子单元，用于根据所述第一预测行为标签、所述第二预测行为标签、所述吸烟行为标签、所述相似行为标签和所述预设分类模型的损失函数，调整所述预设分类模型的模型参数，获得所述行为分类模型。
通过本实施例提供的各种实施方式，吸烟行为检测的装置包括检测单元和获得单元，检测单元用于在摄像头获取目标图像后输入目标检测模型，得到目标图像中香烟的第一位置和目标人体部位的第二位置；获得单元用于判断得到第一位置和第二位置存在交集时，根据第一位置在目标图像中的相对位置调整摄像头，得到第一位置的细节图像；检测单元还用于将细节图像再次输入目标检测模型检测到香烟时，利用行为分类模型检测细节图像中是否存在吸烟行为。可见，目标检测模型检测到目标图像中香烟的第一位置后，通过调整摄像头放大第一位置得到对应的细节图像；在通过目标检测模型以细节图像中更细节的特征信息再次检测到香烟时，通过行为分类模型即可准确判断是否存在吸烟行为。基于此，该方式在图像中手部或脸部附近实际上是与香烟比较相似的其他物品时，降低误检测为吸烟行为的概率，从而提高吸烟行为检测的准确率。
此外，本申请实施例还提供了一种计算机设备，所述计算机设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行上述方法实施例所述的吸烟行为检测的方法。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述方法实施例所述的吸烟行为检测的方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述，仅是本申请的较佳实施例而已，并非对本申请作任何形式上的限制。虽然本申请已以较佳实施例揭露如上，然而并非用以限定本申请。任何熟悉本领域的技术人员，在不脱离本申请技术方案范围情况下，都可利用上述揭示的方法和技术内容对本申请技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本申请技术方案的内容，依据本申请的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本申请技术方案保护的范围内。

Claims (10)

1.一种吸烟行为检测的方法，其特征在于，包括：
在通过摄像头获取目标图像后，通过目标检测模型检测所述目标图像中香烟的第一位置和目标人体部位的第二位置；所述目标人体部位包括手部和/或脸部；
若所述第一位置和所述第二位置存在交集，根据所述第一位置在所述目标图像中的相对位置调整所述摄像头，获得所述第一位置的细节图像；
若通过目标检测模型在所述细节图像中检测到所述香烟，通过行为分类模型检测所述细节图像中是否存在吸烟行为。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一位置在所述目标图像中的相对位置调整所述摄像头，获得所述第一位置的细节图像，包括：
根据所述相对位置，确定所述摄像头的偏移角度和所述第一位置的放大系数；
控制所述摄像头旋转所述偏移角度，并调整所述摄像头的焦距以满足所述放大系数，获得所述细节图像。
3.根据权利要求2所述的方法，其特征在于，所述根据所述相对位置，确定所述摄像头的偏移角度和所述第一位置的放大系数，包括：
根据所述相对位置、所述目标图像的图像尺寸、所述摄像头的可视角度和所述摄像头的显示比例，确定所述偏移角度；
根据所述相对位置、所述图像尺寸和所述摄像头的缩放系数，确定所述放大系数。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述细节图像中所述香烟的第三位置进行图像剪裁，获得所述第三位置的剪裁图像；
所述通过行为分类模型检测所述细节图像中是否存在吸烟行为，包括：
通过所述行为分类模型检测所述剪裁图像中是否存在所述吸烟行为。
5.根据权利要求4所述的方法，其特征在于，所述根据所述细节图像中所述香烟的第三位置进行图像剪裁，获得所述第三位置的剪裁图像，包括：
确定所述第三位置对应的剪裁尺寸；
根据所述剪裁尺寸进行图像剪裁，获得所述剪裁图像。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述目标检测模型是基于标注所述香烟和所述目标人体部位的第一训练图像训练预设检测模型获得的；所述目标检测模型的获得步骤，包括：
获取所述第一训练图像中所述香烟的香烟标签、所述香烟的第一标注位置、所述目标人体部位的目标人体部位标签和所述目标人体部位的第二标注位置；
通过所述预设检测模型获得所述第一训练图像中所述香烟的第一预测标签、所述香烟的第一预测位置、所述目标人体部位的第二预测标签和所述目标人体部位的第二预测位置；
根据所述第一预测标签、所述第一预测位置、所述第二预测标签、所述第二预测位置、所述香烟标签、所述第一标注位置、所述目标人体部位标签、所述第二标注位置和所述预设检测模型的损失函数，调整所述预设检测模型的模型参数，获得所述目标检测模型。
7.根据权利要求1-5任一项所述的方法，其特征在于，所述行为分类模型是基于标注所述吸烟行为的第二训练图像和标注相似行为的第三训练图像训练预设分类模型获得的，所述相似行为与所述吸烟行为的相似度大于等于预设相似度；所述行为分类模型的获得步骤，包括：
获取所述第二训练图像的吸烟行为标签和第三训练图像的相似行为标签；
通过所述预设分类模型获得所述第二训练图像的第一预测行为标签和所述第三训练图像的第二预测行为标签；
根据所述第一预测行为标签、所述第二预测行为标签、所述吸烟行为标签、所述相似行为标签和所述预设分类模型的损失函数，调整所述预设分类模型的模型参数，获得所述行为分类模型。
8.一种吸烟行为检测的装置，其特征在于，包括：检测单元和获得单元；
所述检测单元，用于在摄像头获取目标图像后，通过目标检测模型检测所述目标图像中香烟的第一位置和目标人体部位的第二位置；所述目标人体部位包括手部和/或脸部；
所述获得单元，用于若所述第一位置和所述第二位置存在交集，根据所述第一位置在所述目标图像中的相对位置调整所述摄像头，获得所述第一位置的细节图像；
所述检测单元，还用于若通过目标检测模型在所述细节图像中检测到所述香烟，通过行为分类模型检测所述细节图像中是否存在吸烟行为。
9.一种计算机设备，其特征在于，所述计算机设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-7任一项所述的吸烟行为检测的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-7任一项所述的吸烟行为检测的方法。
CN202111493722.1A 2021-12-08 2021-12-08 一种吸烟行为检测的方法和相关装置 Pending CN114255477A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111493722.1A CN114255477A (zh) 2021-12-08 2021-12-08 一种吸烟行为检测的方法和相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111493722.1A CN114255477A (zh) 2021-12-08 2021-12-08 一种吸烟行为检测的方法和相关装置

Publications (1)

Publication Number Publication Date
CN114255477A true CN114255477A (zh) 2022-03-29

Family

ID=80794303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111493722.1A Pending CN114255477A (zh) 2021-12-08 2021-12-08 一种吸烟行为检测的方法和相关装置

Country Status (1)

Country Link
CN (1) CN114255477A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115361504A (zh) * 2022-10-24 2022-11-18 中国铁塔股份有限公司 一种监控视频处理方法、装置及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115361504A (zh) * 2022-10-24 2022-11-18 中国铁塔股份有限公司 一种监控视频处理方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN109376667B (zh) 目标检测方法、装置及电子设备
US10489660B2 (en) Video processing with object identification
CN109299703B (zh) 对鼠情进行统计的方法、装置以及图像采集设备
US20200228720A1 (en) Target Object Capturing Method and Device, and Video Monitoring Device
CN109766779B (zh) 徘徊人员识别方法及相关产品
CN112733690B (zh) 一种高空抛物检测方法、装置及电子设备
CN109740444B (zh) 人流量信息展示方法及相关产品
KR101530255B1 (ko) 객체 자동 추적 장치가 구비된 cctv 시스템
GB2528547A (en) Detecting camera conditions
CN110889334A (zh) 人员闯入识别方法及装置
CN112001375B (zh) 一种火焰检测方法、装置、电子设备及存储介质
CN110569770A (zh) 人体入侵行为识别方法、装置、存储介质及电子设备
CN112153269B (zh) 应用于电子设备的图片显示方法、装置、介质与电子设备
CN114140745A (zh) 施工现场人员属性检测方法、系统、装置及介质
CN115760912A (zh) 运动目标跟踪方法、装置、设备及计算机可读存储介质
KR101840042B1 (ko) 복합 가상 팬스 라인 설정 방법 및 이를 이용한 침입 감지 시스템
CN114255477A (zh) 一种吸烟行为检测的方法和相关装置
JP6991045B2 (ja) 画像処理装置、画像処理装置の制御方法
CN107845105A (zh) 一种基于全景枪球联动的监控方法、智能设备及存储介质
CN111986229A (zh) 视频目标检测方法、装置及计算机系统
JP6325643B2 (ja) モニタリングシステムにおける信頼性を高めるための方法
KR101945487B1 (ko) 동영상에 포함된 객체를 인식하기 위한 장치 및 방법
JP5465594B2 (ja) 対象物検出サイズ算出システムおよび対象物検出サイズ算出プログラム
CN112702571B (zh) 一种监控方法及装置
JP6784254B2 (ja) 滞留物体検出システム、滞留物体検出方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination