CN114757979A - 一种神经网络与红外图像匹配的厨房吸烟检测方法及系统 - Google Patents

一种神经网络与红外图像匹配的厨房吸烟检测方法及系统 Download PDF

Info

Publication number
CN114757979A
CN114757979A CN202210652952.6A CN202210652952A CN114757979A CN 114757979 A CN114757979 A CN 114757979A CN 202210652952 A CN202210652952 A CN 202210652952A CN 114757979 A CN114757979 A CN 114757979A
Authority
CN
China
Prior art keywords
infrared image
visible light
temperature
image
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210652952.6A
Other languages
English (en)
Other versions
CN114757979B (zh
Inventor
谢红刚
侯凯元
连洪伟
林浩威
祝树新
徐俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Technology
Original Assignee
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology filed Critical Hubei University of Technology
Priority to CN202210652952.6A priority Critical patent/CN114757979B/zh
Publication of CN114757979A publication Critical patent/CN114757979A/zh
Application granted granted Critical
Publication of CN114757979B publication Critical patent/CN114757979B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种神经网络与红外图像匹配的厨房吸烟检测方法及系统，该方法包括：S100：获取目标区域的红外图像和可见光图像；S200：在可见光图像中标注固定高温区域；S300：将红外图像和可见光图像进行位置配准；S400：从红外图像中提取未与固定高温区域重合的高温区域作为高温候选区域；S500：采用多任务卷积神经网络从可见光图像中检测头部区域，对头部区域变形得到香烟位置信息候选区域；S600：根据红外图像和可见光图像的位置配准关系，检测高温候选区域与香烟位置信息候选区域是否存在重叠，若存在重叠，则判断存在吸烟行为；否则判断不存在吸烟行为。本发明可显著提升厨房场景中吸烟检测的检测速度和检测准确度。

Description

一种神经网络与红外图像匹配的厨房吸烟检测方法及系统
技术领域
本发明属于计算机视觉技术领域，尤其涉及一种神经网络与红外图像匹配的厨房吸烟检测方法及系统。
背景技术
随着人工智能的发展，计算机视觉在吸烟行为检测上得到了广泛的应用。常见的检测方法包括根据香烟燃烧的烟雾特性的检测方法，以及基于姿势识别的检测方法。由于厨房环境复杂，厨房中有较多高温区域且人员流动性大，影响检测的因素较多，目前这些检测方法在厨房使用时具有一定的局限性，误检率高。
公开号为CN 113326754 A的中国专利申请《基于卷积神经网络的吸烟行为检测方法、系统及相关设备》，其所公开的吸烟行为检测方法为：获取吸烟行为检测数据，吸烟行为检测数据包括多帧待识别人脸或人头图像；对吸烟行为检测数据中的多帧待识别人脸或人头图像进行数据预处理，得到固定尺寸图像；将固定尺寸图像输入到预设的卷积神经网络模型中，得到吸烟行为检测数据中待识别人脸或人头信息的检测结果；将检测结果输入到预设的分类器中，得到吸烟行为判断结果。该吸烟行为检测方法即基于姿势识别的检测方法，并不适用环境复杂的厨房场景。
当厨房排气排烟情况良好时，厨房除燃气灶区域以及烟气产生区域有1000℃以上的高温外，其他区域温度均为20℃~40℃。在做饭时的呼吸区域的温度为23℃左右，而香烟燃烧时其中央部位（即烟点）温度高达800℃~900℃，其卷纸的燃烧边沿温度达200℃~300℃，与外界区域温差较大。考虑到香烟区域与外界区域存在较大温差，于是有人利用该特点来检测吸烟行为，技术思路为：获取红外图像，以及对红外图像检测烟点，当检测到烟点，则判定存在吸烟行为。但由于红外图像往往存在分辨率差、对比度低、信噪比低、视觉效果模糊等不足，仅基于红外图像的吸烟行为检测方法难以获得有效、稳定且准确的检测结果。
于是在公开号为CN 114202646 A的中国专利申请《一种基于深度学习的红外图像吸烟检测方法与系统》中提出，将红外图像与可见光图像结合，来进行吸烟检测。检测方法为：先获取红外图像和可见光图像，将红外图像和可见光图像融合，得到双光融合图像；再采用网络模型从双光融合图像中提取烟点特征，对存在烟点的图像则判定为有人吸烟。在该检测方法中，其利用可见光图像中的吸烟行为特征对红外图像进行补充，以提高检测的准确性。但由于厨房场景环境复杂，导致从可见光图像提取吸烟行为特征的准确性低，因此，该红外图像吸烟检测方法同样不适用厨房场景。
发明内容
本发明的目的提供一种神经网络与红外图像匹配的厨房吸烟检测方法及系统，该方法及系统适用厨房场景，在厨房场景下可显著降低误检率。
本发明提供的一种神经网络与红外图像匹配的厨房吸烟检测方法，包括：
S100：获取检测数据，包括目标区域的红外图像和可见光图像；
S200：在可见光图像中标注固定高温区域；
S300：将红外图像和可见光图像进行位置配准；
S400：从红外图像中提取未与固定高温区域重合的高温区域作为高温候选区域；
S500：采用多任务卷积神经网络从可见光图像中检测头部区域，对头部区域变形得到香烟位置信息候选区域；
S600：根据红外图像和可见光图像的位置配准关系，检测红外图像中的高温候选区域与可见光图像中的香烟位置信息候选区域是否存在重叠，若存在重叠，则判断存在吸烟行为；否则判断不存在吸烟行为。
在一些具体实施方式中，采集检测数据前，使采集红外图像的摄像头和采集可见光图像的摄像头处于同一平面上且光轴平行。
在一些具体实施方式中，步骤S200中，采用显著性目标检测法或人工标注对固定高温区域进行标注。
在一些具体实施方式中，步骤S300中，利用双线性插值法对红外图像和可见光图像进行位置配准。
在一些具体实施方式中，步骤S400具体包括：
对红外图像进行二值化分割；将固定高温区域的位置信息输入到二值化分割后的红外图像中，将红外图像中固定高温区域位置的灰色像素值置为0，获得不含固定高温区域的二值化红外图像；对不含固定高温区域的二值化红外图像进行膨胀，膨胀后的二值化红外图像中具灰度值的区域即高温候选区域。
在一些具体实施方式中，步骤S500进一步包括：
S510：对可见光图像分别进行多次等比缩放，输出等比缩放后的图像并构建图像金字塔；
S520：利用ProNet网络模型对图像金字塔先依次进行3×3卷积核的卷积、2×2池化处理，对2×2池化后的输出再进行两个3×3卷积核的卷积，初步检测可见光图像中存在的所有头部区域窗口并输出；
S530：利用RefineNet网络模型对ProNet网络模型输出的头部区域窗口先依次进行3×3卷积核的卷积、3×3池化处理，再依次进行一次3×3卷积核的卷积、3×3池化处理，对第二次3×3池化处理的输出再次进行2×2池化处理，经全连接层后输出优化后的头部区域窗口；
S540：利用Output Network网络模型对优化后的头部区域窗口先依次进行3×3卷积核的卷积、3×3池化处理，再依次进行一次3×3卷积核的卷积、3×3池化处理，对第二次3×3池化处理的输出再依次进行3×3卷积核的卷积、2×2池化处理，再依次经2×2卷积核的卷积、全连接层后输出头部区域；
S550：将头部区域的高度缩短为原始高度的1/2，仅保留头部区域的下半部分，之后将该头部区域分别向左右各拉长原始宽度的1/10，所得区域作为香烟位置信息候选区域。
在一些具体实施方式中，步骤S600进一步包括：
S610：获取香烟位置信息候选区域四顶点的位置信息，分别标记为
Figure 445355DEST_PATH_IMAGE001
。
S620：获取高温候选区域内像素点位置信息获得位置信息数据集；
S630：判断位置信息数据集中是否存在同时满足
Figure 527275DEST_PATH_IMAGE002
和
Figure 274389DEST_PATH_IMAGE003
的点
Figure 642834DEST_PATH_IMAGE004
；若存在，则判断存在重叠，存在吸烟行为；否则判断不存在重叠，不存在吸烟行为。
本发明提供的一种神经网络与红外图像匹配的厨房吸烟检测系统，包括：
第一模块，用来获取检测数据，包括目标区域的红外图像和可见光图像；
第二模块，用来在可见光图像中标注固定高温区域；
第三模块，用来将红外图像和可见光图像进行位置配准；
第四模块，用来从红外图像中提取未与固定高温区域重合的高温区域作为高温候选区域；
第五模块，用来采用多任务卷积神经网络从可见光图像中检测头部区域，对头部区域变形得到香烟位置信息候选区域；
第六模块，用来根据红外图像和可见光图像的位置配准关系，检测红外图像中的高温候选区域与可见光图像中的香烟位置信息候选区域是否存在重叠，若存在重叠，则判断存在吸烟行为；否则判断不存在吸烟行为。
本发明的特点和有益效果如下：
由于厨房场景的特殊性，厨房中的高温区域较多且人员流动大，传统吸烟检测方法在厨房场景中应用的检测准确性不高，因此提出了本发明，本发明更适用厨房场景的应用，可显著厨房场景中吸烟检测的检测速度和检测准确度。
附图说明
图1是本发明方法流程图；
图2是一种具体实施方式中多任务卷积神经网络检测头部区域的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下将结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的实施例仅仅用以解释本发明，并不用于限定本发明。
下面将提供结合图1提供本发明的具体实施方式，步骤如下：
S100：获取检测数据，包括目标区域的红外图像和可见光图像。
红外图像利用热成像监控摄像头拍摄获得，可见光图像通过可见光监控摄像头获得。在采集检测数据前，先对热成像监控摄像头和可见光监控摄像头进行微调，使热成像监控摄像头和可见光监控摄像头处于同一平面上且光轴平行，之后再采集厨房目标区域的红外图像和可见光图像，并上传到计算机。
S200：在可见光图像中标注固定高温区域。
由于厨房为固定场景，高温区域固定且热成像监控摄像头和可见光监控摄像头的位置也固定。故出于提高检测效率及检测准确性的目的，对可见光图像进行预处理，即在可见光图像中标注出灶台、烤箱等固定高温区域。具体可采用显著性目标检测法进行智能标注或采用人工标注。
S300：将红外图像和可见光图像进行位置配准。
由于红外图像和可见光图像的成像机制、成像分辨率不同且光学系统光轴不一致，需对红外图像与可见光图像的像素点进行配准。本具体实施方式中利用双线性插值法进行配准，得到与可见光图像长宽相同的红外图像，从而达到红外图像与可见光图像位置配准的目的。
本步骤的具体实施过程如下：
S310：计算红外图像中插值点与已知邻域像素点的映射关系。
本具体实施方式中所使用的初始红外图像与可见光图像长宽比相同，计算红外图像中插值点与四个邻域像素点坐标映射关系，即权值
Figure 424583DEST_PATH_IMAGE005
，权值的计算见式（1）所示：
Figure 232000DEST_PATH_IMAGE006
（1）
式（1）中，
Figure 200831DEST_PATH_IMAGE007
分别表示四个邻域像素点的权值，
Figure 402661DEST_PATH_IMAGE008
分别表示可见光图像的长和宽，
Figure 33057DEST_PATH_IMAGE009
分别表示红外图像的长和宽，int( )表示取整运算。
S320：采用权值
Figure 321694DEST_PATH_IMAGE007
进行插值，求出插值点的像素值。
利用式（1）所求权值对红外图像进行插值，插值公式见式（2）：
Figure 49259DEST_PATH_IMAGE010
（2）
式（2）中，
Figure 753648DEST_PATH_IMAGE011
表示插值点坐标，
Figure 259058DEST_PATH_IMAGE012
分别表示四个邻域像素点的像素值，
Figure 193297DEST_PATH_IMAGE013
表示插值点
Figure 933457DEST_PATH_IMAGE011
的插值像素值。
S330：重复子步骤S320，计算所有插值点的像素值，从而将红外图像变换到与可见光图像尺寸相同，即实现了红外图像和可见光图像的位置配准。
通过式（1）得到红外图像插值点与四个邻域像素点的映射关系，即权值
Figure 373361DEST_PATH_IMAGE005
；再利用式（2）对横坐标与纵坐标两个方向分别进行四次插值，计算出插值点的像素值
Figure 780946DEST_PATH_IMAGE013
，之后重复上述步骤，使得红外图像与可见光图像长宽值相同，即实现了红外图像与可见光图像中像素点的配准。
S400：从红外图像中提取未与固定高温区域重合的高温区域作为高温候选区域，高温候选区域内可能包括烟点。
本步骤的具体实施过程如下：
S410：增强红外图像的对比度，具体可通过直方图均衡化来增强对比度，所采用公式如下：
Figure 823769DEST_PATH_IMAGE014
（3）
式（3）中：
Figure 785647DEST_PATH_IMAGE015
表示对比度增强后的灰度值级别，
Figure 318258DEST_PATH_IMAGE016
表示红外图像中最高的灰度值级别，
Figure 783612DEST_PATH_IMAGE017
表示红外图像中像素总数，s表示灰度值级别，
Figure 59653DEST_PATH_IMAGE018
表示对比度增强前的灰度值级别，
Figure 243248DEST_PATH_IMAGE019
表示第s级灰度值的灰度像素总数。
S420：绘制二维灰度直方图曲线。
以对比度增强后灰度值级别S为横坐标，第S级的灰度像素总数
Figure 352849DEST_PATH_IMAGE019
为纵坐标，绘制增强对比度后红外图像的二维灰度直方图曲线
Figure 407131DEST_PATH_IMAGE020
。
S430：求取二维灰度直方图曲线梯度。
根据二维灰度直方图曲线
Figure 119653DEST_PATH_IMAGE020
、灰度值级别S以及第S级的灰度像素总数
Figure 56123DEST_PATH_IMAGE019
，计算二维灰度直方图曲线梯度
Figure 743036DEST_PATH_IMAGE021
，其计算公式见式（4）：
Figure 182982DEST_PATH_IMAGE022
（4）
式（4）中：
Figure 800826DEST_PATH_IMAGE023
表示
Figure 427855DEST_PATH_IMAGE020
对S的偏导数，
Figure 82521DEST_PATH_IMAGE024
表示
Figure 908133DEST_PATH_IMAGE020
对
Figure 726572DEST_PATH_IMAGE019
的偏导数。
S440：求取灰度梯度均值。
通过二维灰度直方图曲线梯度
Figure 58807DEST_PATH_IMAGE025
，计算二维灰度直方图曲线梯度均值
Figure 60042DEST_PATH_IMAGE026
：
Figure 943422DEST_PATH_IMAGE027
（5）
式（5）中z为灰度梯度值的顺序，P为存在灰度值级别的总数。
S450：生成二值化阈值面。
在二维灰度直方图曲线梯度中，将小于二维灰度直方图曲线梯度均值
Figure 360191DEST_PATH_IMAGE026
的二维灰度直方图曲线梯度删除，并对删除后二维灰度直方图曲线梯度重新排序，生成二值化阈值面。
S460：对二值化阈值面进行二值化分割。
将二值化阈值面的像素点组合生成全局阈值面，实现红外图像的二值化分割，即生成二值化分割后的红外图像。
S470：生成不含固定高温区域的二值化红外图像。
将固定高温区域位置信息输入到二值化分割后的红外图像中，将固定高温区域位置中的灰度像素值置为0，形成不含固定高温区域的二值化红外图像。
S480：二值化红外图像膨胀处理，生成高温候选区域。
由于合成后的二值化图像中高温区域都为小区域，因此需要对小区域中的像素点进行膨胀扩张，来生成高温候选区域。膨胀的计算公式见式（6）所示，之后将膨胀后二值化红外图中具有灰度值的区域作为高温候选区域输出。
Figure 961812DEST_PATH_IMAGE028
（6）
式（6）中，
Figure 829054DEST_PATH_IMAGE029
为输入的二值化图像；R为结构元素，本具体实施方式中使用结构元素由9个像素点以3×3的正方形排列形成；
Figure 98099DEST_PATH_IMAGE030
为输入图像内子区域，
Figure 443628DEST_PATH_IMAGE031
为结构元素内子区域。
S500：利用多任务卷积神经网络从可见光图像中检测并提取头部区域，头部区域可能包括烟点，将头部区域作为香烟位置信息候选区域。多任务卷积神经网络提前训练。
本步骤利用多任务卷积神经网络从可见光图像中检测并提取头部位置信息。本具体实施方式中通过三个卷积神经网络的级联进行基于深度学习的头部位置信息检测。
下面将结合图2的实际案列提供本步骤的具体实施过程：
S510：对可见光图像分别进行多次等比缩放直至短边长度小于12，将所有等比缩放后的图像输出构建图像金字塔。
S520：ProNet检测处理。
对图像金字塔进行三个3×3卷积核的卷积以及一次2×2池化处理，获得头部区域窗口与其回归向量，通过回归向量对头部区域窗口进行回归校准，初步判断可见光图像中存在的所有头部区域窗口，并且给出头部区域窗口的回归，因初步求得的头部区域窗口范围较大且容易产生误判的情况，因此还需后续网络的进行进一步的回归处理来减小判断失误的概率。
S530：RefineNet检测处理。
对S520求得的头部区域窗口进行两个3×3卷积核、一个2×2卷积核的卷积以及两次3×3池化处理、一次2×2池化处理，继续对输入的头部区域窗口进行回归处理，获得优化后的头部区域窗口。
S540：Output Network输出最终的网络模型。
对优化后的头部区域窗口进行三个3×3卷积核、一个2×2卷积核的卷积以及两个3×3的池化、一个2×2的池化处理，通过更多的卷积与池化操作实现对头部的更精细识别，生成最终检测到的更准确的头部区域。
S550：对头部区域进行变形，获得准确的香烟位置信息候选区域。
人脸平均宽度约为15cm，香烟的平均宽度为8cm。由于吸烟时烟头通常出现在人的嘴部及其附近区域，为提高香烟烟点的检测精度，本发明需要对步骤S540检测的头部区域进行变形，即：将头部区域的高度缩短为高度原始的1/2，仅保留头部区域的下半部分，之后将该头部区域向左右分别拉长原始宽度的1/10，作为香烟位置信息候选区域输出，香烟位置信息候选区域见图2中头部区域变形后图像中长方形框内区域。
S600：根据红外图像和可见光图像的位置配准关系，检测红外图像中的高温候选区域与可见光图像中的香烟位置信息候选区域是否存在重叠，若存在重叠，则判断存在吸烟行为；否则判断不存在吸烟行为。
由于香烟位置信息候选区域为矩形，而高温候选区域为不规则形状，为提高检测的准确性，本发明提供了一种检测存在重叠部分的更准确方法，具体实施过程如下：
S610：获取香烟位置信息候选区域四个顶点的位置信息，四个顶点的位置信息分别标记为
Figure 470228DEST_PATH_IMAGE032
。
S620：获取高温候选区域内像素点位置信息获得位置信息数据集；
S630：判断位置信息数据集中是否有点
Figure 344424DEST_PATH_IMAGE033
满足
Figure 202396DEST_PATH_IMAGE034
与
Figure 367493DEST_PATH_IMAGE035
，若是，则判定存在重叠，则存在吸烟行为；否则，则判断不存在重叠，不存在吸烟行为。
上述实施例所述是用以具体说明本发明，文中虽通过特定的术语进行说明，但不能以此限定本发明的保护范围，熟悉此技术领域的人士可在了解本发明的精神与原则后对其进行变更或修改而达到等效目的，而此等效变更和修改，皆应涵盖于权利要求范围所界定范畴内。

Claims (8)

1.一种神经网络与红外图像匹配的厨房吸烟检测方法，其特征是，包括：
S100：获取检测数据，包括目标区域的红外图像和可见光图像；
S200：在可见光图像中标注固定高温区域；
S300：将红外图像和可见光图像进行位置配准；
S400：从红外图像中提取未与固定高温区域重合的高温区域作为高温候选区域；
S500：采用多任务卷积神经网络从可见光图像中检测头部区域，对头部区域变形得到香烟位置信息候选区域；
S600：根据红外图像和可见光图像的位置配准关系，检测红外图像中的高温候选区域与可见光图像中的香烟位置信息候选区域是否存在重叠，若存在重叠，则判断存在吸烟行为；否则判断不存在吸烟行为。
2.如权利要求1所述的神经网络与红外图像匹配的厨房吸烟检测方法，其特征是：
采集检测数据前，使采集红外图像的摄像头和采集可见光图像的摄像头处于同一平面上且光轴平行。
3.如权利要求1所述的神经网络与红外图像匹配的厨房吸烟检测方法，其特征是：
步骤S200中，采用显著性目标检测法或人工标注对固定高温区域进行标注。
4.如权利要求1所述的神经网络与红外图像匹配的厨房吸烟检测方法，其特征是：
步骤S300中，利用双线性插值法对红外图像和可见光图像进行位置配准。
5.如权利要求1所述的神经网络与红外图像匹配的厨房吸烟检测方法，其特征是：
步骤S400具体包括：
对红外图像进行二值化分割；将固定高温区域的位置信息输入到二值化分割后的红外图像中，将红外图像中固定高温区域位置的灰色像素值置为0，获得不含固定高温区域的二值化红外图像；对不含固定高温区域的二值化红外图像进行膨胀，膨胀后的二值化红外图像中具灰度值的区域即高温候选区域。
6.如权利要求1所述的神经网络与红外图像匹配的厨房吸烟检测方法，其特征是：
步骤S500进一步包括：
S510：对可见光图像分别进行多次等比缩放，输出等比缩放后的图像并构建图像金字塔；
S520：利用ProNet网络模型对图像金字塔先依次进行3×3卷积核的卷积、2×2池化处理，对2×2池化后的输出再进行两个3×3卷积核的卷积，初步检测可见光图像中存在的所有头部区域窗口并输出；
S530：利用RefineNet网络模型对ProNet网络模型输出的头部区域窗口先依次进行3×3卷积核的卷积、3×3池化处理，再依次进行一次3×3卷积核的卷积、3×3池化处理，对第二次3×3池化处理的输出再次进行2×2池化处理，经全连接层后输出优化后的头部区域窗口；
S540：利用Output Network网络模型对优化后的头部区域窗口先依次进行3×3卷积核的卷积、3×3池化处理，再依次进行一次3×3卷积核的卷积、3×3池化处理，对第二次3×3池化处理的输出再依次进行3×3卷积核的卷积、2×2池化处理，再依次经2×2卷积核的卷积、全连接层后输出头部区域；
S550：将头部区域的高度缩短为原始高度的1/2，仅保留头部区域的下半部分，之后将该头部区域分别向左右各拉长原始宽度的1/10，所得区域作为香烟位置信息候选区域。
7.如权利要求1所述的神经网络与红外图像匹配的厨房吸烟检测方法，其特征是：
步骤S600进一步包括：
S610：获取香烟位置信息候选区域四顶点的位置信息，分别标记为
Figure 319546DEST_PATH_IMAGE001
；
S620：获取高温候选区域内像素点位置信息获得位置信息数据集；
S630：判断位置信息数据集中是否存在同时满足
Figure 813850DEST_PATH_IMAGE002
和
Figure 47384DEST_PATH_IMAGE003
的点
Figure 409970DEST_PATH_IMAGE004
；若存在，则判断存在重叠，存在吸烟行为；否则判断不存在重叠，不存在吸烟行为。
8.一种神经网络与红外图像匹配的厨房吸烟检测系统，其特征是，包括：
第一模块，用来获取检测数据，包括目标区域的红外图像和可见光图像；
第二模块，用来在可见光图像中标注固定高温区域；
第三模块，用来将红外图像和可见光图像进行位置配准；
第四模块，用来从红外图像中提取未与固定高温区域重合的高温区域作为高温候选区域；
第五模块，用来采用多任务卷积神经网络从可见光图像中检测头部区域，对头部区域变形得到香烟位置信息候选区域；
第六模块，用来根据红外图像和可见光图像的位置配准关系，检测红外图像中的高温候选区域与可见光图像中的香烟位置信息候选区域是否存在重叠，若存在重叠，则判断存在吸烟行为；否则判断不存在吸烟行为。
CN202210652952.6A 2022-06-10 2022-06-10 一种神经网络与红外图像匹配的厨房吸烟检测方法及系统 Active CN114757979B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210652952.6A CN114757979B (zh) 2022-06-10 2022-06-10 一种神经网络与红外图像匹配的厨房吸烟检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210652952.6A CN114757979B (zh) 2022-06-10 2022-06-10 一种神经网络与红外图像匹配的厨房吸烟检测方法及系统

Publications (2)

Publication Number Publication Date
CN114757979A true CN114757979A (zh) 2022-07-15
CN114757979B CN114757979B (zh) 2022-08-23

Family

ID=82337190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210652952.6A Active CN114757979B (zh) 2022-06-10 2022-06-10 一种神经网络与红外图像匹配的厨房吸烟检测方法及系统

Country Status (1)

Country Link
CN (1) CN114757979B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115619756A (zh) * 2022-10-31 2023-01-17 北京鹰之眼智能健康科技有限公司 一种人体红外图像的心脏区域识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009015519A (ja) * 2007-07-03 2009-01-22 Omron Corp 喫煙者検出装置、喫煙者警報システム、喫煙者監視サーバ、消し忘れタバコ警報装置、喫煙者検出方法、および、喫煙者検出プログラム
JP2009023400A (ja) * 2007-07-17 2009-02-05 Toyota Motor Corp 喫煙検出装置
WO2021000664A1 (zh) * 2019-07-03 2021-01-07 中国科学院自动化研究所 跨模态目标检测中的差异自动校准方法、系统、装置
CN112733950A (zh) * 2021-01-18 2021-04-30 湖北工业大学 一种基于图像融合与目标检测结合的电力设备故障诊断方法
CN113205075A (zh) * 2021-05-31 2021-08-03 浙江大华技术股份有限公司 一种检测吸烟行为的方法、装置及可读存储介质
CN114202646A (zh) * 2021-11-26 2022-03-18 深圳市朗驰欣创科技股份有限公司 一种基于深度学习的红外图像吸烟检测方法与系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009015519A (ja) * 2007-07-03 2009-01-22 Omron Corp 喫煙者検出装置、喫煙者警報システム、喫煙者監視サーバ、消し忘れタバコ警報装置、喫煙者検出方法、および、喫煙者検出プログラム
JP2009023400A (ja) * 2007-07-17 2009-02-05 Toyota Motor Corp 喫煙検出装置
WO2021000664A1 (zh) * 2019-07-03 2021-01-07 中国科学院自动化研究所 跨模态目标检测中的差异自动校准方法、系统、装置
CN112733950A (zh) * 2021-01-18 2021-04-30 湖北工业大学 一种基于图像融合与目标检测结合的电力设备故障诊断方法
CN113205075A (zh) * 2021-05-31 2021-08-03 浙江大华技术股份有限公司 一种检测吸烟行为的方法、装置及可读存储介质
CN114202646A (zh) * 2021-11-26 2022-03-18 深圳市朗驰欣创科技股份有限公司 一种基于深度学习的红外图像吸烟检测方法与系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MOMMA, E.1,ET AL.: "Detection of fog and smoke particles with discrete near infrared light", 《ELECTRONICS & COMMUNICATIONS IN JAPAN》 *
袁浩期 等: "基于红外热像的行人面部温度高精度检测技术", 《红外技术》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115619756A (zh) * 2022-10-31 2023-01-17 北京鹰之眼智能健康科技有限公司 一种人体红外图像的心脏区域识别方法

Also Published As

Publication number Publication date
CN114757979B (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
CN111209810B (zh) 向可见光与红外图像准确实时行人检测的边界框分割监督深度神经网络架构
JP7113657B2 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2018216629A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN108062525B (zh) 一种基于手部区域预测的深度学习手部检测方法
CN111199556B (zh) 基于摄像头的室内行人检测和跟踪方法
JP7272024B2 (ja) 物体追跡装置、監視システムおよび物体追跡方法
CN111144207B (zh) 一种基于多模态信息感知的人体检测和跟踪方法
CN110751154B (zh) 一种基于像素级分割的复杂环境多形状文本检测方法
US20220366570A1 (en) Object tracking device and object tracking method
CN111965636A (zh) 一种基于毫米波雷达和视觉融合的夜间目标检测方法
CN111739144A (zh) 一种基于深度特征光流的同时定位和建图的方法及装置
CN113608663B (zh) 一种基于深度学习和k-曲率法的指尖跟踪方法
CN114757979B (zh) 一种神经网络与红外图像匹配的厨房吸烟检测方法及系统
CN112084952B (zh) 一种基于自监督训练的视频点位跟踪方法
CN110751635A (zh) 一种基于帧间差分和hsv颜色空间的口腔检测方法
CN115639248A (zh) 一种用于建筑外墙质量检测的系统及方法
CN111985314A (zh) 一种基于ViBe与改进LBP的烟雾检测方法
CN112784712A (zh) 一种基于实时监控的失踪儿童预警实现方法、装置
CN111429485A (zh) 基于自适应正则化和高信度更新的跨模态滤波跟踪方法
TWI696958B (zh) 影像適應性特徵提取法及其應用
CN112749644B (zh) 一种基于改进可变形卷积的Faster RCNN火灾烟雾检测方法
CN112924037A (zh) 基于图像配准的红外体温检测系统及检测方法
CN117315547A (zh) 一种解决动态物体大占比的视觉slam方法
CN116758421A (zh) 一种基于弱监督学习的遥感图像有向目标检测方法
CN113379772B (zh) 基于背景消除及跟踪算法的复杂环境下的移动测温方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant