CN117475353A - 基于视频的异常烟雾识别方法及系统 - Google Patents
基于视频的异常烟雾识别方法及系统 Download PDFInfo
- Publication number
- CN117475353A CN117475353A CN202311486521.8A CN202311486521A CN117475353A CN 117475353 A CN117475353 A CN 117475353A CN 202311486521 A CN202311486521 A CN 202311486521A CN 117475353 A CN117475353 A CN 117475353A
- Authority
- CN
- China
- Prior art keywords
- smoke
- sequence
- receptive field
- inputting
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000779 smoke Substances 0.000 title claims abstract description 223
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 46
- 230000011218 segmentation Effects 0.000 claims abstract description 36
- 238000001914 filtration Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 9
- 230000006978 adaptation Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 230000002776 aggregation Effects 0.000 claims description 5
- 238000004220 aggregation Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 3
- 238000007637 random forest analysis Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 6
- 238000003709 image segmentation Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004138 cluster model Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于视频的异常烟雾识别方法及系统，其方法包括：S1：将烟雾视频按照预定时间间隔提取视频帧，得到图片序列；S2：将图片序列输入基于多感受野空间注意力的烟雾目标检测模型进行目标检测，检测出每一张图片中的烟雾区域；并根据置信度阈值进行过滤，得到烟雾目标小图；S3：将烟雾目标小图输入基于感受野自适应的烟雾语义分割模型进行语义分割，得到精准烟雾区域的烟雾区域序列；S4：将烟雾区域序列输入时序判定模型提取时序特征并进行分类，得到是否为烟雾的判断结果。本发明提供的方法将多种模型进行集成，从而提高了烟雾识别的准确性。
Description
技术领域
本发明涉及烟雾识别技术领域，具体涉及一种基于视频的异常烟雾识别方法及系统。
背景技术
烟雾识别技术在生态系统尤其是森林火灾和人类生产生活方面具有广泛应用。烟雾检测技术在预防早期火灾蔓延方面具有重要的作用,准确快速的烟雾检测算法具有非常重要的实际应用价值。近年来,随着机器视觉与图像处理技术的快速发展﹐面向视频图像的烟雾检测算法以其非接触性、强鲁棒性等特点受到广泛关注。面向视频图像的烟雾检测算法有效克服了传统烟雾探测器靠近火源才能工作的不足，但是由于场景的复杂性和环境因素的不确定性,面向视频图像的烟雾检测算法仍然面临着巨大的挑战。
现有的异常烟雾识别方法主要是采用如下两种方案来解决：
1.基于单张图像进行识别。识别模型主要有手工设计的特征以及深度学习模型。着重提升单张图的识别效果。
2.使用单一模型进行识别。比如单一的检测模型、分割模型。
上述两种方案使用场景有所不同，所带来的问题和不足也有所不同：
方案1系统架构简单，但只使用单张图进行检测，图片质量容易受环境影响，且丢失了时间维度的信息，因此无法获取烟雾的动态时序特征，进而导致将背景中的云、雾、水汽等视觉静态特征高度相似的物体误检为具有安全风险的异常烟雾，导致产生过多的误报和漏报，造成模型使用效果不理想。
方案2使用单一的模型进行识别，容易达到效果瓶颈，比如烟雾的形状往往是极度不规则的，单一的目标检测模型会因为烟雾周边大量的背景导致定位不准，同样的，单一的语义分割模型往往因为烟雾周边干扰信息较多导致分割区域偏差较大。
因此如何利用异常烟雾时间维度上的信息对动态时序特征建模，以及集成多模型突破单模型瓶颈，成为一个亟待解决的问题。
发明内容
为了解决上述技术问题，本发明提供一种基于视频的异常烟雾识别方法及系统。
本发明技术解决方案为：一种基于视频的异常烟雾识别方法，包括：
步骤S1：将烟雾视频按照预定时间间隔提取视频帧，得到图片序列；
步骤S2：将所述图片序列输入基于多感受野空间注意力的烟雾目标检测模型进行目标检测，检测出每一张图片中的烟雾区域；并根据置信度阈值进行过滤，得到烟雾目标小图；
步骤S3：将所述烟雾目标小图输入基于感受野自适应的烟雾语义分割模型进行语义分割，得到精准烟雾区域的烟雾区域序列；
步骤S4：将所述烟雾区域序列输入时序判定模型提取时序特征并进行分类，得到是否为烟雾的判断结果。
本发明与现有技术相比，具有以下优点：
本发明公开了一种基于视频的异常烟雾识别方法，通过对多种模型进行级联，有效提升了烟雾区域的定位精度和识别准确率。本发明设计的基于多感受野空间注意力的烟雾目标检测模型在现有YOLOv3目标检测模型的基础上进行了改进，为了提升烟雾的定位精度，在YOLOv3的每个预测分支最后一层卷积前引入基于多种感受野的空间注意力机制，与传统空间注意力不同，使用了多种尺度的卷积核、池化和上采样进行编解码获取多种感受野空间特征，进而获取每个位置与其他位置的相关性，提升空间注意力的表达能力，进而提高烟雾定位精度。然而，基于多感受野空间注意力的烟雾目标检测模型获取的是烟雾的矩形区域，含有大量的干扰背景，因此本发明设计了基于感受野自适应的烟雾语义分割模型在现有的基于语义分割模型DeepLabV3+的基础上进行改进，在编解码模块最后的卷积层引入了感受野自适应模块，自适应地提取周边重要的特征，实现对烟雾小图中的烟雾进行分割，获取烟雾的轮廓，过滤掉背景噪声，进而提升烟雾分割区域的精度。此外，本发明为了更好利用时序特征，使用基于DBSCAN聚类算法对多帧烟雾区域进行聚类，提取动态时序特征，并利用随机森林分类模型进行分类，提升异常烟雾识别精度。
附图说明
图1为本发明实施例中一种基于视频的异常烟雾识别方法的流程图；
图2为本发明实施例中为基于多感受野空间注意力的烟雾目标检测模型结构示意图；
图3为本发明实施例中使用基于多感受野空间注意力的烟雾目标检测模型获取的烟雾目标的示意图；
图4为本发明实施例中基于感受野自适应的烟雾语义分割模型的结构示意图；
图5为本发明实施例中使用基于感受野自适应的烟雾语义分割模型分割得到烟雾区域；
图6为本发明实施例中一种基于视频的异常烟雾识别系统的结构框图。
具体实施方式
本发明提供了一种基于视频的异常烟雾识别方法，将多种模型进行集成，从而提高了烟雾识别的准确性。
为了使本发明的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本发明进一步详细说明。
为了更好地理解本发明实施例，首先对下述术语进行解释：
1、图像分割(Image Segmentation)：指的是将数字图像细分为多个图像子区域(像素的集合)的过程。图像分割的目的是为了简化或改变图像的表示形式，使得图像更容易理解和分析。图像分割通常用于定位图像中的物体和边界(线，曲线等)。更精确的，图像分割是对图像中的每个像素加标签的一个过程，这一过程使得具有相同标签的像素具有某种共同视觉特性。图像分割的结果是得到图像中子区域的集合，或是从图像中提取的轮廓线的集合(例如边缘检测)。同一个子区域中的每个像素在某种特性的度量下或是由计算得出的特性都是相似的，例如颜色、亮度、纹理。邻接区域在某种特性的度量下有很大的不同。
2、目标检测：本发明的目标检测是通过给出图片序列检测出其中的特定目标。例如烟雾目标检测；对抽取出的图片序列，应用烟雾目标检测模型，检测出每一张图片中的烟雾，输出烟雾目标信息，包括矩形框坐标和置信度。设置置信度阈值，过滤高于阈值的作为检测结果，截取检测结果中的烟雾目标输出成小图。
实施例一
如图1所示，本发明实施例提供的一种基于视频的异常烟雾识别方法，包括下述步骤：
步骤S1：将烟雾视频按照预定时间间隔提取视频帧，得到图片序列；
步骤S2：将图片序列输入基于多感受野空间注意力的烟雾目标检测模型进行目标检测，检测出每一张图片中的烟雾区域；并根据置信度阈值进行过滤，得到烟雾目标小图；
步骤S3：将烟雾目标小图输入基于感受野自适应的烟雾语义分割模型进行语义分割，得到精准烟雾区域的烟雾区域序列；
步骤S4：将烟雾区域序列输入时序判定模型提取时序特征并进行分类，得到是否为烟雾的判断结果。
在一个实施例中，上述步骤S1：将烟雾视频按照预定时间间隔提取视频帧，得到图片序列，具体包括：
将获取的烟雾视频按照每秒1帧进行抽取，得到该烟雾视频的图片序列。该图片序列为待识别的烟雾图片。
在识别这些待识别的烟雾图片之前，本发明实施例首先需要构建训练样本集合，用于对烟雾目标检测模型和烟雾语义分割模型的训练。
本发明实施例为了扩充后续的烟雾目标检测模型和烟雾语义分割模型的训练数据，提升模型精度，基于生成对抗网络的对训练数据进行增强，具体步骤如下：
步骤1：收集公开数据集和真实场景中的真实烟雾图片，并进行标注，得到标注的真实烟雾图片；
步骤2：将图片中标注的烟雾区域用噪声进行遮挡，生成新的烟雾图片；
步骤3：将新的烟雾图片输入生成对抗网络，利用标注的真实烟雾图片作为训练生成对抗网络的标签，监督生成对抗网络学习到将遮挡区域生成烟雾的能力，最后得到训练好的生成对抗网络；
步骤4：在真实烟雾图片的其他区域随机利用噪声遮挡背景，并输入训练好的生成对抗网络，从而生成带有烟雾的图片，构建训练样本集合。
在一个实施例中，上述步骤S2：将图片序列输入基于多感受野空间注意力的烟雾目标检测模型进行目标检测，检测出每一张图片中的烟雾区域；并根据置信度阈值进行过滤，得到烟雾目标小图，具体包括：
步骤S21：构建基于多感受野空间注意力的烟雾目标检测模型，在YoloV3模型的空间注意力只使用1种尺度的卷积核的基础上进行改进，使用了1x1、3x3、5x5、7x7多种尺度的卷积核、池化和上采样操作来获取图片中每个位置对应的多种感受野特征，进而获取每个位置与其他位置的相关性，提升空间注意力的表达能力；
本发明实施例基于多感受野空间注意力对YOLOv3进行了改进。具体的，在YOLOv3的三个预测分支中使用多感受野空间注意力提升特征表达能力，提升模型最终的分类和定位能力。考虑到模型的实现效率，基于百度飞桨平台(PaddlePaddle)进行模型的实现与训练。
如图2所示，为本发明基于多感受野空间注意力的烟雾目标检测模型结构示意图，本发明通过在三个预测分支中增加SA模块，使用多感受野空间注意力以提升特征表达能力；
步骤S22：将图片序列输入基于多感受野空间注意力的烟雾目标检测模型，得到每一张图片中烟雾区域的矩形框坐标[x,y,h,w]和置信度，其中，x、y分别表示矩形框中心坐标，h、w分别表示矩形框的高和宽。
步骤S23：根据预设的置信度的阈值，截取高于阈值的烟雾区域作为烟雾目标小图。
如图3所示，为使用基于多感受野空间注意力的烟雾目标检测模型获取的烟雾目标。
在一个实施例中，上述步骤S3：将烟雾目标小图输入基于感受野自适应的烟雾语义分割模型进行语义分割，得到精准烟雾区域的烟雾区域序列，具体包括：
步骤S31：构建基于感受野自适应的烟雾语义分割模型，基于Deeplabv3+模型增加感受野自适应模块，感受野自适应模块包括3个可变形卷积，用于对固定尺度感受野的自适应调整；
本发明实施例的感受野自适应模块由3x3、5x5、7x7的可变形卷积组成，分别提取特征，并在通道维度进行合并，从而提升分割精度；如图4所示，为基于感受野自适应的烟雾语义分割模型的结构示意图；
步骤S32：将烟雾目标小图输入基于感受野自适应的烟雾语义分割模型，输出精准烟雾区域的烟雾区域序列；同时，采用交叉熵作为损失函数训练基于感受野自适应的烟雾语义分割模型；其中，交叉熵损失函数计算如下：
其中，L表示损失值，N表示参与训练的样本数，yi表示样本i的标识，正类为1，负类为0，pi表示样本i预测为正类的概率。
如图5所示，为使用基于感受野自适应的烟雾语义分割模型分割得到烟雾区域。
在一个实施例中，上述步骤S4：将烟雾区域序列输入时序判定模型提取时序特征并进行分类，得到是否为烟雾的判断结果，具体包括：
步骤S41：利用DBSCAN聚类模型，对烟雾区域序列进行聚类，得到若干烟雾簇；每个烟雾簇包括簇中心坐标、烟雾质心坐标序列和烟雾面积序列：
[center_x,center_y,[(x1,y1),(x2,y2),(x3,y3),…],[area1,area2,area3,…]]；
其中，center_x,center_y为簇中心坐标；(xi,yi)为第i个烟雾质心坐标，areai为第i个烟雾面积；
步骤S42：对每个上述烟雾簇，计算其质心聚集度和面积变化，以区分真实烟雾与误检的差异：
由于真实火灾产生的烟雾会随气流和风向的改变而左右摇摆，故其烟雾中心点也会不停的变动，同时，真实火灾产生的烟雾由于其外形的不稳定性和火势发展，会呈现面积的由小到大变化，而误检一般不会有明显的面积变化。因此，本发明通过计算质心聚集度和面积变换用于区分真实烟雾与灯光等误检的差异。
步骤S43：利用质心聚集度和面积变化作为动态时序特征，使用随机森林分类模型进行分类，判定是否为烟雾。
实施例二
如图6所示，本发明实施例提供了一种基于视频的异常烟雾识别系统，包括下述模块：
预处理模块51，用于将烟雾视频按照预定时间间隔提取视频帧，得到图片序列；
获取烟雾目标模块52，用于将图片序列输入基于多感受野空间注意力的烟雾目标检测模型进行目标检测，检测出每一张图片中的烟雾区域；并根据置信度阈值进行过滤，得到烟雾目标小图；
获取烟雾区域模块53，用于将烟雾目标小图输入基于感受野自适应的烟雾语义分割模型进行语义分割，得到精准烟雾区域的烟雾区域序列；
烟雾识别模块54，用于将烟雾区域序列输入时序判定模型提取时序特征并进行分类，得到是否为烟雾的判断结果。
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。
Claims (5)
1.一种基于视频的异常烟雾识别方法，其特征在于，包括：
步骤S1：将烟雾视频按照预定时间间隔提取视频帧，得到图片序列；
步骤S2：将所述图片序列输入基于多感受野空间注意力的烟雾目标检测模型进行目标检测，检测出每一张图片中的烟雾区域；并根据置信度阈值进行过滤，得到烟雾目标小图；
步骤S3：将所述烟雾目标小图输入基于感受野自适应的烟雾语义分割模型进行语义分割，得到精准烟雾区域的烟雾区域序列；
步骤S4：将所述烟雾区域序列输入时序判定模型提取时序特征并进行分类，得到是否为烟雾的判断结果。
2.根据权利要求1所述的基于视频的异常烟雾识别方法，其特征在于，所述步骤S2：将所述图片序列输入基于多感受野空间注意力的烟雾目标检测模型进行目标检测，检测出每一张图片中的烟雾区域；并根据置信度阈值进行过滤，得到烟雾目标小图，具体包括：
步骤S21：构建基于多感受野空间注意力的烟雾目标检测模型，在YoloV3模型的空间注意力只使用1种尺度的卷积核的基础上进行改进，增加了多种尺度的卷积核、池化和上采样操作来获取图片中每个位置对应的多种感受野特征，进而获取每个位置与其他位置的相关性，提升空间注意力的表达能力；
步骤S22：将所述图片序列输入所述基于多感受野空间注意力的烟雾目标检测模型，得到每一张图片中烟雾区域的矩形框坐标[x,y,h,w]和置信度，其中，x、y分别表示矩形框中心坐标，h、w分别表示矩形框的高和宽。
步骤S23：根据预设的置信度的阈值，截取高于所述阈值的烟雾区域作为所述烟雾目标小图。
3.根据权利要求2所述的基于视频的异常烟雾识别方法，其特征在于，所述步骤S3：将所述烟雾目标小图输入基于感受野自适应的烟雾语义分割模型进行语义分割，得到精准烟雾区域的烟雾区域序列，具体包括：
步骤S31：构建基于感受野自适应的烟雾语义分割模型，基于Deeplabv3+模型增加感受野自适应模块，所述感受野自适应模块包括3个可变形卷积，用于对固定尺度感受野的自适应调整；
步骤S32：将所述烟雾目标小图输入所述基于感受野自适应的烟雾语义分割模型，输出精准烟雾区域的烟雾区域序列；同时，采用交叉熵作为损失函数训练所述基于感受野自适应的烟雾语义分割模型；其中，所述交叉熵损失函数计算如下：
其中，L表示损失值，N表示参与训练的样本数，yi表示样本i的标识，正类为1，负类为0，pi表示样本i预测为正类的概率。
4.根据权利要求3所述的基于视频的异常烟雾识别方法，其特征在于，所述步骤S4：将所述烟雾区域序列输入时序判定模型提取时序特征并进行分类，得到是否为烟雾的判断结果，具体包括：
步骤S41：利用DBSCAN聚类模型，对所述烟雾区域序列进行聚类，得到若干烟雾簇；每个烟雾簇包括簇中心坐标、烟雾质心坐标序列和烟雾面积序列：
[center_x,center_y,[(x1,y1),(x2,y2),(x3,y3),…],[area1,area2,area3,…]]；
其中，center_x,center_y为簇中心坐标；(xi,yi)为第i个烟雾质心坐标，areai为第i个烟雾面积；
步骤S42：对每个上述烟雾簇，计算其质心聚集度和面积变化，以区分真实烟雾与误检的差异：
步骤S43：利用所述质心聚集度和所述面积变化作为动态时序特征，使用随机森林分类模型进行分类，判定是否为烟雾。
5.一种基于视频的异常烟雾识别系统，其特征在于，包括下述模块：
预处理模块，用于将烟雾视频按照预定时间间隔提取视频帧，得到图片序列；
获取烟雾目标模块，用于将所述图片序列输入基于多感受野空间注意力的烟雾目标检测模型进行目标检测，检测出每一张图片中的烟雾区域；并根据置信度阈值进行过滤，得到烟雾目标小图；
获取烟雾区域模块，用于将所述烟雾目标小图输入基于感受野自适应的烟雾语义分割模型进行语义分割，得到精准烟雾区域的烟雾区域序列；
烟雾识别模块，用于将所述烟雾区域序列输入时序判定模型提取时序特征并进行分类，得到是否为烟雾的判断结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311486521.8A CN117475353A (zh) | 2023-11-09 | 2023-11-09 | 基于视频的异常烟雾识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311486521.8A CN117475353A (zh) | 2023-11-09 | 2023-11-09 | 基于视频的异常烟雾识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117475353A true CN117475353A (zh) | 2024-01-30 |
Family
ID=89630967
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311486521.8A Pending CN117475353A (zh) | 2023-11-09 | 2023-11-09 | 基于视频的异常烟雾识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117475353A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117809010A (zh) * | 2024-02-27 | 2024-04-02 | 深圳市思维自动化科技有限公司 | 一种电子烟烟雾分析检测方法及系统 |
-
2023
- 2023-11-09 CN CN202311486521.8A patent/CN117475353A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117809010A (zh) * | 2024-02-27 | 2024-04-02 | 深圳市思维自动化科技有限公司 | 一种电子烟烟雾分析检测方法及系统 |
| CN117809010B (zh) * | 2024-02-27 | 2024-05-03 | 深圳市思维自动化科技有限公司 | 一种电子烟烟雾分析检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107016357B (zh) | 一种基于时间域卷积神经网络的视频行人检测方法 | |
| US20230289979A1 (en) | A method for video moving object detection based on relative statistical characteristics of image pixels | |
| CN103824070B (zh) | 一种基于计算机视觉的快速行人检测方法 | |
| US8340420B2 (en) | Method for recognizing objects in images | |
| JP4216668B2 (ja) | 映像視覚情報を結合してリアルタイムで複数の顔を検出して追跡する顔検出・追跡システム及びその方法 | |
| CN107123131B (zh) | 一种基于深度学习的运动目标检测方法 | |
| CN110929593B (zh) | 一种基于细节辨别区别的实时显著性行人检测方法 | |
| CN107273832B (zh) | 基于积分通道特征与卷积神经网络的车牌识别方法及系统 | |
| CN110728252B (zh) | 一种应用于区域人员运动轨迹监控的人脸检测方法 | |
| CN107833221A (zh) | 一种基于多通道特征融合和机器学习的漏水监测方法 | |
| CN109918971B (zh) | 监控视频中人数检测方法及装置 | |
| CN111814638B (zh) | 基于深度学习的安防场景火焰检测方法 | |
| CN114241548A (zh) | 一种基于改进YOLOv5的小目标检测算法 | |
| CN108960076B (zh) | 基于卷积神经网络的耳朵识别与跟踪方法 | |
| CN112232199A (zh) | 基于深度学习的佩戴口罩检测方法 | |
| Xiang et al. | Moving object detection and shadow removing under changing illumination condition | |
| CN111639610A (zh) | 一种基于深度学习的火情识别方法及系统 | |
| CN117475353A (zh) | 基于视频的异常烟雾识别方法及系统 | |
| CN104899559B (zh) | 一种基于视频监控的快速行人检测方法 | |
| KR101243294B1 (ko) | 이동 객체 추출 및 추적 방법 및 장치 | |
| CN114332781A (zh) | 一种基于深度学习的智能车牌识别方法及系统 | |
| Nosheen et al. | Efficient Vehicle Detection and Tracking using Blob Detection and Kernelized Filter | |
| Naseer et al. | Multimodal Objects Categorization by Fusing GMM and Multi-layer Perceptron | |
| CN110334703B (zh) | 一种昼夜图像中的船舶检测和识别方法 | |
| CN112989958A (zh) | 基于YOLOv4与显著性检测的安全帽佩戴识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |