CN110059613A - 一种基于稀疏表示的视频图像烟火分离与检测方法 - Google Patents

一种基于稀疏表示的视频图像烟火分离与检测方法 Download PDF

Info

Publication number
CN110059613A
CN110059613A CN201910302738.6A CN201910302738A CN110059613A CN 110059613 A CN110059613 A CN 110059613A CN 201910302738 A CN201910302738 A CN 201910302738A CN 110059613 A CN110059613 A CN 110059613A
Authority
CN
China
Prior art keywords
pyrotechnics
image
cigarette
background
rarefaction representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910302738.6A
Other languages
English (en)
Other versions
CN110059613B (zh
Inventor
路小波
伍学惠
曹毅超
秦鲁星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201910302738.6A priority Critical patent/CN110059613B/zh
Publication of CN110059613A publication Critical patent/CN110059613A/zh
Application granted granted Critical
Publication of CN110059613B publication Critical patent/CN110059613B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/513—Sparse representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于稀疏表示的视频图像烟火分离与检测方法，能够将早期烟从背景中分离出来并进行识别。该方法包括：学习烟雾完备字典Ds以及非烟完备字典Db；建立有背景的烟火和非烟数据集xs和xb；建立烟火背景分离模型；通过稀疏表示得到前景的烟火成分和非烟成分同时计算得到混合系数ω；训练SVM分类器；部署烟火检测模型；根据分块识别与分类结果，得到待检测区域烟火检测结果。本发明将纯净烟火与背景分离，避免了背景信息对烟火特征的干扰，从而提高了烟火识别与检测的准确率。

Description

一种基于稀疏表示的视频图像烟火分离与检测方法
技术领域
本发明属于视频图像处理领域，涉及一种基于稀疏表示的视频图像烟火分离与检测方法。
背景技术
森林火灾破坏生态环境、伤害林内动物和人群、造成巨大的经济损失，因此森林火灾的探测一直是当下研究的热点。为了尽早发现火情，及时扑灭森林火灾，减小人员伤亡和经济损失常对火灾初起的烟火进行探测，传统的烟火检测利用各类传感器对烟雾颗粒进行检测，但此类系统或易发生漏检、或传感器维护成本高，且传感器的安装要求严苛，火灾现场数据不能直观传送至监控室，无法在特殊情况下人为介入判断火灾情况。基于机器视觉的火灾探测方法适用于任何室内外场景，并能实时提供烟火位置，范围浓度等重要信息，因此在森林烟火检测中得到广泛应用。
传统基于机器视觉的检测方法主要依赖于提取检测目标的特征。对于固体目标的检测，例如人脸检测，车牌识别等特征主要从源图像的运动区域或按块提取，这些特征一般会提供关于检测目标的可靠信息。然而，对于早期烟火(主要为烟)来说，因其具有半透明，多变的厚度和发散等特征，烟火常与背景信息混合，传统的特征提取方法无法提供针纯净烟火的可靠信息。
基于以上问题，本发明提出了一种基于稀疏表示的视频图像烟火分离与检测方法。该方法通过字典学习与稀疏表示，得到纯净烟火特征在完备字典上的表征，在此基础上，源图像被看作是非烟的背景成分与纯净烟火的前景成分的线性组合。
发明内容
发明目的：本发明提供了一种基于稀疏表示的视频图像烟火分离与检测方法，该方法针对早期烟火进行检测。
技术方案：为实现上述发明目的，本发明采用以下技术方案：
一种基于稀疏表示的视频图像烟火分离与检测方法，包括以下步骤：
(1)建立无背景纯净烟火和非烟图像数据集，采用K-SVD算法学习烟雾过完备字典Ds以及非烟过完备字典Db；
(2)基于大量烟火视频，采用传统背景减除算法得到已知背景的烟和非烟图像数据集合；
(3)建立烟火背景分离模型；
(4)基于步骤(3)的烟火背景分离模型和步骤(1)学习到的过完备字典，得到烟和非烟的稀疏表示系数向量集以及混合系数；
(5)将步骤(4)得到的稀疏系数向量数据集分别作为正负特征样本，训练SVM分类器；
(6)部署烟火检测模型；
(7)根据块分类结果得到待检测运动区域烟火检测结果。
进一步的，步骤(1)中纯净烟火图像数据集包括浓烟和无背景透明烟火，非烟图像来自公共数据集CIFAR-100；字典学习采用经典K-SVD算法，K-SVD算法公式为：
其中，L为常数阈值，D为过完备字典，α为稀疏系数向量，x为输入图像序列矩阵；
其中采用SVD奇异值分解算法更新字典原子，OMP正交匹配追踪算法更新稀疏系数；当输入为纯净烟火图像xs，经过交替更新迭代最后得到烟火过完备字典Ds，同样地，当输入为非烟图像xb，得到的是非烟过完备字典Db。
进一步的，步骤(2)中采用ROSL鲁棒正交子空间学习算法，从视频图像中提取背景图像以及前景图像，计算公式为：
其中，视频每帧图像大小为m1×m2，共n帧，则输入的视频序列矩阵m＝m1×m2，为前景矩阵，为提取的背景矩阵，为标准正交矩阵，为系数矩阵；k取1表示视频只有一个背景图像，在矩阵中表示背景序列的矩阵秩为1；得到各视频背景图像后，截取不同视频帧图像中烟火区域图像作为正样本数据集，此时烟火图像可以是纯净或非纯净烟，背景信息作为已知信息，非烟图像为负样本。
进一步的，步骤(3)在烟火图像中，有烟区域图像块是纯烟与背景成分的线性组合，烟火背景分离模型为：
x＝ωs-(1-ω)b,s.t.ω∈[0,1]；
其中，x为样本数据原图像，b为背景图像样本，s为前景图像样本，ω为混合系数参数；为保证同一图像块中混合系数相同，该模型建立在小尺寸的图像块上，基于该模型，分别计算纯烟成分和混合系数。
进一步的，步骤(4)采用弹性网络elastic-net和有辨别力约束条件处理稀疏系数；其中弹性网络elastic-net算法公式为：
此外，为了将采用基于烟火字典的稀疏表示方法得到纯烟或非烟成分于基于非烟字典的稀疏表示进一步区分，得到有辨别力的稀疏系数，增加辨别力约束条件则上式转化为：
具体为：
(41)求关于αs最优解，固定混合系数ω，令y*＝[x-(1-ω)b；0]， 为单位向量，则原elastic-net转化为Lasso问题为：
(42)增加了辨别力约束条件，进一步对上式做如下改进：
令y**＝[y*；0]，得到：
当输入为烟火图像数据xs时，得到前景烟火成分的稀疏表示当输入为非烟数据xb时，得到前景非烟成分的稀疏表示 分别为对应成分的稀疏系数；
(43)求关于ω的最优解，固定稀疏系数向量αs，即求式该式是一个关于混合系数ω的二次方程求最小值，得：
由ω∈[0,1]，进一步得：
进一步的，步骤(5)具体为：
(51)将步骤(4)得到的烟火和非烟稀疏表示相应的稀疏系数向量数据集以及分别作为正负特征样本；
(52)将正负特征样本分别归一化，即每一个向量的元素除以该向量中元素的最大值，得到的每一个元素值的取值范围都在0到1之间；
(53)将正负样本以及对应标签yi∈{+1,-1}作为输入样本集S＝{(αs,i,yi)|i＝1,2,...,n}来训练SVM分类器，i表示第i个样本；由于αs,i是多维向量线性不可分，因此采用高斯核函数将其映射到高维空间使其线性可分；最后训练得到识别烟火和非烟的分类模型。
进一步的，步骤(6)包括以下步骤：
(61)输入视频图像序列；
(62)采用ROSL鲁棒正交子空间学习算法得到低秩视频背景以及稀疏前景运动区域
(63)遍历运动区域图像块，采用基于稀疏表示的烟火与背景分离模型得到图像块稀疏系数αs以及混合系数ω；
(64)混合系数ω<0.01的区域首先判定为非烟区域；ω≥0.01时，采用步骤(5)训练得到的SVM分类器对稀疏系数向量αs进行分类识别；对于识别为烟的图像块，若ω∈[0.01,0.6)，则标记为淡烟；若ω∈[0.6,1]，则标记为浓烟。
进一步的，步骤(7)中运动区域的属性由多数图像块属性决定，若被识别为某一属性浓烟、淡烟或非烟的图像块数最多，则将运动区域标记为该属性。
有益效果：与现有技术相比，本发明具有如下优点：
1、本发明采用基于字典学习与稀疏表示的方法，将纯净烟火与背景分离，避免了背景信息对烟火特征的干扰，从而提高了烟火识别与检测的准确率。
2、本发明考虑了稀疏表示中稀疏系数的相关性，采用elastic-net代替一般基于Lasso的稀疏表达，该方法更加适用于稀疏系数个数大于所表达图像大小的情况下归一化和变量选择。
3、本发明将基于烟字典的稀疏系数向量作为特征，采用非烟火字典作为辨别力约束条件，为进一步提高了特征的辨别能力。本发明在烟火分离和检测效果上都优于现有方法。
附图说明
图1为基于稀疏表示的视频图像烟火分离与检测方法流程图；
图2为烟火与背景分离效果对比图；
图3为烟火检测效果图。
具体实施方式
下面结合说明书附图和实例，清楚、完整地描述本发明方法的详细过程。
应理解下述实施例仅用于说明本发明技术方案的具体实施方式，而不用于限制本发明的范围。在阅读了本发明之后，本领域技术人员对本发明的各种等同形式的修改和替换均落于本申请权利要求所限定的保护范围。
如图1所示，一种基于稀疏表示的视频图像烟火分离与检测方法，包括以下步骤：
步骤1：建立无背景纯净烟火和非烟图像数据集，采用K-SVD算法学习烟火过完备字典Ds以及非烟过完备字典Db；
纯净烟火图像数据集包括浓烟和无背景(背景为黑色，像素为0)透明烟火，非烟图像来自公共数据集CIFAR-100。字典学习采用经典K-SVD算法，K-SVD基本思想如下：
其中，L为常数阈值，D为过完备字典，α为稀疏系数向量，x为输入图像序列矩阵；其中采用SVD(Singular Value Decomposition，奇异值分解)算法更新字典原子，OMP(Orthogonal Matching Pursuit，正交匹配追踪)算法更新稀疏系数。当输入为纯净烟火图像xs，经过交替更新迭代最后得到烟火过完备字典Ds，同样地，当输入为非烟图像xb，得到的是非烟过完备字典Db。
本实施例中纯净烟火和非烟图像数据集分别由4000张16*16大小的图像组成，根据图像大小，过完备字典大小为256*500，稀疏系数向量大小为500*1。
步骤2：基于大量烟火视频，采用ROSL(Robust Orthonormal Subspace Learning，鲁棒正交子空间学习)算法，从视频图像中提取背景图像以及前景图像，计算公式为：
其中，视频每帧图像大小为m1×m2，共n帧，输入的视频序列矩阵(m＝m1×m2)，为前景矩阵，为提取的背景矩阵，为标准正交矩阵，为系数矩阵。k取1表示视频只有一个背景图像，在矩阵中表示背景序列的矩阵秩为1；得到各视频背景图像后，截取不同视频帧图像中烟火区域图像(本实施例中大小为16*16)作为正样本数据集，此时烟火图像可以是纯净或非纯净烟，背景信息作为已知信息，非烟图像为负样本。
步骤3：建立烟火背景分离模型。
在烟火图像中，有烟区域图像块是纯烟与背景成分的线性组合，烟火背景分离模型为：
x＝ωs-(1-ω)b,s.t.ω∈[0,1] (3)；
其中，样本数据原图像x，背景图像样本b以及前景图像样本s分别截取自步骤2中大图像样本X,B,E，ω为混合系数参数。为保证同一图像块中混合系数相同，该模型建立在小尺寸的图像块上(本实施例中为16*16图像块)，基于该模型，分别计算纯烟成分和混合系数。
步骤4：基于步骤3的烟火背景分离模型和步骤1学习到的过完备字典，采用弹性网络elastic-net和有辨别力约束条件处理稀疏系数。弹性网络elastic-net可以较一般Lasso(套索算法)更适用于稀疏系数个数大于所表达图像大小的情况，若系数存在对组相关性，则Lasso条件只能选择一个值作为特征系数而忽略了组相关性，本发明所采用的elastic-net方法被证明可以解决以上问题：
此外，为了将采用基于烟火字典的稀疏表示方法得到纯烟或非烟成分于基于非烟字典的稀疏表示进一步区分，得到有辨别力的稀疏系数，本发明增加辨别力约束条件则上式转化为：
步骤4具体为：
步骤401：求关于αs最优解，固定混合系数ω，令y*＝[x-(1-ω)b；0]， 为单位向量，则原elastic-net转化为Lasso问题为：
步骤402：增加了辨别力约束条件，进一步对上式做如下改进：
令得到：
当输入为烟火图像数据(记为xs)得到前景烟火成分的稀疏表示当输入为非烟数据(记为xb)得到前景非烟成分的稀疏表示 分别为对应成分的稀疏系数。
步骤403：求关于ω的最优解，固定稀疏系数向量αs，即求式该式是一个关于混合系数ω的二次方程求最小值，得：
由ω∈[0,1]，进一步得：
步骤5：将步骤4得到的稀疏系数向量数据集和分别作为正负特征样本，训练SVM分类器。
步骤5具体为：
步骤501：将步骤4得到的烟火和非烟稀疏表示相应的稀疏系数向量数据集以及分别作为正负特征样本；
步骤502：将上述样本归一化，即每一个向量的元素除以该向量中元素的最大值，得到的每一个元素值的取值范围都在0到1之间。
步骤503：将正负样本以及对应标签yi∈{+1,-1}作为输入样本集S＝{(αs,i,yi)|i＝1,2,...,n}来训练SVM分类器，i表示第i个样本。由于αs,i是多维向量线性不可分，因此采用高斯核函数将其映射到高维空间使其线性可分。最后训练得到识别烟火和非烟的分类模型。
本实施例中：通过样本采集和筛选，得到2000个烟火图像和2000个非烟图像数据集分别作为训练正负样本，1000个烟火图像和1000个非烟图像数据集分别作为测试正负样本，截取的图像大小均为16*16。采用基于RBF核函数的SVM作为分类器训练样本。本发明训练精度达到98.77％，测试精度达到92.25％。
步骤6：部署烟火检测模型，其具体步骤为：
步骤601：输入视频图像序列；
步骤602：采用ROSL(鲁棒正交子空间学习)算法得到低秩视频背景以及稀疏前景运动区域
步骤603：遍历运动区域图像块，每个图像块采用基于稀疏表示的烟火与背景分离模型得到图像块稀疏系数αs以及混合系数ω；
步骤604：混合系数ω<0.01的区域首先判定为非烟区域；ω≥0.01时，采用步骤5训练得到的SVM分类器对稀疏系数向量αs进行分类识别。对于识别为烟的图像块，若ω∈[0.01,0.6)，则标记为淡烟，若ω∈[0.6,1]则标记为浓烟。
步骤7：运动区域的属性由多数图像块属性决定，当被识别为某一属性(浓烟，淡烟或非烟)的图像块数最多，则将运动区域标记为该属性。
运动区域大小和形状不定，各区域烟的浓度或透明度不确定，本发明实施例采用的块大小为16*16可识别区域中各图像块的烟火属性，分别标记为非烟，淡烟或浓烟，则该区域属性由多数图像块属性决定。
以上步骤2-5是基于视频帧图像中截取图像块来建立训练与测试数据集。步骤6按重叠块遍历视频每一帧图像的运动区域，得到每一个图像块的基于烟字典的前景成分以及前景与背景的混合系数，分类时是对每个图像块进行分类检测。
本发明基于稀疏表示的视频图像烟火分离与检测方法的应用实验中，对大量实际场景中的烟火视频进行了测试。图2是所测试视频中一帧图像的烟火分离效果，其中(a)为原图，(b)为利用传统背景减除算法得到的前景烟火图像，(c)为利用本发明所述烟火与背景分离算法得到的前景烟火图像。可以看出，采用简单的背景减除算法无法得到纯净烟火成分，图像中背景特征纹理会影响烟火特征的提取，采用本发明所述方法能够将烟火与背景完全分离。图3为采用本发明素数方法得到的烟火检测结果，其中(a)为原图，(b)为烟火检测效果图。图中亮色框标记了淡烟区域，暗色框标记了浓烟区域。该区域半数图像块被判定为浓烟，最终该运动区域被判定为浓烟区域。

Claims (8)

1.一种基于稀疏表示的视频图像烟火分离与检测方法，其特征在于，包括以下步骤：
(1)建立无背景纯净烟火和非烟图像数据集，采用K-SVD算法学习烟雾过完备字典Ds以及非烟过完备字典Db；
(2)基于大量烟火视频，采用传统背景减除算法得到已知背景的烟和非烟图像数据集合；
(3)建立烟火背景分离模型；
(4)基于步骤(3)的烟火背景分离模型和步骤(1)学习到的过完备字典，得到烟和非烟的稀疏表示系数向量集以及混合系数；
(5)将步骤(4)得到的稀疏系数向量数据集分别作为正负特征样本，训练SVM分类器；
(6)部署烟火检测模型；
(7)根据块分类结果得到待检测运动区域烟火检测结果。
2.根据权利要求1所述的一种基于稀疏表示的视频图像烟火分离与检测方法，其特征在于，步骤(1)中纯净烟火图像数据集包括浓烟和无背景透明烟火，非烟图像来自公共数据集CIFAR-100；字典学习采用经典K-SVD算法，K-SVD算法公式为：
其中，L为常数阈值，D为过完备字典，α为稀疏系数向量，x为输入图像序列矩阵；
其中采用SVD奇异值分解算法更新字典原子，OMP正交匹配追踪算法更新稀疏系数；当输入为纯净烟火图像xs，经过交替更新迭代最后得到烟火过完备字典Ds，同样地，当输入为非烟图像xb，得到的是非烟过完备字典Db。
3.根据权利要求1所述的一种基于稀疏表示的视频图像烟火分离与检测方法，其特征在于，步骤(2)中采用ROSL鲁棒正交子空间学习算法，从视频图像中提取背景图像以及前景图像，计算公式为：
其中，视频每帧图像大小为m1×m2，共n帧，则输入的视频序列矩阵m＝m1×m2，为前景矩阵，为提取的背景矩阵，为标准正交矩阵，为系数矩阵；k取1表示视频只有一个背景图像，在矩阵中表示背景序列的矩阵秩为1；得到各视频背景图像后，截取不同视频帧图像中烟火区域图像作为正样本数据集，此时烟火图像可以是纯净或非纯净烟，背景信息作为已知信息，非烟图像为负样本。
4.根据权利要求1所述的一种基于稀疏表示的视频图像烟火分离与检测方法，其特征在于，步骤(3)在烟火图像中，有烟区域图像块是纯烟与背景成分的线性组合，烟火背景分离模型为：
x＝ωs-(1-ω)b,s.t.ω∈[0,1]；
其中，x为样本数据原图像，b为背景图像样本，s为前景图像样本，ω为混合系数参数；为保证同一图像块中混合系数相同，该模型建立在小尺寸的图像块上，基于该模型，分别计算纯烟成分和混合系数。
5.根据权利要求1所述的一种基于稀疏表示的视频图像烟火分离与检测方法，其特征在于，步骤(4)采用弹性网络elastic-net和有辨别力约束条件处理稀疏系数；其中弹性网络elastic-net算法公式为：
此外，为了将采用基于烟火字典的稀疏表示方法得到纯烟或非烟成分于基于非烟字典的稀疏表示进一步区分，得到有辨别力的稀疏系数，增加辨别力约束条件则上式转化为：
具体为：
(41)求关于αs最优解，固定混合系数ω，令y*＝[x-(1-ω)b；0]， 为单位向量，则原elastic-net转化为Lasso问题为：
(42)增加了辨别力约束条件，进一步对上式做如下改进：
令y**＝[y*；0]，得到：
当输入为烟火图像数据xs时，得到前景烟火成分的稀疏表示当输入为非烟数据xb时，得到前景非烟成分的稀疏表示 分别为对应成分的稀疏系数；
(43)求关于ω的最优解，固定稀疏系数向量αs，即求式该式是一个关于混合系数ω的二次方程求最小值，得：
由ω∈[0,1]，进一步得：
6.根据权利要求1所述的一种基于稀疏表示的视频图像烟火分离与检测方法，其特征在于，步骤(5)具体为：
(51)将步骤(4)得到的烟火和非烟稀疏表示相应的稀疏系数向量数据集以及分别作为正负特征样本；
(52)将正负特征样本分别归一化，即每一个向量的元素除以该向量中元素的最大值，得到的每一个元素值的取值范围都在0到1之间；
(53)将正负样本以及对应标签yi∈{+1,-1}作为输入样本集S＝{(αs,i,yi)|i＝1,2,...,n}来训练SVM分类器，i表示第i个样本；由于αs,i是多维向量线性不可分，因此采用高斯核函数将其映射到高维空间使其线性可分；最后训练得到识别烟火和非烟的分类模型。
7.根据权利要求1所述的一种基于稀疏表示的视频图像烟火分离与检测方法，其特征在于，步骤(6)包括以下步骤：
(61)输入视频图像序列；
(62)采用ROSL鲁棒正交子空间学习算法得到低秩视频背景以及稀疏前景运动区域
(63)遍历运动区域图像块，采用基于稀疏表示的烟火与背景分离模型得到图像块稀疏系数αs以及混合系数ω；
(64)混合系数ω<0.01的区域首先判定为非烟区域；ω≥0.01时，采用步骤(5)训练得到的SVM分类器对稀疏系数向量αs进行分类识别；对于识别为烟的图像块，若ω∈[0.01,0.6)，则标记为淡烟；若ω∈[0.6,1]，则标记为浓烟。
8.根据权利要求1所述的一种基于稀疏表示的视频图像烟火分离与检测方法，其特征在于，步骤(7)中运动区域的属性由多数图像块属性决定，若被识别为某一属性浓烟、淡烟或非烟的图像块数最多，则将运动区域标记为该属性。
CN201910302738.6A 2019-04-16 2019-04-16 一种基于稀疏表示的视频图像烟火分离与检测方法 Active CN110059613B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910302738.6A CN110059613B (zh) 2019-04-16 2019-04-16 一种基于稀疏表示的视频图像烟火分离与检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910302738.6A CN110059613B (zh) 2019-04-16 2019-04-16 一种基于稀疏表示的视频图像烟火分离与检测方法

Publications (2)

Publication Number Publication Date
CN110059613A true CN110059613A (zh) 2019-07-26
CN110059613B CN110059613B (zh) 2021-08-10

Family

ID=67317688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910302738.6A Active CN110059613B (zh) 2019-04-16 2019-04-16 一种基于稀疏表示的视频图像烟火分离与检测方法

Country Status (1)

Country Link
CN (1) CN110059613B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991296A (zh) * 2019-11-26 2020-04-10 腾讯科技（深圳）有限公司 视频标注方法、装置、电子设备及计算机可读存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831402A (zh) * 2012-08-09 2012-12-19 西北工业大学 基于稀疏编码和视觉显著性的红外遥感图像检测机场的方法
CN104408469A (zh) * 2014-11-28 2015-03-11 武汉大学 基于图像深度学习的烟火识别方法及系统
CN104809463A (zh) * 2015-05-13 2015-07-29 大连理工大学 一种基于密集尺度不变特征转换字典学习的高精度火灾火焰检测方法
US20150269441A1 (en) * 2014-03-24 2015-09-24 International Business Machines Corporation Context-aware tracking of a video object using a sparse representation framework
CN105241823A (zh) * 2015-09-30 2016-01-13 西安交通大学 基于稀疏表示的火电厂烟气光谱定量分析方法
CN105354807A (zh) * 2015-11-23 2016-02-24 南昌大学 一种基于解析稀疏表示的图像盲分离方法
CN106650600A (zh) * 2016-10-17 2017-05-10 东南大学 一种基于视频图像分析的森林烟火检测方法
CN107194936A (zh) * 2017-05-24 2017-09-22 哈尔滨工业大学 基于超像素联合稀疏表示的高光谱图像目标检测方法
CN107491784A (zh) * 2017-08-09 2017-12-19 云南瑞升烟草技术（集团）有限公司 基于深度学习算法的烟叶近红外光谱定量建模方法及应用
CN107633212A (zh) * 2017-08-30 2018-01-26 清华大学苏州汽车研究院（吴江） 一种基于视频图像的烟火检测方法和装置
CN109002746A (zh) * 2017-06-06 2018-12-14 刘禹岐 3d立体火灾识别方法和系统
CN109409256A (zh) * 2018-10-10 2019-03-01 东南大学 一种基于3d卷积神经网络的森林烟火检测方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831402A (zh) * 2012-08-09 2012-12-19 西北工业大学 基于稀疏编码和视觉显著性的红外遥感图像检测机场的方法
US20150269441A1 (en) * 2014-03-24 2015-09-24 International Business Machines Corporation Context-aware tracking of a video object using a sparse representation framework
CN104408469A (zh) * 2014-11-28 2015-03-11 武汉大学 基于图像深度学习的烟火识别方法及系统
CN104809463A (zh) * 2015-05-13 2015-07-29 大连理工大学 一种基于密集尺度不变特征转换字典学习的高精度火灾火焰检测方法
CN105241823A (zh) * 2015-09-30 2016-01-13 西安交通大学 基于稀疏表示的火电厂烟气光谱定量分析方法
CN105354807A (zh) * 2015-11-23 2016-02-24 南昌大学 一种基于解析稀疏表示的图像盲分离方法
CN106650600A (zh) * 2016-10-17 2017-05-10 东南大学 一种基于视频图像分析的森林烟火检测方法
CN107194936A (zh) * 2017-05-24 2017-09-22 哈尔滨工业大学 基于超像素联合稀疏表示的高光谱图像目标检测方法
CN109002746A (zh) * 2017-06-06 2018-12-14 刘禹岐 3d立体火灾识别方法和系统
CN107491784A (zh) * 2017-08-09 2017-12-19 云南瑞升烟草技术（集团）有限公司 基于深度学习算法的烟叶近红外光谱定量建模方法及应用
CN107633212A (zh) * 2017-08-30 2018-01-26 清华大学苏州汽车研究院（吴江） 一种基于视频图像的烟火检测方法和装置
CN109409256A (zh) * 2018-10-10 2019-03-01 东南大学 一种基于3d卷积神经网络的森林烟火检测方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
HONGDA TIAN 等: "Detection and Separation of Smoke From Single Image Frames", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
HONGDA TIAN 等: "Smoke Detection in Video: An Image Separation Approach", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》 *
HUI ZOU 等: "Regularization and variable selection via the elastic net", 《ROYAL STATISTICAL SOCIETY》 *
XIANBIAO SHU 等: "Robust Orthonormal Subspace Learning: Efficient Recovery of Corrupted Low-rank Matrices", 《2014 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
ZHUOLIN JIANG 等: "Label Consistent K-SVD: Learning a Discriminative Dictionary for Recognition", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
杨秋霞 等: "基于LBP和稀疏表示的林火烟雾图像识别研究", 《安徽农业科学》 *
王沛: "基于稀疏编码的视觉视频火焰检测技术研究", 《万方数据 知识服务平台》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991296A (zh) * 2019-11-26 2020-04-10 腾讯科技（深圳）有限公司 视频标注方法、装置、电子设备及计算机可读存储介质
CN110991296B (zh) * 2019-11-26 2023-04-07 腾讯科技（深圳）有限公司 视频标注方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN110059613B (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CN109522819B (zh) 一种基于深度学习的火灾图像识别方法
Zhao et al. SVM based forest fire detection using static and dynamic features
CN108985192A (zh) 一种基于多任务深度卷积神经网络的视频烟雾识别方法
CN104200237A (zh) 一种基于核化相关滤波高速自动多目标跟踪方法
CN106650600A (zh) 一种基于视频图像分析的森林烟火检测方法
CN105224947B (zh) 分类器训练方法和系统
CN111639610A (zh) 一种基于深度学习的火情识别方法及系统
CN108073940B (zh) 一种非结构化环境中的3d目标实例物体检测的方法
CN112668557A (zh) 一种行人再识别系统中防御图像噪声攻击的方法
CN110458064B (zh) 结合数据驱动型和知识驱动型的低空目标检测与识别方法
Akiyama et al. Mobile Leaf Identification System using CNN applied to plants in Hokkaido
CN109523514A (zh) 对逆合成孔径雷达isar的批量成像质量评估方法
CN115100497A (zh) 基于机器人的通道异常物体巡检方法、装置、设备及介质
TWI696958B (zh) 影像適應性特徵提取法及其應用
CN107633527B (zh) 基于全卷积神经网络的目标追踪方法及装置
CN105160285A (zh) 基于立体视觉的自动人体跌倒识别方法及系统
Tariq et al. Sign language localization: Learning to eliminate language dialects
CN110059613A (zh) 一种基于稀疏表示的视频图像烟火分离与检测方法
CN117475353A (zh) 基于视频的异常烟雾识别方法及系统
CN110334703B (zh) 一种昼夜图像中的船舶检测和识别方法
CN110084160B (zh) 一种基于运动和亮度显著性特征的视频森林烟火检测方法
CN115018886B (zh) 运动轨迹识别方法、装置、设备及介质
CN110796008A (zh) 一种基于视频图像的早期火灾检测方法
CN113468954B (zh) 基于多通道下局部区域特征的人脸伪造检测方法
CN115272882A (zh) 一种基于遥感影像的离散建筑物检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant