CN110059613B - 一种基于稀疏表示的视频图像烟火分离与检测方法 - Google Patents

一种基于稀疏表示的视频图像烟火分离与检测方法 Download PDF

Info

Publication number
CN110059613B
CN110059613B CN201910302738.6A CN201910302738A CN110059613B CN 110059613 B CN110059613 B CN 110059613B CN 201910302738 A CN201910302738 A CN 201910302738A CN 110059613 B CN110059613 B CN 110059613B
Authority
CN
China
Prior art keywords
smoke
image
fire
background
sparse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910302738.6A
Other languages
English (en)
Other versions
CN110059613A (zh
Inventor
路小波
伍学惠
曹毅超
秦鲁星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201910302738.6A priority Critical patent/CN110059613B/zh
Publication of CN110059613A publication Critical patent/CN110059613A/zh
Application granted granted Critical
Publication of CN110059613B publication Critical patent/CN110059613B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/513—Sparse representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于稀疏表示的视频图像烟火分离与检测方法，能够将早期烟从背景中分离出来并进行识别。该方法包括：学习烟雾完备字典Ds以及非烟完备字典Db；建立有背景的烟火和非烟数据集xs和xb；建立烟火背景分离模型；通过稀疏表示得到前景的烟火成分
Figure DDA0002028786910000011
和非烟成分
Figure DDA0002028786910000012
同时计算得到混合系数ω；训练SVM分类器；部署烟火检测模型；根据分块识别与分类结果，得到待检测区域烟火检测结果。本发明将纯净烟火与背景分离，避免了背景信息对烟火特征的干扰，从而提高了烟火识别与检测的准确率。

Description

一种基于稀疏表示的视频图像烟火分离与检测方法
技术领域
本发明属于视频图像处理领域，涉及一种基于稀疏表示的视频图像烟火分离与检测方法。
背景技术
森林火灾破坏生态环境、伤害林内动物和人群、造成巨大的经济损失，因此森林火灾的探测一直是当下研究的热点。为了尽早发现火情，及时扑灭森林火灾，减小人员伤亡和经济损失常对火灾初起的烟火进行探测，传统的烟火检测利用各类传感器对烟雾颗粒进行检测，但此类系统或易发生漏检、或传感器维护成本高，且传感器的安装要求严苛，火灾现场数据不能直观传送至监控室，无法在特殊情况下人为介入判断火灾情况。基于机器视觉的火灾探测方法适用于任何室内外场景，并能实时提供烟火位置，范围浓度等重要信息，因此在森林烟火检测中得到广泛应用。
传统基于机器视觉的检测方法主要依赖于提取检测目标的特征。对于固体目标的检测，例如人脸检测，车牌识别等特征主要从源图像的运动区域或按块提取，这些特征一般会提供关于检测目标的可靠信息。然而，对于早期烟火(主要为烟)来说，因其具有半透明，多变的厚度和发散等特征，烟火常与背景信息混合，传统的特征提取方法无法提供针纯净烟火的可靠信息。
基于以上问题，本发明提出了一种基于稀疏表示的视频图像烟火分离与检测方法。该方法通过字典学习与稀疏表示，得到纯净烟火特征在完备字典上的表征，在此基础上，源图像被看作是非烟的背景成分与纯净烟火的前景成分的线性组合。
发明内容
发明目的：本发明提供了一种基于稀疏表示的视频图像烟火分离与检测方法，该方法针对早期烟火进行检测。
技术方案：为实现上述发明目的，本发明采用以下技术方案：
一种基于稀疏表示的视频图像烟火分离与检测方法，包括以下步骤：
(1)建立无背景纯净烟火和非烟图像数据集，采用K-SVD算法学习烟雾过完备字典Ds以及非烟过完备字典Db；
(2)基于大量烟火视频，采用传统背景减除算法得到已知背景的烟和非烟图像数据集合；
(3)建立烟火背景分离模型；
(4)基于步骤(3)的烟火背景分离模型和步骤(1)学习到的过完备字典，得到烟和非烟的稀疏表示系数向量集以及混合系数；
(5)将步骤(4)得到的稀疏系数向量数据集分别作为正负特征样本，训练SVM分类器；
(6)部署烟火检测模型；
(7)根据块分类结果得到待检测运动区域烟火检测结果。
进一步的，步骤(1)中纯净烟火图像数据集包括浓烟和无背景透明烟火，非烟图像来自公共数据集CIFAR-100；字典学习采用经典K-SVD算法，K-SVD算法公式为：
Figure BDA0002028786890000021
其中，L为常数阈值，D为过完备字典，α为稀疏系数向量，x为输入图像序列矩阵；
其中采用SVD奇异值分解算法更新字典原子，OMP正交匹配追踪算法更新稀疏系数；当输入为纯净烟火图像xs，经过交替更新迭代最后得到烟火过完备字典Ds，同样地，当输入为非烟图像xb，得到的是非烟过完备字典Db。
进一步的，步骤(2)中采用ROSL鲁棒正交子空间学习算法，从视频图像中提取背景图像以及前景图像，计算公式为：
Figure BDA0002028786890000022
其中，视频每帧图像大小为m1×m2，共n帧，则输入的视频序列矩阵
Figure BDA0002028786890000023
m＝m1×m2，
Figure BDA0002028786890000024
为前景矩阵，
Figure BDA0002028786890000025
为提取的背景矩阵，
Figure BDA0002028786890000026
为标准正交矩阵，
Figure BDA0002028786890000027
为系数矩阵；k取1表示视频只有一个背景图像，在矩阵中表示背景序列的矩阵秩为1；得到各视频背景图像后，截取不同视频帧图像中烟火区域图像作为正样本数据集，此时烟火图像可以是纯净或非纯净烟，背景信息作为已知信息，非烟图像为负样本。
进一步的，步骤(3)在烟火图像中，有烟区域图像块是纯烟与背景成分的线性组合，烟火背景分离模型为：
x＝ωs-(1-ω)b,s.t.ω∈[0,1]；
其中，x为样本数据原图像，b为背景图像样本，s为前景图像样本，ω为混合系数参数；为保证同一图像块中混合系数相同，该模型建立在小尺寸的图像块上，基于该模型，分别计算纯烟成分和混合系数。
进一步的，步骤(4)采用弹性网络elastic-net和有辨别力约束条件处理稀疏系数；其中弹性网络elastic-net算法公式为：
Figure BDA0002028786890000031
此外，为了将采用基于烟火字典的稀疏表示方法得到纯烟或非烟成分于基于非烟字典的稀疏表示进一步区分，得到有辨别力的稀疏系数，增加辨别力约束条件
Figure BDA0002028786890000032
则上式转化为：
Figure BDA0002028786890000033
具体为：
(41)求关于αs最优解，固定混合系数ω，令y*＝[x-(1-ω)b；0]，
Figure BDA0002028786890000034
Figure BDA0002028786890000035
为单位向量，则原elastic-net转化为Lasso问题为：
Figure BDA0002028786890000036
(42)增加了辨别力约束条件，进一步对上式做如下改进：
令y**＝[y*；0]，
Figure BDA0002028786890000037
得到：
Figure BDA0002028786890000038
当输入为烟火图像数据xs时，得到前景烟火成分的稀疏表示
Figure BDA0002028786890000039
当输入为非烟数据xb时，得到前景非烟成分的稀疏表示
Figure BDA00020287868900000310
Figure BDA00020287868900000311
分别为对应成分的稀疏系数；
(43)求关于ω的最优解，固定稀疏系数向量αs，即求式
Figure BDA0002028786890000041
该式是一个关于混合系数ω的二次方程求最小值，得：
Figure BDA0002028786890000042
由ω∈[0,1]，进一步得：
Figure BDA0002028786890000043
进一步的，步骤(5)具体为：
(51)将步骤(4)得到的烟火和非烟稀疏表示相应的稀疏系数向量数据集
Figure BDA0002028786890000044
以及
Figure BDA0002028786890000045
分别作为正负特征样本；
(52)将正负特征样本分别归一化，即每一个向量的元素除以该向量中元素的最大值，得到的每一个元素值的取值范围都在0到1之间；
(53)将正负样本以及对应标签yi∈{+1,-1}作为输入样本集S＝{(αs,i,yi)|i＝1,2,...,n}来训练SVM分类器，i表示第i个样本；由于αs,i是多维向量线性不可分，因此采用高斯核函数将其映射到高维空间使其线性可分；最后训练得到识别烟火和非烟的分类模型。
进一步的，步骤(6)包括以下步骤：
(61)输入视频图像序列；
(62)采用ROSL鲁棒正交子空间学习算法得到低秩视频背景以及稀疏前景运动区域
(63)遍历运动区域图像块，采用基于稀疏表示的烟火与背景分离模型得到图像块稀疏系数αs以及混合系数ω；
(64)混合系数ω<0.01的区域首先判定为非烟区域；ω≥0.01时，采用步骤(5)训练得到的SVM分类器对稀疏系数向量αs进行分类识别；对于识别为烟的图像块，若ω∈[0.01,0.6)，则标记为淡烟；若ω∈[0.6,1]，则标记为浓烟。
进一步的，步骤(7)中运动区域的属性由多数图像块属性决定，若被识别为某一属性浓烟、淡烟或非烟的图像块数最多，则将运动区域标记为该属性。
有益效果：与现有技术相比，本发明具有如下优点：
1、本发明采用基于字典学习与稀疏表示的方法，将纯净烟火与背景分离，避免了背景信息对烟火特征的干扰，从而提高了烟火识别与检测的准确率。
2、本发明考虑了稀疏表示中稀疏系数的相关性，采用elastic-net代替一般基于Lasso的稀疏表达，该方法更加适用于稀疏系数个数大于所表达图像大小的情况下归一化和变量选择。
3、本发明将基于烟字典的稀疏系数向量作为特征，采用非烟火字典作为辨别力约束条件，为进一步提高了特征的辨别能力。本发明在烟火分离和检测效果上都优于现有方法。
附图说明
图1为基于稀疏表示的视频图像烟火分离与检测方法流程图；
图2为烟火与背景分离效果对比图；
图3为烟火检测效果图。
具体实施方式
下面结合说明书附图和实例，清楚、完整地描述本发明方法的详细过程。
应理解下述实施例仅用于说明本发明技术方案的具体实施方式，而不用于限制本发明的范围。在阅读了本发明之后，本领域技术人员对本发明的各种等同形式的修改和替换均落于本申请权利要求所限定的保护范围。
如图1所示，一种基于稀疏表示的视频图像烟火分离与检测方法，包括以下步骤：
步骤1：建立无背景纯净烟火和非烟图像数据集，采用K-SVD算法学习烟火过完备字典Ds以及非烟过完备字典Db；
纯净烟火图像数据集包括浓烟和无背景(背景为黑色，像素为0)透明烟火，非烟图像来自公共数据集CIFAR-100。字典学习采用经典K-SVD算法，K-SVD基本思想如下：
Figure BDA0002028786890000051
其中，L为常数阈值，D为过完备字典，α为稀疏系数向量，x为输入图像序列矩阵；其中采用SVD(Singular Value Decomposition，奇异值分解)算法更新字典原子，OMP(Orthogonal Matching Pursuit，正交匹配追踪)算法更新稀疏系数。当输入为纯净烟火图像xs，经过交替更新迭代最后得到烟火过完备字典Ds，同样地，当输入为非烟图像xb，得到的是非烟过完备字典Db。
本实施例中纯净烟火和非烟图像数据集分别由4000张16*16大小的图像组成，根据图像大小，过完备字典大小为256*500，稀疏系数向量大小为500*1。
步骤2：基于大量烟火视频，采用ROSL(Robust Orthonormal Subspace Learning，鲁棒正交子空间学习)算法，从视频图像中提取背景图像以及前景图像，计算公式为：
Figure BDA0002028786890000061
其中，视频每帧图像大小为m1×m2，共n帧，输入的视频序列矩阵
Figure BDA0002028786890000062
(m＝m1×m2)，
Figure BDA0002028786890000063
为前景矩阵，
Figure BDA0002028786890000064
为提取的背景矩阵，
Figure BDA0002028786890000065
为标准正交矩阵，
Figure BDA0002028786890000066
为系数矩阵。k取1表示视频只有一个背景图像，在矩阵中表示背景序列的矩阵秩为1；得到各视频背景图像后，截取不同视频帧图像中烟火区域图像(本实施例中大小为16*16)作为正样本数据集，此时烟火图像可以是纯净或非纯净烟，背景信息作为已知信息，非烟图像为负样本。
步骤3：建立烟火背景分离模型。
在烟火图像中，有烟区域图像块是纯烟与背景成分的线性组合，烟火背景分离模型为：
x＝ωs-(1-ω)b,s.t.ω∈[0,1] (3)；
其中，样本数据原图像x，背景图像样本b以及前景图像样本s分别截取自步骤2中大图像样本X,B,E，ω为混合系数参数。为保证同一图像块中混合系数相同，该模型建立在小尺寸的图像块上(本实施例中为16*16图像块)，基于该模型，分别计算纯烟成分和混合系数。
步骤4：基于步骤3的烟火背景分离模型和步骤1学习到的过完备字典，采用弹性网络elastic-net和有辨别力约束条件处理稀疏系数。弹性网络elastic-net可以较一般Lasso(套索算法)更适用于稀疏系数个数大于所表达图像大小的情况，若系数存在对组相关性，则Lasso条件只能选择一个值作为特征系数而忽略了组相关性，本发明所采用的elastic-net方法被证明可以解决以上问题：
Figure BDA0002028786890000071
此外，为了将采用基于烟火字典的稀疏表示方法得到纯烟或非烟成分于基于非烟字典的稀疏表示进一步区分，得到有辨别力的稀疏系数，本发明增加辨别力约束条件
Figure BDA0002028786890000072
则上式转化为：
Figure BDA0002028786890000073
步骤4具体为：
步骤401：求关于αs最优解，固定混合系数ω，令y*＝[x-(1-ω)b；0]，
Figure BDA0002028786890000074
Figure BDA0002028786890000075
为单位向量，则原elastic-net转化为Lasso问题为：
Figure BDA0002028786890000076
步骤402：增加了辨别力约束条件，进一步对上式做如下改进：
令
Figure BDA0002028786890000077
得到：
Figure BDA0002028786890000078
当输入为烟火图像数据(记为xs)得到前景烟火成分的稀疏表示
Figure BDA0002028786890000079
当输入为非烟数据(记为xb)得到前景非烟成分的稀疏表示
Figure BDA00020287868900000710
Figure BDA00020287868900000711
分别为对应成分的稀疏系数。
步骤403：求关于ω的最优解，固定稀疏系数向量αs，即求式
Figure BDA00020287868900000712
该式是一个关于混合系数ω的二次方程求最小值，得：
Figure BDA00020287868900000713
由ω∈[0,1]，进一步得：
Figure BDA00020287868900000714
步骤5：将步骤4得到的稀疏系数向量数据集
Figure BDA0002028786890000081
和
Figure BDA0002028786890000082
分别作为正负特征样本，训练SVM分类器。
步骤5具体为：
步骤501：将步骤4得到的烟火和非烟稀疏表示相应的稀疏系数向量数据集
Figure BDA0002028786890000083
以及
Figure BDA0002028786890000084
分别作为正负特征样本；
步骤502：将上述样本归一化，即每一个向量的元素除以该向量中元素的最大值，得到的每一个元素值的取值范围都在0到1之间。
步骤503：将正负样本以及对应标签yi∈{+1,-1}作为输入样本集S＝{(αs,i,yi)|i＝1,2,...,n}来训练SVM分类器，i表示第i个样本。由于αs,i是多维向量线性不可分，因此采用高斯核函数将其映射到高维空间使其线性可分。最后训练得到识别烟火和非烟的分类模型。
本实施例中：通过样本采集和筛选，得到2000个烟火图像和2000个非烟图像数据集分别作为训练正负样本，1000个烟火图像和1000个非烟图像数据集分别作为测试正负样本，截取的图像大小均为16*16。采用基于RBF核函数的SVM作为分类器训练样本。本发明训练精度达到98.77％，测试精度达到92.25％。
步骤6：部署烟火检测模型，其具体步骤为：
步骤601：输入视频图像序列；
步骤602：采用ROSL(鲁棒正交子空间学习)算法得到低秩视频背景以及稀疏前景运动区域
步骤603：遍历运动区域图像块，每个图像块采用基于稀疏表示的烟火与背景分离模型得到图像块稀疏系数αs以及混合系数ω；
步骤604：混合系数ω<0.01的区域首先判定为非烟区域；ω≥0.01时，采用步骤5训练得到的SVM分类器对稀疏系数向量αs进行分类识别。对于识别为烟的图像块，若ω∈[0.01,0.6)，则标记为淡烟，若ω∈[0.6,1]则标记为浓烟。
步骤7：运动区域的属性由多数图像块属性决定，当被识别为某一属性(浓烟，淡烟或非烟)的图像块数最多，则将运动区域标记为该属性。
运动区域大小和形状不定，各区域烟的浓度或透明度不确定，本发明实施例采用的块大小为16*16可识别区域中各图像块的烟火属性，分别标记为非烟，淡烟或浓烟，则该区域属性由多数图像块属性决定。
以上步骤2-5是基于视频帧图像中截取图像块来建立训练与测试数据集。步骤6按重叠块遍历视频每一帧图像的运动区域，得到每一个图像块的基于烟字典的前景成分以及前景与背景的混合系数，分类时是对每个图像块进行分类检测。
本发明基于稀疏表示的视频图像烟火分离与检测方法的应用实验中，对大量实际场景中的烟火视频进行了测试。图2是所测试视频中一帧图像的烟火分离效果，其中(a)为原图，(b)为利用传统背景减除算法得到的前景烟火图像，(c)为利用本发明所述烟火与背景分离算法得到的前景烟火图像。可以看出，采用简单的背景减除算法无法得到纯净烟火成分，图像中背景特征纹理会影响烟火特征的提取，采用本发明所述方法能够将烟火与背景完全分离。图3为采用本发明素数方法得到的烟火检测结果，其中(a)为原图，(b)为烟火检测效果图。图中亮色框标记了淡烟区域，暗色框标记了浓烟区域。该区域半数图像块被判定为浓烟，最终该运动区域被判定为浓烟区域。

Claims (5)

1.一种基于稀疏表示的视频图像烟火分离与检测方法，其特征在于，包括以下步骤：
(1)建立无背景纯净烟火和非烟图像数据集，采用K-SVD算法学习烟火过完备字典Ds以及非烟过完备字典Db；
(2)基于大量烟火视频，采用传统背景减除算法得到已知背景的烟和非烟图像数据集合；
(3)建立烟火背景分离模型；
(4)基于步骤(3)的烟火背景分离模型和步骤(1)学习到的过完备字典，得到烟和非烟的稀疏表示系数向量集以及混合系数；
采用弹性网络elastic-net和有辨别力约束条件处理稀疏系数；其中弹性网络elastic-net算法公式为：
Figure FDA0003103847920000011
其中，x为样本数据原图像，b为背景图像样本，此外，为了将采用基于烟火字典的稀疏表示方法得到纯烟或非烟成分于基于非烟字典的稀疏表示进一步区分，得到有辨别力的稀疏系数，增加辨别力约束条件
Figure FDA0003103847920000012
则上式转化为：
Figure FDA0003103847920000013
具体为：
(41)求关于αs最优解，固定混合系数ω，令y*＝[x-(1-ω)b；0]，
Figure FDA0003103847920000014
为单位矩阵，则原elastic-net转化为Lasso问题为：
Figure FDA0003103847920000015
(42)增加了辨别力约束条件，进一步对上式做如下改进：
令y**＝[y*；0]，
Figure FDA0003103847920000016
得到：
Figure FDA0003103847920000017
当输入为烟火图像数据xs时，得到前景烟火成分的稀疏表示
Figure FDA0003103847920000018
当输入为非烟数据xb时，得到前景非烟成分的稀疏表示
Figure FDA0003103847920000019
Figure FDA00031038479200000110
分别为对应成分的稀疏系数；
(43)求关于ω的最优解，固定稀疏系数向量αs，即求式
Figure FDA0003103847920000021
该式是一个关于混合系数ω的二次方程求最小值，得：
Figure FDA0003103847920000022
由ω∈[0,1]，进一步得：
Figure FDA0003103847920000023
(5)将步骤(4)得到的稀疏系数向量数据集分别作为正负特征样本，训练SVM分类器；具体为：
(51)将步骤(4)得到的烟火和非烟稀疏表示相应的稀疏系数向量数据集
Figure FDA0003103847920000024
以及
Figure FDA0003103847920000025
分别作为正负特征样本；
(52)将正负特征样本分别归一化，即每一个向量的元素除以该向量中元素的最大值，得到的每一个元素值的取值范围都在0到1之间；
(53)将正负样本以及对应标签yi∈{+1,-1}作为输入样本集S＝{(αs,i,yi)|i＝1,2,...,n}来训练SVM分类器，i表示第i个样本；由于αs,i是多维向量线性不可分，因此采用高斯核函数将其映射到高维空间使其线性可分；最后训练得到识别烟火和非烟的分类模型；
(6)部署烟火检测模型；具体为：
(61)输入视频图像序列；
(62)采用ROSL鲁棒正交子空间学习算法得到低秩视频背景以及稀疏前景运动区域
(63)遍历运动区域图像块，采用基于稀疏表示的烟火与背景分离模型得到图像块稀疏系数αs以及混合系数ω；
(64)混合系数ω＜0.01的区域首先判定为非烟区域；ω≥0.01时，采用步骤(5) 训练得到的SVM分类器对稀疏系数向量αs进行分类识别；对于识别为烟的图像块，若ω∈[0.01,0.6)，则标记为淡烟；若ω∈[0.6,1]，则标记为浓烟；
(7)根据块分类结果得到待检测运动区域烟火检测结果。
2.根据权利要求1所述的一种基于稀疏表示的视频图像烟火分离与检测方法，其特征在于，步骤(1)中纯净烟火图像数据集包括浓烟和无背景透明烟火，非烟图像来自公共数据集CIFAR-100；字典学习采用经典K-SVD算法，K-SVD算法公式为：
Figure FDA0003103847920000031
其中，L为常数阈值，D为过完备字典，α为稀疏系数向量，x为样本数据原图像；
其中采用SVD奇异值分解算法更新字典原子，OMP正交匹配追踪算法更新稀疏系数；当输入为纯净烟火图像xs，经过交替更新迭代最后得到烟火过完备字典Ds，同样地，当输入为非烟图像xb，得到的是非烟过完备字典Db。
3.根据权利要求1所述的一种基于稀疏表示的视频图像烟火分离与检测方法，其特征在于，步骤(2)中采用ROSL鲁棒正交子空间学习算法，从视频图像中提取背景图像以及前景图像，计算公式为：
Figure FDA0003103847920000032
s.t.X＝B+E,
Figure FDA0003103847920000033
ATA＝Ik；
其中，视频每帧图像大小为m1×m2，共n帧，则输入的视频序列矩阵
Figure FDA0003103847920000034
m＝m1×m2，
Figure FDA0003103847920000035
为前景矩阵，
Figure FDA0003103847920000036
为提取的背景矩阵，
Figure FDA0003103847920000037
为标准正交矩阵，
Figure FDA0003103847920000038
为系数矩阵；k取1表示视频只有一个背景图像，在矩阵中表示背景序列的矩阵秩为1；得到各视频背景图像后，截取不同视频帧图像中烟火区域图像作为正样本数据集，此时烟火图像可以是纯净或非纯净烟，背景信息作为已知信息，非烟图像为负样本。
4.根据权利要求1所述的一种基于稀疏表示的视频图像烟火分离与检测方法，其特征在于，步骤(3)在烟火图像中，有烟区域图像块是纯烟与背景成分的线性组合，烟火背景分离模型为：
x＝ωs-(1-ω)b,s.t.ω∈[0,1]；
其中，x为样本数据原图像，b为背景图像样本，s为前景图像样本，ω为混合系数参数；为保证同一图像块中混合系数相同，该模型建立在小尺寸的图像块上，基于该模型，分别计算纯烟成分和混合系数。
5.根据权利要求1所述的一种基于稀疏表示的视频图像烟火分离与检测方法，其特征在于，步骤(7)中运动区域的属性由多数图像块属性决定，若被识别为某一属性浓烟、淡烟或非烟的图像块数最多，则将运动区域标记为该属性。
CN201910302738.6A 2019-04-16 2019-04-16 一种基于稀疏表示的视频图像烟火分离与检测方法 Active CN110059613B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910302738.6A CN110059613B (zh) 2019-04-16 2019-04-16 一种基于稀疏表示的视频图像烟火分离与检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910302738.6A CN110059613B (zh) 2019-04-16 2019-04-16 一种基于稀疏表示的视频图像烟火分离与检测方法

Publications (2)

Publication Number Publication Date
CN110059613A CN110059613A (zh) 2019-07-26
CN110059613B true CN110059613B (zh) 2021-08-10

Family

ID=67317688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910302738.6A Active CN110059613B (zh) 2019-04-16 2019-04-16 一种基于稀疏表示的视频图像烟火分离与检测方法

Country Status (1)

Country Link
CN (1) CN110059613B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991296B (zh) * 2019-11-26 2023-04-07 腾讯科技（深圳）有限公司 视频标注方法、装置、电子设备及计算机可读存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831402A (zh) * 2012-08-09 2012-12-19 西北工业大学 基于稀疏编码和视觉显著性的红外遥感图像检测机场的方法
CN104408469A (zh) * 2014-11-28 2015-03-11 武汉大学 基于图像深度学习的烟火识别方法及系统
CN104809463A (zh) * 2015-05-13 2015-07-29 大连理工大学 一种基于密集尺度不变特征转换字典学习的高精度火灾火焰检测方法
CN105241823A (zh) * 2015-09-30 2016-01-13 西安交通大学 基于稀疏表示的火电厂烟气光谱定量分析方法
CN105354807A (zh) * 2015-11-23 2016-02-24 南昌大学 一种基于解析稀疏表示的图像盲分离方法
CN106650600A (zh) * 2016-10-17 2017-05-10 东南大学 一种基于视频图像分析的森林烟火检测方法
CN107194936A (zh) * 2017-05-24 2017-09-22 哈尔滨工业大学 基于超像素联合稀疏表示的高光谱图像目标检测方法
CN107491784A (zh) * 2017-08-09 2017-12-19 云南瑞升烟草技术（集团）有限公司 基于深度学习算法的烟叶近红外光谱定量建模方法及应用
CN107633212A (zh) * 2017-08-30 2018-01-26 清华大学苏州汽车研究院（吴江） 一种基于视频图像的烟火检测方法和装置
CN109002746A (zh) * 2017-06-06 2018-12-14 刘禹岐 3d立体火灾识别方法和系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9213899B2 (en) * 2014-03-24 2015-12-15 International Business Machines Corporation Context-aware tracking of a video object using a sparse representation framework
CN109409256A (zh) * 2018-10-10 2019-03-01 东南大学 一种基于3d卷积神经网络的森林烟火检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831402A (zh) * 2012-08-09 2012-12-19 西北工业大学 基于稀疏编码和视觉显著性的红外遥感图像检测机场的方法
CN104408469A (zh) * 2014-11-28 2015-03-11 武汉大学 基于图像深度学习的烟火识别方法及系统
CN104809463A (zh) * 2015-05-13 2015-07-29 大连理工大学 一种基于密集尺度不变特征转换字典学习的高精度火灾火焰检测方法
CN105241823A (zh) * 2015-09-30 2016-01-13 西安交通大学 基于稀疏表示的火电厂烟气光谱定量分析方法
CN105354807A (zh) * 2015-11-23 2016-02-24 南昌大学 一种基于解析稀疏表示的图像盲分离方法
CN106650600A (zh) * 2016-10-17 2017-05-10 东南大学 一种基于视频图像分析的森林烟火检测方法
CN107194936A (zh) * 2017-05-24 2017-09-22 哈尔滨工业大学 基于超像素联合稀疏表示的高光谱图像目标检测方法
CN109002746A (zh) * 2017-06-06 2018-12-14 刘禹岐 3d立体火灾识别方法和系统
CN107491784A (zh) * 2017-08-09 2017-12-19 云南瑞升烟草技术（集团）有限公司 基于深度学习算法的烟叶近红外光谱定量建模方法及应用
CN107633212A (zh) * 2017-08-30 2018-01-26 清华大学苏州汽车研究院（吴江） 一种基于视频图像的烟火检测方法和装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Detection and Separation of Smoke From Single Image Frames;Hongda Tian 等;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20180331;第27卷(第3期);第III节，第V节 *
Label Consistent K-SVD: Learning a Discriminative Dictionary for Recognition;Zhuolin Jiang 等;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20131130;第35卷(第11期);摘要，第2.1.1节 *
Regularization and variable selection via the elastic net;Hui Zou 等;《Royal Statistical Society》;20051231;摘要，第2.1节 *
Robust Orthonormal Subspace Learning: Efficient Recovery of Corrupted Low-rank Matrices;Xianbiao Shu 等;《2014 IEEE Conference on Computer Vision and Pattern Recognition》;20141231;第2节，第5节 *
Smoke Detection in Video: An Image Separation Approach;Hongda Tian 等;《International Journal of Computer Vision》;20141231;第106卷;第3节，第4节，第5.1.2节 *

Also Published As

Publication number Publication date
CN110059613A (zh) 2019-07-26

Similar Documents

Publication Publication Date Title
Ciftci et al. How do the hearts of deep fakes beat? deep fake source detection via interpreting residuals with biological signals
McLaughlin et al. Data-augmentation for reducing dataset bias in person re-identification
Zhao et al. Learning mid-level filters for person re-identification
CN107153817B (zh) 行人重识别数据标注方法和装置
Mathur et al. Crosspooled FishNet: transfer learning based fish species classification model
Xu et al. Learning-based shadow recognition and removal from monochromatic natural images
Zhuo et al. Cloud classification of ground-based images using texture–structure features
Ko et al. Spatiotemporal bag-of-features for early wildfire smoke detection
CN105809205B (zh) 一种高光谱图像的分类方法及其系统
ElMikaty et al. Detection of cars in high-resolution aerial images of complex urban environments
Chen et al. Vehicle detection from UAVs by using SIFT with implicit shape model
CN111814690B (zh) 一种目标重识别方法、装置和计算机可读存储介质
CN112668557A (zh) 一种行人再识别系统中防御图像噪声攻击的方法
CN114445681A (zh) 模型训练及图像识别方法和装置、设备及存储介质
CN108073940B (zh) 一种非结构化环境中的3d目标实例物体检测的方法
Premarathna et al. An elephant detection system to prevent human-elephant conflict and tracking of elephant using deep learning
CN107103608B (zh) 一种基于区域候选样本选择的显著性检测方法
CN110084160B (zh) 一种基于运动和亮度显著性特征的视频森林烟火检测方法
CN110458064B (zh) 结合数据驱动型和知识驱动型的低空目标检测与识别方法
TWI696958B (zh) 影像適應性特徵提取法及其應用
Lejmi et al. A Novel Spatio-Temporal Violence Classification Framework Based on Material Derivative and LSTM Neural Network.
CN110059613B (zh) 一种基于稀疏表示的视频图像烟火分离与检测方法
Tian et al. Single image smoke detection
CN115018886B (zh) 运动轨迹识别方法、装置、设备及介质
Raja et al. Classification of indoor/outdoor scene

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant