CN110414598A - 烟雾检测方法、装置、计算机及存储介质 - Google Patents

烟雾检测方法、装置、计算机及存储介质 Download PDF

Info

Publication number
CN110414598A
CN110414598A CN201910681190.0A CN201910681190A CN110414598A CN 110414598 A CN110414598 A CN 110414598A CN 201910681190 A CN201910681190 A CN 201910681190A CN 110414598 A CN110414598 A CN 110414598A
Authority
CN
China
Prior art keywords
smog
dictionary
image block
low
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910681190.0A
Other languages
English (en)
Inventor
李国生
程广涛
田野
张丛
郝福得
赵洪伟
李建
李博
沈应波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TIANJIN SHENGDA FIRE INDUSTRIAL Corp.
Original Assignee
NATIONAL ENGINEERING RESEARCH CENTER FOR FIRE PROTECTION
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NATIONAL ENGINEERING RESEARCH CENTER FOR FIRE PROTECTION filed Critical NATIONAL ENGINEERING RESEARCH CENTER FOR FIRE PROTECTION
Priority to CN201910681190.0A priority Critical patent/CN110414598A/zh
Publication of CN110414598A publication Critical patent/CN110414598A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Emergency Management (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种烟雾检测方法、装置、计算机及存储介质，方法包括：将视频采集到的图像均匀分成若干烟雾图像块和正常图像块；将烟雾图像块作为正样本，正常图像块作为负样本生成训练样本矩阵；利用字典学习算法对所述训练样本矩阵进行压缩，生成压缩字典；对连续视频序列图像块利用低秩矩阵恢复进行重建，以使得所述重建的低秩矩阵的秩为1；从重建后的低秩矩阵任意选取一列向量，利用所述压缩字典计算所述向量在压缩字典下的表示系数；根据所述表示系数计算所述连续视频序列图像块的残差，并根据所述残差确定烟雾检测结果。通过对连续帧时空域进行烟雾静态和动态特征的联合分析，无需设定较多的图像特征即能实现烟雾的精准检测。

Description

烟雾检测方法、装置、计算机及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种烟雾检测方法、装置、计算机及存储介质。
背景技术
烟雾是火灾发生早期的重要标志之一，对烟雾的快速准确检测有助于采取及时有效的火灾救援措施。
现有技术中通常采用感烟探测器对烟雾进行检测，但室内感烟探测器由于实际应用环境中颗粒和灰尘的累积而容易产生误报和漏报。不仅如此，根据感烟探测器相关的规范规定，点型感烟火灾探测器不适用于高度超过12m的高大建筑空间。其并非适用于所有应用场景。并且感烟探测器的报警原理要求火灾产生的烟雾浓度达到预设定的阈值之后才触发报警，导致报警响应速度较慢。
目前，随着图像处理技术的发展，将图像识别引入烟雾检测能够有效弥补传统烟感探测器的不足。但发明人在实现本发明创造的过程中，发现现有技术中如下技术问题：为保证烟雾检测精度，设定的提取图像特征较多，相应的算法复杂，运算量大。如果减少相应的提取图像特征，则很难实现保证烟雾检测精度。
发明内容
本发明实施例提供了一种烟雾检测方法、装置、计算机及存储介质，以解决现有技术中烟雾图像检测过于依靠图像特征提取的技术问题。
第一方面，本发明实施例提供了一种烟雾检测方法，包括：
将视频采集到的图像均匀分成若干烟雾图像块和正常图像块；
将烟雾图像块作为正样本，正常图像块作为负样本生成训练样本矩阵；
利用字典学习算法对所述训练样本矩阵进行压缩，生成压缩字典；
对连续视频序列图像块利用低秩矩阵恢复进行重建，以使得所述重建的低秩矩阵的秩为1；
从重建后的低秩矩阵后任意选取一列向量，利用所述压缩字典计算所述向量在压缩字典下的表示系数；
根据所述表示系数计算所述连续视频序列图像块的残差，并根据所述残差确定烟雾检测结果。
进一步的，所述利用字典学习算法对所述训练样本矩阵进行压缩，生成压缩字典，包括：
建立压缩字典的数学模型；
根据所述数学模型计算压缩字典的列向量；
采用所述列向量表达所述压缩字典。
进一步的，所述建立压缩字典的数学模型，包括:
采用如下方式建立压缩字典的数学模型：
其中表示针对正样本数据字典Xsmoke的压缩字典，Λsmoke表示Dsmok在字典Xsmok下的编码系数，和Λnonsmoke分别表示针对负样本数据字典Xnonsmoke的压缩字典和编码系数。
进一步的，所述根据所述数学模型计算压缩字典的列向量包括：
固定Dsmoke,Dnonsmoke求解表示系数Λsmoke,Λnonsmoke，转为求解下面的目标函数
得到闭式解为：
然后固定Λsmoke,Λnonsmoke，求解压缩字典Dsmoke,Dnonsmoke，转为求解下面的目标函数：
其中dl为压缩字典的列向量，αl为表示系数的行向量。
求得dl为：
dl＝dl/||dl||2。
进一步的，所述对连续视频序列图像块利用低秩矩阵恢复进行重建包括：
建立联合低秩矩阵恢复数学模型；
利用增广拉格朗日乘子方法计算联合低秩矩阵恢复数学模型参数；
根据所述联合低秩矩阵恢复数学模型参数对连续视频序列图像块利用低秩矩阵恢复进行重建。
进一步的，所述建立联合低秩矩阵恢复数学模型,包括：
利用如下方式建立低秩矩阵恢复数学模型：
其中，Frobenius范数负责移除稠密噪声，||E||1负责移除稀疏噪声，A表示低秩矩阵恢复后的视频序列块，λ1,η表示正则化参数。
进一步的，所述利用增广拉格朗日乘子方法计算联合低秩矩阵恢复数学模型参数包括：
初始化各项参数；
依次固定每项参数，对其它项参数进行更新；
对收敛条件进行验证，计算得到联合低秩矩阵恢复数学模型参数。
进一步的，所述利用所述压缩字典计算所述向量在所述压缩字典下的表示系数，包括：
利用如下方式计算表示系数：
所述压缩字典D∈Rm×k，从重建的秩为1的矩阵A中任意选择一列f。
进一步的，所述根据所述表示系数计算所述连续视频序列图像块的残差，包括：
利用如下方式计算：
进一步的，在将视频采集到的图像均匀分成若干烟雾图像块和正常图像块之前，所述方法还包括：
将图像分为若干等大小的图像块；
根据当前帧图像块与背景模型确定运动像素；
根据所述运动像素确定烟雾图像块和正常图像块。
更进一步的，所述根据所述运动像素确定烟雾图像块和正常图像块包括：
计算预选烟雾图像块光流速度均值和方差；
在所述光流速度均值和方差均满足预设条件时，确定当前预选烟雾图像块为烟雾图像块。
第二方面，本发明实施例还提供了一种烟雾检测装置，包括：
分块模块，用于将视频采集到的图像均匀分成若干烟雾图像块和正常图像块；
生成模块，用于将烟雾图像块作为正样本，正常图像块作为负样本生成训练样本矩阵；
压缩模块，用于利用字典学习算法对所述训练样本矩阵进行压缩，生成压缩字典；
重建模块，用于对连续视频序列图像块利用低秩矩阵恢复进行重建，以使得所述重建的低秩矩阵的秩为1；
计算模块，用于从重建后的低秩矩阵后任意选取一列向量，利用所述压缩字典计算所述向量在压缩字典下的表示系数；
确定模块，用于根据所述表示系数计算所述连续视频序列图像块的残差，并根据所述残差确定烟雾检测结果。
进一步的，所述压缩模块包括：
建立单元，用于建立压缩字典的数学模型；
计算单元，用于根据所述数学模型计算压缩字典的列向量；
表达单元，用于采用所述列向量表达所述压缩字典。
进一步的，所述建立单元用于：
采用如下方式建立压缩字典的数学模型：
其中表示针对正样本数据字典Xsmoke的压缩字典，Λsmoke表示Dsmok在字典Xsmok下的编码系数，和Λnonsmoke分别表示针对负样本数据字典Xnonsmoke的压缩字典和编码系数。
进一步的，所述计算单元用于：
固定Dsmoke,Dnonsmoke求解表示系数Λsmoke,Λnonsmoke，转为求解下面的目标函数
得到闭式解为：
然后固定Λsmoke,Λnonsmoke，求解压缩字典Dsmoke,Dnonsmoke，转为求解下面的目标函数：
其中dl为压缩字典的列向量，αl为表示系数的行向量。
求得dl为：
dl＝dl/||dl||2。
进一步的，所述重建模块，包括：
建立单元，用于建立联合低秩矩阵恢复数学模型；
计算单元，用于利用增广拉格朗日乘子方法计算联合低秩矩阵恢复数学模型参数；
重建单元，用于根据所述联合低秩矩阵恢复数学模型参数对连续视频序列图像块利用低秩矩阵恢复进行重建。
进一步的，所述建立单元，用于：
利用如下方式建立低秩矩阵恢复数学模型：
其中，Frobenius范数负责移除稠密噪声，||E||1负责移除稀疏噪声，A表示低秩矩阵恢复后的视频序列块，λ1,η表示正则化参数。
进一步的，所述计算单元用于：
初始化各项参数；
依次固定每项参数，对其它项参数进行更新；
对收敛条件进行验证，计算得到联合低秩矩阵恢复数学模型参数。
进一步的，所述计算单元用于：
利用如下方式计算表示系数：
所述压缩字典D∈Rm×k，从重建的秩为1的矩阵A中任意选择一列f。
进一步的，所述确定模块，包括:
残差计算单元，用于：
利用如下方式计算：
进一步的，所述装置还包括；
分块模块，用于将图像分为若干等大小的图像块；
运动像素确定模块，用于根据当前帧图像块与背景模型确定运动像素；
图像块确定模块，用于根据所述运动像素确定烟雾图像块和正常图像块。
更进一步的，所述图像块确定模块，包括：
计算单元，用于计算预选烟雾图像块光流速度均值和方差；
烟雾图像块确定单元，用于在所述光流速度均值和方差均满足预设条件时，确定当前预选烟雾图像块为烟雾图像块。
第三方面，本发明实施例还提供了一种计算机，所述计算机包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述实施例提供的任一所述的烟雾检测方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如上述实施例提供的任一所述的烟雾检测方法。
本发明实施例提供的烟雾检测方法、装置、计算机及存储介质，通过建立正负样本矩阵，并利用字典学习算法对样本矩阵进行压缩，对训练样本进行压缩的同时增强图像分类能力；对待测试的连续时域图像块进行低秩矩阵恢复，以去除图像块中可能包含的稀疏和稠密噪声；最后求解重建的测试图像块在压缩字典下的稀疏表示系数，根据重构残差进行烟雾块的最终分类。确定是否存在烟雾。无需考虑选取烟雾图像中的图像特征，利用稀疏矩阵降低检测模型的复杂度，通过对连续帧时空域进行烟雾静态和动态特征的联合分析，将连续帧时域图像块的相关性进行特征分析，无需设定较多的图像特征即能实现烟雾的精准检测。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1是本发明实施例一提供的烟雾检测方法的流程示意图；
图2是本发明实施例二提供的烟雾检测方法的流程示意图；
图3是本发明实施例三提供的烟雾检测方法的流程示意图；
图4是本发明实施例四提供的烟雾检测装置的结构示意图；
图5是本发明实施例五提供的计算机的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一提供烟雾检测方法的流程示意图，本实施例可适用于利用采集到的图像对烟雾进行检测的情况，该方法可以由烟雾检测装置来执行，并可集成于可进行图像处理的计算机中，具体包括如下步骤：
S110，将视频采集到的图像均匀分成若干烟雾图像块和正常图像块。
在本实施例中，利用字典学习方式来实现对图像中是否存在烟雾进行识别。通过学习字典使得模型的复杂度降低，描述稀疏性。字典学习要求需要一定量的样本，因此，需要将视频采集得到的图像进行区分，作为样本实现字典学习。
示例性的，在本实施例中，可以将图像划分为若干等大小的图像块。可选的，可以选取48×48像素点作为图像块的大小。可以根据图像中的图像特征判断是否为烟雾图像，或者将之前收集的烟雾图像作为烟雾图像块，并将之前收集的非烟雾图像块作为正常图像块。
S120，将烟雾图像块作为正样本，正常图像块作为负样本生成训练样本矩阵。
示例性的，可以收集n1个48×48的烟雾块作为正样本，每个烟雾块按列排成2304维向量，所有正样本组成矩阵同样收集n2个48×48的非烟雾块作为负样本，并组成负样本矩阵记训练数据集字典训练数据集字典
S130，利用字典学习算法对所述训练样本矩阵进行压缩，生成压缩字典。
在实际应用过程中，由于烟雾图像块和正常图像块的数量较多，会导致运算资源消耗，降低运算速度，因此，为了减少运算量，提高运算速度。需要对上述训练样本矩阵进行压缩，生成压缩字典。
示例性的，所述利用字典学习算法对所述训练样本矩阵进行压缩，生成压缩字典，可以包括：建立压缩字典的数学模型；根据所述数学模型计算压缩字典的列向量；采用所述列向量表达所述压缩字典。
所述建立压缩字典的数学模型，包括:
采用如下方式建立压缩字典的数学模型：
其中表示针对正样本数据字典Xsmoke的压缩字典，Λsmoke表示Dsmok在字典Xsmok下的编码系数，和Λnonsmoke分别表示针对负样本数据字典Xnonsmoke的压缩字典和编码系数。
所述根据所述数学模型计算压缩字典的列向量包括：
固定Dsmoke,Dnonsmoke求解表示系数Λsmoke,Λnonsmoke，转为求解下面的目标函数
得到闭式解为：
然后固定Λsmoke,Λnonsmoke，求解压缩字典Dsmoke,Dnonsmoke，转为求解下面的目标函数：
其中dl为压缩字典的列向量，αl为表示系数的行向量。求得dl为：
dl＝dl/||dl||2。
利用上述方法，可以得到训练数据字典X的压缩字典D＝[Dsmoke,Dnonsmoke]。
S140，对连续视频序列图像块利用低秩矩阵恢复进行重建，以使得所述重建的低秩矩阵的秩为1。
连续视频序列图像块可以是不同时域的图像，对于烟雾图像来说，背景图像相对不变，前景图像略有变化，因此采集的视频序列图像块F＝[F1,F2,…,Fr]∈Rm×r理论上应该是近似低秩的。低秩性可以看做是稀疏性在矩阵上的拓展，矩阵秩最小化主要是指利用原始数据矩阵的低秩性进行矩阵的重建，这涉及到最小化矩阵的秩函数。低秩矩阵恢复则是指同时利用原始数据矩阵的低秩性和误差矩阵的稀疏性来恢复数据矩阵。
所述对连续视频序列图像块利用低秩矩阵恢复进行重建可以包括：建立联合低秩矩阵恢复数学模型；利用增广拉格朗日乘子方法计算联合低秩矩阵恢复数学模型参数；根据所述联合低秩矩阵恢复数学模型参数对连续视频序列图像块利用低秩矩阵恢复进行重建。
所述建立联合低秩矩阵恢复数学模型可以利用如下方式建立低秩矩阵恢复数学模型：
其中，Frobenius范数负责移除稠密噪声，||E||1负责移除稀疏噪声，A表示低秩矩阵恢复后的视频序列块，λ1,η表示正则化参数。
所述利用增广拉格朗日乘子方法计算联合低秩矩阵恢复数学模型参数包括：
初始化各项参数；
依次固定每项参数，对其它项参数进行更新；
对收敛条件进行验证，计算得到联合低秩矩阵恢复数学模型参数。
示例性的，可以采用如下方式：
初始化：A＝E＝Z＝0,T＝0,μ＝10-6,μmax＝104,ρ＝1.1,ε＝10-6
迭代直至收敛：
1固定其他项更新A：
2固定其他项更新E：
3固定其他项更新Z：
Z＝(T+μ(F-A-E))/(η+μ)
4更新拉格朗日乘子T：
T＝T+μ(F-A-E-Z)
5更新参数μ：
μ＝min(ρμ,μmax)
6验证收敛条件：
||F-A-E-Z||∞＜ε。
通过求解上述的目标函数，使得重建的低秩矩阵A的秩为1。
S150，从重建后的低秩矩阵后任意选取一列向量，利用所述压缩字典计算所述向量在压缩字典下的表示系数。
表示系数可以用于表明图像或者信号变换为系数所对应的线性的参数。表示系数可以用于作为相关性的表征。如果图像之间的相关性较高，则可以认为变化不大，相反，如果相关性不高，则说明联系图像之间的信息变化较大。
利用已经学习好的压缩字典D∈Rm×k，从重建的秩为1的矩阵A中任意选择一列f，它在压缩字典D下的表示系数被求解：
S160，根据所述表示系数计算所述连续视频序列图像块的残差，并根据所述残差确定烟雾检测结果。
残差在数理统计中是指实际观察值与估计值(拟合值)之间的差。在本实施例中可以用于表明连续图像中的非相关性部分和相关性部分之间的比值。可用于表征连续图像中的变化程度。
所述根据所述表示系数计算所述连续视频序列图像块的残差，可以利用如下方式计算：
在计算得到残差后，可以将计算得到的残差与预设的阈值进行比较，在所述残差小于预设的阈值时，则可以判定为烟雾图像。或者，也可预设一定的阈值区间，在所述残差落入所述阈值区间内，可以确定所述图像为烟雾图像，进而实现对烟雾的检测。
本实施例通过建立正负样本矩阵，并利用字典学习算法对样本矩阵进行压缩，对训练样本进行压缩的同时增强图像分类能力；对待测试的连续时域图像块进行低秩矩阵恢复，以去除图像块中可能包含的稀疏和稠密噪声；最后求解重建的测试图像块在压缩字典下的稀疏表示系数，根据重构残差进行烟雾块的最终分类。确定是否存在烟雾。无需考虑选取烟雾图像中的图像特征，利用稀疏矩阵降低检测模型的复杂度，通过对连续帧时空域进行烟雾静态和动态特征的联合分析，将连续帧时域图像块的相关性进行特征分析，无需设定较多的图像特征即能实现烟雾的精准检测。
实施例二
图2为本发明实施例二提供的烟雾检测方法的流程示意图。本实施例以上述实施例为基础进行优化，在本实施例中，在将视频采集到的图像均匀分成若干烟雾图像块和正常图像块之前，还可增加如下步骤：将图像分为若干等大小的图像块；根据当前帧图像块与背景模型确定运动像素，根据所述运动像素确定烟雾图像块和正常图像块。
相应的，本实施例所提供的烟雾检测方法，具体包括：
S210，将图像分为若干等大小的图像块。
由上述实施例的步骤可知，虽然通过字典压缩等方式能够减少运算量，但由于每秒视频采集的帧数数量通常在30-60帧左右。因此，其运算量仍然较高，影响烟雾检测响应的时效性。因此，在本实施例中，可以利用少数的图像特征对于图像进行初步检测，确定其是否存在烟雾的可能。示例性的，可以利用前景图像和背景图像的关系对是否存在烟雾进行检测。具体的，可以先将将图像分为若干等大小的图像块。可选的，图像宽度和高度分别为w和h，将图像分成48×48小块。图像大小的选取可以根据预设的搜索步长确定。相应的，可以将搜索步长设为12。
S220，根据当前帧图像块与背景模型确定运动像素，根据所述运动像素确定烟雾图像块和正常图像块。
示例性的，根据视频序列第n时刻图像的48×48块Fn和第n时刻背景图像块Bn，更新第n+1时刻图像块的背景模型Bn+1，
其中α∈(0,1)，Mn(x,y)表示运动像素掩膜。
根据当前帧图像块与背景模型确定运动像素：
其中T为预先设定的阈值。
若当前图像块满足则认为当前块对应的连续时域图像块为烟雾候选块，其中Tnum为预先设定的阈值。利用上述方式可以确定烟雾候选图像块和非烟雾候选图像块。
S230，将视频采集到的图像均匀分成若干烟雾图像块和正常图像块。
S240，将烟雾图像块作为正样本，正常图像块作为负样本生成训练样本矩阵。
S250，利用字典学习算法对所述训练样本矩阵进行压缩，生成压缩字典。
S260，对连续视频序列图像块利用低秩矩阵恢复进行重建，以使得所述重建的低秩矩阵的秩为1。
S270，从重建后的低秩矩阵后任意选取一列向量，利用所述压缩字典计算所述向量在压缩字典下的表示系数。
S280，根据所述表示系数计算所述连续视频序列图像块的残差，并根据所述残差确定烟雾检测结果。
本实施例通过在将视频采集到的图像均匀分成若干烟雾图像块和正常图像块之前，还可增加如下步骤：将图像分为若干等大小的图像块；根据当前帧图像块与背景模型确定运动像素，根据所述运动像素确定烟雾图像块和正常图像块。可以利用前景图像和背景图像初步判断是否为烟雾图像块，将确定的烟雾图像块通过后续处理进一步确定是否为烟雾图像。有效减少了运算量，降低了运算时长，提高了图像检测的响应速度。
实施例三
图3为本发明实施例三提供的烟雾检测方法的流程示意图。本实施例以上述实施例为基础进行优化，在本实施例中，将所述根据所述运动像素确定烟雾图像块和正常图像块具体优化为：计算当前图像块光流速度均值和方差；在所述光流速度均值和方差均满足预设条件时，确定所述当前图像块为烟雾图像块。
相应的，本实施例所提供的烟雾检测方法，具体包括：
S310，将图像分为若干等大小的图像块。
S320，根据当前帧图像块与背景模型确定运动像素。
S330，计算预选烟雾图像块光流速度均值和方差。
虽然利用前景图像和背景图像对采集到的视频图像是否变化进行检测，但仍然存在一些问题，例如：视频中人和物体的运动都会产生错误的检测结果。因此，在本实施例中，可以将利用前景和背景图像检测得到预选烟雾图像块通过光流法进行检测。光流法适用于表面变化和缓慢变化的运动场景。特别适合用于烟雾的检测。
光流速度均值和方差可以作为检测烟雾的表征参数。示例性的，所述光流速度均值和方差可以通过如下方式进行计算：
视频序列第n时刻图像块Fn(x,y,t)的时空梯度为：
3D高斯滤波被用来梯度光滑：
其中，G(x,y,t)表示3D高斯函数，*表示卷积运算。
张量矩阵被计算为：
水平方向与垂直方向的光流速度分别为：
计算当前图像块光流速度均值和方差：
S340，在所述光流速度均值和方差均满足预设条件时，确定当前预选烟雾图像块为烟雾图像块。
若当前图像块满足(Tm2＞mean＞Tm1)&(Tv2＞var＞Tv1)，则认为当前块对应的连续时域图像块为烟雾候选块，其中Tm1,Tm2,Tv1,Tv2为预先设定好的阈值。
S350，将烟雾图像块作为正样本，正常图像块作为负样本生成训练样本矩阵。
S360，利用字典学习算法对所述训练样本矩阵进行压缩，生成压缩字典。
S370，对连续视频序列图像块利用低秩矩阵恢复进行重建，以使得所述重建的低秩矩阵的秩为1。
S380，从重建后的低秩矩阵后任意选取一列向量，利用所述压缩字典计算所述向量在压缩字典下的表示系数。
S390，根据所述表示系数计算所述连续视频序列图像块的残差，并根据所述残差确定烟雾检测结果。
本实施例通过将所述根据所述运动像素确定烟雾图像块和正常图像块具体优化为：计算当前图像块光流速度均值和方差；在所述光流速度均值和方差均满足预设条件时，确定所述当前图像块为烟雾图像块。可以利用光流法对预选烟雾图像块进行筛选。提高烟雾图像的初步检测的准确度。
实施例四
图4是本发明实施例四提供的烟雾检测装置的结构示意图，如图4所示，所述装置包括：
分块模块410，用于将视频采集到的图像均匀分成若干烟雾图像块和正常图像块；
生成模块420，用于将烟雾图像块作为正样本，正常图像块作为负样本生成训练样本矩阵；
压缩模块430，用于利用字典学习算法对所述训练样本矩阵进行压缩，生成压缩字典；
重建模块440，用于对连续视频序列图像块利用低秩矩阵恢复进行重建，以使得所述重建的低秩矩阵的秩为1；
计算模块450，用于从重建后的低秩矩阵后任意选取一列向量，利用所述压缩字典计算所述向量在压缩字典下的表示系数；
确定模块460，用于根据所述表示系数计算所述连续视频序列图像块的残差，并根据所述残差确定烟雾检测结果。
本实施例提供的烟雾检测装置，通过建立正负样本矩阵，并利用字典学习算法对样本矩阵进行压缩，对训练样本进行压缩的同时增强图像分类能力；对待测试的连续时域图像块进行低秩矩阵恢复，以去除图像块中可能包含的稀疏和稠密噪声；最后求解重建的测试图像块在压缩字典下的稀疏表示系数，根据重构残差进行烟雾块的最终分类。确定是否存在烟雾。无需考虑选取烟雾图像中的图像特征，利用稀疏矩阵降低检测模型的复杂度，通过对连续帧时空域进行烟雾静态和动态特征的联合分析，将连续帧时域图像块的相关性进行特征分析，无需设定较多的图像特征即能实现烟雾的精准检测。
在上述各实施例的基础上，所述压缩模块包括：
建立单元，用于建立压缩字典的数学模型；
计算单元，用于根据所述数学模型计算压缩字典的列向量；
表达单元，用于采用所述列向量表达所述压缩字典。
在上述各实施例的基础上，所述建立单元用于：
采用如下方式建立压缩字典的数学模型：
其中表示针对正样本数据字典Xsmoke的压缩字典，Λsmoke表示Dsmok在字典Xsmok下的编码系数，和Λnonsmoke分别表示针对负样本数据字典Xnonsmoke的压缩字典和编码系数。
在上述各实施例的基础上，所述计算单元用于：
固定Dsmoke,Dnonsmoke求解表示系数Λsmoke,Λnonsmoke，转为求解下面的目标函数
得到闭式解为：
然后固定Λsmoke,Λnonsmoke，求解压缩字典Dsmoke,Dnonsmoke，转为求解下面的目标函数：
其中dl为压缩字典的列向量，αl为表示系数的行向量。
求得dl为：
dl＝dl/||dl||2。
在上述各实施例的基础上，所述重建模块，包括：
建立单元，用于建立联合低秩矩阵恢复数学模型；
计算单元，用于利用增广拉格朗日乘子方法计算联合低秩矩阵恢复数学模型参数；
重建单元，用于根据所述联合低秩矩阵恢复数学模型参数对连续视频序列图像块利用低秩矩阵恢复进行重建。
在上述各实施例的基础上，所述建立单元，用于：
利用如下方式建立低秩矩阵恢复数学模型：
其中，Frobenius范数负责移除稠密噪声，||E||1负责移除稀疏噪声，A表示低秩矩阵恢复后的视频序列块，λ1,η表示正则化参数。
在上述各实施例的基础上，所述计算单元用于：
初始化各项参数；
依次固定每项参数，对其它项参数进行更新；
对收敛条件进行验证，计算得到联合低秩矩阵恢复数学模型参数。
在上述各实施例的基础上，所述计算单元用于：
利用如下方式计算表示系数：
所述压缩字典D∈Rm×k，从重建的秩为1的矩阵A中任意选择一列f。
在上述各实施例的基础上，所述确定模块，包括:
残差计算单元，用于：
利用如下方式计算：
在上述各实施例的基础上，所述装置还包括；
分块模块，用于将图像分为若干等大小的图像块；
运动像素确定模块，用于根据当前帧图像块与背景模型确定运动像素；
图像块确定模块，用于根据所述运动像素确定烟雾图像块和正常图像块。
在上述各实施例的基础上，所述图像块确定模块，包括：
计算单元，用于计算预选烟雾图像块光流速度均值和方差；
烟雾图像块确定单元，用于在所述光流速度均值和方差均满足预设条件时，确定当前预选烟雾图像块为烟雾图像块。
本发明实施例所提供的烟雾检测装置可执行本发明任意实施例所提供的烟雾检测方法，具备执行方法相应的功能模块和有益效果。
实施例五
图5为本发明实施例五提供的一种计算机的结构示意图。图5示出了适于用来实现本发明实施方式的示例性计算机12的框图。图5显示的计算机12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，计算机12以通用计算设备的形式表现。计算机12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该设备/计算机/计算机12交互的设备通信，和/或与使得该计算机12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的烟雾检测方法。
实施例六
本发明实施例六还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如上述实施例提供的烟雾检测方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或计算机上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种烟雾检测方法，其特征在于，包括：
将视频采集到的图像均匀分成若干烟雾图像块和正常图像块；
将烟雾图像块作为正样本，正常图像块作为负样本生成训练样本矩阵；
利用字典学习算法对所述训练样本矩阵进行压缩，生成压缩字典；
对连续视频序列图像块利用低秩矩阵恢复进行重建，以使得所述重建的低秩矩阵的秩为1；
从重建后的低秩矩阵任意选取一列向量，利用所述压缩字典计算所述向量在压缩字典下的表示系数；
根据所述表示系数计算所述连续视频序列图像块的残差，并根据所述残差确定烟雾检测结果。
2.根据权利要求1所述的方法，其特征在于，所述利用字典学习算法对所述训练样本矩阵进行压缩，生成压缩字典，包括：
建立压缩字典的数学模型；
根据所述数学模型计算压缩字典的列向量；
采用所述列向量表达所述压缩字典；
所述建立压缩字典的数学模型，包括:
采用如下方式建立压缩字典的数学模型：
其中表示针对正样本数据字典Xsmoke的压缩字典，Λsmoke表示Dsmoke在字典Xsmoke下的编码系数，和Λnonsmoke分别表示针对负样本数据字典Xnonsmoke的压缩字典和编码系数。
3.根据权利要求2所述的方法，其特征在于，所述根据所述数学模型计算压缩字典的列向量包括：
固定Dsmoke,Dnonsmoke求解表示系数Λsmoke,Λnonsmoke，转为求解下面的目标函数
得到闭式解为：
然后固定Λsmoke,Λnonsmoke，求解压缩字典Dsmoke,Dnonsmoke，转为求解下面的目标函数：
其中dl为压缩字典的列向量，αl为表示系数的行向量。求得dl为：
dl＝dl/||dl||2。
4.根据权利要求1所述的方法，其特征在于，所述对连续视频序列图像块利用低秩矩阵恢复进行重建包括：
建立联合低秩矩阵恢复数学模型；
利用增广拉格朗日乘子方法计算联合低秩矩阵恢复数学模型参数；
根据所述联合低秩矩阵恢复数学模型参数对连续视频序列图像块利用低秩矩阵恢复进行重建；
所述建立联合低秩矩阵恢复数学模型,包括：
利用如下方式建立低秩矩阵恢复数学模型：
其中，Frobenius范数负责移除稠密噪声，||E||1负责移除稀疏噪声，A表示低秩矩阵恢复后的视频序列块，λ1,η表示正则化参数。
5.根据权利要求1所述的方法，其特征在于，所述利用所述压缩字典计算所述向量在压缩字典下的表示系数，包括：
利用如下方式计算表示系数：
所述压缩字典D∈Rm×k，从重建的秩为1的矩阵A中任意选择一列f。
6.根据权利要求1所述的方法，其特征在于，在将视频采集到的图像均匀分成若干烟雾图像块和正常图像块之前，所述方法还包括：
将图像分为若干等大小的图像块；
根据当前帧图像块与背景模型确定运动像素；
根据所述运动像素确定烟雾图像块和正常图像块。
7.根据权利要求6所述的方法，其特征在于，所述根据所述运动像素确定烟雾图像块和正常图像块包括：
计算预选烟雾图像块光流速度均值和方差；
在所述光流速度均值和方差均满足预设条件时，确定当前预选烟雾图像块为烟雾图像块。
8.一种烟雾检测方法装置，其特征在于，包括：
分块模块，用于将视频采集到的图像均匀分成若干烟雾图像块和正常图像块；
生成模块，用于将烟雾图像块作为正样本，正常图像块作为负样本生成训练样本矩阵；
压缩模块，用于利用字典学习算法对所述训练样本矩阵进行压缩，生成压缩字典；
重建模块，用于对连续视频序列图像块利用低秩矩阵恢复进行重建，以使得所述重建的低秩矩阵的秩为1；
计算模块，用于从重建后的低秩矩阵后任意选取一列向量，利用所述压缩字典计算所述向量在压缩字典下的表示系数；
确定模块，用于根据所述表示系数计算所述连续视频序列图像块的残差，并根据所述残差确定烟雾检测结果。
9.一种计算机，其特征在于，所述计算机包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的烟雾检测方法。
10.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7任一所述的烟雾检测方法。
CN201910681190.0A 2019-07-26 2019-07-26 烟雾检测方法、装置、计算机及存储介质 Pending CN110414598A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910681190.0A CN110414598A (zh) 2019-07-26 2019-07-26 烟雾检测方法、装置、计算机及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910681190.0A CN110414598A (zh) 2019-07-26 2019-07-26 烟雾检测方法、装置、计算机及存储介质

Publications (1)

Publication Number Publication Date
CN110414598A true CN110414598A (zh) 2019-11-05

Family

ID=68363307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910681190.0A Pending CN110414598A (zh) 2019-07-26 2019-07-26 烟雾检测方法、装置、计算机及存储介质

Country Status (1)

Country Link
CN (1) CN110414598A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913100A (zh) * 2022-05-16 2022-08-16 中国烟草总公司四川省公司 一种基于图像分析的烟叶烘烤程度检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339602A (zh) * 2008-07-15 2009-01-07 中国科学技术大学 一种基于光流法的视频火灾烟雾图像识别方法
CN102609681A (zh) * 2012-01-12 2012-07-25 北京大学 基于字典学习模型的人脸识别方法
CN104809463A (zh) * 2015-05-13 2015-07-29 大连理工大学 一种基于密集尺度不变特征转换字典学习的高精度火灾火焰检测方法
CN106384092A (zh) * 2016-09-11 2017-02-08 杭州电子科技大学 面向监控场景的在线低秩异常视频事件检测方法
US10009956B1 (en) * 2017-09-02 2018-06-26 Kamilo Feher OFDM, 3G and 4G cellular multimode systems and wireless mobile networks
CN108875552A (zh) * 2018-04-24 2018-11-23 中国人民解放军陆军工程大学 基于约减字典低秩表示的异常检测方法
CN109145841A (zh) * 2018-08-29 2019-01-04 武汉大学 一种基于视频监控的异常事件的检测方法及装置
CN109325446A (zh) * 2018-09-19 2019-02-12 电子科技大学 一种基于加权截断核范数的红外弱小目标检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339602A (zh) * 2008-07-15 2009-01-07 中国科学技术大学 一种基于光流法的视频火灾烟雾图像识别方法
CN101339602B (zh) * 2008-07-15 2011-05-04 中国科学技术大学 一种基于光流法的视频火灾烟雾图像识别方法
CN102609681A (zh) * 2012-01-12 2012-07-25 北京大学 基于字典学习模型的人脸识别方法
CN104809463A (zh) * 2015-05-13 2015-07-29 大连理工大学 一种基于密集尺度不变特征转换字典学习的高精度火灾火焰检测方法
CN106384092A (zh) * 2016-09-11 2017-02-08 杭州电子科技大学 面向监控场景的在线低秩异常视频事件检测方法
US10009956B1 (en) * 2017-09-02 2018-06-26 Kamilo Feher OFDM, 3G and 4G cellular multimode systems and wireless mobile networks
CN108875552A (zh) * 2018-04-24 2018-11-23 中国人民解放军陆军工程大学 基于约减字典低秩表示的异常检测方法
CN109145841A (zh) * 2018-08-29 2019-01-04 武汉大学 一种基于视频监控的异常事件的检测方法及装置
CN109325446A (zh) * 2018-09-19 2019-02-12 电子科技大学 一种基于加权截断核范数的红外弱小目标检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PASQUALE FOGGIA 等: "Real-Time Fire Detection for Video-Surveillance Applications Using a Combination of Experts Based on Color, Shape, and Motion", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *
申 扬 等: "基于背景先验与低秩恢复的显著性目标检测方法", 《计算机与现代化》 *
程广涛: "基于压缩感知的人脸识别方法研究", 《中国博士学位论文全文数据库信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913100A (zh) * 2022-05-16 2022-08-16 中国烟草总公司四川省公司 一种基于图像分析的烟叶烘烤程度检测方法
CN114913100B (zh) * 2022-05-16 2023-09-15 中国烟草总公司四川省公司 一种基于图像分析的烟叶烘烤程度检测方法

Similar Documents

Publication Publication Date Title
US10943145B2 (en) Image processing methods and apparatus, and electronic devices
CN110298798B (zh) 一种基于低秩张量补全与离散全变分的图像修复方法
WO2021203863A1 (zh) 基于人工智能的物体检测方法、装置、设备及存储介质
CN111444828B (zh) 一种模型训练的方法、目标检测的方法、装置及存储介质
CN109214238A (zh) 多目标跟踪方法、装置、设备及存储介质
CN110147745B (zh) 一种视频关键帧检测方法及装置
CN107729935B (zh) 相似图片的识别方法和装置、服务器、存储介质
CN112037223B (zh) 图像缺陷检测方法、装置及电子设备
US11954830B2 (en) High dynamic range support for legacy applications
CN109918513A (zh) 图像处理方法、装置、服务器及存储介质
CN111638791B (zh) 虚拟角色的生成方法、装置、电子设备及存储介质
US11165848B1 (en) Evaluating qualitative streaming experience using session performance metadata
CN114936979B (zh) 一种模型训练方法、图像去噪方法、装置、设备及存储介质
WO2023030381A1 (zh) 三维人头重建方法、装置、设备及介质
US11475549B1 (en) High dynamic range image generation from tone mapped standard dynamic range images
CN115841143A (zh) 使用神经网络对心率和呼吸速率进行联合估计
CN112308746A (zh) 一种教学状态评估方法、装置及电子设备
CN117030129A (zh) 纸杯在线检漏方法及其系统
CN110414598A (zh) 烟雾检测方法、装置、计算机及存储介质
CN111444802A (zh) 一种人脸识别方法、装置及智能终端
US11282258B1 (en) Adaptive sampling at a target sampling rate
CN109640090A (zh) 图片压缩方法及装置、设备和存储介质
US20190149878A1 (en) Determining and correlating visual context on a user device with user behavior using digital content on the user device
US10901726B2 (en) Intelligent visual regression system
CN112434629A (zh) 一种在线时序动作检测方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20201202

Address after: No.4 Xinyuan Road, Saida Industrial Park, wangwenzhuang Town, Xiqing District, Tianjin

Applicant after: TIANJIN SHENGDA FIRE INDUSTRIAL Corp.

Address before: 300382 Tianjin District of Xiqing City Fuxing Road No. 2

Applicant before: NATIONAL CENTER FOR FIRE ENGINEERING TECHNOLOGY

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20191105

RJ01 Rejection of invention patent application after publication