CN111126136A - 一种基于图像识别的烟雾浓度量化方法 - Google Patents

一种基于图像识别的烟雾浓度量化方法 Download PDF

Info

Publication number
CN111126136A
CN111126136A CN201911127988.7A CN201911127988A CN111126136A CN 111126136 A CN111126136 A CN 111126136A CN 201911127988 A CN201911127988 A CN 201911127988A CN 111126136 A CN111126136 A CN 111126136A
Authority
CN
China
Prior art keywords
smoke
layer
classification
model
concentration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911127988.7A
Other languages
English (en)
Other versions
CN111126136B (zh
Inventor
王春江
赵金城
刘伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201911127988.7A priority Critical patent/CN111126136B/zh
Publication of CN111126136A publication Critical patent/CN111126136A/zh
Application granted granted Critical
Publication of CN111126136B publication Critical patent/CN111126136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于图像识别的烟雾浓度量化方法，通过获得的待检测类型烟雾的各浓度烟雾图片，作为基于图像识别烟雾浓度的机器学习的带标签样本数据，通过自动标注程序和图片规格化，获得大量的针对待检测类型烟雾的带标签训练集，通过对有标签样本数据集采用有监督学习方法，获得针对待检测类型烟雾的具有工程应用精度级别的CNN神经网络模型；实现基于图像识别烟雾浓度的定量化分析。针对实际拍摄的烟雾图片，通过烟雾区域的自动识别和裁切获得目标检测图片，进入烟雾浓度的定量化分析，实现检测过程的自动化。本发明具有智能化、高效性和自动化识别等特征，通过有针对性的模型训练可实现针对各种类型烟雾图片的定量化描述。

Description

一种基于图像识别的烟雾浓度量化方法
技术领域
本发明涉及烟雾浓度识别技术领域，具体地，涉及一种智能化的基于图像识别的烟雾浓度量化方法，该烟雾浓度量化方法基于图像识别和机器学习算法实现。
背景技术
烟雾原意是空气中的煤烟与自然雾混合的产物，现泛指因工业生产排放的固体粉尘凝结后生成的雾状物，或由碳氢化合物和氮氧化物经光化学反应生成的二次污染物等多种污染物的混合体形成的烟雾。随着工业崛起和城市建设的快速发展，烟雾事件随处可见，当初的“伦敦烟雾事件”、“洛杉矶光化学烟雾”等已不再是特例。
城市高层、地下建筑以及大型综合性建筑日益增多，火灾隐患也大大增加，火灾的数量及其造成的损失呈逐年上升趋势。火灾不仅会造成财产损失，还会产生含有害气体的烟雾。烟雾浓度过高会直接威胁到人身安全，对烟雾及其浓度检测技术的研究成为必要问题被提出来。在火灾烟雾控制、性能化设计、人员疏散，材料安全评估，火羽流、燃烧诊断以及火灾探测等研究中，都需要对烟雾浓度进行准确的测量。
传统工业废气浓度测量最普遍的方法是林格曼烟气浓度图。按照白底上黑色条格占总面积的百分数分成0～5的林格曼级数，然后与烟气颜色相比较，当烟气颜色与其中色块接近时，则认为烟尘浓度与该色块的黑度等级一致。此测量方法简便快捷，但主观性比较大，精确度较低。
目前使用较为广泛的是基于光学的烟雾浓度测量方法。具体主要有：①利用光透过量表征，例如：2001年，赵建华用消光系数比来检验火灾烟雾浓度；2014年，西安近代化学研究所的孙美采用光学透过率表征烟雾浓度的大小。②利用光偏振特性，例如：2000年，朱海平、徐志君研究提出基于光偏振特性测定烟雾浓度方法。③利用光散射、反射量表征，例如：西南大学的刘峰研究激光通过烟雾后透射光强和散射光强之间的线性关系，设计出一种新型的激光烟雾浓度检测系统。
此外，还有很多人通过图像处理手段来研究烟雾，不过大多数停留在烟雾检测阶段。有学者尝试通过烟雾图像检测烟雾浓度，基本想法可分为基于烟雾本身特征检测和利用多光谱图像的检测。
目前，图像型烟雾探测技术受外界环境条件的影响较为严重，涉及到图像边缘特征获取、图像增强、降噪等算法的处理。在烟雾浓度量化方面的技术还不成熟。由于现有技术中，在图像方面研究大多停留在烟雾识别检测，烟雾浓度定量化大多是光学测量，即图像和浓度之间是割裂的，所以网上能够获取的烟雾视频或图像不能与烟雾浓度对应起来。而有监督的机器学习，必须要大量的含有标签的样本数据作为训练集。
基于训练好的机器学习模型基础上，分类方法是比较重要的，分类方法也是一种对离散型随机变量建模或预测的监督学习算法。使用案例包括邮件过滤、金融欺诈和预测雇员异动等输出为类别的任务。分类算法通常适用于预测一个类别(或类别的概率)而不是连续的数值。主要的分类学习方法有：Logistic回归方法、分类树(集成方法)、支持向量机方法、朴素贝叶斯方法等等。但是，如果将上述方法直接应用于烟雾浓度的检测中，通常存在如下技术难题：
1、光线、照度和背景对于图片分辨率的影响很难用具体的特征参数描述和量化；
2、分类检测精度比较低；
3、由于不同烟雾类型，图片反映出来的特征是不同的，传统的分类辨识方法对于具体烟雾的适应性不好；
4、传统的分类检测方法没有针对烟雾浓度连续性变化的特点进行的处理。
经过检索发现：
1、申请号：201511004836.X，申请日：2015年12月29日，发明名称：《用于危害气体探测器的模拟测试装置及模拟测试方法》，公开了一种用于危害气体探测器的模拟测试装置及模拟测试方法，并具体公开了，模拟测试装置结构紧凑、装配方便，可以模拟不同温度条件、不同烟雾浓度、不同风流条件、不同被测气体浓度等工况，可以模拟测试气体探测器对被测气体的敏感程度，从而估算出气体探测器的覆盖率；模拟测试方法记录在某一温度、不同烟雾浓度、不同风流条件下，摄像头拍摄烟雾图像并由图像采集卡转化成灰度，由烟雾图像的灰度程度直观地分析气体探测器对被测气体的敏感程度，从而估算出气体探测器的覆盖率。
该专利技术仍然存在如下问题：
该发明直接通过摄像头拍摄烟雾图像转化成灰度图，然后由烟雾图像的灰度程度直观地分析气体探测器对被测气体的敏感程度。目前利用灰度进行烟雾的分类，是精度比较低的方法，而且，该专利只能做分类，并依据此分类结果作报警处理，并不能做烟雾的定量检测。
2、申请号：201711102833.9，申请日：2017年11月10日，发明名称：《面向烟雾检测应用的预处理方法》，公开了一种面向烟雾检测应用过的预处理方法，该方法分为三步，第一步对输入图像进行预分类操作，将输入图像分无雾、轻雾和无雾三类。第二步，对于轻雾图像根据亮度信息进行去雾增强操作。第三步，对于去雾后的图像以及轻雾图像，进行天空分割操作，除去天空区域。经过预处理操作的图片再进行烟雾检测，提高了正确率以及检测效率。
该专利技术仍然存在如下问题：
本发明仅仅对是否有烟雾进行检测，通过两阶段判定法来提高检测的准确率，但是，对于具体的烟雾浓度没有涉及。
3、申请号：201810191929.5，申请日：2018年03月08日，发明名称：《一种智能抽油烟机风速调级方法及装置》，公开了一种智能抽油烟机风速调级方法，包括以下步骤：采集抽油烟机下方图像；对图像进行边缘检测，获得图像中的灶台目标区域；对图像中的灶台目标区域进行处理或者对灶台目标区域的视频流进行处理，得到烟雾信息；根据烟雾区域和烟雾等级生成并输出风速调节指令至风速调节器；风速调节器对抽油烟机的风速进行调级。本发明还公开了一种采用上述的智能抽油烟机风速调级方法的智能抽油烟机风速调级装置，包括相机、控制芯片和风速调节器，相机用于采集抽油烟机下方的图像，相机和风速调节器分别与控制芯片连接。通过对灶台区域拍摄进行处理获得烟雾区域和烟雾等级，对烟雾浓度的判断更加准确，抽油烟机的风速调节更准确。
该专利技术仍然存在如下问题：只能确定烟雾区域和烟雾等级，不能对烟雾进行具体的定量化描述。并且该发明中依据灰度值设定烟气阈值，将绝对差值分为低中高三个灰度梯度，比较粗糙，并且精度比较低。
由此可知，现有技术仍然存在精度比较低，稳定性和可靠性差的问题，针对各种类型的具有工业应用级别的烟雾浓雾量化方法目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。
发明内容
本发明针对现有技术中存在的上述不足，提供了一种基于图像识别的烟雾浓度量化方法。
本发明是通过以下技术方案实现的。
一种基于图像识别的烟雾浓度量化方法，包括：
S1，输入视频序列或图片；
S2，对S1中输入的视频序列或图片提取运动区域：如果提取到运动区域，则执行S3，如果没有提取到运动区域，则判断为无烟雾；
S3，对S2中得到的运动区域提取烟雾疑似区域：如果提取到疑似区域，则执行S4，如果没有提取到疑似区域，则判断为无烟雾；
S4，通过形态学对S3中得到的烟雾疑似区域变换形成连通域；
S5，将S4中得到的连通域分割为若干个子块；
S6，将S5中得到的若干个子块输入至经过标准样本集训练获得的分类模型，该分类模型中将烟雾浓度作为数据标签，得到每一个子块的分类结果；其中，所述分类模型根据烟雾浓度的检测在工业领域的应用精度的要求，设置烟雾浓度的分类阈值和分类数量，用于将连续的浓度数值通过分类阈值和分类数量调整到相应的精度；
S7，设置一阈值，若S6中得到的子块分类结果中，被判别为烟雾的结果超过该阈值，则执行S8，同时将该连通域判定为烟雾区域，如果没有超过该阈值，则判断为无烟雾；
S8，将组成S7中判定为烟雾区域的若干个子块输入至回归模型进行图像特征提取以及烟雾浓度预测，其中：所述回归模型由回归神经网络与贝叶斯线性模型组成，所述回归神经网络通过图像特征提取，对判定为烟雾区域的若干个子块进行初级数据标签分类，确定烟雾浓度预测值，并将提取的图像特征向量作为烟雾位置信息；所述贝叶斯线性模型考虑先验数据的分类，在所述回归神经网络的分类结果基础上，提升烟雾浓度数据标签分类的精度；
S9，对S8中得到的各子块的烟雾浓度预测值取平均值，并将该平均值作为烟雾区域浓度值信息。
优选地，所述S2中，对输入的视频序列提取运动区域，包括如下步骤：
S21，视频读取：按帧读取视频，得到每一帧图像；
S22，图像预处理：对S21中得到的每一帧图像进行高斯滤波处理，得到灰度化图像；
S23，对S22中得到的灰度化图像使用高斯混合模型将运动物体分离，检测得到运动区域。
优选地，所述S3中，采用HSV模型对得到的运动区域提取烟雾疑似区域，其中，采用经验阈值对图像进行分割，包括：
前景形态学变换：先对前景通过一次形态学开运算进行去噪处理，再通过一次形态学闭运算使相近区域连通，从而形成前景连通域；
将经过前景形态学变换的图像由RGB空间转换为HSV空间；
将烟雾疑似区域的H、S、V三分量所满足的区间经验阈值分别设为[30，150]、[0，70]、[150，260]，提取所述阈值范围内的像素。
优选地，所述S4中，通过形态学对S3中得到的烟雾疑似区域变换形成连通域，包括：
烟雾疑似区域形态学变换：先通过闭运算使S3中提取的烟雾疑似区域连通，再运用开运算去噪，形成烟雾疑似区域连通域。
优选地，所述S5中，分割得到的每一个子块的规格化尺寸为32×24像素单位，若尺寸不足，则通过仿射变换使尺寸满足要求。
优选地，所述S6中，采用的分类模型为二分类卷积神经网络模型，包含输入层Input、卷积层C1、卷积层C2、卷积层C3、池化层S1、池化层S2、池化层S3、全连接层以及输出层，优化方法为Adam优化器；
其中：
所述输入层Input，输入数据为32x24像素大小的图片，含RGB三通道；
所述卷积层C1，卷积核大小为5x5，步长为1，特征图个数为32，激活函数为RELU：f(x)＝max(0，x)，卷积核权重初始值由零均值、方差为0.1的正态分布生成，偏置为0.1；
所述池化层S1，核的大小为2x2，步长为2，采用最大池化，进行padding填充；
所述卷积层C2，卷积核大小为5x5，步长为1，特征图个数为96，激活函数为RELU，卷积核权重初始值由零均值、方差为0.1的正态分布生成，偏置为0.1；
所述池化层S2，核的大小为2x2，步长为2，采用最大池化，进行padding填充；
所述卷积层C3，卷积核大小为5x5，步长为1，特征图个数为128，激活函数为RELU：f(x)＝max(0，x)，卷积核权重初始值由零均值、方差为0.1的正态分布生成，偏置为0.1；
所述池化层S3，核的大小为2x2，步长为2，采用最大池化，进行padding填充；
所述全连接层F1，含1024个神经元与池化层S3相连，激活函数为RELU，为防止过拟合，使用Dropout，即在每个训练批次中，通过忽略一部分特征检测器来减少节点间的相互作用，避免过拟合，增强模型泛化能力；其中，忽略一部分特征检测器即让一部分隐层节点值为0；
所述输出层，含2个神经元与全连接层F1全连接，通过softmax函数计算是烟雾的概率，从而给出分类结果；其中：softmax公式为：
Figure BDA0002277459060000061
式中，P(i)表示第i神经元判定为烟雾的概率，fi(x)、fk(x)分别表示第i和第k个神经元对应的权重函数，K表示神经元的总数。
所述分类模型设置有满足应用精度要求的分类阈值和分类数量，进而实现将连续的浓度数值通过离散的数值阈值相应调整到设定的精度。
优选地，所述经过标准样本集训练获得分类模型的方法为：获取带有烟雾浓度数据标签的烟雾图片作为训练样本，形成标准样本集；其中，获取带有烟雾浓度数据标签的烟雾图片的方法为：
通过标准烟箱针对某一烟雾气体，在连续烟雾浓度分类阈值和分类数量下，分别进行多次烟雾实验获取烟雾图片；然后，通过图片和烟雾浓度自动标注方式，获得带有烟雾浓度数据标签的规格化处理后的烟雾图片。
训练时，每次从标准样本集中随机抽取A张图片进行训练，共抽取B次，充分利用标准样本集，提高模型表现。由于本发明中运用带烟雾浓度数据标签的标准样本集，进行有监督机器学习，因此，数量A和数量B可以根据使用情况尽可能多的提高训练集的数量和抽取次数，按照标准样本集所要达到的精度要求进行调整。
优选地，所述S8中，采用的回归模型由回归神经网络与贝叶斯线性模型组成；
其中，所述回归神经网络包含输入层Input、卷积层C1、卷积层C2、卷积层C3、池化层S1、池化层S2、池化层S3、全连接层F1、全连接层F2以及输出层，优化方法为Adam优化器；其中：
所述输入层Input，输入数据为32×24像素大小的图片，含RGB三通道；
所述卷积层C1，卷积核大小为5x5，步长为1，特征图个数为32，激活函数为RELU，卷积核权重初始值由零均值、方差为0.1的正态分布生成，偏置为0.1；
所述池化层S1，核的大小为2x2，步长为2，采用最大池化，进行padding填充；
所述卷积层C2，卷积核大小为5x5，步长为1，特征图个数为96，激活函数为RELU，卷积核权重初始值由零均值、方差为0.1的正态分布生成，偏置为0.1；
所述池化层S2，核的大小为2x2，步长为2，采用最大池化，进行padding填充；
所述卷积层C3，卷积核大小为5x5，步长为1，特征图个数为128，激活函数为RELU，卷积核权重初始值由零均值、方差为0.1的正态分布生成，偏置为0.1；
所述池化层S3，核的大小为2x2，步长为2，采用最大池化，进行padding填充；
所述全连接层F1，含1024个神经元与池化层S3相连，激活函数为RELU，为防止过拟合，使用Dropout，即在每个训练批次中，通过忽略一部分特征检测器来减少节点间的相互作用，避免过拟合，增强模型泛化能力；其中，忽略一部分特征检测器即让一部分隐层节点值为0；
所述全连接层F2，含32个神经元与全连接层F1全连接，激活函数为RELU，使用Dropout，其提取的特征即为烟雾区域的图像特征向量；
所述输出层，含1个神经元与全连接层F2全连接，其值即为烟雾浓度预测值。
优选地，所述方法还包括：
S10，根据对S8中得到的烟雾位置信息和S9中得到的烟雾区域浓度值信息，输出该烟雾区域的烟雾位置和烟雾浓度值。
本发明提供的基于图像识别的烟雾浓度量化方法，利用标准烟箱得到的不同烟雾浓雾和不同光照条件下的烟雾图片，获得了大量的扩充和自动标注的带数据标签的标准样本集作为训练集；通过带标签机器学习方法获得了具有工程应用精度级别的学习模型；通过贝叶斯高效分类算法快速实现针对机器模型和待检测图片的分类，即烟雾浓度的定量化表述。
与现有技术相比，本发明具有如下至少一种有益效果：
1、本发明提供的基于图像识别的烟雾浓度量化方法，通过自动标注方法，可建立大量的带数据标签训练集(即标准样本集)，实现连续性的数据测试功能，使得模型分类与定量化之间建立了科学的联系。
2、本发明提供的基于图像识别的烟雾浓度量化方法，带数据标签训练集，可以考虑实际环境中光照条件和烟雾分布规律等的影响，通过图片的训练参数的增多来大幅度增加模型的精度和工业应用的级别；训练参数的选择包括烟雾图片的灰度特征、亮度特征、分布特征和动态变化特征等。
3、本发明提供的基于图像识别的烟雾浓度量化方法，带数据标签训练集的设计，考虑的图片的规格化处理，通过规格化处理，解决了大量图片的参数不一致性问题，给图片的特征描述增加稳定性。
4、本发明提供的基于图像识别的烟雾浓度量化方法，避免了接触式测量和激光测量等传统方法的许多缺点，采用工业黑白相机保留图像最原始的信息，光通量及细节表现均强于彩色相机，本发明方法实现了通过机器模型描述烟雾图像与烟雾浓度的关系。
5、本发明提供的基于图像识别的烟雾浓度量化方法，可在自然环境下和存在干扰物的烟雾照片中自动识别和提取仅有烟雾区域的图片，并进行烟雾浓度检测的图片规格化处理和数据准备，该方法具有智能化和高效性。
6、本发明提供的基于图像识别的烟雾浓度量化方法，通过采用快速的贝叶斯分类算法，实现基于有监督机器学习和快速分类的过程，实现针对特定烟雾图片实现定量检测。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例所提供的CNN神经网络结构图；
图2为本发明实施例所提供的贝叶斯分类算法流程图；
图3为本发明实施例所提供的基于图像识别的烟雾浓度量化方法综合流程图。
具体实施方式
下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。以下没有详细说明的部分均可以采用现有技术实现。
本发明实施例提供了一种基于图像识别的烟雾浓度量化方法，在优选方式中，该方法通过获取大量的已知烟雾浓度的照片(样本数据)，将烟雾浓度作为数据标签，通过贝叶斯方法，来寻找图像信息与烟雾浓度的归类关系。通过该烟雾浓度机器学习模型，运用朴素贝叶斯方法对任意的获得的自然环境行下的烟雾图片，进行有监督机器学习方法的烟雾浓度定量检测。本发明提供的基于图像识别的烟雾浓度量化方法，拓展研究了烟雾图像浓度检测，是一种基于人工智能的烟雾检测及浓度定量化方法。
具体地，本发明实施例所提供的一种基于图像识别的烟雾浓度量化方法，包括：
S1，输入视频序列或图片；
S2，对S1中输入的视频序列或图片提取运动区域：如果提取到运动区域，则执行S3，如果没有提取到运动区域，则判断为无烟雾；
S3，对S2中得到的运动区域提取烟雾疑似区域：如果提取到疑似区域，则执行S4，如果没有提取到疑似区域，则判断为无烟雾；
S4，通过形态学对S3中得到的烟雾疑似区域变换形成连通域；
S5，将S4中得到的连通域分割为若干个子块；
S6，将S5中得到的若干个子块输入至经过标准样本集训练获得的分类模型，分类模型中将烟雾浓度作为数据标签，得到每一个子块的分类结果；其中，所述分类模型根据烟雾浓度的检测在工业领域的应用精度的要求，设置烟雾浓度的分类阈值和分类数量；
S7，设置一阈值，若S6中得到的子块分类结果中，被判别为烟雾的结果超过该阈值，如果是，则执行S8，同时将该连通域判定为烟雾区域，如果没有超过该阈值，则判断为无烟雾；比如，S6得到的子块分类结果中，被判别为烟雾的结果是否超过总子块分类结果的1/3，如果是，则执行S8；该阈值可根据不同烟雾类型的机器学习结果做适当调整；
S8，将组成S7中判定为烟雾区域的若干个子块输入至回归模型进行图像特征提取以及烟雾浓度预测，其中：所述回归模型由回归神经网络与贝叶斯线性模型组成，所述回归神经网络通过图像特征提取，对判定为烟雾区域的若干个子块进行初级数据标签分类，确定烟雾浓度预测值，并将提取的图像特征向量作为烟雾位置信息；所述贝叶斯线性模型考虑先验数据的分类，在所述回归神经网络的分类结果基础上，提升烟雾浓度数据标签分类的精度；
S9，对S8中得到的各子块的烟雾浓度预测值取平均值，并将该平均值作为烟雾区域浓度值信息。
以下对本发明优先实施例中的各技术特征进行详细说明。
本发明优选实施例中采用卷积神经网络模型作为分类模型，卷积神经网络在视觉模型上有很好的泛化能力，权重共享极大地减少了自由参数的数量，从而减少了内存的需要，便于训练更复杂、强大的网络。因此本发明实施例的模型主要依赖卷积神经网络来建立。
具体的，在上述S6中，采用的分类模型为二分类CNN(卷积神经网络模型)，该分类模型用于判断是否为烟雾区，包含输入层、三个卷积层、三个池化层、一个全连接层与输出层，优化方法为Adam优化器。如图1所示，具体网络结构如下：
(1)输入层Input。输入数据为32x24大小的图片，含RGB三通道。
(2)卷积层C1。卷积核大小为5x5，步长为1，特征图个数为32，激活函数为RELU(线性整流函数，其公式为f(x)＝max(0，x))，卷积核权重初始值由零均值、方差为0.1的正态分布生成，偏置为0.1。
(3)池化层S1。核的大小为2x2，步长为2，采用最大池化，进行padding填充。
(4)卷积层C2。特征图个数为96，其余设置与卷积层C1相同。
(5)池化层S2。同池化层S1。
(6)卷积层C3。特征图个数为128，其余设置与卷积层C1相同。
(7)池化层S3。同池化层S1。
(8)全连接层F1。含1024个神经元与S3相连，激活函数为RELU，为防止过拟合，使用Dropout，即在每个训练批次中，通过忽略一部分特征检测器(让一部分隐层节点值为0)来减少节点间的相互作用，避免过拟合，增强模型泛化能力。
(9)输出层。含2个神经元与F1全连接，通过softmax函数计算是烟雾的概率，从而给出分类结果。softmax公式为
Figure BDA0002277459060000111
式中，P(i)表示第i神经元判定为烟雾的概率，fi(x)、fk(x)分别表示第i和第k个神经元对应的权重函数，K表示神经元的总数。
为训练该网络，本实施例从数据库下载烟雾视频、图片，从中提取烟雾、非烟雾区域并将其分割为32x24小块建立训练集，非烟雾包含与烟雾近似的物体，如云、水汽等，从而便于网络提取特征提升准确性。当然，在其他实施例中，也可以分割为其他的尺寸的小块，并不局限于上述的32x24小块。
训练集中，烟雾图片与非烟雾图片各有约12000张，测试集中各500张。训练时，每次从数据集中随机抽取100张图片进行训练，共抽取2000次，这样可以充分利用数据集，提高模型表现。模型在测试集上的分类准确率达到了97％，远高于svm等传统算法的65％准确率。
在另一优选实施例中，S8中，回归模型的训练数据通过烟雾浓度定量化实验获得。由于实验所得数据有限，实施例使用数据增强手段来扩充数据集。常用的数据增强手段有旋转/反射变换(Rotation/reflection)、翻转变换(flip)、缩放变换(zoom)等，keras提供的ImageDataGenerator类可以实现这一操作。回归模型由回归神经网络与贝叶斯线性模型组成，回归神经网络包含输入层、三个卷积层、三个池化层、两个全连接层与输出层，优化方法为Adam优化器，网络结构如下：
(1)输入层Input。输入数据为32x24大小的图片，含RGB三通道。
(2)卷积层C1。卷积核大小为5x5，步长为1，特征图个数为32，激活函数为RELU，卷积核权重初始值由零均值、方差为0.1的正态分布生成，偏置为0.1。
(3)池化层S1。核的大小为2x2，步长为2，采用最大池化，进行padding填充。
(4)卷积层C2。特征图个数为96，其余设置与卷积层C1相同。
(5)池化层S2。同池化层S1。
(6)卷积层C3。特征图个数为128，其余设置与卷积层C1相同。
(7)池化层S3。同池化层S1。
(8)全连接层F1。含1024个神经元与S3相连，激活函数为RELU，为防止过拟合，使用Dropout，即在每个训练批次中，通过忽略一部分特征检测器(让一部分隐层节点值为0)来减少节点间的相互作用，避免过拟合，增强模型泛化能力。
(9)全连接层F2。含32个神经元与F1全连接，激活函数为RELU，使用Dropout。
(10)输出层。含1个神经元与F3全连接，其值即为预测浓度。
以浓度为标签训练通过最小化均方根误差训练该神经网络，每次抽取64张图片进行训练，共训练3000轮，通过给参数提供不同的初始值多次训练最终获得表现最好的结果，其平均误差约为10％。
通过采用带烟雾浓度数据标签的标准样本集、对烟雾图片进行扩充和自动标注以及对烟雾图像的烟雾前景进行自动分离和对烟雾区进行自动捕捉，实现对烟雾图像的图像处理。本发明实施例中，扩充和自动标注均采用现有技术实现。得到带浓度标签的烟雾图像后，可以运用图像数据增强手段来扩充图像样本数据集。具体的，采用的数据增强手段有旋转/反射变换(Rotation/reflection)、翻转变换(flip)、缩放变换(zoom)等操作；通过这些操作使得本发明在数据集的扩充发明得到实现，保证了图片数据集的丰富性和多样性。
为了提升模型效果，本发明实施例进一步采用贝叶斯线性模型。贝叶斯方法具有很多优势，它天然地将先验知识与观测结果结合起来，对于数据并不像一般的决策方法一样完全相信，而是结合先验获得后验，这符合任何观察结果都有误差的事实，尤其是在数据量较小的情况下，可以很有效地避免因观测误差导致的模型偏差。随着数据的增加，它可以不断进行更新，使决策更加完善合理。
本发明实施例将卷积神经网络第二层全连接层提取的向量作为图片的特征向量，浓度为标签训练贝叶斯回归模型，该模型在测试集上的平均误差约为6％，效果显著优于直接使用神经网络进行回归。
具体的，回归模型中，贝叶斯线性模型具体如下：
(1)朴素贝叶斯分类
①设x＝{a1，a2，...，am}为一个待分类项，而每个a为x的一个特征属性
②有类别集合C＝{y1，y2，...，yn}
③计算P(y1|x)，P(y2|x)，...，P(yn|x)
④如果P(yk|x)＝max{P(y1|x)，P(y2|x)，...，P(yn|x)}，则x∈yk
计算第③步的条件概率：
a)找到一个已知分类的待分类项集合，这个集合叫做训练样本集。
b)统计得到在各类别下各个特征属性的条件概率估计，即
P(a1|y1)，P(a2|y1)，...，P(am|y1)；P(a1|y2)，P(a2|y2)，...，
P(am|y2)；...；P(a1|yn)，P(a2|yn)，...，P(am|yn)
c)如果各个特征属性是条件独立的，则根据贝叶斯定理有如下推导
Figure BDA0002277459060000131
因为分母对于所有类别为常数，因为本发明实施例只要将分子最大化皆可。又因为各特征属性是条件独立的，所以有：
Figure BDA0002277459060000132
(2)贝叶斯线性回归模型
贝叶斯线性回归(Bayesian linear regression)是使用统计学中贝叶斯推断(Bayesian inference)方法求解的线性回归(linear regression)模型。
贝叶斯线性回归将线性模型的参数视为随机变量(random variable)，并通过模型参数(权重系数)的先验(prior)计算其后验(posterior)。贝叶斯线性回归可以使用数值方法求解，在一定条件下，也可得到解析型式的后验或其有关统计量。
贝叶斯线性回归使用如下的多元线性回归模型：
f(X)＝XTω，y＝f(X)+∈
这里ω为权重系数，∈为残差。由于学习样本间相互独立，因此∈为独立同分布。贝叶斯线性回归假设残差服从正态分布，其方差服从逆Gamma分布(Inverse-Gammadistribution)
Figure BDA0002277459060000133
Figure BDA0002277459060000134
μn与(a，b)需要预先指定。
根据线性模型，权重系数ω与观测数据X、残差的方差
Figure BDA0002277459060000135
相互独立，由贝叶斯定理可知：
Figure BDA0002277459060000136
式中
Figure BDA0002277459060000137
为似然，
Figure BDA0002277459060000138
为y的边缘似然，仅与观测数据有关，与权重系数相互独立。p(ω)为权重系数的先验，通常选择零均值的正态分布
Figure BDA0002277459060000141
由共轭先验求解可得，权重系数的后验为：
Figure BDA0002277459060000142
其中，
Figure BDA0002277459060000143
由上式可以得到权重系数的均值和置信区间。
预测结果可通过边缘化模型权重获得
Figure BDA0002277459060000144
式中，X*为预测数据，f*为预测结果。对于零均值的正态先验，预测结果为：
Figure BDA0002277459060000145
如图2所示，本发明实施例中，整个基于贝叶斯线性回归模型的分类分为三个阶段：
准备工作阶段，任务是为贝叶斯线性回归模型的做必要的准备，主要工作是根据具体情况确定特征属性，并对每个特征属性进行适当划分，然后由人工对一部分待分类项进行分类，形成训练样本集合。这一阶段的输入是所有待分类数据，输出是特征属性和训练样本。这一阶段是整个朴素贝叶斯分类中唯一需要人工完成的阶段，其质量对整个过程将有重要影响，分类器的质量很大程度上由特征属性、特征属性划分及训练样本质量决定。
分类器训练阶段，这个阶段的任务就是生成分类器，主要工作是计算每个类别在训练样本中的出现频率及每个特征属性划分对每个类别的条件概率估计，并将结果记录。其输入是特征属性和训练样本，输出是分类器。
应用阶段，这个阶段的任务是使用分类器对待分类项进行分类，其输入是分类器和待分类项，输出是待分类项与类别的映射关系。
当特征属性为连续值时，通常假定其值服从高斯分布(也称正态分布)。
因此只要计算出训练样本各个类别中此特征项划分的各均值和标准差，代入高斯分布公式即可得到需要的估计值。
当P(y|x)＝0时，即某个类别下某个特征项划分没有出现，这会令分类器质量大大降低。为了解决这个问题，本发明实施例引入Laplace校准，它的思想非常简单，就是对每类别下所有划分的计数加1，这样如果训练样本集数量充分大时，并不会对结果产生影响，并且解决了上述频率为0的尴尬局面。
如图3所示，在本发明一具体较优的实施例，基于图像识别的烟雾浓度量化方法可以分为烟雾区域检测部分和烟雾浓度定量部分。
需要说明的是，以下分为两个部分进行描述，其中的序号是为了方便描述而设定的，与本发明实施例所提供技术方案的步骤序号没有关系，此部分的序号描述不影响技术方案中步骤序号的执行。
1、烟雾区域检测部分
基于帧视频的烟雾区域检测，包括：
(1)视频读取。使用OpenCV按帧读取视频cv2.VideoCapture(VIDEO_FILE)。
(2)图像预处理。对图像进行高斯滤波处理cv2.GaussianBlur(img01，(3，3)，0)。
(3)使用高斯混合模型检测运动区域。
将图像灰度化，再利用高斯混合模型将运动物体分离(要求摄像头保持静止)。OpenCV提供了高斯混合模型前景检测的函数：
cv2.createBackgroundSubtractorMOG2(history＝500，detectShadows＝False)。
(4)前景形态学变换。由于GMM检测到的前景含有大量的噪点，因此先对前景通过一次形态学开运算进行去噪处理，再一次形态学闭运算使相近区域连通，从而形成连通域。
(5)HSV模型提取烟雾疑似区域。HSV模型分割图像可采用聚类模型，但由于程序需要对视频序列进行处理，为了降低复杂度，本实施例采用经验阈值对图像进行分割。首先将图像由RGB空间转换为HSV空间，可由函数cv2.cvtColor(img，cv2.COLOR_BGR2HSV)实现；烟雾疑似区域的H、S、V三分量所满足的区间分别为[30，150]，[0，70]，[150，260]，可通过cv2.inRange()函数提取范围内的像素。
(6)烟雾疑似区域形态学变换。HSV模型分割所得区域为分散的块状区域，因此先通过闭运算使区域连通，再运用开运算去噪。
(7)对上述两区域求交集，并再次使用闭运算、开运算处理。
(8)取外接矩形。计算图像中各区域面积并选择面积位于前三且大于50个像素点的区域作为待检区域，求取其外接矩形，并通过图像的旋转将该矩形区域切割出来。
(9)区域分割。将待检区域分割为若干32*24的小块，若尺寸不足，则通过仿射变换使其尺寸符合要求。
(10)烟雾检测。将上一步所得小块输入至分类模型(见3.1.1)，得到所有小块的分类结果。函数为classify(block)。
(11)区域性质判别。若区域中超过1/3的小块分类结果为烟雾，则认为该区域为烟雾区域。
(12)输出。将烟雾区域用矩形方框标记，并在矩形中心标注烟雾判定概率数值。
2、烟雾浓度定量
(1)模型训练
①获取大量的已知烟雾浓度的照片；
②通过对图片的规格化处理获得标准的样本数据；
③通过有监督机器学习方法训练卷积神经网络模型，该卷积神经网络模型用于给出烟雾浓度数值，即烟雾浓度量化；
④通过标准算例验证卷积神经网络模型的精度；
⑤如果精度不符合要求，通过增加不同光照和环境背景下的烟雾图片继续机器学习的模型，直到达到满意的精度为止；
(2)通过视频或普通照片自动识别和裁剪烟雾图片
①使用高斯混合模型提取运动区域；
②使用HSV模型提取烟雾疑似区域；
③对前两步所得区域求交集并通过形态学变化形成连通域；
④对每个连通域求外接矩形并划分32×24小块；
⑤将小块输入至二分类卷积神经网络，若三分之一以上的小块为的烟雾区域，则判定该区域为烟雾区域；
(3)针对获得的待检测烟雾图片进行规格化处理；
(4)针对以上图片进行烟雾浓度的定量检测，将烟雾区域的小块提取烟雾区域位置对应的特征向量，然后输入至贝叶斯线性回归模型；
(5)烟雾浓度预测。将烟雾区域中被判别为烟雾的小块图片，输入至卷积神经网络模型，并把贝叶斯线性回归模型运用到训练好的卷积神经网络模型中的最后分类操作过程，得到各小块烟雾浓度预测值，各小块烟雾浓度平均值即为该烟雾区域浓度。
在本发明中卷积神经网络模型用了两次，一次是进行烟雾是和否的分类，这是二分类；另一个是对烟雾进行带标签的回归，自动提取特征量并结合贝叶斯线性回归模型进行，最后给出了烟雾标签归类结果，实际上就给出了烟雾浓度的定量。图1是CNN框架图。
(6)检测完毕，输出定量结果，定量结果包括烟雾区域位置及其浓度。
本发明上述实施例提供的一种基于图像识别的烟雾浓度量化方法，通过标准实验烟箱中获得的待检测类型烟雾的各浓度对应的烟雾图片，作为基于图像识别烟雾浓度的机器学习的带数据标签样本数据，通过图片扩充和烟雾浓度自动标注程序，获得大量的针对待检测类型烟雾的带数据标签训练集(烟雾图片)作为二分类卷积神经网络模型的训练样本，通过对有标签样本数据集采用有监督学习方法，获得针对待检测类型烟雾的具有工程应用精度级别的神经网络模型；对图片进行规格化处理，能使处理后的图片具有一致的图片尺寸，易于后期的处理和模型学习。
本发明所提供的基于图像识别的烟雾浓度量化方法，针对实际拍摄的烟雾图片，通过烟雾区域的自动识别和裁切获得目标检测图片，然后进入烟雾浓度的定量化分析，实现检测过程的自动化。具有智能化、高效性和自动化识别等特征，通过有针对性的模型训练可实现针对各种类型烟雾图片的定量化描述。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (9)

1.一种基于图像识别的烟雾浓度量化方法，其特征在于，包括：
S1，输入视频序列或图片；
S2，对S1中输入的视频序列或图片提取运动区域：如果提取到运动区域，则执行S3，如果没有提取到运动区域，则判断为无烟雾；
S3，对S2中得到的运动区域提取烟雾疑似区域：如果提取到疑似区域，则执行S4，如果没有提取到疑似区域，则判断为无烟雾；
S4，通过形态学对S3中得到的烟雾疑似区域变换形成连通域；
S5，将S4中得到的连通域分割为若干个子块；
S6，将S5中得到的若干个子块输入至经过标准样本集训练获得的分类模型，该分类模型中将烟雾浓度作为数据标签，得到每一个子块的分类结果；其中，所述分类模型根据烟雾浓度的检测在工业领域的应用精度的要求，设置烟雾浓度的分类阈值和分类数量；
S7，设置一阈值，若S6中得到的子块分类结果中，被判别为烟雾的结果超过该阈值，则执行S8，同时将该连通域判定为烟雾区域，如果没有超过该阈值，则判断为无烟雾；
S8，将组成S7中判定为烟雾区域的若干个子块输入至回归模型进行图像特征提取以及烟雾浓度预测，其中：所述回归模型由回归神经网络与贝叶斯线性模型组成，所述回归神经网络通过图像特征提取，对判定为烟雾区域的若干个子块进行初级数据标签分类，确定烟雾浓度预测值，并将提取的图像特征向量作为烟雾位置信息；所述贝叶斯线性模型考虑先验数据的分类，在所述回归神经网络的分类结果基础上，提升烟雾浓度数据标签分类的精度；
S9，对S8中得到的各子块的烟雾浓度预测值取平均值，并将该平均值作为烟雾区域浓度值信息。
2.根据权利要求1所述的基于图像识别的烟雾浓度量化方法，其特征在于，所述S2中，对输入的视频序列或图片提取运动区域，包括：
S21，视频读取：按帧读取视频或图片，得到每一帧图像；
S22，图像预处理：对S21中得到的每一帧图像进行高斯滤波处理，得到灰度化图像；
S23，对S22中得到的灰度化图像使用高斯混合模型将运动物体分离，检测得到运动区域。
3.根据权利要求1所述的基于图像识别的烟雾浓度量化方法，其特征在于，所述S3中，采用HSV模型对得到的运动区域提取烟雾疑似区域，其中，采用经验阈值对图像进行分割，包括：
前景形态学变换：先对前景通过一次形态学开运算进行去噪处理，再通过一次形态学闭运算使相近区域连通，从而形成前景连通域；
将经过前景形态学变换的图像由RGB空间转换为HSV空间；
将烟雾疑似区域的H、S、V三分量所满足的区间经验阈值分别设为[30,150]、[0,70]、[150,260]，提取所述经验阈值范围内的像素。
4.根据权利要求1所述的基于图像识别的烟雾浓度量化方法，其特征在于，所述S4中，通过形态学对S3中得到的烟雾疑似区域变换形成连通域，包括：
烟雾疑似区域形态学变换：先通过闭运算使S3中提取的烟雾疑似区域连通，再运用开运算去噪，形成烟雾疑似区域连通域。
5.根据权利要求1所述的基于图像识别的烟雾浓度量化方法，其特征在于，所述S5中，分割得到的每一个子块的像素尺寸为32×24，若尺寸不足，则通过仿射变换使尺寸满足要求。
6.根据权利要求1所述的基于图像识别的烟雾浓度量化方法，其特征在于，所述S6中，采用的分类模型为二分类卷积神经网络模型，包含输入层Input、卷积层C1、卷积层C2、卷积层C3、池化层S1、池化层S2、池化层S3、全连接层以及输出层，优化方法为Adam优化器；
其中：
所述输入层Input，输入数据为32x24像素大小的图片，含RGB三通道；
所述卷积层C1，卷积核大小为5x5，步长为1，特征图个数为32，激活函数为RELU：f(x)＝max(0,x)，卷积核权重初始值由零均值、方差为0.1的正态分布生成，偏置为0.1；
所述池化层S1，核的大小为2x2，步长为2，采用最大池化，进行padding填充；
所述卷积层C2，卷积核大小为5x5，步长为1，特征图个数为96，激活函数为RELU，卷积核权重初始值由零均值、方差为0.1的正态分布生成，偏置为0.1；
所述池化层S2，核的大小为2x2，步长为2，采用最大池化，进行padding填充；
所述卷积层C3，卷积核大小为5x5，步长为1，特征图个数为128，激活函数为RELU：f(x)＝max(0,x)，卷积核权重初始值由零均值、方差为0.1的正态分布生成，偏置为0.1；
所述池化层S3，核的大小为2x2，步长为2，采用最大池化，进行padding填充；
所述全连接层F1，含1024个神经元与池化层S3相连，激活函数为RELU，为防止过拟合，使用Dropout，即在每个训练批次中，通过忽略一部分特征检测器来减少节点间的相互作用，避免过拟合，增强模型泛化能力；其中，忽略一部分特征检测器即让一部分隐层节点值为0；
所述输出层，含2个神经元与全连接层F1全连接，通过softmax函数计算是烟雾的概率，从而给出分类结果；其中：softmax公式为：
Figure FDA0002277459050000031
式中，P(i)表示第i神经元判定为烟雾的概率，fi(x)、fk(x)分别表示第i和第k个神经元对应的权重函数，K表示神经元的总数。
7.根据权利要求6所述的基于图像识别的烟雾浓度量化方法，其特征在于，所述经过标准样本集训练获得分类模型的方法为：
获取带有烟雾浓度数据标签的烟雾图片作为训练样本，形成标准样本集；
训练时，每次从标准样本集中多次随机抽取多张烟雾图片进行训练；
其中，获取带有烟雾浓度数据标签的烟雾图片的方法为：
针对某一烟雾气体，在连续烟雾浓度分类阈值和分类数量下，分别进行多次烟雾实验获取烟雾图片；然后，通过图片扩充和烟雾浓度自动标注方式，获得带有烟雾浓度数据标签的规格化处理后的烟雾图片。
8.根据权利要求1所述的基于图像识别的烟雾浓度量化方法，其特征在于，所述S8中，采用的回归模型由CNN回归神经网络与贝叶斯线性模型组成；其中，所述回归神经网络包含输入层Input、卷积层C1、卷积层C2、卷积层C3、池化层S1、池化层S2、池化层S3、全连接层F1、全连接层F2以及输出层，优化方法为Adam优化器；其中：
所述输入层Input，输入数据为32×24像素大小的图片，含RGB三通道；
所述卷积层C1，卷积核大小为5x5，步长为1，特征图个数为32，激活函数为RELU，卷积核权重初始值由零均值、方差为0.1的正态分布生成，偏置为0.1；
所述池化层S1，核的大小为2x2，步长为2，采用最大池化，进行padding填充；
所述卷积层C2，卷积核大小为5x5，步长为1，特征图个数为96，激活函数为RELU，卷积核权重初始值由零均值、方差为0.1的正态分布生成，偏置为0.1；
所述池化层S2，核的大小为2x2，步长为2，采用最大池化，进行padding填充；
所述卷积层C3,卷积核大小为5x5，步长为1，特征图个数为128，激活函数为RELU，卷积核权重初始值由零均值、方差为0.1的正态分布生成，偏置为0.1；
所述池化层S3，核的大小为2x2，步长为2，采用最大池化，进行padding填充；
所述全连接层F1，含1024个神经元与池化层S3相连，激活函数为RELU，为防止过拟合，使用Dropout，即在每个训练批次中，通过忽略一部分特征检测器来减少节点间的相互作用，避免过拟合，增强模型泛化能力；其中，忽略一部分特征检测器即让一部分隐层节点值为0；
所述全连接层F2，含32个神经元与全连接层F1全连接，激活函数为RELU，使用Dropout，其提取的特征即为烟雾区域的图像特征向量；
所述输出层，含1个神经元与全连接层F2全连接，其特征值即为烟雾浓度预测值。
9.根据权利要求1至8中任一项所述的基于图像识别的烟雾浓度量化方法，其特征在于，还包括：
S10，根据对S8中得到的烟雾位置信息和S9中得到的烟雾区域浓度值信息，输出该烟雾区域的烟雾位置和烟雾浓度值。
CN201911127988.7A 2019-11-18 2019-11-18 一种基于图像识别的烟雾浓度量化方法 Active CN111126136B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911127988.7A CN111126136B (zh) 2019-11-18 2019-11-18 一种基于图像识别的烟雾浓度量化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911127988.7A CN111126136B (zh) 2019-11-18 2019-11-18 一种基于图像识别的烟雾浓度量化方法

Publications (2)

Publication Number Publication Date
CN111126136A true CN111126136A (zh) 2020-05-08
CN111126136B CN111126136B (zh) 2023-04-21

Family

ID=70495942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911127988.7A Active CN111126136B (zh) 2019-11-18 2019-11-18 一种基于图像识别的烟雾浓度量化方法

Country Status (1)

Country Link
CN (1) CN111126136B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111739250A (zh) * 2020-07-01 2020-10-02 广东工业大学 结合图像处理技术与红外传感器的火灾探测方法及系统
CN111767875A (zh) * 2020-07-06 2020-10-13 中兴飞流信息科技有限公司 一种基于实例分割的隧道烟雾检测方法
CN111783900A (zh) * 2020-07-10 2020-10-16 宁波方太厨具有限公司 油烟浓度检测模型的训练方法以及烟机档位的控制方法
CN111898525A (zh) * 2020-07-29 2020-11-06 广东智媒云图科技股份有限公司 烟雾识别模型的构建方法、进行烟雾检测的方法及装置
CN112213244A (zh) * 2020-10-27 2021-01-12 中国科学院合肥物质科学研究院 基于机器学习的机动车尾气林格曼黑度测量装置及方法
CN112285105A (zh) * 2020-09-25 2021-01-29 北京科技大学 一种膏体浓度非接触式自动检测方法
CN112749654A (zh) * 2020-12-31 2021-05-04 南京恩瑞特实业有限公司 一种用于视频大雾监测的深度神经网络模型构建方法、系统及装置
CN112818886A (zh) * 2021-02-09 2021-05-18 广州富港万嘉智能科技有限公司 飘尘检测方法、可读存储介质、飘尘检测机及智能食品机
CN113408857A (zh) * 2021-05-24 2021-09-17 柳州东风容泰化工股份有限公司 一种硫代乙酸泄漏应急处理的管理方法及系统
CN113537213A (zh) * 2021-07-14 2021-10-22 安徽炬视科技有限公司 一种基于可变卷积核的烟雾明火检测算法
CN113705380A (zh) * 2021-08-11 2021-11-26 北京百度网讯科技有限公司 雾天的目标检测方法、装置、电子设备以及存储介质
CN114429589A (zh) * 2022-04-07 2022-05-03 北京理工大学 一种氢气泄漏浓度分布预测方法及系统
CN114707598A (zh) * 2022-03-31 2022-07-05 西安交通大学 一种混合气体识别方法、系统、终端设备及可读存储介质
CN114821151A (zh) * 2022-03-23 2022-07-29 苏州英特模汽车科技有限公司 烟雾检测模型的训练方法、烟雾检测设备及系统
CN114998420A (zh) * 2022-05-09 2022-09-02 吉林大学 基于拉普拉斯算子的烟雾浓集中心识别及火点定位方法
CN115830516A (zh) * 2023-02-13 2023-03-21 新乡职业技术学院 一种用于电池爆燃检测的计算机神经网络图像处理方法
CN116563799A (zh) * 2023-07-11 2023-08-08 山东昆仲信息科技有限公司 基于视频监控的粉尘在线监测方法
CN118333256A (zh) * 2024-06-12 2024-07-12 青岛峻海物联科技有限公司 一种基于云端的逃生路径规划方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0520563A (ja) * 1991-07-17 1993-01-29 Hochiki Corp 画像処理を用いた煙検出装置
CN102708651A (zh) * 2012-05-23 2012-10-03 无锡蓝天电子有限公司 一种图像型烟雾火灾探测方法及系统
US10102728B1 (en) * 2017-06-14 2018-10-16 Google Llc Smoke detector for event classification and methods of making and using same
CN109598891A (zh) * 2018-12-24 2019-04-09 中南民族大学 一种利用深度学习分类模型实现烟雾检测的方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0520563A (ja) * 1991-07-17 1993-01-29 Hochiki Corp 画像処理を用いた煙検出装置
CN102708651A (zh) * 2012-05-23 2012-10-03 无锡蓝天电子有限公司 一种图像型烟雾火灾探测方法及系统
US10102728B1 (en) * 2017-06-14 2018-10-16 Google Llc Smoke detector for event classification and methods of making and using same
CN109598891A (zh) * 2018-12-24 2019-04-09 中南民族大学 一种利用深度学习分类模型实现烟雾检测的方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XIE YUFENG, ET AL: "Video co-segmentation based on directed grapgh" *
段海娟;赵永峰;赵金城;李镇江;: "单元式住宅楼火灾数值模拟" *
陈晓娟;卜乐平;杨加军;: "带图像处理的火灾报警系统抗干扰性研究" *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111739250A (zh) * 2020-07-01 2020-10-02 广东工业大学 结合图像处理技术与红外传感器的火灾探测方法及系统
CN111767875A (zh) * 2020-07-06 2020-10-13 中兴飞流信息科技有限公司 一种基于实例分割的隧道烟雾检测方法
CN111767875B (zh) * 2020-07-06 2024-05-10 中兴飞流信息科技有限公司 一种基于实例分割的隧道烟雾检测方法
CN111783900B (zh) * 2020-07-10 2024-09-20 宁波方太厨具有限公司 油烟浓度检测模型的训练方法以及烟机档位的控制方法
CN111783900A (zh) * 2020-07-10 2020-10-16 宁波方太厨具有限公司 油烟浓度检测模型的训练方法以及烟机档位的控制方法
CN111898525A (zh) * 2020-07-29 2020-11-06 广东智媒云图科技股份有限公司 烟雾识别模型的构建方法、进行烟雾检测的方法及装置
CN112285105A (zh) * 2020-09-25 2021-01-29 北京科技大学 一种膏体浓度非接触式自动检测方法
CN112213244A (zh) * 2020-10-27 2021-01-12 中国科学院合肥物质科学研究院 基于机器学习的机动车尾气林格曼黑度测量装置及方法
CN112213244B (zh) * 2020-10-27 2023-10-10 中国科学院合肥物质科学研究院 基于机器学习的机动车尾气林格曼黑度测量装置及方法
CN112749654A (zh) * 2020-12-31 2021-05-04 南京恩瑞特实业有限公司 一种用于视频大雾监测的深度神经网络模型构建方法、系统及装置
CN112818886A (zh) * 2021-02-09 2021-05-18 广州富港万嘉智能科技有限公司 飘尘检测方法、可读存储介质、飘尘检测机及智能食品机
CN113408857A (zh) * 2021-05-24 2021-09-17 柳州东风容泰化工股份有限公司 一种硫代乙酸泄漏应急处理的管理方法及系统
CN113408857B (zh) * 2021-05-24 2023-03-24 柳州东风容泰化工股份有限公司 一种硫代乙酸泄漏应急处理的管理方法及系统
CN113537213A (zh) * 2021-07-14 2021-10-22 安徽炬视科技有限公司 一种基于可变卷积核的烟雾明火检测算法
CN113537213B (zh) * 2021-07-14 2024-01-30 安徽炬视科技有限公司 一种基于可变卷积核的烟雾明火检测算法
CN113705380A (zh) * 2021-08-11 2021-11-26 北京百度网讯科技有限公司 雾天的目标检测方法、装置、电子设备以及存储介质
CN113705380B (zh) * 2021-08-11 2023-08-01 北京百度网讯科技有限公司 雾天的目标检测方法、装置、电子设备以及存储介质
CN114821151A (zh) * 2022-03-23 2022-07-29 苏州英特模汽车科技有限公司 烟雾检测模型的训练方法、烟雾检测设备及系统
CN114707598A (zh) * 2022-03-31 2022-07-05 西安交通大学 一种混合气体识别方法、系统、终端设备及可读存储介质
CN114707598B (zh) * 2022-03-31 2024-09-06 西安交通大学 一种混合气体识别方法、系统、终端设备及可读存储介质
CN114429589A (zh) * 2022-04-07 2022-05-03 北京理工大学 一种氢气泄漏浓度分布预测方法及系统
CN114998420A (zh) * 2022-05-09 2022-09-02 吉林大学 基于拉普拉斯算子的烟雾浓集中心识别及火点定位方法
CN114998420B (zh) * 2022-05-09 2024-09-24 吉林大学 基于拉普拉斯算子的烟雾浓集中心识别及火点定位方法
CN115830516A (zh) * 2023-02-13 2023-03-21 新乡职业技术学院 一种用于电池爆燃检测的计算机神经网络图像处理方法
CN116563799B (zh) * 2023-07-11 2023-09-22 山东昆仲信息科技有限公司 基于视频监控的粉尘在线监测方法
CN116563799A (zh) * 2023-07-11 2023-08-08 山东昆仲信息科技有限公司 基于视频监控的粉尘在线监测方法
CN118333256A (zh) * 2024-06-12 2024-07-12 青岛峻海物联科技有限公司 一种基于云端的逃生路径规划方法及系统

Also Published As

Publication number Publication date
CN111126136B (zh) 2023-04-21

Similar Documents

Publication Publication Date Title
CN111126136B (zh) 一种基于图像识别的烟雾浓度量化方法
Shen et al. Flame detection using deep learning
CN110688925B (zh) 基于深度学习的级联目标识别方法及系统
Appana et al. A video-based smoke detection using smoke flow pattern and spatial-temporal energy analyses for alarm systems
US20230289979A1 (en) A method for video moving object detection based on relative statistical characteristics of image pixels
Mathur et al. Crosspooled FishNet: transfer learning based fish species classification model
Maksymiv et al. Real-time fire detection method combining AdaBoost, LBP and convolutional neural network in video sequence
CN110298297A (zh) 火焰识别方法和装置
CN111046827A (zh) 一种基于卷积神经网络的视频烟雾检测方法
CN110909672A (zh) 一种基于双流卷积神经网络和svm的抽烟动作识别方法
CN116543241B (zh) 泄露气体云团的检测方法、装置、存储介质和电子设备
CN114399719A (zh) 一种变电站火灾视频监测方法
CN111080651B (zh) 基于水流分割的石油钻井污染气体自动监测方法
CN112488213A (zh) 一种基于多尺度特征学习网络的火灾图片分类方法
Kaliyev et al. Computer Vision-based Fire Detection using Enhanced Chromatic Segmentation and Optical Flow Model
CN111191575B (zh) 一种基于火苗跳动建模的明火检测方法及系统
CN114694090A (zh) 一种基于改进PBAS算法与YOLOv5的校园异常行为检测方法
Diwate et al. Lower complex CNN model for fire detection in surveillance videos
Tang et al. An improved ViBe-based approach for moving object detection
CN117746111B (zh) 一种环检线监控影像智能判定柴油车黑烟等级方法
CN112241682B (zh) 一种基于分块以及多层信息融合的端到端行人搜索方法
Wang et al. DA-YOLOv5: Improved YOLOv5 based on Dual Attention for Object Detection on Coal Chemical Industry
Swetha et al. Visual Weather Analytics-Leveraging Image Recognition for Weather Prediction
CN117197097B (zh) 一种基于红外图像的电力设备组件检测方法
CN118552766A (zh) 一种基于混合高斯背景模型的危化工厂火灾检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant