CN111723656A - 一种基于YOLO v3与自优化的烟雾检测方法及装置 - Google Patents
一种基于YOLO v3与自优化的烟雾检测方法及装置 Download PDFInfo
- Publication number
- CN111723656A CN111723656A CN202010399591.XA CN202010399591A CN111723656A CN 111723656 A CN111723656 A CN 111723656A CN 202010399591 A CN202010399591 A CN 202010399591A CN 111723656 A CN111723656 A CN 111723656A
- Authority
- CN
- China
- Prior art keywords
- smoke
- training
- data
- picture
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000000779 smoke Substances 0.000 title claims abstract description 203
- 238000001514 detection method Methods 0.000 title claims abstract description 140
- 238000005457 optimization Methods 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 51
- 238000012544 monitoring process Methods 0.000 claims abstract description 44
- 238000012549 training Methods 0.000 claims description 107
- 238000012545 processing Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 12
- 238000012795 verification Methods 0.000 claims description 10
- 239000003086 colorant Substances 0.000 claims description 8
- 238000012986 modification Methods 0.000 claims description 6
- 230000004048 modification Effects 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 abstract description 13
- 238000013135 deep learning Methods 0.000 abstract description 3
- 239000003344 environmental pollutant Substances 0.000 abstract description 3
- 231100000719 pollutant Toxicity 0.000 abstract description 3
- 238000003672 processing method Methods 0.000 abstract description 3
- 230000007480 spreading Effects 0.000 abstract description 2
- 230000009466 transformation Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000002485 combustion reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于YOLO v3与自优化的烟雾检测方法及装置。本发明涉及深度学习和计算机视觉技术领域，解决现有的烟雾检测方法无法同时满足烟雾和水蒸气的精确检测的问题。本发明的一种基于YOLO v3与自优化的烟雾检测方法及装置，能够利用现有监控视频，采用YOLO v3网络与传统的图像处理方法相结合的方法对烟雾进行检测，所检测的对象不只是传统的烟雾，同时也可以检测水蒸气，不仅能对火情进行有效地控制，防止火情快速蔓延，对于可能存在的非法排放水蒸气性质的污染物等现象也能够起到监督作用。
Description
技术领域
本发明涉及深度学习和计算机视觉技术领域，尤其涉及一种基于YOLO v3与自优化的烟雾检测方法及装置。
背景技术
随着智慧城市建设步伐的加快，电子摄像监控设备已经日益普及，大量的高清视频监控数据资源可供利用。如何利用现有的监控视频，通过图像处理结合深度学习的方法快速、准确、高效地识别出烟雾，对于火情的有效控制，防止火情快速蔓延，以及对于可能存在的非法排放水蒸气状态的污染物等现象的监督都会起到重要的作用。
目前的烟雾检测技术通常检测的火灾烟雾，检测地点通常为森林或郊外，通常使用烟雾传感装置对烟雾进行检测，或者，基于视频分析对烟雾进行传统的图像处理方法，通常利用背景差法检测场景中的运动区域，对待检测物体进行特征提取，提取所有运动区域的运动特征，运用支持向量机等机器学习算法进行分类，以检测是否有烟雾存在。
然而，传统的使用烟雾传感器进行烟雾检测的方法，只适用于传统意义上的烟雾(燃烧产生的烟)的检测，并不适用于水蒸气检测。通常使用图像处理提取特征结合运动模型的检测烟雾方法，理论上虽然可以检测水蒸气，但是目前常见的烟雾检测方法主要研究对象是燃烧产生的烟，提取的烟雾特征即是烟的特征，而这种特征与水蒸气的特征并不完全相同，二者之间存在一定的差别，因此，对水蒸气的检测效果并不理想。
发明内容
本发明提供一种基于YOLO v3与自优化的烟雾检测方法及装置，以解决现有的烟雾检测方法使用传统图像处理算法检测精度低、速度慢以及无法同时满足烟雾和水蒸气的精确检测的问题。
第一方面，本发明提供一种基于YOLO v3与自优化的烟雾检测方法，所述方法包括：
获取监控视频数据；
抽取所述监控视频数据中包含烟雾的视频片段；
将所述视频片段按预设帧数进行抽帧，保存为含烟雾的图片；
将所述含烟雾的图片进行合并，得到原始图片库AI；
将所述原始图片库AI中含烟雾的图片的烟雾区域用矩形框进行标记，得到标签数据，生成与所述原始图片库AI信息一一对应的原始标签文件AL，原始标签文件AL信息包括矩形框的坐标信息和烟雾标签信息，AI与AL构成原始数据集A；
利用YOLO v3网络和原始数据集A进行模型训练，得到烟雾检测模型；
获取实时监控视频数据；
将所述实时监控视频数据输入烟雾检测模型进行实时烟雾检测；
将检测到的烟雾在实时监控视频中以矩形框标记并标注烟雾标签信息，得到烟雾检测结果；
将烟雾检测结果以截图的形式返回给社会治理平台服务端相关人员进行人工审核；
根据人工审核结果判断所述烟雾检测结果是否正确；
如果所述烟雾检测结果正确，发出烟雾警告信息，以通知相关人员进行处理；
如果所述烟雾检测结果不正确，接收相关人员对矩形框的烟雾标签信息的修改信息，将修改后的图片样本作为检测错误的图片样本进行收集备用；
判断检测错误的图片样本的数量是否超过预设阈值；
如果检测错误的图片样本的数量超过预设阈值，自动开启自优化进程，将所述检测错误的图片样本与原始图片数据集A合并为新的训练数据集，以利用YOLO v3网络根据所述新的训练数据进行模型训练，得到训练迭代后的烟雾检测模型。
可选的，获取监控视频数据的步骤中，还包括获取无人机和相机拍摄的烟雾图片，所述烟雾图片包含不同场景下不同形态和不同颜色的烟雾图片。
可选的，所述矩形框的坐标信息包括：矩形框的中心点坐标、矩形框的宽度与高度。
可选的，利用YOLO v3网络和原始数据集A进行模型训练，得到烟雾检测模型包括：
将原始数据集A分成训练集Q1、验证集Q2和测试集Q3，训练集Q1占原始数据集A的70％，验证集Q2占原始数据集A的15％，测试集Q3占原始数据集A的15％；
对训练集Q1进行数据增强，得到增强后的训练集Q1A；
将增强后的训练集Q1A输入YOLO v3网络中进行多次训练得到多个权重模型；
使用各个权重模型对验证集Q2进行预测，并记录权重模型的准确率；
选出准确率最高的权重模型所对应的参数，用该参数生成最优权重模型；
使用测试集Q3进行最优权重模型的测试，以得到最优权重烟雾检测模型。
可选的，对训练集Q1进行数据增强，得到增强后的训练集Q1A的步骤中：
采用翻转变换、随机修剪、色彩抖动、平移变换、尺度变换、对比度变换、噪声扰动、旋转变换或反射变换，以及mixup方法对训练集Q1进行数据增强处理，所述mixup方法采用下式：
其中，x表示图片数据，y表示标签信息，(xi,yi)和(xj,yj)是从训练数据中随机抽取的两个样本，
为增强后参与模型训练的数据，且λ∈[0,1]。
可选的，利用YOLO v3网络根据所述新的训练数据进行模型训练之后，所述方法还包括：
判断烟雾检测模型是否训练至特定数量的epoch；
如果烟雾检测模型训练至特定数量的epoch，则停止训练。
可选的，将所述检测错误的图片样本与原始图片数据集A合并为新的训练数据集之前，所述方法还包括：
对困难样本中的相似图像进行去重处理，其中，训练数据集包括正样本、负样本和困难样本，正样本指已标记的图片样本，负样本指未标记的不含有目标的背景样本，困难样本指检测错误的图片样本，正样本、负样本共同构成原始图片数据集A，困难样本由人工将其标签修改成正确的标签，然后与原始图片数据集A合并以进行迭代训练；
利用图像颜色复杂度方法对放入训练集的困难样本进行筛选。
可选的，对困难样本中的相似图像进行去重处理，包括：
将困难样本缩小到8*8尺寸，得到包含64个像素的缩小后图像；
将缩小后图像转为64级灰度；
计算所有64个像素的灰度平均值；
将每个像素的灰度值与灰度平均值进行比较，灰度值大于或等于灰度平均值则记为1，灰度值小于灰度平均值则记为0；
将上一步的比较结果组合在一起，构成一个64位的整数，得到所述图像的指纹；
对比不同图像的指纹；
如果64位中不相同的数据位数不超过5，判定两张图像为相似图像；
如果64位中不相同的数据位数大于10，判定两张图像为不同图像；
对相似图像进行去重处理。
可选的，利用图像颜色复杂度方法对放入训练集的困难样本进行筛选包括：
通过颜色二阶矩来对图像的颜色复杂度进行分类，计算公式如下：
其中，w代表的是颜色矩，其中下标表示的是H、S、V分量，上标表示的是1、2阶矩，
代表的是H通道的1阶矩，
代表的是H通道的2阶矩，G表示一幅图像，fH(x,y)表示的是H通道在图像位置(x,y)的像素值，其他通道的同理，w2为三个通道的平均颜色二阶矩，N为图像总的像素个数；
选取20000张图片，计算颜色二阶矩平均值的最小值和最大值和
选取18000张街景图片，2000张烟雾图片，根据公式2、公式4、公式6分别计算每张图片的
和
然后根据公式7计算图像的平均颜色二阶矩w2，求出20000张图片w2的最小值和最大值，分别为
和
根据下式进行颜色二阶矩归一化：
w2'为归一化后的均颜色二阶矩，取值范围为[0,1]；
将w2'分成[0～0.2)、[0.2～0.4)、[0.4～0.6)、[0.6～0.8)以及[0.8～1]5个区间，根据公式8计算获取困难样本的w2'，要求各区间的困难样本数量分别占20％，当搜集的5个区间的困难样本数总量达到1000时，将1000张困难样本图片加入到原始数据集中一起训练，对模型进行迭代优化。
第二方面，本发明提供一种基于YOLO v3与自优化的烟雾检测装置，所述装置包括：
第一获取单元，用于获取监控视频数据；
抽取单元，用于抽取所述监控视频数据中包含烟雾的视频片段；
抽帧单元，用于将所述视频片段按预设帧数进行抽帧，保存为含烟雾的图片；
合并单元，用于将所述含烟雾的图片进行合并，得到原始图片库AI；
标记单元，用于将所述原始图片库AI中含烟雾的图片的烟雾区域用矩形框进行标记，得到标签数据，生成与所述原始图片库AI信息一一对应的原始标签文件AL，原始标签文件AL信息包括矩形框的坐标信息和烟雾标签信息，AI与AL构成原始数据集A；
训练单元，用于利用YOLO v3网络和原始数据集A进行模型训练，得到烟雾检测模型；
第二获取单元，用于获取实时监控视频数据；
输入单元，用于将所述实时监控视频数据输入烟雾检测模型进行实时烟雾检测；
检测单元，用于将检测到的烟雾在实时监控视频中以矩形框标记并标注烟雾标签信息，得到烟雾检测结果；
返回单元，用于将烟雾检测结果以截图的形式返回给社会治理平台服务端相关人员进行人工审核；
第一判断单元，用于根据人工审核结果判断所述烟雾检测结果是否正确；
警告单元，用于在所述烟雾检测结果正确的情况下，发出烟雾警告信息，以通知相关人员进行处理；
收集单元，用于在所述烟雾检测结果不正确的情况下，接收相关人员对矩形框的烟雾标签信息的修改信息，将修改后的图片样本作为检测错误的图片样本进行收集备用；
第二判断单元，用于判断检测错误的图片样本的数量是否超过预设阈值；
自优化单元，用于在检测错误的图片样本的数量超过预设阈值的情况下，自动开启自优化进程，将所述检测错误的图片样本与原始图片数据集A合并为新的训练数据集，以利用YOLO v3网络根据所述新的训练数据进行模型训练，得到训练迭代后的烟雾检测模型。
本发明具有以下有益效果：本发明的一种基于YOLO v3与自优化的烟雾检测方法及装置，能够利用现有监控视频，采用YOLO v3网络与传统的图像处理方法相结合的方法对烟雾进行检测，所检测的对象不只是传统的烟雾，同时也可以检测水蒸气。不仅能对火情进行有效地控制，防止火情快速蔓延，对于可能存在的非法排放水蒸气性质的污染物等现象也能够起到监督作用。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于YOLO v3与自优化的烟雾检测方法的流程图。
图2为本发明提供的基于YOLO v3与自优化的烟雾检测方法一实施例的流程图。
图3为本发明提供的基于YOLO v3与自优化的烟雾检测方法一实施例的流程图。
图4为本发明提供的基于YOLO v3与自优化的烟雾检测方法一实施例的流程图。
图5为本发明提供的基于YOLO v3与自优化的烟雾检测装置的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。以下结合附图，详细说明本发明各实施例提供的技术方案。
请参阅图1，为本发明提供的一种基于YOLO v3与自优化的烟雾检测方法，所述方法包括：
步骤S101，获取监控视频数据。
此外，可以补充无人机以及相机拍摄的烟雾图片，所述烟雾图片包含不同场景下不同形态和不同颜色的烟雾图片，以丰富场景，增强模型的鲁棒性。由于烟雾的来源多种多样，从而导致烟雾形态和颜色多种多样。常见的烟为白烟和黑烟，还有少数的彩色烟，雾通常为白色。丰富的数据集是深度学习模型的基础，因此不同形态和不同颜色的烟雾数据量的保障是非常有必要的。
步骤S102，抽取所述监控视频数据中包含烟雾的视频片段。
步骤S103，将所述视频片段按预设帧数进行抽帧，保存为含烟雾的图片。
具体地，可以所述视频片段按照每秒一帧进行抽帧，保存成图片。
步骤S104，将所述含烟雾的图片进行合并，得到原始图片库AI。
步骤S105，将所述原始图片库AI中含烟雾的图片的烟雾区域用矩形框进行标记，得到标签数据，生成与所述原始图片库AI信息一一对应的原始标签文件AL，原始标签文件AL信息包括矩形框的坐标信息和烟雾标签信息，AI与AL构成原始数据集A。
步骤S106，利用YOLO v3网络和原始数据集A进行模型训练，得到烟雾检测模型。
具体地，如图2所示，利用YOLO v3网络和原始数据集A进行模型训练，得到烟雾检测模型，具体可采用如下方法：
步骤S201，将原始数据集A分成训练集Q1、验证集Q2和测试集Q3，训练集Q1占原始数据集A的70％，验证集Q2占原始数据集A的15％，测试集Q3占原始数据集A的15％。
步骤S202，对训练集Q1进行数据增强，得到增强后的训练集Q1A。
具体地，增强后的训练集Q1A用于YOLO v3网络的训练。可采用翻转变换、随机修剪、色彩抖动、平移变换、尺度变换、对比度变换、噪声扰动、旋转变换或反射变换，以及mixup方法对训练集Q1进行数据增强处理，所述mixup方法采用下式：
其中，x表示图片数据，y表示标签信息，(xi,yi)和(xj,yj)是从训练数据中随机抽取的两个样本，
为增强后参与模型训练的数据，且λ∈[0,1]。
步骤S203，将增强后的训练集Q1A输入YOLO v3网络中进行多次训练得到多个权重模型。
步骤S204，使用各个权重模型对验证集Q2进行预测，并记录权重模型的准确率。
步骤S205，选出准确率最高的权重模型所对应的参数，用该参数生成最优权重模型。
步骤S206，使用测试集Q3进行最优权重模型的测试，以得到最优权重烟雾检测模型。
具体地，验证集Q2的作用是调整模型参数。当增强后的训练集Q1A训练出多个权重模型后，为了能找出检测效果最佳的权重模型，使用各个权重模型对验证集Q2进行预测，并记录权重模型的准确率，选出准确率最大的权重模型所对应的参数，用该参数生成最优权重模型。
步骤S107，获取实时监控视频数据。
本发明需要依托社会治理平台进行实时烟雾检测与在线学习。社会治理平台以网格管理和网络技术为依托，以街道(乡镇)、社区(村)为基本作战区域，将训练好的最优权重模型搭载于社会治理平台上，利用该模型对平台上实时传回的监控视频进行检测。将监控视频的视频流作为一个参数输入烟雾检测模型中，烟雾检测模型会对该视频流进行检测，视频中识别到的烟雾会用矩形框并框出，矩形框中包含物体类别和物体的识别准确率。
步骤S108，将所述实时监控视频数据输入烟雾检测模型进行实时烟雾检测。
步骤S109，将检测到的烟雾在实时监控视频中以矩形框标记并标注烟雾标签信息，得到烟雾检测结果。
步骤S110，将烟雾检测结果以截图的形式返回给社会治理平台服务端相关人员进行人工审核。
步骤S111，根据人工审核结果判断所述烟雾检测结果是否正确。
步骤S112，如果所述烟雾检测结果正确，发出烟雾警告信息，以通知相关人员进行处理。
步骤S113，如果所述烟雾检测结果不正确，接收相关人员对矩形框的烟雾标签信息的修改信息，将修改后的图片样本作为检测错误的图片样本进行收集备用。
步骤S114，判断检测错误的图片样本的数量是否超过预设阈值。
步骤S115，如果检测错误的图片样本的数量超过预设阈值，自动开启自优化进程，将所述检测错误的图片样本与原始图片数据集A合并为新的训练数据集，以利用YOLOv3网络根据所述新的训练数据进行模型训练，得到训练迭代后的烟雾检测模型。
如图3所示，利用YOLO v3网络根据所述新的训练数据进行模型训练之后，所述方法还包括：
步骤S301，判断烟雾检测模型是否训练至特定数量的epoch。
步骤S302，如果烟雾检测模型训练至特定数量的epoch，则停止训练。
自优化是模型的一个可持续优化的过程，将步骤S206中利用训练获得的最优权重模型对监控视频进行检测，当平台收集到的检测错误的图片样本的数量超过预设阈值，如1000张时，自优化进程会自动开启。将搜集的检测错误的图片样本与已标记的数据集进行合并，一起放入YOLO v3网络中进行训练，当模型训练至特定数量的epoch时，模型停止训练，获得一个在原始模型基础上更新的最优权重模型，能够对原模型进行进一步地修正。进一步地，将所述检测错误的图片样本与原始图片数据集A合并为新的训练数据集之前，所述方法还包括：
对困难样本中的相似图像进行去重处理，其中，训练数据集包括正样本、负样本和困难样本，正样本指已标记的图片样本，负样本指未标记的不含有目标的背景样本，困难样本指检测错误的图片样本，正样本、负样本共同构成原始图片数据集A，困难样本由人工将其标签修改成正确的标签，然后与原始图片数据集A合并以进行迭代训练。
本发明使用感知哈希算法对困难样本集进行图像去重，进行粗筛选。该方法通过对每张图片生成一个“指纹”字符串，然后比较不同图片的指纹。结果越接近，就说明图片越相似。如图4所示，具体实现步骤如下：
步骤S401，将困难样本缩小到8*8尺寸，得到包含64个像素的缩小后图像。
具体地，缩小尺寸，去除图像的细节，只保留结构或者明暗等基本信息，摒弃不同尺寸或者比例带来的图像差异。
步骤S402，将缩小后图像转为64级灰度。
具体地，简化色彩，将缩小后的图像，转为64级灰度，即所有像素点总共只有64种颜色。
步骤S403，计算所有64个像素的灰度平均值。
步骤S404，将每个像素的灰度值与灰度平均值进行比较。
步骤S405，灰度值大于或等于灰度平均值则记为1。
步骤S406，灰度值小于灰度平均值则记为0。
步骤S407，将上一步的比较结果组合在一起，构成一个64位的整数，得到所述图像的指纹。组合的次序并不重要，只要保证所有图像都采用同样次序即可。
步骤S408，对比不同图像的指纹。
步骤S409，如果64位中不相同的数据位数不超过5，判定两张图像为相似图像。
步骤S410，如果64位中不相同的数据位数大于10，判定两张图像为不同图像。
步骤S411，对相似图像进行去重处理。
此外，还可以在对困难样本集粗筛选的基础上，进一步利用图像颜色复杂度方法对放入训练集的困难样本进行筛选，确保困难样本尽可能地丰富。由于烟雾检测中物体类别只有一类，因此除了烟雾之外的其他信息皆为背景，且在城市中，背景比较复杂，模型的误检率可能比较高，因此需要丰富负样本图片数据集，将其与正样本合并成训练数据集，放入YOLO v3网络中一起训练，才可能有效地提高模型检测的精确度。
颜色矩是用一种很简单的方式来表现图像中的颜色，颜色低阶矩就能够表达图像中大部分的颜色信息。颜色二阶距能反映偏移平均值的大小程度，从侧面可以反映复杂度的大小，我们选用色调、饱和度、亮度的二阶距作为度量图像复杂度的颜色特征，如果是RGB颜色空间，需要先转换成HSV颜色空间。一幅彩色图像中颜色是由3个通道组成的，在每一个通道上可以计算出3种颜色二阶矩。本发明通过颜色二阶矩来对图像的颜色复杂度进行分类，计算公式如下：
其中，w代表的是颜色矩，其中下标表示的是H、S、V分量，上标表示的是1、2阶矩，
代表的是H通道的1阶矩，
代表的是H通道的2阶矩，G表示一幅图像，fH(x,y)表示的是H通道在图像位置(x,y)的像素值，其他通道的同理，w2为三个通道的平均颜色二阶矩，N为图像总的像素个数；
选取20000张图片，计算颜色二阶矩平均值的最小值和最大值
和
选取18000张街景图片，2000张烟雾图片，根据公式2、公式4、公式6分别计算每张图片的
和
然后根据公式7计算图像的平均颜色二阶矩w2，求出20000张图片w2的最小值和最大值，分别为
和
根据下式进行颜色二阶矩归一化：
w2'为归一化后的均颜色二阶矩，取值范围为[0,1]；
将w2'分成[0～0.2)、[0.2～0.4)、[0.4～0.6)、[0.6～0.8)以及[0.8～1]5个区间，根据公式8计算获取困难样本的w2'，要求各区间的困难样本数量分别占20％，当搜集的5个区间的困难样本数总量达到1000时，将1000张困难样本图片加入到原始数据集中一起训练，对模型进行迭代优化。
由以上可知，本发明针对的烟雾主要涉及城市烟雾，不仅包括火灾、炮竹等烟，同时包含工业或生活中排放的水蒸气等形成的水雾等。利用现有的监控视频资源，运用YOLOv3烟雾检测模型，对监控视频中的烟雾进行检测，并将出现烟雾的摄像头位置、视频片段(可以保存为类似的GIF格式数据)以及烟雾结果图片推送到相关部门负责人，请求及时进行处理。
本发明应用于社会治理平台中的烟雾检测，检测到烟雾后，平台上会有人工进行处置。本发明会收集检测到的物体图片以及人工处置的结果，并将人工处置的结果转换为训练模型所对应的标签。当收集到的物体图片数量到达指定的阈值后，本发明会自动开启模型训练的进程。随着时间的推移，本发明获得的人工反馈变多，在线训练迭代的次数也变多，模型的效果会逐渐优化，准确率会逐渐提升。本发明支持在线学习，通过不断地对烟雾检测模型进行迭代优化，提升模型的检测效果，实现烟雾检测模型的快速、准确和高效检测。
如图5所示，本发明还提供一种基于YOLO v3与自优化的烟雾检测装置，所述装置包括：
第一获取单元501，用于获取监控视频数据；
抽取单元502，用于抽取所述监控视频数据中包含烟雾的视频片段；
抽帧单元503，用于将所述视频片段按预设帧数进行抽帧，保存为含烟雾的图片；
合并单元504，用于将所述含烟雾的图片进行合并，得到原始图片库AI；
标记单元505，用于将所述原始图片库AI中含烟雾的图片的烟雾区域用矩形框进行标记，得到标签数据，生成与所述原始图片库AI信息一一对应的原始标签文件AL，原始标签文件AL信息包括矩形框的坐标信息和烟雾标签信息，AI与AL构成原始数据集A；
训练单元506，用于利用YOLO v3网络和原始数据集A进行模型训练，得到烟雾检测模型；
第二获取单元507，用于获取实时监控视频数据；
输入单元508，用于将所述实时监控视频数据输入烟雾检测模型进行实时烟雾检测；
检测单元509，用于将检测到的烟雾在实时监控视频中以矩形框标记并标注烟雾标签信息，得到烟雾检测结果；
返回单元510，用于将烟雾检测结果以截图的形式返回给社会治理平台服务端相关人员进行人工审核；
第一判断单元511，用于根据人工审核结果判断所述烟雾检测结果是否正确；
警告单元512，用于在所述烟雾检测结果正确的情况下，发出烟雾警告信息，以通知相关人员进行处理；
收集单元513，用于在所述烟雾检测结果不正确的情况下，接收相关人员对矩形框的烟雾标签信息的修改信息，将修改后的图片样本作为检测错误的图片样本进行收集备用；
第二判断单元514，用于判断检测错误的图片样本的数量是否超过预设阈值；
自优化单元515，用于在检测错误的图片样本的数量超过预设阈值的情况下，自动开启自优化进程，将所述检测错误的图片样本与原始图片数据集A合并为新的训练数据集，以利用YOLO v3网络根据所述新的训练数据进行模型训练，得到训练迭代后的烟雾检测模型。
本发明实施例还提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现本发明提供的基于YOLO v3与自优化的烟雾检测方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：Read-OnlyMemory，简称：ROM)或随机存储记忆体(英文：RandomAccessMemory，简称：RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于基于YOLOv3与自优化的烟雾检测装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
以上所述的本发明实施方式并不构成对本发明保护范围的限定。
Claims (10)
1.一种基于YOLO v3与自优化的烟雾检测方法，其特征在于，所述方法包括：
获取监控视频数据；
抽取所述监控视频数据中包含烟雾的视频片段；
将所述视频片段按预设帧数进行抽帧，保存为含烟雾的图片；
将所述含烟雾的图片进行合并，得到原始图片库AI；
将所述原始图片库AI中含烟雾的图片的烟雾区域用矩形框进行标记，得到标签数据，生成与所述原始图片库AI信息一一对应的原始标签文件AL，原始标签文件AL信息包括矩形框的坐标信息和烟雾标签信息，AI与AL构成原始数据集A；
利用YOLO v3网络和原始数据集A进行模型训练，得到烟雾检测模型；
获取实时监控视频数据；
将所述实时监控视频数据输入烟雾检测模型进行实时烟雾检测；
将检测到的烟雾在实时监控视频中以矩形框标记并标注烟雾标签信息，得到烟雾检测结果；
将烟雾检测结果以截图的形式返回给社会治理平台服务端相关人员进行人工审核；
根据人工审核结果判断所述烟雾检测结果是否正确；
如果所述烟雾检测结果正确，发出烟雾警告信息，以通知相关人员进行处理；
如果所述烟雾检测结果不正确，接收相关人员对矩形框的烟雾标签信息的修改信息，将修改后的图片样本作为检测错误的图片样本进行收集备用；
判断检测错误的图片样本的数量是否超过预设阈值；
如果检测错误的图片样本的数量超过预设阈值，自动开启自优化进程，将所述检测错误的图片样本与原始图片数据集A合并为新的训练数据集，以利用YOLO v3网络根据所述新的训练数据进行模型训练，得到训练迭代后的烟雾检测模型。
2.如权利要求1所述的方法，其特征在于，获取监控视频数据的步骤中，还包括获取无人机和相机拍摄的烟雾图片，所述烟雾图片包含不同场景下不同形态和不同颜色的烟雾图片。
3.如权利要求1所述的方法，其特征在于，所述矩形框的坐标信息包括：矩形框的中心点坐标、矩形框的宽度与高度。
4.如权利要求1所述的方法，其特征在于，利用YOLO v3网络和原始数据集A进行模型训练，得到烟雾检测模型包括：
将原始数据集A分成训练集Q1、验证集Q2和测试集Q3，训练集Q1占原始数据集A的70％，验证集Q2占原始数据集A的15％，测试集Q3占原始数据集A的15％；
对训练集Q1进行数据增强，得到增强后的训练集Q1A；
将增强后的训练集Q1A输入YOLO v3网络中进行多次训练得到多个权重模型；
使用各个权重模型对验证集Q2进行预测，并记录权重模型的准确率；
选出准确率最高的权重模型所对应的参数，用该参数生成最优权重模型；
使用测试集Q3进行最优权重模型的测试，以得到最优权重烟雾检测模型。
5.如权利要求4所述的方法，其特征在于，对训练集Q1进行数据增强，得到增强后的训练集Q1A的步骤中：
采用翻转变换、随机修剪、色彩抖动、平移变换、尺度变换、对比度变换、噪声扰动、旋转变换或反射变换，以及mixup方法对训练集Q1进行数据增强处理，所述mixup方法采用下式：
其中，x表示图片数据，y表示标签信息，(xi,yi)和(xj,yj)是从训练数据中随机抽取的两个样本，
为增强后参与模型训练的数据，且λ∈[0,1]。
6.如权利要求1所述的方法，其特征在于，利用YOLO v3网络根据所述新的训练数据进行模型训练之后，所述方法还包括：
判断烟雾检测模型是否训练至特定数量的epoch；
如果烟雾检测模型训练至特定数量的epoch，则停止训练。
7.如权利要求1所述的方法，其特征在于，将所述检测错误的图片样本与原始图片数据集A合并为新的训练数据集之前，所述方法还包括：
对困难样本中的相似图像进行去重处理，其中，训练数据集包括正样本、负样本和困难样本，正样本指已标记的图片样本，负样本指未标记的不含有目标的背景样本，困难样本指检测错误的图片样本，正样本、负样本共同构成原始图片数据集A，困难样本由人工将其标签修改成正确的标签，然后与原始图片数据集A合并以进行迭代训练；
利用图像颜色复杂度方法对放入训练集的困难样本进行筛选。
8.如权利要求7所述的方法，其特征在于，对困难样本中的相似图像进行去重处理，包括：
将困难样本缩小到8*8尺寸，得到包含64个像素的缩小后图像；
将缩小后图像转为64级灰度；
计算所有64个像素的灰度平均值；
将每个像素的灰度值与灰度平均值进行比较，灰度值大于或等于灰度平均值则记为1，灰度值小于灰度平均值则记为0；
将上一步的比较结果组合在一起，构成一个64位的整数，得到所述图像的指纹；
对比不同图像的指纹；
如果64位中不相同的数据位数不超过5，判定两张图像为相似图像；
如果64位中不相同的数据位数大于10，判定两张图像为不同图像；
对相似图像进行去重处理。
9.如权利要求8所述的方法，其特征在于，利用图像颜色复杂度方法对放入训练集的困难样本进行筛选包括：
通过颜色二阶矩来对图像的颜色复杂度进行分类，计算公式如下：
其中，w代表的是颜色矩，其中下标表示的是H、S、V分量，上标表示的是1、2阶矩，
代表的是H通道的1阶矩，
代表的是H通道的2阶矩，G表示一幅图像，fH(x,y)表示的是H通道在图像位置(x,y)的像素值，其他通道的同理，w2为三个通道的平均颜色二阶矩，N为图像总的像素个数；
选取20000张图片，计算颜色二阶矩平均值的最小值和最大值
和
选取18000张街景图片，2000张烟雾图片，根据公式2、公式4、公式6分别计算每张图片的
和
然后根据公式7计算图像的平均颜色二阶矩w2，求出20000张图片w2的最小值和最大值，分别为
和
根据下式进行颜色二阶矩归一化：
w2'为归一化后的均颜色二阶矩，取值范围为[0,1]；
将w2'分成[0～0.2)、[0.2～0.4)、[0.4～0.6)、[0.6～0.8)以及[0.8～1]5个区间，根据公式8计算获取困难样本的w2'，要求各区间的困难样本数量分别占20％，当搜集的5个区间的困难样本数总量达到1000时，将1000张困难样本图片加入到原始数据集中一起训练，对模型进行迭代优化。
10.一种基于YOLO v3与自优化的烟雾检测装置，其特征在于，所述装置包括：
第一获取单元，用于获取监控视频数据；
抽取单元，用于抽取所述监控视频数据中包含烟雾的视频片段；
抽帧单元，用于将所述视频片段按预设帧数进行抽帧，保存为含烟雾的图片；
合并单元，用于将所述含烟雾的图片进行合并，得到原始图片库AI；
标记单元，用于将所述原始图片库AI中含烟雾的图片的烟雾区域用矩形框进行标记，得到标签数据，生成与所述原始图片库AI信息一一对应的原始标签文件AL，原始标签文件AL信息包括矩形框的坐标信息和烟雾标签信息，AI与AL构成原始数据集A；
训练单元，用于利用YOLO v3网络和原始数据集A进行模型训练，得到烟雾检测模型；
第二获取单元，用于获取实时监控视频数据；
输入单元，用于将所述实时监控视频数据输入烟雾检测模型进行实时烟雾检测；
检测单元，用于将检测到的烟雾在实时监控视频中以矩形框标记并标注烟雾标签信息，得到烟雾检测结果；
返回单元，用于将烟雾检测结果以截图的形式返回给社会治理平台服务端相关人员进行人工审核；
第一判断单元，用于根据人工审核结果判断所述烟雾检测结果是否正确；
警告单元，用于在所述烟雾检测结果正确的情况下，发出烟雾警告信息，以通知相关人员进行处理；
收集单元，用于在所述烟雾检测结果不正确的情况下，接收相关人员对矩形框的烟雾标签信息的修改信息，将修改后的图片样本作为检测错误的图片样本进行收集备用；
第二判断单元，用于判断检测错误的图片样本的数量是否超过预设阈值；
自优化单元，用于在检测错误的图片样本的数量超过预设阈值的情况下，自动开启自优化进程，将所述检测错误的图片样本与原始图片数据集A合并为新的训练数据集，以利用YOLO v3网络根据所述新的训练数据进行模型训练，得到训练迭代后的烟雾检测模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010399591.XA CN111723656B (zh) | 2020-05-12 | 2020-05-12 | 一种基于YOLO v3与自优化的烟雾检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010399591.XA CN111723656B (zh) | 2020-05-12 | 2020-05-12 | 一种基于YOLO v3与自优化的烟雾检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111723656A true CN111723656A (zh) | 2020-09-29 |
| CN111723656B CN111723656B (zh) | 2023-08-22 |
Family
ID=72564491
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010399591.XA Active CN111723656B (zh) | 2020-05-12 | 2020-05-12 | 一种基于YOLO v3与自优化的烟雾检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111723656B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112861737A (zh) * | 2021-02-11 | 2021-05-28 | 西北工业大学 | 一种基于图像暗通道与YoLov3的森林火灾烟雾检测方法 |
| CN112884705A (zh) * | 2021-01-06 | 2021-06-01 | 西北工业大学 | 一种二维材料样品位置可视化方法 |
| CN113139738A (zh) * | 2021-05-06 | 2021-07-20 | 马鞍山钢铁股份有限公司 | 一种使用机器学习进行环保无组织排放监管的方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014205231A1 (en) * | 2013-06-19 | 2014-12-24 | The Regents Of The University Of Michigan | Deep learning framework for generic object detection |
| CN110084166A (zh) * | 2019-04-19 | 2019-08-02 | 山东大学 | 基于深度学习的变电站烟火智能识别监测方法 |
| CN110135266A (zh) * | 2019-04-17 | 2019-08-16 | 浙江理工大学 | 一种基于深度学习的双摄像头电气火灾防控方法及系统 |
| CN110378265A (zh) * | 2019-07-08 | 2019-10-25 | 创新奇智(成都)科技有限公司 | 一种早期火灾检测方法、计算机可读介质及系统 |
| CN110689021A (zh) * | 2019-10-17 | 2020-01-14 | 哈尔滨理工大学 | 一种基于深度学习的低可见度环境下实时目标检测方法 |
| CN110807429A (zh) * | 2019-10-23 | 2020-02-18 | 西安科技大学 | 基于tiny-YOLOv3的施工安全检测方法及系统 |
| CN111091072A (zh) * | 2019-11-29 | 2020-05-01 | 河海大学 | 一种基于YOLOv3的火焰及浓烟检测方法 |
-
2020
- 2020-05-12 CN CN202010399591.XA patent/CN111723656B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014205231A1 (en) * | 2013-06-19 | 2014-12-24 | The Regents Of The University Of Michigan | Deep learning framework for generic object detection |
| CN110135266A (zh) * | 2019-04-17 | 2019-08-16 | 浙江理工大学 | 一种基于深度学习的双摄像头电气火灾防控方法及系统 |
| CN110084166A (zh) * | 2019-04-19 | 2019-08-02 | 山东大学 | 基于深度学习的变电站烟火智能识别监测方法 |
| CN110378265A (zh) * | 2019-07-08 | 2019-10-25 | 创新奇智(成都)科技有限公司 | 一种早期火灾检测方法、计算机可读介质及系统 |
| CN110689021A (zh) * | 2019-10-17 | 2020-01-14 | 哈尔滨理工大学 | 一种基于深度学习的低可见度环境下实时目标检测方法 |
| CN110807429A (zh) * | 2019-10-23 | 2020-02-18 | 西安科技大学 | 基于tiny-YOLOv3的施工安全检测方法及系统 |
| CN111091072A (zh) * | 2019-11-29 | 2020-05-01 | 河海大学 | 一种基于YOLOv3的火焰及浓烟检测方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112884705A (zh) * | 2021-01-06 | 2021-06-01 | 西北工业大学 | 一种二维材料样品位置可视化方法 |
| CN112884705B (zh) * | 2021-01-06 | 2024-05-14 | 西北工业大学 | 一种二维材料样品位置可视化方法 |
| CN112861737A (zh) * | 2021-02-11 | 2021-05-28 | 西北工业大学 | 一种基于图像暗通道与YoLov3的森林火灾烟雾检测方法 |
| CN113139738A (zh) * | 2021-05-06 | 2021-07-20 | 马鞍山钢铁股份有限公司 | 一种使用机器学习进行环保无组织排放监管的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111723656B (zh) | 2023-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109598794B (zh) | 三维gis动态模型的构建方法 | |
| CN105404886B (zh) | 特征模型生成方法和特征模型生成装置 | |
| CN108197604A (zh) | 基于嵌入式设备的快速人脸定位跟踪方法 | |
| CN109145708B (zh) | 一种基于rgb和d信息融合的人流量统计方法 | |
| CN111723656A (zh) | 一种基于YOLO v3与自优化的烟雾检测方法及装置 | |
| CN112396116B (zh) | 一种雷电检测方法、装置、计算机设备及可读介质 | |
| CN109918971B (zh) | 监控视频中人数检测方法及装置 | |
| CN105469105A (zh) | 一种基于视频监控的香烟烟雾检测方法 | |
| CN111898581A (zh) | 动物检测方法、装置、电子设备及可读存储介质 | |
| CN111126122B (zh) | 人脸识别算法评估方法及装置 | |
| CN109558792B (zh) | 一种基于样本和特征检测互联网徽标内容的方法和系统 | |
| CN114067444A (zh) | 基于元伪标签和光照不变特征的人脸欺骗检测方法和系统 | |
| CN109635634A (zh) | 一种基于随机线性插值的行人再识别数据增强方法 | |
| CN110942456B (zh) | 篡改图像检测方法、装置、设备及存储介质 | |
| CN110197185B (zh) | 一种基于尺度不变特征变换算法监测桥下空间的方法和系统 | |
| CN103093243B (zh) | 高分辨率全色遥感图像云判方法 | |
| CN116109954B (zh) | 房屋安全隐患识别方法、装置及存储介质 | |
| CN114972177A (zh) | 道路病害识别管理方法、装置及智能终端 | |
| CN111683221B (zh) | 嵌入矢量红线数据的自然资源实时视频监测方法及系统 | |
| CN112597995B (zh) | 车牌检测模型训练方法、装置、设备及介质 | |
| CN116580026B (zh) | 精密零部件外观缺陷自动光学检测方法、设备及存储介质 | |
| KR102096784B1 (ko) | 영상의 유사도 분석을 이용한 위치 측정 시스템 및 그 방법 | |
| CN111708907A (zh) | 一种目标人员的查询方法、装置、设备及存储介质 | |
| CN114445788A (zh) | 车辆停放检测方法、装置、终端设备和可读存储介质 | |
| CN116468974B (zh) | 一种基于图像生成的烟雾检测方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240115 Address after: No. N3013, 3rd Floor, R&D Building N, Artificial Intelligence Science and Technology Park, Wuhan Economic and Technological Development Zone, Wuhan City, Hubei Province, 430058 Patentee after: Zhongdian Cloud Computing Technology Co.,Ltd. Patentee after: CHINA ELECTRONIC SYSTEM TECHNOLOGY Co.,Ltd. Address before: No.49 Fuxing Road, Haidian District, Beijing 100036 Patentee before: CHINA ELECTRONIC SYSTEM TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right |