CN110363104A - 一种柴油黑烟车的检测方法 - Google Patents

一种柴油黑烟车的检测方法 Download PDF

Info

Publication number
CN110363104A
CN110363104A CN201910550952.3A CN201910550952A CN110363104A CN 110363104 A CN110363104 A CN 110363104A CN 201910550952 A CN201910550952 A CN 201910550952A CN 110363104 A CN110363104 A CN 110363104A
Authority
CN
China
Prior art keywords
black smoke
diesel oil
monitoring picture
picture
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910550952.3A
Other languages
English (en)
Other versions
CN110363104B (zh
Inventor
康宇
王晓栋
李泽瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN201910550952.3A priority Critical patent/CN110363104B/zh
Publication of CN110363104A publication Critical patent/CN110363104A/zh
Application granted granted Critical
Publication of CN110363104B publication Critical patent/CN110363104B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种柴油黑烟车的检测方法，属于环境检测技术领域，包括利用道路的监控图片构建黑烟车样本数据集，并在监控图片中标注出黑烟车位置所在的矩形边界框；对监控图片上标注的矩形边界框使用k‑均值聚类算法，计算出包含柴油黑烟车的先验框；利用监控图片和包含柴油黑烟车的先验框，对构建的目标检测模型进行训练，得到训练好的模型；利用训练好的模型对待检测的监控图片进行检测，判断待检测监控图片中是否存在黑烟车。本发明在新的数据集中聚类得到先验框，更有利于对监控图片中目标的定位，通过预测矩形边界框相对于先验框的偏移值，提高了网络的召回率，增强网络的检测能力。

Description

一种柴油黑烟车的检测方法
技术领域
本发明涉及环境检测技术领域，特别涉及一种柴油黑烟车的检测方 法。
背景技术
柴油车所排放的黑烟废气中含有约两百种不同的化合物，是造成细 颗粒物、光化学烟雾污染的主要原因之一。综合考虑柴油车行驶里程和 排放系数，一辆无法达到国三排放标准或更低排放标准的柴油车的氮氧 化物和细颗粒物排放量，相当于两百多辆国四排放标准小轿车排放量之 和。
基于烟雾具有视觉模糊特性、半透明特性、微粒特性和扩散运动特 性，近年来有许多专家学者针对烟雾检测提出了很多相关工作。翟文鹏 等根据视频烟雾的颜色特征以及烟雾运动的扩散性，提出一种基于颜色 特征和运动特征的视频烟雾探测方法：首先利用光流场法进行运动检测 提取烟雾区域，然后对提取的烟雾区域进行烟雾运动相对稳定性分析和 烟雾运动局部不规则分析，结合烟雾的颜色特征，在给定的阈值条件下 进行烟雾检测。
由于烟雾会遮挡图片的纹理和边缘，导致图片的高频信息减少，其 主要反映在小波域的烟雾图片在小波高频能量会减少。基于这一特性， 吴爱国等提出了利用混合高斯模型提取烟雾区域，然后对小波变化分析 烟雾区域得到烟雾判别输出的静态特征和动态特征相结合的烟雾检测 方法。
以上烟雾检测方法主要存在以下两点不足：
(1)之前已开展的绝大多数研究工作都是针对森林火灾或者工厂 烟囱排放烟雾的高空视角，其应用场景中的运动干扰物较少，背景相对 固定，使之难以成为适用于各种场景的通用烟雾检测方法。
例如本发明所涉及的自然条件下的交通道口监控摄像机工作场景， 其中存在光照变化频繁剧烈，路面颜色灰暗，水渍污渍遍布，道路旁杂 物较多，车辆间存在相互遮挡，烟羽轮廓面积多变等问题。传统烟雾检 测算法所使用的基于经验阈值和实验统计阈值的人工特征提取方法，如 人工设计建模烟雾的颜色特征、频域特征、纹理特征等，难以胜任如此 复杂场景下的检测任务。
(2)传统方法所设计的机器学习算法的所有计算任务都只能部署 在CPU上进行，实时性很差，难以根据具体的应用场景进行特定优化以 及支持GPU并行计算加速。
发明内容
本发明的目的在于克服上述背景技术中的缺陷，以提供一种适用于 自然条件下的交通道口监控摄像机工作场景的烟雾检测方法。
为实现以上目的，本发明采用一种柴油黑烟车检测方法，包括如下 步骤：
利用道路的监控图片构建黑烟车样本数据集，并在监控图片中标注 出黑烟车位置所在的矩形边界框；
构建目标检测模型，并对监控图片上标注的矩形边界框使用k-均值 聚类算法，计算出包含柴油黑烟车的先验框；
利用监控图片和包含柴油黑烟车的先验框，对构建的目标检测模型 进行训练，得到训练好的模型；
利用训练好的模型对待检测的监控图片进行检测，判断待检测监控 图片中是否存在黑烟车。
进一步地，所述利用道路的监控图片构建黑烟车样本数据集，并在 监控图片中标注出黑烟车位置所在的矩形边界框，包括：
将所述样本数据集中的监控图片划分为训练集、验证集和测试集；
在训练集、验证集和测试集中包含的监控图片中标注出黑烟车位置 所在的矩形边界框，并将矩形边界框的中心点坐标(x，y)、矩形边界框 的宽w和矩形边界框的高h作为图片标签；
将图片标签相对于所述监控图片尺寸批归一化到(0，1)之间，并 将批归一化后的图片标签保存在与所述监控图片同名的xml格式文件中， 其中，批归一化后的图片标签包括归一化后的中心点坐标、归一化后的 宽度值和归一化后的高度值；
在所述监控图片中存在黑烟车的检测结果，将类别标签c定义为数 字类别1，在所述监控图片中不存在黑烟车的检测结果，将类别标签c 定义为数字类别0；
将图片标签和存储路径保存在与所述监控图片同名的txt文件中。
进一步地，所述训练集、验证集和测试集中包含的监控图片的数量 比例为8:1:1，所有监控图片中存在柴油黑烟车的图片数量和不存在柴油 黑烟车的图片数量之比为1:1，其中：
所述验证集中的监控图片用于对所述训练后的模型的性能进行验 证，得到验证后的模型；
所述测试集中的监控图片用于对所述验证后的模型进行再次验证， 得到最终的目标检测模型。
进一步地，在所述利用道路的监控图片构建黑烟车样本数据集之后， 还包括：
采用数据增强方法对所述样本数据集中的监控图片进行扩充。
进一步地，所述目标检测模型的结构包括：骨干网络、空间金字塔 池化、特征金字塔网络以及检测层，骨干网络的输出依次连接空间金字 塔池化、特征金字塔网络以及检测层；
骨干网络的输入为经过缩放的所述监控图片、输出为所述监控图片 的特征图，空间金字塔池化的输入为所述监控图片的特征图、输出为相 同大小和通道数的特征图，特征金字塔网络的输入为经过空间金字塔池 化的特征图，输出为经过多层融合的特征图，检测层的输入为经过多层 融合的特征图、输出为包含分类结果、类别置信度和预测框坐标的特征 向量。
进一步地，在所述利用监控图片和包含柴油黑烟车的先验框，对构 建的目标检测模型进行训练，得到训练好的模型之前，还包括：
使用ImageNet分类数据集对所述目标检测模型中的特征提取网络 进行预训练，以得到预训练后的模型；
相应地，利用监控图片和包含柴油黑烟车的先验框，对预训练后的 模型进行训练，得到训练好的模型。
进一步地，所述构建目标检测模型，并对监控图片上标注的矩形边 界框使用k-均值聚类算法，计算出包含柴油黑烟车的先验框，包括：
事先定义不同尺寸的先验框，并从与所述监控图片对应的xml格式 文件中读取所述归一化后的宽度值和所述归一化后的高度值；
将所述归一化后的宽度值和所述归一化后的高度值分别乘以所述 批归一化时的缩放系数，得到所述矩形边界框；
统计k个先验框分别与所述矩形边界框的重叠面积，并将所述重叠 面积作为距离度量，聚类提取出包含柴油黑烟车的先验框。
进一步地，将监控图片中标注出的矩形边界框作为真值框，所述利 用监控图片和包含柴油黑烟车的先验框，对构建的目标检测模型进行训 练，得到训练好的模型，包括：
利用所述预训练后的特征提取网络对输入的所述训练集中的监控 图片进行特征提取，得到特征图；
利用所述包含柴油黑烟车的先验框对特征图进行预测，得到预测框， 该预测框中包含目标定位信息、含有目标的概率信息以及存在柴油黑烟 车的条件概率信息，目标定位信息包括所述真值框的中心点坐标相对于 所述先验框的偏移坐标和所述真值框的宽和高；
根据所述预测框与所述真值框的重叠面积和所述预测框含有目标 的概率信息，计算目标置信度；
将目标置信度小于置信度值阈值的预测框滤除，得到筛选后的预测 框；
利用非极大值抑制算法将所述筛选后的预测框进行合并重叠，得到 剩余的预测框；
计算剩余的预测框内目标的类别置信度，若类别置信度大于设定的 类别置信度阈值，则确定该预测框对应的监控图片中含有柴油黑烟车。
进一步地，所述目标检测模型的总损失函数为：
其中，l表示各子损失函数，W和H分别表示所述特征图的宽和高； A指所述先验框的数量，C表示类别数量，上角标中o表示目标，r表示 先验框坐标，k表示先验框编号，c表示类别标签，truth表示与所述真 值框相匹配，下角标中t表示迭代次数，K表示编号为K的ground truth 真值框，noobj表示先验框中不存在目标，prior表示先验框，coord表示 坐标，obj表示存在目标，class表示类别，i、j表示编号为k的先验框 中的某个像素点(i，j)，λnoobj表示背景置信度损失函数的权重系数，λprior表示先验框prior与预测框b坐标损失函数的权重系数，λcoord表示负责 预测的先验框所得到的预测框与标签边界框坐标损失函数的权重系数， λobj表示目标置信度损失函数的权重系数，λclass表示分类损失函数的权 重系数，项损失函数表示 计算背景的置信度误差，先验框中无目标的置信度误差为 项表示计算先验框 prior与预测框b的坐标损失函数， 项表示计算与某个真值框ground truth匹配的预测框的定位误差； (项表示计算目标置信度误差； )表示计算分类误差，*表示乘积。
进一步地，在GPU平台上运行所述柴油黑烟车的检测方法。
与现有技术相比，本发明存在以下技术效果：本发明针对柴油黑烟 车这一特定目标，使用k-均值聚类算法对监控图片上标注出的矩形边界 框即真值框进行聚类，得到包含有柴油黑烟车的先验框，以用于目标检 测模型中对监控图片中目标的定位。与传统的人工设计先验框相比，本 方案不再直接预测边界框的尺寸，而是在新的数据集中聚类得到先验框， 更有利于对监控图片中目标的定位，在利用目标检测模型进行目标预测 时，不直接预测目标的位置和其矩形边界框的大小，而是预测矩形边界 框相对于先验框的偏移值，从而大大提高了网络的召回率，增强网络的 检测能力。
附图说明
下面结合附图，对本发明的具体实施方式进行详细描述：
图1是一种柴油黑烟车的检测方法的流程示意图；
图2是本方案对应的检测原理框图；
图3是柴油黑烟车检测示例图；
图4是目标检测模型的结构示意图。
具体实施方式
为了更进一步说明本发明的特征，请参阅以下有关本发明的详细说 明与附图。所附图仅供参考与说明之用，并非用来对本发明的保护范围 加以限制。
如图1所示，本实施例公开了一种柴油黑烟车的检测方法，包括如 下步骤S1至S4：
S1、利用道路的监控图片构建黑烟车样本数据集，并在监控图片中 标注出黑烟车位置所在的矩形边界框；
S2、构建目标检测模型，并对监控图片上标注的矩形边界框使用k- 均值聚类算法，计算出包含柴油黑烟车的先验框；
S3、利用监控图片和包含柴油黑烟车的先验框，对构建的目标检测 模型进行训练，得到训练好的模型；
S4、利用训练好的模型对待检测的监控图片进行检测，判断待检测 监控图片中是否存在黑烟车。
其中，在步骤S1中：首先获取微调目标检测模型所需的监控图片 及其与监控图片对应的图片标签。本实施例使用的交通道口监控摄像机 视角下的真实监控图片均由位于安徽省合肥市G312国道和新桥大道交 口自西向东和自东向西的数台电子警察摄像机所拍摄。
具体地，将所拍摄到的监控视频按每秒五帧，逐帧提取成单幅监控 图片后，按照拍摄时间对监控图片进行重命名，并将所有监控图片按照 8：1：1的比例划分为训练集、验证集和测试集，同时保证所有监控图 片中存在柴油黑烟车的图片数量与图片中不存在柴油黑烟车的图片数 量之比为1：1。其中，训练集中的监控图片用于对构建的目标检测模型进行训练，得到训练后的模型；验证集中的监控图片用于对所述训练后 的模型的性能进行验证，得到验证后的模型；测试集中的监控图片用于 对所述验证后的模型进行再次验证，得到最终的目标检测模型。
具体地，图片的标签为所提取的每张监控图片中的包含柴油黑烟车 尾部及烟羽的完整轮廓的矩形边界框的中心点坐标(x,y)、边界框的宽高 (w,h)及其类别标签c。同时，将前四个参数(x,y)，(w,h)都相对于原始图 片尺寸批归一化到(0,1)之间，保存在与监控图片同名的xml格式文件 中。若该目标区域中存在柴油黑烟车，则将该监控图片的类别标签定义 为数字类别1，即存在柴油黑烟车；若监控图片中不存在柴油黑烟车， 则将监控图片的类别标签定义为数字类别0；最后，将该监控图片的标 签和路径保存在与监控图片同名的txt格式文件中，编码格式为UTF-8， 便于在标准化流程中训练模型时，读取图片的标签数据。
需要说明的是，为了加快网络训练时的收敛速度，降低网络过拟合， 提高网络的泛化能力，本实施例引入批归一化层。批归一化是一种网络 正则化方法，该算法是指在网络的每一层输入之前插入一个归一化层， 该层通过求取输入数据的均值和方差，对输入网络的小批量数据进行归 一化：对该批监控图片的各特征向量分别进行归一化处理，分别使每个 特征的数据分布变换为均值0，方差1，从而使得每一批训练样本在每 一层都有类似的分布。还可对上一步的输出再做一次线性变换，假设上 一步的输出为Z，则Z1＝γZ+β。这里γ、β是可以训练的参数。通过引 入可学习参数γ、β还原输入数据的分布，经过处理的数据再被送入下一 层网络。
进一步地，由于目标检测模型训练需要大量的监控图片，但是从交 通道口监控摄像机视角下的真实监控图片，含有柴油黑烟车的图片数量 较少，难以满足目标检测模型训练时对于训练数据的需求。本实施例在 小样本情况下，通过多种数据增强方法，比如平移、旋转、镜像、裁剪、 缩放、颜色抖动，添加椒盐噪声和高斯噪音干扰等，对样本数据集进行扩充，以大幅提高网络泛化能力。
进一步地，如图4所示，上述步骤S2中所构建的目标检测模型的 结构包括：骨干网络、空间金字塔池化、特征金字塔网络以及检测层， 骨干网络的输出依次连接空间金字塔池化、特征金字塔网络以及检测层；
其中，骨干网络，一般为全卷积网络，用于提取特征，输入为经过 放缩的原图，输出为经过全卷积网络提取的特征图；空间金字塔池化， 由最大池化层和1×1卷积核组成，输入为经过全卷积网络提取的特征图， 输出为相同大小和通道数的特征图；特征金字塔网络，使用2倍上采样 融合多层特征，改进骨干网络的特征提取效果，增强网络对小目标(一般为小于32×32的物体)的检测效果，输入为经过空间金字塔池化的特 征图，输出为经过多层融合的特征图；检测层，由批归一化层和全连接 层组成，输入为经过多层融合的特征图，输出为包含分类结果、类别置 信度和预测框坐标的特征向量。
与现有技术相比，本实施例通过修改目标检测模型的网络结构，将 锚点重新设置在车辆尾部，面向摄像机的三条车道上，修改卷积方式是 指将卷积层中使用的标准3×3卷积核，替换为深度分离的3×3卷积与 1×1卷积的组合。深度分离的卷积核数量等于输入特征图的数量，每个 卷积核只负责一个特征图，即只作用于单通道，之后再使用1×1卷积 作用于所有3×3深度分离卷积输出的特征图，之后再通过激活函数。 本方案中将传统模型网络结构中的23个卷积层压缩为10个，通过修改 网络结构，使得构建的目标检测模型变得更小，参数更少，更少的参数 在做检测时运算量更少，以提高计算速度。
进一步地，在上述步骤S3：利用监控图片和包含柴油黑烟车的先验 框，对构建的目标检测模型进行训练，得到训练好的模型之前，还包括：
使用ImageNet分类数据集对所述目标检测模型中的特征提取网络 进行预训练，以得到预训练后的模型；
相应地，利用监控图片和包含柴油黑烟车的先验框，对预训练后的 模型进行训练，得到训练好的模型。
上述步骤S2中，对监控图片上标注的矩形边界框使用k-均值聚类 算法，计算出包含柴油黑烟车的先验框，具体包括如下细分步骤S21至 S23：
S21、事先定义不同尺寸的先验框，并从与所述监控图片对应的xml 格式文件中读取所述归一化后的宽度值和所述归一化后的高度值；
S22、将所述归一化后的宽度值和所述归一化后的高度值分别乘以 所述批归一化时的缩放系数，得到所述矩形边界框；
S23、统计k个先验框分别与所述矩形边界框的重叠面积，并将所 述重叠面积作为距离度量，聚类提取出包含柴油黑烟车的先验框。
具体地，定义的聚类距离度量公式为：
d(box，centroid)＝1-IOU(box，centroid)，
其中，d表示计算聚类距离指标，box表示标签中的每个矩形边界 框，centroid表示从矩形边界框中挑选出的聚类中心框， IOU(box，centroid)表示标签中的边界框与聚类中心框的重叠面积即距离 度量，且IOU(box，centroid)值与边界框的尺寸无关。
需要说明的是，本方案相比于使用人工设计的先验框，在新的数据 集上聚类得到的先验框更有助于对目标的定位，使得柴油黑烟车的检测 精度更高，漏检率更低。
优选地，由于k-均值聚类算法对聚类中心初值的选取十分敏感，因 此聚类中心的选取过程为：首先统计图片标签中所有矩形边界框的大小， 得到聚类距离尽可能大(即d(box，centroid)≈1)的三个矩形边界框作 为初始聚类中心框，使得共享同一初始聚类中心框的ground truth真值 框的相似性尽可能大，同时不共享同一初始聚类中心框的ground truth 真值框的差异性也尽可能地大，加快网络收敛速度，提升模型预测精度。
进一步地，本实施例在训练目标检测模型时，通过最小优化误差函 数中的定位误差、目标误差和分类误差，并使用带动量的随机梯度下降 法更新权重参数，最终保存训练好的模型参数到权重文件中。具体地， 上述步骤S3：利用监控图片和包含柴油黑烟车的先验框，对构建的目标 检测模型进行训练，得到训练好的模型，包括如下细分步骤S31至S36：
S31、利用所述预训练后的特征提取网络对输入的所述训练集中的 监控图片进行特征提取，得到特征图；
S32、利用所述包含柴油黑烟车的先验框对特征图进行预测，得到 预测框，该预测框中包含目标定位信息、含有目标的概率信息以及存在 柴油黑烟车的条件概率信息，目标定位信息包括所述真值框的中心点坐 标相对于所述先验框的偏移坐标和所述真值框的宽和高；
S33、根据所述预测框与所述真值框的重叠面积和所述预测框含有 目标的概率信息，计算目标置信度；
S34、将目标置信度小于置信度值阈值的预测框滤除，得到筛选后 的预测框；
S35、利用非极大值抑制算法将所述筛选后的预测框进行合并重叠， 得到剩余的预测框；
S36、计算剩余的预测框内目标的类别置信度，若类别置信度大于 设定的类别置信度阈值，则确定该预测框对应的监控图片中含有柴油黑 烟车。
具体地，本实施例中利用与训练得到的模型参数对全卷积层网络即 特征提取网络进行初始化，之后输入训练集中的监控图片，并对输入的 监控图片进行缩放，通过短边补零的操作，保持输入的监控图片的宽高 比，并进行多尺度训练，将输入的监控图片缩放为320×320像素大小， 以在预测时通过使用320×320这种像素更少的监控图片，减少算法用 时。
训练时利用特征提取网络对输入的监控图片进行特征提取，通过卷 积核滑动补偿以及池化操作，对特征图进行下采样，得到13×13大小 的特征图。在得到的13×13大小的特征图的每个单元格上使用先验框 分别预测3个预测框，由于目标检测模型的检测结果只有一类即存在黑 烟，因此总共得到507个预测框。
在预测框计算过程中，对于某个矩形边界框，首先要确定其中心点 落在13×13大小的特征图的那个单元格上，然后计算这个单元格的3 个先验框与矩形边界框的占空比。特别地，计算占空比时不考虑坐标， 只考虑形状，此处取原点，然后计算对应的占空比，占空比最大的先验 框与矩形边界框匹配，其所对应的预测框负责预测相应的矩形边界框。
这些预测框中包含目标定位信息、含有目标的概率信息Pr(Object) 以及存在柴油黑烟车的条件概率信息(Pr(Smoke|Object))，目标定位信息 包括所述真值框的中心点坐标相对于所述先验框的偏移坐标和所述真 值框的宽和高。
具体地，上述步骤S33中，目标置信度的计算公式为：
其中，Pr(Object)表示预测框内含有目标的概率，表示预测 框与标签边界框即真值框ground truth的重叠面积，*表示乘积。若预测 框内含有目标，则Pr(Object)＝1，该预测框的目标置信度为 否则，Pr(Object)＝0，认为预测框中没有目 标，Conf(Object)＝0。
具体地，上述步骤S34中，对于所得到的507个预测框，将置信度 小于预先设定的置信度阈值(该处的置信度阈值可取值为0.5)的预测 框滤除，得到筛选后的预测框，使得每个真值框ground truth有且仅有 一个预测框与之对应。
具体地，上述步骤S35中，利用非极大值抑制算法(Non-Maximum Suppression，NMS)对筛选后的预测框进行处理，合并占空比大于占空 比阈值(该处的占空比阈值可取值为0.45)的预测框即冗余框，得到剩 余的预测框。其中，NMS算法在许多计算机视觉任务中均有应用，比如 边缘检测、人脸识别、目标检测等。在目标检测算法得到很多预测框后， 对这些预测框的目标置信度得分进行排序，选中最高分及其对应的预测 框，之后遍历剩余的预测框，若和当前最高分对应的预测框的重叠面积 大于占空比阈值，就将预测框删除，小于占空比阈值的预测框则保留。 本实施例中在目标检测过程中将其作为一种后处理算法，用于去除冗余 的重叠预测框。
具体地，上述步骤S36中，网络使用二分类交叉熵损失函数如下所 示：
Pr(Smoke|Object)＝一[y×log(p)+(1-y)×log(1-p)]
上式给出预测框内是否存在柴油黑烟车的条件概率 Pr(Smoke|Object)的计算方法。其中，y表示预测框的类别标签，若为正 类，则y＝1，即预测框内存在柴油黑烟车；若为负类，则y＝0，即预测 框内不存在柴油黑烟车，p表示预测框的标签预测为正的概率。
然后计算预测框内目标的类别置信度Conf，类别置信度Conf的计算 公式为：
本实施例中将预测框的类别置信度与预先设定的类别置信度阈值 (该处的类别置信度阈值可取值为0.5)进行比较，若预测框的类别置 信度大于类别置信度阈值，则判断对应的监控图片中存在柴油黑烟车， 并得到监控图片中柴油黑烟车预测框的位置坐标。
优选地，在确定监控图片中存在柴油黑烟车时，根据该监控图片上 矩形边界框的坐标，将包含柴油黑烟车尾部及烟羽完整轮廓的矩形区域 裁剪保存为与监控图片同名的jpg格式文件中。
进一步地，模型的总损失函数losst的计算公式如下：
其中，l表示各子损失函数，W和H分别表示网络输出大小为13× 13特征图的宽和高，A指先验框的数量，特别地，此处等于3。C表示 类别数量；上角标中o表示目标，r表示先验框坐标，k表示先验框编号， c表示类别标签，truth表示与标签边界框相匹配；下角标中t表示迭代 次数，K表示编号为K的ground truth真值框，noobj表示先验框中无目 标即背景，prior表示先验框，coord表示坐标，obj表示存在目标，class 表示类别，i、j表示编号为k的先验框中的某个像素点(训。
不同的λ表示不同子损失函数的权重系数，λnoobj表示背景置信度损 失函数的权重，λprior表示先验框prior与预测框b坐标损失函数的权重 系数，λcoord表示负责预测的先验框所得到的预测框与标签边界框坐标 损失函数的权重系数，λobj表示目标置信度损失函数的权重系数，λclass表示分类损失函数的权重系数。 项损失函数表示计算背景的置信度误差，需要先计算各个预测 框和所有矩形边界框的占空比，并求取最大的占空比Max IOU。若该项 值小于设定的占空比阈值Thresh，特别地，该占空比阈值取0.45，那么 该预测框就会被标记为背景，即不存在柴油黑烟车，从而需要计算noobj 无目标的置信度误差 项表示计算先验框prior与预测框b的坐标损失函数，且只在前 12800次迭代中计算，使得目标检测模型可以在训练前期使预测框快速 学习先验框的形状。项表示计 算与某个矩形边界框即真值框ground truth匹配的预测框的定位误差； (项表示计算目标置信度误差； )表示计算分类误差。
特别地，在计算是否存在目标置信度时，若存在目标，则目标置信 度损失函数的权重系数λobj取值为1，当求取目标置信度误差时，目标 置信度应取预测框与矩形边界框的真实占空比大小，对于那些没有与矩 形边界框匹配的先验框所得到的预测框，那些最大占空比低于占空比阈 值的被视作背景，其它全部忽略，不进行任何误差计算。
优选地，本实施例中将改进后的目标检测算法部署在图形处理器 (GraphicsProcessing Unit，GPU)，用于解决城市交通道口监控摄像头视 角下的柴油黑烟车的实时检测问题，利用统一计算设备架构(Compute Unified Device Architecture，CUDA)和对DNN的GPU加速库(CUDA Deep Neural Network，CUDNN)加速库使算法可以并行运算，减少了计 算耗时。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本 发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包 含在本发明的保护范围之内。

Claims (10)

1.一种柴油黑烟车的检测方法，其特征在于，包括：
利用道路的监控图片构建黑烟车样本数据集，并在监控图片中标注出黑烟车位置所在的矩形边界框；
构建目标检测模型，并对监控图片上标注的矩形边界框使用k-均值聚类算法，计算出包含柴油黑烟车的先验框；
利用监控图片和包含柴油黑烟车的先验框，对构建的目标检测模型进行训练，得到训练好的模型；
利用训练好的模型对待检测的监控图片进行检测，判断待检测监控图片中是否存在黑烟车。
2.如权利要求1所述的柴油黑烟车的检测方法，其特征在于，所述利用道路的监控图片构建黑烟车样本数据集，并在监控图片中标注出黑烟车位置所在的矩形边界框，包括：
将所述样本数据集中的监控图片划分为训练集、验证集和测试集；
在训练集、验证集和测试集中包含的监控图片中标注出黑烟车位置所在的矩形边界框，并将矩形边界框的中心点坐标(x，y)、矩形边界框的宽w、矩形边界框的高h以及类别标签c作为图片标签；
将图片标签相对于所述监控图片尺寸批归一化到(0，1)之间，并将批归一化后的图片标签保存在与所述监控图片同名的xml格式文件中，其中，批归一化后的图片标签包括归一化后的中心点坐标、归一化后的宽度值和归一化后的高度值；
在所述监控图片中存在黑烟车的检测结果，将类别标签c定义为数字类别1，在所述监控图片中不存在黑烟车的检测结果，将类别标签c定义为数字类别0；
将图片标签和存储路径保存在与所述监控图片同名的txt文件中。
3.如权利要求2所述的柴油黑烟车的检测方法，其特征在于，所述训练集、验证集和测试集中包含的监控图片的数量比例为8:1:1，所有监控图片中存在柴油黑烟车的图片数量和不存在柴油黑烟车的图片数量之比为1:1，其中：
所述验证集中的监控图片用于对所述训练后的模型的性能进行验证，得到验证后的模型；
所述测试集中的监控图片用于对所述验证后的模型进行再次验证，得到最终的目标检测模型。
4.如权利要求3所述的柴油黑烟车的检测方法，其特征在于，在所述利用道路的监控图片构建黑烟车样本数据集之后，还包括：
采用数据增强方法对所述样本数据集中的监控图片进行扩充。
5.如权利要求2所述的柴油黑烟车的检测方法，其特征在于，所述目标检测模型的结构包括：骨干网络、空间金字塔池化、特征金字塔网络以及检测层，骨干网络的输出依次连接空间金字塔池化、特征金字塔网络以及检测层；
骨干网络的输入为经过缩放的所述监控图片、输出为所述监控图片的特征图，空间金字塔池化的输入为所述监控图片的特征图、输出为相同大小和通道数的特征图，特征金字塔网络的输入为经过空间金字塔池化的特征图，输出为经过多层融合的特征图，检测层的输入为经过多层融合的特征图、输出为包含分类结果、类别置信度和预测框坐标的特征向量。
6.如权利要求5所述的柴油黑烟车的检测方法，其特征在于，在所述利用监控图片和包含柴油黑烟车的先验框，对构建的目标检测模型进行训练，得到训练好的模型之前，还包括：
使用ImageNet分类数据集对所述目标检测模型中的特征提取网络进行预训练，以得到预训练后的模型；
相应地，利用监控图片和包含柴油黑烟车的先验框，对预训练后的模型进行训练，得到训练好的模型。
7.如权利要求5所述的柴油黑烟车的检测方法，其特征在于，所述构建目标检测模型，并对监控图片上标注的矩形边界框使用k-均值聚类算法，计算出包含柴油黑烟车的先验框，包括：
事先定义不同尺寸的先验框，并从与所述监控图片对应的xml格式文件中读取所述归一化后的宽度值和所述归一化后的高度值；
将所述归一化后的宽度值和所述归一化后的高度值分别乘以所述批归一化时的缩放系数，得到所述矩形边界框；
统计k个先验框分别与所述矩形边界框的重叠面积，并将所述重叠面积作为距离度量，聚类提取出包含柴油黑烟车的先验框。
8.如权利要求6所述的柴油黑烟车的检测方法，其特征在于，将监控图片中标注出的矩形边界框作为真值框，所述利用监控图片和包含柴油黑烟车的先验框，对构建的目标检测模型进行训练，得到训练好的模型，包括：
利用所述预训练后的特征提取网络对输入的所述训练集中的监控图片进行特征提取，得到特征图；
利用所述包含柴油黑烟车的先验框对特征图进行预测，得到预测框，该预测框中包含目标定位信息、含有目标的概率信息以及存在柴油黑烟车的条件概率信息，目标定位信息包括所述真值框的中心点坐标相对于所述先验框的偏移坐标和所述真值框的宽和高；
根据所述预测框与所述真值框的重叠面积和所述预测框含有目标的概率信息，计算目标置信度；
将目标置信度小于置信度值阈值的预测框滤除，得到筛选后的预测框；
利用非极大值抑制算法将所述筛选后的预测框进行合并重叠，得到剩余的预测框；
计算剩余的预测框内目标的类别置信度，若类别置信度大于设定的类别置信度阈值，则确定该预测框对应的监控图片中含有柴油黑烟车。
9.如权利要求8所述的柴油黑烟车的检测方法，其特征在于，所述目标检测模型的总损失函数为：
其中，l表示各子损失函数，W和H分别表示所述特征图的宽和高；A指所述先验框的数量，C表示类别数量，上角标中o表示目标，r表示先验框坐标，k表示先验框编号，c表示类别标签，truth表示与所述真值框相匹配，下角标中t表示迭代次数，K表示编号为K的groundtruth真值框，noobj表示先验框中不存在目标，prior表示先验框，coord表示坐标，obj表示存在目标，class表示类别，i、j表示编号为k的先验框中的某个像素点(i,j)，λnoobj表示背景置信度损失函数的权重系数，λprior表示先验框prior与预测框b坐标损失函数的权重系数，λcoord表示负责预测的先验框所得到的预测框与标签边界框坐标损失函数的权重系数，λobj表示目标置信度损失函数的权重系数，λclass表示分类损失函数的权重系数，项损失函数表示计算背景的置信度误差，先验框中无目标的置信度误差为 项表示计算先验框prior与预测框b的坐标损失函数， 项表示计算与某个真值框ground truth匹配的预测框的定位误差；项表示计算目标置信度误差； 表示计算分类误差，*表示乘积。
10.如权利要求1-9任一项所述的柴油黑烟车的检测方法，其特征在于，在GPU平台上运行所述柴油黑烟车的检测方法。
CN201910550952.3A 2019-06-24 2019-06-24 一种柴油黑烟车的检测方法 Active CN110363104B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910550952.3A CN110363104B (zh) 2019-06-24 2019-06-24 一种柴油黑烟车的检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910550952.3A CN110363104B (zh) 2019-06-24 2019-06-24 一种柴油黑烟车的检测方法

Publications (2)

Publication Number Publication Date
CN110363104A true CN110363104A (zh) 2019-10-22
CN110363104B CN110363104B (zh) 2022-07-15

Family

ID=68217053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910550952.3A Active CN110363104B (zh) 2019-06-24 2019-06-24 一种柴油黑烟车的检测方法

Country Status (1)

Country Link
CN (1) CN110363104B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165602A (zh) * 2018-08-27 2019-01-08 成都华安视讯科技有限公司 一种基于视频分析的黑烟车检测方法
CN111523403A (zh) * 2020-04-03 2020-08-11 咪咕文化科技有限公司 图片中目标区域的获取方法及装置、计算机可读存储介质
CN112052883A (zh) * 2020-08-14 2020-12-08 五邑大学 一种衣物检测方法、装置及存储介质
CN112149661A (zh) * 2020-08-07 2020-12-29 珠海欧比特宇航科技股份有限公司 车牌识别方法、装置及介质
CN112257586A (zh) * 2020-10-22 2021-01-22 江苏禹空间科技有限公司 目标检测中的真值框选择方法、装置、存储介质及设备
CN112435214A (zh) * 2020-10-21 2021-03-02 北京工业大学 基于先验框线性缩放的花粉检测方法、装置和电子设备
WO2021082921A1 (zh) * 2019-10-28 2021-05-06 上海悦易网络信息技术有限公司 电子设备背板外观瑕疵检测方法及设备
CN112784642A (zh) * 2019-11-08 2021-05-11 杭州海康威视数字技术股份有限公司 车辆检测方法及装置
CN112990004A (zh) * 2021-03-12 2021-06-18 中国科学技术大学智慧城市研究院(芜湖) 一种基于光流法和深度学习卷积神经网络的黑烟车检测方法
CN113221976A (zh) * 2021-04-26 2021-08-06 中国科学技术大学先进技术研究院 基于时空光流网络的多视频帧黑烟柴油车检测方法及系统
CN113221929A (zh) * 2020-02-05 2021-08-06 华为技术有限公司 一种图像处理方法以及相关设备
CN113392695A (zh) * 2021-04-02 2021-09-14 太原理工大学 一种公路货车及其轮轴识别方法
US20220083819A1 (en) * 2019-11-15 2022-03-17 Salesforce.Com, Inc. Image augmentation and object detection
CN114359673A (zh) * 2022-01-10 2022-04-15 北京林业大学 基于度量学习的小样本烟雾检测方法、装置和设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680678A (zh) * 2017-10-18 2018-02-09 北京航空航天大学 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统
US20180204111A1 (en) * 2013-02-28 2018-07-19 Z Advanced Computing, Inc. System and Method for Extremely Efficient Image and Pattern Recognition and Artificial Intelligence Platform
CN109147254A (zh) * 2018-07-18 2019-01-04 武汉大学 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法
CN109685152A (zh) * 2018-12-29 2019-04-26 北京化工大学 一种基于dc-spp-yolo的图像目标检测方法
CN109800770A (zh) * 2018-12-28 2019-05-24 广州海昇计算机科技有限公司 一种实时目标检测的方法、系统及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180204111A1 (en) * 2013-02-28 2018-07-19 Z Advanced Computing, Inc. System and Method for Extremely Efficient Image and Pattern Recognition and Artificial Intelligence Platform
CN107680678A (zh) * 2017-10-18 2018-02-09 北京航空航天大学 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统
CN109147254A (zh) * 2018-07-18 2019-01-04 武汉大学 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法
CN109800770A (zh) * 2018-12-28 2019-05-24 广州海昇计算机科技有限公司 一种实时目标检测的方法、系统及装置
CN109685152A (zh) * 2018-12-29 2019-04-26 北京化工大学 一种基于dc-spp-yolo的图像目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HUANJIE TAO 等: "Smoky Vehicle Detection Based on Range Filtering on Three Orthogonal Planes and Motion Orientation Histogram", 《IEEE》 *
彭翔: "基于视频图像的黑烟车检测技术研究", 《硕士电子期刊》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165602B (zh) * 2018-08-27 2023-05-19 成都华安视讯科技有限公司 一种基于视频分析的黑烟车检测方法
CN109165602A (zh) * 2018-08-27 2019-01-08 成都华安视讯科技有限公司 一种基于视频分析的黑烟车检测方法
WO2021082921A1 (zh) * 2019-10-28 2021-05-06 上海悦易网络信息技术有限公司 电子设备背板外观瑕疵检测方法及设备
CN112784642A (zh) * 2019-11-08 2021-05-11 杭州海康威视数字技术股份有限公司 车辆检测方法及装置
US11710077B2 (en) * 2019-11-15 2023-07-25 Salesforce, Inc. Image augmentation and object detection
US20220083819A1 (en) * 2019-11-15 2022-03-17 Salesforce.Com, Inc. Image augmentation and object detection
CN113221929A (zh) * 2020-02-05 2021-08-06 华为技术有限公司 一种图像处理方法以及相关设备
CN111523403B (zh) * 2020-04-03 2023-10-20 咪咕文化科技有限公司 图片中目标区域的获取方法及装置、计算机可读存储介质
CN111523403A (zh) * 2020-04-03 2020-08-11 咪咕文化科技有限公司 图片中目标区域的获取方法及装置、计算机可读存储介质
CN112149661A (zh) * 2020-08-07 2020-12-29 珠海欧比特宇航科技股份有限公司 车牌识别方法、装置及介质
CN112052883A (zh) * 2020-08-14 2020-12-08 五邑大学 一种衣物检测方法、装置及存储介质
CN112052883B (zh) * 2020-08-14 2023-10-17 五邑大学 一种衣物检测方法、装置及存储介质
CN112435214B (zh) * 2020-10-21 2024-03-12 北京工业大学 基于先验框线性缩放的花粉检测方法、装置和电子设备
CN112435214A (zh) * 2020-10-21 2021-03-02 北京工业大学 基于先验框线性缩放的花粉检测方法、装置和电子设备
CN112257586A (zh) * 2020-10-22 2021-01-22 江苏禹空间科技有限公司 目标检测中的真值框选择方法、装置、存储介质及设备
CN112257586B (zh) * 2020-10-22 2024-01-23 无锡禹空间智能科技有限公司 目标检测中的真值框选择方法、装置、存储介质及设备
CN112990004A (zh) * 2021-03-12 2021-06-18 中国科学技术大学智慧城市研究院(芜湖) 一种基于光流法和深度学习卷积神经网络的黑烟车检测方法
CN113392695B (zh) * 2021-04-02 2023-04-25 太原理工大学 一种公路货车及其轮轴识别方法
CN113392695A (zh) * 2021-04-02 2021-09-14 太原理工大学 一种公路货车及其轮轴识别方法
CN113221976A (zh) * 2021-04-26 2021-08-06 中国科学技术大学先进技术研究院 基于时空光流网络的多视频帧黑烟柴油车检测方法及系统
CN114359673A (zh) * 2022-01-10 2022-04-15 北京林业大学 基于度量学习的小样本烟雾检测方法、装置和设备
CN114359673B (zh) * 2022-01-10 2024-04-09 北京林业大学 基于度量学习的小样本烟雾检测方法、装置和设备

Also Published As

Publication number Publication date
CN110363104B (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
CN110363104A (zh) 一种柴油黑烟车的检测方法
CN110135296A (zh) 基于卷积神经网络的机场跑道fod检测方法
CN110188720A (zh) 一种基于卷积神经网络的目标检测方法及系统
CN109614985A (zh) 一种基于密集连接特征金字塔网络的目标检测方法
CN110059554A (zh) 一种基于交通场景的多支路目标检测方法
CN109934163A (zh) 一种基于场景先验和特征再融合的航空图像车辆检测方法
Zhang et al. MRSDI-CNN: Multi-model rail surface defect inspection system based on convolutional neural networks
CN108596101A (zh) 一种基于卷积神经网络的遥感图像多目标检测方法
CN107273836A (zh) 一种行人检测识别方法、装置、模型和介质
CN106650913A (zh) 一种基于深度卷积神经网络的车流密度估计方法
CN109033950A (zh) 基于多特征融合级联深度模型的车辆违停检测方法
CN110009010A (zh) 基于兴趣区域重检测的宽幅光学遥感目标检测方法
CN112418212B (zh) 一种基于EIoU改进的YOLOv3算法
CN109886147A (zh) 一种基于单网络多任务学习的车辆多属性检测方法
CN112990004A (zh) 一种基于光流法和深度学习卷积神经网络的黑烟车检测方法
CN110390673A (zh) 一种监控场景下基于深度学习的香烟自动检测方法
CN110415260A (zh) 基于字典与bp神经网络的烟雾图像分割与识别方法
CN109492596A (zh) 一种基于K-means聚类和区域推荐网络的行人检测方法及系统
CN108399424A (zh) 一种点云分类方法、智能终端及存储介质
CN109543617A (zh) 基于yolo目标检测技术的智能车辆运动路况信息的检测方法
CN109376736A (zh) 一种基于深度卷积神经网络的视频小目标检测方法
CN116824335A (zh) 一种基于YOLOv5改进算法的火灾预警方法及系统
Qiu et al. A lightweight yolov4-edam model for accurate and real-time detection of foreign objects suspended on power lines
Yang et al. Road crack detection using deep neural network with receptive field block
CN110321867A (zh) 基于部件约束网络的遮挡目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant