CN109035298A - 一种基于黑烟运动特性的黑烟检测与dg计算方法 - Google Patents

Abstract

本发明公开了一种基于黑烟运动特性的黑烟检测与DG计算方法，该方法通过对视频图像中分割成大小相等的分块，在分块的运动估计过程中产生的运动矢量和匹配误差值作为判断有无运动物体的依据。通过黑烟的运动规则分析，分割出黑烟区域，排除非疑似黑烟区域，避免了传统图像检测和视频分析的方法无法准确分割出黑烟区域。在分割出黑烟区域之后，将黑烟区域分成小块的方法计算各小块间的颜色分量均值方差，来计算出黑烟区域的林格曼等级，进一步提高了系统检测黑烟车的可靠性，也降低了检测的计算复杂度。

Description

一种基于黑烟运动特性的黑烟检测与DG计算方法

技术领域

本发明属于机动车尾气检测领域，特别涉及一种基于黑烟运动特性的黑烟检测与DG计算方法。

背景技术

基于区域的运动估计，基本思想是将视频图像序列的每一帧分成许多互不重叠的块区域，并认为区域内所有像素的位移量都相同，然后对每个块到参考帧某一给定范围内根据一定的块匹配准则找出与当前块最相似的块，即匹配块，匹配块与当前块的相对位移即为运动矢量。

对于人类的眼睛而言，移动的目标容易引起人眼的关注。因此运动的趋势是一个非常重要的特征。无论是在智能交通，还是在安全监控系统中，首要的任务就是提取运动区域。前景运动区域的提取有许多方法，包括二帧差分、三帧差分、背景消除、光流法等，其中光流法由于计算相对复杂，抗噪性能差等原因，一般都只有在特殊的硬件支持的条件下才被使用。帧差法和背景差法运算简单，有很好的实用性，但是不能获得运动信息。尾气黑烟在喷出的瞬间，运动方向往往是从下往上，然后黑烟区域扩散的运动方向是不均匀的，和其它的干扰的区域差别明显，因此运动方向的估计比较重要。为了加快计算速度，采用视频编解码里面的技术，将视频图像分割成大小相等的块区域。块匹配算法中最简单、最可靠的方法是全局搜索(Full search)。由于全局搜索算法计算量很大，不利于实时应用，于是提出了许多快速搜索算法，比如三步法TSS、新三步法NTSS、二维对数法、菱形搜索法DS等。

林格曼等级(DG)是评价排放烟尘浓度的一种数值，以肉眼观测烟羽黑度与林格曼烟雾浓度图对比而得到。19世纪末法国科学家林格曼将烟气黑度划分为六级，用于固定污染源排放的灰色或黑色烟气在排放口处黑度的监测。标准的林格曼烟气黑度图由14cm×21cm不同黑度的图片组成，除全白与全黑分别代表林格曼黑度0级和5级外，其余4个级别是根据黑色条格占整块面积的百分数来确定的，黑色条格的面积占20％为1级；占40％为2级；占60％为3级；占80％为4级。观测时，可将烟气与镜片内的黑度图比较测定简称“林格曼图”。将烟气浓度分为六级。以全白、微灰、灰、深灰、灰黑、全黑六种颜色分别代表含烟尘量为0、0.25、0.7、1.2、2.3、4～5g/m³。在标准状态下，林格曼1级的烟尘浓度相当于0.25g/m³,林格曼4级相当于2.3g/m³，林格曼5级相当于4-5g/m³。我国“制定地方大气污染物排放标准的技术原则和方法”(GB3840-83)中规定各类排气筒的排烟黑度不得超过林格曼2级。

当前在国内的大多数城市道路上，机动车黑烟排放比较常见。比较常见的排放超标尾气黑烟的包括部分汽油车。大排量的柴油车。排量超标的机动车在带给区域经济发展的同时也带来了难以解决环境问题，黑烟车监管难度大，对环境和人类健康生活的危害大等一系列问题。为了更好的应对日益增多的机动车尾气排放造成的严重的环境污染，对于监控和检测机动车排放黑烟等有害气体具有极其重要的意义。黑烟车的检测是当前智能交通的重要组成部分，黑烟车尾气烟雾排放的检测识别是在人工智能交通监管和环境监控领域受到了非常多的重视。当前利用视频黑烟检测主要有两类方法。第一类方法是基于直方图的检测方法，根据直方图，采用诸如均值、方差等统计特征用于黑烟的检测；第二类方法是基于时间方向特征的检测方法。通常采用帧差法、像素值时间序列的小波变换等技术提取黑烟的时空特征。小波变换计算复杂，这两类方法都难以达到较高的实时性和准确性，检测的可靠性较低，在交通道路上无法有效地实施监管和检测作用，而且目前国内对于检测黑烟车尾气的烟雾浓度没有采用一个准确计算林格曼等级的方法，因此急需一种实时和可靠性的检测黑烟车的方法来解决上述问题。

发明内容

本发明针对现有的交通和环保执法部门监管和检测黑烟车过程中的检测效率低、实时性不强、识别率低、计算复杂度大等问题，为了提高检测黑烟车过程中保证实时性和检测结果的准确性，基于运动估计的矢量方向作为特征，提出了一种基于黑烟运动特性的黑烟检测与DG计算方法。

一种基于黑烟运动特性的黑烟检测与DG计算方法，包括以下步骤：

步骤1：对采集的待检测视频按照帧图像进行提取，并对帧图像进行预处理；

步骤2：对经过预处理后的帧图像进行分块划分，每个分块大小为16*16；

步骤3：采用块匹配算法，获取第i帧图像中每个分块相对邻近帧中的对应匹配块的运动矢量和灰度变化量；

所述分块相对对应匹配块的灰度变化量是指分块与对应匹配块中对应像素点的灰度值之差的平均值；

步骤4：统计第i帧图像中发生了运动的分块面积之和以及所有分块的灰度变化量之和；

其中，SA_i表示为第i帧图像发生运动的分块面积之和，表示第i帧图像中第j个分块运动面积，size_j为第j个分块的面积，表示第j个分块相对邻近帧中对应匹配块的运动矢量；n为第i帧图像中的分块数量；表示第i帧图像中第j个分块相对邻近帧中对应匹配块的灰度变化量；

SA_i越大表示运动的面积越大；

步骤5：基于SA_i和MAD_i，从第i帧图像中剔除非黑烟区域分块；

若满足SA_i≤SA_min且MAD_i≤MAD_min，则将第i帧图像中分块相对对应匹配块运动矢量小于SA_min的分块归为非黑烟区域分块，并且将非黑烟区域分块从第i帧图像中剔除；

SA_min表示分块运动面积设定阈值，MAD_min表示分块灰度变化量设定阈值；

步骤6：依据运动分块的运动趋势，判断分块是否为黑烟区域；

对连续提取的10帧图像按照步骤1-5进行处理，从每帧剔除了非黑烟区域分块的图像中，对所有运动分块进行标记，以在第1帧中发生了运动的分块为基础块，统计基础块及基础块在其余帧图像中所有对应的匹配块的运动矢量之和

若存在则认为当前判断的基础块的运动趋势处于正常情况，该分块及对应的所有匹配块为非黑烟区域，并删除该分块的标记，若存在则当前判断的基础块的运动趋势异常，保留该分块及随影的所有匹配块的标记，继续进行黑烟检测；

其中，表示分块运动的最大向量，且模为15；

步骤7：将连续提取的10帧序列图像中的最后一帧图像中有标记的分块进行相邻性判断，若有标记的分块属于邻近块，则将邻近块进行合并，以合并后的分块区域作为疑似黑烟区域ROI；

步骤8：计算每个疑似黑烟区域ROI的林格曼等级DG；

将疑似黑烟区域ROI的图像格式转换为YUV格式，计算该区域像素点颜色Y分量均值AVG和方差δ，按照以下公式计算林格曼等级DG；

通过实际得到的数据验证，得到的林格曼等级DG和林格曼黑度计的等级保持一致。

步骤9：若疑似黑烟区域ROI的林格曼等级DG大于0，则判定为当前疑似黑烟区域ROI为排放尾气的黑烟区域，当前的连续10帧图像中存在黑烟车。

该方法通过对视频图像中分割成大小相等的分块，在分块的运动估计过程中产生的运动矢量和匹配误差值作为判断有无运动物体的依据。通过黑烟的运动规则分析，分割出黑烟区域，排除非疑似黑烟区域，避免了传统图像检测和视频分析的方法无法准确分割出黑烟区域。在分割出黑烟区域之后，将黑烟区域分成小块的方法计算各小块间的颜色分量均值方差，来计算出黑烟区域的林格曼等级，进一步提高了系统检测黑烟车的可靠性，也降低了检测的计算复杂度。

进一步地，每个分块的匹配块从众多匹配块中选取最佳匹配块，第i帧图像中每个分块相对邻近帧中的对应最佳匹配块的寻找过程如下：

对于第i帧图像中以像素点(n1,n2)为中心，大小为16*16分块，在第i+1帧中搜索相同大小的匹配块的位置，最大偏移量为(16,16)，搜索窗口范围为48*48；

在搜索窗口之内，按顺时针方向由近及远，分别计算各个搜索分块中各对应像素点的平均绝对误差MAD：

其中，p,q分别为水平和垂直方向的偏移量，1≤p≤32，1≤q≤32，f_i ^(n1,n2)(x,y)和f_i ^(n1+p,n2+q)(x,y)分别为第i帧以像素点(n1,n2)为中心和第i+1帧中以像素点(n1+p,n2+q)为中心的分块中各像素点的灰度值，m和n分别表示分块的宽和高；

遍历所有的(p,q)，以最小MAD_(n1,n2)对应在第i+1帧中以像素点(n1+p,n2+q)为中心的分块作为第i帧以像素点(n1,n2)为中心的分块的最佳匹配块。

进一步地，所述SA_min取值为5，MAD_min取值为5。

进一步地，对图像中有标记的分块进行相邻性判断是指对标记的每分块计算重心坐标，计算任意两分块的重心之间距离D，若距离D小于16√2，则表示两分块之间相邻，属于邻近块。

进一步地，所述预处理包括平滑去噪和图像增强处理。

本发明中所提出的林格曼等级计算公式通过实验分析计算122个黑烟视频序列和50个无黑烟视频序列得到的结果与通过环保部门及工矿企业对环境污染和能源节约进行监测的专用仪器林格曼黑度计的检测结果对比，得到相对一致的林格曼等级结果。

有益效果

本发明提出了一种基于黑烟运动特性的黑烟检测与DG计算方法，该方法通过对视频图像中分割成大小相等的分块，在分块的运动估计过程中产生的运动矢量和匹配误差值作为判断有无运动物体的依据。通过黑烟的运动规则分析，分割出黑烟区域，排除非疑似黑烟区域，避免了传统图像检测和视频分析的方法无法准确分割出黑烟区域。在分割出黑烟区域之后，将黑烟区域分成小块的方法计算各小块间的颜色分量均值方差，来计算出黑烟区域的林格曼等级，进一步提高了系统检测黑烟车的可靠性，也降低了检测的计算复杂度。

具体优点如下：

1.通过连续10帧的检测，对帧图像分块来计算运动物体的运动矢量，减少了大量非运动区域的检测，提高了检测效率；

2.通过块匹配算法从当前帧中搜索出每个分块在邻近帧图像中的最佳匹配块位置，可靠性较高且能得到全局最优的结果；

3.通过运动矢量来判断是否有运动，并且加上运动匹配函数来保证检测的准确和稳定性；

4.通过对提取的ROI疑似黑烟区域进行林格曼等级判定，利用YUV颜色特征Y分量排除掉干扰区域，提高了系统检测的可靠性；

5.本方法简单可行，可以在实时的条件下检测黑烟区域，便于黑烟车检测的产业化的推广。

附图说明

图1为搜索区与待匹配块的位置结构示意图；

图2为运动估计的原理示意图；

图3为本发明的整体流程图。

具体实施方式

下面结合图3对本明的技术方案进行详细说明。

如图3所示，一种基于黑烟运动特性的黑烟检测与DG计算方法，包括以下步骤：

步骤1：对采集的待检测视频按照帧图像进行提取，每秒提取15帧，并对帧图像进行预处理，所述预处理包括平滑去噪和图像增强处理；

步骤2：对经过预处理后的帧图像进行分块划分，每个分块大小为16*16；

步骤3：采用块匹配算法，获取第i帧图像中每个分块相对邻近帧中的对应匹配块的运动矢量和灰度变化量；

所述分块相对对应匹配块的灰度变化量是指分块与对应匹配块中对应像素点的灰度值之差的平均值；

每个分块的匹配块从众多匹配块中选取最佳匹配块，第i帧图像中每个分块相对邻近帧中的对应最佳匹配块的寻找过程如下：

对于第i帧图像中以像素点(n1,n2)为中心，大小为16*16分块，在第i+1帧中搜索相同大小的匹配块的位置，最大偏移量为(16,16)，搜索窗口范围为48*48；

在搜索窗口之内，按顺时针方向由近及远，分别计算各个搜索分块中各对应像素点的平均绝对误差MAD：

其中，p,q分别为水平和垂直方向的偏移量，1≤p≤32，1≤q≤32，f_i ^(n1,n2)(x,y)和f_i ^(n1+p,n2+q)(x,y)分别为第i帧以像素点(n1,n2)为中心和第i+1帧中以像素点(n1+p,n2+q)为中心的分块中各像素点的灰度值，m和n分别表示分块的宽和高；

遍历所有的(p,q)，以最小MAD_(n1,n2)对应在第i+1帧中以像素点(n1+p,n2+q)为中心的分块作为第i帧以像素点(n1,n2)为中心的分块的最佳匹配块。

步骤4：统计第i帧图像中发生了运动的分块面积之和以及所有分块的灰度变化量之和；

其中，SA_i表示为第i帧图像发生运动的分块面积之和，表示第i帧图像中第j个分块运动面积，size_j为第j个分块的面积，表示第j个分块相对邻近帧中对应匹配块的运动矢量；n为第i帧图像中的分块数量；表示第i帧图像中第j个分块相对邻近帧中对应匹配块的灰度变化量；

SA_i越大表示运动的面积越大；

步骤5：基于SA_i和MAD_i，从第i帧图像中剔除非黑烟区域分块；

若满足SA_i≤SA_min且MAD_i≤MAD_min，则将第i帧图像中分块相对对应匹配块运动矢量小于SA_min的分块归为非黑烟区域分块，并且将非黑烟区域分块从第i帧图像中剔除；

SA_min表示分块运动面积设定阈值，MAD_min表示分块灰度变化量设定阈值；

所述SA_min取值为5，MAD_min取值为5。

步骤6：依据运动分块的运动趋势，判断分块是否为黑烟区域；

对连续提取的10帧图像按照步骤1-5进行处理，从每帧剔除了非黑烟区域分块的图像中，对所有运动分块进行标记，以在第1帧中发生了运动的分块为基础块，统计基础块及基础块在其余帧图像中所有对应的匹配块的运动矢量之和

若存在则认为当前判断的基础块的运动趋势处于正常情况，该分块及对应的所有匹配块为非黑烟区域，并删除该分块的标记，若存在则当前判断的基础块的运动趋势异常，保留该分块及随影的所有匹配块的标记，继续进行黑烟检测；

其中，表示分块运动的最大向量，且模为15；

步骤7：将连续提取的10帧序列图像中的最后一帧图像中有标记的分块进行相邻性判断，若有标记的分块属于邻近块，则将邻近块进行合并，以合并后的分块区域作为疑似黑烟区域ROI；

对图像中有标记的分块进行相邻性判断是指对标记的每分块计算重心坐标，计算任意两分块的重心之间距离D，若距离D小于16√2，则表示两分块之间相邻，属于邻近块。

步骤8：计算每个疑似黑烟区域ROI的林格曼等级DG；

将疑似黑烟区域ROI的图像格式转换为YUV格式，计算该区域像素点颜色Y分量均值AVG和方差δ，按照以下公式计算林格曼等级DG；

通过实际得到的数据验证，得到的林格曼等级DG和林格曼黑度计的等级保持一致。

步骤9：若疑似黑烟区域ROI的林格曼等级DG大于0，则判定为当前疑似黑烟区域ROI为排放尾气的黑烟区域，当前的连续10帧图像中存在黑烟车。

该方法通过对视频图像中分割成大小相等的分块，在分块的运动估计过程中产生的运动矢量和匹配误差值作为判断有无运动物体的依据。通过黑烟的运动规则分析，分割出黑烟区域，排除非疑似黑烟区域，避免了传统图像检测和视频分析的方法无法准确分割出黑烟区域。在分割出黑烟区域之后，将黑烟区域分成小块的方法计算各小块间的颜色分量均值方差，来计算出黑烟区域的林格曼等级，进一步提高了系统检测黑烟车的可靠性，也降低了检测的计算复杂度。

本发明中所提出的林格曼等级计算公式通过实验分析计算122个黑烟视频序列和50个无黑烟视频序列得到的结果与通过环保部门及工矿企业对环境污染和能源节约进行监测的专用仪器林格曼黑度计的检测结果对比，得到相对一致的林格曼等级结果，参见下表。表1

从上表中的对比结果，可以看出，应用本发明所述方法进行黑烟检测的准确度高，且格林曼等级计算的结果准确，也进一步验证了本发明所述方法的有效性和准确性。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种基于黑烟运动特性的黑烟检测与DG计算方法，其特征在于，包括以下步骤：

步骤1：对采集的待检测视频按照帧图像进行提取，并对帧图像进行预处理；

步骤2：对经过预处理后的帧图像进行分块划分，每个分块大小为16*16；

步骤3：采用块匹配算法，获取第i帧图像中每个分块相对邻近帧中的对应匹配块的运动矢量和灰度变化量；

所述分块相对对应匹配块的灰度变化量是指分块与对应匹配块中对应像素点的灰度值之差的平均值；

步骤4：统计第i帧图像中发生了运动的分块面积之和以及所有分块的灰度变化量之和；

其中，SA_i表示为第i帧图像发生运动的分块面积之和，表示第i帧图像中第j个分块运动面积，size_j为第j个分块的面积，表示第j个分块相对邻近帧中对应匹配块的运动矢量；n为第i帧图像中的分块数量；表示第i帧图像中第j个分块相对邻近帧中对应匹配块的灰度变化量；

步骤5：基于SA_i和MAD_i，从第i帧图像中剔除非黑烟区域分块；

若满足SA_i≤SA_min且MAD_i≤MAD_min，则将第i帧图像中分块相对对应匹配块运动矢量小于SA_min的分块归为非黑烟区域分块，并且将非黑烟区域分块从第i帧图像中剔除；

SA_min表示分块运动面积设定阈值，MAD_min表示分块灰度变化量设定阈值；

步骤6：依据运动分块的运动趋势，判断分块是否为黑烟区域；

对连续提取的10帧图像按照步骤1-5进行处理，从每帧剔除了非黑烟区域分块的图像中，对所有运动分块进行标记，以在第1帧中发生了运动的分块为基础块，统计基础块及基础块在其余帧图像中所有对应的匹配块的运动矢量之和

若存在则认为当前判断的基础块的运动趋势处于正常情况，该分块及对应的所有匹配块为非黑烟区域，并删除该分块的标记，若存在则当前判断的基础块的运动趋势异常，保留该分块及随影的所有匹配块的标记，继续进行黑烟检测；

其中，表示分块运动的最大向量，且模为15；

步骤7：将连续提取的10帧序列图像中的最后一帧图像中有标记的分块进行相邻性判断，若有标记的分块属于邻近块，则将邻近块进行合并，以合并后的分块区域作为疑似黑烟区域ROI；

步骤8：计算每个疑似黑烟区域ROI的林格曼等级DG；

将疑似黑烟区域ROI的图像格式转换为YUV格式，计算该区域像素点颜色Y分量均值AVG和方差δ，按照以下公式计算林格曼等级DG；

通过实际得到的数据验证，得到的林格曼等级DG和林格曼黑度计的等级保持一致。

步骤9：若疑似黑烟区域ROI的林格曼等级DG大于0，则判定为当前疑似黑烟区域ROI为排放尾气的黑烟区域，当前的连续10帧图像中存在黑烟车。

2.根据权利要求1所述的方法，其特征在于，每个分块的匹配块从众多匹配块中选取最佳匹配块，第i帧图像中每个分块相对邻近帧中的对应最佳匹配块的寻找过程如下：

对于第i帧图像中以像素点(n1,n2)为中心，大小为16*16分块，在第i+1帧中搜索相同大小的匹配块的位置，最大偏移量为(16,16)，搜索窗口范围为48*48；

在搜索窗口之内，按顺时针方向由近及远，分别计算各个搜索分块中各对应像素点的平均绝对误差MAD：

其中，p,q分别为水平和垂直方向的偏移量，1≤p≤32，1≤q≤32，f_i ^(n1,n2)(x,y)和f_i ^{(n1 +p,n2+q)}(x,y)分别为第i帧以像素点(n1,n2)为中心和第i+1帧中以像素点(n1+p,n2+q)为中心的分块中各像素点的灰度值，m和n分别表示分块的宽和高；

遍历所有的(p,q)，以最小MAD_(n1,n2)对应在第i+1帧中以像素点(n1+p,n2+q)为中心的分块作为第i帧以像素点(n1,n2)为中心的分块的最佳匹配块。

3.根据权利要求2所述的方法，其特征在于，所述SA_min取值为5，MAD_min取值为5。

4.根据权利要求1-3任一项所述的方法，其特征在于，对图像中有标记的分块进行相邻性判断是指对标记的每分块计算重心坐标，计算任意两分块的重心之间距离D，若距离D小于16√2，则表示两分块之间相邻，属于邻近块。

5.根据权利要求4所述的方法，其特征在于，所述预处理包括平滑去噪和图像增强处理。