CN109446938B - 一种基于多序列双投影的黑烟车检测方法 - Google Patents

Abstract

本发明涉及一种基于多序列双投影的黑烟车检测方法。该方法包括：（1）检测运动目标，确定关键区域；（2）利用积分投影和局部随机滤波技术，提取多序列双投影特征，形成描述关键区域的特征向量；（3）训练C‑BPNN分类器，并用于新特征向量的分类；（4）通过对连续多帧的分析，对当前车辆是否为黑烟车做出判断。利用本发明的技术方案，不仅提高了检测效率，降低了成本，而且，所提出的多序列双投影特征具有计算简单，描述能力强的特点，大大提高了黑烟车的检出率，降低了误报率。

Description

一种基于多序列双投影的黑烟车检测方法

技术领域

本发明涉及计算机视觉和智能烟火检测技术领域，特别是涉及一种基于多序列双投影的黑烟车检测方法。

背景技术

“黑烟车”属于高污染车的典型代表，同时也是可吸入颗粒物的主要贡献者，由于黑烟车数量大，出没没有规律，如何及时准确发现道路上行驶的黑烟车，一直是环保领域最为关注的问题，2018年以来随着国家对环保越来越重视，更成为焦点中的焦点。因此，如果本项目的研究取得成功，将具有广泛的应用前景。

目前，我国的黑烟车监测还主要依靠传统的拦车检测方法，该方法效率低下，耗费人力，同时影响交通，不利于证据获取和保存。我们研制的黑烟车视频监控系统还存在误报率高的不足，离大范围应用还有一段距离。还存在车辆阴影的干扰、黑烟特征鲁棒性差和的算法复杂度高三方面主要问题，这三个问题的解决将对该监控系统的大范围应用起到至关重要的作用，真正实现自动检测，无人值守，将能够及时、准确发现道路上行驶的黑烟车，大大提高工作效率，解决传统的检测和取证所固有的一些缺陷，改变以往的人工操作效率低下的监测模式，有效协助环保人员查处冒黑烟车，大大的节省了环保部门的人力和物力。

本发明提出的基于多序列双投影的黑烟车检测方法，具有计算简单，误报率低的特点，对黑烟车检测系统的发展和完善具有重要作用。

发明内容

为了以上问题，本发明提供一种基于多序列双投影的黑烟车检测方法，能够提高鲁棒性，更有效的检测黑烟车，为达此目的，本发明提供一种基于多序列双投影的黑烟车检测方法，具体步骤如下：

步骤1：检测运动目标，确定关键区域；

步骤2：利用积分投影和局部随机滤波技术，提取多序列双投影特征，形成描述关键区域的特征向量；

步骤3：训练C-BPNN分类器，并用于新特征向量的分类；

步骤4：通过对连续多帧的分析，对当前车辆是否为黑烟车做出判断。

进一步，步骤1.1：计算颜色和纹理相似性，对于颜色相似性，采用YCrCb或HSV或OHTA这三个对光照变化具有较强鲁棒性的颜色空间，计算方法如下：

其中，

表示当前帧，而

表示背景帧，k表示通道数；

对于纹理相似性，采用计算简单高效，且对光照具有一定鲁棒性的LBP特征，计算方法如下，

其中，L^C表示当前帧D的LBP编码图，而L^B表示背景帧的LBP编码图；

步骤1.2：利用Choquet积分将计算得到的颜色相似性和纹理相似性进行融合：

μ_σ(1)≤μ_σ(2)≤...≤μ_σ(n)

A_σ(i)＝{σ(i),σ(i+1),...,σ(n)}

其中，σ表示排序函数，X＝{x₁,x₂,...,x_n}表示颜色和纹理特征串联的集合，f(x)表示测度函数；

步骤1.3：根据Choquet积分的结果进行前景、背景的分类，前景背景的分类主要是根据前面choquet积分的结果进行阈值化，即

其中，C_μ,t(x,y)表示t时刻(x,y)点的Choquet积分值，T_μ,t(x,y)表示特定阈值。

进一步，所述步骤1中的关键区域指的是，运动目标的包围盒的后方区域，记该区域为I_rear，记I_norm为归一化后的图像分辨率为120x80像素。

进一步，所述步骤2中的多序列双投影特征的计算包括如下流程：

步骤2.1：记IP_H为关键区域的水平积分投影，记IP_V为关键区域的垂直积分投影，即

其中，I_norm(x,y)表示归一化图像在位置(x,y)处的像素值；

将IP_H和IP_V串联即可得到第一组积分投影特征，即

DIPF₁＝{IP_H,IP_V}

步骤2.2：对图像I_norm进行局部随机滤波处理，得到滤波后的图像I_range，具体计算方法是，用N₁×N₂的掩模所覆盖区域的最大像素值和最小像素值的差值替换该区域中心像素的值，滑动掩模对整个图像做相同的操作，即可得到局部随机滤波后的图像I_range；

步骤2.3：记RFIP_H(y)为滤波后图像的水平积分投影，记RFIP_V(x)为滤波后图像的垂直积分投影，即

其中，I_range(x,y)表示滤波后的图像在位置(x,y)处的像素值；

将RFIP_H和RFIP_V串联即可得到第二组积分投影特征，即

DIPF₂＝{RFIP_H,RFIP_V}

步骤2.4：第一组投影特征DIPF₁和第二组投影特征DIPF₂合起来称作双投影特征；

DIPF＝{DIPF₁,DIPF₂}

步骤2.5：为了刻画关键区域的动态特征，将连续多帧的双投影特征串联起来得到多序列双投影特征，即

DIPF₁(t)＝{DIPF₁(t-2),DIPF₁(t-1),...,DIPF₁(t+k)}

DIPF₂(t)＝{DIPF₂(t-2),DIPF₂(t-1),...,DIPF₂(t+k)}

其中，DIPF₁(t)第一组投影在t时刻的多序列分析特征向量，DIPF₂(t)第二组投影在t时刻的多序列分析特征向量，k+3表示多序列分析的帧数。

进一步，步骤2.5中多序列分析的帧数的范围为3-5。

进一步，所述步骤3中的C-BPNN分类器的训练包括如下流程：

步骤3.1：设计一个普通的三层BP网络，输入层的结点个数和输入特征的维数相同，隐层含有10个结点，输出层含有一个结点，激活函数采用Sigmoid函数；

步骤3.2：采用提取到的第一组投影特征DIPF₁训练第一个BP网络分类器，记作BPNN1，同时,采用提取到的第二组投影特征DIPF₂训练第二个BP网络分类器，记作BPNN2；

步骤3.3：不改变分类器BPNN1和分类器BPNN2的网络参数，将两个分类器的输出结果输入第三个BP网络来训练第三个BP网络分类器，记作BPNN3，具体来说，将DIPF₁和DIPF₂同时输入BPNN1和BPNN2，采用反向传播算法训练第三个分类器的网络参数，得到分类器BPNN3。

步骤3.4：这样由三个简单BP网络组合而成的C-BPNN分类器就训练完成了，在测试阶段，将提取到的两类特征同时输入BPNN1和BPNN2，通过对最终输出数值和0.5的比较来判断分类器结果，如果BPNN3的输出值小于0.5，则为非黑烟关键区域，否则为黑烟关键区域，该分类器通过训练该不同的特征赋予了不同的权重，同时克服了不同数量级的特征的归一化问题。

进一步，所述步骤4中的连续多帧的分析指的是，每连续的100帧中，如果有K帧被识别为黑烟帧，且K满足下式，则认为当前视频序列中存在黑烟车,

K>α

其中，α是控制召回率和精确率的一个调节系数。

本发明的优点主要体现在：

(1)本发明提出了一种基于多序列双投影的智能黑烟车检测方法，能自动从车辆监控视频中检测黑烟车，且算法计算简单，实时性高。

(2)通过对大量数据的观察，本发明提出了一种多序列双投影特征，用于识别关键区域是否含有车辆尾气黑烟，该特征采用投影和局部随机滤波的策略，可以充分刻画黑烟关键区域的黑烟向后飘动的特点以及非黑烟区域的车辆尾部左右对称特点。该特征又采用多序列分析的策略刻画关键区域的动态特征，包括黑烟关键区域的黑烟逐步扩散的特点和非黑烟区域的车辆尾部向前移动的特点。局部随机滤波的引入又使得该特征对阴影有一定的鲁棒性。

(3)本发明引入C-BPNN网络分类器，通过训练的方式给不同的特征赋予了不同的权重，更符合实际的应用特点，同时，克服了不同数量级的特征的归一化问题。

附图说明

图1为本发明的方法流程示意图。

图2为本发明的相机安装示意图。

图3为本发明的相机拍摄到的道路图像。

图4为本发明的分类采用的C-BPNN分类器的网络结构。

图5为本发明的黑烟车检测结果。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述：

本发明提供一种基于多序列双投影的黑烟车检测方法，发明的多序列双投影特征可充分刻画黑烟关键区域的黑烟向后飘动的特点以及非黑烟区域的车辆尾部左右对称特点，增加的多序列分析的策略又可以刻画关键区域的动态特征，包括黑烟关键区域的黑烟逐步扩散的特点和非黑烟区域的车辆尾部向前移动的特点，多序列双投影特征计算简单，实时性高。局部随机滤波的引入又使得该特征对阴影有一定的鲁棒性，从而提高检出率，降低误报率。

本发明提供一种基于多序列双投影的智能黑烟车检测方法，其流程图如图1所示，具体按照以下步骤进行：

步骤1：检测运动目标，确定关键区域；

步骤2：利用积分投影和局部随机滤波技术，提取多序列双投影特征，形成描述关键区域的特征向量；

步骤3：训练C-BPNN分类器，并用于新特征向量的分类；

步骤4：通过对连续多帧的分析，对当前车辆是否为黑烟车做出判断。

所述步骤1中的检测运动目标采用模型Choquet积分的目标检测算法，具体流程如下，

步骤1.1：计算颜色和纹理相似性，对于颜色相似性，采用YCrCb或HSV或OHTA这三个对光照变化具有较强鲁棒性的颜色空间，计算方法如下，

其中，

表示当前帧，而

表示背景帧，k表示通道数；

对于纹理相似性，采用计算简单高效，且对光照具有一定鲁棒性的LBP特征，计算方法如下，

其中，L^C表示当前帧D的LBP编码图，而L^B表示背景帧的LBP编码图；

步骤1.2：利用Choquet积分将计算得到的颜色相似性和纹理相似性进行融合：

μ_σ(1)≤μ_σ(2)≤...≤μ_σ(n)

A_σ(i)＝{σ(i),σ(i+1),...,σ(n)}

其中，σ表示排序函数，X＝{x₁,x₂,...,x_n}表示颜色和纹理特征串联的集合，f(x)表示测度函数；

步骤1.3：根据Choquet积分的结果进行前景、背景的分类，前景背景的分类主要是根据前面choquet积分的结果进行阈值化，即

其中，C_μ,t(x,y)表示t时刻(x,y)点的Choquet积分值，T_μ,t(x,y)表示特定阈值。

所述步骤1中的关键区域指的是，运动目标的包围盒的后方区域，记该区域为I_rear，记I_norm为归一化后的图像分辨率为120x80像素。

图2显示了本发明的相机安装示意图，图3为本发明的相机拍摄到的道路图像。

所述步骤2中的多序列双投影特征的计算包括如下流程：

步骤2.1：记IP_H为关键区域的水平积分投影，记IP_V为关键区域的垂直积分投影，即

其中，I_norm(x,y)表示归一化图像在位置(x,y)处的像素值；

将IP_H和IP_V串联即可得到第一组积分投影特征，即

DIPF₁＝{IP_H,IP_V}

步骤2.2：对图像I_norm进行局部随机滤波处理，得到滤波后的图像I_range，具体计算方法是，用N₁×N₂的掩模所覆盖区域的最大像素值和最小像素值的差值替换该区域中心像素的值，滑动掩模对整个图像做相同的操作，即可得到局部随机滤波后的图像I_range；

步骤2.3：记RFIP_H(y)为滤波后图像的水平积分投影，记RFIP_V(x)为滤波后图像的垂直积分投影，即

其中，I_range(x,y)表示滤波后的图像在位置(x,y)处的像素值；

将RFIP_H和RFIP_V串联即可得到第二组积分投影特征，即

DIPF₂＝{RFIP_H,RFIP_V}

步骤2.4：第一组投影特征DIPF₁和第二组投影特征DIPF₂合起来称作双投影特征；

DIPF＝{DIPF₁,DIPF₂}

步骤2.5：为了刻画关键区域的动态特征，将连续多帧的双投影特征串联起来得到多序列双投影特征，即

DIPF₁(t)＝{DIPF₁(t-2),DIPF₁(t-1),...,DIPF₁(t+k)}

DIPF₂(t)＝{DIPF₂(t-2),DIPF₂(t-1),...,DIPF₂(t+k)}

其中，DIPF₁(t)第一组投影在t时刻的多序列分析特征向量，DIPF₂(t)第二组投影在t时刻的多序列分析特征向量，k+3表示多序列分析的帧数，一般设置为3-5为最佳。

所述步骤3中的C-BPNN分类器的训练包括如下流程：

步骤3.1：设计一个普通的三层BP网络，输入层的结点个数和输入特征的维数相同，隐层含有10个结点，输出层含有一个结点，激活函数采用Sigmoid函数；

步骤3.2：采用提取到的第一组投影特征DIPF₁训练第一个BP网络分类器，记作BPNN1，同时,采用提取到的第二组投影特征DIPF₂训练第二个BP网络分类器，记作BPNN2；

步骤3.3：不改变分类器BPNN1和分类器BPNN2的网络参数，将两个分类器的输出结果输入第三个BP网络来训练第三个BP网络分类器，记作BPNN3，具体来说，将DIPF₁和DIPF₂同时输入BPNN1和BPNN2，采用反向传播算法训练第三个分类器的网络参数，得到分类器BPNN3。

步骤3.4：这样由三个简单BP网络组合而成的C-BPNN分类器就训练完成了，在测试阶段，将提取到的两类特征同时输入BPNN1和BPNN2，通过对最终输出数值和0.5的比较来判断分类器结果，如果BPNN3的输出值小于0.5，则为非黑烟关键区域，否则为黑烟关键区域，该分类器通过训练该不同的特征赋予了不同的权重，同时克服了不同数量级的特征的归一化问题。

图4显示了分类采用的C-BPNN分类器的网络结构。

所述步骤4中的连续多帧的分析指的是，每连续的100帧中，如果有K帧被识别为黑烟帧，且K满足下式，则认为当前视频序列中存在黑烟车,

K>α

其中，α是控制召回率和精确率的一个调节系数。

图5显示了利用本发明检测得到的一个黑烟车的例子。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (5)

1.一种基于多序列双投影的黑烟车检测方法，具体步骤如下，其特征在于：

步骤1：检测运动目标，确定关键区域；

步骤1.1：计算颜色和纹理相似性，对于颜色相似性，采用YCrCb或HSV或OHTA这三个对光照变化具有较强鲁棒性的颜色空间，计算方法如下，

其中，

表示当前帧，而

表示背景帧，k表示通道数；

对于纹理相似性，采用计算简单高效，且对光照具有一定鲁棒性的LBP特征，计算方法如下，

其中，L^C表示当前帧D的LBP编码图，而L^B表示背景帧的LBP编码图；

步骤1.2：利用Choquet积分将计算得到的颜色相似性和纹理相似性进行融合：

μ_σ(1)≤μ_σ(2)≤...≤μ_σ(n)

A_σ(i)＝{σ(i),σ(i+1),...,σ(n)}

其中，σ表示排序函数，X＝{x₁,x₂,...,x_n}表示颜色和纹理特征串联的集合，f(x)表示测度函数；

步骤1.3：根据融合结果进行前景和背景的分类，前景背景的分类主要是根据前面choquet积分的结果进行阈值化，即

其中，C_μ,t(x,y)表示t时刻(x,y)点的Choquet积分值，T_μ,t(x,y)表示特定阈值；

步骤2：利用积分投影和局部随机滤波技术，提取多序列双投影特征，形成描述关键区域的特征向量；

所述步骤2中的多序列双投影特征的计算包括如下流程：

步骤2.1：记IP_H为关键区域的水平积分投影，记IP_V为关键区域的垂直积分投影，即

其中，I_norm(x,y)表示归一化图像在位置(x,y)处的像素值；

将IP_H和IP_V串联即可得到第一组积分投影特征，即

DIPF₁＝{IP_H,IP_V}

步骤2.2：对图像I_norm进行局部随机滤波处理，得到滤波后的图像I_range，具体计算方法是，用N₁×N₂的掩模所覆盖区域的最大像素值和最小像素值的差值替换该区域中心像素的值，滑动掩模对整个图像做相同的操作，即可得到局部随机滤波后的图像I_range；

步骤2.3：记RFIP_H(y)为滤波后图像的水平积分投影，记RFIP_V(x)为滤波后图像的垂直积分投影，即

其中，I_range(x,y)表示滤波后的图像在位置(x,y)处的像素值；

将RFIP_H和RFIP_V串联即可得到第二组积分投影特征，即

DIPF₂＝{RFIP_H,RFIP_V}

步骤2.4：第一组投影特征DIPF₁和第二组投影特征DIPF₂合起来称作双投影特征；

DIPF＝{DIPF₁,DIPF₂}

步骤2.5：为了刻画关键区域的动态特征，将连续多帧的双投影特征串联起来得到多序列双投影特征，即

DIPF₁(t)＝{DIPF₁(t-2),DIPF₁(t-1),...,DIPF₁(t+k)}

DIPF₂(t)＝{DIPF₂(t-2),DIPF₂(t-1),...,DIPF₂(t+k)}

其中，DIPF₁(t)第一组投影在t时刻的多序列分析特征向量，DIPF₂(t)第二组投影在t时刻的多序列分析特征向量，k+3表示多序列分析的帧数；

步骤3：训练C-BPNN分类器，并用于新特征向量的分类；

步骤4：通过对连续多帧的分析，对当前车辆是否为黑烟车做出判断。

2.根据权利要求1所述的一种基于多序列双投影的黑烟车检测方法，其特征在于：所述步骤1中的关键区域指的是，运动目标的包围盒的后方区域，记该区域为I_rear，记I_norm为归一化后的图像分辨率为120x80像素。

3.根据权利要求1所述的一种基于多序列双投影的黑烟车检测方法，其特征在于：步骤2.5中多序列分析的帧数的范围为3-5。

4.根据权利要求1所述的一种基于多序列双投影的黑烟车检测方法，其特征在于：所述步骤3中的C-BPNN分类器的训练包括如下流程：

步骤3.1：设计一个普通的三层BP网络，输入层的结点个数和输入特征的维数相同，隐层含有10个结点，输出层含有一个结点，激活函数采用Sigmoid函数；

步骤3.2：采用提取到的第一组投影特征DIPF₁训练第一个BP网络分类器，记作BPNN1，同时,采用提取到的第二组投影特征DIPF₂训练第二个BP网络分类器，记作BPNN2；

步骤3.3：不改变分类器BPNN1和分类器BPNN2的网络参数，将两个分类器的输出结果输入第三个BP网络来训练第三个BP网络分类器，记作BPNN3，具体来说，将DIPF₁和DIPF₂同时输入BPNN1和BPNN2，采用反向传播算法训练第三个分类器的网络参数，得到分类器BPNN3；

步骤3.4：这样由三个简单BP网络组合而成的C-BPNN分类器就训练完成了，在测试阶段，将提取到的两类特征同时输入BPNN1和BPNN2，通过对最终输出数值和0.5的比较来判断分类器结果，如果BPNN3的输出值小于0.5，则为非黑烟关键区域，否则为黑烟关键区域，该分类器通过训练该不同的特征赋予了不同的权重，同时克服了不同数量级的特征的归一化问题。

5.根据权利要求1所述的一种基于多序列双投影的黑烟车检测方法，其特征在于：所述步骤4中的连续多帧的分析指的是，每连续的100帧中，如果有K帧被识别为黑烟帧，且K满足下式，则认为当前视频序列中存在黑烟车,

K＞α

其中，α是控制召回率和精确率的一个调节系数。

Images