CN109191495B - 基于自组织背景差模型和多特征融合的黑烟车检测方法 - Google Patents

Abstract

本发明公开了基于自组织背景差模型和多特征融合的黑烟车检测方法，包括：利用自组织背景差模型从视频监控中检测运动目标，确定关键区域；将关键区域图像转化到YCrCb颜色空间，提取颜色矩特征；将关键区域转化到灰度空间，分别提取局部三值模式直方图特征和边缘方向直方图特征；根据当前帧关键区域的位置，在整个帧序列中提取其前后若干帧的对应区域，将所有时序区域提取的同一类特征串联形成每一类的特征向量，对每一类的特征向量归一化，串联起来形成最终的特征向量；利用剪枝径向基神经网络分类器对所提最终特征向量进行分类，识别黑烟关键区域，并进一步识别黑烟车。本发明能够进一步提高识别率，降低误报率，对黑烟比较轻的黑烟车有较好识别效果。

Description

基于自组织背景差模型和多特征融合的黑烟车检测方法

技术领域

本发明属于计算机视觉中运动目标检测技术领域，涉及基于自组织背景差模型和多特征融合的黑烟车检测方法。

背景技术

近些年，越来越多的城市出现雾霾现象。引起雾霾的因素很多，其中使用柴油发动机的机动车的尾气排放是主要源头之一，这类车辆常见于黑烟车，其排放物中含有细颗粒物(PM)和一氧化碳(NO)等，会污染空气，危害人体健康，并且，国际卫生组织已证实并公布柴油车排放的颗粒物是强致癌物。

现阶段柴油车排放黑烟现象仍十分严重,在起步、加速、上坡、超载等阶段更是司空见惯,有的柴油车穿城而过,形同一路放毒,老百姓深恶痛绝,也严重影响城市形象。以北京市为例，北京市发布的《关于对部分载货汽车采取交通管理措施降低污染物排放的通告》中还指出，“自2019年9月21日起，六环路(含)以内道路全天禁止所有国Ⅲ排放标准柴油载货汽车(含整车运送鲜活农产品的国Ⅲ排放标准柴油载货汽车)通行，……每天6时至23时，五环路(不含)以内道路禁止载货汽车通行，五环路主路禁止核定载质量8吨(含)以上载货汽车通行”。

为了降低机动车污染，特别是黑烟车这种高污染车,我国相继出台了一系列相关的政策和措施,成立黑烟车专项检查,组织了专业队伍,定期上路拦车检查,但由于道路交通繁忙,拦车检查工作时间有限,拦车检查的超标黑烟车数量偏少,对黑烟车排放控制作用不明显。

目前，人工智能技术越来越成为热点，如果能够依靠人工智能技术，通过道路监控自动检测和识别黑烟车将非常有价值，基于此可结合相关部门对黑烟车进行相应的报废和整改处理，将有助于降低柴油车对城市的污染程度。但目前的人工智能实现方案识别率较低，效果不够理想。

发明内容

为解决上述问题，本发明公开了一种基于自组织背景差模型和多特征融合的黑烟车检测方法，能够进一步提高识别率，降低误报率。

为了达到上述目的，本发明提供如下技术方案：

一种基于自组织背景差模型和多特征融合的黑烟车检测方法，包括如下步骤：

(1)利用自组织背景差模型从视频监控中检测运动目标，确定关键区域；

(2)将关键区域图像转化到YCrCb颜色空间，提取颜色矩特征；

(3)将关键区域转化到灰度空间，分别提取局部三值模式直方图特征和边缘方向直方图特征；

(4)根据当前帧关键区域的位置，在整个帧序列中提取其前后若干帧的对应区域，将所有时序区域提取的同一类特征串联形成每一类的特征向量，对每一类的特征向量归一化，串联起来形成最终的特征向量；

(5)利用剪枝径向基神经网络分类器对所提最终特征向量进行分类，识别黑烟关键区域，并进一步识别黑烟车。

进一步的，步骤(1)具体包括如下子步骤：

(11)背景建模，对输入视频帧的每个像素p都建立一个对应的神经图W(p)，每个神经图由n×n个权重向量w_ij(p),(i,j＝0,1,...,n-1)组成，将所有的神经图放在同一张图中产生一张背景模型图中，在模型初始化中，每个像素值p对应的背景模型采用第一帧I₀初始化；

(12)前景检测，将t时刻的像素p_t和它当前的背景模型像素集合

作比较，找出在HSV颜色空间中当前像素点与其对应的模型块里像素点的最小距离，满足最小距离的点称为为最佳匹配点，记作c_m，即

其中，p_j＝(v_j,s_j,h_j)和p_i＝(v_i,s_i,h_i)表示HSV颜色空间的两个像素，(v_j,s_j,h_j)表示HSV颜色空间的三个颜色分量值，包括色调(Hue)，饱度(Saturation)和明度(Value)，c_i,(i＝1,2,...,n²)表示背景模型中的第i个像素；

若最小距离d(c_m,p_t)＜ε，则判定为背景，更新背景模型，否则，进行阴影判断，若判定为阴影，则不更新背景模型；

(13)背景更新，按一定的权值更新背景模型中最佳匹配点周围的像素点，在点

周围n×n的小邻域的权重向量A_t的更新方法为：

A_t(i,j)＝(1-α(t)w_ij)A_t-1(i,j)+α(t)w_ijp_t(x,y)

其中，α(t)是常数，w_ij为背景模型中每个像素对应的权重，A_t(i,j)表示在t时刻权重向量A_t在位置(i,j)处的值，

表示对*向下取整，p_t(x,y)表示在时刻为t、坐标位置为(x,y)的像素点的像素值，n表示所取小邻域的大小，取值范围为[2,7]；

(14)对前景目标做形态学腐蚀操作，去除较小目标，提取前景目标包围盒，将包围盒底部区域作为关键区域。

进一步的，所述步骤(2)中的提取颜色矩特征步骤，包括如下子步骤：

(21)对于关键区域图像I_key，将其转化到YCrCb颜色空间，得到图像P；

(22)颜色信息主要分布于低阶矩中，用一阶矩，二阶矩和三阶矩来刻画图像的颜色分布，计算方法分别为：

其中，p_i,j表示第i个颜色通道分量，灰度值为j的像素出现的概率，N表示图像中像素的个数，μ_i表示一阶矩，σ_i表示二阶矩，s_i表示三阶矩；

(23)对于图像P的三个颜色分量Y,U,V，分别计算前三阶颜色矩，串联起来组成一个特向量，记作F_ColorMo，

F_ColorMo＝{μ₁,μ₂,μ₃,σ₁,σ₂,σ₂,s₁,s₂,s₃}。

进一步的，步骤(3)中提取局部三值模式直方图特征步骤，包括如下子步骤：

(31)将关键区域图像转化为灰度图像，利用下式计算局部三值模式LTP，

其中，t使用户指定的一个阈值，i_c是区域内的中心像素点，u是均匀分布在半径为R的圆域内的邻域像素点；

(32)将LTP编码拆分成正负两部分，正部分是把编码中的所有为-1的值用0代替，其余的不变，负部分是把所有为1的值用0代替，-1的值用1代替，剩下的不改变，将经过变换后的编码记作s，均利用下式计算LTP编码图：

其中，(x_c,y_c)表示所选取的近邻区域的中心像素P的坐标；

(33)分别提取LTP编码的正负部分的编码图的灰度直方图，串联起来得到局部三值模式直方图特征LTP-H，记作F_LTP。

进一步的，所述步骤(3)中提取和边缘方向直方图特征步骤，包括如下子步骤：

(34)将关键区域图像转化为灰度图像，采用两种sobel算子对图像进行边缘检测，并计算原图中每个像素p_i,j对应的梯度幅值Mag(p_i,j)和梯度方向Ori(p_i,j)：

其中，p_i,j表示位置(i,j)处的像素，G_x和G_y分别表示水平梯度和垂直梯度图像；

(35)将方向空间Ori(p)均分成K个不同的方向区间，记作θ(p)，则边缘方向直方图特征EOH的计算方法为，

其中，H_i,i＝1,2,...,K表示K维边缘方向直方图，p_i,j表示位置(i,j)处的边缘像素点，θ(p)分区间后像素方向空间；

(36)记F_EOH为边缘方向直方图特征，即

F_EOH＝{H₁,H₂,...,H_K}。

进一步的，所述步骤(5)具体包括如下子步骤：

(51)将用于训练的特征向量集输入设计好网路结构的径向基神经网络，并给每个权重匹配一个灵敏度，刻画权重的改变对网络损失函数的影响度；

(52)采用传统的梯度下降法训练网络，同时，去除那些灵敏度较小的网络权重，实现网络的剪枝；

(53)将剪枝后的网络用于新的关键区域的分类，假如当前帧存在黑烟区域，则被识别为黑烟帧；

(54)假如在连续的100帧中，有超过η帧黑烟帧，则当前视频段内存在黑烟车，发出报警，其中，η是控制召回率和精确率的一个调节系数，取值范围为[3,30]。

与现有技术相比，本发明具有如下优点和有益效果：

1.本发明提出的自组织背景差模型检测车辆运动目标，对光照具有较强的鲁棒性，降低了由于阴影产生黑烟车误报的可能性，具有较强的实用性。

2.本发明提出多特征融合的策略，所采用的颜色矩特征可有效表达图像的颜色分布，不需要颜色空间量化，特征向量维数低，可起到初步过滤非黑烟区域的作用；所采用的局部三值模式特征，不仅继承了局部二值模式特征的图像纹理描述能力强、计算速度快等优点,并且对噪声相对不敏感,判别能力更强；图像的边缘方向直方图可以有效刻画图像中的形状信息，特别是关键区域的边缘信息，由于黑烟关键区域和非黑烟关键区域的特点，采用该特征是很好的选择，也是非常有效的。

3.本发明通过关键区域的时间序列分析，来提取关键区域的动态特征，并结合网路剪枝的策略降低防止特征维数过高导致过拟合，有效地提高了检出率，降低了误报率。

附图说明

图1为本发明方法流程示意图。

图2为本发明的一个黑烟关键区域以及其LTP正负部分的编码图。

图3为本发明的一个非黑烟区域以及其LTP正负部分的编码图。

图4为本发明检测到的黑烟车的一个例子。

具体实施方式

以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

本发明提出了一种基于自组织背景差模型和多特征融合的黑烟车检测方法，可以通过对道路监控视频的分析自动识别黑烟车，对黑烟车的治理具有非常重要的意义。本发明采用自组织背景差模型检测运动目标，通过多特征融合的方式刻画车辆的特征，借助剪枝神经网络分类器，对得到当前车辆是否为黑烟车做出判断。本发明采用的自组织背景差模型不仅对光照具有较强的鲁棒性，而且具有较强的实用性。不同的特征有各自的优势，所采用的颜色矩特征可有效表示图像的颜色分布，不需要颜色空间量化，特征向量维数低，本发明中主要起到初步过滤的作用。所采用的局部三值模式特征继承了局部二值模式特征的图像纹理描述能力强、计算速度快等优点,并且对噪声相对不敏感,判别能力更强。图像的边缘方向直方图能有效反映图像中的形状信息。

具体的说，如图1所示，本发明提供的基于自组织背景差模型和多特征融合的黑烟车检测方法，包括如下步骤：

步骤1：利用自组织背景差(SOBS)模型从视频监控中检测运动目标，确定关键区域；具体包括如下子步骤：

步骤1.1：背景建模，对输入视频帧的每个像素p都建立一个对应的神经图W(p)，每个神经图由n×n个权重向量w_ij(p),(i,j＝0,1,...,n-1)组成，将所有的神经图放在同一张图中产生一张背景模型图中，在模型初始化中，每个像素值p对应的背景模型采用第一帧I₀初始化；

步骤1.2：前景检测，将t时刻的像素p_t和它当前的背景模型像素集合

作比较，找出在HSV颜色空间中当前像素点与其对应的模型块里像素点的最小距离，满足最小距离的点称为为最佳匹配点，记作c_m，即

其中，p_j＝(v_j,s_j,h_j)和p_i＝(v_i,s_i,h_i)表示HSV颜色空间的两个像素，(v_j,s_j,h_j)表示HSV颜色空间的三个颜色分量值，包括色调(Hue)，饱度(Saturation)和明度(Value)，c_i,(i＝1,2,...,n²)表示背景模型中的第i个像素；

若最小距离d(c_m,p_t)＜ε(ε为阈值)，则判定为背景，更新背景模型，否则，进行阴影判断，若判定为阴影，则不更新背景模型；

步骤1.3：背景更新，按一定的权值更新背景模型中最佳匹配点周围的像素点，在点

周围n×n的小邻域的权重向量A_t的更新方法为：

A_t(i,j)＝(1-α(t)w_ij)A_t-1(i,j)+α(t)w_ijp_t(x,y)

其中，α(t)是常数，w_ij为背景模型中每个像素对应的权重，A_t(i,j)表示在t时刻权重向量A_t在位置(i,j)处的值，

表示对*向下取整，p_t(x,y)表示在时刻为t、坐标位置为(x,y)的像素点的像素值，n表示所取小邻域的大小，取值范围为[2,7]；

步骤1.4：对前景目标做形态学腐蚀操作，去除较小目标，提取前景目标包围盒，将包围盒底部区域作为关键区域。

步骤2：将关键区域图像转化到YCrCb颜色空间，提取颜色矩特征(ColorMo)；其中提取颜色矩特征(ColorMo)，具体包括如下步骤：

步骤2.1：对于关键区域图像I_key，将其转化到YCrCb颜色空间，得到图像P；

步骤2.2：颜色信息主要分布于低阶矩中，用一阶矩，二阶矩和三阶矩来刻画图像的颜色分布，计算方法分别为：

其中，p_i,j表示第i个颜色通道分量，灰度值为j的像素出现的概率，N表示图像中像素的个数，μ_i表示一阶矩(均值,mean)，σ_i表示二阶矩(方差,viarance)，s_i表示三阶矩(斜度,skewness)；

步骤2.3：对于图像P的三个颜色分量Y,U,V，分别计算前三阶颜色矩，串联起来组成一个特向量，记作F_ColorMo，

F_ColorMo＝{μ₁,μ₂,μ₃,σ₁,σ₂,σ₂,s₁,s₂,s₃}

步骤3：将关键区域转化到灰度空间，分别提取局部三值模式直方图特征(LTP-H)和边缘方向直方图特征(EOH)；

上述提取局部三值模式直方图特征(LTP-H)的步骤，具体包括如下子步骤：

步骤3.1：将关键区域图像转化为灰度图像，利用下式计算局部三值模式(LTP)，

其中，t是用户指定的一个阈值，i_c是区域内的中心像素点，u是均匀分布在半径为R的圆域内的邻域像素点；

步骤3.2：将LTP编码拆分成正负两部分，正部分是把编码中的所有为-1的值用0代替，其余的不变，负部分是把所有为1的值用0代替，-1的值用1代替，剩下的不改变，将经过变换后的编码记作s，均利用下式计算LTP编码图：

其中，(x_c,y_c)表示所选取的近邻区域的中心像素P的坐标；

图2和图3分别显示了一个黑烟关键区域以及其LTP正负部分的编码图和一个非黑烟区域以及其LTP正负部分的编码图。

步骤3.3：分别提取LTP编码的正负部分的编码图的灰度直方图，串联起来得到局部三值模式直方图特征(LTP-H)，记作F_LTP。

步骤3中的和边缘方向直方图特征(EOH)提取过程，包括如下子步骤：

步骤3.4：将关键区域图像转化为灰度图像，采用两种sobel算子对图像进行边缘检测，并计算原图中每个像素p_i,j对应的梯度幅值Mag(p_i,j)和梯度方向Ori(p_i,j)：

其中，p_i,j表示位置(i,j)处的像素，G_x和G_y分别表示水平梯度和垂直梯度图像；

步骤3.5：将方向空间Ori(p)均分成K个不同的方向区间，记作θ(p)，则边缘方向直方图特征(EOH)的计算方法为：

其中，H_i,i＝1,2,...,K表示K维边缘方向直方图，p_i,j表示位置(i,j)处的边缘像素点，θ(p)为分区间后像素方向空间；

步骤3.6：记F_EOH为边缘方向直方图特征，即

F_EOH＝{H₁,H₂,...,H_K}

步骤4：根据当前帧关键区域的位置，在整个帧序列中提取其前后若干帧的对应区域，将所有时序区域提取的同一类特征串联形成每一类的特征向量，对每一类的特征向量归一化，串联起来形成最终的特征向量；

步骤5：利用剪枝径向基神经网络(RBFNN)分类器对所提最终特征向量进行分类，识别黑烟关键区域，并进一步识别黑烟车。

F_EOH＝{H₁,H₂,...,H_K}

本步骤具体包括如下子步骤：

步骤5.1：将用于训练的特征向量集输入设计好网路结构的径向基神经网络，并给每个权重匹配一个灵敏度，刻画权重的改变对网络损失函数的影响度；

步骤5.2：采用传统的梯度下降法训练网络，同时，去除那些灵敏度较小的网络权重，实现网络的剪枝；

步骤5.3：将剪枝后的网络用于新的关键区域的分类，假如当前帧存在黑烟区域，则被识别为黑烟帧；

步骤5.4：假如在连续的100帧中，有超过η帧黑烟帧，则当前视频段内存在黑烟车，发出报警。其中，η是控制召回率和精确率的一个调节系数，取值范围为[3,30]。

图4显示了利用本发明从车辆监控视频中检测到的一个黑烟车的例子，图中白色矩形框表示检测到的运动目标，黑色矩形框表是关键区域的位置。显然，采用本发明方法能够通过视频图像检测黑烟车。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (3)

1.基于自组织背景差模型和多特征融合的黑烟车检测方法，其特征在于，包括如下步骤：

(1)利用自组织背景差模型从视频监控中检测运动目标，确定关键区域，具体包括如下子步骤：

(11)背景建模，对输入视频帧的每个像素p都建立一个对应的神经图W(p)，每个神经图由n×n个权重向量w_ij(p)组成，i,j＝0,1,...,n-1，将所有的神经图放在同一张图中产生一张背景模型图，在模型初始化中，每个像素值p对应的背景模型采用第一帧I₀初始化；

(12)前景检测，将t时刻的像素p_t和它当前的背景模型像素集合

作比较，找出在HSV颜色空间中当前像素点与其对应的模型块里像素点的最小距离，满足最小距离的点称为最佳匹配点，记作c_m，即

其中，p_j＝(v_j,s_j,h_j)和p_i＝(v_i,s_i,h_i)表示HSV颜色空间的两个像素，(v_j,s_j,h_j)表示HSV颜色空间的三个颜色分量值，包括色调Hue，饱度Saturation和明度Value，c_i表示背景模型中的第i个像素，i＝1,2,...,n²；

若最小距离d(c_m,p_t)＜ε，ε为阈值，则判定为背景，更新背景模型，否则，进行阴影判断，若判定为阴影，则不更新背景模型；

(13)背景更新，按一定的权值更新背景模型中最佳匹配点周围的像素点，在点

周围n×n的小邻域的权重向量A_t的更新方法为：

其中，α(t)是常数，w_ij为背景模型中每个像素对应的权重，A_t(i,j)表示在t时刻权重向量A_t在位置(i,j)处的值，

表示对*向下取整，p_t(x,y)表示在时刻为t、坐标位置为(x,y)的像素点的像素值，n表示所取小邻域的大小，取值范围为[2,7]；

(14)对前景目标做形态学腐蚀操作，去除较小目标，提取前景目标包围盒，将包围盒底部区域作为关键区域；

(2)将关键区域图像转化到YCrCb颜色空间，提取颜色矩特征；

(3)将关键区域转化到灰度空间，分别提取局部三值模式直方图特征和边缘方向直方图特征，所述提取局部三值模式直方图特征包括如下子步骤：

(31)将关键区域图像转化为灰度图像，利用下式计算局部三值模式LTP，

其中，t使用户指定的一个阈值，i_c是区域内的中心像素点，u是均匀分布在半径为R的圆域内的邻域像素点；

(32)将LTP编码拆分成正负两部分，正部分是把编码中的所有为-1的值用0代替，其余的不变，负部分是把所有为1的值用0代替，-1的值用1代替，剩下的不改变，将经过变换后的编码记作s，均利用下式计算LTP编码图：

其中，(x_c,y_c)表示所选取的近邻区域的中心像素P的坐标；

(33)分别提取LTP编码的正负部分的编码图的灰度直方图，串联起来得到局部三值模式直方图特征LTP-H，记作F_LTP；

所述提取边缘方向直方图特征包括如下子步骤：

(34)将关键区域图像转化为灰度图像，采用两种Sobel算子对图像进行边缘检测，并计算原图中每个像素p_i,j对应的梯度幅值Mag(p_i,j)和梯度方向Ori(p_i,j)：

其中，p_i,j表示位置(i,j)处的像素，G_x和G_y分别表示水平梯度和垂直梯度图像；

(35)将方向空间Ori(p)均分成K个不同的方向区间，记作θ(p)，则边缘方向直方图特征EOH的计算方法为，

其中，H_i,i＝1,2,...,K表示K维边缘方向直方图，p_i,j表示位置(i,j)处的像素，θ(p)分区间后像素方向空间；

(36)记F_EOH为边缘方向直方图特征，即

F_EOH＝{H₁,H₂,...,H_K}；

(4)根据当前帧关键区域的位置，在整个帧序列中提取其前后若干帧的对应区域，将所有时序区域提取的同一类特征串联形成每一类的特征向量，对每一类的特征向量归一化，串联起来形成最终的特征向量；

(5)利用剪枝径向基神经网络分类器对所提最终特征向量进行分类，识别黑烟关键区域，并进一步识别黑烟车。

2.根据权利要求1所述的基于自组织背景差模型和多特征融合的黑烟车检测方法，其特征在于，所述步骤(2)中的提取颜色矩特征步骤，包括如下子步骤：

(21)对于关键区域图像I_key，将其转化到YCrCb颜色空间，得到图像P；

(22)颜色信息主要分布于低阶矩中，用一阶矩，二阶矩和三阶矩来刻画图像的颜色分布，计算方法分别为：

其中，p_i,j表示第i个颜色通道分量，灰度值为j的像素出现的概率，N表示图像中像素的个数，μ_i表示一阶矩，σ_i表示二阶矩，s_i表示三阶矩；

(23)对于图像P的三个颜色分量Y,U,V，分别计算前三阶颜色矩，串联起来组成一个特向量，记作F_ColorMo，

F_ColorMo＝{μ₁,μ₂,μ₃,σ₁,σ₂,σ₂,s₁,s₂,s₃}。

3.根据权利要求1所述的基于自组织背景差模型和多特征融合的黑烟车检测方法，其特征在于，所述步骤(5)具体包括如下子步骤：

(51)将用于训练的特征向量集输入设计好网路结构的径向基神经网络，并给每个权重匹配一个灵敏度，刻画权重的改变对网络损失函数的影响度；

(52)采用传统的梯度下降法训练网络，同时，去除那些灵敏度较小的网络权重，实现网络的剪枝；

(53)将剪枝后的网络用于新的关键区域的分类，假如当前帧存在黑烟区域，则被识别为黑烟帧；

(54)假如在连续的100帧中，有超过η帧黑烟帧，则当前视频段内存在黑烟车，发出报警，其中，η是控制召回率和精确率的一个调节系数，取值范围为[3,30]。

Images