CN108960181B - 基于多尺度分块lbp和隐马尔科夫模型的黑烟车检测方法 - Google Patents

Abstract

本发明涉及一种基于多尺度分块LBP和隐马尔科夫模型的黑烟车检测方法。该方法包括：(1)从监控视频中检测运动目标和确定关键区域；(2)提取多尺度分块LBP特征，增加尺度和位置信息；(3)采用隐马尔科夫模型刻画关键区域的动态特征，将当前帧分为黑烟帧和非黑烟帧；(4)通过对视频序列的分析，并结合黑烟帧的分布特点，进一步识别黑烟车。利用本发明的技术方案，不仅可以实现黑烟车的自动检测，提高检测效率，同时利用隐马尔科夫模型刻画关键区域的动态特征能更好地降低误报率。

Description

基于多尺度分块LBP和隐马尔科夫模型的黑烟车检测方法

技术领域

本发明属于图像处理和烟火检测技术领域，尤其是一种基于多尺度分块LBP和隐马尔科夫模型的黑烟车检测方法。

背景技术

黑烟车是一种高污染车辆，其排放的黑烟尾气不仅污染空气，还损害人体健康。

当前黑烟车的检测大部分仍然依靠人工路检，耗时费力、影响交通、效率低下。另外一种方式是传统的人工视频监控方式,该方式是通过在道路上方架设摄像机将再通过人工对每一路视频进行播放查看,发现黑烟车视频后对该段视频进行剪辑和保存,通过人工确认该段视频的黑烟车车牌。据调查,采用该方法的城市需要雇佣大量的人工,每一路视频至少需要专门配备1人查看,经过长时间查看,人眼的耐受性问题导致视力疲劳, 有时出现对黑烟车也熟视无睹,造成海量视频数据的滞留。目前我国实际中仍大多采用拦车路检的方法，该方法是每个工作日组织每组人员4-5人，需要公安交警配合上路拦车检测，平均每天拦车30-50辆，有时能发现超标车2-3辆超标车辆，有时则一辆也没有，该方法效率低下，数量少，同时影响交通。

近些年，智能视频监控显然将成为应对交通污染和环境污染处理突发事件的有力辅助工具，全程数字化、网络化、智能化的视频监控系统的优势愈发明显。黑烟车智能视频监控便是网络化视频监控在环保领域的应用。

发明内容

本发明所要解决的技术问题在于，提供一种基于多尺度分块LBP和隐马尔科夫模型的黑烟车检测方法，该方法能够弥补传统人工监控黑烟车效率低下的不足，充分刻画关键区域动态特征，降低误报率。本发明设计的方法利用计算机视觉技术从海量道路监控视频中自动检测黑烟车，是一种基于多尺度分块LBP和隐马尔科夫模型的黑烟车检测方法，将能大大提高黑烟车检测效率，具有较好的黑烟车识别率。

为解决上述技术问题，本发明提供一种基于多尺度分块LBP和隐马尔科夫模型的黑烟车检测方法，包括如下步骤：

步骤1：从监控视频中检测运动目标和确定关键区域；

步骤2：提取多尺度分块LBP特征，增加尺度和位置信息；

步骤3：采用隐马尔科夫模型刻画关键区域的动态特征，将当前帧分为黑烟帧和非黑烟帧；

步骤4：通过对视频序列的分析，并结合黑烟帧的分布特点，进一步识别黑烟车。

所述步骤1中的检测运动目标的方法采用Vibe背景差算法，关键区域的底边和运动目标的包围盒的底边重合，关键区域的宽度根据经验值设定为运动目标包围盒宽度的0.8倍，关键区域的高度根据经验值设定为60像素。

所述步骤2中的多尺度分块LBP特征的计算流程如下，

步骤2.1：通过选取不同方差s的高斯模糊核对关键区域进行处理，来实现不同尺度，以适应车辆到监控相机距离不同而引起的尺度不同问题，具体通过下式计算，

F^s(x)＝s^γI_norm(x)*G(x,s)；

其中，F^s(x)指尺度为s的归一化关键区域_norm(x)在位置x＝(x₁,x₂)处像素值的大小，G(x,s) 表示归一化后的标准差为s的二维高斯核，大小为Q×Q且Q＝2ceil(2s)+1，*表示卷积操作，参数_γ是一个调节系数，一般设置为1，函数ceil(x)表示对x四舍五入。

步骤2.2：对不同尺度的关键区域提取LBP纹理特征，对于位置为x尺度为s的图像F^s,邻域为P半径为R的LBP的计算方法如下，

其中，

表示在半径为R的圆周上s的第p个像素值，

表示中心像素的像素值，P表示圆周像素平均划分的总个数，R表示圆周像素到中心像素的欧氏距离，

步骤2.3：为了刻画关键区域内部的位置信息，采用分块的策略，将关键区域平分为B_row×B_column块，当B_row＝1,B_column＝2时，可以刻画关键区域是否具有左右对称的特征，分块策略主要源于这样的考虑，当车辆目标为非黑烟车时，关键区域会呈现左右对称特点，当车辆目标为黑烟车时，这种对称特征会被车辆尾部的黑烟破坏。

所述步骤3中的采用隐马尔科夫模型刻画关键区域的动态特征包括如下流程：

步骤3.1：隐马尔可夫模型由初始状态概率向量π、状态转移概率矩阵A和观测概率矩阵B决定.π和A决定状态序列，B决定观测序列.因此，隐马尔可夫模型H可以用三元符号表示，即

H＝{Θ,π,A,B}

其中，Θ表示所有状态概率向量，π＝(π_i)表示初始状态概率向量，π_i是t＝1时刻处于状态i的概率，A＝(a_ij)_N×N表示状态转移概率矩阵，其中元素a_ij是在时刻t处于状态i,的条件下在时刻t+1转移到状态j的概率，B＝[b_j(d)]_N×M表示观测概率矩阵，b_j(k)是在时刻t处于状态j的条件下生成观测d的概率；

步骤3.2：如果是N分类问题，可得到字典(H₁,H₂,...,H_N)，我采用Baum-Welch算法评估马尔科夫模型的参数，具体计算方法见下式：

a₁(i)＝π_ib_i(O₁),1≤i≤q,

β_T(i)＝1,1≤i≤q,

其中，q表示模型的可能的状态数，α和β分别表示前向概率和后向概率，主要通过状态转移概率矩阵A和观测概率矩阵B计算得到，ξ_t(i,j)表示在时刻t处于状态i且在时刻t+1处于状态j的概率，γ_t(i)表示在时刻t处于状态i的概率，

表示从状态i转移到状态j的预测概率，

表示从状态j转移到状态d的预测概率；

步骤3.3：由于过多的状态不利于后续的识别，因此，我们选择四状态模型刻画关键区域的动态特征，从而可以得到黑烟关键区域和非黑烟关键区域两种马尔科夫模型，对于某个给定的序列，计算下式，输出值最大的模型就是对应区域的分类结果，

其中，P(O|H)表示在模型H下，连续序列O在时刻t的概率。

所述步骤4中的通过对视频序列的分析，并结合黑烟帧的分布特点，主要指，每连续的100帧中，如果有K帧被识别为黑烟帧，且K满足下式，则认为当前视频序列中存在黑烟车,

K＞α

其中，α是控制召回率和精确率的一个调节系数，根据用户实际应用需求进行设置，当用户需要降低黑烟车误报率时，可以选择增大α的值，当用户需要提高黑烟车检出率时，可以选择减小α的值，α的取值范围为[4,30]。

本发明的有益效果为：(1)本发明设计了一种基于视频分析的智能黑烟车检测方法，相比于传统人工方式，大大提高了检测效率，节约了成本；(2)本发明提出了采用高斯函数增加关键区域的尺度信息，同时提出分块的策略以便利用关键区域内部的位置信息，这种新的多尺度分块LBP纹理特征，有效的刻画了关键区域的特点，提高了黑烟车检测的准确率，降低了误报率；(3)本发明首次提出了采用隐马尔科夫模型刻画关键区域的动态特征，通过对关键区域连续数帧建立隐马尔科夫模型，从而有效的区分黑烟关键区域的变化特点和非黑烟区域的变化特点，动态特征的利用大大提高了黑烟车检测的准确率。

附图说明

图1本发明的方法流程示意图。

图2为本发明的半径R＝2和P＝8的LBP纹理计算方法示意图。

图3为本发明的检测到的黑烟车例子。

具体实施方式

下面结合说明书附图和实施例，对发明方法的详细过程进行清楚完整地说明。

本发明提供一种基于多尺度分块LBP和隐马尔科夫模型的黑烟车检测方法，其流程图如图1所示，具体按照以下步骤进行：

步骤1：从监控视频中检测运动目标和确定关键区域；

步骤2：提取多尺度分块LBP特征，增加尺度和位置信息；

步骤3：采用隐马尔科夫模型刻画关键区域的动态特征，将当前帧分为黑烟帧和非黑烟帧；

步骤4：通过对视频序列的分析，并结合黑烟帧的分布特点，进一步识别黑烟车。

所述步骤1中的检测运动目标的方法采用Vibe背景差算法，关键区域的底边和运动目标的包围盒的底边重合，关键区域的宽度根据经验值设定为运动目标包围盒宽度的0.8倍，关键区域的高度根据经验值设定为60像素。

所述步骤2中的多尺度分块LBP特征的计算流程如下，

步骤2.1：通过选取不同方差s的高斯模糊核对关键区域进行处理，来实现不同尺度，以适应车辆到监控相机距离不同而引起的尺度不同问题，具体通过下式计算，

F^s(x)＝s^γI_norm(x)*G(x,s)；

其中，F^s(x)指尺度为s的归一化关键区域_norm(x)在位置x＝(x₁,x₂)处像素值的大小，G(x,s) 表示归一化后的标准差为s的二维高斯核，大小为Q×Q且Q＝2ceil(2s)+1，*表示卷积操作，参数_γ是一个调节系数，一般设置为1，函数ceil(x)表示对x四舍五入。

步骤2.2：对不同尺度的关键区域提取LBP纹理特征，对于位置为x尺度为s的图像F^s,邻域为P半径为R的LBP的计算方法如下，

其中，

表示在半径为R的圆周上s的第p个像素值，

表示中心像素的像素值，P表示圆周像素平均划分的总个数，R表示圆周像素到中心像素的欧氏距离，

步骤2.3：为了刻画关键区域内部的位置信息，采用分块的策略，将关键区域平分为B_row×B_column块，当B_row＝1,B_column＝2时，可以刻画关键区域是否具有左右对称的特征，分块策略主要源于这样的考虑，当车辆目标为非黑烟车时，关键区域会呈现左右对称特点，当车辆目标为黑烟车时，这种对称特征会被车辆尾部的黑烟破坏。

图2为显示了半径R＝2和P＝8的LBP纹理计算方法示意图。

所述步骤3中的采用隐马尔科夫模型刻画关键区域的动态特征包括如下流程：

步骤3.1：隐马尔可夫模型由初始状态概率向量π、状态转移概率矩阵A和观测概率矩阵B决定.π和A决定状态序列，B决定观测序列.因此，隐马尔可夫模型H可以用三元符号表示，即

H＝{Θ,π,A,B}；

其中，Θ表示所有状态概率向量，π＝(π_i)表示初始状态概率向量，π_i是t＝1时刻处于状态i的概率，A＝(a_ij)_N×N表示状态转移概率矩阵，其中元素a_ij是在时刻t处于状态i,的条件下在时刻t+1转移到状态j的概率，B＝[b_j(d)]_N×M表示观测概率矩阵，b_j(k)是在时刻t处于状态j的条件下生成观测d的概率；

步骤3.2：如果是N分类问题，可得到字典(H₁,H₂,...,H_N)，我采用Baum-Welch算法评估马尔科夫模型的参数，具体计算方法见下式：

a₁(i)＝π_ib_i(O₁),1≤i≤q,

β_T(i)＝1,1≤i≤q,

其中，q表示模型的可能的状态数，α和β分别表示前向概率和后向概率，主要通过状态转移概率矩阵A和观测概率矩阵B计算得到，ξ_t(i,j)表示在时刻t处于状态i且在时刻t+1处于状态j的概率，γ_t(i)表示在时刻t处于状态i的概率，

表示从状态i转移到状态j的预测概率，

表示从状态j转移到状态d的预测概率；

步骤3.3：由于过多的状态不利于后续的识别，因此，我们选择四状态模型刻画关键区域的动态特征，从而可以得到黑烟关键区域和非黑烟关键区域两种马尔科夫模型，对于某个给定的序列，计算下式，输出值最大的模型就是对应区域的分类结果，

其中，P(O|H)表示在模型H下，连续序列O在时刻t的概率。

所述步骤4中的通过对视频序列的分析，并结合黑烟帧的分布特点，主要指，每连续的100帧中，如果有K帧被识别为黑烟帧，且K满足下式，则认为当前视频序列中存在黑烟车,

K＞α

其中，α是控制召回率和精确率的一个调节系数，根据用户实际应用需求进行设置，当用户需要降低黑烟车误报率时，可以选择增大α的值，当用户需要提高黑烟车检出率时，可以选择减小α的值，α的取值范围为[4,30]。

图3显示了从车辆监控视频中检测到的一个黑烟车的例子，其中，浅灰色矩形框表示监测到的运动目标，黑色矩形框表示提取到的关键区域。

需要说明的是，上述实施例仅仅是本发明的较佳实施例，并没有用来限定本发明的保护范围，在上述技术方案的基础上做出的等同替换或者替代，均属于本发明的保护范围。

Claims (3)

1.一种基于多尺度分块LBP和隐马尔科夫模型的黑烟车检测方法，其特征在于，该方法包括如下步骤：

步骤1：从监控视频中检测运动目标和确定关键区域；

步骤2：提取多尺度分块LBP特征，增加尺度和位置信息；

步骤3：采用隐马尔科夫模型刻画关键区域的动态特征，将当前帧分为黑烟帧和非黑烟帧；

步骤4：通过对视频序列的分析，并结合黑烟帧的分布特点，进一步识别黑烟车；

所述步骤1中的检测运动目标的方法采用Vibe背景差算法，关键区域的底边和运动目标的包围盒的底边重合，关键区域的宽度设定为运动目标包围盒宽度的0.8倍，关键区域的高度设定为60像素；

所述步骤2中的多尺度分块LBP特征的计算流程如下，

步骤2.1：通过选取不同方差s的高斯模糊核对关键区域进行处理，来实现不同尺度，以适应车辆到监控相机距离不同而引起的尺度不同问题，具体通过下式计算，

F^s(x)＝s^γI_norm(x)*G(x,s)；

其中，F^s(x)指尺度为s的归一化关键区域I_norm(x)在位置x＝(x₁,x₂)处像素值的大小，G(x,s)表示归一化后的标准差为s的二维高斯核，大小为Q×Q且Q＝2ceil(2s)+1，*表示卷积操作，参数γ是一个调节系数，设置为1，函数ceil(x)表示对x四舍五入；

步骤2.2：对不同尺度的关键区域提取LBP纹理特征，对于位置为x尺度为s的图像F^s,邻域为P半径为R的LBP的计算方法如下，

其中，

表示在半径为R的圆周上s的第p个像素值，

表示中心像素的像素值，P表示圆周像素平均划分的总个数，R表示圆周像素到中心像素的欧氏距离，

步骤2.3：为了刻画关键区域内部的位置信息，采用分块的策略，将关键区域平分为B_row×B_column块；

所述步骤3中的采用隐马尔科夫模型刻画关键区域的动态特征包括如下流程：

步骤3.1：隐马尔可夫模型由初始状态概率向量π、状态转移概率矩阵A和观测概率矩阵B决定，π和A决定状态序列，B决定观测序列，因此，隐马尔可夫模型H用三元符号表示，即

H＝{Θ,π,A,B}；

其中，Θ表示所有状态概率向量，π＝(π_i)表示初始状态概率向量，π_i是t＝1时刻处于状态i的概率，A＝(a_ij)_N×N表示状态转移概率矩阵，其中元素a_ij是在时刻t处于状态i的条件下在时刻t+1转移到状态j的概率，B＝[b_j(d)]_N×M表示观测概率矩阵，b_j(k)是在时刻t处于状态j的条件下生成观测d的概率；

步骤3.2：如果是N分类问题，可得到字典(H₁,H₂,...,H_N)，采用Baum-Welch算法评估马尔科夫模型的参数，具体计算方法见下式：

a₁(i)＝π_ib_i(O₁),1≤i≤q,；

β_T(i)＝1,1≤i≤q,；

其中，q表示模型的可能的状态数，α和β分别表示前向概率和后向概率，通过状态转移概率矩阵A和观测概率矩阵B计算得到，ξ_t(i,j)表示在时刻t处于状态i且在时刻t+1处于状态j的概率，γ_t(i)表示在时刻t处于状态i的概率，

表示从状态i转移到状态j的预测概率，

表示从状态j转移到状态d的预测概率；

步骤3.3：选择四状态模型刻画关键区域的动态特征，得到黑烟关键区域和非黑烟关键区域两种马尔科夫模型，对于某个给定的序列，计算下式，输出值最大的模型就是对应区域的分类结果，

其中，P(O|H)表示在模型H下，连续序列O在时刻t的概率。

2.根据权利要求1所述的方法，其特征在于，所述步骤4中的通过对视频序列的分析，并结合黑烟帧的分布特点，指每连续的100帧中，如果有K帧被识别为黑烟帧，且K满足下式，则认为当前视频序列中存在黑烟车,

K＞α；

其中，α是控制召回率和精确率的一个调节系数，根据用户实际应用需求进行设置。

3.根据权利要求2所述的方法，其特征在于，所述步骤4中α的取值范围为[4,30]。

Images