CN109271904B - 一种基于像素自适应分割和贝叶斯模型的黑烟车检测方法 - Google Patents

一种基于像素自适应分割和贝叶斯模型的黑烟车检测方法 Download PDF

Info

Publication number
CN109271904B
CN109271904B CN201811018255.5A CN201811018255A CN109271904B CN 109271904 B CN109271904 B CN 109271904B CN 201811018255 A CN201811018255 A CN 201811018255A CN 109271904 B CN109271904 B CN 109271904B
Authority
CN
China
Prior art keywords
pixel
histogram
black smoke
representing
small
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811018255.5A
Other languages
English (en)
Other versions
CN109271904A (zh
Inventor
路小波
陶焕杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201811018255.5A priority Critical patent/CN109271904B/zh
Publication of CN109271904A publication Critical patent/CN109271904A/zh
Application granted granted Critical
Publication of CN109271904B publication Critical patent/CN109271904B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于像素自适应分割和贝叶斯模型的黑烟车检测方法，包括：利用PBAS模型检测运动目标，并把图像划分网格，标记前景目标所在的所有小方格；针对每个前景目标方格，提取POEM直方图特征或者LDP直方图特征，刻画空间信息；针对每个前景目标方格，提取HOOF直方图特征或者MOH直方图特征，刻画时序信息；针对每个前景目标方格，提取STH特征，刻画结构信息；将不同类型的直方图特征进行融合，利用实际场景非黑烟车远高于黑烟车的特点，加入先验知识，利用贝叶斯模型对每一帧每个前景目标小方格进行分类，综合分析多帧识别黑烟车。本发明能从车流中自动识别黑烟车，提高检出率，降低误报率，对阴影具有鲁棒性。

Description

一种基于像素自适应分割和贝叶斯模型的黑烟车检测方法
技术领域
本发明属于模式识别和图像处理技术领域，涉及黑烟车检测方法，尤其是一种基于像素自适应分割和贝叶斯模型的黑烟车检测方法。
背景技术
黑烟车是一种高污染车辆，国家非常重视黑烟车的检测，对降低机动车污染，提高空气质量具有重要意义。
目前，基于视频分析的黑烟车检测算法研究仍处于起步阶段，可参考的发明并不多。2016年末
Figure BDA0001786669400000013
等人首次提出了一种基于多相机的车辆尾气分析和黑烟车检测系统，该方法利用远红外相机定位车辆尾气出口位置，通过对可见光图像中车辆尾气出口周围区域的分析来确定尾气污染程度。然而，该方法中通过搜索红点的方式来对车辆排气孔定位的策略缺乏鲁棒性。而红外相机的寿命短、散热差等不足也会给算法带来不稳定性。并且，多相机所带来的后期设备维护和保养也会增加成本投入。陶等人提出仅使用可见光相机进行黑烟车检测的方法，该方法采用Vibe背景差算法检测前景目标，通过设计规则去除非车辆目标，并提出了一种多尺度分块Tamura特征，将其用于黑烟车特征提取。该方法弥补
Figure BDA0001786669400000012
方法采用多相机的不足，但还存在一些问题，如Vibe背景差算法检测车辆的准确度有待提高，仅考虑提取单一的Tamura特征，且未考虑黑烟的动态特征，容易产生误报。总的来说，很多方法忽略了动态特征，并且阴影还很容易造成误检。
发明内容
为解决上述问题，本发明公开了一种基于像素自适应分割和贝叶斯模型的黑烟车检测方法，能从车流中自动识别黑烟车，提高检出率，降低误报率。
为了达到上述目的，本发明提供如下技术方案：
一种基于像素自适应分割和贝叶斯模型的黑烟车检测方法，包括如下步骤：
(1)利用像素自适应分割PBAS模型检测运动目标，并把图像划分网格，标记前景目标所在的所有小方格；
(2)针对每个前景目标方格，提取方向边缘幅值模式POEM直方图特征或者局部方向模式LDP直方图特征，刻画空间信息；
(3)针对每个前景目标方格，提取光流方向直方图HOOF特征或者运动方向直方图MOH特征，刻画时序信息；
(4)针对每个前景目标方格，提取结构张量直方图STH特征，刻画结构信息；
(5)将不同类型的直方图特征进行融合，利用实际场景非黑烟车远高于黑烟车的特点，加入先验知识，利用贝叶斯模型对每一帧每个前景目标小方格进行分类，综合分析多帧识别黑烟车。
进一步的，所述步骤(1)具体包括如下步骤：
(11)关于背景模型的建立，采用前N帧像素以及梯度幅值作为背景模型，
B(xi)＝{B1(xi),B2(xi),...,BN(xi)}
其中，B(xi)为背景模型，表示像素点xi的样本集合；
(12)对于一个新的像素点，计算在样本模型中满足一定条件样本个数，即
Figure BDA0001786669400000021
其中，F(xi)＝1表示判定像素点xi为背景，Nmin表示样本个数的阈值，R(xi)表示像素xi的阈值，dist(I(xi),Bk(xi))表示像素I(xi)和Bk(xi)的像素距离，N{*}表示满足条件*的样本个数；；
(13)随机选择需要被替换的样本，随机选择样本像素邻域的样本集合进行背景模型的更新，采用自适应的更新率，且用邻域的新像素值更新邻域样本集合，具体采用下式自适应调整判断阈值和更新率，
Figure BDA0001786669400000022
Figure BDA0001786669400000023
其中，Rk是阈值的变化量，Rscale用于控制背景复杂度对判断阈值的调整，F(xi)表示像素xi的判定结果，Tk1和Tk2分别表示更新率增加、减小的幅度，T∈[Tlower,Tupper]，Tlower和Tupper分别表示更新率下限和上限，dmin(xi)表示于像素xi最小的距离；
(14)把图像划分网格，标记前景目标所在的所有小方格，并去除那些方格中的前景目标所占比例较低的小方格，即
BFblock＝{bblock|K(bblock)＞Tfore,bblock∈Fblock}
其中，Fblock表示所有含有前景目标的小方格，K(bblock)表示小方格中前景目标所占的比例，BFblock表示前景目标小方格中的前景目标面积占整个方格面积的比例大于阈值Tfore的小方格的集合。
进一步的，所述步骤(2)中方向边缘幅值模式POEM直方图特征的计算具体包括如下步骤：
(21)对于每一个前景目标小方格，计算每个像素点的梯度的方向和大小,得到梯度方向图和梯度幅度图，并把方向平均离散化为M份，从而得到M个方向的幅度图；
(22)在第i个方向的幅度图上，将以像素点p为中心的w×w的小邻域的所有像素点的幅度累加，作为像素点p在第i个方向幅度图上的特征，记作
Figure BDA0001786669400000031
(23)对每个方格的每个像素点p，利用下式计算方向边缘幅值模式
Figure BDA0001786669400000032
M个方向可以形成M个局部二值模式POEMw,n(p)，即
Figure BDA0001786669400000033
Figure BDA0001786669400000034
Figure BDA0001786669400000035
其中，f(x)表示阶段函数，p表示当前像素点p，cj表示像素点p周围的像素的第j个，w×w表示以像素点p为中心的邻域尺寸，n表示像素点p周围的像素总个数，θi表示第i个梯度方向，
Figure BDA0001786669400000036
表示像素点p在第i个方向幅度图上的幅度累加值，
Figure BDA0001786669400000037
表示像素点p周围的第j个像素在第i个方向幅度图上的幅度累加值；
(25)计算M个方向边缘幅值模式，提去直方图特征，串联起来得到方向边缘幅值模式直方图特征，记作FPOEM。
进一步的，所述步骤(2)中局部方向模式(LDP)直方图特征的计算具体包括如下步骤：
(25)对于每一个前景目标小方格，计算每一点的8方向边缘响应；
(26)取第第k大的边缘响应幅值作为阈值，进行二值化得到LDP编码，即
Figure BDA0001786669400000038
Figure BDA0001786669400000039
其中，bi(a)表示关于自变量a的函数，mi表示圆邻域上的第i个像素的灰度值，mk表示圆邻域上的第k个像素的灰度值；
(28)计算局部方向模式直方图特征，记作FLDP。
进一步的，所述步骤(2)还包括如下步骤：
(28)选择特征FPOEM和FLDP中的一种，来刻画前景目标小方格区域的空间特征。
进一步的，所述步骤(3)中光流方向直方图(HOOF)特征的计算具体包括如下步骤：
(31)用KL稀疏光流方法，对前景目标小方格区域进行稀疏采样，并计算采用点的稀疏光流；
(32)将小方格平分为2x2的四个区域，利用下式计算每个区域的光流方向直方图，即
Figure BDA0001786669400000041
Figure BDA0001786669400000042
其中，G(x,y)表示采样点(x,y)处的光流幅值，θ(x,y)表示该点的方向，part(i),i＝1,2,3,4表示被划分的四个区域，bin(k),k＝1,.2,..,K表示量化的K个方向区间，ε是一个小正数，避免分为为0；
(33)最后将每一个区域所提取的光流梯度直方图串联起来，构成最终的光流梯度直方图特征，记作FHOOF。
进一步的，所述步骤(3)中运动方向直方图(MOH)特征的计算具体包括如下步骤：
(34)对前景目标小方格区域，采用下式计算运动历史图像，
Figure BDA0001786669400000043
其中，ω表示时间窗口的大小，D(x,y,t)表示第t帧点(x,y)处为前景像素；
(35)计算每一点的运动方向θ(x,y)；
(36)将求得的所有运动方向θ量化为K个bins，统计落入每个bin中的梯度方向的个数，从而形成运动方向直方图特征，记作FMOH.
进一步的，所述步骤(4)具体包括如下步骤：
(41)对前景目标小方格区域，采用下式计算每一点的对应的二阶矩阵E(i,j)，即
Figure BDA0001786669400000044
其中，Ix和Iy分别表示小方格图像I在x方向和y方向的偏导；
(42)利用下式计算小方格图像每一点的响应值R(i,j)，即
R(i,j)＝det(E(i,j))-k×tr(E(i,j))
其中，k为调节系数，det()表示计算行列式的值，tr()表示计算矩阵的秩；
(43)得到响应值图像后，将其分成2x2个小区域，计算每个区域的直方图，并串联起来即得到结构张量直方图特征(STH)，记作FSHT。
进一步的，所述步骤(5)具体包括如下步骤：
(51)将不同类型的直方图特征进行融合，形成最终的特征向量；
(52)考虑到实际场景非黑烟车远高于黑烟车的特点，通过大量样本的分析，确定黑烟车和非黑烟车的类条件概率密度曲线，以加入先验知识；
(52)通过最小错误率决策方法确定小方格的属于每一类别的概率；
(53)概率最大的类别即是该方格区域的分类结果，从而确定是黑烟方格还是非黑烟方格；
(54)统计当前帧黑烟小方格的数目nsmoke_block，并对连续的nframe帧进行分析，若当前视频段满足如下两条规则，则视为含有黑烟车：
Rule1:nsmoke_block＞T1
Rule2:nframe＞T2
其中，T1和T2是两个阈值。
与现有技术相比，本发明具有如下优点和有益效果：
(1)利用像素自适应分割(PBAS)模型检测运动目标，融合了传统的SACON模型和VIBE模型的优势，兼具两者特性，性能优越，能更好的检测运动目标，并确定前景目标小方格。
(2)采用方向边缘幅值模式(POEM)直方图特征或者局部方向模式(LDP)直方图特征，来刻画空间信息，采用光流方向直方图(HOOF)特征或者运动方向直方图(MOH)特征，来刻画时序信息，采用结构张量直方图(STH)特征，来刻画结构信息，将不同类型的直方图特征进行融合得到最终用于识别的特征向量，对阴影具有鲁棒性。
(3)利用实际场景非黑烟车远高于黑烟车的特点，加入先验知识，利用贝叶斯模型对每一帧每个前景目标小方格进行分类，综合分析多帧识别黑烟车，能较好的提高检出率，降低误报率，更适合投入实际应用。
(4)相比于传统方法，本发明的技术方案节省了人力和财力，并提高了执法效率，弥补传统人工监控黑烟车效率低下的不足
附图说明
图1为本发明提供的基于像素自适应分割和贝叶斯模型的黑烟车检测方法流程示意图。
图2为本发明检测到的黑烟车的一副示例图。
具体实施方式
以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
一种基于像素自适应分割和贝叶斯模型的黑烟车检测方法，其流程图如图1所示，包括如下步骤：
(1)利用像素自适应分割(PBAS)模型检测运动目标，并把图像划分网格，标记前景目标所在的所有小方格；具体包括如下步骤：
步骤(1)中的利用像素自适应分割模型检测运动目标包括如下步骤：
(11)关于背景模型的建立，采用前N帧像素以及梯度幅值作为背景模型，
B(xi)＝{B1(xi),B2(xi),...,BN(xi)}
其中，B(xi)为背景模型，表示像素点xi的样本集合；
(12)对于一个新的像素点，计算在样本模型中满足一定条件的样本个数，即
Figure BDA0001786669400000061
其中，F(xi)＝1表示判定像素点xi为背景，Nmin表示样本个数的阈值，R(xi)表示像素xi的阈值，dist(I(xi),Bk(xi))表示像素I(xi)和Bk(xi)的像素距离，N{*}表示满足条件*的样本个数；
(13)随机选择需要被替换的样本，随机选择样本像素邻域的样本集合进行背景模型的更新，采用自适应的更新率，且用邻域的新像素值更新邻域样本集合，具体采用下式自适应调整判断阈值和更新率，
Figure BDA0001786669400000062
Figure BDA0001786669400000063
其中，Rk是阈值的变化量，Rscale用于控制背景复杂度对判断阈值的调整，F(xi)表示像素xi的判定结果，Tk1和Tk2分别表示更新率增加、减小的幅度，T∈[Tlower,Tupper]，Tlower和Tupper分别表示更新率下限和上限，dmin(xi)表示于像素xi最小的距离；
(14)把图像划分网格，标记前景目标所在的所有小方格，并去除那些方格中的前景目标所占比例较低的小方格，即
BFblock＝{bblock|K(bblock)＞Tfore,bblock∈Fblock}
其中，Fblock表示所有含有前景目标的小方格集合，bblock表示小方格集合Fblock中的一个元素，K(bblock)表示小方格中前景目标占整个方格面积的比例，Tfore表示与检测灵敏度有关的阈值，BFblock表示前景目标小方格中的前景目标面积占比例大于阈值Tfore的小方格的集合。
(2)针对每个前景目标方格，提取方向边缘幅值模式(POEM)直方图特征或者局部方向模式(LDP)直方图特征，刻画空间信息；
其中，方向边缘幅值模式(POEM)直方图特征的计算包括如下步骤：
(21)对于每一个前景目标小方格，计算每个像素点的梯度的方向和大小,得到梯度方向图和梯度幅度图，并把方向平均离散化为M份，从而得到M个方向的幅度图；
(22)在第i个方向的幅度图上，将以像素点p为中心的w×w的小邻域的所有像素点的幅度累加，作为像素点p在第i个方向幅度图上的特征，记作
Figure BDA0001786669400000071
(23)对每个方格的每个像素点p，利用下式计算方向边缘幅值模式
Figure BDA0001786669400000072
M个方向可以形成M个局部二值模式POEMw,n(p)，即
Figure BDA0001786669400000073
Figure BDA0001786669400000074
Figure BDA0001786669400000075
其中，f(x)表示阶段函数，p表示当前像素点p，cj表示像素点p周围的像素的第j个，w×w表示以像素点p为中心的邻域尺寸，n表示像素点p周围的像素总个数，θi表示第i个梯度方向，
Figure BDA0001786669400000076
表示像素点p在第i个方向幅度图上的幅度累加值，
Figure BDA0001786669400000077
表示像素点p周围的第j个像素在第i个方向幅度图上的幅度累加值；
(24)计算M个方向边缘幅值模式，提取直方图特征，串联起来得到方向边缘幅值模式直方图特征，记作FPOEM。
其中，局部方向模式(LDP)直方图特征的计算包括如下步骤：
(25)对于每一个前景目标小方格，计算每一点的8方向边缘响应；
(26)取第k大的边缘响应幅值作为阈值，进行二值化得到LDP编码，即
Figure BDA0001786669400000078
Figure BDA0001786669400000079
其中，bi(a)表示关于自变量a的函数，mi表示圆邻域上的第i个像素的灰度值，mk表示圆邻域上的第k个像素的灰度值；
(27)计算局部方向模式直方图特征，记作FLDP；
在提取方向边缘幅值模式(POEM)直方图特征或者局部方向模式(LDP)直方图特征之后，还包括：
步骤(28)选择特征FPOEM和FLDP中的一种，来刻画前景目标小方格区域的空间特征。
(3)针对每个前景目标方格，提取光流方向直方图(HOOF)特征或者运动方向直方图(MOH)特征，刻画时序信息；
其中，光流方向直方图(HOOF)特征的计算包括如下步骤：
(31)用KL稀疏光流方法，对前景目标小方格区域进行稀疏采样，并计算采用点的稀疏光流；
(32)将小方格平分为2x2的四个区域，利用下式计算每个区域的光流方向直方图，即
Figure BDA0001786669400000081
Figure BDA0001786669400000082
其中，G(x,y)表示采样点(x,y)处的光流幅值，θ(x,y)表示该点的方向，part(i),i＝1,2,3,4表示被划分的四个区域，bin(k),k＝1,.2,..,K表示量化的K个方向区间，ε是一个小正数，避免分为为0；
(33)最后将每一个区域所提取的光流梯度直方图串联起来，构成最终的光流梯度直方图特征，记作FHOOF。
运动方向直方图(MOH)特征的计算包括如下步骤：
(34)对前景目标小方格区域，采用下式计算运动历史图像，
Figure BDA0001786669400000083
其中，ω表示时间窗口的大小，D(x,y,t)表示第t帧点(x,y)处为前景像素；
(35)计算每一点的运动方向θ(x,y)；
(36)将求得的所有运动方向θ量化为K个bins，统计落入每个bin中的梯度方向的个数，从而形成运动方向直方图特征，记作FMOH。
(4)针对每个前景目标方格，提取结构张量直方图(STH)特征，刻画结构信息；其中，结构张量直方图(STH)特征的计算包括如下步骤：
(41)对前景目标小方格区域，采用下式计算每一点的对应的二阶矩阵E(i,j)，即
Figure BDA0001786669400000084
其中，Ix和Iy分别表示小方格图像I在x方向和y方向的偏导；
(42)利用下式计算小方格图像每一点的响应值R(i,j)，即
R(i,j)＝det(E(i,j))-k×tr(E(i,j))
其中，k为调节系数，det()表示计算行列式的值，tr()表示计算矩阵的秩；
(43)得到响应值图像后，将其分成2x2个小区域，计算每个区域的直方图，并串联起来即得到结构张量直方图特征(STH)，记作FSHT。
(5)将不同类型的直方图特征进行融合，利用实际场景非黑烟车远高于黑烟车的特点，加入先验知识，利用贝叶斯模型对每一帧每个前景目标小方格进行分类，综合分析多帧识别黑烟车，具体包括如下步骤：
(51)将不同类型的直方图特征进行融合，形成最终的特征向量；
(52)考虑到实际场景非黑烟车远高于黑烟车的特点，通过大量样本的分析，确定黑烟车和非黑烟车的类条件概率密度曲线，以加入先验知识；
(52)通过最小错误率决策方法确定小方格的属于每一类别的概率；
(53)概率最大的类别即是该方格区域的分类结果，从而确定是黑烟方格还是非黑烟方格；
(54)统计当前帧黑烟小方格的数目nsmoke_block，并对连续的nframe帧进行分析，若当前视频段满足如下两条规则，则视为含有黑烟车：
Rule1:nsmoke_block＞T1
Rule2:nframe＞T2
其中，T1和T2是两个阈值。
图2显示了利用本发明从车辆监控视频中检测到的一个黑烟车的示例图，分辨率为32x32像素的白色边框的小方格表示检测到的前景目标小方格，其中被黑色边框覆盖的前景目标小方格表示其被识别为黑烟方格。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (4)

1.一种基于像素自适应分割和贝叶斯模型的黑烟车检测方法，其特征在于，包括如下步骤：
(1)利用像素自适应分割PBAS模型检测运动目标，并把图像划分网格，标记前景目标所在的所有小方格；
(2)针对每个前景目标方格，提取方向边缘幅值模式POEM直方图特征或者局部方向模式LDP直方图特征，刻画空间信息；
所述方向边缘幅值模式POEM直方图特征的计算具体包括如下步骤：
(21)对于每一个前景目标小方格，计算每个像素点的梯度的方向和大小,得到梯度方向图和梯度幅度图，并把方向平均离散化为M份，从而得到M个方向的幅度图；
(22)在第i个方向的幅度图上，将以像素点p为中心的w×w的小邻域的所有像素点的幅度累加，作为像素点p在第i个方向幅度图上的特征，记作
Figure FDA0003263615370000011
(23)对每个方格的每个像素点p，利用下式计算方向边缘幅值模式
Figure FDA0003263615370000012
M个方向可以形成M个局部二值模式POEMw,n(p)，即
Figure FDA0003263615370000013
Figure FDA0003263615370000014
Figure FDA0003263615370000015
其中，f(x)表示阶段函数，p表示当前像素点p，cj表示像素点p周围的像素的第j个，w×w表示以像素点p为中心的邻域尺寸，n表示像素点p周围的像素总个数，θi表示第i个梯度方向，
Figure FDA0003263615370000016
表示像素点p在第i个方向幅度图上的幅度累加值，
Figure FDA0003263615370000017
表示像素点p周围的第j个像素在第i个方向幅度图上的幅度累加值；
(24)计算M个方向边缘幅值模式，提去直方图特征，串联起来得到方向边缘幅值模式直方图特征，记作FPOEM；
所述局部方向模式LDP直方图特征的计算具体包括如下步骤：
(25)对于每一个前景目标小方格，计算每一点的8方向边缘响应；
(26)取第k大的边缘响应幅值作为阈值，进行二值化得到LDP编码，即
Figure FDA0003263615370000018
Figure FDA0003263615370000021
其中，bi(a)表示关于自变量a的函数，mi表示圆邻域上的第i个像素的灰度值，mk表示圆邻域上的第k个像素的灰度值；
计算局部方向模式直方图特征，记作FLDP；
(3)针对每个前景目标方格，提取光流方向直方图HOOF特征或者运动方向直方图MOH特征，刻画时序信息；
所述光流方向直方图HOOF特征的计算具体包括如下步骤：
(31)用KL稀疏光流方法，对前景目标小方格区域进行稀疏采样，并计算采用点的稀疏光流；
(32)将小方格平分为2×2的四个区域，利用下式计算每个区域的光流方向直方图，即
Figure FDA0003263615370000022
Figure FDA0003263615370000023
其中，G(x,y)表示采样点(x,y)处的光流幅值，θ(x,y)表示该点的方向，part(i),i＝1,2,3,4表示被划分的四个区域，bin(k),k＝1,.2,..,K表示量化的K个方向区间，Fi,k表示第i个区域的归一化光流方向直方图中的第k个方向区间对应的数值大小，Ei,k表示第i区域落在第k个方向区间中的所有像素的光流幅值之和，Ei,j表示第i区域落在第j个方向区间中的所有像素的光流幅值之和，ε是一个小正数，避免分为0；
(33)最后将每一个区域所提取的光流梯度直方图串联起来，构成最终的光流梯度直方图特征，记作FHOOF；
所述运动方向直方图MOH特征的计算具体包括如下步骤：
(34)对前景目标小方格区域，采用下式计算运动历史图像，
Figure FDA0003263615370000024
其中，ω表示时间窗口的大小，D(x,y,t)表示第t帧点(x,y)处为前景像素；
(35)计算每一点的运动方向θ(x,y)；
(36)将求得的所有运动方向θ量化为K个bins，统计落入每个bin中的梯度方向的个数，从而形成运动方向直方图特征，记作FMOH；
(4)针对每个前景目标方格，提取结构张量直方图STH特征，刻画结构信息，具体包括如下步骤：
(41)对前景目标小方格区域，采用下式计算每一点的对应的二阶矩阵E(i,j)，即
Figure FDA0003263615370000031
其中，Ix和Iy分别表示小方格图像I在x方向和y方向的偏导；
(42)利用下式计算小方格图像每一点的响应值R(i,j)，即
R(i,j)＝det(E(i,j))-k×tr(E(i,j))
其中，k为调节系数，det()表示计算行列式的值，tr()表示计算矩阵的秩；
(43)得到响应值图像后，将其分成2×2个小区域，计算每个区域的直方图，并串联起来即得到结构张量直方图特征STH，记作FSHT；
(5)将不同类型的直方图特征进行融合，利用实际场景非黑烟车远高于黑烟车的特点，加入先验知识，利用贝叶斯模型对每一帧每个前景目标小方格进行分类，综合分析多帧识别黑烟车。
2.根据权利要求1所述的基于像素自适应分割和贝叶斯模型的黑烟车检测方法，其特征在于，所述步骤(1)具体包括如下步骤：
(11)关于背景模型的建立，采用前N帧像素以及梯度幅值作为背景模型，
B(xi)＝{B1(xi),B2(xi),...,BN(xi)}
其中，B(xi)为背景模型，表示像素点xi的样本集合；
(12)对于一个新的像素点，计算在样本模型中满足一定条件样本个数，即
Figure FDA0003263615370000032
其中，F(xi)＝1表示判定像素点xi为背景，Nmin表示样本个数的阈值，R(xi)表示像素xi的阈值，dist(I(xi),Bk(xi))表示像素I(xi)和Bk(xi)的像素距离，N{*}表示满足条件*的样本个数；
(13)随机选择需要被替换的样本，随机选择样本像素邻域的样本集合进行背景模型的更新，采用自适应的更新率，且用邻域的新像素值更新邻域样本集合，具体采用下式自适应调整判断阈值和更新率，
Figure FDA0003263615370000041
Figure FDA0003263615370000042
其中，Rk是阈值的变化量，Rscale用于控制背景复杂度对判断阈值的调整，F(xi)表示像素xi的判定结果，Tk1和Tk2分别表示更新率增加、减小的幅度，T∈[Tlower,Tupper]，Tlower和Tupper分别表示更新率下限和上限，dmin(xi)表示于像素xi最小的距离；
(14)把图像划分网格，标记前景目标所在的所有小方格，并去除那些方格中的前景目标所占比例较低的小方格，即
BFblock＝{bblock|K(bblock)＞Tfore,bblock∈Fblock}
其中，Fblock表示所有含有前景目标的小方格，bblock表示小方格集合Fblock中的一个元素，K(bblock)表示小方格中前景目标所占的比例，BFblock表示前景目标小方格中的前景目标面积占整个方格面积的比例大于阈值Tfore的小方格的集合。
3.根据权利要求1所述的基于像素自适应分割和贝叶斯模型的黑烟车检测方法，其特征在于，所述步骤(2)还包括如下步骤：
(28)选择特征FPOEM和FLDP中的一种，来刻画前景目标小方格区域的空间特征。
4.根据权利要求1所述的基于像素自适应分割和贝叶斯模型的黑烟车检测方法，其特征在于，所述步骤(5)具体包括如下步骤：
(51)将不同类型的直方图特征进行融合，形成最终的特征向量；
(52)考虑到实际场景非黑烟车远高于黑烟车的特点，通过大量样本的分析，确定黑烟车和非黑烟车的类条件概率密度曲线，以加入先验知识；
(52)通过最小错误率决策方法确定小方格的属于每一类别的概率；
(53)概率最大的类别即是该方格区域的分类结果，从而确定是黑烟方格还是非黑烟方格；
(54)统计当前帧黑烟小方格的数目nsmoke_block，并对连续的nframe帧进行分析，若当前视频段满足如下两条规则，则视为含有黑烟车：
Rule1:nsmoke_block＞T1
Rule2:nframe＞T2
其中，T1和T2是两个阈值。
CN201811018255.5A 2018-09-03 2018-09-03 一种基于像素自适应分割和贝叶斯模型的黑烟车检测方法 Active CN109271904B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811018255.5A CN109271904B (zh) 2018-09-03 2018-09-03 一种基于像素自适应分割和贝叶斯模型的黑烟车检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811018255.5A CN109271904B (zh) 2018-09-03 2018-09-03 一种基于像素自适应分割和贝叶斯模型的黑烟车检测方法

Publications (2)

Publication Number Publication Date
CN109271904A CN109271904A (zh) 2019-01-25
CN109271904B true CN109271904B (zh) 2022-02-15

Family

ID=65187724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811018255.5A Active CN109271904B (zh) 2018-09-03 2018-09-03 一种基于像素自适应分割和贝叶斯模型的黑烟车检测方法

Country Status (1)

Country Link
CN (1) CN109271904B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399803B (zh) * 2019-07-01 2022-04-22 北京邮电大学 一种车辆检测方法及装置
CN110503659B (zh) * 2019-07-09 2021-09-28 浙江浩腾电子科技股份有限公司 一种面向视频序列的运动目标提取方法
CN111178291B (zh) * 2019-12-31 2021-01-12 北京筑梦园科技有限公司 一种停车支付系统以及停车支付方法
CN113052885B (zh) * 2021-03-29 2023-02-03 中国海洋大学 一种基于光流和深度估计的水下环境安全性评估方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101303694A (zh) * 2008-04-30 2008-11-12 浙江大学 融合不同模态信息实现媒体间交叉检索的方法
CN104504394A (zh) * 2014-12-10 2015-04-08 哈尔滨工业大学深圳研究生院 一种基于多特征融合的密集人数估计方法和系统
CN106960202A (zh) * 2017-04-11 2017-07-18 广西师范大学 一种基于可见光与红外图像融合的笑脸识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101303694A (zh) * 2008-04-30 2008-11-12 浙江大学 融合不同模态信息实现媒体间交叉检索的方法
CN104504394A (zh) * 2014-12-10 2015-04-08 哈尔滨工业大学深圳研究生院 一种基于多特征融合的密集人数估计方法和系统
CN106960202A (zh) * 2017-04-11 2017-07-18 广西师范大学 一种基于可见光与红外图像融合的笑脸识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
支持向量机的分类方法;蒋先刚;《基于稀疏表达的火焰与烟雾探测方法研究》;西南交通大学出版社;20170831;第157页 *

Also Published As

Publication number Publication date
CN109271904A (zh) 2019-01-25

Similar Documents

Publication Publication Date Title
CN109271904B (zh) 一种基于像素自适应分割和贝叶斯模型的黑烟车检测方法
CN108171136B (zh) 一种多任务卡口车辆以图搜图的系统及方法
CN108052859B (zh) 一种基于聚类光流特征的异常行为检测方法、系统及装置
Rachmadi et al. Vehicle color recognition using convolutional neural network
CN107273832B (zh) 基于积分通道特征与卷积神经网络的车牌识别方法及系统
CN110866430B (zh) 一种车牌识别方法及装置
CN109255326B (zh) 一种基于多维信息特征融合的交通场景烟雾智能检测方法
CN109472226B (zh) 一种基于深度学习的睡觉行为检测方法
CN111080691A (zh) 一种光伏组件红外热斑检测方法、装置
CN111027475A (zh) 一种基于视觉的实时交通信号灯识别方法
CN109190455B (zh) 基于高斯混合和自回归滑动平均模型的黑烟车识别方法
CN112818905B (zh) 一种基于注意力和时空信息的有限像素车辆目标检测方法
CN105046218A (zh) 一种基于串并行处理的多特征交通视频烟雾检测方法
CN106570490A (zh) 一种基于快速聚类的行人实时跟踪方法
CN111915583A (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
CN112001299B (zh) 一种隧道车指器和照明灯故障识别方法
CN112464731A (zh) 一种基于图像处理的交通标志检测识别方法
CN107862341A (zh) 一种车辆检测方法
CN115841633A (zh) 一种电力塔和电力线关联矫正的电力塔和电力线检测方法
CN109325426B (zh) 一种基于三正交平面时空特征的黑烟车检测方法
CN113657305B (zh) 一种基于视频的黑烟车辆及林格曼黑度等级智能检测方法
CN114359196A (zh) 雾气检测方法及系统
CN113536946A (zh) 一种基于摄像头关系的自监督行人重识别方法
CN110765900B (zh) 一种基于dssd的自动检测违章建筑方法及系统
CN110866435B (zh) 一种自相似性梯度朝向直方图的远红外行人训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant