CN109325426B - 一种基于三正交平面时空特征的黑烟车检测方法 - Google Patents

一种基于三正交平面时空特征的黑烟车检测方法 Download PDF

Info

Publication number
CN109325426B
CN109325426B CN201811018281.8A CN201811018281A CN109325426B CN 109325426 B CN109325426 B CN 109325426B CN 201811018281 A CN201811018281 A CN 201811018281A CN 109325426 B CN109325426 B CN 109325426B
Authority
CN
China
Prior art keywords
space
color
time
black smoke
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811018281.8A
Other languages
English (en)
Other versions
CN109325426A (zh
Inventor
路小波
陶焕杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201811018281.8A priority Critical patent/CN109325426B/zh
Publication of CN109325426A publication Critical patent/CN109325426A/zh
Application granted granted Critical
Publication of CN109325426B publication Critical patent/CN109325426B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/45—Analysis of texture based on statistical description of texture using co-occurrence matrix computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于三正交平面时空特征的黑烟车检测方法，包括：利用样本一致性背景模型SACON从道路监控视频中提取前景目标，并将图像划分成网格，记录前景目标所在的小方格；从每个前景目标小方格中分别提取时空纹理信息、时空颜色信息和时空形状信息；将时空纹理特征，时空颜色特征和时空形状特征分别输入三个训练好的反向传播神经网络BPNN分类器，通过对分类结果加权融合得到小方格的最终分类结果，结合每帧连通黑烟小方格的个数和连续多帧小方格的分布特点，对当前视频段是否有黑烟车做出判断。本发明能够基于视频分析对当前视频段是否有黑烟车做出判断，进一步提高识别率，降低阴影引起的误报。

Description

一种基于三正交平面时空特征的黑烟车检测方法
技术领域
本发明属于智能监控和烟火检测技术领域，涉及一种黑烟车检测方法，更为具体的说，是涉及一种基于三正交平面时空特征的黑烟车检测方法。
背景技术
黑烟车是一种车辆尾气为浓浓黑烟的高污染车辆。黑烟车排放的黑烟尾气不仅污染空气，还损害人体健康。很多城市禁止黑烟车进入市区。为了减少机动车污染，提高空气质量，需要从道路上及时发现这列黑烟车，并有交警部门做进一步处理，报废车辆或者限期整改。
目前，真正投入实用的道路黑烟车检测发放依旧采用工作人员拦车路检的方式，即工作人员在道路上通过观察来判断和检测黑烟车，这类方法效率低下，妨碍交通，且不利于执法证据的保存，耗费大量财力人力。国外也有通过安装车载尾气分析装置的方式检测黑烟车，但是由于中国市人口大国，从机动车数量巨大，给每一辆车都安装尾气分析装置，实施起来比较困难，且装置的价格和后续的维护保养需要耗费大量财力，因此，不适用于中国的国情。
随着人工智能技术的不断发展和交通道路监控的不断完善，使得借助计算机视觉技术来分析监控视频自动检测黑烟车成为可能。但目前的基于监控视频的黑烟车自动检测方法通常存在识别率低，误报率高的问题。
发明内容
为解决上述问题，本发明公开了一种基于三正交平面时空特征的黑烟车检测方法，能够基于视频分析对当前视频段是否有黑烟车做出判断，进一步提高识别率，降低阴影引起的误报。
为了达到上述目的，本发明提供如下技术方案：
一种基于三正交平面时空特征的黑烟车检测方法，包括如下步骤：
(1)利用样本一致性背景模型SACON从道路监控视频中提取前景目标，并将图像划分成网格，记录前景目标所在的小方格；
(2)从每个前景目标小方格中提取三正交平面局部二值模式方差LBPV-TOP直方图特征，刻画方格区域的时空纹理信息；
(3)从每个前景目标小方格中提取基于三正交平面颜色共生矩阵CCM-TOP的特征，刻画方格区域的时空颜色信息；
(4)从每个前景目标小方格中提取三正交平面形状上下文SC-TOP直方图特征，刻画方格区域的时空形状信息；
(5)将时空纹理特征，时空颜色特征和时空形状特征分别输入三个训练好的反向传播神经网络BPNN分类器，通过对分类结果加权融合得到小方格的最终分类结果，结合每帧连通黑烟小方格的个数和连续多帧小方格的分布特点，对当前视频段是否有黑烟车做出判断。
进一步的，所述步骤(1)具体包括如下步骤：
(11)将视频图像转化为灰度图像；
(12)背景模型初始化，直接取视频序列的前N帧来建立背景模型，记作C；
(13)运动目标检测，采用邻域帧间差分法提取候选运动像素，并与对应的背景模型作比较，利用下式判断新像素是否为背景像素，
Figure GDA0003173804290000021
Figure GDA0003173804290000022
Tn＝aNTr
其中，Bt(m)表示第t帧中像素m的判别结果，Tr和Tn为两个阈值，a表示比例因子,N表示背景模型的样本集合的数目，
Figure GDA0003173804290000023
表示第i个样本集合的像素m，
Figure GDA0003173804290000024
表示第t帧像素m；
(14)背景模型更新，采用像素层次和块层次的TOM方法进行处理，将背景的移出和运动目标的停止而引起的变化很快地融入背景中；
(15)根据前景目标的大小去除面积低于阈值的前景目标；
(16)将整帧图像划分为多个正方形的小方格，将那些方格内的前景目标面积大于既定阈值的小方格标记出来，以便做进一步的分析。
进一步的，所述步骤(2)包括如下步骤：
(21)对每一帧灰度图像的每个前景目标小方格，沿时间轴提取前面Nbefore帧和后面Nafter帧，组成小方格动态图像序列，并设定三个时空轴T、X和Y；
(22)在XY、XT和YT三个正交平面上，分别利用下式计算像素点(i,j)的LBPV编码值，
Figure GDA0003173804290000025
Figure GDA0003173804290000026
其中，k表示LBPV的微模式，LBPVP,R(k)表示在微模式k下的LBPV值，LBPP,R(i,j)表示在位置(i,j)处的传统的LBP值，R和P分别表示LBP编码的半径和圆周上的邻域像素个数，，gp(i,j)和gq(i,j)分别表示中心位置为(i,j)的圆邻域的第p和第q个像素的灰度值；
(23)分别计算XY、XT和YT三个正交平面对应的三个LBPV编码图的直方图特征，并按照XY、XT、YT的顺序串联起来，并归一化后，便得到LBPV-TOP直方图特征，记作FLBPV-TOP。
进一步的，所述步骤(3)包括如下步骤：
(31)对每一帧彩色图像的每个前景目标小方格，沿时间轴提取前面Nbefore2帧和后面Nafter2帧，组成小方格动态图像序列，并设定三个时空轴T、X和Y；
(32)对于前景目标小方格的每一个像素，找出对应的XY、XT和YT三个正交平面，对应三幅图像，分别利用下式计算每一幅图像对应的颜色共生矩阵(CCM)；
以XY平面所在图像的颜色共生矩阵CCM为例，假设在三个颜色分量为C1,C2和C3的颜色空间下，取其中的两个颜色分量m和n，颜色共生矩阵CCM在位置(i,j)处的数值CCMm,n(i,j)用下式计算：
Figure GDA0003173804290000031
Figure GDA0003173804290000032
其中，Δx和Δy分别表示两个像素在空间上的水平和竖直方向上的像素距离，m(x+Δx,y+Δy)表示在颜色分量m中(x+Δx,y+Δy)位置的像素值，根据颜色空间模型中颜色分量的相互组合,每幅彩色图像在指定的颜色空间中均能够由6个颜色共生矩阵来进行表征；
(33)对于每一幅颜色图像的六个共生矩阵，提取Haralick特征值，包括二阶矩ASM，熵ENT，对比度CON，相关性COR，逆差距IDM，分别用下式计算，
Figure GDA0003173804290000033
Figure GDA0003173804290000034
Figure GDA0003173804290000035
Figure GDA0003173804290000036
Figure GDA0003173804290000037
Figure GDA0003173804290000041
Figure GDA0003173804290000042
Figure GDA0003173804290000043
Figure GDA0003173804290000044
其中，L×L表示归一化灰度共生矩阵
Figure GDA0003173804290000045
的大小，
Figure GDA0003173804290000046
表示距离为d角度为θ的归一化灰度共生矩阵
Figure GDA0003173804290000047
在位置(i,j)处的数值，ASM(d,θ)表示角度为θ距离为d的二阶矩特征，ENT(d,θ)表示角度为θ距离为d的熵特征，CON(d,θ)表示角度为θ距离为d的对比度特征，COR(d,θ)表示角度为θ距离为d的相关性特征，IDM(d,θ)表示角度为θ距离为d的逆差矩特征；
(34)对当前前景目标小方格的每一个像素，确定其三个正交平面所在的彩色图像，对每个图像分别计算其六个颜色共生矩阵，计算六个颜色共生矩阵的五个Haralick特征值，将所有计算得到的同一Haralick特征值取方差和均值，并串联起来，作为当前像素的特征向量，大小为2x5，记作Hμσ；
(35)对当前前景目标小方格的每一个像素计算对应的Hμσ，得到10幅均值方差图，提取每一幅图的直方图特征，串联起来，得到最终的基于三正交平面颜色共生矩阵(CCM-TOP)的特征，记作FCCM-TOP。
进一步的，所述步骤(4)具体包括如下步骤：
(41)对每一帧的每个前景目标小方格，沿时间轴提取前面Nbefore3帧和后面Nafter3帧，组成小方格动态图像序列，并设定三个时空轴T、X和Y；
(42)对三个正交平面的三幅图像，分别进行轮廓提取，对轮廓进行采样；
(43)对每个采样点建立极坐标系，在距离和方向上进行区块划分，形成若干个容器，并统计落入每个容器的采样点个数，从而得出形状上下文直方图特征；
(44)对当前前景目标小方格的每一个像素，确定其三个正交平面所在的灰度图像，对每个图像分别计算形状上下文直方图特征，并串联起来，并计算均值和方差，作为当前像素的特征向量，记作Sμσ；
(45)对当前前景目标小方格的每一个像素计算对应的Sμσ，从而得到均值图和方差图，提取每一幅图的直方图特征，串联起来，得到最终的三正交平面形状上下文SC-TOP直方图特征，记作FSC-TOP。
进一步的，所述步骤(42)采用Sobel算子提取轮廓。
进一步的，所述步骤(5)包括如下步骤：
(51)将时空纹理特征FLBPV-TOP，时空颜色特征FCCM-TOP和时空形状特征FSC-TOP分别输入三个训练好的反向传播神经网络BPNN分类器，通过对分类结果加权融合得到小方格的最终分类结果，即
Figure GDA0003173804290000051
其中，pi表示第i个分类器的输出结果，wi表示第i个分类器的权重，Dblock等于1表示当前小方格为有烟方格；
(52)统计每帧的连通黑烟小方格的个数，个数大于某个阈值则认定当前帧为黑烟帧；
(53)连续对含有100帧的视频段进行分析，如果黑烟帧的总个数超过某个既定的阈值，则认定当前视频段存在黑烟车。
与现有技术相比，本发明具有如下优点和有益效果：
(1)引入样本一致性背景模型(SACON)从道路监控视频中提取前景目标，算法计算简单但性能很好，具有很强的应用前景。结合划分网格的策略，来确定前景目标方格，这样不仅可以降低误报率，而且可以通过统计小方格个数估计黑烟的面积，评估黑烟车的污染程度。
(2)提出了三种新的时空特征描述子，包括三正交平面局部二值模式方差(LBPV-TOP)直方图特征，基于三正交平面颜色共生矩阵(CCM-TOP)的特征，三正交平面形状上下文(SC-TOP)直方图特征；融合了三种时空特征描述子，分别刻画了小方格区域的时空纹理信息，时空颜色信息和时空形状信息，能够全面表征小方格区域的特征，从而进一步降低误报率，提高识别率。
(3)不同特征应赋予不同的权重，本发明赋予时空纹理特征，时空颜色特征和时空形状特征不同的权重，通过加权融合的方式对小方格区域做出分类，并且结合每帧连通黑烟小方格的个数和连续多帧小方格的分布特点，对当前视频段是否有黑烟车做出判断，该策略更降低了误报率，提高了检出率。
附图说明
图1为本发明提供的基于三正交平面时空特征的黑烟车检测方法流程示意图。
图2为通过本发明方法检测到的黑烟车的一副示例图。
具体实施方式
以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
一种基于三正交平面时空特征的黑烟车检测方法，其流程图如图1所示，具体包括如下步骤：
步骤1：利用样本一致性背景模型(SACON)从道路监控视频中提取前景目标，并将图像划分成网格，记录前景目标所在的小方格；具体包括如下步骤：
步骤1.1：将视频图像转化为灰度图像；
步骤1.2：背景模型初始化，直接取视频序列的前N帧来建立背景模型，记作C；
步骤1.3：运动目标检测，采用邻域帧间差分法提取候选运动像素，并与对应的背景模型作比较，利用下式判断新像素是否为背景像素，
Figure GDA0003173804290000061
Figure GDA0003173804290000062
Tn＝aNTr
其中，Bt(m)表示第t帧中像素m的判别结果，Tr和Tn为两个阈值，a表示比例因子,N表示背景模型的样本集合的数目，
Figure GDA0003173804290000063
表示第i个样本集合的像素m，
Figure GDA0003173804290000064
表示第t帧像素m；
步骤1.4：背景模型更新，采用像素层次和块层次的TOM方法进行处理，将背景的移出和运动目标的停止而引起的变化很快地融入背景中；
步骤1.5：根据前景目标的大小去除面积低于某个阈值的前景目标；
步骤1.6：将整帧图像划分为多个正方形的小方格，将那些方格内的前景目标面积大于既定阈值的小方格标记出来，以便做进一步的分析。
步骤2：从每个前景目标小方格中提取三正交平面局部二值模式方差(LBPV-TOP)直方图特征，刻画方格区域的时空纹理信息；
其中，三正交平面局部二值模式方差(LBPV-TOP)直方图特征的计算包括如下步骤：
步骤2.1：对每一帧灰度图像的每个前景目标小方格，沿时间轴提取前面Nbefore帧和后面Nafter帧，组成小方格动态图像序列，并设定三个时空轴T、X和Y；
步骤2.2：在XY、XT和YT三个正交平面上，分别利用下式计算像素点(i,j)的LBPV编码值，
Figure GDA0003173804290000071
Figure GDA0003173804290000072
其中，k表示LBPV的微模式，LBPVP,R(k)表示在微模式k下的LBPV值，LBPP,R(i,j)表示在位置(i,j)处的传统的LBP值，R和P分别表示LBP编码的半径和圆周上的邻域像素个数，gp(i,j)和gq(i,j)分别表示中心位置为(i,j)的圆邻域的第p和第q个像素的灰度值；
步骤2.3：分别计算XY、XT和YT三个正交平面对应的三个LBPV编码图的直方图特征，并按照XY、XT、YT的顺序串联起来，并归一化后，便得到LBPV-TOP直方图特征，记作FLBPV-TOP。
步骤3：从每个前景目标小方格中提取基于三正交平面颜色共生矩阵(CCM-TOP)的特征，刻画方格区域的时空颜色信息；
其中，基于三正交平面颜色共生矩阵(CCM-TOP)的特征的计算包括如下步骤：
步骤3.1：对每一帧彩色图像的每个前景目标小方格，沿时间轴提取前面Nbefore2帧和后面Nafter2帧，组成小方格动态图像序列，并设定三个时空轴T、X和Y；
步骤3.2：对于前景目标小方格的每一个像素，找出对应的XY、XT和YT三个正交平面，对应三幅图像，分别利用下式计算每一幅图像对应的颜色共生矩阵(CCM)；
以XY平面所在图像的颜色共生矩阵(CCM)为例，假设在三个颜色分量为C1,C2和C3的颜色空间下，取其中的两个颜色分量m和n，颜色共生矩阵CCM在位置(i,j)处的数值CCMm,n(i,j)可用下式计算，
Figure GDA0003173804290000073
Figure GDA0003173804290000074
其中，Δx和Δy分别表示两个像素在空间上的水平和竖直方向上的像素距离，m(x+Δx,y+Δy)表示在颜色分量m中(x+Δx,y+Δy)位置的像素值，根据颜色空间模型中颜色分量的相互组合,每幅彩色图像在指定的颜色空间中均可由6个颜色共生矩阵来进行表征；
步骤3.3：对于每一幅颜色图像的六个共生矩阵，提取Haralick特征值，包括二阶矩(ASM)，熵(ENT)，对比度(CON)，相关性(COR)，逆差距(IDM)，分别用下式计算，
Figure GDA0003173804290000081
Figure GDA0003173804290000082
Figure GDA0003173804290000083
Figure GDA0003173804290000084
Figure GDA0003173804290000085
Figure GDA0003173804290000086
Figure GDA0003173804290000087
Figure GDA0003173804290000088
Figure GDA0003173804290000089
其中，L×L表示归一化灰度共生矩阵
Figure GDA00031738042900000810
的大小，
Figure GDA00031738042900000811
表示距离为d角度为θ的归一化灰度共生矩阵
Figure GDA00031738042900000812
在位置(i,j)处的数值，ASM(d,θ)表示角度为θ距离为d的二阶矩特征，ENT(d,θ)表示角度为θ距离为d的熵特征，CON(d,θ)表示角度为θ距离为d的对比度特征，COR(d,θ)表示角度为θ距离为d的相关性特征，IDM(d,θ)表示角度为θ距离为d的逆差矩特征；
步骤3.4：对当前前景目标小方格的每一个像素，确定其三个正交平面所在的彩色图像，对每个图像分别计算其六个颜色共生矩阵，计算六个颜色共生矩阵的五个Haralick特征值，将所有计算得到的同一Haralick特征值取方差和均值，并串联起来，作为当前像素的特征向量，大小为2x5，记作Hμσ；
步骤3.5：对当前前景目标小方格的每一个像素计算对应的Hμσ，得到10幅均值方差图，提取每一幅图的直方图特征，串联起来，得到最终的基于三正交平面颜色共生矩阵(CCM-TOP)的特征，记作FCCM-TOP。
步骤4：从每个前景目标小方格中提取三正交平面形状上下文(SC-TOP)直方图特征，刻画方格区域的时空形状信息；
其中，三正交平面形状上下文(SC-TOP)直方图特征的计算包括如下步骤，
步骤4.1：对每一帧的每个前景目标小方格，沿时间轴提取前面Nbefore3帧和后面Nafter3帧，组成小方格动态图像序列，并设定三个时空轴T、X和Y；
步骤4.2：对三个正交平面的三幅图像，分别进行轮廓提取，对轮廓进行采样，这里的轮廓可以采用Sobel算子提取；
步骤4.3：假设当前图像存在N个采样点,很显然其中任意一个点都可以与其余的点建立向量关系，包括距离和方向，因此，对每个采样点建立极坐标系，在距离和方向上进行区块划分，形成若干个容器，并统计落入每个容器的采样点个数，从而得出形状上下文直方图特征；
步骤4.4：对当前前景目标小方格的每一个像素，确定其三个正交平面所在的灰度图像，对每个图像分别计算形状上下文直方图特征，并串联起来，并计算均值和方差，作为当前像素的特征向量，记作Sμσ；
步骤4.5：对当前前景目标小方格的每一个像素计算对应的Sμσ，从而得到均值图和方差图，提取每一幅图的直方图特征，串联起来，得到最终的三正交平面形状上下文(SC-TOP)直方图特征，记作FSC-TOP。
步骤5：将时空纹理特征，时空颜色特征和时空形状特征分别输入三个训练好的反向传播神经网络(BPNN)分类器，通过对分类结果加权融合得到小方格的最终分类结果，结合每帧连通黑烟小方格的个数和连续多帧小方格的分布特点，对当前视频段是否有黑烟车做出判断。
前述对当前视频段是否有黑烟车做出判断的过程包括如下步骤，
步骤5.1：将时空纹理特征FLBPV-TOP，时空颜色特征FCCM-TOP和时空形状特征FSC-TOP分别输入三个训练好的反向传播神经网络(BPNN)分类器，通过对分类结果加权融合得到小方格的最终分类结果，即
Figure GDA0003173804290000091
其中，pi表示第i个分类器的输出结果，wi表示第i个分类器的权重，Dblock等于1表示当前小方格为有烟方格；
步骤5.2：统计每帧的连通黑烟小方格的个数，个数大于某个阈值则认定当前帧为黑烟帧；
步骤5.3：连续对含有100帧的视频段进行分析，如果黑烟帧的总个数超过某个既定的阈值，则认定当前视频段存在黑烟车。
图2显示了利用本发明从车辆监控视频中检测到的一个黑烟车的示例图，分辨率为32x32像素的白色边框的小方格表示检测到的前景目标小方格，其中被黑色边框覆盖的前景目标小方格表示其被识别为黑烟区域。可见，通过本发明方法，能够精确地识别出黑烟车监控视频中的黑烟区域。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (7)

1.一种基于三正交平面时空特征的黑烟车检测方法，其特征在于，包括如下步骤：
(1)利用样本一致性背景模型SACON从道路监控视频中提取前景目标，并将图像划分成网格，记录前景目标所在的小方格；
(2)从每个前景目标小方格中提取三正交平面局部二值模式方差LBPV-TOP直方图特征，刻画方格区域的时空纹理信息；
(3)从每个前景目标小方格中提取基于三正交平面颜色共生矩阵CCM-TOP的特征，刻画方格区域的时空颜色信息；
(4)从每个前景目标小方格中提取三正交平面形状上下文SC-TOP直方图特征，刻画方格区域的时空形状信息；
(5)将时空纹理信息，时空颜色信息和时空形状信息分别输入三个训练好的反向传播神经网络BPNN分类器，通过对分类结果加权融合得到小方格的最终分类结果，结合每帧连通黑烟小方格的个数和连续多帧小方格的分布特点，对当前视频段是否有黑烟车做出判断。
2.根据权利要求1所述的基于三正交平面时空特征的黑烟车检测方法，其特征在于，所述步骤(1)具体包括如下步骤：
(11)将视频图像转化为灰度图像；
(12)背景模型初始化，直接取视频序列的前N帧来建立背景模型，记作C；
(13)运动目标检测，采用邻域帧间差分法提取候选运动像素，并与对应的背景模型作比较，利用下式判断新像素是否为背景像素，
Figure FDA0003173804280000011
Figure FDA0003173804280000012
Tn＝aNTr
其中，Bt(m)表示第t帧中像素m的判别结果，Tr和Tn为两个阈值，a表示比例因子,N表示背景模型的样本集合的数目，
Figure FDA0003173804280000013
表示第i个样本集合的像素m，
Figure FDA0003173804280000014
表示第t帧像素m；
(14)背景模型更新，采用像素层次和块层次的TOM方法进行处理，将背景的移出和运动目标的停止而引起的变化很快地融入背景中；
(15)根据前景目标的大小去除面积低于阈值的前景目标；
(16)将整帧图像划分为多个正方形的小方格，将那些方格内的前景目标面积大于既定阈值的小方格标记出来，以便做进一步的分析。
3.根据权利要求1所述的基于三正交平面时空特征的黑烟车检测方法，其特征在于，所述步骤(2)包括如下步骤：
(21)对每一帧灰度图像的每个前景目标小方格，沿时间轴提取前面Nbefore帧和后面Nafter帧，组成小方格动态图像序列，并设定三个时空轴T、X和Y；
(22)在XY、XT和YT三个正交平面上，分别利用下式计算像素点(i,j)的LBPV编码值，
Figure FDA0003173804280000021
Figure FDA0003173804280000022
其中，k表示LBPV的微模式，LBPVP,R(k)表示在微模式k下的LBPV值，LBPP,R(i,j)表示在位置(i,j)处的传统的LBP值，R和P分别表示LBP编码的半径和圆周上的邻域像素个数，gp(i,j)和gq(i,j)分别表示中心位置为(i,j)的圆邻域的第p和第q个像素的灰度值；
(23)分别计算XY、XT和YT三个正交平面对应的三个LBPV编码图的直方图特征，并按照XY、XT、YT的顺序串联起来，并归一化后，便得到LBPV-TOP直方图特征，记作FLBPV-TOP。
4.根据权利要求1所述的基于三正交平面时空特征的黑烟车检测方法，其特征在于，所述步骤(3)包括如下步骤：
(31)对每一帧彩色图像的每个前景目标小方格，沿时间轴提取前面Nbefore2帧和后面Nafter2帧，组成小方格动态图像序列，并设定三个时空轴T、X和Y；
(32)对于前景目标小方格的每一个像素，找出对应的XY、XT和YT三个正交平面，对应三幅图像，分别利用下式计算每一幅图像对应的颜色共生矩阵CCM；
以XY平面所在图像的颜色共生矩阵CCM为例，假设在三个颜色分量为C1,C2和C3的颜色空间下，取其中的两个颜色分量m和n，颜色共生矩阵CCM在位置(i,j)处的数值CCMm,n(i,j)用下式计算：
Figure FDA0003173804280000023
Figure FDA0003173804280000024
其中，Δx和Δy分别表示两个像素在空间上的水平和竖直方向上的像素距离，m(x+Δx,y+Δy)表示在颜色分量m中(x+Δx,y+Δy)位置的像素值，根据颜色空间模型中颜色分量的相互组合,每幅彩色图像在指定的颜色空间中均能够由6个颜色共生矩阵来进行表征；
(33)对于每一幅颜色图像的六个共生矩阵，提取Haralick特征值，包括二阶矩ASM，熵ENT，对比度CON，相关性COR，逆差距IDM，分别用下式计算，
Figure FDA0003173804280000031
Figure FDA0003173804280000032
Figure FDA0003173804280000033
Figure FDA0003173804280000034
Figure FDA0003173804280000035
Figure FDA0003173804280000036
Figure FDA0003173804280000037
Figure FDA0003173804280000038
Figure FDA0003173804280000039
其中，L×L表示归一化灰度共生矩阵
Figure FDA00031738042800000310
的大小，
Figure FDA00031738042800000311
表示距离为d角度为θ的归一化灰度共生矩阵
Figure FDA00031738042800000312
在位置(i,j)处的数值，ASM(d,θ)表示角度为θ距离为d的二阶矩特征，ENT(d,θ)表示角度为θ距离为d的熵特征，CON(d,θ)表示角度为θ距离为d的对比度特征，COR(d,θ)表示角度为θ距离为d的相关性特征，IDM(d,θ)表示角度为θ距离为d的逆差矩特征；
(34)对当前前景目标小方格的每一个像素，确定其三个正交平面所在的彩色图像，对每个图像分别计算其六个颜色共生矩阵，计算六个颜色共生矩阵的五个Haralick特征值，将所有计算得到的同一Haralick特征值取方差和均值，并串联起来，作为当前像素的特征向量，大小为2x5，记作Hμσ；
(35)对当前前景目标小方格的每一个像素计算对应的Hμσ，得到10幅均值方差图，提取每一幅图的直方图特征，串联起来，得到最终的基于三正交平面颜色共生矩阵CCM-TOP的特征，记作FCCM-TOP。
5.根据权利要求1所述的基于三正交平面时空特征的黑烟车检测方法，其特征在于，所述步骤(4)具体包括如下步骤：
(41)对每一帧的每个前景目标小方格，沿时间轴提取前面Nbefore3帧和后面Nafter3帧，组成小方格动态图像序列，并设定三个时空轴T、X和Y；
(42)对三个正交平面的三幅图像，分别进行轮廓提取，对轮廓进行采样；
(43)对每个采样点建立极坐标系，在距离和方向上进行区块划分，形成若干个容器，并统计落入每个容器的采样点个数，从而得出形状上下文直方图特征；
(44)对当前前景目标小方格的每一个像素，确定其三个正交平面所在的灰度图像，对每个图像分别计算形状上下文直方图特征，并串联起来，并计算均值和方差，作为当前像素的特征向量，记作Sμσ；
(45)对当前前景目标小方格的每一个像素计算对应的Sμσ，从而得到均值图和方差图，提取每一幅图的直方图特征，串联起来，得到最终的三正交平面形状上下文SC-TOP直方图特征，记作FSC-TOP。
6.根据权利要求5所述的基于三正交平面时空特征的黑烟车检测方法，其特征在于，所述步骤(42)采用Sobel算子提取轮廓。
7.根据权利要求1所述的基于三正交平面时空特征的黑烟车检测方法，其特征在于，所述步骤(5)包括如下步骤：
(51)将三正交平面局部二值模式方差LBPV-TOP直方图特征FLBPV-TOP，基于三正交平面颜色共生矩阵CCM-TOP的特征FCCM-TOP和三正交平面形状上下文SC-TOP直方图特征FSC-TOP分别输入三个训练好的反向传播神经网络BPNN分类器，通过对分类结果加权融合得到小方格的最终分类结果，即
Figure FDA0003173804280000051
其中，pi表示第i个分类器的输出结果，wi表示第i个分类器的权重，Dblock等于1表示当前小方格为有烟方格；
(52)统计每帧的连通黑烟小方格的个数，个数大于某个阈值则认定当前帧为黑烟帧；
(53)连续对含有100帧的视频段进行分析，如果黑烟帧的总个数超过某个既定的阈值，则认定当前视频段存在黑烟车。
CN201811018281.8A 2018-09-03 2018-09-03 一种基于三正交平面时空特征的黑烟车检测方法 Active CN109325426B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811018281.8A CN109325426B (zh) 2018-09-03 2018-09-03 一种基于三正交平面时空特征的黑烟车检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811018281.8A CN109325426B (zh) 2018-09-03 2018-09-03 一种基于三正交平面时空特征的黑烟车检测方法

Publications (2)

Publication Number Publication Date
CN109325426A CN109325426A (zh) 2019-02-12
CN109325426B true CN109325426B (zh) 2021-11-02

Family

ID=65263787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811018281.8A Active CN109325426B (zh) 2018-09-03 2018-09-03 一种基于三正交平面时空特征的黑烟车检测方法

Country Status (1)

Country Link
CN (1) CN109325426B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706294A (zh) * 2019-09-10 2020-01-17 武汉纺织大学 一种色纺织物颜色差异度检测方法
CN111797702A (zh) * 2020-06-11 2020-10-20 南京信息工程大学 基于空间局部二值模式与光流梯度的人脸伪造视频检测方法
CN114972740A (zh) * 2022-07-29 2022-08-30 上海鹰觉科技有限公司 自动化舰船样本采集方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127776A (zh) * 2016-06-28 2016-11-16 北京工业大学 基于多特征时空上下文机器人目标识别与运动决策方法
CN106934752A (zh) * 2017-03-07 2017-07-07 高剑 一种基于公交车的信息化管理系统
CN106951821A (zh) * 2016-12-27 2017-07-14 湘潭大学 一种基于图像处理技术的黑烟车智能监控识别方法
US10261976B2 (en) * 2015-12-18 2019-04-16 Samsung Electronics Co., Ltd. Method and apparatus for modeling smoke turbulence based on patch

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10261976B2 (en) * 2015-12-18 2019-04-16 Samsung Electronics Co., Ltd. Method and apparatus for modeling smoke turbulence based on patch
CN106127776A (zh) * 2016-06-28 2016-11-16 北京工业大学 基于多特征时空上下文机器人目标识别与运动决策方法
CN106951821A (zh) * 2016-12-27 2017-07-14 湘潭大学 一种基于图像处理技术的黑烟车智能监控识别方法
CN106934752A (zh) * 2017-03-07 2017-07-07 高剑 一种基于公交车的信息化管理系统

Also Published As

Publication number Publication date
CN109325426A (zh) 2019-02-12

Similar Documents

Publication Publication Date Title
CN109190444B (zh) 一种基于视频的收费车道车辆特征识别系统的实现方法
CN109918971B (zh) 监控视频中人数检测方法及装置
CN111695514B (zh) 一种基于深度学习的雾天下车辆检测方法
CN109035298B (zh) 一种基于黑烟运动特性的黑烟检测与dg计算方法
CN101783076A (zh) 一种视频监控模式下的快速车型识别方法
CN109325426B (zh) 一种基于三正交平面时空特征的黑烟车检测方法
CN111814686A (zh) 一种基于视觉的输电线路识别及异物入侵在线检测方法
CN103824070A (zh) 一种基于计算机视觉的快速行人检测方法
CN109190455B (zh) 基于高斯混合和自回归滑动平均模型的黑烟车识别方法
CN103605953A (zh) 基于滑窗搜索的车辆兴趣目标检测方法
CN104715244A (zh) 一种基于肤色分割和机器学习的多视角人脸检测方法
CN111553214B (zh) 一种驾驶员吸烟行为检测方法及系统
CN112037365A (zh) 面向行车记录仪基于边缘计算的车辆火灾事故检测报警系统
CN105868734A (zh) 基于bow图像表征模型的输电线路大型施工车辆识别方法
CN111753651A (zh) 一种基于车站二维人群密度分析的地铁群体异常行为检测方法
CN106339657A (zh) 基于监控视频的秸秆焚烧监测方法、装置
CN113034378B (zh) 一种区分电动汽车与燃油汽车的方法
CN111915583A (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
CN109271904B (zh) 一种基于像素自适应分割和贝叶斯模型的黑烟车检测方法
CN111274964B (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
Su et al. A new local-main-gradient-orientation HOG and contour differences based algorithm for object classification
CN111062319B (zh) 一种基于主动红外图像的驾驶员打电话检测方法
CN107122732B (zh) 一种监控场景下高鲁棒性的快速车牌定位方法
CN111461076A (zh) 帧差法与神经网络结合的烟雾检测方法和检测系统
CN109446938B (zh) 一种基于多序列双投影的黑烟车检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant