CN108921147A - 一种基于动态纹理和变换域时空特征的黑烟车识别方法 - Google Patents

一种基于动态纹理和变换域时空特征的黑烟车识别方法 Download PDF

Info

Publication number
CN108921147A
CN108921147A CN201811018299.8A CN201811018299A CN108921147A CN 108921147 A CN108921147 A CN 108921147A CN 201811018299 A CN201811018299 A CN 201811018299A CN 108921147 A CN108921147 A CN 108921147A
Authority
CN
China
Prior art keywords
feature
black smoke
transform
frame
grid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811018299.8A
Other languages
English (en)
Other versions
CN108921147B (zh
Inventor
路小波
陶焕杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201811018299.8A priority Critical patent/CN108921147B/zh
Publication of CN108921147A publication Critical patent/CN108921147A/zh
Application granted granted Critical
Publication of CN108921147B publication Critical patent/CN108921147B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于动态纹理和变换域时空特征的黑烟车识别方法，包括：将视频序列中的每帧图像转化为灰度图像，并平均分成若干网格小方格；对每一帧的每个小方格图像提取动态纹理特征；对每一帧的每个小方格图像得到变换域特征；将动态纹理特征和变换域特征进行融合，得到用于区分烟方格和非烟方格的时空特征；利用SVM分类器对所提时空特征进行分类，得到每个方格的识别结果，结合每帧所有方格识别结果的分布以及连续多帧识别结果的特点，判断当前视频段是否有黑烟车。本发明能借助对黑烟方格位置和个数的分析估计整个黑烟尾气的位置和面积，对黑烟车的污染程度和等级做出初步估计，提高了特征的鲁棒性，避免了阴影的误报，降低了误报率。

Description

一种基于动态纹理和变换域时空特征的黑烟车识别方法
技术领域
本发明计算机视觉和烟火检测技术领域，涉及一种黑烟车识别方法，尤其是一种基于动态纹理和变换域时空特征的黑烟车识别方法。
背景技术
黑烟车是一种高污染车辆，其尾气排放物不仅污染空气，而且还会损害人体健康。国家也非常重视黑烟车污染的治理问题，如何从车流中自动的检测出此类高污染车辆，并按照相关法律做进一步的车辆报废和维修处理是非常值得研究的技术，将非常有助于减少机动车污染，提高空气质量。
关于黑烟车检测，目前国内主要采用的方法还是人工路检的模式，即组织环保工作人员道路上对过往车辆进行观察，发现黑烟车后进行拦车处理，该方式耗时耗力，效率低下，且不利于证据的保存，妨碍正常的交通。国内外也开发多种车载尾气检测系统.如美国CATI公司开发的MOTANA OEM-2100系统和由日本HORIBA公司开发的OBS-1000车载实时排放检测系统等.国内的天津大学和清华大学等也都自主开发了车载尾气检测系统，但这类系统价格昂贵，且后续的维护和保养需要消耗大量的资金，由于车辆数量的增加，给每辆车都配置的可实施性不佳。
近些年，随着道路监控的不断完善和视频质量的不断提高，基于视频监控的方法也开始出现，最初的方法就是基于视频进行简单的人工监控，雇佣大量工人不断地通过观看视频寻找经过的黑烟车，并记录车牌和截取视频片段，虽然该方法不妨碍交通，但每天海量的视频根本处理不完。
目前，现有技术中尚缺乏识别率高的黑烟车识别方法。
发明内容
为解决上述问题，本发明公开了一种基于动态纹理和变换域时空特征的黑烟车识别方法，借助计算机视觉技术和无线传输技术，通过对道路监控视频的处理和分析，自动从车流中检测和识别黑烟车，触发报警，由工作人员做出进一步的处理。
为了达到上述目的，本发明提供如下技术方案：
一种基于动态纹理和变换域时空特征的黑烟车识别方法，包括如下步骤：
(1)将视频序列中的每帧图像转化为灰度图像，并平均分成若干个网格小方格；
(2)对每一帧的每一个小方格图像，提取LBP-TOP直方图特征或者VLBP直方图特征，得到动态纹理特征；
(3)对每一帧的每一个小方格图像，提取基于离散余弦变换的特征、基于离散傅里叶变换的特征或者基于离散哈达玛变换的特征，结合多序列分析，得到变换域特征；
(4)将动态纹理特征和变换域特征进行融合，得到用于区分烟方格和非烟方格的时空特征；
(5)利用SVM分类器对所提时空特征进行分类，得到每个方格的识别结果，结合每帧所有方格识别结果的分布以及连续多帧识别结果的特点，对当前视频段是否有黑烟车做出判断。
进一步的，所述步骤(2)中LBP-TOP直方图特征的计算方法包括如下步骤：
(21)对每一帧的每一个小方格图像，沿时间轴提取前面Nbefore帧和后面Nafter帧，组成小方格动态图像序列，并设定三个时空轴T、X和Y；
(22)在XY、XT和YT三个正交平面上，分别利用下式计算像素点(x,y)的LBP值，
其中，LBPP,R(x,y)表示在位置(x,y)处的LBP值，R和P分别表示LBP编码的半径和圆周上的邻域像素个数，s(x)是一个分段函数，Ip(x,y)表示中心位置为(x,y)的圆邻域的第p个像素的灰度值，Ic(x,y)表示图像中心位置(x,y)处像素的灰度值；
(23)分别计算XY、XT和YT三个正交平面对应的三个LBP编码图的直方图特征，并按照XY、XT、YT的顺序串联起来，并归一化后，便得到LBP-TOP直方图特征，记作FLBP-TOP。
进一步的，所述步骤(2)中的VLBP直方图特征的计算包括如下步骤：
(24)对每一帧的每一个小方格图像，沿时间轴提取前面Nbefore帧和后面Nafter帧，组成小方格动态图像序列，记作V，对其进行建模，采用螺旋状展开，
其中，P表示局部邻域的领域像素点个数，表示体积中心点的灰度值，和分别表示在局部体积邻域中，前方与后方时间间隔为L帧的中心点像素灰度值，gt,p(t＝tc-L,tc,.tc+L,p＝0,1,...,P-1)表示第t帧图像在半径为R上的第p个邻域点的灰度值，记的坐标为(xc,yc,tc)，gt,p的坐标为 的坐标为
(25)对V阈值化，得到V1,
(26)利用下式计算像素点的VLBP值，
其中，vq(q＝0,1,...3P+1)表示向量V1中的元素；
(27)计算当前小方格的每一个像素的VLBP值，并计算其直方图得到VLBP直方图特征，记作FVLBP。
进一步的，所述步骤(3)中基于离散余弦变换的特征的计算包括如下步骤：
(31)给定图像F，其二维离散余弦变换用下式计算，
其中，M和N分别表示图像F的行数和列数，C(u,v)(0≤u≤M-1,0≤v≤N-1)表示DCT系数；
(32)取图像左上角取前NDCT个系数(一般设置为40)，将连续多帧的上述DCT系数特征串联起来，作为基于DCT变换的变换特征，记作FDCT。
进一步的，所述步骤(3)中基于离散傅里叶变换的特征的计算包括如下步骤：
(33)给定图像F，其二维离散傅里叶变换用下式计算，
其中，M和N分别表示图像F的行数和列数，C(u,v)(0≤u≤M-1,0≤v≤N-1)表示DFT系数；
(34)将所有DFT系数从小到大排序，取取前NDCT个系数(一般设置为40)作为最有效特征,将连续多帧的上述DFT系数特征串联起来，作为基于DFT变换的变换特征，记作FDFT。
进一步的，所述步骤(3)中基于离散哈达玛变换(DHT)的特征的计算包括如下步骤：
(35)给定图像F，其二维离散哈达玛变换可以用下式计，
其中，H(u,v)(0≤u≤M-1,0≤v≤N-1)表示DHT系数,bk(z)表示z的二进制的第k位，N＝2n成为哈达玛变换的阶数,二维哈达玛变换的正变换核为
(37)将所有DHT系数从小到大排序，取取前NDCT个系数(一般设置为40)作为最有效特征,将连续多帧的上述DHT系数特征串联起来，作为基于DHT变换的变换特征，记作FDHT。
进一步的，所述步骤(32)中采用Zig-zag扫描的方式取图像左上角取前NDCT个系数(一般设置为40)。
进一步的，所述步骤(4)中将步骤(2)中的动态纹理特征和步骤(3)中的变换域特征进行融合，得到用于区分烟方格和非烟方格的时空特征，在融合前，需要先将两种特征分别进行归一化，然后再串联起来得到最终特征向量，称作时空特征，同时刻画时间和空间特征。
进一步的，所述动态纹理特征选择LBP-TOP直方图特征和VLBP直方图特征的一种，所述变换域特征为基于DCT的特征，基于DFT的特征和基于DHT的特征的一种，并进行多序列分析得到动态变换域特征。
进一步的，所述步骤(5)中对当前视频段是否有黑烟车做出判断的过程包括如下步骤：
(51)利用SVM分类器对所提时空特征进行分类，得到每个方格的识别结果；
(52)步骤5.2：对于某一个被识别为有烟的方格，如果与其连接的同样被识别为有烟方格的个数大于某个阈值，则认为当前帧图像被认定为黑烟帧，并进一步通过黑烟方格的数量确定黑烟的位置和面积；
(53)对于每个连续的Ncont帧(一般设置为100，具体数值还根据应用需求设置)，如果有超过η帧被识别为黑烟帧，则当前视频段含有黑烟车，并做出报警通知工作人员做进一步人工识别。
与现有技术相比，本发明具有如下优点和有益效果：
(1)本发明通过引入图像分块的策略，能够借助对黑烟方格位置和个数的分析估计整个黑烟尾气的位置和面积，进一步对黑烟车的污染程度和等级做出初步估计。
(2)本发明引入动态纹理特征，能较好的刻画小方格区域的动态特征和静态特征，其中，纹理算子LBP-TOP具有计算复杂程度小、旋转不变、描述能力强等优点；纹理算法VLBP考虑了时间序列图片各像素之间的运动关系，将动态纹理的动态特征与静态特征相结合，从而提取小方格区域图像序列的特征，本发明优选的算子对光照还具有一定的鲁棒性，避免阴影的误检。
(3)本发明引入基于DCT的特征、基于DFT的特征和基于DHT的特征，从变换域的角度对黑烟方格和非黑烟方格的特征进行描述，提高了特征的鲁棒性，避免了阴影的误报，降低了误报率。
(4)本发明通过纹理特征和变换域特征的融合更降低了黑暗车误报率。因此，本发明进一步提高了检出率，降低了误报率，同时可以估计黑烟的面积和位置。
附图说明
图1为本发明方法流程示意图。
图2为本发明提供的一个黑烟区域以及利用其DCT变换的前40个系数的重建图像。
图3为本发明提供的一个非黑烟区域以及利用其DCT变换的前40个系数的重建图像。
图4为本发明检测到的黑烟车的一个图像示例。
具体实施方式
以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
本发明提供一种基于动态纹理和变换域时空特征的黑烟车识别方法，其流程图如图1所示，包括如下步骤：
步骤1：将视频序列中的每帧图像转化为灰度图像，并平均分成若干个网格小方格；
步骤2：对每一帧的每一个小方格图像，提取LBP-TOP直方图特征或者VLBP直方图特征，得到动态纹理特征；
其中，LBP-TOP直方图特征的计算方法包括如下步骤：
步骤2.1：对每一帧的每一个小方格图像，沿时间轴提取前面Nbefore帧和后面Nafter帧，组成小方格动态图像序列，并设定三个时空轴T、X和Y；
步骤2.2：在XY、XT和YT三个正交平面上，分别利用下式计算像素点(x,y)的LBP值，
其中，LBPP,R(x,y)表示在位置(x,y)处的LBP值，R和P分别表示LBP编码的半径和圆周上的邻域像素个数，s(x)是一个分段函数，Ip(x,y)表示中心位置为(x,y)的圆邻域的第p个像素的灰度值，Ic(x,y)表示图像中心位置(x,y)处像素的灰度值；
步骤2.3：分别计算XY、XT和YT三个正交平面对应的三个LBP编码图的直方图特征，并按照XY、XT、YT的顺序串联起来，并归一化后，便得到LBP-TOP直方图特征，记作FLBP-TOP；
VLBP直方图特征的计算包括如下步骤：
步骤2.4：对每一帧的每一个小方格图像，沿时间轴提取前面Nbefore帧和后面Nafter帧，组成小方格动态图像序列，记作V，对其进行建模，采用螺旋状展开，
其中，P表示局部邻域的领域像素点个数，表示体积中心点的灰度值，和分别表示在局部体积邻域中，前方与后方时间间隔为L帧的中心点像素灰度值，gt,p(t＝tc-L,tc,.tc+L,p＝0,1,...,P-1)表示第t帧图像在半径为R上的第p个邻域点的灰度值，记的坐标为(xc,yc,tc)，gt,p的坐标为 的坐标为
步骤2.5：对V阈值化，得到V1,
步骤2.6：利用下式计算像素点的VLBP值，
其中，vq(q＝0,1,...3P+1)表示向量V1中的元素；
步骤2.7：计算当前小方格的每一个像素的VLBP值，并计算其直方图得到VLBP直方图特征，记作FVLBP。
步骤3：对每一帧的每一个小方格图像，提取基于离散余弦变换(DCT)的特征、基于离散傅里叶变换(DFT)的特征或者基于离散哈达玛变换(DHT)的特征，结合多序列分析，得到变换域特征，这里的多序列分析指的是将连续多帧提取的变换域特征串联起来作为最终的特征向量；
基于离散余弦变换(DCT)的特征的计算包括如下步骤：
步骤3.1：给定图像F，其二维离散余弦变换可以用下式计算，
其中，M和N分别表示图像F的行数和列数，C(u,v)(0≤u≤M-1,0≤v≤N-1)表示DCT系数；
图2显示了一个黑烟区域以及利用其DCT变换的前40个系数的重建图像。图3显示了一个非黑烟区域以及利用其DCT变换的前40个系数的重建图像。可以看到这40个系数可以刻画整个区域的大概舍弃了很多作为黑烟车识别不需要的细节信息；
步骤3.2：由于图像的大量信息都储存在少数的几个DCT系数中，左上角为低频成分，刻画图像的形状信息，右下角为高频成分，刻画图像的边缘和细节。基于黑烟车检测问题的特点和需求，采用Zig-zag扫描的方式取左上角前NDCT个系数(一般设置为40，可根据具体问题的需要进行设置)，作为单帧特征，，将连续多帧的上述DCT系数特征串联起来，作为基于DCT变换的变换特征，记作FDCT。
基于离散傅里叶变换(DFT)的特征的计算包括如下步骤：
步骤3.3：给定图像F，其二维离散傅里叶变换可以用下式计算，
其中，M和N分别表示图像F的行数和列数，C(u,v)(0≤u≤M-1,0≤v≤N-1)表示DFT系数；
步骤3.4：由于图像的大量信息都储存在少数的几个DFT系数中，将所有DFT系数从小到大排序，取取前NDCT个系数(一般设置为40)作为最有效特征,将连续多帧的上述DFT系数特征串联起来，作为基于DFT变换的变换特征，记作FDFT。
基于离散哈达玛变换(DHT)的特征的计算包括如下步骤：
步骤3.5：给定图像F，其二维离散哈达玛变换可以用下式计，
其中，H(u,v)(0≤u≤M-1,0≤v≤N-1)表示DHT系数,bk(z)表示z的二进制的第k位，N＝2n成为哈达玛变换的阶数,二维哈达玛变换的正变换核为
步骤3.6：哈达玛变换具有较好的能量压缩性，将所有DHT系数从小到大排序，取取前NDCT个系数(一般设置为40)作为最有效特征,将连续多帧的上述DHT系数特征串联起来，作为基于DHT变换的变换特征，记作FDHT。
步骤4：将动态纹理特征和变换域特征进行融合，得到用于区分烟方格和非烟方格的时空特征；其中，动态纹理特征选择LBP-TOP直方图特征和VLBP直方图特征的一种，变换域特征为基于DCT的特征，基于DFT的特征和基于DHT的特征的一种，并进行多序列分析得到动态变换域特征。在融合前，需要先将两种特征分别进行归一化，然后再串联起来得到最终特征向量，称作时空特征，同时刻画时间和空间特征。
步骤5：利用SVM分类器对所提时空特征进行分类，得到每个方格的识别结果，结合每帧所有方格识别结果的分布以及连续多帧识别结果的特点，对当前视频段是否有黑烟车做出判断。
本步骤具体包括如下子步骤：
步骤5.1：利用SVM分类器对所提时空特征进行分类，得到每个方格的识别结果；
步骤5.2：对于某一个被识别为有烟的方格，如果与其连通的同样被识别为有烟方格的个数大于Ncon(取值范围为[0-10]，一般设置为3，具体情况可根据应用需求进行设置)，则认为当前帧图像被认定为黑烟帧，并进一步通过黑烟方格的数量确定黑烟的位置和面积；
步骤5.3：对于每个连续的Ncont帧(一般设置为100，具体数值还根据应用需求设置)，如果有超过η帧(根据应用需求设置)被识别为黑烟帧，则当前视频段含有黑烟车，并做出报警通知工作人员做进一步人工识别。
图4显示了利用本发明从车辆监控视频中检测到的一个黑烟车示例，整帧图像划分为多个大小为32x32的小方格，黑色边框的方格表示被识别为黑烟区域，白色边框的方格表示被识别为非黑色区域。从图中可见，本发明方法能够估计出黑烟的面积和位置，检出率高，误检率低。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种基于动态纹理和变换域时空特征的黑烟车识别方法，其特征在于，包括如下步骤：
(1)将视频序列中的每帧图像转化为灰度图像，并平均分成若干个网格小方格；
(2)对每一帧的每一个小方格图像，提取LBP-TOP直方图特征或者VLBP直方图特征，得到动态纹理特征；
(3)对每一帧的每一个小方格图像，提取基于离散余弦变换的特征、基于离散傅里叶变换的特征或者基于离散哈达玛变换的特征，结合多序列分析，得到变换域特征；
(4)将动态纹理特征和变换域特征进行融合，得到用于区分烟方格和非烟方格的时空特征；
(5)利用SVM分类器对所提时空特征进行分类，得到每个方格的识别结果，结合每帧所有方格识别结果的分布以及连续多帧识别结果的特点，对当前视频段是否有黑烟车做出判断。
2.根据权利要求1所述的基于动态纹理和变换域时空特征的黑烟车识别方法，其特征在于，所述步骤(2)中LBP-TOP直方图特征的计算方法包括如下步骤：
(21)对每一帧的每一个小方格图像，沿时间轴提取前面Nbefore帧和后面Nafter帧，组成小方格动态图像序列，并设定三个时空轴T、X和Y；
(22)在XY、XT和YT三个正交平面上，分别利用下式计算像素点(x,y)的LBP值，
其中，LBPP,R(x,y)表示在位置(x,y)处的LBP值，R和P分别表示LBP编码的半径和圆周上的邻域像素个数，s(x)是一个分段函数，Ip(x,y)表示中心位置为(x,y)的圆邻域的第p个像素的灰度值，Ic(x,y)表示图像中心位置(x,y)处像素的灰度值；
(23)分别计算XY、XT和YT三个正交平面对应的三个LBP编码图的直方图特征，并按照XY、XT、YT的顺序串联起来，并归一化后，便得到LBP-TOP直方图特征，记作FLBP-TOP。
3.根据权利要求1所述的基于动态纹理和变换域时空特征的黑烟车识别方法，其特征在于，所述步骤(2)中的VLBP直方图特征的计算包括如下步骤：
(24)对每一帧的每一个小方格图像，沿时间轴提取前面Nbefore帧和后面Nafter帧，组成小方格动态图像序列，记作V，对其进行建模，采用螺旋状展开，
其中，P表示局部邻域的领域像素点个数，表示体积中心点的灰度值，和分别表示在局部体积邻域中，前方与后方时间间隔为L帧的中心点像素灰度值，gt,p(t＝tc-L,tc,.tc+L,p＝0,1,...,P-1)表示第t帧图像在半径为R上的第p个邻域点的灰度值，记的坐标为(xc,yc,tc)，gt,p的坐标为 的坐标为
(25)对V阈值化，得到V1,
(26)利用下式计算像素点的VLBP值，
其中，vq(q＝0,1,...3P+1)表示向量V1中的元素；
(27)计算当前小方格的每一个像素的VLBP值，并计算其直方图得到VLBP直方图特征，记作FVLBP。
4.根据权利要求1所述的基于动态纹理和变换域时空特征的黑烟车识别方法，其特征在于，所述步骤(3)中基于离散余弦变换的特征的计算包括如下步骤：
(31)给定图像F，其二维离散余弦变换用下式计算，
其中，M和N分别表示图像F的行数和列数，C(u,v)(0≤u≤M-1,0≤v≤N-1)表示DCT系数；
(32)取图像左上角取前NDCT个系数，将连续多帧的上述DCT系数特征串联起来，作为基于DCT变换的变换特征，记作FDCT。
5.根据权利要求1所述的基于动态纹理和变换域时空特征的黑烟车识别方法，其特征在于，所述步骤(3)中基于离散傅里叶变换的特征的计算包括如下步骤：
(33)给定图像F，其二维离散傅里叶变换用下式计算，
其中，M和N分别表示图像F的行数和列数，C(u,v)(0≤u≤M-1,0≤v≤N-1)表示DFT系数；
(34)将所有DFT系数从小到大排序，取前取前NDCT个系数作为最有效特征,将连续多帧的上述DFT系数特征串联起来，作为基于DFT变换的变换特征，记作FDFT。
6.根据权利要求1所述的基于动态纹理和变换域时空特征的黑烟车识别方法，其特征在于，所述步骤(3)中基于离散哈达玛变换DHT的特征的计算包括如下步骤：
(35)给定图像F，其二维离散哈达玛变换可以用下式计，
其中，H(u,v)(0≤u≤M-1,0≤v≤N-1)表示DHT系数,bk(z)表示z的二进制的第k位，N＝2n成为哈达玛变换的阶数,二维哈达玛变换的正变换核为
(36)将所有DHT系数从小到大排序，取前NDCT个系数作为最有效特征,将连续多帧的上述DHT系数特征串联起来，作为基于DHT变换的变换特征，记作FDHT。
7.根据权利要求6所述的基于动态纹理和变换域时空特征的黑烟车识别方法，其特征在于，所述步骤(32)中采用Zig-zag扫描的方式取左上角前NDCT个系数。
8.根据权利要求1所述的基于动态纹理和变换域时空特征的黑烟车识别方法，其特征在于，所述步骤(4)中将步骤(2)中的动态纹理特征和步骤(3)中的变换域特征进行融合，得到用于区分烟方格和非烟方格的时空特征，在融合前，需要先将两种特征分别进行归一化，然后再串联起来得到最终特征向量，称作时空特征，同时刻画时间和空间特征。
9.根据权利要求1所述的基于动态纹理和变换域时空特征的黑烟车识别方法，其特征在于，所述动态纹理特征选择LBP-TOP直方图特征和VLBP直方图特征的一种，所述变换域特征为基于DCT的特征，基于DFT的特征和基于DHT的特征的一种，并进行多序列分析得到动态变换域特征。
10.根据权利要求1所述的基于动态纹理和变换域时空特征的黑烟车识别方法，其特征在于，所述步骤(5)中对当前视频段是否有黑烟车做出判断的过程包括如下步骤：
(51)利用SVM分类器对所提时空特征进行分类，得到每个方格的识别结果；
(52)步骤5.2：对于某一个被识别为有烟的方格，如果与其连接的同样被识别为有烟方格的个数大于某个阈值，则认为当前帧图像被认定为黑烟帧，并进一步通过黑烟方格的数量确定黑烟的位置和面积；
(53)对于每个连续的Ncont帧，如果有超过η帧被识别为黑烟帧，则当前视频段含有黑烟车，并做出报警通知工作人员做进一步人工识别。
CN201811018299.8A 2018-09-03 2018-09-03 一种基于动态纹理和变换域时空特征的黑烟车识别方法 Active CN108921147B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811018299.8A CN108921147B (zh) 2018-09-03 2018-09-03 一种基于动态纹理和变换域时空特征的黑烟车识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811018299.8A CN108921147B (zh) 2018-09-03 2018-09-03 一种基于动态纹理和变换域时空特征的黑烟车识别方法

Publications (2)

Publication Number Publication Date
CN108921147A true CN108921147A (zh) 2018-11-30
CN108921147B CN108921147B (zh) 2022-02-15

Family

ID=64407377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811018299.8A Active CN108921147B (zh) 2018-09-03 2018-09-03 一种基于动态纹理和变换域时空特征的黑烟车识别方法

Country Status (1)

Country Link
CN (1) CN108921147B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523419A (zh) * 2020-04-13 2020-08-11 北京巨视科技有限公司 一种机动车尾气排放视频检测方法和装置
CN113115005A (zh) * 2021-04-15 2021-07-13 扬州工业职业技术学院 一种物联网联动摄像机
CN114972740A (zh) * 2022-07-29 2022-08-30 上海鹰觉科技有限公司 自动化舰船样本采集方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542064A (zh) * 2012-01-04 2012-07-04 西安电子科技大学 基于Surfacelet变换的动态纹理检索方法
CN106127196A (zh) * 2016-09-14 2016-11-16 河北工业大学 基于动态纹理特征的人脸表情的分类与识别方法
CN106951821A (zh) * 2016-12-27 2017-07-14 湘潭大学 一种基于图像处理技术的黑烟车智能监控识别方法
CN107478590A (zh) * 2017-08-08 2017-12-15 南京新远见智能科技有限公司 一种结合机动车智能视觉识别与尾气遥感检测的方法
US10261976B2 (en) * 2015-12-18 2019-04-16 Samsung Electronics Co., Ltd. Method and apparatus for modeling smoke turbulence based on patch

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542064A (zh) * 2012-01-04 2012-07-04 西安电子科技大学 基于Surfacelet变换的动态纹理检索方法
US10261976B2 (en) * 2015-12-18 2019-04-16 Samsung Electronics Co., Ltd. Method and apparatus for modeling smoke turbulence based on patch
CN106127196A (zh) * 2016-09-14 2016-11-16 河北工业大学 基于动态纹理特征的人脸表情的分类与识别方法
CN106951821A (zh) * 2016-12-27 2017-07-14 湘潭大学 一种基于图像处理技术的黑烟车智能监控识别方法
CN107478590A (zh) * 2017-08-08 2017-12-15 南京新远见智能科技有限公司 一种结合机动车智能视觉识别与尾气遥感检测的方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523419A (zh) * 2020-04-13 2020-08-11 北京巨视科技有限公司 一种机动车尾气排放视频检测方法和装置
CN113115005A (zh) * 2021-04-15 2021-07-13 扬州工业职业技术学院 一种物联网联动摄像机
CN114972740A (zh) * 2022-07-29 2022-08-30 上海鹰觉科技有限公司 自动化舰船样本采集方法及系统

Also Published As

Publication number Publication date
CN108921147B (zh) 2022-02-15

Similar Documents

Publication Publication Date Title
CN104361343B (zh) 车辆类型识别方法及其装置
CN103198332B (zh) 一种实时鲁棒的远红外车载行人检测方法
CN107358258B (zh) 基于nsct双cnn通道和选择性注意机制的sar图像目标分类
CN107122777A (zh) 一种基于视频文件的车辆分析系统及分析方法
Zhang et al. Vehicle recognition algorithm based on Haar-like features and improved Adaboost classifier
CN111915583B (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
CN111505632A (zh) 基于功率谱和多普勒特征的超宽带雷达动作姿态识别方法
CN111723773B (zh) 遗留物检测方法、装置、电子设备及可读存储介质
CN108921147A (zh) 一种基于动态纹理和变换域时空特征的黑烟车识别方法
CN109506628A (zh) 一种基于深度学习的卡车环境下目标物测距方法
Hou et al. SAR image ship detection based on visual attention model
CN102163286B (zh) 一种色情图像评价方法
CN111832461B (zh) 一种基于视频流的非机动车骑行人员头盔佩戴检测方法
CN111191570A (zh) 图像识别方法和装置
CN112800860A (zh) 一种事件相机和视觉相机协同的高速抛撒物检测方法和系统
CN103049788B (zh) 基于计算机视觉的待过行人数目的检测系统及方法
CN111667655A (zh) 基于红外图像的高速铁路安全区入侵警报装置及方法
CN111008574A (zh) 一种基于形体识别技术的重点人员轨迹分析方法
CN110321855A (zh) 一种雾天检测预警装置
CN104463104A (zh) 一种静态车辆目标快速检测方法及装置
CN111079626B (zh) 一种活体指纹识别方法、电子设备及计算机可读存储介质
CN109191492A (zh) 一种基于轮廓分析的智能视频黑烟车检测方法
CN105354547A (zh) 一种结合纹理和彩色特征的行人检测方法
CN104899559A (zh) 一种基于视频监控的快速行人检测方法
CN109325426B (zh) 一种基于三正交平面时空特征的黑烟车检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant