CN110543836A - 一种面向彩色图像的车辆检测方法 - Google Patents

一种面向彩色图像的车辆检测方法 Download PDF

Info

Publication number
CN110543836A
CN110543836A CN201910759439.5A CN201910759439A CN110543836A CN 110543836 A CN110543836 A CN 110543836A CN 201910759439 A CN201910759439 A CN 201910759439A CN 110543836 A CN110543836 A CN 110543836A
Authority
CN
China
Prior art keywords
vehicle
dictionary
sparse
training
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910759439.5A
Other languages
English (en)
Other versions
CN110543836B (zh
Inventor
孔德慧
荣子豪
王少帆
李敬华
尹宝才
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201910759439.5A priority Critical patent/CN110543836B/zh
Publication of CN110543836A publication Critical patent/CN110543836A/zh
Application granted granted Critical
Publication of CN110543836B publication Critical patent/CN110543836B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

公开一种面向彩色图像的车辆检测方法，其对所要检测的物体的外观描述能力强、适应能力强、需要的训练样本适度、时间消耗低。该方法包括以下步骤：(1)通过车辆检测的特征设计和分层稀疏‑稠密字典集合建模，为车辆类别、非车辆类别构建具有类别判别能力的字典集合；(2)滑动窗口扫描与窗口特征提取；基于稀疏‑稠密字典集合的窗口分类；基于核密度估计非极大抑制的重复检测框去除以过滤高度重叠的检测结果。

Description

一种面向彩色图像的车辆检测方法
技术领域
本发明涉及计算机视觉和模式识别的技术领域，尤其涉及一种面向彩色图像的车辆检测方法。
背景技术
作为计算机视觉的基础技术，车辆检测技术在彩色摄像机辅助的无人驾驶系统以及城市交通监控系统均有重要的应用价值。现有的目标检测方法根据所采用的模型大致可划分成以下三个类别：
第一类检测方法为基于滑动窗口的分类检测。该方法大体上采用滑动窗口扫描过程配合以基于非深度学习的一般机器学习分类模型对各个窗口进行分类以实现检测。Viola和Jones提出一种基于局部像素差特征与AdaBoost分类器的人脸检测方法；Dalal和Triggs提出了HOG特征与线性SVM分类器相结合的行人检测方法；针对所要检测的物体的形变，Felzenszwalb等人提出了由多个位置可调节的分类模板与潜支持向量机分类器相结合进行多种类别物体检测的方法；Girshick等人在Felzenszwalb等人的方法的基础上，使多个位置可调的模板的划分更为灵活，同时可以包含特殊的表示遮挡物的模板以处理一定程度的遮挡；Wu等人则使用与或图结构来组织多种粒度的分类模板以具有更好的遮挡处理能力。这些方法在检测时都采用一定的分类模板，对所要检测的物体的外观描述能力有限；虽然将若干位置可调整的分类模板通过图结构组织在一起的思想可以引入一些对物体外观变化的适应能力，但这种适应能力是有限的，且依赖于图结构的设计。
第二类检测方法为基于深度学习模型的目标检测。该方法将物体检测的一个或多个阶段用深度学习模型(即深度神经网络)实现。Girshick等人提出的R-CNN方法使用卷积神经网络提取图像特征并将此特征通过支持向量机进行分类以实现检测；Girshick在R-CNN的基础上将包围框的分类与回归纳入神经网络；Liu等人提出的SSD方法通过将散布在待测图像上的多种尺寸、多种长宽比例的框通过深度神经网络进行调整、探索以最终契合于目标物体之上；Redmon等人提出的YOLO方法使用深度神经网络从待测图像直接回归到若干包围框，将检测的整体过程通过一个深度学习模型实现。这类检测方法由于依赖深度神经网络进行分类与回归，往往需要大量的训练样本以达到较好的效果。
第三类方法为基于三维模型的目标检测。Xiang等人使用三维体素模型来为车辆的多种外观(包括多种被遮挡情形)建模，以得到二维和三维的检测结果；Zia等人提出的车辆检测方法则使用三维线框模型表示车辆个体，并可以估计精确到模型上的网格结点的遮挡。这类方法由于涉及三维模型的处理，会有较高的时间消耗。
发明内容
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种面向彩色图像的车辆检测方法，其对所要检测的物体的外观描述能力强、适应能力强、需要的训练样本适度、时间消耗低。
本发明的技术方案是：这种面向彩色图像的车辆检测方法，该方法包括以下步骤：
(1)通过车辆检测的特征设计和分层稀疏-稠密字典集合建模，为车辆类别、非车辆类别构建具有类别判别能力的字典集合；
(2)滑动窗口扫描与窗口特征提取；基于稀疏-稠密字典集合的窗口分类；基于核密度估计非极大抑制的重复检测框去除以过滤高度重叠的检测结果。
本发明通过车辆检测的特征设计和分层稀疏-稠密字典集合建模，为车辆类别、非车辆类别构建具有类别判别能力的字典集合，滑动窗口扫描与窗口特征提取；基于稀疏-稠密字典集合的窗口分类；基于核密度估计非极大抑制的重复检测框去除以过滤高度重叠的检测结果，从而实现了对所要检测的物体的外观描述能力强、适应能力强、需要的训练样本适度、时间消耗低。
附图说明
图1示出了根据本发明的面向彩色图像的车辆检测方法的流程图。
图2示出了根据本发明的基于稀疏-稠密字典集合的车辆检测流程。
图3示出了下游AdaBoost构造。
图4示出了根据本发明的基于稀疏-稠密字典集合的窗口分类器的整体训练过程。
图5示出了根据本发明的基于稀疏-稠密字典集合的窗口分类器的整体训练过程的算法。
图6示出了根据本发明的基于稀疏-稠密字典集合的窗口分类过程。
图7示出了根据本发明的基于稀疏-稠密字典集合的车辆检测整体过程。
图8示出了是否划分子类对窗口图像分类的影响。
图9示出了是否分层组织字典集合对窗口图像分类的影响。
图10示出了设置下游AdaBoost分类过程对窗口图像分类的影响。
图11示出了梯度方向直方图特征(HOG)、分块局部二值模式特征(CSLBP)、颜色名字特征(color names)及其组合对窗口图像分类的影响。
图12示出了是否进行特征选择对窗口图像分类的影响。
图13示出了RBF-SVM分类器与基于稀疏-稠密字典集合的分类器的性能比较。
具体实施方式
如图1所示，这种面向彩色图像的车辆检测方法，该方法包括以下步骤：
(1)通过车辆检测的特征设计和分层稀疏-稠密字典集合建模，为车辆类别、非车辆类别构建具有类别判别能力的字典集合；
(2)滑动窗口扫描与窗口特征提取；基于稀疏-稠密字典集合的窗口分类；基于核密度估计非极大抑制的重复检测框去除以过滤高度重叠的检测结果。
本发明通过车辆检测的特征设计和分层稀疏-稠密字典集合建模，为车辆类别、非车辆类别构建具有类别判别能力的字典集合；滑动窗口扫描与窗口特征提取；基于稀疏-稠密字典集合的窗口分类；基于核密度估计非极大抑制的重复检测框去除以过滤高度重叠的检测结果，从而实现了对所要检测的物体的外观描述能力强、适应能力强、需要的训练样本适度、时间消耗低。
优选地，所述步骤(1)包括以下分步骤：
(1.1)训练样本的类别划分；
(1.2)样本特征的提取；
(1.3)稀疏-稠密字典集合的训练；
(1.4)下游AdaBoost分类器的构造与训练。
优选地，所述步骤(1.1)中，将车辆类别和非车辆类别进一步划分为若干子类，为各个子类构建稀疏-稠密字典对；车辆类别根据车辆的被遮挡情况划分为完全可见、轻微遮挡和严重遮挡三种被遮挡程度；非车辆类别根据图像内容是否包含车辆成分划分子类；将车辆样本集按照车辆的朝向划分为8个更细微的子类(0°-360°，从车辆正右侧起始逆时针方向计算)，将非车辆类别中的一般背景子类和包含车辆局部子类通过聚类分别产生6个更细微的子类，用以刻画背景样本内部的差异性。
优选地，所述步骤(1.2)中，考虑三种图像内容的关键因素：整体几何形状，局部纹理，色彩；对应这三个因素，使用三种特征对图像进行描述：梯度直方图HOG特征，分块局部二值模式CS-LBP特征,颜色名字color names特征；这三种特征拼接起来形成高维度特征。
优选地，所述步骤(1.2)中，采用支持向量机进行基于L1范数的特征选择来降低特征维度。
优选地，所述步骤(1.3)中，在训练样本子类的划分确定后，为各子类训练稀疏-稠密字典对，稀疏-稠密字典对的训练表示为公式(1)的优化问题：
其中，为属于某个子类的m个k维训练样本作为列向量构成的矩阵；为具有低秩性的稀疏字典，刻画了训练样本的共有模式,为在此字典上的稀疏编码；为具有低秩性的稠密字典，集中了训练样本的非共有的模式,为在此字典上的稠密编码；为剩余的高频噪声；公式(1)使用拉格朗日乘子法求解。
优选地，所述步骤(1.4)中，在完成各子类字典训练的基础上，为车辆类别中的任一子类的字典与非车辆类别中的任一子类的字典所配对设置一个logistic回归分类器，作为AdaBoost分类器的组成；每个logistic回归分类器的训练数据为整体训练样本在此分类器对应的两个子类字典上的重构误差二元组集合；重构误差由公式(2)编码求解模型
的e给出；其中，为输入样本，A、B为某子类的稀疏-稠密字典，为A上的稀疏编码，为B上的稠密编码，为重构误差；这个等式约束的最小化问题使用拉格朗日乘子法求解；在定义了全部组成分类器后，通过AdaBoost过程依次训练组成分类器和确定相应权重系数；这个AdaBoost过程有三个部分：第一部分训练的组成分类器仅涉及字典集合第一层；另两部分分别涉及字典集合第一层中的车辆类别与第二层中的非车辆类别、第一层中的非车辆类别与第二层中的车辆类别，且这两部分的训练均接着第一部分的训练而分两路进行。
优选地，基于稀疏-稠密字典集合的窗口分类器的整体训练过程为：(给定训练样本集Imgstrain，车辆子类数Ncal，非车辆子类数Nnoncar)
将车辆类别训练样本根据朝向角度分为Ncar组：将非车辆类别训练样本通过Kmeans聚类分为Nnoncar组：为每个训练样本提取HOG特征、CS-LBP特征以及颜色名字特征并串连；使用公式(1)求得各子类的稀疏-稠密字典：在求得的各子类的稀疏-稠密字典上为全部训练样本编码以计算重构误差： 根据计算得到的训练样本的重构误差训练下游AdaBoost分类器。
优选地，所述步骤(2)中基于稀疏-稠密字典集合的窗口分类：
经过特征提取后的窗口样本首先在全体字典集合上编码以求得对应于各子类的重构误差；再将第一层车辆类别各子类的重构误差与第一层非车辆类别各子类的重构误差配对，构成若干误差二元组以输入给对应的AdaBoost成员分类器，求得初步分类结果。接着，判断第一层中车辆类别的最小重构误差是否小于第一层非车辆类别的最小重构误差；如果是，则将第一层车辆类别各子类重构误差与第二层非车辆类别各子类重构误差配对，构成若干误差二元组以输入给相应AdaBoost成员分类器，并将这一分类结果累加于初步分类结果上，得到最终分类结果；如果否，则将第一层非车辆类别各子类的重构误差与第二层车辆类别各子类的重构误差配对，并通过相似的步骤以得到最终分类结果；经过窗口扫描得到的全部窗口中被分类为车辆的窗口为初始车辆检测结果。
优选地，所述步骤(2)中基于核密度估计非极大抑制的重复检测框去除：
首先，根据初步检测结果计算整幅输入图像上的核密度估计；所有初步检测视为处于一个三维空间中的点；此三维分别为图像平面上的二维方位以及图像金字塔中的缩放程度一维；以这样的每个三维检测点为中心设置三维高斯分布，且各分布所具有的权重为相应检测得分的正相关函数；这样通过若干三维高斯分布的加权组合得到此图像上初步检测结果的核密度估计；根据此核密度估计，将各检测点沿其所在位置的核密度估计的梯度方向移动；这种移动将重复若干次，直至所有检测点的移动收敛，所有检测点已运动至几个核密度估计的极值点处或很邻近处；这些聚集了较多检测点的核密度估计极值点位置为对应去除了高度重叠检测后的检测结果；各检测结果的得分为它们所在位置的核密度估计值。
本发明以实际场景中拍摄到的彩色图像为输入，输出预测到的目标包围框。以下对检测器的训练和检测过程分别进行描述。
1.分层稀疏-稠密字典集合建模
本发明为车辆类别与非车辆类别划分出的各子类分别训练对应的稀疏-稠密字典，依据各类别的字典对各类别的样本的重构能力的差异进行判断(各类别的字典仅对其类别内的样本有较好的重构能力)。本发明将所有子类的稀疏-稠密字典组织为二层结构，每层均包含车辆类别与非车辆类别。其中：一层的各类内容区别明确，即车辆类别为“完全可见”、“轻微遮挡”，非车辆类别为“一般背景”；二层的各类内容区别较模糊，即车辆类别为“严重遮挡”，非车辆类别为“包含车辆局部”。在实际检测时，一层的字典集合给出初步判断，而二层的字典集合进一步更正一层的初步判断。单纯使用这种组织成层级结构的字典集合可以实现分类的目的，但为了更佳的车辆检测精度本发明基于这种两层字典集合增设了下游的AdaBoost分类器。
1.1训练样本的类别划分
具体地，本发明将车辆类别和非车辆类别进一步划分为若干子类，为各个子类构建稀疏-稠密字典对；车辆类别根据车辆的被遮挡情况划分为“完全可见”、“轻微遮挡”和“严重遮挡”三种被遮挡程度；非车辆类别根据图像内容是否包含车辆成分划分子类。此外，由于车辆朝向及背景内容复杂多样，遂进一步将车辆样本集按照车辆的朝向(0°-360°，从车辆正右侧起始逆时针方向计算)划分为8个更细微的子类，将非车辆类别中的一般背景子类和包含车辆局部子类通过聚类分别产生6个更细微的子类，用以刻画背景样本内部的差异性。
1.2样本特征的提取
本发明考虑三种图像内容的关键因素：整体几何形状，局部纹理，色彩；对应这三个因素，使用三种特征对图像进行描述：梯度直方图(HOG)特征，分块局部二值模式(CS-LBP)特征,颜色名字(color names)特征。这三种特征拼接起来形成高维度特征。由于该高维特征在计算时会造成很大的时间消耗，且存在一定数量的冗余特征分量，本发明采用支持向量机进行基于L1范数的特征选择来降低特征维度。
1.3稀疏-稠密字典集合的训练
在训练样本子类的划分确定后，本发明为各子类训练稀疏-稠密字典对。稀疏-稠密字典对的训练可表示为下式的优化问题：
其中，为属于某个子类的m个k维训练样本作为列向量构成的矩阵；为具有低秩性的稀疏字典，刻画了训练样本的共有特性,为在此字典上的稀疏编码；为具有低秩性的稠密字典，集中了训练样本的非共有的模式,为在此字典上的稠密编码；为剩余的高频噪声。这样设计的原因是：由于D中包含的子类样本具有外观相似性，故由D分解得到的A与B亦具有低秩性；X的稀疏性可致使A中包含训练样本的低频模式，即对应子类的共性模式；Y的稠密性则可致使B中包含训练样本的高频模式，即对应非共性模式。模型(1)可使用拉格朗日乘子法求解。
1.4下游AdaBoost分类器的构造与训练
在完成各子类字典训练的基础上，本发明为车辆类别中的任一子类的字典与非车辆类别中的任一子类的字典所配对设置一个logistic回归分类器，作为AdaBoost分类器的组成；每个logistic回归分类器的训练数据为整体训练样本在此分类器对应的两个子类字典上的重构误差二元组集合。此处，重构误差由编码求解模型
的e给出；其中，为输入样本，A、B为某子类的稀疏-稠密字典，为A上的稀疏编码，为B上的稠密编码，为重构误差。此处遵循2.1.2中的分析，且这个等式约束的最小化问题可使用拉格朗日乘子法求解。
在定义了全部组成分类器后，就可通过AdaBoost过程依次训练组成分类器和确定相应权重系数。这个AdaBoost过程有三个部分：第一部分训练的组成分类器仅涉及字典集合第一层；另两部分分别涉及字典集合第一层中的车辆类别与第二层中的非车辆类别、第一层中的非车辆类别与第二层中的车辆类别，且这两部分的训练均接着第一部分的训练而分两路进行。这种构造如图3所示。
基于稀疏-稠密字典集合的窗口分类器的整体训练过程如图4所示；这一过程的算法描述如图5所示。
2.基于分层稀疏－稠密字典集合模型的车辆检测
车辆检测的过程分为几步：滑动窗口扫描与窗口特征提取；基于稀疏-稠密字典集合的窗口分类；基于核密度估计非极大抑制的重复检测框去除。车辆检测的整体流程如图2所示。以下是这些步骤的详细介绍。
2.1输入图像的滑动窗口分类
输入的待检测的彩色图像首先被缩放成几种尺寸，构成图像“金字塔”；随后，滑动窗口扫描过程遍历图像金字塔的各层以获取窗口图像块。这种做法可以适应目标车辆的尺寸的多样性。
本发明提出使用稀疏-稠密字典集合对提取特征后的窗口图像块分类，判断其属于“车辆”类别或“非车辆”类别。对窗口图像块的分类由上一节介绍的训练过程得到的分类器进行，即此时已具备训练得到的分层字典集合、下游AdaBoost分类器。经过特征提取后的窗口样本首先在全体字典集合上编码以求得对应于各子类的重构误差；再将第一层车辆类别各子类的重构误差与第一层非车辆类别各子类的重构误差配对，构成若干误差二元组以输入给对应的AdaBoost成员分类器，求得初步分类结果。接着，判断第一层中车辆类别的最小重构误差是否小于第一层非车辆类别的最小重构误差；如果是，则将第一层车辆类别各子类重构误差与第二层非车辆类别各子类重构误差配对，构成若干误差二元组以输入给相应AdaBoost成员分类器，并将这一分类结果累加于初步分类结果上，得到最终分类结果；如果否，则将第一层非车辆类别各子类的重构误差与第二层车辆类别各子类的重构误差配对，并通过相似的步骤以得到最终分类结果。经过窗口扫描得到的全部窗口中被分类为车辆的窗口即为初始车辆检测结果。这一分类过程的算法描述如图6。
2.2基于核密度估计非极大抑制的重复检测框去除
从上一步窗口分类获得的初步检测框往往在目标待测车辆周围形成高度重叠，故须将重复的检测框去除以提高检测精度。本发明采用基于核密度估计的非极大抑制方法实现此目的。首先，根据初步检测结果计算整幅输入图像上的核密度估计。所有初步检测可视为处于一个三维空间中的点；此三维分别为图像平面上的二维方位以及图像金字塔中的缩放程度一维。以这样的每个三维检测点为中心设置三维高斯分布，且各分布所具有的权重为相应检测得分的正相关函数；这样通过若干三维高斯分布的加权组合即得到此图像上初步检测结果的核密度估计。接着，根据此核密度估计，将各检测点沿其所在位置的核密度估计的梯度方向移动；这种移动将重复若干次，直至所有检测点的移动收敛，即所有检测点已运动至几个核密度估计的极值点处(或很邻近处)；这些聚集了较多检测点的核密度估计极值点位置即对应去除了高度重叠检测后的检测结果；各检测结果的得分即为它们所在位置的核密度估计值。
本发明提出的车辆检测方法适用于在较好光照条件下拍摄得到的彩色图像，可以检测多种观察角度下的车辆。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (10)

1.一种面向彩色图像的车辆检测方法，其特征在于：该方法包括以下步骤：
(1)通过车辆检测的特征设计和分层稀疏-稠密字典集合建模，为车辆类别、非车辆类别构建具有类别判别能力的字典集合；
(2)滑动窗口扫描与窗口特征提取；基于稀疏-稠密字典集合的窗口分类；基于核密度估计非极大抑制的重复检测框去除以过滤高度重叠的检测结果。
2.根据权利要求1所述的面向彩色图像的车辆检测方法，其特征在于：所述步骤(1)包括以下分步骤：
(1.1)训练样本的类别划分；
(1.2)样本特征的提取；
(1.3)稀疏-稠密字典集合的训练；
(1.4)下游AdaBoost分类器的构造与训练。
3.根据权利要求2所述的面向彩色图像的车辆检测方法，其特征在于：所述步骤(1.1)中，将车辆类别和非车辆类别进一步划分为若干子类，为各个子类构建稀疏-稠密字典对；车辆类别根据车辆的被遮挡情况划分为完全可见、轻微遮挡和严重遮挡三种被遮挡程度；非车辆类别根据图像内容是否包含车辆成分划分子类；将车辆样本集按照车辆的朝向划分为8个更细微的子类0°-360°，从车辆正右侧起始逆时针方向计算，将非车辆类别中的一般背景子类和包含车辆局部子类通过聚类分别产生6个更细微的子类，用以刻画背景样本内部的差异性。
4.根据权利要求3所述的面向彩色图像的车辆检测方法，其特征在于：所述步骤(1.2)中，考虑三种图像内容的关键因素：整体几何形状，局部纹理，色彩；对应这三个因素，使用三种特征对图像进行描述：梯度直方图HOG特征，分块局部二值模式CS-LBP特征,颜色名字color names特征；这三种特征拼接起来形成高维度特征。
5.根据权利要求4所述的面向彩色图像的车辆检测方法，其特征在于：所述步骤(1.2)中，采用支持向量机进行基于L1范数的特征选择来降低特征维度。
6.根据权利要求5所述的面向彩色图像的车辆检测方法，其特征在于：
所述步骤(1.3)中，在训练样本子类的划分确定后，为各子类训练稀疏-稠密字典对；稀疏-稠密字典对的训练表示为公式(1)的优化问题：
其中，为属于某个子类的m个k维训练样本作为列向量构成的矩阵；为具有低秩性的稀疏字典，刻画了训练样本的共有模式,为在此字典上的稀疏编码；为具有低秩性的稠密字典，集中了训练样本的非共有的模式,为在此字典上的稠密编码；为剩余的高频噪声；公式(1)使用拉格朗日乘子法求解。
7.根据权利要求6所述的面向彩色图像的车辆检测方法，其特征在于：所述步骤(1.4)中，在完成各子类字典训练的基础上，为车辆类别中的任一子类的字典与非车辆类别中的任一子类的字典所配对设置一个logistic回归分类器，作为AdaBoost分类器的组成；每个logistic回归分类器的训练数据为整体训练样本在此分类器对应的两个子类字典上的重构误差二元组集合；重构误差由公式(2)编码求解模型
的e给出；其中，为输入样本，A、B为某子类的稀疏-稠密字典，为A上的稀疏编码，为B上的稠密编码，为重构误差；这个等式约束的最小化问题使用拉格朗日乘子法求解；在定义了全部组成分类器后，通过AdaBoost过程依次训练组成分类器和确定相应权重系数；这个AdaBoost过程有三个部分：第一部分训练的组成分类器仅涉及字典集合第一层；另两部分分别涉及字典集合第一层中的车辆类别与第二层中的非车辆类别、第一层中的非车辆类别与第二层中的车辆类别，且这两部分的训练均接着第一部分的训练而分两路进行。
8.根据权利要求7所述的面向彩色图像的车辆检测方法，其特征在于：基于稀疏-稠密字典集合的窗口分类器的整体训练过程为：给定训练样本集Imgstrain，车辆子类数Ncar，非车辆子类数Nnoncar，
将车辆类别训练样本根据朝向角度分为Ncar组：
将非车辆类别训练样本通过Kmeans聚类分为Nnoncar组：为每个训练样本提取HOG特征、CS-LBP特征以及颜色名字特征并串连；使用公式(1)求得各子类的稀疏-稠密字典：在求得的各子类的稀疏-稠密字典上为全部训练样本编码以计算重构误差： 根据计算得到的训练样本的重构误差训练下游AdaBoost分类器。
9.根据权利要求8所述的面向彩色图像的车辆检测方法，其特征在于：所述步骤(2)中基于稀疏-稠密字典集合的窗口分类：
经过特征提取后的窗口样本首先在全体字典集合上编码以求得对应于各子类的重构误差；再将第一层车辆类别各子类的重构误差与第一层非车辆类别各子类的重构误差配对，构成若干误差二元组以输入给对应的AdaBoost成员分类器，求得初步分类结果。接着，判断第一层中车辆类别的最小重构误差是否小于第一层非车辆类别的最小重构误差；如果是，则将第一层车辆类别各子类重构误差与第二层非车辆类别各子类重构误差配对，构成若干误差二元组以输入给相应AdaBoost成员分类器，并将这一分类结果累加于初步分类结果上，得到最终分类结果；如果否，则将第一层非车辆类别各子类的重构误差与第二层车辆类别各子类的重构误差配对，并通过相似的步骤以得到最终分类结果；经过窗口扫描得到的全部窗口中被分类为车辆的窗口为初始车辆检测结果。
10.根据权利要求9所述的面向彩色图像的车辆检测方法，其特征在于：所述步骤(2)中基于核密度估计非极大抑制的重复检测框去除：首先，根据初步检测结果计算整幅输入图像上的核密度估计；所有初步检测视为处于一个三维空间中的点；此三维分别为图像平面上的二维方位以及图像金字塔中的缩放程度一维；以这样的每个三维检测点为中心设置三维高斯分布，且各分布所具有的权重为相应检测得分的正相关函数；这样通过若干三维高斯分布的加权组合得到此图像上初步检测结果的核密度估计；根据此核密度估计，将各检测点沿其所在位置的核密度估计的梯度方向移动；这种移动将重复若干次，直至所有检测点的移动收敛，所有检测点已运动至几个核密度估计的极值点处或很邻近处；这些聚集了较多检测点的核密度估计极值点位置为对应去除了高度重叠检测后的检测结果；各检测结果的得分为它们所在位置的核密度估计值。
CN201910759439.5A 2019-08-16 2019-08-16 一种面向彩色图像的车辆检测方法 Active CN110543836B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910759439.5A CN110543836B (zh) 2019-08-16 2019-08-16 一种面向彩色图像的车辆检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910759439.5A CN110543836B (zh) 2019-08-16 2019-08-16 一种面向彩色图像的车辆检测方法

Publications (2)

Publication Number Publication Date
CN110543836A true CN110543836A (zh) 2019-12-06
CN110543836B CN110543836B (zh) 2022-05-10

Family

ID=68711661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910759439.5A Active CN110543836B (zh) 2019-08-16 2019-08-16 一种面向彩色图像的车辆检测方法

Country Status (1)

Country Link
CN (1) CN110543836B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102930301A (zh) * 2012-10-16 2013-02-13 西安电子科技大学 基于特征权重学习与核稀疏表示的图像分类方法
CN103761531A (zh) * 2014-01-20 2014-04-30 西安理工大学 基于形状轮廓特征的稀疏编码车牌字符识别方法
CN104134068A (zh) * 2014-08-12 2014-11-05 江苏理工学院 基于稀疏编码的监控车辆特征表示及分类方法
US20160012314A1 (en) * 2013-03-15 2016-01-14 Karthikeyan Ramamurthy Ensemble sparse models for image analysis and restoration
CN105930812A (zh) * 2016-04-27 2016-09-07 东南大学 一种基于融合特征稀疏编码模型的车辆品牌类型识别方法
CN106203368A (zh) * 2016-07-18 2016-12-07 江苏科技大学 一种基于src和svm组合分类器的交通视频车辆识别方法
CN109858546A (zh) * 2019-01-28 2019-06-07 北京工业大学 一种基于稀疏表示的图像识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102930301A (zh) * 2012-10-16 2013-02-13 西安电子科技大学 基于特征权重学习与核稀疏表示的图像分类方法
US20160012314A1 (en) * 2013-03-15 2016-01-14 Karthikeyan Ramamurthy Ensemble sparse models for image analysis and restoration
CN103761531A (zh) * 2014-01-20 2014-04-30 西安理工大学 基于形状轮廓特征的稀疏编码车牌字符识别方法
CN104134068A (zh) * 2014-08-12 2014-11-05 江苏理工学院 基于稀疏编码的监控车辆特征表示及分类方法
CN105930812A (zh) * 2016-04-27 2016-09-07 东南大学 一种基于融合特征稀疏编码模型的车辆品牌类型识别方法
CN106203368A (zh) * 2016-07-18 2016-12-07 江苏科技大学 一种基于src和svm组合分类器的交通视频车辆识别方法
CN109858546A (zh) * 2019-01-28 2019-06-07 北京工业大学 一种基于稀疏表示的图像识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XU JIA ETC.: "Visual tracking via adaptive structural local sparse appearance model", 《IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION(CVPR)》 *
王悦行: "基于随机投影和稀疏表示的跟踪算法", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Also Published As

Publication number Publication date
CN110543836B (zh) 2022-05-10

Similar Documents

Publication Publication Date Title
Chabot et al. Deep manta: A coarse-to-fine many-task network for joint 2d and 3d vehicle analysis from monocular image
Zhou et al. Robust vehicle detection in aerial images using bag-of-words and orientation aware scanning
Kafai et al. Dynamic Bayesian networks for vehicle classification in video
Hoiem et al. 3d layoutcrf for multi-view object class recognition and segmentation
CN111914664A (zh) 基于重识别的车辆多目标检测和轨迹跟踪方法
CN107368807B (zh) 一种基于视觉词袋模型的监控视频车型分类方法
CN110826389B (zh) 基于注意力3d频率卷积神经网络的步态识别方法
Ren et al. 3d-a-nets: 3d deep dense descriptor for volumetric shapes with adversarial networks
Chetverikov et al. Dynamic texture as foreground and background
CN113449784B (zh) 基于先验属性图谱的图像多分类方法、装置、设备及介质
Ouyang et al. Vehicle target detection in complex scenes based on YOLOv3 algorithm
Jiang et al. Multi-class fruit classification using RGB-D data for indoor robots
Ward et al. RGB-D image-based object detection: from traditional methods to deep learning techniques
Du et al. Linear dynamical systems approach for human action recognition with dual-stream deep features
Sharma et al. Automatic facial expression recognition using combined geometric features
Harianto et al. Data augmentation and faster rcnn improve vehicle detection and recognition
Huynh et al. Convolutional neural network for motorbike detection in dense traffic
Vafadar et al. A vision based system for communicating in virtual reality environments by recognizing human hand gestures
CN111832463A (zh) 一种基于深度学习的交通标志检测方法
CN110543836B (zh) 一种面向彩色图像的车辆检测方法
CN113887509B (zh) 一种基于图像集合的快速多模态视频人脸识别方法
Andrearczyk Deep learning for texture and dynamic texture analysis
Garcia-Fidalgo et al. Methods for Appearance-based Loop Closure Detection
Dadgostar et al. Gesture-based human–machine interfaces: a novel approach for robust hand and face tracking
Tang et al. Rapid forward vehicle detection based on deformable Part Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant