CN105069472B - 一种基于卷积神经网络自适应的车辆检测方法 - Google Patents
一种基于卷积神经网络自适应的车辆检测方法 Download PDFInfo
- Publication number
- CN105069472B CN105069472B CN201510466424.1A CN201510466424A CN105069472B CN 105069472 B CN105069472 B CN 105069472B CN 201510466424 A CN201510466424 A CN 201510466424A CN 105069472 B CN105069472 B CN 105069472B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- sample
- cnn
- source
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2111—Selection of the most significant subset of features by using evolutionary computational techniques, e.g. genetic algorithms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
Abstract
本发明公开了一种基于卷积神经网络自适应的车辆检测方法，包括以下步骤：S1、离线训练：收集车辆样本和非车辆样本，组成源样本，对源样本进行预处理并训练源CNN车辆检测器；S2、离线自适应调整：自适应地调整步骤S1得到的源CNN车辆检测器，提高其在当前监控场景的准确率，得到目标CNN车辆检测器；S3、在线检测：获取检测图像，利用S2得到的目标CNN车辆检测器进行车辆检测并输出检测结果。本发明针对不同的监控场景自适应地调整在大样本上训练完成的基于卷积神经网络的即源CNN车辆检测器，使其成为能完成当前监控场景车辆检测任务的即目标CNN车辆检测器，能够对车辆进行精确检测，并且针对不同复杂场景具有自适应性。
Description
技术领域
本发明属于计算机视觉领域和智能交通技术领域，特别涉及一种基于卷积神经网络自适应的车辆检测方法。
背景技术
随着视频监控技术的发展，视频摄像机已经被广泛应用于各种监控场所。但是，视频摄像机数量的急剧增加导致传统的人工监控方式已经远远不能满足大范围监控的需要。因此，智能监控技术成为近年来计算机视觉领域和智能交通技术领域的研究重点。在智能监控技术中，车辆检测是一个关键技术，许多后续的分析都要依赖于精确的车辆检测结果。
目前大多数车辆检测方法都采用传统的检测方案，即首先滑动窗口截取子图像，然后对子图像进行车辆特征提取，最后识别所提取特征的类别(车辆或是背景)。当前主要的车辆特征有HOG特征、Gabor特征和STRIP特征等单一特征，或者这些单一特征组合而成的混合特征(HOG特征+Gabor特征，HOG特征+Haar-like特征等)；用于特征识别的车辆分类器主要有Adaboost、支持向量机或者神经网络。
公开号为CN103246896A的专利公开了“一种鲁棒性车辆实时检测与跟踪方法”，在检测时首先输入检测图像，其次提取检测图像的Haar-like特征，然后使用级联分类器对检测图像的Haar-like特征进行检测识别，最后根据识别出的车辆特征判断检测图像中车辆位置的信息。该方法缺乏对不同监控场景的适应性，只能从单一的视角对车辆进行检测，如果视频摄像机的拍摄角度发生了改变，该方法的检测效果将大大降低。另外，为了训练此专利中设计的车辆检测器，通常需要收集近万张的车辆样本，因此不可能针对不同视角重新训练车辆检测器，较难应用到实际的监控场景中。
公开号为CN103150903A的专利公开了“一种自适应学习的视频车辆检测方法”，首先从大样本训练集中提取若干种有区分力的图像特征，利用监督学习方法离线训练车辆检测器；然后在线优化车辆检测器，自动调整车辆检测器各个分量的结构和参数，使其具有自适应的学习能力；最后对检测结果的序列做后期处理，进一步提高车辆检测的精度。该专利虽然具有对监控场景的自适应性，但是采用的特征(包括虚拟线圈内的前景比例、虚拟线圈内的纹理变化、背景图像的亮度和背景图像的对比度)都是简单的图像特征，而非针对车辆进行学习得到的高层抽象特征，这些简单的图像特征在复杂的监控场景中缺乏较强的区分能力。
根据上述两种现有车辆检测方法的分析可知，基于简单特征和缺乏场景自适应性的车辆检测方法都达不到当前智能监控中精确车辆检测的要求。因此，我们需要一种针对不同复杂场景具有自适应性的、准确的车辆检测方法。
如今基于大数据的深度学习方法已经远远超越了传统的识别和检测方法，卷积神经网络(Convolutional Neural Network，简称CNN)是深度学习当前较为热门的方法之一。卷积神经网络通过对图像交替进行卷积和池化操作，逐渐提取图像的高层特征，再使用神经网络对特征分类，完成识别的功能。相比于传统的车辆检测方法，基于卷积神经网络的车辆检测方法提取到的高层特征能应对一定程度的偏移、尺度变化和形变，并且卷积神经网络通过从大样本中学习到车辆的本质特征，保证特征具有较强可分性；另外，由于特征的可分性强，卷积神经网络使用简单的分类器就能得到令人满意的检测结果，降低了模型的复杂度。虽然基于卷积神经网络的车辆检测方法具有较好的检测效果，但是由于此方法缺乏对监控场景的自适应性，当监控场景的视角变化时，无法使用此方法训练得到的卷积神经网络车辆检测器。
发明内容
本发明的目的在于克服现有技术的不足，提供一种针对不同的监控场景自适应地调整在大样本上训练完成的基于卷积神经网络的即源CNN车辆检测器，使其成为能完成当前监控场景车辆检测任务的即目标CNN车辆检测器，能够对车辆进行精确检测的基于卷积神经网络自适应的车辆检测方法。
本发明的目的是通过以下技术方案来实现的：一种基于卷积神经网络自适应的车辆检测方法，包括以下步骤：
S1、离线训练：收集车辆样本和非车辆样本，组成源样本，对源样本进行预处理并训练源CNN车辆检测器；
S2、离线自适应调整：自适应地调整步骤S1得到的源CNN车辆检测器，提高其在当前监控场景的准确率，得到目标CNN车辆检测器；
S3、在线检测：获取检测图像，利用S2得到的目标CNN车辆检测器进行车辆检测并输出检测结果。
进一步地，所述的步骤S1包括以下子步骤：
S11、收集源样本：从各种监控视频中截取大量的车辆样本，并且从不包含车辆的图像中随机截取大量的非车辆样本，组成源样本，并根据车辆样本的长宽比将所有车辆样本分成正面和背面车辆样本、侧面车辆样本、斜侧面车辆样本三类；
S12、对源样本进行预处理，包括以下子步骤：
S121、将全部车辆样本和非车辆样本进行尺度变换；
S122、将全部车辆样本进行水平翻转；
S123、将全部车辆样本随机地进行平移变换、尺度变换和旋转变换；
S124、将所有源样本进行归一化处理；
S13、训练源CNN车辆检测器：采用BP算法训练源CNN车辆检测器，每次迭代采用最小批的方式(mini-batches)计算网络误差，并以此误差更新源CNN车辆检测器中的参数；当达到预设的最大迭代次数(最大迭代次数根据实验效果决定)时或者在验证集上错误率不再下降时终止训练，获得源CNN车辆检测器。
进一步地，所述的步骤S2包括以下子步骤：
S21、收集目标样本：从当前监控视频中截取少量车辆样本和非车辆样本，组成目标样本；
S22、对目标样本进行预处理：将所有的目标样本进行尺度变换，然后进行归一化；
S23、对源CNN车辆检测器进行特征迁移，根据目标车辆样本特征与对应类别源车辆样本的平均特征之间的误差更新源CNN检测器中的参数，获得特征迁移之后的CNN车辆检测器；具体包括以下子步骤：
S231、利用源CNN车辆检测器分别提取源车辆样本的特征和目标车辆样本的特征；
S232、利用K-means算法对所有源车辆样本的特征进行聚类；
S233、计算每类源车辆样本的平均特征；
S234、计算每个目标车辆样本特征与每类源车辆样本平均特征之间相似度；
S235、寻找每个目标车辆样本特征与源车辆样本平均特征具有最大相似度的类别；
S236、计算每个目标车辆样本特征与对应类别源车辆样本平均特征的误差，并以此误差更新源CNN检测器中的参数，获得特征迁移之后的CNN车辆检测器；
S24、对特征迁移之后的CNN车辆检测器进行微调整，获得目标CNN车辆检测器，包括以下子步骤：
S241、从源车辆样本中寻找与目标车辆样本相似的车辆样本，加入到目标车辆样本中；
S242、设置远小于训练源CNN车辆检测器学习速率的学习速率，并采用训练源CNN检测器一样的方式训练特征迁移之后的CNN检测器，获得目标CNN车辆检测器。
进一步地，所述的步骤S3包括以下子步骤：
S31、获取检测图像：从监控摄像头中获取检测图像；
S32、对检测图像进行预处理：对检测图像进行均值滤波和归一化处理；
S33、构建图像金字塔：将检测图像构建图像金字塔；
S34、滑动窗口：以设定的窗口大小，在每一层图像金字塔上滑动窗口，截取子图像；
S35、进行特征提取：利用目标CNN车辆检测器提取子图像的特征；
S36、特征分类：利用目标CNN车辆检测器对特征进行分类，如果车辆检测器的输出值大于设定的阈值，则判定该子图像包含车辆，否则判定为背景；
S37、合并检测窗口并输出：待所有金字塔层都检测完成后，采用非最大压制的方法(Non-Maxinum Suppression)合并所有相交的检测结果；在检测图像中画出车辆检测结果，并将结果输出，完成当前监控场景的车辆检测。
进一步地，所述的步骤S242中设置的训练调整特征迁移之后的CNN检测器的学习速率为训练源CNN车辆检测器学习速率的千分之一。
本发明的有益效果是：采用基于卷积神经网络的车辆检测方法，提取到的高层特征能应对偏移、尺度变化和形变等变化，并且卷积神经网络通过从大样本中学习到车辆的本质特征，保证特征具有较强的可分性，卷积神经网络使用简单的分类器就能得到令人满意的检测结果，降低了模型的复杂度；并且本发明根据迁移学习的思想，针对不同的监控场景自适应地调整在大样本上训练完成的基于卷积神经网络的车辆检测器(即源CNN车辆检测器)，使其成为能完成当前监控场景车辆检测任务的新车辆检测器(即目标CNN车辆检测器)，能够对车辆进行精确检测，并且针对不同复杂场景具有自适应性，能够广泛地应用到实际的监控场景中。
附图说明
图1为本发明的检测方法流程图；
图2为本发明的侧面车辆的源CNN检测器网络结构的示意图。
具体实施方式
下面结合附图进一步说明本发明的技术方案。
本发明首先训练源CNN车辆检测器，它能适用于大多数监控场景但检测精确度达不到应用的要求。然后根据具体的监控场景，自适应地调整源CNN车辆检测器，获得目标CNN车辆检测器。最后，将目标CNN车辆检测器应用在具体的监控场景中，以此解决车辆检测场景适应性的问题。因此，如图1所示，本发明的一种基于卷积神经网络自适应的车辆检测方法，包括以下步骤：
S1、离线训练：收集车辆样本和非车辆样本，组成源样本，对源样本进行预处理并训练源CNN车辆检测器；具体包括以下子步骤：
S11、收集源样本：从各种监控视频中截取大量的车辆样本，并且从不包含车辆的图像中随机截取大量的非车辆样本，组成源样本，并根据车辆样本的长宽比将所有车辆样本分成正面和背面车辆样本、侧面车辆样本、斜侧面车辆样本三类；
S12、对源样本进行预处理，包括以下子步骤：
S121、将全部车辆样本和非车辆样本进行尺度变换；
S122、将全部车辆样本进行水平翻转；
S123、将全部车辆样本随机地进行平移变换、尺度变换和旋转变换，增加源CNN车辆检测器的鲁棒性；
S124、将所有源样本进行归一化处理；
本实施例从各种监控视频中收集了3600张车辆样本，根据样本的长宽比，将其划分为三类：侧面车辆、斜侧面车辆、正面和背面车辆。侧面车辆包含1200个样本，大小归一化为宽度92个像素和高度44个像素；斜侧面车辆包含1200个样本，大小归一化为宽度78个像素和高度48个像素；正面和背面车辆包含1200张车辆样本，大小归一化为宽度44个像素和高度44个像素。为了增加源CNN车辆检测器的鲁棒性，对车辆样本进行随机的尺度变换([0.9，1.1]倍)、平移变换([-4，+4]像素)和旋转变换([-20，+20]度)。侧面车辆样本和斜侧面车辆样本还进行水平翻转。那么，训练源CNN车辆检测器的样本包含了9600张侧面车辆样本，9600张斜侧面车辆样本，4800张正面和背面车辆样本。所有非车辆样本从1200张未包含车辆的图像中随机截取，其数量与车辆样本数量相同。所有源样本的像素值除以255，像素的取值范围归一化为[0,1]。
S13、训练源CNN车辆检测器：采用BP算法训练源CNN车辆检测器，每次迭代采用最小批的方式(mini-batches)计算网络误差，并以此误差更新源CNN车辆检测器中的参数；当达到预设的最大迭代次数(最大迭代次数根据实验效果决定，本实施例设定为500次)时或者在验证集上错误率不再下降时终止训练，获得源CNN车辆检测器。
设计源CNN车辆检测器的网络结构：源CNN车辆检测器的输入是一张RGB图像，输出是图像的分类标签。输入层根据车辆样本的大小变化，输出层仅包含单个神经元，输出1表示车辆，输出0表示非车辆。源CNN车辆检测器可以划分为两部分：特征提取器和分类器。特征提取器利用三个阶段提取图像的特征，交替地包含卷积层和池化层。分类器是一个不含隐藏层的全连接神经网络。侧面车辆的源CNN检测器网络结构如图2所示。
其中，表示特征图与卷积核之间的卷积操作，表示偏移量，为非饱和非线性激活函数。在卷积层之后，池化层无重叠地用一个固定大小的均值核扫描特征图形成池化层的特征图虽然三种源CNN车辆检测器的输入大小不同，但它们的特征提取器都采用相同的结构。如图2所示，在第一阶段有32张特征图，在第二阶段有32张特征图，在第三阶段有64张特征图。卷积层的卷积核小大为5*5。池化层采用均值池化，均值核大小为2*2。因此，对于侧面车辆，源CNN车辆检测器提取特征的维数为1024维；对于斜侧面车辆，源CNN车辆检测器提取特征的维数为768维；对于正面和背面车辆，源CNN车辆检测器提取特征的维数为256维；
源CNN车辆检测器用不含隐藏层的全连接神经网络对第三阶段输出的特征进行分类，根据输出值判定输入图像是否是车辆。源CNN车辆检测器输出的取值范围为[0,1]，若输出值大于设定阈值0.8，那么判定图像为车辆，反之判定图像为非车辆。
训练源CNN车辆检测器：源CNN车辆检测器采用BP算法进行训练，根据源CNN车辆检测器的输出与训练样本标签的误差更新源CNN车辆检测器的参数。在训练时，学习速率设定为0.01，每次迭代输入128个样本(64个车辆样本和64个非车辆样本)。当达到最大迭代次数时或者在验证集上错误率不再下降时终止训练，获得源CNN车辆检测器。
S2、离线自适应调整：通过多次的迭代训练，源CNN车辆检测器已经学习到了车辆的基本特征，并将其存储在了源CNN车辆检测器的参数中，理论上能完成车辆检测的任务，但是实际应用中的监控场景复杂多变，源CNN车辆检测器无法获得令人满意的检测精度，因此我们要对源CNN车辆检测器针对具体的监控场景进行自适应调整。自适应地调整步骤S1得到的源CNN车辆检测器，提高其在当前监控场景的准确率，避免了对每个监控场景都重新训练CNN车辆检测器的过程，提高了基于卷积神经网络进行车辆检测的适用性，得到目标CNN车辆检测器；具体包括以下子步骤：
S21、收集目标样本：从当前监控视频中截取少量车辆样本和非车辆样本，组成目标样本；
S22、对目标样本进行预处理：将所有的目标样本进行尺度变换，然后进行归一化；本实施例的目标车辆样本从当前的监控场景已有的视频中截取，共计300个车辆样本，目标非车辆样本从10张不包含车辆的当前监控视频帧中随机选取，共计6000个非车辆样本。接下来对样本进行尺度变换，侧面车辆归一化为宽度92个像素和高度44个像素，斜侧面车辆归一化为宽度78个像素和高度48个像素，正面和背面车辆归一化为宽度44个像素和高度44个像素。所有样本的像素值除以255，像素的取值范围归一化为[0,1]。
S23、对源CNN车辆检测器进行特征迁移，根据目标车辆样本特征与对应类别源车辆样本的平均特征之间的误差更新源CNN检测器中的参数，获得特征迁移之后的CNN车辆检测器；具体包括以下子步骤：
S231、利用源CNN车辆检测器分别提取源车辆样本的特征和目标车辆样本的特征；
S232、利用K-means算法对所有源车辆样本的特征进行聚类；
S233、计算每类源车辆样本的平均特征；
S234、计算每个目标车辆样本特征与每类源车辆样本平均特征之间相似度；
S235、寻找每个目标车辆样本特征与源车辆样本平均特征具有最大相似度的类别；
S236、计算每个目标车辆样本特征与对应类别源车辆样本平均特征的误差，并以此误差更新源CNN检测器中的参数，获得特征迁移之后的CNN车辆检测器；
特征迁移的目的是迁移源CNN车辆检测器中的参数，使得源CNN车辆检测器对目标车辆样本有较高的输出值。假定源车辆样本表示为目标车辆样本表示为通常源车辆样本数量S较大，目标车辆样本数量T较小。特征迁移的过程可以分为6个步骤。第一步，利用源CNN车辆检测器按照公式(1)的计算方式分别提取源车辆样本和目标车辆样本第三阶段的特征，分别记为和由于源车辆样本包含了各种场景的车辆样本，因此其中部分车辆样本与目标车辆样本相似，它们的第三阶段特征也应该相似。第二步，利用K-means算法对所有源车辆样本的特征进行聚类。假定源车辆样本被划分为C个类别，那么每一个子类具有相似的视角并且所提取的特征也相似。第三步，计算每类源车辆样本的平均特征，其计算方式如下：
第四步，对于每一个目标车辆样本j＝1,…,T，计算目标车辆样本的特征与每类源车辆样本平均特征c＝1,…,C之间相似度，建立相似度表φ，其计算方式如下：
第五步，寻找每个目标车辆样本特征与源车辆样本平均特征具有最大相似度的类别其计算方式如下：
第六步，计算每个目标车辆样本特征与对应类别源车辆样本平均特征的误差L，其计算方式如下：
并以此误差更新源CNN检测器中的参数，获得特征迁移之后的CNN车辆检测器。
S24、设置远小于训练源CNN车辆检测器学习速率的学习速率对特征迁移之后的CNN车辆检测器进行微调整，获得目标CNN车辆检测器，包括以下子步骤：
S241、从源车辆样本中寻找与目标车辆样本相似的车辆样本，加入到目标车辆样本中；
S242、设置远小于训练源CNN车辆检测器学习速率的学习速率，并采用训练源CNN检测器一样的方式训练特征迁移之后的CNN检测器，获得目标CNN车辆检测器。
特征迁移之后的CNN车辆检测器在一定程度上已经适应当前监控场景，但还需要进行微调整，使其在当前监控场景中更加稳定。由于目标车辆样本的数量较少，我们需要从源车辆样本寻找分布相似的车辆样本帮助微调整。用源车辆样本在目标领域中的概率与源车辆样本在源领域中的条件概率之比作为源车辆样本的可用程度i＝1,…,S，其计算方式如下：
其中，和分别表示源车辆样本在源领域和目标领域的条件概率，对和建模为
其中，和分别表示源车辆样本通过特征迁移之后的CNN车辆检测器和源CNN车辆检测器的输出值。如果源车辆样本能够被两个分类器正确的识别，那么和之比应该接近1。假定因为我们有相同的概率观察不同视角下的车辆。最终，源车辆样本在目标领域中的可用程度可以表示为
如果那么源车辆样本具有与目标车辆样本相似的视角，可以加入目标车辆样本中帮助特征迁移之后的CNN车辆检测器进行微调整。
在扩大目标车辆样本之后，对特征迁移之后的CNN车辆检测器进行微调整。微调整的方式与源CNN车辆检测器的训练方式一样，不同的是设置远小于训练源CNN车辆检测器学习速率的学习速率(为训练源CNN车辆检测器学习速率的千分之一)。当达到最大迭代次数或者目标CNN车辆检测器在验证集上的错误率不再下降时终止微调整，此时获得目标CNN车辆检测器。
通过自适应调整的目标CNN车辆检测器提高了源CNN车辆检测器在当前监控场景的检测精度，解决了场景适应性的问题。
S3、在线检测：获取检测图像，利用S2得到的目标CNN车辆检测器进行车辆检测并输出检测结果；具体包括以下子步骤：
S31、获取检测图像：从当前监控场景的摄像头解析数据，获取当前时间的检测图像；
S32、对检测图像进行预处理：对检测图像进行均值滤波和归一化处理；用大小为5*5的均值核对检测图像进行一次均值滤波，去除图像中的噪声，再对检测图像所有像素值除以255，使其取值范围限定在[0,1]之间；
S33、构建图像金字塔：将检测图像构建图像金字塔；对检测图像构建8层图像金字塔，所对应的变换尺度为：[0.28,0.40,0.52,0.64,0.76,0.88,1.0,1.12]；
S34、滑动窗口：以设定的窗口大小，在每一层图像金字塔上滑动窗口，截取子图像；本实施例预设的窗口大小为：侧面车辆为92*44，斜侧面车辆为78*48，正面和背面车辆为44*44；
S35、进行特征提取：利用目标CNN车辆检测器提取子图像的特征，形成64张特征图，并串联这些特征图，形成一列特征向量；
S36、特征分类：利用目标CNN车辆检测器对特征进行分类，如果车辆检测器的输出值大于设定的阈值0.8，则判定该子图像包含车辆，否则判定为背景；
S37、合并检测窗口并输出：待所有金字塔层都检测完成后，采用非最大压制的方法(Non-Maxinum Suppression)合并所有相交的检测结果；在检测图像中画出车辆检测结果，并将结果输出，完成当前监控场景的车辆检测。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。
Claims (3)
1.一种基于卷积神经网络自适应的车辆检测方法，其特征在于，包括以下步骤：
S1、离线训练：收集车辆样本和非车辆样本，组成源样本，对源样本进行预处理并训练源CNN车辆检测器；包括以下子步骤：
S11、收集源样本：从各种监控视频中截取大量的车辆样本，并且从不包含车辆的图像中随机截取大量的非车辆样本，组成源样本，并根据车辆样本的长宽比将所有车辆样本分成正面和背面车辆样本、侧面车辆样本、斜侧面车辆样本三类；
S12、对源样本进行预处理，包括以下子步骤：
S121、将全部车辆样本和非车辆样本进行尺度变换；
S122、将全部车辆样本进行水平翻转；
S123、将全部车辆样本随机地进行平移变换、尺度变换和旋转变换；
S124、将所有源样本进行归一化处理；
S13、训练源CNN车辆检测器：采用BP算法训练源CNN车辆检测器，每次迭代采用最小批的方式(mini-batches)计算网络误差，并以此误差更新源CNN车辆检测器中的参数；当达到预设的最大迭代次数时或者在验证集上错误率不再下降时终止训练，获得源CNN车辆检测器；
S2、离线自适应调整：自适应地调整步骤S1得到的源CNN车辆检测器，提高其在当前监控场景的准确率，得到目标CNN车辆检测器；包括以下子步骤：
S21、收集目标样本：从当前监控视频中截取少量车辆样本和非车辆样本，组成目标样本；
S22、对目标样本进行预处理：将所有的目标样本进行尺度变换，然后进行归一化；
S23、对源CNN车辆检测器进行特征迁移，根据目标车辆样本特征与对应类别源车辆样本的平均特征之间的误差更新源CNN检测器中的参数，获得特征迁移之后的CNN车辆检测器；具体包括以下子步骤：
S231、利用源CNN车辆检测器分别提取源车辆样本的特征和目标车辆样本的特征；
S232、利用K-means算法对所有源车辆样本的特征进行聚类；
S233、计算每类源车辆样本的平均特征；
S234、计算每个目标车辆样本特征与每类源车辆样本平均特征之间相似度；
S235、寻找每个目标车辆样本特征与源车辆样本平均特征具有最大相似度的类别；
S236、计算每个目标车辆样本特征与对应类别源车辆样本平均特征的误差，并以此误差更新源CNN检测器中的参数，获得特征迁移之后的CNN车辆检测器；
S24、对特征迁移之后的CNN车辆检测器进行微调整，获得目标CNN车辆检测器，包括以下子步骤：
S241、从源车辆样本中寻找与目标车辆样本相似的车辆样本，加入到目标车辆样本中；
S242、设置远小于训练源CNN车辆检测器学习速率的学习速率，并采用训练源CNN检测器一样的方式训练特征迁移之后的CNN检测器，获得目标CNN车辆检测器；
S3、在线检测：获取检测图像，利用S2得到的目标CNN车辆检测器进行车辆检测并输出检测结果。
2.根据权利要求1所述的基于卷积神经网络自适应的车辆检测方法，其特征在于，所述的步骤S3包括以下子步骤：
S31、获取检测图像：从监控摄像头中获取检测图像；
S32、对检测图像进行预处理：对检测图像进行均值滤波和归一化处理；
S33、构建图像金字塔：将检测图像构建图像金字塔；
S34、滑动窗口：以设定的窗口大小，在每一层图像金字塔上滑动窗口，截取子图像；
S35、进行特征提取：利用目标CNN车辆检测器提取子图像的特征；
S36、特征分类：利用目标CNN车辆检测器对特征进行分类，如果车辆检测器的输出值大于设定的阈值，则判定该子图像包含车辆，否则判定为背景；
S37、合并检测窗口并输出：待所有金字塔层都检测完成后，采用非最大压制的方法(Non-Maxinum Suppression)合并所有相交的检测结果；在检测图像中画出车辆检测结果，并将结果输出，完成当前监控场景的车辆检测。
3.根据权利要求1所述的基于卷积神经网络自适应的车辆检测方法，其特征在于，所述的步骤S242中设置的训练调整特征迁移之后的CNN检测器的学习速率为训练源CNN车辆检测器学习速率的千分之一。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510466424.1A CN105069472B (zh) | 2015-08-03 | 2015-08-03 | 一种基于卷积神经网络自适应的车辆检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510466424.1A CN105069472B (zh) | 2015-08-03 | 2015-08-03 | 一种基于卷积神经网络自适应的车辆检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105069472A CN105069472A (zh) | 2015-11-18 |
| CN105069472B true CN105069472B (zh) | 2018-07-27 |
Family
ID=54498833
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510466424.1A Expired - Fee Related CN105069472B (zh) | 2015-08-03 | 2015-08-03 | 一种基于卷积神经网络自适应的车辆检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105069472B (zh) |
Families Citing this family (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106874923A (zh) * | 2015-12-14 | 2017-06-20 | 阿里巴巴集团控股有限公司 | 一种商品的风格分类确定方法及装置 |
| CN108496185B (zh) * | 2016-01-18 | 2022-09-16 | 北京市商汤科技开发有限公司 | 用于对象检测的系统和方法 |
| CN107205162A (zh) * | 2016-03-16 | 2017-09-26 | 阿里巴巴集团控股有限公司 | 视频识别方法及装置 |
| CN107506775A (zh) * | 2016-06-14 | 2017-12-22 | 北京陌上花科技有限公司 | 模型训练方法及装置 |
| CN106127815B (zh) * | 2016-07-21 | 2019-04-09 | 广东工业大学 | 一种融合卷积神经网络的跟踪方法及系统 |
| CN106408015A (zh) * | 2016-09-13 | 2017-02-15 | 电子科技大学成都研究院 | 基于卷积神经网络的岔路口识别及深度估计方法 |
| CN108460983A (zh) * | 2017-02-19 | 2018-08-28 | 泓图睿语（北京）科技有限公司 | 基于卷积神经网络的停车位状态检测方法 |
| CN106991439A (zh) * | 2017-03-28 | 2017-07-28 | 南京天数信息科技有限公司 | 基于深度学习与迁移学习的图像识别方法 |
| CN107016366A (zh) * | 2017-03-29 | 2017-08-04 | 浙江师范大学 | 一种基于自适应滑动窗口和卷积神经网络的路牌检测方法 |
| CN107220603A (zh) * | 2017-05-18 | 2017-09-29 | 惠龙易通国际物流股份有限公司 | 基于深度学习的车辆检测方法及装置 |
| CN107766789B (zh) * | 2017-08-21 | 2020-05-29 | 浙江零跑科技有限公司 | 一种基于车载单目相机的车辆检测定位方法 |
| US11055989B2 (en) * | 2017-08-31 | 2021-07-06 | Nec Corporation | Viewpoint invariant object recognition by synthesization and domain adaptation |
| TW201915966A (zh) * | 2017-09-18 | 2019-04-16 | 范三偉 | 警示駕駛人側後方來車的方法、裝置及系統 |
| CN107766821B (zh) * | 2017-10-23 | 2020-08-04 | 江苏鸿信系统集成有限公司 | 基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法及系统 |
| CN107886064B (zh) * | 2017-11-06 | 2021-10-22 | 安徽大学 | 一种基于卷积神经网络的人脸识别场景适应的方法 |
| CN108229591B (zh) * | 2018-03-15 | 2020-09-22 | 北京市商汤科技开发有限公司 | 神经网络自适应训练方法和装置、设备、程序和存储介质 |
| CN108427972A (zh) * | 2018-04-24 | 2018-08-21 | 云南佳叶现代农业发展有限公司 | 基于在线学习的烟叶分类方法及其系统 |
| CN108647723B (zh) * | 2018-05-11 | 2020-10-13 | 湖北工业大学 | 一种基于深度学习网络的图像分类方法 |
| CN108921013B (zh) * | 2018-05-16 | 2020-08-18 | 浙江零跑科技有限公司 | 一种基于深度神经网络的视觉场景识别系统及方法 |
| CN110516514B (zh) * | 2018-05-22 | 2022-09-30 | 杭州海康威视数字技术股份有限公司 | 一种目标检测模型的建模方法和装置 |
| CN108664953B (zh) * | 2018-05-23 | 2021-06-08 | 清华大学 | 一种基于卷积自编码器模型的图像特征提取方法 |
| CN109308475A (zh) * | 2018-07-26 | 2019-02-05 | 北京百悟科技有限公司 | 一种字体识别方法及装置 |
| CN109146880A (zh) * | 2018-09-30 | 2019-01-04 | 亿嘉和科技股份有限公司 | 一种基于深度学习的电力设备检测方法 |
| CN109612513B (zh) * | 2018-12-17 | 2021-10-15 | 安徽农业大学 | 一种面向大规模高维传感器数据的在线式异常检测方法 |
| CN109658442B (zh) * | 2018-12-21 | 2023-09-12 | 广东工业大学 | 多目标跟踪方法、装置、设备及计算机可读存储介质 |
| CN109782600A (zh) * | 2019-01-25 | 2019-05-21 | 东华大学 | 一种通过虚拟环境建立自主移动机器人导航系统的方法 |
| CN110210468B (zh) * | 2019-05-29 | 2022-12-16 | 电子科技大学 | 一种基于卷积神经网络特征融合迁移的文字识别方法 |
| CN110991337B (zh) * | 2019-12-02 | 2023-08-25 | 山东浪潮科学研究院有限公司 | 一种基于自适应双路检测网络的车辆检测方法 |
| US11961335B1 (en) | 2020-06-26 | 2024-04-16 | Harris County Toll Road Authority | Dual mode electronic toll road system |
| CN112417953B (zh) * | 2020-10-12 | 2022-07-19 | 腾讯科技（深圳）有限公司 | 道路状况检测和地图数据更新方法、装置、系统及设备 |
| CN112861616B (zh) * | 2020-12-31 | 2022-10-11 | 电子科技大学 | 一种无源领域自适应目标检测方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103150903A (zh) * | 2013-02-07 | 2013-06-12 | 中国科学院自动化研究所 | 一种自适应学习的视频车辆检测方法 |
| CN103246896A (zh) * | 2013-05-24 | 2013-08-14 | 成都方米科技有限公司 | 一种鲁棒性车辆实时检测与跟踪方法 |
| CN104036323A (zh) * | 2014-06-26 | 2014-09-10 | 叶茂 | 一种基于卷积神经网络的车辆检测方法 |
| CN104463241A (zh) * | 2014-10-31 | 2015-03-25 | 北京理工大学 | 一种智能交通监控系统中的车辆类型识别方法 |
| CN104504395A (zh) * | 2014-12-16 | 2015-04-08 | 广州中国科学院先进技术研究所 | 基于神经网络实现人车分类的方法和系统 |
| CN104537387A (zh) * | 2014-12-16 | 2015-04-22 | 广州中国科学院先进技术研究所 | 利用神经网络实现车型分类的方法和系统 |
| CN104700099A (zh) * | 2015-03-31 | 2015-06-10 | 百度在线网络技术（北京）有限公司 | 识别交通标志的方法和装置 |
| CN104809443A (zh) * | 2015-05-05 | 2015-07-29 | 上海交通大学 | 基于卷积神经网络的车牌检测方法及系统 |
-
2015
- 2015-08-03 CN CN201510466424.1A patent/CN105069472B/zh not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103150903A (zh) * | 2013-02-07 | 2013-06-12 | 中国科学院自动化研究所 | 一种自适应学习的视频车辆检测方法 |
| CN103246896A (zh) * | 2013-05-24 | 2013-08-14 | 成都方米科技有限公司 | 一种鲁棒性车辆实时检测与跟踪方法 |
| CN104036323A (zh) * | 2014-06-26 | 2014-09-10 | 叶茂 | 一种基于卷积神经网络的车辆检测方法 |
| CN104463241A (zh) * | 2014-10-31 | 2015-03-25 | 北京理工大学 | 一种智能交通监控系统中的车辆类型识别方法 |
| CN104504395A (zh) * | 2014-12-16 | 2015-04-08 | 广州中国科学院先进技术研究所 | 基于神经网络实现人车分类的方法和系统 |
| CN104537387A (zh) * | 2014-12-16 | 2015-04-22 | 广州中国科学院先进技术研究所 | 利用神经网络实现车型分类的方法和系统 |
| CN104700099A (zh) * | 2015-03-31 | 2015-06-10 | 百度在线网络技术（北京）有限公司 | 识别交通标志的方法和装置 |
| CN104809443A (zh) * | 2015-05-05 | 2015-07-29 | 上海交通大学 | 基于卷积神经网络的车牌检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105069472A (zh) | 2015-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105069472B (zh) | 一种基于卷积神经网络自适应的车辆检测方法 | |
| WO2021208275A1 (zh) | 一种交通视频背景建模方法及系统 | |
| CN106570486B (zh) | 基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法 | |
| CN105518709B (zh) | 用于识别人脸的方法、系统和计算机程序产品 | |
| CN103942577B (zh) | 视频监控中基于自建立样本库及混合特征的身份识别方法 | |
| CN104517104B (zh) | 一种基于监控场景下的人脸识别方法及系统 | |
| CN102542289B (zh) | 一种基于多高斯计数模型的人流量统计方法 | |
| CN103503029B (zh) | 检测面部特性的方法 | |
| CN106529499A (zh) | 基于傅里叶描述子和步态能量图融合特征的步态识别方法 | |
| CN105160310A (zh) | 基于3d卷积神经网络的人体行为识别方法 | |
| CN103605971B (zh) | 一种捕获人脸图像的方法及装置 | |
| CN110298297A (zh) | 火焰识别方法和装置 | |
| CN108416780B (zh) | 一种基于孪生-感兴趣区域池化模型的物体检测与匹配方法 | |
| CN106295532B (zh) | 一种视频图像中的人体动作识别方法 | |
| CN107767416B (zh) | 一种低分辨率图像中行人朝向的识别方法 | |
| CN111582092B (zh) | 一种基于人体骨架的行人异常行为检测方法 | |
| Kuang et al. | Real-time pedestrian detection using convolutional neural networks | |
| Bak et al. | Two-stream convolutional networks for dynamic saliency prediction | |
| CN108280421A (zh) | 基于多特征深度运动图的人体行为识别方法 | |
| CN109190456A (zh) | 基于聚合通道特征和灰度共生矩阵的多特征融合俯视行人检测方法 | |
| CN109784230A (zh) | 一种人脸视频图像质量寻优方法、系统及设备 | |
| CN106874825A (zh) | 人脸检测的训练方法、检测方法和装置 | |
| CN111723773A (zh) | 遗留物检测方法、装置、电子设备及可读存储介质 | |
| Chen et al. | Region-aware network: Model human’s top-down visual perception mechanism for crowd counting | |
| CN106529441A (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180727 Termination date: 20190803 |