CN107292233A - 辅助驾驶中基于部件的行人检测和基于特征的跟踪方法、系统 - Google Patents
辅助驾驶中基于部件的行人检测和基于特征的跟踪方法、系统 Download PDFInfo
- Publication number
- CN107292233A CN107292233A CN201710343963.5A CN201710343963A CN107292233A CN 107292233 A CN107292233 A CN 107292233A CN 201710343963 A CN201710343963 A CN 201710343963A CN 107292233 A CN107292233 A CN 107292233A
- Authority
- CN
- China
- Prior art keywords
- mrow
- mtd
- detection
- tracking
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了辅助驾驶中基于部件的行人检测和基于特征的跟踪方法、系统，方法包括：1)检测阶段，2)验证阶段，3)基于检测的跟踪阶段。本发明通过引入基于部件的分阶段检测方法(PPD)使得整个系统能够有效地缓解行人遮挡产生误检测问题，以及在基于检测的跟踪阶段引入基于检测的跟踪算法，能够提高系统的检测率。
Description
技术领域
本发明涉及高级驾驶辅助系统的计算机视觉技术，特别涉及辅助驾驶中基于部件的行人检测和基于特征的跟踪方法、系统。
背景技术
随着经济的发展，人们的购买力越来越强，越来越多的汽车行驶在公路上，随之而来的是车祸的发生量也越来越多。因为驾驶员或者行人的疏忽大意、违规操作等原因，车祸中人员的伤亡率越来越高，人们迫切需要一种技术减少交通事故的发生，尤其是减小人员受到的伤害，高级驾驶辅助系统(ADAS)正是在这样的背景下产生的。其中，行人检测系统是基于计算机视觉的高级驾驶辅助系统中非常重要的一部分，它是直接针对行人保护的系统，力图减少交通事故的发生量。由于目标的极端变化，照明条件，遮挡和高速车辆运动，检测行人对于汽车视觉系统仍然是一项具有挑战性的任务。在过去十年中，大量研究集中在这个问题上，其中，分类器在所提出的不同方法中获得了特殊的地位。许多标准特征和学习算法已经被用于行人检测。常见的选择包括基于类似Haar的特征的AdaBoost级联，或者是HOG+SVM，也有使用其他特征的，如edgelet、梯度图的变化、简单强度图像等等。在P.Viola,M.J.Jones,and D.Snow,“Detecting pedestrians using patterns of motion andappearance,”Int.J.Comput.Vis.,vol.63,no.2,pp.153–161,Jul.2005.[Online].Available:http://dx.doi.org/10.1007/s11263-005-6644-8中描述的基于类似Haar特征的级联分类器是用于行人检测的非常快速的算法。这种方法的缺点是与行人的外观的紧密联系以及由此导致的鲁棒性的缺乏。另一种方案是使用N.Dalal and B.Triggs,“Histograms of oriented gradients for human detection,”in Proc.IEEEComput.Soc.Conf.CVPR,2005,vol.1,pp.886–893.中提出的HOG和支持向量机(SVM)的解决方案。以速度为代价，该算法更加鲁棒，并且能在更困难的情况下检测行人。将行人形状分解成多个部件在该领域中变得越来越受关注，在X.Mao,F.Qi,and W.Zhu,“Multiple-partbased pedestrian detection using interfering object detection,”in Proc.3rdICNC,2007,vol.2,pp.165–169.中，开发了一种基于Viola的Adaboost级联框架的系统，使用除了Haar特征之外的边缘特征来改善行人轮廓的检测；此外，引入了干扰对象的概念，即在特征级别上与人类相似的对象。在Part-based Pedestrian Detection and Feature-based Tracking for Driver Assistance Prioletti,Antonio；Andreas；Grislieri,Paolo；Trivedi,Mohan；Broggi,Alberto；Moeslund,Thomas B.Published in:IE E E Transactions on Intelligent Transportation SystemsDOI(link topublication from Publisher):10.1109/TITS.2013.2262045Publication date:2013，提出了一种的基于部件的分阶段检测方法(PPD)，其将未知部件位置建模为SVM框架中的潜变量。针对检测高度可变对象(例如行人)本质上是使用跟踪模块，但是在复杂场景中跟踪可变数量的对象是一个具有挑战性的过程。为了应对这种问题，通常使用逐个跟踪检测的方法，即在单独的帧中检测行人，然后再在各帧之间进行关联。
但是现有的方法都不能很好的解决带有假阳性可能的不连续检测的问题和缺失检测的问题。
发明内容
本发明要解决的技术问题是，提供用以降低假阳性的数量的辅助驾驶中基于部件的行人检测和基于特征的跟踪方法，并使用基于特征的跟踪来过滤存活候选者以增强识别鲁棒性并提高结果的稳定性。
解决上述技术问题，本发明提供了辅助驾驶中基于部件的行人检测和基于特征的跟踪方法，包括如下步骤：
1)检测阶段
1-1)输入原始图像，对所述原始图像通过积分图像的方法构造所述原始图像的矩形特征，
1-2)通过Haar级联分类器对上述矩形特征分类得到强分类器，
2)验证阶段
2-1)对上述检测的结果得到的感兴趣区域Region of Interest进行HOG特征提取，然后对特征使用支持向量机SVM进行分类，
2-2)上述分类包括：部件验证和/或组合验证，
3)基于检测的跟踪阶段
3-1)对SVM的检测结果保留一设定时间，
3-2)将上述验证阶段的结果与上述检测结果匹配后得到最终的行人位置。
更进一步，所述步骤1-1)包括如下步骤：
使用下述至少三种特征：双矩形特征、三矩形特征以及四矩形特征，首先求出积分图像，然后计算矩阵特征。
更进一步，所述步骤1-2)包括如下步骤：
对每个计算得到的矩阵特征构造T个弱分类器，再根据T个弱分类器进行加权线性组合构造出强分类器。
更进一步，所述组合验证具体为：
将行人分成三部件：全身、上身和下身，其中上下身比例为1:1；
利用HOG-SVM分类器对上述三个部件进行检测，然后利用组合验证的方式得到最终结果
其中，lout是最终决定，li是来自三个基于部件的检测器之一的输出。
更进一步，所述设定时间为：250ms。
更进一步，所述部件验证具体为：
提取图像的HOG特征,
计算梯度后进行方向bin统计，
最后对梯度强度做归一化，将归一化处理之后的向量最为最终的HOG描述符。
基于上述，本发明还提供了辅助驾驶中基于部件的行人检测和基于特征的跟踪系统，包括：
检测单元，用以输入原始图像，对所述原始图像通过积分图像的方法构造所述原始图像的矩形特征，通过Haar级联分类器对上述矩形特征分类得到强分类器，
验证单元，用以对上述检测的结果得到的感兴趣区域Region of Interest进行HOG特征提取，然后对部件特征使用支持向量机SVM进行分类，其中上述分类包括：部件验证和/或组合验证，
基于检测的跟踪单元，用以对SVM的检测结果保留一设定时间，将上述验证阶段的结果与上述检测结果匹配后跟踪得到最终的行人位置。
更进一步，所述检测单元还用以，使用下述至少三种特征：双矩形特征、三矩形特征以及四矩形特征，首先求出积分图像，然后计算矩阵特征，
以及，对每个计算得到的矩阵特征构造T个弱分类器，再根据T个弱分类器进行加权线性组合构造出强分类器。
更进一步，所述验证单元还用以，将行人分成三部件：全身、上身和下身，其中上下身比例为1:1；
利用HOG-SVM分类器对上述三个部件进行检测，然后利用组合验证的方式得到最终结果
其中，lout是最终决定，li是来自三个基于部件的检测器之一的输出。
更进一步，所述基于检测的跟踪单元还用以，
提取图像的HOG特征,
计算梯度后进行方向bin统计，
最后对梯度强度做归一化，将归一化处理之后的向量最为最终的HOG描述符
本发明的有益效果：
在本发明中在检测阶段引入基于部件的分阶段检测方法(PPD)使得整个系统能够有效地缓解行人遮挡产生误检测问题，以及在基于检测的跟踪阶段引入基于检测的跟踪算法，能够提高系统的检测率。
本发明通过将基于部件的分阶段检测方法以及基于检测的跟踪算法引入辅助驾驶中的行人检测系统中去，从而提高行人检测率与鲁棒性，使得辅助驾驶系统更加稳健、安全。
附图说明
图1是本发明一实施例中的方法流程示意图；
图2是本发明一实施例中的方法流程示意图；
图3(a)-图3(d)是类Haar特征示意图；
图4是检测级联的过程示意图；
图5是检测器示意图；
图6是特征描述子示意图。
具体实施方式
现在将参考一些示例实施例描述本公开的原理。可以理解，这些实施例仅出于说明并且帮助本领域的技术人员理解和实施例本公开的目的而描述，而非建议对本公开的范围的任何限制。在此描述的本公开的内容可以以下文描述的方式之外的各种方式实施。
如本文中所述，术语“包括”及其各种变体可以被理解为开放式术语，其意味着“包括但不限于”。术语“基于”可以被理解为“至少部分地基于”。术语“一个实施例”可以被理解为“至少一个实施例”。术语“另一实施例”可以被理解为“至少一个其它实施例”。
图1是本发明一实施例中的方法流程示意图，本实施例中的一种辅助驾驶中基于两级分类器的行人检测方法，包括如下步骤：
步骤S101检测阶段
步骤S102输入原始图像，对所述原始图像通过积分图像的方法构造所述原始图像的矩形特征，通过Haar级联分类器对上述矩形特征分类得到强分类器。在上述步骤中的检测阶段，主要是对原始图像求积分图像，进而求出图像的提取矩形特征，接着使用Haar级联分类器，对每种特征构造弱分类器，并对弱分类器进行线性加权，构造强分类器。然后利用强分类器进行分类，从而使得检测器能够去除大部分错误的候选窗口。
步骤S201验证阶段
步骤S202对上述检测的结果得到的感兴趣区域Region of Interest进行HOG特征提取，然后对特征使用支持向量机SVM进行分类，上述分类包括：部件验证和/或组合验证，在上述步骤中的验证阶段，主要基于检测阶段的检测结果，对得到的感兴趣区域(ROI)进行HOG特征提取，然后对特征使用支持向量机(SVM)进行分类。在验证阶段，引入基于部件的分阶段检测方法(PPD)方法，利用组合验证的思想提高检测器在行人遮挡情况下的准确率。
步骤S301基于检测的跟踪阶段
步骤S302对SVM的检测结果保留一设定时间，将上述验证阶段的结果与上述检测结果匹配后得到最终的行人位置。在上述步骤中的跟踪阶段，通过保留检测到的结果一段时间，然后将验证阶段的结果与之前的检测结果进行匹配，从而得到最终的行人位置。引入跟踪阶段，可以有效地减少假阳性的数量，提高遮挡情况下的检测的稳定性。
图2是本发明一实施例中的方法流程示意图，在本实施例中的一种辅助驾驶中基于两级分类器的行人检测系统，包括：
检测单元100，用以输入原始图像，对所述原始图像通过积分图像的方法构造所述原始图像的矩形特征，通过Haar级联分类器对上述矩形特征分类得到强分类器，
验证单元200，用以对上述检测的结果得到的感兴趣区域Region of Interest进行HOG特征提取，然后对特征使用支持向量机SVM进行分类，其中上述分类包括：部件验证和/或组合验证，
基于检测的跟踪单元300，用以对SVM的检测结果保留一设定时间，将上述验证阶段的结果与上述检测结果匹配后得到最终的行人位置。
在所述检测单元100，使用积分图像的方法，构造原始图像的矩形特征，然后利用Haar级联分类器对特征进行分类。此方法的优势在于能够在初级阶段去除大部分错误的候选窗口，从而减少感兴趣区域(ROI)从而加速分类器的分类速度。
具体检测方法如下：
第一步，使用积分图像计算原始图像的矩形特征。使用三种特征：双矩形特征、三矩形特征以及四矩形特征。双矩形特征的值是两个矩形区域内的像素之和之间的差。这些区域具有相同的尺寸和形状，并且水平或垂直相邻(参见图3的(a),(b))。三矩形特征的值是中心矩形中的像素之和减去两个外部矩形中的像素之和(参见图3的(c))。最后，四矩形特征的值是矩形对角线上的两个矩形中的像素之和之间的差(参见图3的(d))。
首先求出积分图像。位置x，y处的积分图像包含x，y(包括端点)上方和左侧的像素的和：
其中ii(x，y)是积分图像，i(x，y)是原始图像。
然后计算矩阵特征，使用以下循环对：
s(x，y)＝s(x，y-1)+i(x，y)
ii(x，y)＝ii(x-1，y)+s(x，y)
其中s(x，y)是累积行和，s(x，-1)＝0，ii(-1，y)＝0)。
第二步，对每个特征来构造T个弱分类器，然后根据T个弱分类器加权线性组合构造强分类器，其中权重与训练误差成反比。
1)给定示例图像(x1，y1)，...，(xn，yn)，这里x是原始图像的24×24像素子窗口，yi＝0，1分别代表反例和正例。
2)初始化权重分别对应于yi＝0，1两种情况，其中m和l分别代表了正例和反例的数量。
3)更新权重。对于t＝1，…，T：
a)归一化权重
b)选择相对于加权误差的最佳弱分类器
∈t＝minf，p，θ∑iωi|h(xi，f，p，θ)-yi|，
其中，代表一个弱分类器，f(x)是特征，θ是阈值，p是指示不等式方向的极性。
c)定义ht(x)＝h(x，ft，pt，θt)其中ft，pt，θt是∈t的最小值。
d)更新权重：其中如果实例xi被正确分类，则ei＝0，否则ei＝1。
4)构造最终强分类器是：
其中
更进一步，级联分类器的结构如图4所示：一系列分类器应用于每个子窗口。来自第一分类器的肯定结果触发对第二分类器的评估，该第二分类器也被调整以实现非常高的检测率；来自第二分类器的肯定结果触发第三分类器，等等。任何点处的否定结果导致立即拒绝该子窗口。初始分类器消除了大量的负面示例，后续层消除额外的负面示例。
在一些实施例中，构建级联检测器的训练算法如下：
●选择每层可接受的最大假阳性率f以及最小可接受假阳性率d，选择期望的总假阳性率Ftarget
●设定正样本集P以及负样本集N
●F0＝1.0,D0＝1.0，i＝0
●当满足条件Fi＞Ftarget时循环
■i←i+1
■ni＝0,Fi＝Fi-1
■当满足条件Fi＞f×Fi-1时循环
◆ni←ni+1
◆使用Adaboost方法，用ni个特征训练数据集P和N得到一个分类器
◆用交叉验证集来评估当前级联分类器并设为Fi和Di
◆降低第i个分类器的阈值直到当前的级联分类器的检测率达到d×Di-1，这同样会影响到Fi
■
■如果Fi＞Ftarget，那么利用当前的级联检测器评估非人脸的图片，然后将
任何错误的检测结果放入到数据集N中。
在所述验证单元200，分为两个阶段：部件验证阶段和组合验证阶段。
上述的部件验证阶段：通过一个新的基于部件的HOG-SVM分类器，来验证候选人。在将ROI传递到SVM之前，需要预处理以添加背景并调整图像大小以确保HOG-SVM的良好性能。然后，单独部件验证和组合验证形成验证阶段。
在本实施例中的的算法使用经典HOG描述符，具体方法为：
提取图像的HOG特征。首先需要将整个图像进行规范化(归一化)。对每个颜色通道进行平方根gamma压缩(即gamma参数为1/2)：f(I)＝Iγ.然后计算梯度。首先用[-1,0,1]梯度算子对原图像做卷积运算，得到水平方向(以向右为正方向)的梯度分量，然后用[1,0,-1]梯度算子对原图像做卷积运算，得到竖直方向(以向上为正方向)的梯度分量。
然后在根据以下公式计算梯度幅值和方向：
GX(X，y)＝I(X+1，y)-I(X-1，y)
Gy(X，y)＝I(X，y+1)-I(X，y-1)
式中Gx(x，y),Gy(x，y)分别表示输入图像在像素点(x,y)处的水平方向梯度和垂直方向梯度。则G(x，y),α(x，y)分别为像素点(x,y)的梯度幅值和梯度方向。接下来进行方向bin统计。将图像分成若干个“单元格cell”，每个cell为8*8的像素大小。采用9个bin(bin的个数可根据实验效果来确定)的直方图来统计这8*8个像素的梯度信息，即将cell的梯度方向0～180度(或0～360度，考虑了正负，signed)分成9个方向块。如果这个像素的梯度方向是20-40度，直方图第2个bin即的计数就加1，这样，对cell内每个像素用梯度方向在直方图中进行加权投影，将其映射到对应的角度范围块内，就可以得到这个cell的梯度方向直方图了，就是该cell对应的9维特征向量(因为有9个bin)。
最后对梯度强度做归一化。把各个细胞单元组合成大的、空间上连通的区域(blocks)。这样，一个block内所有cell的特征向量串联起来便得到该block的HOG特征，使用L2-norm对block块内的HOG特征向量进行归一化处理。归一化之后的块描述符(向量)就是最终的HOG描述符。
在本实施例中组合验证，使用PPD方案从而使得分类器能够处理遮挡等情况。将行人分成三部件：全身、上身和下身，其中上下身比例为1:1。利用HOG-SVM分类器对这三个部件进行检测，然后利用组合验证的方式得到最终结果。具体计算方法是：
如果分类器检测到主体的特定部件，值将为1，如果未检测到该部件，则为-1。如果三个分类器中的至少两个将窗口标记为行人，则窗口被分类为是正确的检测，即最终以得票多的情况作为最终总的输出结果。
其中，lout是最终决定，li是来自三个基于部件的检测器之一的输出。回归输出分类使用来自验证阶段的SVM的三浮动值估计来训练新的分类器。
基于检测的跟踪单元300，使用一种基于检测的跟踪算法来提高检测率。跟踪器可以增加真阳性个数，因为检测器对类似遮挡等情况具有更高的稳定性，降低假阳性的个数，因为只有稳定的检测才会被考虑为行人。跟踪系统设计：当候选行人被SVM识别250ms(由于帧率的可变性而引入时间限制)后，被认为是真正的行人，并被引入到跟踪系统中。将行人特征将与新的候选行人匹配，并且它们的位置和描述符将用新的行人特征进行更新。
具体的匹配方法是：
为了得到稳定的特征位置，本申请中使用5×5的块和角掩模滤波器如图5来处理输入图像。然后利用非最大以及非最小抑制来处理滤波后的图像，从而产生候选特征点，特征点包含四类：块最大、块最小、角最大、角最小。本申请中假设相机运动是一个平滑轨迹，避免计算计算量大的旋转不变性以及平移不变性的特征描述子。给定两个特征点，通过计算误差矩阵的的绝对差值(SAD)的和来比较窗口的横向和纵向的sobel滤波器的响应值。为了加速匹配速度，本申请中将sobel响应值量化到8位上，以及对16个位置上的差进行求和，特征描述如图6。因为SAD可以利用单浮点SSE指令进行高效的计算，本申请中只用两类(横向和纵向的响应值)来评价误差矩阵。即使本申请中的实现非常有效，建立几千到一万个对应仍然需要时间在秒的数量级，因此对于在线应用来说太慢。在第一遍，本申请中匹配所有特征的一个子集，使用一个更大的邻域尺寸(因子3)的非最大抑制(NMS)来搜索。由于该子集比完整特征集小得多，因此匹配非常快。接下来，本申请中将图像中的每个特征分配给等间隔网格的50×50像素区间。给定所有稀疏特征匹配，本申请中计算每个区间的最小和最大位移。这些统计用于局部缩小最终的搜索空间，使得在同一时间实现更快、更多的匹配。如果候选点没有匹配用于搜索的标准特征(SVM没有检测出候选行人)，那么将进行全局图像的搜索。如果成功匹配到，则产生一个幽灵行人，在更新之后的0.5s后被删除。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
总体而言，本公开的各种实施例可以以硬件或专用电路、软件、逻辑或其任意组合实施。一些方面可以以硬件实施，而其它一些方面可以以固件或软件实施，该固件或软件可以由控制器、微处理器或其它计算设备执行。虽然本公开的各种方面被示出和描述为框图、流程图或使用其它一些绘图表示，但是可以理解本文描述的框、设备、系统、技术或方法可以以非限制性的方式以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其它计算设备或其一些组合实施。
此外，虽然操作以特定顺序描述，但是这不应被理解为要求这类操作以所示的顺序执行或是以顺序序列执行，或是要求所有所示的操作被执行以实现期望结果。在一些情形下，多任务或并行处理可以是有利的。类似地，虽然若干具体实现方式的细节在上面的讨论中被包含，但是这些不应被解释为对本公开的范围的任何限制，而是特征的描述仅是针对具体实施例。在分离的一些实施例中描述的某些特征也可以在单个实施例中组合地执行。相反对，在单个实施例中描述的各种特征也可以在多个实施例中分离地实施或是以任何合适的子组合的方式实施。
Claims (10)
1.辅助驾驶中基于部件的行人检测和基于特征的跟踪方法，其特征在于，包括如下步骤：
1)检测阶段
1-1)输入原始图像，对所述原始图像通过积分图像的方法构造所述原始图像的矩形特征，
1-2)通过Haar级联分类器对上述矩形特征分类得到强分类器，
2)验证阶段
2-1)对上述检测的结果得到的感兴趣区域Region of Interest进行HOG特征提取，然后对部件特征使用支持向量机SVM进行分类，
2-2)上述分类包括：部件验证和/或组合验证，
3)基于检测的跟踪阶段
3-1)对SVM的检测结果保留一设定时间，
3-2)将上述验证阶段的结果与上述检测结果匹配后跟踪得到最终的行人位置。
2.根据权利要求1所述的跟踪方法，其特征在于，所述步骤1-1)包括如下步骤：
使用下述至少三种特征：双矩形特征、三矩形特征以及四矩形特征，首先求出积分图像，然后计算矩阵特征。
3.根据权利要求2所述的跟踪方法，其特征在于，所述步骤1-2)包括如下步骤：
对每个计算得到的矩阵特征构造T个弱分类器，再根据T个弱分类器进行加权线性组合构造出强分类器。
4.根据权利要求1所述的跟踪方法，其特征在于，所述组合验证具体为：
将行人分成三部件：全身、上身和下身，其中上下身比例为1:1；
利用HOG-SVM分类器对上述三个部件进行检测，然后利用组合验证的方式得到最终结果
<mrow>
<msub>
<mi>l</mi>
<mrow>
<mi>o</mi>
<mi>u</mi>
<mi>t</mi>
</mrow>
</msub>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mn>1</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>i</mi>
<mo><</mo>
<mn>3</mn>
</mrow>
</msubsup>
<msub>
<mi>l</mi>
<mi>i</mi>
</msub>
<mo>&GreaterEqual;</mo>
<mn>1</mn>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mn>1</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>i</mi>
<mo><</mo>
<mn>3</mn>
</mrow>
</msubsup>
<msub>
<mi>l</mi>
<mi>i</mi>
</msub>
<mo><</mo>
<mn>1</mn>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中，lout是最终决定，li是来自三个基于部件的检测器之一的输出。
5.根据权利要求1所述的跟踪方法，其特征在于，所述设定时间为：250ms。
6.根据权利要求1所述的跟踪方法，其特征在于，所述部件验证具体为：
提取图像的HOG特征,
计算梯度后进行方向bin统计，
最后对梯度强度做归一化，将归一化处理之后的向量最为最终的HOG描述符。
7.一种辅助驾驶中基于部件的行人检测和基于特征的跟踪系统，其特征在于，包括：
检测单元，用以输入原始图像，对所述原始图像通过积分图像的方法构造所述原始图像的矩形特征，通过Haar级联分类器对上述矩形特征分类得到强分类器，
验证单元，用以对上述检测的结果得到的感兴趣区域Region of Interest进行HOG特征提取，然后对部件特征使用支持向量机SVM进行分类，其中上述分类包括：部件验证和/或组合验证，
基于检测的跟踪单元，用以对SVM的检测结果保留一设定时间，将上述验证阶段的结果与上述检测结果匹配后跟踪得到最终的行人位置。
8.根据权利要求7所述的跟踪系统，其特征在于，所述检测单元还用以，使用下述至少三种特征：双矩形特征、三矩形特征以及四矩形特征，首先求出积分图像，然后计算矩阵特征，
以及，对每个计算得到的矩阵特征构造T个弱分类器，再根据T个弱分类器进行加权线性组合构造出强分类器。
9.根据权利要求7所述的跟踪系统，其特征在于，所述验证单元还用以，将行人分成三部件：全身、上身和下身，其中上下身比例为1:1；
利用HOG-SVM分类器对上述三个部件进行检测，然后利用组合验证的方式得到最终结果
<mrow>
<msub>
<mi>l</mi>
<mrow>
<mi>o</mi>
<mi>u</mi>
<mi>t</mi>
</mrow>
</msub>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mn>1</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>i</mi>
<mo><</mo>
<mn>3</mn>
</mrow>
</msubsup>
<msub>
<mi>l</mi>
<mi>i</mi>
</msub>
<mo>&GreaterEqual;</mo>
<mn>1</mn>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mn>1</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>i</mi>
<mo><</mo>
<mn>3</mn>
</mrow>
</msubsup>
<msub>
<mi>l</mi>
<mi>i</mi>
</msub>
<mo><</mo>
<mn>1</mn>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中，lout是最终决定，li是来自三个基于部件的检测器之一的输出。
10.根据权利要求7所述的跟踪系统，其特征在于，所述基于检测的跟踪单元还用以，
提取图像的HOG特征,
计算梯度后进行方向bin统计，
最后对梯度强度做归一化，将归一化处理之后的向量最为最终的HOG描述符。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710343963.5A CN107292233A (zh) | 2017-05-16 | 2017-05-16 | 辅助驾驶中基于部件的行人检测和基于特征的跟踪方法、系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710343963.5A CN107292233A (zh) | 2017-05-16 | 2017-05-16 | 辅助驾驶中基于部件的行人检测和基于特征的跟踪方法、系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107292233A true CN107292233A (zh) | 2017-10-24 |
Family
ID=60093970
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710343963.5A Pending CN107292233A (zh) | 2017-05-16 | 2017-05-16 | 辅助驾驶中基于部件的行人检测和基于特征的跟踪方法、系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107292233A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109472302A (zh) * | 2018-10-29 | 2019-03-15 | 中国石油大学(华东) | 一种基于AdaBoost的支持向量机集成学习方法 |
| CN113158724A (zh) * | 2020-12-25 | 2021-07-23 | 神思电子技术股份有限公司 | 一种监控方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105260715A (zh) * | 2015-10-16 | 2016-01-20 | 中国人民解放军国防科学技术大学 | 面向偏僻地段的小动物目标检测方法 |
-
2017
- 2017-05-16 CN CN201710343963.5A patent/CN107292233A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105260715A (zh) * | 2015-10-16 | 2016-01-20 | 中国人民解放军国防科学技术大学 | 面向偏僻地段的小动物目标检测方法 |
Non-Patent Citations (5)
| Title |
|---|
| ANDREAS GEIGER等: "StereoScan: Dense 3d Reconstruction in Real-time", 《INTELLIGENT VEHICLES SYMPOSIUM》 * |
| ANTONIO PRIOLETTI等: "Part-Based Pedestrian Detection and Feature-Based Tracking for Driver Assistance: Real-Time, Robust Algorithms, and Evaluation", 《TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》 * |
| 徐光柱，雷帮军等: "《实用性目标检测与跟踪算法原理与应用》", 1 April 2015, 国防工业出版社 * |
| 陈慧岩: "《无人驾驶汽车概论》", 31 December 2014 * |
| 降爱莲等: "基于Adaboost-SVM级联分类器的行人检测", 《计算机工程与设计》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109472302A (zh) * | 2018-10-29 | 2019-03-15 | 中国石油大学(华东) | 一种基于AdaBoost的支持向量机集成学习方法 |
| CN113158724A (zh) * | 2020-12-25 | 2021-07-23 | 神思电子技术股份有限公司 | 一种监控方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8509478B2 (en) | Detection of objects in digital images | |
| CN109635694B (zh) | 一种行人检测方法、装置、设备及计算机可读存储介质 | |
| Wang et al. | Probabilistic inference for occluded and multiview on-road vehicle detection | |
| Zhang et al. | A pedestrian detection method based on SVM classifier and optimized Histograms of Oriented Gradients feature | |
| CN109993061B (zh) | 一种人脸检测与识别方法、系统以及终端设备 | |
| CN102779267A (zh) | 检测图像中特定对象区域的方法和设备 | |
| CN103679205A (zh) | 基于阴影假设和分层hog对称特征验证的前车检测方法 | |
| Kim et al. | Autonomous vehicle detection system using visible and infrared camera | |
| CN106600955A (zh) | 检测交通状态的方法、装置和电子设备 | |
| CN109284664A (zh) | 驾驶员辅助系统和护栏检测方法 | |
| Niknejad et al. | Occlusion handling using discriminative model of trained part templates and conditional random field | |
| Khairdoost et al. | Front and rear vehicle detection using hypothesis generation and verification | |
| Ranftl et al. | Face tracking using optical flow | |
| Lin et al. | Real-time single-stage vehicle detector optimized by multi-stage image-based online hard example mining | |
| Yao et al. | Coupled multivehicle detection and classification with prior objectness measure | |
| Mammeri et al. | North-American speed limit sign detection and recognition for smart cars | |
| Cai et al. | Vehicle Detection Based on Deep Dual‐Vehicle Deformable Part Models | |
| CN107292233A (zh) | 辅助驾驶中基于部件的行人检测和基于特征的跟踪方法、系统 | |
| Negri et al. | Benchmarking haar and histograms of oriented gradients features applied to vehicle detection | |
| Ali et al. | On-road vehicle detection using support vector machine and decision tree classifications | |
| Lin et al. | Fast vehicle detector for autonomous driving | |
| Dai et al. | Deeply supervised Z-style residual network devotes to real-time environment perception for autonomous driving | |
| Baró et al. | Fast traffic sign detection on greyscale images | |
| Brehar et al. | Scan window based pedestrian recognition methods improvement by search space and scale reduction | |
| Hong et al. | Runtime virtual lane prediction based on inverse perspective transformation and machine learning for lane departure warning in low-power embedded systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171024 |