CN104484680A - 一种多模型多阈值组合的行人检测方法 - Google Patents
一种多模型多阈值组合的行人检测方法 Download PDFInfo
- Publication number
- CN104484680A CN104484680A CN201410503998.7A CN201410503998A CN104484680A CN 104484680 A CN104484680 A CN 104484680A CN 201410503998 A CN201410503998 A CN 201410503998A CN 104484680 A CN104484680 A CN 104484680A
- Authority
- CN
- China
- Prior art keywords
- detection
- square frame
- threshold
- module
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 208
- 238000000034 method Methods 0.000 claims abstract description 53
- 238000012360 testing method Methods 0.000 claims description 52
- 238000012549 training Methods 0.000 claims description 27
- 230000003044 adaptive effect Effects 0.000 claims description 9
- 238000003491 array Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 230000000717 retained effect Effects 0.000 claims description 4
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 claims description 2
- 150000001875 compounds Chemical class 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000005259 measurement Methods 0.000 description 8
- 238000012795 verification Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000003066 decision tree Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 description 1
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000005308 sum rule Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- LENZDBCJOHFCAS-UHFFFAOYSA-N tris Chemical compound OCC(N)(CO)CO LENZDBCJOHFCAS-UHFFFAOYSA-N 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种多模型多阈值组合的行人检测方法，通过联合两种不同检测手段，选择不同检测模型和检测阈值，形成多个检测子模块，组成并联检测结构，同时检测1个图像，检测结果形成一个合集，作为候选集；再按可信度的方法去除误判和合并相同检测。实现了平均检测率提高约20％，达到85％以上，同时平均误报率<10％；相较于单独使用DPM或ICF进行检测，若检测率达到85％，则平均误报率>30％的检测效率来说，实现了检测效率上的极大的提升。
Description
技术领域
本发明涉及一种多模型多阈值组合的行人检测方法。
背景技术
目前，对于静止图像，比较好的行人检测方法主要有2个：
可变形部件模型(DPM:Deformable Part Model)
Object Detection with Discriminatively Trained Part Based Models，P.Felzenszwalb,R.Girshick,2010；
Cascade Object Detection with Deformable Part Models,P.Felzenszwalb,R.Girshick,2010。
集成通道特征模型(ICF:Integral Channel Features)
Pedestrian Detection:An Evaluation of the State of the Art，Piotr Dollar，2012；
The Fastest Pedestrian Detector in the West，Piotr Doll ar，2010；
Integral Channel Features,Piotr Dollar,2009。
这些方法，对于公开的典型的行人数据库，往往能达到比较好的检测效果，这可能是因为训练时使用了这些行人数据库中的样本。但是，在实际图像中，场景、景深、摄像机图像质量、行人着装、拍摄角度等情况很复杂，上述的2种方法不能适应各种情况。
考虑某一种检测方法，若调整阈值，在提高检测率的同时，误报率也会提高；若对于各种场景都选择正样本，再进行训练，则实际应用过程比较复杂；同时，测试中也发现，若尽可能多的包含各种情况的正负样本，训练后的检测效果不一定能适应各种情况，也就是说，仍然对于一些场景的检测效果不理想。
发明内容
为了解决目前采用单种检测方法不能有效准确的对图像中行人进行检测的技术问题，本发明提供一种综合多种检测方法和手段以达到准确的行人检测的多模型多阈值组合的行人检测方法。
为了实现上述技术目的，本发明的技术方案是，
一种多模型多阈值组合的行人检测方法，包括以下步骤：
步骤一：通过不同的训练模型和阈值，建立至少一个可变形部件模型DPM和至少一个集成通道特征模型ICF来作为不同的检测子模块，并根据检测子模块的训练模型和阈值来赋予各检测子模块不同的可信度；
步骤二：将静态图像分别输入至步骤一中建立的检测子模块中，分别得出各检测子模块输出的包括检测方框的图像作为初步检测结果；
步骤三：将可信度最高的检测子模块所输出的初步检测结果存入最终检测结果集；
步骤四：按可信度降序依次检测余下的除最低可信度外的检测子模块所输出的初步检测结果，检测方法为将当前所检测的本级可信度初步检测结果内的检测方框与高一级可信度的检测方框进行包含内容的对比，若本级可信度的检测方框与高一级可信度的检测方框有重叠部分，且两个方框的重叠面积占高一级可信度的检测方框的面积的比例超过60％，则删除本级可信度的检测方框，否则保留，直至完成所有初步检测结果的检测；
步骤五：取完成步骤四后所保留的全部检测方框，和最低可信度的检测子模块的检测方框一起组成候选集；在候选集中选择2个不同检测方框，组成1个方框组，并在候选集中遍历全部方框来组成方框组，然后判断每个方框组中的2个方框是否为重复方框，判断过程为：对于2个检测方框，方框a和方框b，若方框b和方框a的重叠面积与方框b的面积之比大于60％，同时min(方框a面积,方框b面积)/max(方框a面积,方框b面积)>70％，且方框a为ICF检测子模块输出的检测结果，则删除方框a，否则保留方框a；
步骤六：取完成步骤五后所保留的全部检测方框，作为候选集，进行误判消除处理；误判指方框内无行人或者两个位置相近的方框包含同一个人。先检查每个方框，判断是否为“无行人”，若是则删除此方框，再在候选集中选择2个不同检测方框，组成1个方框组，并在候选集中遍历全部方框来组成方框组，然后判断每个方框组中的2个方框是否位置接近，若接近则判断是否“包含同一个人”，若是则删除对应的检测计分较小或者可信度等级较低的方框，将保留下的检测方框存入最终检测结果集；
步骤七：综合所有最终检测结果集中的检测方框，输出检测结果。
所述的的方法，所述的DPM检测子模块包括采用inria作为训练库和voc2007作为训练库的检测子模型，所述的ICF检测子模块包括采用inria、caltech、tud和eth作为训练库的检测子模型。
所述的的方法，所述的采用inria作为训练库的DPM检测子模块的数量为三个，分别为采用高阈值、中阈值和低阈值的检测子模型，所述的高阈值对应低检测率，所述的低阈值对应高检测率。
所述的的方法，所述的高、中、低阈值分别为：0.8,-0.3,-0.9。
所述的的方法，所述的ICF检测子模块采用inria、caltech、tud和eth行人数据库中高度>75pixels的行人对象作为正样本进行训练，正样本的数量不少于20000个，负样本采用除行人外的其他图片进行训练，负样本的数量不少于100万个。
所述的方法，所述的ICF检测子模块在图像处理完成后还进行自适应阈值检测，所述的自适应阈值检测过程包括以下步骤：
步骤1：ICF检测子模块处理1张图像后，得到的每个检测结果关联1个检测计分，选择检测计分大于预设的计分阈值的检测结果；
步骤2：对于步骤1的结果，根据预设的接收比率按检测计分降序保留检测结果；
步骤3：若步骤2的结果中包含的检测结果数目超过上限数目，则根据上限数目按检测计分降序保留检测结果。
所述的方法，自适应阈值检测中，步骤1中的计分阈值为15，步骤2中的接收比例为50％，步骤3中的上限数目为6.
所述的方法，步骤六中所述的误判消除处理包含以下步骤：
先判断方框内是否“无行人”：以预设的canny检测阈值和梯度图阈值计算方框内图像的canny边缘和梯度图，并计算出垂直方向的梯度图，将canny边缘图和垂直梯度图转换为二值图像；然后扫描canny边缘图和垂直梯度图的每一行，统计每一行中属于边缘或梯度的点，即前景点的数目，为0表示这一行中没有前景点，这样形成2个数组，数组的元素的值为每一行中前景点的数目，元素的数目为以像素点数目计算的方框的高度，分别称为边缘数组和梯度数组；再分别统计2个数组中的连续出现元素值为0的区间，并求出长度最大的区间，计算此长度与总的元素数目之比，将计算值称为边缘背景比率和梯度背景比率，若梯度背景比率大于预设的梯度背景阈值，或者边缘背景比率和梯度背景比率同时大于边缘梯度背景阈值，则认为方框内无行人；
再判断是否“两个位置相近的方框包含同一个人”：首先计算左上角的坐标之差，再计算面积比率，公式为：min(方框1面积,方框2面积)/max(方框1面积,方框2面积)，若坐标之差小于预设的坐标阈值，并且面积比率大于预设的面积阈值，则认为位置接近，否则认为不是“两个位置相近的方框包含同一个人”；将2个位置接近的方框分都为上下部分，上部分占总面积的约60％，作为ROI区域，分别计算2个方框的ROI区域的CEDD特征，若2个CEDD特征的特征距离小于CEDD特征阈值，则认为2个方框包含同一个人。
所述的方法，所述的canny检测阈值为0.3～0.4，所述的梯度图阈值为0.2～0.3，所述的梯度背景阈值为50％-60％，所述的边缘梯度背景阈值为40％-50％，所述的坐标阈值为4-6，所述的面积阈值为50％-70％，所述的CEDD特征阈值为1-3。
本发明的技术效果在于，通过联合两种不同检测手段，选择不同检测模型和检测阈值，形成多个检测子模块，组成并联检测结构，同时检测1个图像，检测结果形成一个合集，作为候选集；再按可信度的方法去除误判和合并相同检测。实现了平均检测率提高约20％，达到85％以上，同时平均误报率<10％；相较于单独使用DPM或ICF进行检测，若检测率达到85％，则平均误报率>30％的检测效率来说，实现了检测效率上的极大的提升。
下面结合附图对本发明作进一步说明。
附图说明
图1为本发明的检测方法原理图；
图2为本发明的基于可信度的处理方法的流程示意图；
图3为本发明不同可信度检测方框重叠示意图，其中图a为当前可信度检测方框包含上一等级检测方框的全部，图b为和上一等级的检测方框的大部分相互重叠；
图4为本发明采用不同检测子模块的检测结果示意图，其中a是由inria训练的高阈值DPM检测子模块的检测结果，b是由inria训练的中阈值DPM检测子模块的检测结果，c是由inria训练的低阈值DPM检测子模块的检测结果，d是由voc2007训练的DPM检测子模块的检测结果，e是ICF检测子模块的检测结果；
图5为本发明对单幅图片的最终检测输出结果；
图6为本发明对不同图片进行行人检测所得出的结果；
图7为DPM检测模块的工作流程；
图8为ICF检测模块的工作流程；
图9为“误判消除”的原理图，其中图9A为误判方框图，图9B为垂直方向梯度图，图9C为canny边缘图，图9D为位置接近的检测方框示意图。
具体实施方式
本实施例中提及的voc2007来自：The PASCAL Visual Object ClassesChallenge 2007，可参见：
http://pascallin.ecs.soton.ac.uk/challenges/VOC/voc2007/；
inria、caltech、tud和eth来自：“Related Datasets”of“Caltech PedestrianDetection Benchmark”；可参见：
http://www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/
在本实施例中，“DPM检测子模块”的算法原理详见以下论文：
Object Detection with Discriminatively Trained Part Based Models，P.Felzenszwalb,R.Girshick,2010；
算法程序详见：http://www.cs.berkeley.edu/～rbg/latent/；本实施例中的DPM检测子模块直接来自以上开源程序，未做修改。
参见图7，DPM的分类器采用基本SVM和struct-Latent-SVM相结合，采用一定大小的滑动窗口，以一定的步长在图像上移动，然后计算滑动窗口内的图像的特征向量，然后计算此特征向量与权值(权值为训练的结果)的点积，得到一个标量值，此标量值即为“检测计分”。对于一般的单阈值检测，阈值确定方法为：对于测试集，先确定期望的检测率和误报率，再找出满足检测率和误报率的score分界值作为阈值。
在本实施例中，ICF检测子模块”的算法原理详见以下论文：
The Fastest Pedestrian Detector in the West，Piotr Dollar，2010；
Integral Channel Features,Piotr Dollar,2009；
算法程序详见：http://vision.ucsd.edu/～pdollar/toolbox/doc/；本实施例中的“ICF检测子模块”直接来自以上开源程序，未对原来的算法过程进行修改，只是在最后增加了一个步骤。修改之处为：在原来程序得到检测结果之后，增加了通过自适应阈值来确定“ICF检测子模块”最终的输出结果。
参见图8，ICF与DPM的检测过程类似，也是采用一定大小的滑动窗口，以一定的步长在图像上移动，然后计算特征。ICF和DPM的特征计算和分类器都不同，ICF分类器为adaboost，ICF的特征为集成通道特征，即为luv颜色值、梯度(gradient)和HOG(Dalal-Triggs)的特征集合。adaboost的输出为若干弱分类器输出的加权和，每个弱分类器为1个决策树，每个决策树的输入为上述的特征集合中的几个特征，并根据IF-THEN规则得出分类结果(即：是行人或者不是行人，表示为+1和-1)。上述的“权值”、“几个特征”的选择都由训练确定。上述的弱分类器的加权和即为检测计分(score)。对于一般的单阈值检测，阈值确定方法为：对于测试集，先确定期望的检测率和误报率，再找出满足检测率和误报率的score分界值作为阈值。ICF算法中的梯度特征，可以选择以下之一：梯度(gradient)、HOG、FHOG，本方法选择梯度，这样本方法的特征集合为梯度和luv颜色值。从此可见，本文的DPM检测子模块和ICF检测子模块都未使用HOG(Dalal-Triggs)。
关于检测计分(score)的说明：当一个检测子模块处理一个图像之后，结果为多个行人检测方框，其中每个检测方框对应1个检测计分。行人检测模块是一个二类分类器；将1张图像处理之后，会有很多候选结果，对于每个结果，依据一定的特征和规则，可计算得到1个计分(或称为score)。分类过程可以理解为类似sign函数的处理过程，输入为计分，输出为+1或-1，代表2个类。对于计分，若>0的程度越大，则分类为+1的可能性越大；反之，若<0的程度越大，则分类为-1的可能性越大。对于计分，若超过某个阈值，则认为分类为+1，即接受此检测方框。
关于HOG名称的说明：在大部分论文中，HOG指Dalal-Triggs detector中的计算方法(Histograms of oriented gradients for human detection,Dalal,Triggs,2005)；而DPM方法中的特征类似HOG，但是有区别，称之为FHOG(F指论文作者P.Felzenszwalb，名称fhog来自http://vision.ucsd.edu/～pdollar/toolbox/doc/中的函数fhog())。
关于SVM名称的说明，在大部分论文中，SVM指基本SVM，详见：“支持向量机理论及工程应用实例，白鹏张斌，西安电子科技大学出版社”；而DPM使用的是struct-latent-SVM，和基本SVM不一样，详见：http://www.cs.cornell.edu/～cnyu/latentssvm/和上述的DPM模型原理相关论文。
参见图1，本实施例采用了inria和voc2007行人库分别进行训练，得到2个训练模型，原因是：在测试发现，将inria和voc2007合并训练得到1个模型，检测效果并不是明显优于inria和voc2007形成的2个模型。测试中发现，inria训练模型的检测和前景提取的效果都好于voc2007训练模型，但是inria模型主要针对全身行人，而voc2007则包含了全身和半身的行人，所以有些半身行人只能由voc2007模型检测得到。
图中，对于inria模型，选择3种阈值，高阈值对应低检测率，形成3个检测子模块，这是因为有时低阈值的检测结果不能包含高阈值的检测结果，尤其当有大量行人存在时。对于低阈值的检测结果，其数目大于高阈值的检测结果，经过非最大值(NMS)处理和检测方框合并之后，最终结果可能不是检测计分最高的检测结果，从而导致对于同一个行人对象，低阈值的检测结果的方框有时会大于高阈值的检测结果，而且位置有时也不准确；而过大的检测方框，将使前景提取的准确性降低。因此，选择多个阈值形成多个检测子模块；希望对于某个行人，若被不同阈值的检测模块同时检测到，则选择高阈值检测模块的检测结果，提高检测的准确性；同时又利用低阈值检测模块的高检测率的特点来提高总体检测率。
对于检测子模块的可信度，依次标记在图1中，可信度5表示最可信，可信度1表示误判的可能性最大。排序的依据是：实际测试中发现，基于inria模型库的DPM的检测和前景提取的准确率最高，基于voc2007模型库的DPM检测准确率中等；而ICF的检测误报率相对较高，并且不能直接利用检测模型进行前景提取，因此可信度最低。
按上述的可信度，形成消除误判和合并算法，这里没有使用普通的NMS和检测方框合并处理算法，因为组合方法中的检测子模块的模型和分类器都不同，导致候选集中的检测计分没有可比性，需要依据可信度来进行处理，算法流程如下：
保留可信度5的检测结果，即可信度最高的结果，直接作为最终检测结果；
依次处理候选集中可信度4～2的检测方框，这些都是DPM子模块检测的结果，对于某个可信度的检测方框，若其中包含上一等级可信度的检测方框的全部或大部分，则认为此方框为重复检测，予以删除。如：若当前处理候选集中可信度4的检测方框，则上一等级可信度为可信度5，若某个可信度4的方框包含了可信度5的方框的全部或大部分，则判定此可信度4分类方框为重复检测，将被删除，参见图3；
这里对于可信度1(即ICF检测模型)的检测方框不做处理；
此步骤处理之后，消除了一些误判和重复检测。
然后再进一步消除重复检测，判据为：对于2个检测方框，方框1和方框2，若方框1包含了方框2的全部或者大部分，同时方框1和方框2的面积相差不是很大，并且不是“方框1对应DPM模型，方框2对应ICF模型”，则删除方框1；这是考虑若DPM检测方框包含ICF检测方框时，DPM方框的可信度大，不予删除；同时仍然保留ICF检测方框。
由于ICF往往产生较多的误判，所以采取自适应阈值，并限制总的检测数目。
上述的自适应阈值的过程为，先选定1个检测计分阈值和接收比率，对于某次检测结果，流程为：
1、选择检测计分大于计分阈值的检测结果；
2、在上述的结果中按接收比率选择检测计分最大的检测结果，若比率为0.5，检测结果为6个，则选择检测计分最高的3个检测结果；
3、若上述的结果的数目超过上限数目，则按上限数目选择检测计分最高的检测结果，如上限数目为4，则检测结果最多为4个，这样主要用于控制误报率。
在步骤六中采用的误判消除处理，其中“无行人”的判断方法为：考虑到行人轮廓中包含较明显的边缘和垂直方向的梯度，即包含有行人的方框内的躯干、腿和头部都会产生垂直梯度和canny边缘，同时大部分的人体部件必然会产生明显的垂直梯度和边缘，反之，若在检测方框的较多区域内没有垂直梯度或边缘，则认为是误判；故以一定阈值计算方框内图像的canny边缘和梯度图，canny边缘检测的阈值指：当2个相邻像素点之间的像素值之差大于阈值，则认为存在变化，即存在边缘，阈值越高，则边缘点越少，阈值越低，则边缘点越多；对于包含行人的方框，总是存在明显的边缘，当阈值较大时，仍然存在较多边缘，而对于有些不包含行人的方框，边缘不明显，所以当阈值较大时，边缘会很少，这样能体现出包含和不包含行人的区别，反之，如果将canny检测阈值设置为较小的值，则对于包含和不包含行人的情况，都会有很多边缘，无法体现区别，canny检测阈值的确定方法为：对于训练和测试样本，人工找出一些边缘特征不明显的误判，再找出全部正确的检测，选择阈值，使得对于正确检测尽可能多的保留边缘，同时使误判尽可能少的保留边缘，梯度图的阈值的确定和canny边缘类似；然后根据梯度图计算出垂直方向的梯度图，即仅保留垂直方向的梯度，再将canny边缘图和垂直梯度图转换为二值图像，从图9中可以看出垂直梯度和边缘的区别；然后扫描canny边缘图和垂直梯度图的每一行，统计每一行中属于边缘或梯度的点(即前景点)的数目，为0表示这一行中没有前景点，这样形成2个数组，数组的元素为每一行中前景点的数目，元素的数目为以像素点数目计算的方框的高度，分别称为边缘数组和梯度数组；再分别统计2个数组中的连续出现元素值为0的区间，并求出长度最大的区间，计算此长度与总的元素数目之比，将计算值称为边缘背景比率和梯度背景比率，如数组为[12,3,0,0,2,0]，则连续为0的区间有2个，长度分别为2和1，数组元素数目为6，则背景比率为2/6，在图9中也标注了连续背景区间；然后形成2个判断规则：(1)若梯度背景比率大于某个较大阈值，如：60％，表示在较长一段区间内没有垂直方向的梯度(有可能存在水平方向的梯度，即存在canny边缘)，这样可以说明检测方框内实际上没有行人，此规则未考虑canny边缘，所以需要较大的阈值；(2)边缘背景比率和梯度背景比率同时大于某个较小阈值，如40％，表示在较长的一段区间内没有垂直梯度和边缘，则认为方框内无行人。
关于“两个位置相近的方框包含同一个人”，若完全由方框重叠方法判断，则重叠比率和坐标差值的阈值的选择比较困难，所以采用基于颜色特征的方法作为方框重叠判断方法的补充，方法为：计算左上角的坐标之差，若定义方框1左上角坐标为(x11,y11)，方框2的左上角的坐标为(x21,y21)，坐标以像素点计算，计算公式为：min((x11-x21),(y11-y21))；再计算面积比率，公式为：min(方框1面积,方框2面积)/max(方框1面积,方框2面积)，若坐标之差小于某阈值，如5，并且面积比率大于某阈值，如60％，则2个方框的左上角相接近而且面积相差不大，即认为位置接近，否则认为不是“两个位置相近的方框包含同一个人”；然后将2个位置接近的方框分都为上下部分，上部分占总面积的60％，作为ROI(Region Of Interest)区域，此ROI区域为矩形，可见图9中的蓝色斜线和绿色斜线区域，分别计算2个方框的ROI区域的CEDD特征，再计算2个特征之间的特征距离，计算利用了Tanimoto公式，特征距离＝M-M*Tij，这里M为特征距离的最大值，取为100，公式中的xi和xj为2个CEDD特征，若2个CEDD特征的特征距离小于一定阈值，如2，则认为2个方框包含同一个人。此阈值的确定方法为：对于训练和测试样本，找出全部由位置相近的2个检测方框组成的方框组，然后计算每个方框组中2个方框之间的特征距离，再选择一个定值，使得特征距离小于此定值的全部方框组内包含同一个行人，而特征距离稍大于此定值的方框组中，有一些方框组包含不同的行人，此定值即为阈值。
在具体实施时，首先需确定检测模型。步骤为先获得公开行人数据库，采集负样本，进行训练；本文方法仅使用公开行人数据库中的正样本；实际上对于DPM，直接采用开源软件中已训练的模型；对于ICF，则重新训练，得到模型。然后获得实际视频和实际应用场景视频的截图，形成测试集，确定5个检测子模块的最优阈值。
进行检测时，首先获取实际的静态图像；然后用5个检测子模块进行并联检测，将结果形成合集，作为候选集；再使用基于可信度的方法消除误判和合并相同检测；最后得到最终检测结果。其中检测结果中的绝大部分由DPM得到，可以根据各个部件的所在位置和部件模型，计算行人的前景，为行人检索作准备。
在实际测试中，首先采集实际视频和实际应用场景视频的截图，形成测试集(约5000张图像)。分别用各种阈值、各种模型的DPM和ICF进行检测，再用组合方法进行检测。测试结果表明对比发现组合方法的优势明显，平均检测率提高约20％，达到85％以上；同时平均误报率<10％。当单独使用DPM或ICF进行检测，若检测率达到85％，则平均误报率>30％。
本文中的CEDD指：Color and Edge Directivity Descriptor，特征中包含了边缘的颜色，可以同时体现纹理和颜色的特征。原理来自论文：“CEDD:Colorand Edge Directivity Descriptor.A Compact Descriptor for Image Indexing andRetrieval,Savvas A.Chatzichristofis and Yiannis S.Boutalis,2008”，算法程序来自：“http://chatzichristofis.info/？page_id＝15”。特征距离采用tanimoto方法，也来自上述的原理论文。
Claims (9)
1.一种多模型多阈值组合的行人检测方法，其特征在于，包括以下步骤：
步骤一：通过不同的训练模型和阈值，建立至少一个可变形部件模型DPM和至少一个集成通道特征模型ICF来作为不同的检测子模块，并根据检测子模块的训练模型和阈值来赋予各检测子模块不同的可信度；
步骤二：将静态图像分别输入至步骤一中建立的检测子模块中，分别得出各检测子模块输出的包括检测方框的图像作为初步检测结果；
步骤三：将可信度最高的检测子模块所输出的初步检测结果存入最终检测结果集；
步骤四：按可信度降序依次检测余下的除最低可信度外的检测子模块所输出的初步检测结果，检测方法为将当前所检测的本级可信度初步检测结果内的检测方框与高一级可信度的检测方框进行包含内容的对比，若本级可信度的检测方框与高一级可信度的检测方框有重叠部分，且两个方框的重叠面积占高一级可信度的检测方框的面积的比例超过60％，则删除本级可信度的检测方框，否则保留，直至完成所有初步检测结果的检测；
步骤五：取完成步骤四后所保留的全部检测方框，和最低可信度的检测子模块的检测方框一起组成候选集；在候选集中选择2个不同检测方框，组成1个方框组，并在候选集中遍历全部方框来组成方框组，然后判断每个方框组中的2个方框是否为重复方框，判断过程为：对于2个检测方框，方框a和方框b，若方框b和方框a的重叠面积与方框b的面积之比大于60％，同时min(方框a面积,方框b面积)/max(方框a面积,方框b面积)>70％，且方框a为ICF检测子模块输出的检测结果，则删除方框a，否则保留方框a；
步骤六：取完成步骤五后所保留的全部检测方框，作为候选集，进行误判消除处理；误判指方框内无行人或者两个位置相近的方框包含同一个人。先检查每个方框，判断是否为“无行人”，若是则删除此方框，再在候选集中选择2个不同检测方框，组成1个方框组，并在候选集中遍历全部方框来组成方框组，然后判断每个方框组中的2个方框是否位置接近，若接近则判断是否“包含同一个人”，若是则删除对应的检测计分较小或者可信度等级较低的方框，将保留下的检测方框存入最终检测结果集；
步骤七：综合所有最终检测结果集中的检测方框，输出检测结果。
2.根据权利要求1所述的的方法，其特征在于，所述的DPM检测子模块包括采用inria作为训练库和voc2007作为训练库的检测子模型，所述的ICF检测子模块包括采用inria、caltech、tud和eth作为训练库的检测子模型。
3.根据权利要求2所述的的方法，其特征在于，所述的采用inria作为训练库的DPM检测子模块的数量为三个，分别为采用高阈值、中阈值和低阈值的检测子模型，所述的高阈值对应低检测率，所述的低阈值对应高检测率。
4.根据权利要求3所述的的方法，其特征在于，所述的高、中、低阈值分别为：0.8,-0.3,-0.9。
5.根据权利要求2所述的的方法，其特征在于，所述的ICF检测子模块采用inria、caltech、tud和eth行人数据库中高度>75pixels的行人对象作为正样本进行训练，正样本的数量不少于20000个，负样本采用除行人外的其他图片进行训练，负样本的数量不少于100万个。
6.根据权利要求1所述的方法，其特征在于，所述的ICF检测子模块在图像处理完成后还进行自适应阈值检测，所述的自适应阈值检测过程包括以下步骤：
步骤1：ICF检测子模块处理1张图像后，得到的每个检测结果关联1个检测计分，选择检测计分大于预设的计分阈值的检测结果；
步骤2：对于步骤1的结果，根据预设的接收比率按检测计分降序保留检测结果；
步骤3：若步骤2的结果中包含的检测结果数目超过上限数目，则根据上限数目按检测计分降序保留检测结果。
7.根据权利要求6所述的方法，其特征在于，自适应阈值检测中，步骤1中的计分阈值为15，步骤2中的接收比例为50％，步骤3中的上限数目为6.
8.根据权利要求1所述的方法，其特征在于，步骤六中所述的误判消除处理包含以下步骤：
先判断方框内是否“无行人”：以预设的canny检测阈值和梯度图阈值计算方框内图像的canny边缘和梯度图，并计算出垂直方向的梯度图，将canny边缘图和垂直梯度图转换为二值图像；然后扫描canny边缘图和垂直梯度图的每一行，统计每一行中属于边缘或梯度的点，即前景点的数目，为0表示这一行中没有前景点，这样形成2个数组，数组的元素的值为每一行中前景点的数目，元素的数目为以像素点数目计算的方框的高度，分别称为边缘数组和梯度数组；再分别统计2个数组中的连续出现元素值为0的区间，并求出长度最大的区间，计算此长度与总的元素数目之比，将计算值称为边缘背景比率和梯度背景比率，若梯度背景比率大于预设的梯度背景阈值，或者边缘背景比率和梯度背景比率同时大于边缘梯度背景阈值，则认为方框内无行人；
再判断是否“两个位置相近的方框包含同一个人”：首先计算左上角的坐标之差，再计算面积比率，公式为：min(方框1面积,方框2面积)/max(方框1面积,方框2面积)，若坐标之差小于预设的坐标阈值，并且面积比率大于预设的面积阈值，则认为位置接近，否则认为不是“两个位置相近的方框包含同一个人”；将2个位置接近的方框分都为上下部分，上部分占总面积的约60％，作为ROI区域，分别计算2个方框的ROI区域的CEDD特征，若2个CEDD特征的特征距离小于CEDD特征阈值，则认为2个方框包含同一个人。
9.根据权利要求8所述的方法，其特征在于，所述的canny检测阈值为0.3～0.4，所述的梯度图阈值为0.2～0.3，所述的梯度背景阈值为50％-60％，所述的边缘梯度背景阈值为40％-50％，所述的坐标阈值为4-6，所述的面积阈值为50％-70％，所述的CEDD特征阈值为1-3。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410503998.7A CN104484680B (zh) | 2014-09-26 | 2014-09-26 | 一种多模型多阈值组合的行人检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410503998.7A CN104484680B (zh) | 2014-09-26 | 2014-09-26 | 一种多模型多阈值组合的行人检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104484680A true CN104484680A (zh) | 2015-04-01 |
| CN104484680B CN104484680B (zh) | 2017-08-08 |
Family
ID=52759221
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410503998.7A Active CN104484680B (zh) | 2014-09-26 | 2014-09-26 | 一种多模型多阈值组合的行人检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104484680B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105243356A (zh) * | 2015-09-10 | 2016-01-13 | 北京大学 | 一种建立行人检测模型的方法及装置及行人检测方法 |
| CN105913003A (zh) * | 2016-04-07 | 2016-08-31 | 国家电网公司 | 一种多特征多模型的行人检测方法 |
| CN107066921A (zh) * | 2016-12-23 | 2017-08-18 | 深圳市大唐盛世智能科技有限公司 | 一种智能视频监控的行人检测方法和装置 |
| CN107122726A (zh) * | 2017-04-19 | 2017-09-01 | 高新兴科技集团股份有限公司 | 一种多姿态行人检测方法 |
| CN109034125A (zh) * | 2018-08-30 | 2018-12-18 | 北京工业大学 | 基于场景复杂度的行人检测方法与系统 |
| CN109886086A (zh) * | 2019-01-04 | 2019-06-14 | 南京邮电大学 | 基于hog特征和线性svm级联分类器的行人检测方法 |
| CN110032916A (zh) * | 2018-01-12 | 2019-07-19 | 北京京东尚科信息技术有限公司 | 一种检测目标物体的方法和装置 |
| CN112654999A (zh) * | 2020-07-21 | 2021-04-13 | 华为技术有限公司 | 标注信息的确定方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102880863A (zh) * | 2012-09-20 | 2013-01-16 | 北京理工大学 | 一种基于可变形部件模型的车牌及驾驶员人脸定位方法 |
| CN103136524A (zh) * | 2011-11-24 | 2013-06-05 | 北京三星通信技术研究有限公司 | 能够抑制检测结果冗余的对象检测系统和方法 |
| CN103186790A (zh) * | 2011-12-27 | 2013-07-03 | 北京三星通信技术研究有限公司 | 对象检测系统和方法 |
| US20140270367A1 (en) * | 2013-03-14 | 2014-09-18 | Nec Laboratories America, Inc. | Selective Max-Pooling For Object Detection |
-
2014
- 2014-09-26 CN CN201410503998.7A patent/CN104484680B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103136524A (zh) * | 2011-11-24 | 2013-06-05 | 北京三星通信技术研究有限公司 | 能够抑制检测结果冗余的对象检测系统和方法 |
| CN103186790A (zh) * | 2011-12-27 | 2013-07-03 | 北京三星通信技术研究有限公司 | 对象检测系统和方法 |
| CN102880863A (zh) * | 2012-09-20 | 2013-01-16 | 北京理工大学 | 一种基于可变形部件模型的车牌及驾驶员人脸定位方法 |
| US20140270367A1 (en) * | 2013-03-14 | 2014-09-18 | Nec Laboratories America, Inc. | Selective Max-Pooling For Object Detection |
Non-Patent Citations (4)
| Title |
|---|
| HYUNGGI CHO.ETC: "Real-time Pedestrian Detection with Deformable Part Models", 《2012 INTELLIGENT VEHICLES SYMPOSIUM》 * |
| PIOTR DOLLÁR.ETC: "Integral Channel Features", 《BRITISH MACHINE VISION CONFERENCE》 * |
| SHUBHAM MITTAL.ETC: "Pedestrian Detection and Tracking Using Deformable Part Models and Kalman Filtering", 《ISOCC 2012》 * |
| 张艳敏: "基于机器学习的行人检测", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105243356B (zh) * | 2015-09-10 | 2019-02-12 | 北京大学 | 一种建立行人检测模型的方法及装置及行人检测方法 |
| CN105243356A (zh) * | 2015-09-10 | 2016-01-13 | 北京大学 | 一种建立行人检测模型的方法及装置及行人检测方法 |
| CN105913003A (zh) * | 2016-04-07 | 2016-08-31 | 国家电网公司 | 一种多特征多模型的行人检测方法 |
| CN105913003B (zh) * | 2016-04-07 | 2019-06-07 | 国家电网公司 | 一种多特征多模型的行人检测方法 |
| CN107066921A (zh) * | 2016-12-23 | 2017-08-18 | 深圳市大唐盛世智能科技有限公司 | 一种智能视频监控的行人检测方法和装置 |
| CN107066921B (zh) * | 2016-12-23 | 2017-12-29 | 深圳市大唐盛世智能科技有限公司 | 一种智能视频监控的行人检测方法和装置 |
| CN107122726A (zh) * | 2017-04-19 | 2017-09-01 | 高新兴科技集团股份有限公司 | 一种多姿态行人检测方法 |
| CN110032916A (zh) * | 2018-01-12 | 2019-07-19 | 北京京东尚科信息技术有限公司 | 一种检测目标物体的方法和装置 |
| CN109034125A (zh) * | 2018-08-30 | 2018-12-18 | 北京工业大学 | 基于场景复杂度的行人检测方法与系统 |
| CN109034125B (zh) * | 2018-08-30 | 2021-12-03 | 北京工业大学 | 基于场景复杂度的行人检测方法与系统 |
| CN109886086A (zh) * | 2019-01-04 | 2019-06-14 | 南京邮电大学 | 基于hog特征和线性svm级联分类器的行人检测方法 |
| CN109886086B (zh) * | 2019-01-04 | 2020-12-04 | 南京邮电大学 | 基于hog特征和线性svm级联分类器的行人检测方法 |
| CN112654999A (zh) * | 2020-07-21 | 2021-04-13 | 华为技术有限公司 | 标注信息的确定方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104484680B (zh) | 2017-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104484680A (zh) | 一种多模型多阈值组合的行人检测方法 | |
| Kong et al. | General road detection from a single image | |
| CN108921083B (zh) | 基于深度学习目标检测的非法流动摊贩识别方法 | |
| WO2017190574A1 (zh) | 一种基于聚合通道特征的快速行人检测方法 | |
| CN107491762B (zh) | 一种行人检测方法 | |
| CN105913082B (zh) | 一种对图像中目标进行分类的方法及系统 | |
| CN108564030A (zh) | 面向车载热成像行人检测的分类器训练方法和装置 | |
| CN102214309B (zh) | 一种基于头肩模型的特定人体识别方法 | |
| CN106127137A (zh) | 一种基于3d轨迹分析的目标检测识别算法 | |
| CN104091171B (zh) | 基于局部特征的车载远红外行人检测系统及方法 | |
| CN108549864A (zh) | 面向车载热成像行人检测的感兴趣区域过滤方法和装置 | |
| CN108710913A (zh) | 一种基于深度学习的开关柜图像开关状态自动识别方法 | |
| CN107657225B (zh) | 一种基于聚合通道特征的行人检测方法 | |
| CN105261017A (zh) | 基于路面约束的图像分割法提取行人感兴趣区域的方法 | |
| CN103984953A (zh) | 基于多特征融合与Boosting决策森林的街景图像的语义分割方法 | |
| CN104517095B (zh) | 一种基于深度图像的人头分割方法 | |
| CN102298781A (zh) | 基于颜色和梯度特征的运动阴影检测方法 | |
| CN104463196A (zh) | 一种基于视频的天气现象识别方法 | |
| CN103810503A (zh) | 一种基于深度学习的自然图像中显著区域的检测方法 | |
| CN106682641A (zh) | 基于fhog‑lbph特征的图像行人识别方法 | |
| CN109949593A (zh) | 一种基于路口先验知识的交通信号灯识别方法及系统 | |
| CN110659550A (zh) | 交通标志牌识别方法、装置、计算机设备和存储介质 | |
| CN110866430A (zh) | 一种车牌识别方法及装置 | |
| CN105069816B (zh) | 一种进出口人流量统计的方法及系统 | |
| CN107369158A (zh) | 基于rgb‑d图像的室内场景布局估计及目标区域提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C53 | Correction of patent of invention or patent application | ||
| CB02 | Change of applicant information |
Address after: 410004 Hunan province Changsha Tianxin new Yao Road No. 168 Tianxin Jiayuan two room 107 4 Applicant after: Xu Xiaohui Address before: 410004, No. 25, No. 168, Yao Yao Road, Tianxin Yao Road, Tianxin District, Hunan, Changsha, No. 105 Applicant before: Xu Xiaohui |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190305 Address after: 230000 B-1512, west of Ganquan Road, Shushan District, Hefei, Anhui. Patentee after: ANHUI YINGLONG INDUSTRIAL DESIGN Co.,Ltd. Address before: 410004 Tianxin Jiayuan Phase II Building 107, 168 Xinyao South Road, Tianxin District, Changsha City, Hunan Province Patentee before: Xu Xiaohui |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20191021 Address after: 314000 NO.3-4, yuejingzhuang erjiefang, no.1508, ziye East Road, Wuzhen Town, Tongxiang City, Jiaxing City, Zhejiang Province Patentee after: Tanjiawan Heritage Park Operation Management (Wuzhen, Tongxiang) Co.,Ltd. Address before: Ganquan road Shushan District of Hefei City, Anhui Province, 230000 West hillock road to the South Wild Garden commercial office building room B-1512 Patentee before: ANHUI YINGLONG INDUSTRIAL DESIGN Co.,Ltd. |
|
| PP01 | Preservation of patent right | ||
| PP01 | Preservation of patent right |
Effective date of registration: 20230609 Granted publication date: 20170808 |