CN109325423B - 一种针对行人检测的优化ssd方法 - Google Patents

一种针对行人检测的优化ssd方法 Download PDF

Info

Publication number
CN109325423B
CN109325423B CN201810996115.9A CN201810996115A CN109325423B CN 109325423 B CN109325423 B CN 109325423B CN 201810996115 A CN201810996115 A CN 201810996115A CN 109325423 B CN109325423 B CN 109325423B
Authority
CN
China
Prior art keywords
sample
training
calculated
algorithm
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810996115.9A
Other languages
English (en)
Other versions
CN109325423A (zh
Inventor
王培青
陈力
魏洪伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Chaoqing Technology Co ltd
Original Assignee
Anhui Chaoqing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Chaoqing Technology Co ltd filed Critical Anhui Chaoqing Technology Co ltd
Priority to CN201810996115.9A priority Critical patent/CN109325423B/zh
Publication of CN109325423A publication Critical patent/CN109325423A/zh
Application granted granted Critical
Publication of CN109325423B publication Critical patent/CN109325423B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种针对行人检测的优化SSD算法。本专利提出的行人检测算法,在SSD物体检测算法的基础上,引入交通场景下行人的先验信息并调整神经网络的连接方式,可有效缓解SSD算法对于小目标的漏检问题。算法首先利用调整后的网络得到初步的行人位置信息与行人特征信息,之后采用AdaBoost(adaptive boosting)决策森林算法对行人框做进一步的分类,增强算法对难分辨样例的判别能力。所提出的算法在检测速度上有着一定的优势。

Description

一种针对行人检测的优化SSD方法
技术领域
本发明涉及行人检测技术领域,尤其涉及一种针对行人检测的优化SSD方法。
背景技术
行人检测在自动驾驶、视频监控、智能机器人等众多领域有着广阔的应用前景,从图像数据中准确、快速的检测行人是保证行人安全、维护社会稳定、为人类提供更高级服务的基础保障。
行人属于非刚体目标,存在光照变化、行人姿态变化、尺寸变化、部分遮挡和复杂背景等问题,检测难度大。近十年来出现的行人检测算法主要分为三类,基于可变形组件模型(DPM)及其变种、深度神经网络(DN)模型,决策森林(DF)模型。
通过总结近年来的算法发现,提高检测质量主要有三种途径,表达能力更丰富的特征、更多的数据以及上下文信息,其中最流行的方法是从输入图像中,提取更丰富的特征,多种特征类型已应用于行人检测,包括边特征、颜色特征、纹理特征、局部形状特征、协方差特征等。卷积网络在自动提取特征方面有着先天优势,多个基于卷积网络的检测算法陆续出现,其中存在的问题是,这些算法在检测质量和检测速度之间,无法平衡。物体检测领域的SSD算法,在通用物体检测任务中,检测质量和速度上都表现优异,但是在行人检测任务上表现不佳。
发明内容
本发明目的就是为了弥补已有技术的缺陷,提供一种针对行人检测的优化SSD方法。
本发明是通过以下技术方案实现的:
一种针对行人检测的优化SSD方法,具体内容如下:利用行人检测训练数据中的每一个样本进行训练,并给每个样本分配一个系数,这些系数构成了向量D,初始时刻,这些系数都初始化成相等值,首先在训练数据上训练出一个弱分类器并计算该分类器的错误率,然后在同一数据集上再次训练弱分类器,在分类器的第二次训练中,重新调整每个样本的系数,其中第一次分类正确的样本对应系数降低,而第一次分类错误的样本对应系数提高,为了从所有弱分类器中得到最终的分类器,为每一个分类器都分配了一个权重值α,α的值是基于每个弱分类器的错误率进行计算得到的,假设错误分类的样本数目为w,总的样本数目为y,则错误率ε的定义为:
Figure GDA0003073450130000021
而α的计算公式如下:
Figure GDA0003073450130000022
计算出α值之后,对系数向量D进行更新,系数向量D的计算方法如下:
如果样本被正确分类,那么该样本的权重更改为:
Figure GDA0003073450130000023
而如果样本被错分,那么该样本的权重更改为:
Figure GDA0003073450130000024
在计算出系数向量D之后,又进入下一轮迭代,每一次迭代分离中需要损失函数,采用加法模型计算损失函数,迭代完成之后更新系数向量D,不断地重复训练和调整权重的过程,直到训练错误率为0或者弱分类器的数目达到指定值为止。
算法的加法模型:
Figure GDA0003073450130000025
其中,b(x;γm)代表基函数;γm代表基函数的变量;βm代表基函数的系数。训练数据和损失函数L(y,f(x))确定的情况下,训练加法模型转换为经验风险最小化问题,用公式可表示为:
Figure GDA0003073450130000031
利用分步计算的思路简化该问题的求解过程,即每一步仅学习一个基函数和对应系数:
Figure GDA0003073450130000032
逐渐累计、不断接近原始的损失函数;
(1)输入:
训练样本集合T={(x1,y1),(x2,y2)...(xN,yN)}
基函数集合{b(x;γ)}
损失函数L(y,f(x))
(2)输出:
加法模型f(x)
(3)算法流程:
初始化f0(x)=0
令m分别取值1,2,3...M
求解损失函数:
Figure GDA0003073450130000033
得到变量βm和γm的值
更新模型:
fm(x)=fm-1(x)+βmb(x;γm)
得到最终的加法模型:
Figure GDA0003073450130000041
证明过程如下:
假定通过m-1轮的循环,我们已经得到fm-1(x):
fm-1(x)=fm-2(x)+αm-1Gm-1(x)=α1G1(x)+...+αm-1Gm-1(x)
最后一轮迭代我们得到αm,Gm(x)以及fm(x),我们的目标是利用αm,Gm(x)使得最终模型在训练样本集合中的损失函数最小,如下式:
Figure GDA0003073450130000042
Figure GDA0003073450130000043
则上述公式可变换为:
Figure GDA0003073450130000044
参数α和参数G不影响
Figure GDA0003073450130000045
因此
Figure GDA0003073450130000046
与最小化损失函数无关。而
Figure GDA0003073450130000047
与fm-1(x)有关联,因此每次循环都会产生变化;
(4)基础分类器:
本步骤求解分类器G*(x),对于任意α>0,依据以下公式可以求得最小的G(x):
Figure GDA0003073450130000048
其中,
Figure GDA0003073450130000049
(5)计算权重:
Figure GDA0003073450130000051
Figure GDA0003073450130000052
带入上式当中,求导可得到
Figure GDA0003073450130000053
(6)分类错误率:
可计算分类错误率为:
Figure GDA0003073450130000054
(7)更新权值:
根据模型fm(x)=fm-1(x)+αmGm(x)以及权重
Figure GDA0003073450130000055
可计算得到:
Figure GDA0003073450130000056
两个公式做除法,可以得到
Figure GDA0003073450130000057
从而可以计算出
Figure GDA0003073450130000058
本发明的优点是:本发明在SSD物体检测算法的基础上,引入交通场景下行人的先验信息并调整神经网络的连接方式,可有效缓解SSD算法对于小目标的漏检问题。算法首先利用调整后的网络得到初步的行人位置信息与行人特征信息,之后采用AdaBoost决策森林算法对行人框做进一步的分类,增强算法对难分辨样例的判别能力,所提出的算法在检测速度上有着一定的优势。
附图说明
图1为行人检测算法性能比较图。
图2为跨层连接对性能的影响图。
具体实施方式
一种针对行人检测的优化SSD方法,具体内容如下:利用行人检测训练数据中的每一个样本进行训练,并给每个样本分配一个系数,这些系数构成了向量D,初始时刻,这些系数都初始化成相等值,首先在训练数据上训练出一个弱分类器并计算该分类器的错误率,然后在同一数据集上再次训练弱分类器,在分类器的第二次训练中,重新调整每个样本的系数,其中第一次分类正确的样本对应系数降低,而第一次分类错误的样本对应系数提高,为了从所有弱分类器中得到最终的分类器,为每一个分类器都分配了一个权重值α,α的值是基于每个弱分类器的错误率进行计算得到的,假设错误分类的样本数目为w,总的样本数目为y,则错误率ε的定义为:
Figure GDA0003073450130000061
而α的计算公式如下:
Figure GDA0003073450130000062
计算出α值之后,对系数向量D进行更新,系数向量D的计算方法如下:
如果样本被正确分类,那么该样本的权重更改为:
Figure GDA0003073450130000063
而如果样本被错分,那么该样本的权重更改为:
Figure GDA0003073450130000071
在计算出系数向量D之后,又进入下一轮迭代,每一次迭代分离中需要损失函数,采用加法模型计算损失函数,迭代完成之后更新系数向量D,不断地重复训练和调整权重的过程,直到训练错误率为0或者弱分类器的数目达到指定值为止。
算法的加法模型:
Figure GDA0003073450130000072
其中,b(x;γm)代表基函数;γm代表基函数的变量;βm代表基函数的系数。训练数据和损失函数L(y,f(x))确定的情况下,训练加法模型转换为经验风险最小化问题,用公式可表示为:
Figure GDA0003073450130000073
利用分步计算的思路简化该问题的求解过程,即每一步仅学习一个基函数和对应系数:
Figure GDA0003073450130000074
逐渐累计、不断接近原始的损失函数;
(1)输入:
训练样本集合T={(x1,y1),(x2,y2)...(xN,yN)}
基函数集合{b(x;γ)}
损失函数L(y,f(x))
(2)输出:
加法模型f(x)
(3)算法流程:
初始化f0(x)=0
令m分别取值1,2,3...M
求解损失函数:
Figure GDA0003073450130000081
得到变量βm和γm的值
更新模型:
fm(x)=fm-1(x)+βmb(x;γm)
得到最终的加法模型:
Figure GDA0003073450130000082
证明过程如下:
假定通过m-1轮的循环,我们已经得到fm-1(x):
fm-1(x)=fm-2(x)+αm-1Gm-1(x)=α1G1(x)+...+αm-1Gm-1(x)
最后一轮迭代我们得到αm,Gm(x)以及fm(x),我们的目标是利用αm,Gm(x)使得最终模型在训练样本集合中的损失函数最小,如下式:
Figure GDA0003073450130000083
Figure GDA0003073450130000084
则上述公式可变换为:
Figure GDA0003073450130000085
参数α和参数G不影响
Figure GDA0003073450130000091
因此
Figure GDA0003073450130000092
与最小化损失函数无关。而
Figure GDA0003073450130000093
与fm-1(x)有关联,因此每次循环都会产生变化;
(4)基础分类器:
本步骤求解分类器G*(x),对于任意α>0,依据以下公式可以求得最小的G(x):
Figure GDA0003073450130000094
其中,
Figure GDA0003073450130000095
(5)计算权重:
Figure GDA0003073450130000096
Figure GDA0003073450130000097
带入上式当中,求导可得到
Figure GDA0003073450130000098
(6)分类错误率:
可计算分类错误率为:
Figure GDA0003073450130000099
(7)更新权值:
根据模型fm(x)=fm-1(x)+αmGm(x)以及权重
Figure GDA00030734501300000910
可计算得到:
Figure GDA0003073450130000101
两个公式做除法,可以得到
Figure GDA0003073450130000102
从而可以计算出
Figure GDA0003073450130000103
对于检测结果与ground truth的匹配,我们采用PASCAL竞赛的方法:
Figure GDA0003073450130000104
其中BBdt表示detection box,BBgt表示ground truth box,即检测框与真实行人框两者的IoU大于0.5时,我们认为成功检测到该行人。为保证detection box和groundtruth box最多匹配一次,执行贪心匹配。具有最高可信度的检测框优先匹配,如果detection box匹配多个ground truth box,优先与具有最高重叠度的ground truth box匹配。
本专利的对比实验使用对数平均漏检率评估检测器的性能。在(10-3,10-1)范围的对数空间中,绘制Miss Rate-FPPI曲线,并以横轴等于10-1时对应漏检率作为算法的性能指标。图1是本专利所提算法SSD+Skip+Adaboost与已有行人检测算法的Miss Rate-FPPI曲线;图2对比了是否添加跨层连接,对检测效果的影响;下表从运行环境、检测效果和运行时间三方面全面对比了多个算法。
Figure GDA0003073450130000105
Figure GDA0003073450130000111
从上述在数据集Caltech的对比实验可以看出,本专利提出的SSD+Skip+Adaboost算法在保证较低漏检率的条件下,在检测速度上具有一定优势。首先在漏检率上,能够取得10.4%的漏检率,在所对比的算法中排在第三位。在检测时间上,每帧处理需要0.08秒,在对比算法中速度最快。去掉跨层连接,检测速度有所提升,但检测质量下降,这是因为丢失了一部分细节信息的缘故。

Claims (3)

1.一种针对行人检测的优化SSD方法,其特征在于:具体内容如下:利用行人检测训练数据中的每一个样本进行训练,并给每个样本分配一个系数,这些系数构成了向量D,初始时刻,这些系数都初始化成相等值,首先在训练数据上训练出一个弱分类器并计算该分类器的错误率,然后在同一数据集上再次训练弱分类器,在分类器的第二次训练中,重新调整每个样本的系数,其中第一次分类正确的样本对应系数降低,而第一次分类错误的样本对应系数提高,为了从所有弱分类器中得到最终的分类器,为每一个分类器都分配了一个权重值α,α的值是基于每个弱分类器的错误率进行计算得到的,假设错误分类的样本数目为w,总的样本数目为y,则错误率ε的定义为:
Figure FDA0003073450120000011
而α的计算公式如下:
Figure FDA0003073450120000012
计算出α值之后,对系数向量D进行更新,系数向量D的计算方法如下:
如果样本被正确分类,那么该样本的权重更改为:
Figure FDA0003073450120000013
而如果样本被错分,那么该样本的权重更改为:
Figure FDA0003073450120000014
在计算出系数向量D之后,又进入下一轮迭代,每一次迭代分离中需要损失函数,采用加法模型计算损失函数,迭代完成之后更新系数向量D,不断地重复训练和调整权重的过程,直到训练错误率为0或者弱分类器的数目达到指定值为止。
2.根据权利要求1所述的一种针对行人检测的优化SSD方法,其特征在于:所述的采用加法模型计算损失函数具体如下:
加法模型
Figure FDA0003073450120000021
其中,b(x;γm)代表基函数;γm代表基函数的变量;βm代表基函数的系数,在训练数据和损失函数L(y,f(x))确定的情况下,训练加法模型用公式表示为:
Figure FDA0003073450120000022
利用分步计算的方法简化求解过程,即每一步仅学习一个基函数和对应系数:
Figure FDA0003073450120000023
逐渐累计、不断接近原始的损失函数。
3.根据权利要求2所述的一种针对行人检测的优化SSD方法,其特征在于:具体的加法模型流程如下:
(1)输入:
训练样本集合T={(x1,y1),(x2,y2)...(xN,yN)};
基函数集合{b(x;γ)};
损失函数L(y,f(x));
(2)输出:加法模型f(x);
(3)算法流程:
初始化f0(x)=0,令m分别取值1,2,3...M,求解损失函数:
Figure FDA0003073450120000024
得到变量βm和γm的值,
更新模型:
fm(x)=fm-1(x)+βmb(x;γm)
得到最终的加法模型:
Figure FDA0003073450120000031
证明过程如下:
假定通过m-1轮的循环,得到fm-1(x):
fm-1(x)=fm-2(x)+αm-1Gm-1(x)=α1G1(x)+...+αm-1Gm-1(x)
最后一轮迭代得到αm、Gm(x)以及fm(x),利用αm,Gm(x)使得最终模型在训练样本集合中的损失函数最小,如下式:
Figure FDA0003073450120000032
Figure FDA0003073450120000033
则上述公式可变换为:
Figure FDA0003073450120000034
参数α和参数G不影响
Figure FDA0003073450120000035
因此
Figure FDA0003073450120000036
与最小化损失函数无关,而
Figure FDA0003073450120000037
与fm-1(x)有关联,因此每次循环都会产生变化;
(4)基础分类器:
求解分类器G*(x),对于任意α>0,依据以下公式可以求得最小的G(x):
Figure FDA0003073450120000038
其中,
Figure FDA0003073450120000039
(5)计算权重:
Figure FDA0003073450120000041
Figure FDA0003073450120000042
带入上式当中,求导可得到
Figure FDA0003073450120000043
(6)分类错误率:
计算分类错误率为:
Figure FDA0003073450120000044
(7)更新权值:
根据模型fm(x)=fm-1(x)+αmGm(x)以及权重
Figure FDA0003073450120000045
计算得到:
Figure FDA0003073450120000046
两个公式做除法,得到
Figure FDA0003073450120000047
从而计算出
Figure FDA0003073450120000048
CN201810996115.9A 2018-08-29 2018-08-29 一种针对行人检测的优化ssd方法 Active CN109325423B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810996115.9A CN109325423B (zh) 2018-08-29 2018-08-29 一种针对行人检测的优化ssd方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810996115.9A CN109325423B (zh) 2018-08-29 2018-08-29 一种针对行人检测的优化ssd方法

Publications (2)

Publication Number Publication Date
CN109325423A CN109325423A (zh) 2019-02-12
CN109325423B true CN109325423B (zh) 2021-09-21

Family

ID=65264350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810996115.9A Active CN109325423B (zh) 2018-08-29 2018-08-29 一种针对行人检测的优化ssd方法

Country Status (1)

Country Link
CN (1) CN109325423B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2624653A (en) * 2022-11-24 2024-05-29 Continental Autonomous Mobility Germany GmbH A system and method for object detection from a curved mirror

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107564034A (zh) * 2017-07-27 2018-01-09 华南理工大学 一种监控视频中多目标的行人检测与跟踪方法
CN107590452A (zh) * 2017-09-04 2018-01-16 武汉神目信息技术有限公司 一种基于步态与人脸融合的身份识别方法及装置
CN108154076A (zh) * 2017-11-16 2018-06-12 北京遥感设备研究所 一种机器学习算法级联的铁轨行人检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6587953B2 (ja) * 2016-02-10 2019-10-09 東芝メモリ株式会社 ストレージコントローラ、ストレージ装置、データ処理方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107564034A (zh) * 2017-07-27 2018-01-09 华南理工大学 一种监控视频中多目标的行人检测与跟踪方法
CN107590452A (zh) * 2017-09-04 2018-01-16 武汉神目信息技术有限公司 一种基于步态与人脸融合的身份识别方法及装置
CN108154076A (zh) * 2017-11-16 2018-06-12 北京遥感设备研究所 一种机器学习算法级联的铁轨行人检测方法

Also Published As

Publication number Publication date
CN109325423A (zh) 2019-02-12

Similar Documents

Publication Publication Date Title
CN112949673B (zh) 一种基于全局注意力的特征融合目标检测与识别方法
CN109614922B (zh) 一种动静态手势识别方法和系统
CN105354791B (zh) 一种改进的自适应混合高斯前景检测方法
CN104182772A (zh) 一种基于深度学习的手势识别方法
CN109740721B (zh) 麦穗计数方法及装置
CN109801297B (zh) 一种基于卷积实现的图像全景分割预测优化方法
CN107944354B (zh) 一种基于深度学习的车辆检测方法
CN104598924A (zh) 一种目标匹配检测方法
CN106204658A (zh) 运动图像跟踪方法及装置
CN103700114A (zh) 一种基于可变高斯混合数的复杂背景建模方法
CN111797707B (zh) 一种基于聚类的镜头关键帧提取方法
CN111160407A (zh) 一种深度学习目标检测方法及系统
CN103119625A (zh) 一种视频人物分割的方法及装置
CN111353448A (zh) 基于相关性聚类和时空约束的行人多目标跟踪方法
CN111062278A (zh) 基于改进残差网络的异常行为识别方法
CN112579823A (zh) 基于特征融合和增量滑动窗口的视频摘要生成方法及系统
CN112036367A (zh) 一种yolo卷积神经网络的人数检测方法
CN109325423B (zh) 一种针对行人检测的优化ssd方法
CN109919235B (zh) 一种基于人工干预样本集权重的深度学习图像分类模型训练方法
KR20210011707A (ko) Cnn을 기반으로 한 동영상의 씬 단위 장소 분류 방법 및 이를 이용한 장소 분류 장치
CN109191485A (zh) 一种基于多层超图模型的多视频目标协同分割方法
CN113627481A (zh) 一种面向智慧园林的多模型组合的无人机垃圾分类方法
CN113627240A (zh) 一种基于改进ssd学习模型的无人机树木种类识别方法
CN110674845B (zh) 一种结合多感受野注意与特征再校准的菜品识别方法
CN112132207A (zh) 基于多分支特征映射目标检测神经网络构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant