CN110516523A - 移动视频巡检中危险区域行人检测方法 - Google Patents

移动视频巡检中危险区域行人检测方法 Download PDF

Info

Publication number
CN110516523A
CN110516523A CN201910539038.9A CN201910539038A CN110516523A CN 110516523 A CN110516523 A CN 110516523A CN 201910539038 A CN201910539038 A CN 201910539038A CN 110516523 A CN110516523 A CN 110516523A
Authority
CN
China
Prior art keywords
sample
gradient
classifier
training
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910539038.9A
Other languages
English (en)
Other versions
CN110516523B (zh
Inventor
程德强
付新竹
李海翔
冯晨晨
刘钊
刘海
张国鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN201910539038.9A priority Critical patent/CN110516523B/zh
Publication of CN110516523A publication Critical patent/CN110516523A/zh
Application granted granted Critical
Publication of CN110516523B publication Critical patent/CN110516523B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了移动视频巡检中危险区域行人检测方法,包括以下步骤:步骤1:提取HOG特征;步骤2:构建一种(r,P,k)的中值采样方案;步骤3:训练二级级联分类器,第一级的分类器使用线性SVM,去除大部分容易区分的负样本,保留几乎所有正样本送入第二级分类器,第二级分类器是Adaboost分类器,对正样本进行检测。本发明在HOG‑LBP的基础上,通过对LBP特征的改进,采用梯度LBP特征,提取四个描述子,并采用一种新的基于训练的特征映射方法,并将多分辨率联合的梯度LBP特征进行串联,提取纹理特征信息更加全面,更加准确,更加有利于提高分类的准确性。

Description

移动视频巡检中危险区域行人检测方法
技术领域
本发明涉及计算机视觉技术领域,特别是涉及移动视频巡检中危险区域行人检测方法。
背景技术
行人检测是计算机视觉领域的热门话题,具有广泛的应用,比如,视频监控,身份识别,机器智能,交通安全,人机交互和行为分析等等。然而行人检测也是一项具有挑战性的任务,行人的外观可变性强,包括姿势、衣着、尺度变换等,遮挡,光照变化和复杂混乱的背景也会对行人的准确检测造成影响,使得在实际应用中检测的准确性和有效性并不是很高,所以,行人检测算法的研究仍然是计算机视觉领域的重要课题。
移动视频巡检技术当中的巡检,即巡回检验,是对产品生产、制造过程中进行的定期或随机流动性的检验巡视,检查自己管辖内的工作有无问题,及时发现汇报、及时处理,以防患于未然。移动视频巡检具备的功能有:对线路、管道,设备等现场巡检记录,拍照功能;对巡检员定位及巡检轨迹回放功能;任务制订、任务审批、任务下达、任务跟踪功能;巡检员、缺陷、安全隐患、设备等位置和分布在地图上的显示功能。相比较于传统的人工巡检,移动视频巡检系统主要是以现代技术预设巡检路线,提供完善的工作计划,实时跟踪记录,自动传输设备检测数值,发现异常自动上报,及时处理隐患,采用网络通信、射频识别等技术确保巡检人员的真实到位,移动端可以实时跟踪,同时实现巡检全过程的可视化。移动视频巡检系统使业务处理摆脱了时间和场所局限,随时随地与业务平台进行沟通,有效提高巡检效率,推动效益增长。
在一些工人工作的危险区域,比如矿井区域,易燃易爆区域等等,对于安全的要求会特别高,将行人检测算法应用到移动视频巡检系统中,捕捉行人目标,分析行人的行为状态,当工人有异常不合理行为出现时,及时报警,确保工人人身安全以及场所的区域安全和设备安全。
行人检测技术发展初期主要是基于单一特征来进行行人检测,最早用于行人检测系统的算法是滑动窗口探测器和Haar-like特征,但其只适合于检测静态图像,且处理速度较慢,误检率较高。在此基础上引入了积分图像的概念加速特征的计算,并构建级联结构的Adaboost分类器,通过Adaboost学习算法自动选择特征,逐级排除负样本,大大提高了检测的有效性。行人检测领域发生突破性进展的研究成果是HOG算法的提出,HOG算法提取图像中的梯度方向直方图特征,能充分提取行人的外观和形状信息,具备极其优秀的行人背景区分度,具有高效性和稳健性,再结合SVM分类器进行行人检测,获得了极好的检测性能。鉴于单一特征无法全面描述图像的全部信息,提出将多种特征联合进行行人检测的方法。比如将描述图像边缘信息的HOG特征和纹理描述子局部二值模式LBP特征相结合,并使用线性支持向量机(SVM)来训练行人探测器。这种方法的优点是对灰度尺度变化具有很好的鲁棒性且计算简单;缺点是需分阶段进行类别归类,一旦分类出现错误,这种模型就不是最优的。
纹理特征提取描述符LBP算子在图像模糊或光照变化强烈时,不能有效提取目标的纹理信息,抗噪声干扰能力差,无法提高检测性能。
Adaboost算法通过训练每一个弱分类器,然后集成各个弱分类器构成一个强分类器。但是随着弱分类器个数的增加,样本的训练时间会大大增加,同时学习难度的增加容易造成过拟合,导致分类器的分类效率下降,稳定性变差。
发明内容
为了克服上述现有技术的不足,本发明提供了移动视频巡检中危险区域行人检测方法。
本发明所采用的技术方案是:移动视频巡检中危险区域行人检测方法,包括以下步骤;
步骤1:提取HOG特征,包括将图像灰度化;对输入图像进行颜色空间的归一化;计算图像每个像素的梯度,包括大小和方向;将图像划分成小的cells单元格,为每个单元格构建梯度方向直方图;将cells组合成大的块,块内归一化梯度直方图;将图像内的所有block的HOG特征描述符串联起来就可以得到该图像的HOG特征描述符;
步骤2:构建一种(r,P,k)的中值采样方案,(i,j)是中心像素的坐标,r 是采样圆的半径,θ是圆上点的偏移角度,k(k=0,1,2,...)代表径向距离或与参考点的相邻距离,n表示圆上采样点的总数,P表示从n个采样点产生并由梯度LBP 描述符编码的参考点总数;对于给定的中心像素xc和采样编码模式(r,P,k),总共有(2k+1)*P个圆上的原始采样点,定义四个梯度LBP(gLBP)描述符,并且提出一种自适应训练方法构建gLBP的纹理映射,这四个特征描述符分别是中心梯度(C),径向梯度(R),幅值梯度(M)和切线梯度(T);
步骤3:训练二级级联分类器,第一级的分类器使用线性SVM,去除大部分容易区分的负样本,保留几乎所有正样本送入第二级分类器,第二级分类器是 Adaboost分类器,对正样本进行检测。
进一步地,在上述步骤1中将,提取HOG特征包括以下步骤:a、将图像灰度化;
b、采用Gamma校正法对输入图像进行颜色空间的归一化,Gamma压缩公式:
I(x,y)=I(x,y)gamma (1)
c、计算图像每个像素的梯度,包括大小和方向;
梯度算子:水平边缘算子:[-1,0,1];垂直边缘算子:[-1,0,1]T
图像中像素点(x,y)的梯度为:
Gx(x,y)=H(x+1,y)-H(x-1,y)
Gy(x,y)=H(x,y+1)-H(x,y-1) (2)
式中Gx(x,y),Gy(x,y),H(x,y)分别表示输入图像中像素点(x,y)处的水平方向梯度、垂直方向梯度和像素值。像素点(x,y)处的梯度幅值和梯度方向分别为:
d、将图像划分成小的cells单元格,为每个单元格构建梯度方向直方图;
e、将cells组合成大的块,块内归一化梯度直方图;
f、将图像内的所有block的HOG特征描述符串联起来就可以得到该图像的HOG 特征描述符。
进一步地,在上述步骤2中,具体定义如下:
(5)中心梯度描述符:
gLBPr,P,k_C(xc)=s(gcc) (4)
其中,xc表示给定的要编码的中心像素,gc代表所有(2k+1)*P圆上采样点的平均强度,即μc是整幅图像的平均强度,即s(.)表示
(6)径向梯度描述符:
其中m(xp,k)表示在参考点xp的径向相邻线上的所有2k+1个径向采样点(包括xp,参见图1)的中值运算,k仍然表示到参考点xp的径向距离。
(7)幅值梯度描述符:
其中,μm表示整幅图像上|m(xp,k)-gc|的平均值。
(8)切线梯度描述符:
m(xp,k)仍然表示2k+1个采样点的中值,与xp的距离小于或等于k。通常情况下,除了中心像素xc,大部分采样点没有准确落在实际像素点上,采用双线性插值计算强度。
进一步地,在上述步骤2中,使用一种基于训练的特征映射方法,主要步骤如下:
A、计算直方图(ri表示旋转不变性);
B、将步骤A的直方图降序排序,生成相对变化率曲线;
C、通过相对变化率曲线的峰值识别主导模式边界;
D、重构gLBP特征模型。
进一步地,在上述步骤3中,线性SVM分类器中给定标记的形如的训练数据,其中yi∈{-1,+1},xi∈Rn,通过运用C-SVM的构想,对于一个线性问题,通过最小化下式来找到一个超平面,达到区分数据的最好效果:
上式满足条件:yi(w·xi+b)≥1-ξii≥0,C>0,其中C是正则化和约束违反之间的权衡;
对于数据点上的内核K(x,z):Rn×Rn→R,内积为φ(x)·φ(z),在一个高维的特征空间,可以通过最大化双重构想公式达到同样的目的:
满足条件0≤αi≤C,∑αiyi=0;决策函数是sign(h(x)),其中,
为了表述清楚,可以认为特征xl:l∈{1,2,...,m}是支持向量。
进一步地,在上述步骤3中,Adaboost分类器中,设给定N个训练样本 {x1,…,xN},用fm(x)∈{-1,1}(m=1,…,M)表示M个弱分类器在样本x上的输出,通过Adaboost算法构造这M个分类器并进行决策的具体过程如下:
步骤1:初始化训练数据的权值分布,每一个训练样本,初始化时赋予同样的权值w=1/N,N为样本总数。
D1=(w11,w12,…w1i,…,w1N),w1i=1/N,i=1,2,…,N (11)
其中,D1表示第一次迭代时每个样本的权值,w11表示第一次迭代时第一个样本的权值。
步骤2:进行多次迭代,m=1,2,…,M,M表示迭代次数。
1)使用具有权值分布Dm(m=1,2,…,N)的训练样本集进行学习,得到弱分类器,
Gm(x):χ→{-1,+1} (12)
上式表示第m次迭代时的弱分类器,将样本x分类成1或-1,分类标准为使得该弱分类器的误差函数最小,分错的样本对应的权值之和最小;即
2)计算弱分类器Gm(x)的话语权,话语权αm表示Gm(x)在最终分类器中的重要程度,其中em为上步中的εm
该式随em减小而增大,即误差率小的分类器,在最终分类器中的重要程度大。
3)更新训练样本集的权值分布,用于下一轮迭代;其中,被错误分类的样本的权值会增大,正确分类的样本权值会减小,
Dm+1=(wm+1,1,wm+1,2,…,wm+1,i,…,wm+1,N) (14)
其中,Dm+1是下次迭代时样本的权值,wm+1,i是下一次迭代时,第i个样本的权值;yi表示第i个样本对应的类别(1或-1),Gm(xi)表示弱分类器对样本xi的分类(1或-1),若分类正确,yiGm(xi)的值为1,反之为-1,Zm是归一化因子,使得所有样本对应的权值之和为1。
步骤3:迭代完成后,组合弱分类器,形成强分类器,
进一步地,在上述步骤3中,SVM-Adaboost级联分类器训练检测步骤如下所示:
Step1:提取训练样本的HOG特征;
Step2:提取训练样本的gLBP特征;
Step3:把HOG特征与gLBP特征联合,得到训练数据;
Step4:使用训练数据测试测试样本,得到测试数据;
Step5:使用SVM对Step3中的训练数据进行分类,得到分类模型;
Step6:使用Adaboost对Step3中的训练数据进行分类,得到分类模型;
Step7:基于负样本的训练数据,加入一些HOG-gLBP特征的新的负样本生成新的负样本数据;
Step8:对Step7中的负样本数据分类,记录被错误分类的难例数据;
Step9:把难例加到Step3中的训练数据中,重新使用SVM分类得到第一个分类模型;
Step10:使用Step9中的第一级分类器对Step4中的测试数据进行分类,此步骤去除了大部分容易区分的负样本,减少了工作量,把剩余的样本输入到第二级 Adaboost分类器;
Step11:Adaboost分类器对输入的大部分正样本数据进行分类,输出最终结果。
与现有技术相比,本发明的有益效果是:
1、在HOG-LBP的基础上,通过对LBP特征的改进,采用梯度LBP特征,提取四个描述子,并采用一种新的基于训练的特征映射方法,并将多分辨率联合的梯度LBP特征进行串联,提取纹理特征信息更加全面,更加准确,更加有利于提高分类的准确性。
2、采用级联分类器,先用线性SVM分类器去除大部分负样本,减少了二级分类器处理的数据量,加快了处理速度,二级Adaboost分类器的使用,不同的弱分类器集合形成强分类器,提高了检测的精度。
附图说明
图1为本发明中gLBP四个描述符的(r,P,k)采样方案示意图;
图2为gLBP特征的多分辨率联合特征图。
具体实施方式
为了加深对本发明的理解,下面结合附图和实施例对本发明进一步说明,该实施例仅用于解释本发明,并不对本发明的保护范围构成限定。
如图1所示,移动视频巡检中危险区域行人检测方法,包括以下步骤;
步骤1:提取HOG特征,包括将图像灰度化;对输入图像进行颜色空间的归一化;计算图像每个像素的梯度,包括大小和方向;将图像划分成小的cells 单元格,为每个单元格构建梯度方向直方图;将cells组合成大的块,块内归一化梯度直方图;将图像内的所有block的HOG特征描述符串联起来就可以得到该图像的HOG特征描述符;
步骤2:构建一种(r,P,k)的中值采样方案,(i,j)是中心像素的坐标, r是采样圆的半径,θ是圆上点的偏移角度,k(k=0,1,2,…)代表径向距离或与参考点的相邻距离,n表示圆上采样点的总数,P表示从n个采样点产生并由梯度 LBP描述符编码的参考点总数;对于给定的中心像素xc和采样编码模式(r,P, k),总共有(2k+1)*P个圆上的原始采样点,定义四个梯度LBP(gLBP)描述符,并且提出一种自适应训练方法构建gLBP的纹理映射,这四个特征描述符分别是中心梯度(C),径向梯度(R),幅值梯度(M)和切线梯度(T);
步骤3:训练二级级联分类器,第一级的分类器使用线性SVM,去除大部分容易区分的负样本,保留几乎所有正样本送入第二级分类器,第二级分类器是 Adaboost分类器,对正样本进行检测。
在上述实施例中,HOG特征相对于其他现有的特征可以提供更优越的表现。体现在:HOG特征作用于图像的局部cell单元,对图像几何和光学变化不敏感;在粗略的空间域抽样、精细的方向抽样以及较强的局部光学归一化等条件下,只要行人大体上保持直立的姿势,一些细微的肢体动作并不会影响检测结果。HOG 特征的基本思想是:统计图像局部区域的梯度方向信息来作为该图像局部区域的特征描述。
在上述实施例中,HOG特征提取步骤:
a、灰度化;
b、采用Gamma校正法对输入图像进行颜色空间的归一化,目的是调节图像的对比度,降低图像局部的阴影和光照变化所造成的影响,同时可以抑制噪音的干扰;
Gamma压缩公式:
I(x,y)=I(x,y)gamma (1)
c、计算图像每个像素的梯度,包括大小和方向。主要是为了捕获轮廓信息,同时进一步弱化光照的干扰;
梯度算子:水平边缘算子:[-1,0,1];垂直边缘算子:[-1,0,1]T
图像中像素点(x,y)的梯度为:
Gx(x,y)=H(x+1,y)-H(x-1,y)
Gy(x,y)=H(x,y+1)-H(x,y-1) (2)
式中Gx(x,y),Gy(x,y),H(x,y)分别表示输入图像中像素点(x,y)处的水平方向梯度、垂直方向梯度和像素值。像素点(x,y)处的梯度幅值和梯度方向分别为:
d、将图像划分成小的cells单元格,为每个单元格构建梯度方向直方图,目的是,统计局部图像梯度信息并进行量化,得到局部图像区域的特征描述向量,同时能够保持对图像中人体对象的姿势和外观的弱敏感性;
e、将cells组合成大的块(block),块内归一化梯度直方图。由于局部光照的变化以及前景-背景对比度的变化,使得梯度强度的变化范围非常大,这就需要对梯度强度做归一化,归一化能够进一步对光照、阴影和边缘进行压缩;
f、将图像内的所有block的HOG特征描述符串联起来就可以得到该图像的 HOG特征描述符。这样就得到了最终可供分类使用的特征向量。
在上述实施例中,为了进一步提高纹理分类的精度,在传统的LBP以及旋转不变均匀模式LBP的基础上,提出一种(r,P,k)的中值采样方案,采样方案如图1所示,(i,j)是中心像素的坐标,r是采样圆的半径,θ是圆上点的偏移角度,k(k=0,1,2,...)代表径向距离或与参考点的相邻距离。n表示圆上采样点的总数,P表示从n个采样点产生并由梯度LBP描述符编码的参考点总数。对于给定的中心像素xc和采样编码模式(r,P,k),总共有(2k+1)*P个圆上的原始采样点。定义四个梯度LBP(gLBP)描述符,并且提出一种自适应训练方法构建gLBP的纹理映射。这四个特征描述符分别是中心梯度(C),径向梯度(R),幅值梯度(M)和切线梯度(T);具体定义如下:
(5)中心梯度描述符:
gLBPr,P,k_C(xc)=s(gcc) (4)
其中,xc表示给定的要编码的中心像素,gc代表所有(2k+1)*P圆上采样点的平均强度,即μc是整幅图像的平均强度,即s(.)表示
(6)径向梯度描述符:
其中m(xp,k)表示在参考点xp的径向相邻线上的所有2k+1个径向采样点(包括xp,参见图1)的中值运算,k仍然表示到参考点xp的径向距离。
(7)幅值梯度描述符:
其中,μm表示整幅图像上|m(xp,k)-gc|的平均值。
(8)切线梯度描述符:
m(xp,k)仍然表示2k+1个采样点的中值,与xp的距离小于或等于k。
通常情况下,除了中心像素xc,大部分采样点没有准确落在实际像素点上,采用双线性插值计算强度。
在上述实施例中,gLBP与传统的LBP一样,存在对纹理旋转敏感和维度过高的缺点,不适合直接应用于纹理特征的提取,需要先进行特征映射,目的是保留高频模式(主导模式),删除或合并低频模式。在这里为了提高对不同数据库的鲁棒性并尽可能精确地识别所有主导模式,使用一种基于训练的特征映射方法。
主要步骤如下:
A、计算直方图(ri表示旋转不变性);
B、将步骤1)的直方图降序排序,生成相对变化率曲线;
C、通过相对变化率曲线的峰值识别主导模式边界;
D、重构gLBP特征模型。
在纹理分类中,已经充分证明多分辨率联合特征比单个特征更加可靠和有效。在这里使用gLBP的多分辨率联合算子来提取纹理特征,图2表示了映射后的 gLBP三分辨率联合特征。
在上述实施例中,为了减少特征计算的复杂性,得到检测器的良好性能,本文训练一个二级级联分类器。第一级的分类器使用线性SVM,去除大部分容易区分的负样本,保留几乎所有正样本送入第二级分类器。第二级分类器是 Adaboost分类器,对正样本进行检测。
在上述实施例中,线性SVM分类器学习最优超平面,最大程度上区分行人与背景,性能上优于其他线性分类器。
给定标记的形如的训练数据,其中yi∈{-1,+1},xi∈Rn。通过运用 C-SVM的构想,对于一个线性问题,通过最小化下式来找到一个超平面,达到区分数据的最好效果:
上式满足条件:yi(w·xi+b)≥1-ξii≥0,C>0,其中C是正则化和约束违反之间的权衡。
对于数据点上的内核K(x,z):Rn×Rn→R,内积为φ(x)·φ(z),在一个高维的特征空间,可以通过最大化双重构想公式达到同样的目的:
满足条件0≤αi≤C,∑αiyi=0。
决策函数是sign(h(x)),其中,
为了表述清楚,可以认为特征xl:l∈{1,2,...,m}是支持向量。
在上述实施例中,Adaboost是一种迭代算法,其核心思想是针对同一个训练集训练不同的分类器(弱分类器),然后把这些弱分类器集合起来,构成一个更强的最终分类器(强分类器)。其算法本身是通过改变数据分布来实现的,它根据每次训练集中每个样本的分类是否正确,以及上次的总体分类的准确率,来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练,直至达到一定的正确率,最后将每次训练得到的分类器融合起来,作为最后的决策分类器。
设给定N个训练样本{x1,…,xN},用fm(x)∈{-1,1}(m=1,…,M)表示M个弱 分类器在样本x上的输出,通过Adaboost算法构造这M个分类器并进行决策的 具体过程如下:
步骤1:初始化训练数据的权值分布,每一个训练样本,初始化时赋予同样的权值w=1/N,N为样本总数。
D1=(w11,w12,…w1i,…,w1N),w1i=1/N,i=1,2,…,N (11)
其中,D1表示第一次迭代时每个样本的权值,w11表示第一次迭代时第一个样本的权值。
步骤2:进行多次迭代,m=1,2,…,M,M表示迭代次数。
1)使用具有权值分布Dm(m=1,2,…,N)的训练样本集进行学习,得到弱分类器。
Gm(x):χ→{-1,+1} (12)
上式表示第m次迭代时的弱分类器,将样本x分类成1或-1,分类标准为使得该弱分类器的误差函数最小,分错的样本对应的权值之和最小。即
2)计算弱分类器Gm(x)的话语权,话语权αm表示Gm(x)在最终分类器中的重要程度,其中em为上步中的εm
该式随em减小而增大,即误差率小的分类器,在最终分类器中的重要程度大。
3)更新训练样本集的权值分布,用于下一轮迭代。其中,被错误分类的样本的权值会增大,正确分类的样本权值会减小。
Dm+1=(wm+1,1,wm+1,2,…,wm+1,i,…,wm+1,N) (14)
其中,Dm+1是下次迭代时样本的权值,wm+1,i是下一次迭代时,第i个样本的权值。yi表示第i个样本对应的类别(1或-1),Gm(xi)表示弱分类器对样本 xi的分类(1或-1),若分类正确,yiGm(xi)的值为1,反之为-1,Zm是归一化因子,使得所有样本对应的权值之和为1。
步骤3:迭代完成后,组合弱分类器,形成强分类器。
在上述实施例中,SVM-Adaboost级联分类器训练检测步骤如下所示:
Step1:提取训练样本的HOG特征;
Step2:提取训练样本的gLBP特征;
Step3:把HOG特征与gLBP特征联合,得到训练数据;
Step4:使用训练数据测试测试样本,得到测试数据;
Step5:使用SVM对Step 3中的训练数据进行分类,得到分类模型;
Step6:使用Adaboost对Step 3中的训练数据进行分类,得到分类模型;
Step7:基于负样本的训练数据,加入一些HOG-gLBP特征的新的负样本生成新的负样本数据;
Step8:对Step 7中的负样本数据分类,记录被错误分类的难例数据;
Step9:把难例加到Step 3中的训练数据中,重新使用SVM分类得到第一个分类模型;
Step10:使用Step 9中的第一级分类器对Step 4中的测试数据进行分类,此步骤去除了大部分容易区分的负样本,减少了工作量,把剩余的样本输入到第二级Adaboost分类器;
Step11:Adaboost分类器对输入的大部分正样本数据进行分类,输出最终结果。
本发明的实施例公布的是较佳的实施例,但并不局限于此,本领域的普通技术人员,极易根据上述实施例,领会本发明的精神,并做出不同的引申和变化,但只要不脱离本发明的精神,都在本发明的保护范围内。

Claims (7)

1.移动视频巡检中危险区域行人检测方法,其特征在于,包括以下步骤;
步骤1:提取HOG特征,包括将图像灰度化;对输入图像进行颜色空间的归一化;计算图像每个像素的梯度,包括大小和方向;将图像划分成小的cells单元格,为每个单元格构建梯度方向直方图;将cells组合成大的块,块内归一化梯度直方图;将图像内的所有block的HOG特征描述符串联起来就可以得到该图像的HOG特征描述符;
步骤2:构建一种(r,P,k)的中值采样方案,(i,j)是中心像素的坐标,r是采样圆的半径,θ是圆上点的偏移角度,k(k=0,1,2,...)代表径向距离或与参考点的相邻距离,n表示圆上采样点的总数,P表示从n个采样点产生并由梯度LBP描述符编码的参考点总数;对于给定的中心像素xc和采样编码模式(r,P,k),总共有(2k+1)*P个圆上的原始采样点,定义四个梯度LBP(gLBP)描述符,并且提出一种自适应训练方法构建gLBP的纹理映射,这四个特征描述符分别是中心梯度(C),径向梯度(R),幅值梯度(M)和切线梯度(T);
步骤3:训练二级级联分类器,第一级的分类器使用线性SVM,去除大部分容易区分的负样本,保留几乎所有正样本送入第二级分类器,第二级分类器是Adaboost分类器,对正样本进行检测。
2.根据权利要求1所述的移动视频巡检中危险区域行人检测方法,其特征在于:在上述步骤1中将,提取HOG特征包括以下步骤:a、将图像灰度化;
b、采用Gamma校正法对输入图像进行颜色空间的归一化,Gamma压缩公式:
I(x,y)=I(x,y)gamma (1)
c、计算图像每个像素的梯度,包括大小和方向;
梯度算子:水平边缘算子:[-1,0,1];垂直边缘算子:[-1,0,1]T
图像中像素点(x,y)的梯度为:
Gx(x,y)=H(x+1,y)-H(x-1,y)
Gy(x,y)=H(x,y+1)-H(x,y-1) (2)
式中Gx(x,y),Gy(x,y),H(x,y)分别表示输入图像中像素点(x,y)处的水平方向梯度、垂直方向梯度和像素值。像素点(x,y)处的梯度幅值和梯度方向分别为:
d、将图像划分成小的cells单元格,为每个单元格构建梯度方向直方图;
e、将cells组合成大的块,块内归一化梯度直方图;
f、将图像内的所有block的HOG特征描述符串联起来就可以得到该图像的HOG特征描述符。
3.根据权利要求1所述的移动视频巡检中危险区域行人检测方法,其特征在于:在上述步骤2中,具体定义如下:
(1)中心梯度描述符:
gLBPr,P,k_C(xc)=s(gcc) (4)
其中,xc表示给定的要编码的中心像素,gc代表所有(2k+1)*P圆上采样点的平均强度,即μc是整幅图像的平均强度,即s(.)表示
(2)径向梯度描述符:
其中m(xp,k)表示在参考点xp的径向相邻线上的所有2k+1个径向采样点(包括xp,参见图1中的红色)的中值运算,k仍然表示到参考点xp的径向距离。
(3)幅值梯度描述符:
其中,μm表示整幅图像上|m(xp,k)-gc|的平均值。
(4)切线梯度描述符:
m(xp,k)仍然表示2k+1个采样点的中值,与xp的距离小于或等于k。通常情况下,除了中心像素xc,大部分采样点没有准确落在实际像素点上,采用双线性插值计算强度。
4.根据权利要求1所述的,其特征在于:在上述步骤2中,使用一种基于训练的特征映射方法,主要步骤如下:
A、计算直方图(ri表示旋转不变性);
B、将步骤A的直方图降序排序,生成相对变化率曲线;
C、通过相对变化率曲线的峰值识别主导模式边界;
D、重构gLBP特征模型。
5.根据权利要求1所述的,其特征在于:在上述步骤3中,线性SVM分类器中给定标记的形如的训练数据,其中yi∈{-1,+1},xi∈Rn,通过运用C-SVM的构想,对于一个线性问题,通过最小化下式来找到一个超平面,达到区分数据的最好效果:
上式满足条件:yi(w·xi+b)≥1-ξi,ξi≥0,C>0,其中C是正则化和约束违反之间的权衡;
对于数据点上的内核K(x,z):Rn×Rn→R,内积为φ(x)·φ(z),在一个高维的特征空间,可以通过最大化双重构想公式达到同样的目的:
满足条件0≤αi≤C,∑αiyi=0;决策函数是sign(h(x)),其中,
为了表述清楚,可以认为特征xl:l∈{1,2,...,m}是支持向量。
6.根据权利要求1所述的,其特征在于:在上述步骤3中,Adaboost分类器中,设给定N个训练样本{x1,…,xN},用fm(x)∈{-1,1}(m=1,…,M)表示M个弱分类器在样本x上的输出,通过Adaboost算法构造这M个分类器并进行决策的具体过程如下:
步骤1:初始化训练数据的权值分布,每一个训练样本,初始化时赋予同样的权值w=1/N,N为样本总数。
D1=(w11,w12,…w1i,…,w1N),w1i=1/N,i=1,2,…,N (11)
其中,D1表示第一次迭代时每个样本的权值,w11表示第一次迭代时第一个样本的权值。
步骤2:进行多次迭代,m=1,2,…,M,M表示迭代次数。
1)使用具有权值分布Dm(m=1,2,…,N)的训练样本集进行学习,得到弱分类器,
Gm(x):χ→{-1,+1} (12)
上式表示第m次迭代时的弱分类器,将样本x分类成1或-1,分类标准为使得该弱分类器的误差函数最小,分错的样本对应的权值之和最小;即
2)计算弱分类器Gm(x)的话语权,话语权αm表示Gm(x)在最终分类器中的重要程度,其中em为上步中的εm
该式随em减小而增大,即误差率小的分类器,在最终分类器中的重要程度大。
3)更新训练样本集的权值分布,用于下一轮迭代;其中,被错误分类的样本的权值会增大,正确分类的样本权值会减小,
Dm+1=(wm+1,1,wm+1,2,…,wm+1,i,…,wm+1,N) (14)
其中,Dm+1是下次迭代时样本的权值,wm+1,i是下一次迭代时,第i个样本的权值;yi表示第i个样本对应的类别(1或-1),Gm(xi)表示弱分类器对样本xi的分类(1或-1),若分类正确,yiGm(xi)的值为1,反之为-1,Zm是归一化因子,使得所有样本对应的权值之和为1。
步骤3:迭代完成后,组合弱分类器,形成强分类器,
7.根据权利要求1所述的,其特征在于:在上述步骤3中,SVM-Adaboost级联分类器训练检测步骤如下所示:
Step1:提取训练样本的HOG特征;
Step2:提取训练样本的gLBP特征;
Step3:把HOG特征与gLBP特征联合,得到训练数据;
Step4:使用训练数据测试测试样本,得到测试数据;
Step5:使用SVM对Step3中的训练数据进行分类,得到分类模型;
Step6:使用Adaboost对Step3中的训练数据进行分类,得到分类模型;
Step7:基于负样本的训练数据,加入一些HOG-gLBP特征的新的负样本生成新的负样本数据;
Step8:对Step7中的负样本数据分类,记录被错误分类的难例数据;
Step9:把难例加到Step3中的训练数据中,重新使用SVM分类得到第一个分类模型;
Step10:使用Step9中的第一级分类器对Step4中的测试数据进行分类,此步骤去除了大部分容易区分的负样本,减少了工作量,把剩余的样本输入到第二级Adaboost分类器;
Step11:Adaboost分类器对输入的大部分正样本数据进行分类,输出最终结果。
CN201910539038.9A 2019-06-18 2019-06-18 移动视频巡检中危险区域行人检测方法 Active CN110516523B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910539038.9A CN110516523B (zh) 2019-06-18 2019-06-18 移动视频巡检中危险区域行人检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910539038.9A CN110516523B (zh) 2019-06-18 2019-06-18 移动视频巡检中危险区域行人检测方法

Publications (2)

Publication Number Publication Date
CN110516523A true CN110516523A (zh) 2019-11-29
CN110516523B CN110516523B (zh) 2023-08-25

Family

ID=68623513

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910539038.9A Active CN110516523B (zh) 2019-06-18 2019-06-18 移动视频巡检中危险区域行人检测方法

Country Status (1)

Country Link
CN (1) CN110516523B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116434220A (zh) * 2023-04-24 2023-07-14 济南大学 基于描述符和AdaBoost算法的三维物体分类方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107315990A (zh) * 2017-05-04 2017-11-03 深圳市美好幸福生活安全系统有限公司 一种基于xcs‑lbp特征以及级联aksvm的行人检测算法
CN109886086A (zh) * 2019-01-04 2019-06-14 南京邮电大学 基于hog特征和线性svm级联分类器的行人检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107315990A (zh) * 2017-05-04 2017-11-03 深圳市美好幸福生活安全系统有限公司 一种基于xcs‑lbp特征以及级联aksvm的行人检测算法
CN109886086A (zh) * 2019-01-04 2019-06-14 南京邮电大学 基于hog特征和线性svm级联分类器的行人检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116434220A (zh) * 2023-04-24 2023-07-14 济南大学 基于描述符和AdaBoost算法的三维物体分类方法及系统
CN116434220B (zh) * 2023-04-24 2024-02-27 济南大学 基于描述符和AdaBoost算法的三维物体分类方法及系统

Also Published As

Publication number Publication date
CN110516523B (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
CN104091147B (zh) 一种近红外眼睛定位及眼睛状态识别方法
Cord et al. Automatic road defect detection by textural pattern recognition based on AdaBoost
WO2022121039A1 (zh) 银行卡倾斜矫正检测方法、装置、可读存储介质和终端
CN102306290B (zh) 一种基于视频的人脸跟踪识别方法
CN105893946B (zh) 一种正面人脸图像的检测方法
CN108229458A (zh) 一种基于运动检测和多特征提取的火焰智能识别方法
CN103136504A (zh) 人脸识别方法及装置
CN102332086A (zh) 一种基于双阈值局部二进制模式的人脸识别方法
CN110728252B (zh) 一种应用于区域人员运动轨迹监控的人脸检测方法
CN102902967A (zh) 基于人眼结构分类的虹膜和瞳孔的定位方法
CN104021375A (zh) 一种基于机器学习的车型识别方法
CN108073940B (zh) 一种非结构化环境中的3d目标实例物体检测的方法
CN106529461A (zh) 一种基于积分特征通道和svm训练器的车型识别算法
CN116109915B (zh) 一种集装箱箱门状态智能识别方法
CN108509861B (zh) 一种基于样本学习和目标检测结合的目标跟踪方法和装置
Mammeri et al. North-American speed limit sign detection and recognition for smart cars
CN111461162B (zh) 一种零样本目标检测模型及其建立方法
CN113989196B (zh) 一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法
CN112435414A (zh) 一种基于人脸识别的安防监控系统及其监控方法
CN115588165A (zh) 一种隧道工人安全帽检测及人脸识别方法
CN118032789A (zh) 基于机器视觉的手表外壳表面检测系统及方法
CN106548195A (zh) 一种基于改进型hog‑ulbp特征算子的目标检测方法
CN110516523A (zh) 移动视频巡检中危险区域行人检测方法
Huang et al. Circular road sign detection and recognition based on hough transform
CN101826150A (zh) 头部检测方法和设备,头部检测及类别判断方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant