一种自相似性梯度朝向直方图的远红外行人训练方法
技术领域
本发明属于计算机视觉与模式识别、图像处理和计算机视觉领域,尤其涉及一种自相似性梯度朝向直方图的远红外行人训练方法。
背景技术
由于道路行人天然缺乏有效的掩体,在各种类型的交通事故中,道路行人与行驶中的道路车辆的碰撞,后果尤为严重。特别是在夜间光线不足的情形,该类型碰撞时有发生。由于远红外摄像头不依赖于光源成像,单纯根据温差即可成像,故利用车载远红外摄像头所拍摄的车辆前方行人目标,研发基于图像处理和模式识别技术的面向辅助驾驶的车载行人检测系统,能有效预防车辆与道路行人发生碰撞交通事故。面向辅助驾驶的车载行人检测系统的精度取决于系统中的远红外行人分类器的精度,而分类器的精度直接依赖于所设计的远红外行人描述特征,然而,目前专门针对远红外行人进行特征提取的研究尚不充分,导致系统对远红外行人的特征提取能力不足,故鲁棒实时的特征提取方法的设计尤为重要。
Miron Alina等(Intensity self similarity features for pedestriandetection in Far-Infrared images[C]//Intelligent Vehicles Symposium.IEEE,2012.)利用了图像块之间的相互关系,提出一种强度自相似性特征(IntensitySelfSimilarity,ISS) 进行远红外行人特征提取,然而仅在原始灰度亮度的层面进行了块相似性的度量,尚未在更高层语义的梯度层面进行度量。特别地,该特征未提取红外图像中的梯度信息特征,导致特征的泛化能力不足,无法满足实际应用的精度要求。
Liu Qiong等(Robust and fast pedestrian detection method for far-infrared automotive driving assistance systems[J].Infrared Physics&Technology,2013, 60:288-299.)指出HOG特征尚未针对远红外行人的成像特性进行特征提取。提出利用远红外行人的边缘具有比较丰富的信息,通过在梯度投影时,计算熵加权进行梯度投影,并结合图像金字塔的思想,提出一种熵加权的HOG特征,改进了HOG特征。然而,该特征的改进依赖于红外行人具有较明显的边缘,在行人与背景温差较小时,改进效果不显著,而且为了改进HOG特征,引入的计算开销也比较大。
Hurney Patrick等(Night-time pedestrian classification with histogramsof oriented gradients-local binarypatterns vectors[J].IET IntelligentTransport Systems, 2015,9(1):75-85.)融合了HOG特征和局部二值模式特征(LocalBinaryPatterns, LBP)进行远红外行人特征提取。通过特征融合,提升了单一特征提取的分类精度。然而仅将现成的HOG特征串联融合现成的LBP特征,尚未改进HOG 特征或LBP特征。
专利一种基于车载红外视频的行人检测方法及系统(中国专利授权公告号:CN108319906A,授权公告日:2018年07月24日)在特征提取阶段,采用积分图和通道特征,提取红外视频的亮度特征和梯度特征,实现了行人分类。然而,在梯度特征利用方面,仍然如传统的HOG特征一样,根据梯度朝向,利用梯度幅度进行投票,尚未利用图像块之间的相互关系进行远红外行人目标特征提取。
专利一种基于红外成像的行人预警方法及系统(中国专利授权公告号:CN108256418A,授权公告日:2018年07月06日)在分类阶段,采用Adaboost 分类器实现候选区域的分类。该方法对所有尺度的候选区域均采用唯一的 Adaboost分类器进行分类,尚未针对不同尺度的候选区域的成像差异,导致分类精度较低。
综上所述,虽然基于远红外成像的车载行人分类方法已经取得了一定的成果,但为了满足车载辅助驾驶应用的实际要求,迫切需要在同时兼顾鲁棒性和实时性方面做出进一步的改进。
发明内容
本发明实施例的目的在于提供一种自相似性梯度朝向直方图的远红外行人训练方法,旨在解决现有的基于远红外摄像头的车载行人分类方法的识别准确率不尽如人意、实时性和鲁棒性难以兼顾的问题。
一种自相似性梯度朝向直方图的远红外行人训练方法,其特征在于图像块之间相似性度量改进梯度朝向直方图(Histogram ofOriented Gradient,HOG)特征,得到一种改进的基于相似性度量HOG特征(Self-similarity HOG,SHOG) 特征,然后,收集面向车载远红外行人分类的训练样本,并基于SHOG特征聚类剔除噪声样本,获得高质量样本,在此基础上,根据训练样本外观模式的差异,将样本划分为四种高度尺度,分别训练得到四个分支的基于SHOG特征的线性支持向量机模型,具体包括:
步骤一,基于局部块自相似性改进梯度朝向直方图(HOG)特征;
步骤二,基于SHOG特征聚类剔除噪声样本;
步骤三,对训练样本进行基于SHOG的线性支持向量机训练;
进一步,权利要求1所述一种自相似性梯度朝向直方图的远红外行人训练方法,其特征在于,步骤一所述基于相似性度量改进HOG特征指,针对目前的HOG特征尚未对图像的局部块之间的相互关系进行描述,提出对HOG计算过程中的每两个块之间相似性进行度量,并将归一化后的度量结果串联到HOG 特征中,从而完成对图像的局部块之间的相互关系的刻画,得到一种改进的基于相似性度量的HOG特征,即SHOG特征。
权利要求1所述一种自相似性梯度朝向直方图的远红外行人训练方法,其特征在于,步骤二所述的基于SHOG特征聚类剔除噪声样本指利用K-means算法对所收集的远红外训练样本中可能出现的噪声样本进行剔除,提高训练样本质量;所述的噪声样本指类别标签错误的样本;所述的剔除指删除训练样本中,距离行人聚类中心大于0.9的行人样本;所述的距离指欧式距离。
权利要求1所述一种自相似性梯度朝向直方图的远红外行人训练方法,其特征在于,步骤三所述基于对训练样本进行基于SHOG的线性支持向量机训练指利用步骤一所设计的改进特征SHOG,根据训练样本的四种高度尺度,分别训练得到四个分支的线性支持向量机模型,在使用四分支支持向量机模型进行样本测试时,根据测样本的高度,送入不同分支的支持向量机模型以完成分类任务。
本发明提供的一种自相似性梯度朝向直方图的远红外行人训练方法,与现有的基于车载远红外摄像头的行人分类技术相比,本发明具有如下优点和效果:通过在传统的HOG特征的基础上,针对目前的HOG特征尚未对远红外图像的局部块之间的相互关系进行描述,导致特征表征能力较差。本发明改进了HOG 特征,提出了一种图像块之间相似性度量的方法,增强HOG特征的表征能力,得到一种新的基于自相似性度量的梯度朝向直方图特征,称为自相似性度量 HOG(Self-similarity HOG,SHOG),弥补了传统的HOG特征对远红外行人目标表征能力不足的问题,为候选的机器学习分类打下了良好的基础。此外,考虑到面向辅助驾驶的行人检测应用领域中,通常需要检测车辆前5~100米距离范围内的行人目标,故行人的尺度范围比较大,导致外观模式差异较大,提出了将测试样本根据像素高度分成四类进行分别训练的方式。相对于将所有行人目标作为一类进行训练、分类的方式,一定程度减少了测试样本的类内方差,与改进的SHOG特征一道,共同提升了分类器的精度。在此基础上,基于所提出的SHOG特征,提出利用K-means算法,对所收集的远红外训练样本中可能出现的噪声样本(指类别标签错误的样本)进行剔除,提高了训练样本的质量。综上所述,通过改进特征提取方法、对训练样本的噪声样本进行剔除、根据样本高度划分进行划分以设计多分支分类器,所提出的车载远红外行人分类器训练方法,能更鲁棒地对行人与非行人进行分类,该方法能用于车载辅助驾驶系统的核心分类器设计阶段。
附图说明
图1是本发明实施例提供的一种自相似性梯度朝向直方图的远红外行人训练方法;
图2是本发明实施例提供的一种自相似性梯度朝向直方图的远红外行人训练方法结构示意图;
图中:A、特征改进模块;B、特征提取与噪声样本剔除模块;C、分类器训练模块。
图3是本发明实施例提供的一种基于SHOG特征的多分支支持向量机的实施例图;
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
下面结合附图及具体实施例对本发明的应用原理作进一步描述。
如图1所示,本发明实施例的一种自相似性梯度朝向直方图的远红外行人训练方法包括以下步骤:
S101,基于局部块自相似性改进梯度朝向直方图(HOG)特征;
S102,基于SHOG特征聚类剔除噪声样本;
S103,对训练样本进行基于SHOG的线性支持向量机训练;
步骤S101所述的基于相似性度量改进HOG特征指,针对目前的HOG特征尚未对图像的局部块之间的相互关系进行描述,提出对HOG计算过程中的每两个块之间相似性进行度量,并将归一化后的度量结果串联到HOG特征中,从而完成对图像的局部块之间的相互关系的刻画,得到一种改进的基于相似性度量的 HOG特征,即SHOG特征。
步骤S102所述的基于SHOG特征聚类剔除噪声样本指利用K-means算法对所收集的远红外训练样本中可能出现的噪声样本进行剔除,提高训练样本质量;所述的噪声样本指类别标签错误的样本;所述的剔除指删除训练样本中,距离行人聚类中心大于0.9的行人样本;所述的距离指欧式距离。
步骤S103所述的基于对训练样本进行基于SHOG的线性支持向量机训练指利用步骤一所设计的改进特征SHOG,根据训练样本的四种高度尺度,分别训练得到四个分支的线性支持向量机模型,在使用四分支支持向量机模型进行样本测试时,根据测样本的高度,送入不同分支的支持向量机模型以完成分类任务,在此四种高度尺度之外的样本均直接分类为非行人;所述的四种高度指测试样本的像素高度分别处于[10,50)、[50,70)、[70,90)和[90,110)之间。
如图2所示,本发明实施例的一种自相似性梯度朝向直方图的远红外行人训练方法主要由特征改进模块A、特征提取与噪声样本剔除模块B、分类器训练模块C组成。
特征改进模块A,提出为HOG特征增加图像局部块之间的相互关系进行描述,改进HOG特征,得到SHOG。
特征提取与噪声样本剔除模块B,基于SHOG特征,利用K-means算法对所收集的远红外训练样本中可能出现的噪声样本进行剔除,提高训练样本的质量。
分类器训练模块C,利用本发明专利所设计的改进特征SHOG,根据训练样本的四种高度尺度,分别训练得到四个分支的线性支持向量机模型。
本发明的具体实施例:
本发明方法的整体流程如图1所示,本发明方法主体包括三部分:1.基于相似性度量的HOG特征改进模块;2.训练样本SHOG特征提取与噪声样本剔除模块;3.基于SHOG特征的分类器训练模块。
1.基于相似性度量的HOG特征改进模块
本发明考虑到远红外样本图像中,传统的HOG特征,未对图像的局部块之间的相互关系进行描述,而图像局部块之间的相互关系,可以表征行人各个子部件的相互约束关系,能提升对行人的描述能力,故提出一种新的基于相似性度量统计的SHOG特征用于表征远红外行人样本,以改进HOG特征。
SHOG特征提取,以样本为输入,主要包括如下三个子步骤:1)提取传统的HOG特征;2)提取基于相似性度量统计的特征Self-similarity_Feature;3)将 HOG与特征Self-similarity_Feature进行串联归一化,即得到SHOG特征。以下对这三个子步骤进行分述。
1.1提取传统的HOG特征
以样本图像为输入,提取HOG特征的具体步骤为:1)红外灰度图像Gama 校正;2)计算图像每个像素的梯度大小和方向;3)获得块的特征;4)将所有块的特征进行串联,即可获得HOG特征。
1)红外灰度图像Gamma校正
首先,将样本图像通过最近双线性插值算法统一缩放为64×32像素2,得到缩放后的图像f,然后将f进行归一化,即将像素值转换为[0,1]之间的实数,得到f~(x,y),具体归一化按公式(1)执行。然后,按公式(2)对像素值进行预补偿,得到fG(x,y),预补偿的gamma值设置为2。最后,按公式(3)进行反归一化,将经过预补偿的fG(x,y)实数值反变换为[0,255]之间的整数值,获得Gamma 校正后的新图像Img。
Img(x,y)=fG(x,y)×256-0.5 (3)
其中,f(x,y)表示图像f在(x,y)处的灰度值;fG(x,y)表示预补偿后的图像; Img(x,y)表示图像f在(x,y)处的灰度值。
2)计算图像每个像素的梯度大小和方向
像素Img(x,y)的x方向梯度用Gx(x,y)表示,其值按公式(4)计算;y方向的梯度用Gy(x,y)表示,其值按公式(5)计算;像素Img(x,y)的梯度方向θ (x,y)按公式(6)计算;像素Img(x,y)的梯度幅度α(x,y)按公式(7)计算。
Gx(x,y)=H(x+1,y)-H(x-1,y) (4)
Gy(x,y)=H(x,y+1)-H(x,y-1) (5)
3)获得块的特征
将所得图像划分成8×8像素2大小的胞元(Cell),统计每个胞元的梯度朝向直方图(以20°为间隔),即可形成每个胞元的特征,将每2×2胞元2的胞元组成一个块(Block),一个块内所有胞元的特征进行串联,即可得到该块的 HOG特征。
4)获得HOG特征
将第3)步中获得的所有块的特征进行串联,即可获得HOG特征。
1.2提取基于相似性度量统计的Self-similarity_Feature特征
以HOG特征提取过程中各个块所得到的HOG特征(记为Block_feature)为输入。本发明专利提出的基于相似性度量统计的Self-similarity_Feature特征的具体实施步骤包括:1)图像块内相似性计算;2)相似性特征归一化,获得 Self-similarity_Feature特征。
1)图像块内相似性计算
对每个样本,本发明专利的Block_feature维度为18,共有21个块,即共有 21个Block_feature。现按公式(8)的欧式距离定义,度量每两个Block_feature 的相似性,得到维度为
维大小的输出特征pre_Self-similarity_Feature。
其中,x,y代表用于相似性度量的两个块的Block_feature特征,由于 Block_feature的维度为18,故公式(8)中的n为18。
2)相似性特征归一化,获得Self-similarity_Feature特征
首先,将pre_Self-similarity_Feature按公式(9)进行L2归一化,其中,αi代表pre_Self-similarity_Feature;αi为pre_Self-similarity_Feature中某一维度的值,ε的值为0.05。
公式(9)所得的
即为最终的Self-similarity_Feature。
1.3将HOG与特征Self-similarity_Feature进行串联归一化,即得到SHOG特征将HOG特征和Self-similarity_Feature特征串联,即得到最终的SHOG特征。
2.训练样本SHOG特征提取与噪声样本剔除模块
1)训练样本SHOG特征提取
通过车载远红外摄像的方式,自行采集高速公路、国道、市区、郊区场景的数据,共获得长达100个小时的视频。从中进行随机抽样获取图片。共获得 10万张原始红外图像,对其中出现的所有行人进行手工标注,获得图像中所有行人的最小外接矩形,根据该最小外接矩形,采集出所有的行人目标图像,所得图像的集合(共95000张),构成的数据集记为Dataset1;在5万张不包含行人的远红外图像中,通过32×64像素2的滑动窗口,8像素的水平、8像素的垂直步长,进行滑动窗口裁剪,获取非行人样本,构成数据集Dataset0。在此基础上,合并Dataset0和Dataset1的所有样本集,得到Dataset0_1,并将所有样本使用双线性插值算法统一缩放到32×64像素2大小,并提取SHOG特征,从而完成提取面向车载远红外行人分类的训练样本的SHOG特征。
2)噪声样本剔除模块
由于Dataset1中的行人样本由手工标准而得,难免存在标准错误,导致数据Dataset0_1中具有“行人”标签的样本可能为非行人,导致训练集中具有噪声样本,故由有必要设计一种自动化的方法,对噪声样本进行剔除。本发明专利提出利用K-means算法对所收集的远红外训练样本中可能出现的噪声样本进行剔除,提高训练样本质量;具体地,使用欧式距离为度量、SHOG特征进行样本表征,当某个具有“行人”标签的样本距离行人聚类中心大于0.9时,将该训练样本从训练集中删除。本发明专利所利用的聚类计算为K-means聚类算法,具体执行步骤为:1)在Dataset0_1的所有SHOG特征中,随机选取两个聚类中心;2)遍历Dataset0_1的所有SHOG特征,将每个数据划分到最近的中心点中;3)计算每个聚类的平均值,并作为新的中心点;4)重复2)~3)步骤,直到两个中线点不再发生任何变化(或执行的迭代次数超过5000次)。
3.基于SHOG特征的分类器训练模块
根据数据集Dataset1中训练样本的像素高度尺度,按照[10,50)、[50,70)、 [70,90)和[90,110)四种像素高度区间范围,得到四个数据子集,并将Dataset0 作为上述四个子集的负样本,从而得到四个新的数据集子集,然后依次基于本发明专利提出的SHOG进行训练,得到四个分支的线性支持向量机模型。
线性支持向量机训练时,通过求解公式(10),获得支持向量w和截距b。
其中,w是训练所得的决策权重,b是常量偏移,yi是第i个训练特征的标签,xi是第i个训练样本的SHOG特征。
使用分类器进行候选区域分类时,对某候选区域,使用双线性插值算法统一缩放到32×64像素2大小,提取SHOG特征,按照公式(11)所示的线性支持向量机的判决函数进行分类。
K(xi,x)=xi Tx (12)
其中K(xi,x)是线性核函数,具体定义如公式(12)所示,xi是一个支持向量、x是候选区域的局部强度直方图特征向量、b是常量偏移、输入向量x的响应是f(x)。在使用四分支支持向量机模型进行样本测试时,根据测样本的高度,送入不同分支的支持向量机模型以完成分类任务,在此四种高度尺度之外的样本均直接分类为非行人。