CN111368704B - 基于头部特征点的车载热成像行人检测RoIs提取方法 - Google Patents

基于头部特征点的车载热成像行人检测RoIs提取方法 Download PDF

Info

Publication number
CN111368704B
CN111368704B CN202010132889.4A CN202010132889A CN111368704B CN 111368704 B CN111368704 B CN 111368704B CN 202010132889 A CN202010132889 A CN 202010132889A CN 111368704 B CN111368704 B CN 111368704B
Authority
CN
China
Prior art keywords
frame
rois
head
points
current frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010132889.4A
Other languages
English (en)
Other versions
CN111368704A (zh
Inventor
阳松
刘琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202010132889.4A priority Critical patent/CN111368704B/zh
Publication of CN111368704A publication Critical patent/CN111368704A/zh
Application granted granted Critical
Publication of CN111368704B publication Critical patent/CN111368704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于头部特征点的车载热成像行人检测RoIs提取方法。所述方法包括：逐帧逐行人提取训练数据已标注行人的头部中心点，按95％置信度逐帧统计训练数据行人头部中心点获取帧头部区域；逐帧提训练数据行人头部特征点，定义并训练头部特征点RoIs模型；利用帧头部区域裁减出当前图像帧，然后计算得到当前图像帧的双阈值分割二值图，两者合并获得当前帧头部特征点区域；采样并筛选当前帧头部特征点区域获得当前帧头部特征点；利用训练完的头部特征点RoIs模型计算获得当前帧头部特征点RoIs并与当前帧双阈值分割RoIs合并生成当前帧RoIs；度量和调整当前帧RoIs。本发明能够有效避免由于遮挡、分割粘连、分割断裂等因素导致的RoIs丢失，提高行人检测性能。

Description

基于头部特征点的车载热成像行人检测RoIs提取方法
技术领域
本发明涉及先进辅助驾驶领域及其行人检测，更具体地，涉及一种基于头部特征点的车载热成像行人检测RoIs提取方法。
背景技术
车载热成像行人检测是基于视觉的辅助驾驶系统的核心技术之一，主要目标为检测车辆前方道路上的行人，并将检测结果反馈给驾驶员，及时提醒驾驶员做出必要反应，减少人车碰撞事故发生。车载热成像行人检测包含RoIs提取和RoIs分类两个重要环节：RoIs提取环节以矩形框形式给出图像中行人可能存在的位置以及尺度，RoIs分类环节判断矩形框中是否存在行人，给出检测结果，这些矩形框即称为RoIs。RoIs提取算法的精度及速度直接影响整个行人检测系统的性能。
现有的车载热成像行人检测系统大多使用低算力嵌入式平台，一方面要求RoIs提取算法速度快，RoIs提取算法本身需要做到实时，另一方面要求RoIs提取算法输出的RoIs质量高，表现在召回率高和输出RoIs数量少。高召回率可以减少系统漏检情况的发生，RoIs数量少可以使得RoIs分类模块有足够的时间来处理所有RoIs。现有的RoIs提取方法大多基于图像分割的方法，其主要步骤为：首先利用行人目标通常比背景亮这一特点，将输入图像分割为前景和背景，得到前背景二值图像；然后提取前背景二值图像中前景连通区域，使用连通区域最小外接矩形作为提取的RoIs。这类方法提取的RoIs的质量依赖于前背景分割结果，易受到以下问题的干扰：1)遮挡，当行人被低于自身温度物体遮挡时容易分割断裂，当行人被高于自身温度物体遮挡时容易分割粘连；2)行人亮度分布不均匀，头部、四肢这些裸露在外的部件通常比躯干更亮，容易分割断裂；3)行人与温度接近的背景靠近时容易分割粘连。这些问题的存在使得基于图像分割的RoIs提取方法难以达到理想的效果。
目前一些已发表的具有代表性的RoIs提取方法，例如：
现有技术1：Besbes B,Rogozan A,Rus A M,et al.Pedestrian detection infar-infrared daytime images using a hierarchical codebook of SURF[J].Sensors,2015,15(4):8570-8594.使用SURF算法提取RoIs，训练阶段提取头部特征，通过聚类方式构造分层码本，测试阶段提取头部特征与分层码本进行匹配，找到映射参数映射得到头部部件RoIs，再根据统计宽高比生成行人完整RoIs。
现有技术2：Cheng M,Zhang Z,Lin W,et al.Binarized normed gradients forobjectness estimation at 300fps[C]//in IEEE CVPR.2014.提出BING用于提取行人RoIs，采用滑窗法生成初始RoIs，提取初始RoIs二进制梯度特征，采用分类器过滤大量背景RoIs，保留得分最高的一系列RoIs作为最终RoIs。
现有技术3：Ge J,Luo Y,Tei G.Real-time pedestrian detection andtracking at nighttime for driver-assistance systems[J].IEEE Transactions onIntelligent Transport-ation Systems,2009,10(2):283-298.使用双阈值分割算法提取RoIs，通过计算每个像素水平邻域内分割高阈值与分割低阈值，将像素划分为前景点和背景点，提取前景点连通区域作为行人RoIs。
现有技术1使用SURF算法提取RoIs耗时长，无法满足实时性要求，且缺乏RoIs后处理调优步骤，易受到背景噪声干扰导致定位不准；现有技术2提取RoIs速度快，但是需要大量(>1000)的RoIs才能达到高召回率，对分类器要求极高，难以保证实时性要求；现有技术3虽然提取RoIs速度快，提取的RoIs数量也较少，但是无法避免遮挡、分割粘连和分割断裂导致的RoIs丢失问题。
综上所述，为了解决上述问题，本发明利用头部特征点来提取RoIs，避免由于遮挡、分割粘连、分割断裂等因素导致的RoIs丢失，保证算法高召回率，提高行人检测性能；通过充分利用训练数据集先验统计信息缩减计算区域，同时保证算法高效率；通过利用IoU度量和前景度量去除冗余RoIs使RoIs输出数量可控并提升RoIs定位准度，满足实际车载热成像行人检测应用对RoIs提取算法的要求。
发明内容
本发明提供基于头部特征点的车载热成像行人检测RoIs提取算法，旨在避免由于遮挡、分割粘连、分割断裂等因素导致的RoIs丢失，提升所提取的感兴趣区域(Regions ofInterest,RoIs)的质量，提高行人检测性能。
本发明的目的至少通过如下技术方案之一实现。
基于头部特征点的车载热成像行人检测RoIs提取方法，包括以下步骤：
步骤一、逐帧逐行人提取训练数据已标注行人的头部中心点，按95％置信度逐帧统计训练数据行人头部中心点获取帧头部区域；
步骤二、逐帧提取训练数据行人头部特征点，定义并训练头部特征点RoIs模型；
步骤三、利用步骤一中得到的帧头部区域裁减出当前图像帧，计算得到当前图像帧的双阈值分割二值图，合并裁剪得到的当前图像帧及当前图像帧的双阈值分割二值图获得当前帧头部特征点区域；
步骤四、采样并筛选当前帧头部特征点区域获得当前帧头部特征点；
步骤五、利用步骤二中训练完的头部特征点RoIs模型计算获得当前帧头部特征点RoIs并与当前帧双阈值分割RoIs合并生成当前帧RoIs；
步骤六、度量和调整当前帧RoIs。
进一步地，步骤一包括以下步骤：
S1.1、提取训练数据已标注行人的头部中心点；
S1.2、定义可能揽括95％训练数据行人头部中心点的矩形集合T；
S1.3、定位帧头部区域。
进一步地，步骤S1.1中，按公式(1)逐帧逐行人提取训练数据已标注行人的头部中心点，所述训练数据取自SCUT热成像数据集(http://www2.scut.edu.cn/cv/scut_fir_pedestrian_dataset/，下文简称SCUT数据集)，第i帧图像包含NGi个已标注行人最小外接矩形GT(Ground Truth)；(x,y)表示横坐标为x，纵坐标为y的图像帧像素位置，x,y分别为非负整数，图像帧左上角像素位置定义为平面坐标系原点(0,0)，具体公式如下：
Figure BDA0002396273190000031
/>
其中，x'(i,j),y'(i,j)表示第i帧第j个行人头部中心点位置(x'(i,j),y'(i,j))，x(i,j),y(i,j),w(i,j),h(i,j)分别表示第i帧第j个GT即GT(i,j)的左上角像素位置(x(i,j),y(i,j))、GT(i,j)的像素宽(w(i,j))和像素高(h(i,j))，i为训练数据帧序号，i＝1,2,3,…,NF，NF为训练数据帧数；j为第i帧图像的GT序号，j＝1,2,3,…,NGi，NGi为第i帧图像包含的GT个数，0≤NGi<21；
步骤S1.2中，所述矩形的左、右侧横坐标和上、下侧纵坐标分别表示为xl、xr、yt和yd，集合T1、Tr、Tt和Td提供xl,xr,yt,yd可能的取值，如式(2)、式(3)所示：
Figure BDA0002396273190000041
Figure BDA0002396273190000042
其中，集合T为T1、Tr、Tt和Td的笛卡尔积，T(k)表示T的第k个元素即第k组xl，xr，yt，yd的取值，W和H分别为图像的像素宽和像素高，xl(kl)表示Tl的第kl个元素，xr(kr)表示Tr的第kr个元素，yt(kt)表示Tt的第kt个元素，yd(kd)表示Td的第kd个元素；
步骤S1.3中，逐像素统计训练数据帧行人头部中心点分布，进而轮询T找出揽括95％训练数据帧行人头部中心点的最小矩形T(kmin)；k为T元素的序号，k＝1,2,3,…,NT，NT为T元素的个数，kmin表示轮询T找出的揽括训练数据95％头部中心点的最小矩形T(kmin)的序号，Amin表示T(kmin)对应的矩形面积；m表示训练数据头部中心点的个数，
Figure BDA0002396273190000043
M表示逐帧逐像素累计训练数据头部中心点的矩阵，M(x'(i,j),y'(i,j))表示矩阵M元素；sum(.)表示求和计算，M[yt:yd,xl:xr]表示M中yt到yd行、xl到xr列的子矩阵，cnt记录T(k)矩形揽括的头部中心点个数；具体算法如下：
S1.3.1、进行变量初始化：M＝0,i＝1,j＝1,k＝1,kmin＝1,Amin＝w×h；
S1.3.2、对于第i帧图像，执行以下操作：
S1.3.2.1、由式(1)获取GT(i,j)头部中心点位置(x'(i,j),y'(i,j))；
S1.3.2.2、M(x'(i,j),y'(i,j))＝M(x'(i,j),y'(i,j))+1；
S1.3.2.3、若j<NGi，则j＝j+1，返回1.3.2.1，否则进行S1.3.3；
S1.3.3、j＝1；
S1.3.4、若i<NF，则i＝i+1，返回S1.3.2，否则进行S1.3.5；
S1.3.5、由式(3)获得T(k)；
S1.3.6、cnt＝sum(M[yt:yd,xl:xr])；
S1.3.7、若cnt≥0.95×m且(xr-xl)×(yd-yt)<Amin，则kmin＝k,Amin＝(xr-xl)×(yd-yt)，然后进行
S1.3.8，否则直接进行S1.3.8；
S1.3.8、若k<NT，则k＝k+1，返回S1.3.5，否则进行S1.3.9；
S1.3.9、输出T(kmin)；
S1.3.10、算法结束。
进一步地，步骤二包括以下步骤：
S2.1、定义头部特征点RoIs模型；
S2.2、逐帧提取训练数据行人头部特征点；
S2.3、利用步骤S2.2中提取的行人头部特征点训练头部特征点RoIs模型。
进一步地，步骤S2.1中，定义头部特征点RoIs模型如式(4)所示：
Figure BDA0002396273190000051
其中，x,y,w,h分别表示头部特征点RoIs的左上角像素位置(x,y)和像素宽(w)/像素高(h)；μ为统计训练数据获得的行人外接矩形的宽高比，α,β,γ为头部特征点RoIs模型的参数；
步骤S2.2中，所述逐帧提取训练数据行人头部特征点，利用SURF(Speed UpRobust Feature)算法逐帧提取特征点，描述为(xp,yp,rp,tp,lp)，(xp,yp)表示第p个特征点位置，rp表示第p个特征点以(xp,yp)为圆心的半径，0<rp≤51；tp表示第p个特征点的响应值，tp阈值为δ，δ取值由实验获得；lp表示第p个特征点的拉普拉斯值；
lp<0时，所提取的特征点为极亮点，当且仅当tp>δ和lp<0，特征点(xp,yp,rp,tp,lp)为行人头部特征点；下标p表示特征点序号，p＝1,2,3,……,NP，1≤NP<41；
步骤S2.3中，所述训练头部特征点RoIs模型，集合Sα、Sβ和Sγ分别提供头部特征点RoIs模型参数α、β、γ可能的取值，集合S为Sα、Sβ和Sγ的笛卡尔积，如式(5)所示：
Figure BDA0002396273190000052
定义损失函数如式(6)所示，损失函数最小化寻优即遍历S并轮询训练数据，通过NS次轮询定位GT最大成功匹配个数所对应的S(k)记作S(km)；第k次遍历S取出S(k)代入式(4)获得RS(k)(i,q)；逐帧轮询训练数据，逐GT(i,j)按q匹配RS(k)(i,q)记录第i帧成功匹配GT的个数；进而累计第k次轮询训练数据成功匹配GT的个数；逐GT(i,j)按q匹配RS(k)(i,q)即按q顺序计算GT(i,j)与RS(k)(i,q)的交并比(IoU,Intersection of Union)，提取最大IoU记作Umax，若Umax≥η，则这次匹配是一次成功匹配，η∈{0.5,0.6,0.7,0.8,0.9}；第i帧GT(i,j)成功匹配RS(k)(i,q)的个数不大于NGi；其中，RS(k)(i,q)为第i帧第q个头部特征点RoIs，序号q＝1,2,3,…,NHi，NHi为第i帧头部特征点RoIs的个数，1≤NHi<21；S(k)表示S的第k个元素，即第k组α,β,γ取值，k＝1,2,3,…,NS；
Figure BDA0002396273190000061
/>
其中，Loss(S(k))表示取S(k)时的损失值；O(·)表示IoU计算公式，1{·}为指示函数，当max(O(RS(k)(i,q),G(i,j)))＜η，则1{·}＝1，否则1{·}＝0；α(kα)表示集合Sα的第kα个元素，β(kβ)表示集合Sβ的第kβ个元素，γ(kγ)表示集合Sγ的第kγ个元素。
进一步地，步骤三中，利用步骤一中得到的帧头部区域裁减出当前图像帧，采用自适应双阈值分割算法计算得到当前图像帧的双阈值分割二值图，合并裁剪得到的当前图像帧及当前图像帧的双阈值分割二值图获得当前帧头部特征点区域，如式(7)所示：
Figure BDA0002396273190000062
其中，Ip表示当前帧头部特征点区域，Ip(x,y)表示当前帧头部特征点区域位置(x,y)的像素值，Idt表示双阈值分割二值图，Idt(x,y)＝＝1表示Idt位置(x,y)为前景点，I(x,y)表示当前帧位置(x,y)的像素值，位置(x,y)位于步骤一中得到的帧头部区域即T(kmin)矩形区域内。
进一步地，步骤四中，对当前帧头部特征点区域的指定像素执行SURF算法获得当前帧头部特征点，所述指定像素即横坐标和纵坐标值分别为偶数且像素值大于0的像素。
进一步地，步骤五中，使用训练好的头部特征点RoIs模型逐一计算当前帧头部特征点生成当前帧头部特征点RoIs；提取当前帧双阈值分割二值图连通区域作为RoIs，并滤除高度小于10像素和宽高比不在(0.25,1)范围的RoIs生成当前帧双阈值分割RoIs；按式(8)合并当前帧头部特征点RoIs和当前帧双阈值分割RoIs生成当前帧RoIs：
Figure BDA0002396273190000063
其中，集合
Figure BDA0002396273190000064
表示为当前帧头部特征点RoIs，集合Rdt表示为当前帧双阈值分割RoIs，集合Rc表示为当前帧RoIs。
进一步地，步骤六中，度量和调整当前帧RoIs包括IoU度量/调整和前景关联度量/调整；
所述IoU度量/调整即逐个计算当前帧双阈值分割RoIs Rdt(p)依次与当前帧Nh个头部特征点RoIs
Figure BDA0002396273190000071
(q)的IoU Up(q)，若Up(q)>0.5，则删除当前/>
Figure BDA0002396273190000072
(q)，获得当前帧的保留RoIs即集合R，如式(9)所示：
Figure BDA0002396273190000073
其中，p为Rdt的序号，p＝1,2,3,…,Ndt,1≤Ndt<21；q为
Figure BDA0002396273190000074
的序号，q＝1,2,3,…,Nh,1≤Nh<21。
进一步地，所述前景关联度量/调整即将当前帧的保留RoIs逐个看做分离的上、下、左和右边，分边进行度量和调整；
所述度量即分边计算边与双阈值分割二值图前景的交点个数；所述调整即分边限定范围探索该边与双阈值分割二值图前景的交点个数最小的位置并以此作为该条边的最终位置；所述限定范围即为以该边原位置为中心的左右Δ倍RoIs像素宽或上下Δ倍RoIs像素高，Δ为通过实验确定的参数，0.05≤Δ≤0.3。
本发明提供基于头部特征点的车载热成像行人检测RoIs提取方法，针对由于遮挡、分割粘连、分割断裂等现象造成的RoIs丢失问题，与现有的车载热成像行人检测RoIs提取技术相比，具有如下优点和效果：
1)头部信息是热成像图像中行人最稳定的信息，无论人体姿态、尺度如何，均会呈现比背景亮的特征，头部信息可以稳定表征行人RoIs，使行人区域更有可能被提取为RoIs；
2)行人头部通常不会受到遮挡、分割粘连、分割断裂的影响，当行人与背景间粘连、行人与行人间粘连、行人内部断裂时，利用头部特征点可以有效召回丢失的RoIs；
3)通过前景关联度量优化调整RoIs，提升RoIs定位准度；
4)充分利用训练数据集先验统计信息缩减计算区域，同时将头部特征点计算限定在前景像素点并结合使用采样方法大幅减少头部特征点提取时间，保证算法高效率。
附图说明
图1为本发明实施例中基于头部特征点的车载热成像行人检测RoIs提取方法的整体框架图；
图2为本发明实施例中获取帧头部区域流程图；
图3为本发明实施例中定位帧头部区域步骤流程图
图4为本发明实施例中头部中心点分布图；
图5为本发明实施例中训练头部特征点RoIs模型流程图；
图6为本发明实施例中在线提取RoIs流程图；
图7为本发明实施例中提取RoIs效果图；
图8为本发明实施例中行人检测流程图。
具体实施方式
提供以下参照附图的描述以帮助全面理解由权利要求及其等同物限定的本公开的各种实施例。它包括各种具体的细节来帮助理解，但是这些被认为仅仅是示例性的。因此，本领域的普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文描述的各种实施例进行各种改变和修改。另外，为了清楚和简明，可以省略对公知功能和结构的描述。
在下面的描述和权利要求中使用的术语和词语不限于书面含义，而是仅由发明人使用使得能够清楚和一致地理解本公开。因此，本领域技术人员应该清楚，提供本公开的各种实施例的以下描述仅用于说明的目的，而不是为了限制由所附权利要求及其等同物限定的本公开。
实施例：
本实施例中，涉及到关于坐标的描述在不特别指明的情况下均是以图像坐标系为参考系，即图像左上角像素位置定义为坐标原点，图像列排列方向为水平方向(横坐标)，行排列方向为竖直方向(纵坐标)。
基于头部特征点的车载热成像行人检测RoIs提取方法，如图1所示，包括以下步骤：
步骤一、逐帧逐行人提取训练数据已标注行人的头部中心点，按95％置信度逐帧统计训练数据行人头部中心点获取帧头部区域；
道路场景中行人受到路面几何约束，行人头部位于路面之上，根据这一先验知识，本发明通过统计分析训练数据头部中心点分布，在训练数据图像上找到一个揽括训练数据95％头部特征点且面积最小的矩形区域，将头部特征点计算限定在该矩形区域内，从而减少计算开销；如图2所示，包括以下步骤：
S1.1、提取训练数据已标注行人的头部中心点；
按公式(1)逐帧逐行人提取训练数据已标注行人的头部中心点，本实施例中训练数据取自SCUT热成像数据集(http://www2.scut.edu.cn/cv/scut_fir_pedestrian_dataset/，下文简称SCUT数据集)，界定图像帧中左上角点位置(104,105)，高300像素、宽512像素的矩形区域为有效区域，第i帧图像包含NGi个已标注行人最小外接矩形GT(GroundTruth)；(x,y)表示横坐标为x，纵坐标为y的图像帧像素位置，x,y分别为非负整数，图像帧左上角像素位置定义为平面坐标系原点(0,0)，具体公式如下：
Figure BDA0002396273190000091
其中，x'(i,j),y'(i,j)表示第i帧第j个行人头部中心点位置(x'(i,j),y'(i,j))，x(i,j),y(i,j),w(i,j),h(i,j)分别表示第i帧第j个GT即GT(i,j)的左上角像素位置(x(i,j),y(i,j))、GT(i,j)的像素宽(w(i,j))和像素高(h(i,j))，i为训练数据帧序号，i＝1,2,3,…,NF，NF为训练数据帧数；j为第i帧图像的GT序号，j＝1,2,3,…,NGi，NGi为第i帧图像包含的GT个数，0≤NGi<21；
S1.2、定义可能揽括95％训练数据行人头部中心点的矩形集合T；
所述矩形的左、右侧横坐标和上、下侧纵坐标分别表示为xl、xr、yt和yd，集合T1、Tr、Tt和Td提供xl,xr,yt,yd取值，如式(2)、式(3)所示：
Figure BDA0002396273190000092
Figure BDA0002396273190000093
其中，集合T为T1、Tr、Tt和Td的笛卡尔积，T(k)表示T的第k个元素即第k组xl，xr，yt，yd的取值，W和H分别为图像的像素宽和像素高，xl(kl)表示Tl的第kl个元素，xr(kr)表示Tr的第kr个元素，yt(kt)表示Tt的第kt个元素，yd(kd)表示Td的第kd个元素；
S1.3、定位帧头部区域；
逐像素统计训练数据帧行人头部中心点分布，进而轮询T找出揽括95％训练数据帧行人头部中心点的最小矩形T(kmin)；k为T元素的序号，k＝1,2,3,…,NT，NT为T元素的个数，kmin表示轮询T找出的揽括训练数据95％头部中心点的最小矩形T(kmin)的序号，Amin表示T(kmin)对应的矩形面积；m表示训练数据头部中心点的个数，
Figure BDA0002396273190000094
M表示逐帧逐像素累计训练数据头部中心点的矩阵，M(x'(i,j),y'(i,j))表示矩阵M元素；sum(.)表示求和计算，M[yt:yd,xl:xr]表示M中yt到yd行、xl到xr列的子矩阵，cnt记录T(k)矩形揽括的头部中心点个数；定位帧头部区域步骤流程如图3所示，具体算法如下：
S1.3.1、进行变量初始化：M＝0,i＝1,j＝1,k＝1,kmin＝1,Amin＝w×h；
S1.3.2、对于第i帧图像，执行以下操作：
S1.3.2.1、由式(1)获取GT(i,j)头部中心点位置(x'(i,j),y'(i,j))；
S1.3.2.2、M(x'(i,j),y'(i,j))＝M(x'(i,j),y'(i,j))+1；
S1.3.2.3、若j<NGi，则j＝j+1，返回1.3.2.1，否则进行S1.3.3；
S1.3.3、j＝1；
S1.3.4、若i<NF，则i＝i+1，返回S1.3.2，否则进行S1.3.5；
S1.3.5、由式(3)获得T(k)；
S1.3.6、cnt＝sum(M[yt:yd,xl:xr])；
S1.3.7、若cnt≥0.95×m且(xr-xl)×(yd-yt)<Amin，则kmin＝k,Amin＝(xr-xl)×(yd-yt)，然后进行
S1.3.8，否则直接进行S1.3.8；
S1.3.8、若k<NT，则k＝k+1，返回S1.3.5，否则进行S1.3.9；
S1.3.9、输出T(kmin)；
S1.3.10、算法结束。
图4所示为训练数据头部中心点分布，其中黑色虚线矩形框为定位到的帧头部区域。可以看出，头部中心点主要分布在图像帧中心偏上区域，将计算限定在帧头部区域内可以大幅减少头部特征点提取的计算开销。
步骤二、逐帧提取训练数据行人头部特征点，定义并训练头部特征点RoIs模型；
行人头部位置和半径与行人GT位置和宽高之间存在一定的线性映射规律，因此本发明通过设计一个线性头部特征点RoIs模型计算头部特征点生成头部特征点RoIs，整个过程仅需要4次乘法和2次减法计算即可完成一个头部特征点到头部特征点RoIs的转化，计算效率高。为了使生成的头部特征点RoIs尽可能准确，本发明设计一个度量匹配成功数量的损失函数指导头部特征点RoIs模型的训练，使得最终的头部特征点RoIs模型能够匹配上尽可能多的GT；如图5所示，包括以下步骤：
S2.1、定义头部特征点RoIs模型；
定义头部特征点RoIs模型如式(4)所示：
Figure BDA0002396273190000111
其中，x,y,w,h分别表示头部特征点RoIs的左上角像素位置(x,y)和像素宽(w)/像素高(h)；μ为统计训练数据获得的行人外接矩形的宽高比，本实施例中，μ＝0.46，α,β,γ为头部特征点RoIs模型的参数；
S2.2、逐帧提取训练数据行人头部特征点；
所述逐帧提取训练数据行人头部特征点，利用SURF(Speed Up Robust Feature)算法逐帧提取特征点，描述为(xp,yp,rp,tp,lp)，(xp,yp)表示第p个特征点位置，rp表示第p个特征点以(xp,yp)为圆心的半径，0<rp≤51；tp表示第p个特征点的响应值，tp阈值为δ，δ取值由实验获得，默认值为0.0019；lp表示第p个特征点的拉普拉斯值；
lp<0时，所提取的特征点为极亮点，当且仅当tp>δ和lp<0，特征点(xp,yp,rp,tp,lp)为行人头部特征点；下标p表示特征点序号，p＝1,2,3,……,NP，1≤NP<41；
S2.3、利用步骤S2.2中提取的行人头部特征点训练头部特征点RoIs模型；
所述训练头部特征点RoIs模型，集合Sα、Sβ和Sγ分别提供头部特征点RoIs模型参数α、β、γ可能的取值，集合S为Sα、Sβ和Sγ的笛卡尔积，如式(5)所示：
Figure BDA0002396273190000112
定义损失函数如式(6)所示，损失函数最小化寻优即遍历S并轮询训练数据，通过NS次轮询定位GT最大成功匹配个数所对应的S(k)记作S(km)；第k次遍历S取出S(k)代入式(4)获得RS(k)(i,q)；逐帧轮询训练数据，逐GT(i,j)按q匹配RS(k)(i,q)记录第i帧成功匹配GT的个数；进而累计第k次轮询训练数据成功匹配GT的个数；逐GT(i,j)按q匹配RS(k)(i,q)即按q顺序计算GT(i,j)与RS(k)(i,q)的交并比(IoU,Intersection of Union)，提取最大IoU记作Umax，若Umax≥η，则这次匹配是一次成功匹配，η∈{0.5,0.6,0.7,0.8,0.9}；第i帧GT(i,j)成功匹配RS(k)(i,q)的个数不大于NGi；其中，RS(k)(i,q)为第i帧第q个头部特征点RoIs，序号q＝1,2,3,…,NHi，NHi为第i帧头部特征点RoIs的个数，1≤NHi<21；S(k)表示S的第k个元素，即第k组α,β,γ取值，k＝1,2,3,…,NS；
Figure BDA0002396273190000121
其中，Loss(S(k))表示取S(k)时的损失值；O(·)表示IoU计算公式，1{·}为指示函数，当max(O(RS(k)(i,q),G(i,j)))＜η，则1{·}＝1，否则1{·}＝0；α(kα)表示集合Sα的第kα个元素，β(kβ)表示集合Sβ的第kβ个元素，γ(kγ)表示集合Sγ的第kγ个元素。
本发明使用SURF算法提取头部特征点，利用头部特征点RoIs模型计算生成头部特征点RoIs。由于SURF算法计算效率较低，其最耗时的步骤为构造多尺度响应图，而构造多尺度响应图的复杂度与像素点个数基本呈线性关系，因此本发明从以下几方面来缩减像素点个数以加速头部特征点RoIs生成速度：1)考虑车载道路行人受路面几何约束，行人头部位置分布在图像中间区域，将待判定点位置限定在图像中间区域；2)行人头部表现为高亮的前景，将待判定点限定在前景区域；3)头部特征点小幅度偏离实际头部中心对最终生成的RoIs影响不大，使用采样方法减少待判定点数。
实际的车载行人检测场景往往会出现各种各样的噪声干扰，导致生成定位不准的RoIs，常表现为RoIs将行人“切割断裂”，RoIs各边与前景物体交点个数增加，因此本发明使用前景关联度量来优化调整RoIs各边的位置，使得调整后的RoIs能够尽可能的完整包含行人。
下述步骤三至步骤六均属于在线提取RoIs流程，图6所示为在线提取RoIs流程图。
步骤三、如图6所示，利用步骤一中得到的帧头部区域裁减出当前图像帧，计算得到当前图像帧的双阈值分割二值图，合并裁剪得到的当前图像帧及当前图像帧的双阈值分割二值图获得当前帧头部特征点区域；
利用步骤一中得到的帧头部区域裁减出当前图像帧，采用自适应双阈值分割算法计算得到当前图像帧的双阈值分割二值图，自适应双阈值分割算法为业界公认的专用算法；合并裁剪得到的当前图像帧及当前图像帧的双阈值分割二值图获得当前帧头部特征点区域，如式(7)所示：
Figure BDA0002396273190000122
其中，Ip表示当前帧头部特征点区域，Ip(x,y)表示当前帧头部特征点区域位置(x,y)的像素值，Idt表示双阈值分割二值图，Idt(x,y)＝＝1表示Idt位置(x,y)为前景点，I(x,y)表示当前帧位置(x,y)的像素值，位置(x,y)位于步骤一中得到的帧头部区域即T(kmin)矩形区域内。
步骤四、如图6所示，采样并筛选当前帧头部特征点区域获得当前帧头部特征点；
对当前帧头部特征点区域的指定像素执行SURF算法获得当前帧头部特征点，所述指定像素即横坐标和纵坐标值分别为偶数且像素值大于0的像素，SURF算法为业界公认的专用算法。
步骤五、如图6所示，利用步骤二中训练完的头部特征点RoIs模型计算获得当前帧头部特征点RoIs并与当前帧双阈值分割RoIs合并生成当前帧RoIs；
使用训练好的头部特征点RoIs模型逐一计算当前帧头部特征点生成当前帧头部特征点RoIs；提取当前帧双阈值分割二值图连通区域作为RoIs，并过滤高度小于10像素和宽高比不在(0.25,1)范围的RoIs生成当前帧双阈值分割RoIs；按式(8)合并当前帧头部特征点RoIs和当前帧双阈值分割RoIs生成当前帧RoIs：
Figure BDA0002396273190000131
其中，集合
Figure BDA0002396273190000132
表示为当前帧头部特征点RoIs，集合Rdt表示为当前帧双阈值分割RoIs，集合Rc表示为当前帧RoIs。
步骤六、如图6所示，度量和调整当前帧RoIs；
度量和调整当前帧RoIs包括IoU度量/调整和前景关联度量/调整；
所述IoU度量/调整即逐个计算当前帧双阈值分割RoIs Rdt(p)依次与当前帧Nh个头部特征点RoIs
Figure BDA0002396273190000133
(q)的IoU Up(q)，若Up(q)>0.5，则删除当前/>
Figure BDA0002396273190000134
(q)，获得当前帧的保留RoIs即集合R，如式(9)所示：
Figure BDA0002396273190000135
其中，p为Rdt的序号，p＝1,2,3,…,Ndt,1≤Ndt<21；q为
Figure BDA0002396273190000136
的序号，q＝1,2,3,…,Nh,1≤Nh<21。
所述前景关联度量/调整即将当前帧的保留RoIs逐个看做分离的上、下、左和右边，分边进行度量和调整；
所述度量即分边计算边与双阈值分割二值图前景的交点个数；所述调整即分边限定范围探索该边与双阈值分割二值图前景的交点个数最小的位置并以此作为该条边的最终位置；所述限定范围即为以该边原位置为中心的左右Δ倍RoIs像素宽或上下Δ倍RoIs像素高，Δ为通过实验确定的参数，0.05≤Δ≤0.3。
图7所示为在线提取的RoIs，其中白色实线矩形框为头部特征点RoIs，白色虚线矩形框为双阈值分割RoIs，白色圆圈为根据头部特征点位置及半径绘制。可以看出，图中右边行人由于亮度分布不均导致分割断裂，将导致漏检，此时根据头部特征点生成的RoIs能够有效召回该行人，避免漏检发生。
本实施例将基于头部特征点的车载热成像行人检测RoIs提取方法应用到车载热成像行人检测中。
现有的车载热成像行人检测系统常使用基于图像分割的方法提取RoIs，这类方法提取的RoIs的质量依赖前背景分割结果，无法摆脱分割断裂、分割粘连问题的困扰，难以达到车载热成像行人检测系统对RoIs提取方法高召回率的要求，虽然采用形态学操作或RoIs分组与合并等一些方法可以在一定程度上缓解分割错误，但效果极为有限。本发明的基于头部特征点的车载热成像行人检测RoIs提取方法提取RoIs，通过提取行人头部特征点生成RoIs，能够有效解决由于分割断裂、分割粘连问题导致的RoIs丢失问题，从而提高行人检测精度。
图8为本发明实施例行人检测流程图，包括以下步骤：
步骤410：预处理，使用GAMMA矫正算法增强图像对比度；
步骤420：采用本发明提取RoIs；
步骤430：分类检测，使用分类器对RoIs进行分类，得到检测结果。
本实施例在SCUT数据集上进行对比实验，验证本发明方法的有效性。本实例中，采用GAMMA矫正算法实现图像帧预处理，采用本发明所述基于头部特征点的车载热成像行人检测RoIs提取方法实现RoIs提取，采用“HOG+线性SVM”分类器实现分类检测。实验平台为德州仪器公司生产的DM6437嵌入式图像处理平台。
本实施例在SCUT训练集上统计获得头部区域、训练头部特征点RoIs模型以及“HOG+线性SVM”分类器，并在SCUT测试集上进行测试和评价。评价指标具体设定为：人工统计保存的检测视频，记录有效行人个体数量、被准确检测行人数量，并计算检测计算率。其中，有效行人是指在帧率为25帧每秒的检测视频中至少持续出现1秒及以上的行人目标，被准确检测行人是指行人在图像中出现到消失过程至少被检测到一次的行人。
对比双阈值分割方法提取RoIs和本发明所述基于头部特征点的车载热成像行人检测RoIs提取方法两种方案在SCUT数据集中的召回率，IoU阈值取0.5，实验结果如表1所示。进一步地，将本发明所述方法应用到实际车载热成像行人检测系统中，从SCUT中选择部分具有代表性的场景进行测试，实验结果如表2所示。
表1两种方案下SCUT数据集上召回率结果
Figure BDA0002396273190000151
/>
表2各场景检测结果
Figure BDA0002396273190000152
根据表1的测试结果可以看出，本发明所述方法平均每帧RoIs数量相比双阈值分割方法仅多1.9个，但是召回率却从86％提升到91％，这表明本发明所述方法兼具召回率高、输入RoIs数量少的特点。而且平均每人匹配次数从43.2提升到49.1，这表明同一个行人被匹配到的次数多了，更容易被检测器持续检出，反应到检测效果上就是行人“闪烁”程度变低。
根据表2的结果可以看出，其中郊区马路和十字路口出现的行人目标100％被检出，只有密集场景检测率较低没有超过85％，主要原因是密集场景中行人受背景光源干扰严重，帧间行人外观变化大，导致行人不能被分类器持续判别为行人，从而导致检测率不够高。各种场景下的平均检测率有88％，能够满足车载热成像行人检测的需求。
上述内容是结合具体的实施方式对本发明进行的详细说明，但并不能认定本发明的具体实施只限于此内容。对于本发明所属技术领域的普通技术人员而言，在不脱离本发明的原理和精神的前提下，还可以对这些实施进行若干调整、修改、替换和/或变型。本发明的保护范围由所附权利要求及其等同内容限定。

Claims (6)

1.基于头部特征点的车载热成像行人检测RoIs提取方法，其特征在于，包括以下步骤：
步骤一、逐帧逐行人提取训练数据已标注行人的头部中心点，按95％置信度逐帧统计训练数据行人头部中心点获取帧头部区域；
步骤二、逐帧提取训练数据行人头部特征点，定义并训练头部特征点RoIs模型；包括以下步骤：
S2.1、定义头部特征点RoIs模型；定义头部特征点RoIs模型如式(4)所示：
Figure FDA0004105964670000011
其中，x,y,w,h分别表示头部特征点RoIs的左上角像素位置(x,y)和像素宽(w)/像素高(h)；μ为统计训练数据获得的行人外接矩形的宽高比，α,β,γ为头部特征点RoIs模型的参数；
步骤S2.2中，所述逐帧提取训练数据行人头部特征点，利用SURF(Speed Up RobustFeature)算法逐帧提取特征点，描述为(xp,yp,rp,tp,lp)，(xp,yp)表示第p个特征点位置，rp表示第p个特征点以(xp,yp)为圆心的半径，0<rp≤51；tp表示第p个特征点的响应值，tp阈值为δ，δ取值由实验获得；lp表示第p个特征点的拉普拉斯值；
lp<0时，所提取的特征点为极亮点，当且仅当tp>δ和lp<0，特征点(xp,yp,rp,tp,lp)为行人头部特征点；下标p表示特征点序号，p＝1,2,3,……,NP，1≤NP<41；
步骤S2.3中，所述训练头部特征点RoIs模型，集合Sα、Sβ和Sγ分别提供头部特征点RoIs模型参数α、β、γ的取值，集合S为Sα、Sβ和Sγ的笛卡尔积，如式(5)所示：
Figure FDA0004105964670000012
定义损失函数如式(6)所示，损失函数最小化寻优即遍历S并轮询训练数据，通过NS次轮询定位GT最大成功匹配个数所对应的S(k)记作S(km)；第k次遍历S取出S(k)代入式(4)获得RS(k)(i,q)；逐帧轮询训练数据，逐GT(i,j)按q匹配RS(k)(i,q)记录第i帧成功匹配GT的个数；进而累计第k次轮询训练数据成功匹配GT的个数；逐GT(i,j)按q匹配RS(k)(i,q)即按q顺序计算GT(i,j)与RS(k)(i,q)的交并比，提取最大IoU记作Umax，若Umax≥η，则这次匹配是一次成功匹配，η∈{0.5,0.6,0.7,0.8,0.9}；第i帧GT(i,j)成功匹配RS(k)(i,q)的个数不大于NGi；其中，RS(k)(i,q)为第i帧第q个头部特征点RoIs，序号q＝1,2,3,…,NHi，NHi为第i帧头部特征点RoIs的个数，1≤NHi<21；S(k)表示S的第k个元素，即第k组α,β,γ取值，k＝1,2,3,…,NS；
Figure FDA0004105964670000021
其中，Loss(S(k))表示取S(k)时的损失值；O(·)表示IoU计算公式，1{·}为指示函数，当max(O(RS(k)(i,q),G(i,j)))＜η，则1{·}＝1，否则1{·}＝0；α(kα)表示集合Sα的第kα个元素，β(kβ)表示集合Sβ的第kβ个元素，γ(kγ)表示集合Sγ的第kγ个元素；
步骤三、利用步骤一中得到的帧头部区域裁减出当前图像帧，计算得到当前图像帧的双阈值分割二值图，合并裁剪得到的当前图像帧及当前图像帧的双阈值分割二值图获得当前帧头部特征点区域；利用步骤一中得到的帧头部区域裁减出当前图像帧，采用自适应双阈值分割算法计算得到当前图像帧的双阈值分割二值图，合并裁剪得到的当前图像帧及当前图像帧的双阈值分割二值图获得当前帧头部特征点区域，如式(7)所示：
Figure FDA0004105964670000022
其中，Ip表示当前帧头部特征点区域，Ip(x,y)表示当前帧头部特征点区域位置(x,y)的像素值，Idt表示双阈值分割二值图，Idt(x,y)＝＝1表示Idt位置(x,y)为前景点，I(x,y)表示当前帧位置(x,y)的像素值，位置(x,y)位于步骤一中得到的帧头部区域即T(kmin)矩形区域内；
步骤四、采样并筛选当前帧头部特征点区域获得当前帧头部特征点；
步骤五、利用步骤二中训练完的头部特征点RoIs模型计算获得当前帧头部特征点RoIs并与当前帧双阈值分割RoIs合并生成当前帧RoIs；
步骤六、度量和调整当前帧RoIs，度量和调整当前帧RoIs包括IoU度量/调整和前景关联度量/调整；
所述IoU度量/调整即逐个计算当前帧双阈值分割RoIs Rdt(p)依次与当前帧Nh个头部特征点
Figure FDA0004105964670000031
的IoU Up(q)，若Up(q)>0.5，则删除当前/>
Figure FDA0004105964670000032
获得当前帧的保留RoIs即集合R，如式(9)所示：
Figure FDA0004105964670000033
其中，p为Rdt的序号，p＝1,2,3,…,Ndt,1≤Ndt<21；q为
Figure FDA0004105964670000034
的序号，q＝1,2,3,…,Nh,1≤Nh<21；
S2.2、逐帧提取训练数据行人头部特征点；
S2.3、利用步骤S2.2中提取的行人头部特征点训练头部特征点RoIs模型。
2.根据权利要求1所述的基于头部特征点的车载热成像行人检测RoIs提取方法，其特征在于，步骤一包括以下步骤：
S1.1、提取训练数据已标注行人的头部中心点；
S1.2、定义揽括95％训练数据行人头部中心点的矩形集合T；
S1.3、定位帧头部区域。
3.根据权利要求2所述的基于头部特征点的车载热成像行人检测RoIs提取方法，其特征在于，步骤S1.1中，按公式(1)逐帧逐行人提取训练数据已标注行人的头部中心点，所述训练数据取自SCUT热成像数据集，第i帧图像包含NGi个已标注行人最小外接矩形GT；(x,y)表示横坐标为x，纵坐标为y的图像帧像素位置，x,y分别为非负整数，图像帧左上角像素位置定义为平面坐标系原点(0,0)，具体公式如下：
Figure FDA0004105964670000035
其中，x'(i,j),y'(i,j)表示第i帧第j个行人头部中心点位置(x'(i,j),y'(i,j))，x(i,j),y(i,j),w(i,j),h(i,j)分别表示第i帧第j个GT即GT(i,j)的左上角像素位置(x(i,j),y(i,j))、GT(i,j)的像素宽(w(i,j))和像素高(h(i,j))，i为训练数据帧序号，i＝1,2,3,…,NF，NF为训练数据帧数；j为第i帧图像的GT序号，j＝1,2,3,…,NGi，NGi为第i帧图像包含的GT个数，0≤NGi<21；
步骤S1.2中，所述矩形的左、右侧横坐标和上、下侧纵坐标分别表示为xl、xr、yt和yd，集合T1、Tr、Tt和Td提供xl,xr,yt,yd的取值，如式(2)、式(3)所示：
Figure FDA0004105964670000041
Figure FDA0004105964670000042
其中，集合T为T1、Tr、Tt和Td的笛卡尔积，T(k)表示T的第k个元素即第k组xl，xr，yt，yd的取值，W和H分别为图像的像素宽和像素高，xl(kl)表示Tl的第kl个元素，xr(kr)表示Tr的第kr个元素，yt(kt)表示Tt的第kt个元素，yd(kd)表示Td的第kd个元素；
步骤S1.3中，逐像素统计训练数据帧行人头部中心点分布，进而轮询T找出揽括95％训练数据行人头部中心点的最小矩形T(kmin)；k为T元素的序号，k＝1,2,3,…,NT，NT为T元素的个数，kmin表示轮询T找出的揽括训练数据95％头部中心点的最小矩形T(kmin)的序号，Amin表示T(kmin)对应的矩形面积；m表示训练数据头部中心点的个数，
Figure FDA0004105964670000043
M表示逐帧逐像素累计训练数据头部中心点的矩阵，M(x'(i,j),y'(i,j))表示矩阵M元素；sum(.)表示求和计算，M[yt:yd,xl:xr]表示M中yt到yd行、xl到xr列的子矩阵，cnt记录T(k)矩形揽括的头部中心点个数；具体算法如下：
S1.3.1、进行变量初始化：M＝0,i＝1,j＝1,k＝1,kmin＝1,Amin＝w×h；
S1.3.2、对于第i帧图像，执行以下操作：
S1.3.2.1、由式(1)获取GT(i,j)头部中心点位置(x'(i,j),y'(i,j))；
S1.3.2.2、M(x'(i,j),y'(i,j))＝M(x'(i,j),y'(i,j))+1；
S1.3.2.3、若j<NGi，则j＝j+1，返回1.3.2.1，否则进行S1.3.3；
S1.3.3、j＝1；
S1.3.4、若i<NF，则i＝i+1，返回S1.3.2，否则进行S1.3.5；
S1.3.5、由式(3)获得T(k)；
S1.3.6、cnt＝sum(M[yt:yd,xl:xr])；
S1.3.7、若cnt≥0.95×m且(xr-xl)×(yd-yt)<Amin，则kmin＝k,Amin＝(xr-xl)×(yd-yt)，然后进行
S1.3.8，否则直接进行S1.3.8；
S1.3.8、若k<NT，则k＝k+1，返回S1.3.5，否则进行S1.3.9；
S1.3.9、输出T(kmin)；
S1.3.10、算法结束。
4.根据权利要求1所述的基于头部特征点的车载热成像行人检测RoIs提取方法，其特征在于，步骤四中，对当前帧头部特征点区域的指定像素执行SURF算法获得当前帧头部特征点，所述指定像素即横坐标和纵坐标值分别为偶数且像素值大于0的像素。
5.根据权利要求1所述的基于头部特征点的车载热成像行人检测RoIs提取方法，其特征在于，步骤五中，使用训练好的头部特征点RoIs模型逐一计算当前帧头部特征点生成当前帧头部特征点RoIs；提取当前帧双阈值分割二值图连通区域作为RoIs，并滤除高度小于10像素和宽高比不在(0.25,1)范围的RoIs生成当前帧双阈值分割RoIs；按式(8)合并当前帧头部特征点RoIs和当前帧双阈值分割RoIs生成当前帧RoIs：
Figure FDA0004105964670000051
其中，集合
Figure FDA0004105964670000052
表示为当前帧头部特征点RoIs，集合Rdt表示为当前帧双阈值分割RoIs，集合Rc表示为当前帧RoIs。
6.根据权利要求1所述的基于头部特征点的车载热成像行人检测RoIs提取方法，其特征在于，所述前景关联度量/调整即将当前帧的保留RoIs逐个看做分离的上、下、左和右边，分边进行度量和调整；
所述度量即分边计算边与双阈值分割二值图前景的交点个数；所述调整即分边限定范围探索该边与双阈值分割二值图前景的交点个数最小的位置并以此作为该条边的最终位置；所述限定范围即为以该边原位置为中心的左右Δ倍RoIs像素宽或上下Δ倍RoIs像素高，Δ为通过实验确定的参数，0.05≤Δ≤0.3。
CN202010132889.4A 2020-02-29 2020-02-29 基于头部特征点的车载热成像行人检测RoIs提取方法 Active CN111368704B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010132889.4A CN111368704B (zh) 2020-02-29 2020-02-29 基于头部特征点的车载热成像行人检测RoIs提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010132889.4A CN111368704B (zh) 2020-02-29 2020-02-29 基于头部特征点的车载热成像行人检测RoIs提取方法

Publications (2)

Publication Number Publication Date
CN111368704A CN111368704A (zh) 2020-07-03
CN111368704B true CN111368704B (zh) 2023-05-23

Family

ID=71211626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010132889.4A Active CN111368704B (zh) 2020-02-29 2020-02-29 基于头部特征点的车载热成像行人检测RoIs提取方法

Country Status (1)

Country Link
CN (1) CN111368704B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824070A (zh) * 2014-03-24 2014-05-28 重庆邮电大学 一种基于计算机视觉的快速行人检测方法
CN108549864A (zh) * 2018-04-12 2018-09-18 广州飒特红外股份有限公司 面向车载热成像行人检测的感兴趣区域过滤方法和装置
CN109784216A (zh) * 2018-12-28 2019-05-21 华南理工大学 基于概率图的车载热成像行人检测RoIs提取方法
CN109784176A (zh) * 2018-12-15 2019-05-21 华南理工大学 车载热成像行人检测RoIs提取方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824070A (zh) * 2014-03-24 2014-05-28 重庆邮电大学 一种基于计算机视觉的快速行人检测方法
CN108549864A (zh) * 2018-04-12 2018-09-18 广州飒特红外股份有限公司 面向车载热成像行人检测的感兴趣区域过滤方法和装置
CN109784176A (zh) * 2018-12-15 2019-05-21 华南理工大学 车载热成像行人检测RoIs提取方法和装置
CN109784216A (zh) * 2018-12-28 2019-05-21 华南理工大学 基于概率图的车载热成像行人检测RoIs提取方法

Also Published As

Publication number Publication date
CN111368704A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
CN108549864B (zh) 面向车载热成像行人检测的感兴趣区域过滤方法和装置
CN110866430B (zh) 一种车牌识别方法及装置
CN110263712B (zh) 一种基于区域候选的粗精行人检测方法
CN101344922B (zh) 一种人脸检测方法及其装置
CN107273832B (zh) 基于积分通道特征与卷积神经网络的车牌识别方法及系统
CN114299417A (zh) 一种基于雷视融合的多目标跟踪方法
CN106682586A (zh) 一种复杂光照条件下基于视觉的实时车道线检测的方法
CN112232371B (zh) 一种基于YOLOv3与文本识别的美式车牌识别方法
CN109255326B (zh) 一种基于多维信息特征融合的交通场景烟雾智能检测方法
CN109886086B (zh) 基于hog特征和线性svm级联分类器的行人检测方法
CN112365497A (zh) 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统
CN104615986A (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
CN111539980B (zh) 一种基于可见光的多目标追踪方法
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
CN112862845A (zh) 一种基于置信度评估的车道线重构方法及装置
Liu et al. Multi-type road marking recognition using adaboost detection and extreme learning machine classification
Wang et al. UAV target detection algorithm based on improved YOLOv8
CN106845458A (zh) 一种基于核超限学习机的快速交通标识检测方法
CN113221739B (zh) 基于单目视觉的车距测量方法
CN112613565B (zh) 基于多特征融合与自适应学习率更新的抗遮挡跟踪方法
CN110910497B (zh) 实现增强现实地图的方法和系统
CN111368704B (zh) 基于头部特征点的车载热成像行人检测RoIs提取方法
Sooksatra et al. The density-aware estimation network for vehicle counting in traffic surveillance system
CN112632601B (zh) 面向地铁车厢场景的人群计数方法
Kanitkar et al. Vision based preceding vehicle detection using self shadows and structural edge features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant