CN109784216B - 基于概率图的车载热成像行人检测RoIs提取方法 - Google Patents
基于概率图的车载热成像行人检测RoIs提取方法 Download PDFInfo
- Publication number
- CN109784216B CN109784216B CN201811620500.XA CN201811620500A CN109784216B CN 109784216 B CN109784216 B CN 109784216B CN 201811620500 A CN201811620500 A CN 201811620500A CN 109784216 B CN109784216 B CN 109784216B
- Authority
- CN
- China
- Prior art keywords
- rois
- image
- value
- convex
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001931 thermography Methods 0.000 title claims abstract description 23
- 238000000605 extraction Methods 0.000 title claims abstract description 14
- 238000001514 detection method Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000004364 calculation method Methods 0.000 claims abstract description 29
- 239000011159 matrix material Substances 0.000 claims abstract description 29
- 238000013507 mapping Methods 0.000 claims abstract description 11
- 238000005457 optimization Methods 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000000877 morphologic effect Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 12
- 238000002372 labelling Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000010339 dilation Effects 0.000 claims description 4
- 230000003628 erosive effect Effects 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 3
- 238000012417 linear regression Methods 0.000 claims description 3
- 210000000538 tail Anatomy 0.000 description 6
- 238000003709 image segmentation Methods 0.000 description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241001391944 Commicarpus scandens Species 0.000 description 1
- 208000006440 Open Bite Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开基于概率图的车载热成像行人检测RoIs提取方法，包括：图像预处理：估计图像像素灰度值阈值P，根据P值获得凸‑凹形曲线对，获得凸‑凹形曲线对集合；从凸‑凹形曲线对集合中选择凸‑凹形曲线对映射操作当前图像；概率图获取：对当前图像进行图像灰度强度计算和图像显著性计算获得两个前景像素概率矩阵，通过哈达玛积运算生成概率图矩阵；RoIs生成：统计已标注数据集的行人分布以估计图像的地平线范围，裁减当前图像地平线范围进而采集RoIs种子点，由种子点位置和训练的RoIs高度估计模型获取初始，RoIs迭代优化确定当前图像的RoIs。本方法能够有效解决由于背景粘连，断裂等现象造成的RoIs定位失准问题。
Description
技术领域
本发明涉及先进辅助驾驶领域及其行人检测，更具体地，涉及一种基于概率图的车载热成像行人检测RoIs提取方法。
背景技术
车载热成像行人检测是基于视觉的辅助驾驶系统的核心技术之一，通过安装在车辆上的热成像摄像头实时采集车辆前方场景的图像作为输入，可以检测图像中有行人出现的区域，并将检测结果反馈给驾驶员，以达到及时提醒驾驶员并减少人车碰撞事故发生的目的。作为车载热成像行人检测的重要环节，RoIs提取对于检测性能的优劣起着关键的作用。RoIs提取指从输入图像中提取一系列可能包含行人的区域供后续的分类器进行识别，这些区域即称为RoIs，这一步可以剔除图像中大部分的背景区域，进而减少虚警的发生，通常一个RoIs中只包含这一个行人目标，理想的RoIs就是行人目标的外接矩形。
现有车载热成像行人检测RoIs提取方法多为基于前景提取的方法，其主要步骤为：首先使用图像分割算法将输入图像分割为前景和背景，使用二值图表示分割结果，其中值为1表示该像素属于前景，为0表示该像素属于背景；然后计算二值图中前景的连通区域，使用连通区域的外接矩形作为提取的RoIs。这类方法提取的RoIs的质量基本依赖于前景提取的结果，由于背景的复杂、热成像自身的特点和图像分割算法性能的局限，前景提取一般很难得到理想的效果，进而导致提取的RoIs质量不佳，出现以下这些问题：1)虽然热成像中的行人区域亮度会明显高于背景，但行人目标亮度分布不均(头部、四肢通常比躯干更亮)，同一个行人容易造成上下断裂；2)当背景中存在其他温度较高的物体时，很容易被认为是前景，造成RoIs数量增加；或与前景发生粘连，造成RoIs定位失准；3)当行人与行人之间距离较近时，多个行人很可能被分配到同一个RoI中，影响后续分类器的判断。
实际上，在提取RoIs不需要精准地确定行人的边缘细节，提取的RoIs也只是用一个个矩形框来表示，更需要关心的是图像中是否存在行人以及它们的位置和大小。为了解决上述问题，本发明使用概率图替代图像分割算法生成的二值图来提取RoIs。概率图可以看成是二值图的推广，只是概率图的值域是连续的，其中各像素的值表示对应像素在原图像中属于前景的概率。在计算概率图的过程中涉及到以下现有技术：
现有技术1：Hurney P.Real-time detection of pedestrians in night-timeconditions using a vehicle mounted infrared camera[D].，2016.
现有技术2：Hou X，Harel J，Koch C.Image Signature：Highlighting SparseSalient Regions[J].IEEE Transactions on Pattern Analysis and MachineIntelligence，2012，34(1)：194-201.
在现有技术1中使用了一个称为衣着失真补偿(Clothing DistortionCompensation)的操作对图像进行处理，目的是降低热成像图像中的行人由于衣着造成的灰度分布不均匀。衣着失真补偿是通过灰度级形态学闭操作实现的，通过选择合适的形态学操作结构元可以获得较好的补偿效果。在现有技术2中介绍了一种基于图像签名，自上向下计算图像显著图的算法，图像签名是一种图像描述子，已经证明了这种图像描述子倾向于保存图像中的前景信息。图像签名丢弃了图像整个离散余弦变换谱的幅度信息，只保留了每个离散余弦变换分量的符号，而图像显著图通过其重建图像获得。
数据集对于模型的训练/测试，统计信息的获取等具有重要的意义。本实验室发布的SCUT热成像行人数据集(http：//www2.scut.edu.cn/cv/scut_fir_pedestrian_ dataset/，以下简称SCUT数据集)是目前最大的热成像行人数据集之一，包含从多种交通场景(城市、郊区、高速公路和校区)采集的数据和近45万个标注框，并且对每个标注框提供了精细的行人标签类别。具体地，SCUT数据集共使用了六种标签对行人进行标注：“walkperson”表示行走、跑步或站立的单个行人，“ride person”表示骑车的单个行人，“squatperson”表示蹲坐的单个行人，“people”表示彼此粘连的多个行人，“person？”和“people？”分别表示不确定，或遮挡程度大于2/3的单个和多个行人。此外对于行人的遮挡情况，标注分为“none”表示无遮挡和“partial”表示部分遮挡。
发明内容
本发明提供基于概率图的车载热成像行人检测算法，旨在解决由于背景粘连，断裂等现象造成的RoIs定位失准问题，提升所提取的感兴趣区域(Regions of Interest，RoIs)的质量。
为了达到上述目的，根据本发明提供基于概率图的车载热成像行人检测RoIs提取方法，主要包括以下步骤：
步骤一、图像预处理：估计图像像素灰度值阈值P，根据P值获得凸-凹形曲线对，根据P值取值范围获得凸-凹形曲线对集合；
步骤二、选择与当前P值匹配的凸-凹形曲线对映射操作当前图像；
步骤三、概率图获取：对当前图像分别进行图像灰度强度计算和图像显著性计算获得两个前景像素概率矩阵，通过哈达玛积运算生成概率图矩阵；
步骤四、RoIs生成：统计已标注数据集的行人分布以估计图像的地平线范围，在当前图像地平线范围采集RoIs种子点，结合RoIs种子点位置和RoIs高度估计模型获取初始RoIs，通过对RoIs进行迭代优化确定当前图像的RoIs。
根据本发明的另一方面，估计图像像素灰度值阈值P的算式为：
其中，
代表向上取整，/>
为当前图像像素灰度值的统计平均值，P值取值范围为：170≤P≤200，不同的P值对应不同的凸-凹形曲线对，这些曲线对组成凸-凹形曲线对集合，该集合包含K对凸-凹形曲线对，K＝P取值上界-P取值下界+1；通过给定的P值，可在集合中检索对应的凸-凹形曲线对。
根据本发明的另一方面，凸-凹形曲线对包含一条凸形曲线和一条凹形曲线，生成凸形曲线的函数为：
y(x)凸＝P+(255-P)*sin(π*(x-P)/(2*(255-P)))
生成凹形曲线的函数为：
y(x)凹＝P-P*sin(π*(x+P)/(2*P))
其中x为输入图像像素灰度值，y(x)凸和y(x)凹为经映射操作的输出图像像素的灰度值，π代表圆周率，sin代表正弦函数；当确定P值时，凸-凹形曲线对也被唯一确定。
计算当前图像的P值，在凸-凹形曲线对集合中检索匹配的凸-凹形曲线对映射操作当前图像，凸形曲线映射当前图像高灰度值(大于P值)的像素，凹形曲线映射当前图像低灰度值(小于P值)的像素。
根据本发明的另一方面，哈达玛积运算为：
ProbMap＝ProbMapi*ProbMaps
其中ProbMapi代表图像灰度强度前景概率矩阵，ProbMaps代表图像显著性前景概率矩阵，ProbMap代表所获得的概率图矩阵。
根据本发明的另一方面，图像灰度强度计算为对当前图像进行衣着失真补偿计算并转换，具体的计算过程如下：
ProbMapi＝ICDC/255
其中ICDC代表衣着失真补偿后的图像；所述衣着失真补偿为灰度级形态学闭操作：
其中
代表灰度级形态学膨胀操作，/>
代表灰度级形态学腐蚀操作，I代表输入图像的灰度值矩阵，mask代表形态学结构元，其大小设为30x3，元素值均设为1。所述灰度级形态学膨胀操作和灰度级形态学腐蚀操作属于业界公认的专用算法。
根据本发明的另一方面，图像显著性计算为对当前图像的显著图进行转换，具体的计算过程如下：
ProbMaps＝ln(1+(S-min(S))/(max(S)-min(S)))/ln2
其中，ln代表自然对数运算，min(S)代表取S的最小值，max(S)代表取S的最大值，S代表显著图，S＝Gaussian(Ire*Ire)，其中Ire代表图像签名的重建图像，Gaussian代表高斯平滑运算；图像签名计算式为：
Signature＝sign(DCT(I))
其中Signature代表图像签名，I代表输入图像的灰度值矩阵，DCT代表离散余弦变换函数，sign代表符号函数，Ire即Signature的反离散余弦变换。离散余弦变换和反离散余弦变换都属于业界公认的专用算法。
根据本发明的另一方面，估计图像的地平线范围的具体过程为：提取已标注的数据集中的行人标注框，统计图像竖直方向的像素位置被标注框覆盖的次数，以覆盖次数最多的像素位置为中心，取宽度为W，高度为0.3*H的带状区域作为图像地平线范围，其中H代表图像的高度，W代表图像的宽度；图像像素位置被标注框覆盖的判别式为：
y≤yc≤b
其中，yc代表图像竖直方向像素位置变量，y、b分别代表竖直方向标注框的顶部和底部的像素位置变量，判断每成立一次，yc被覆盖的次数加1。
根据本发明的另一方面，采集RoIs种子点的过程为：对ProbMap裁减当前图像地平线范围以作为RoIs种子点采集区域，记为ProbMappt；逐列计算ProbMappt的概率和，记为Hv；以Hv极大值为种子点的权重，Hv极大值的位置为种子点的水平位置，在种子点的水平位置对应ProbMappt的列中，具有最大值的竖直位置作为种子点的竖直位置；对于水平位置距离小于10个像素的种子点，仅保留权值最大的种子点，同时满足以下两个不等式的Hv是极大值：
Hv(u)-Hv(u-1)＞0
Hv(u+1)-Hv(u)＜0
其中，u是位置变量，与极大值Hv(u)对应的u值是极大值的位置。
根据本发明的另一方面，获取初始RoIs的具体过程为：使用RoIs种子点位置作为初始RoIs的底部中点，将RoIs种子点的竖直位置输入RoIs高度估计模型获得初始RoIs的高度，初始RoIs的宽高比设为常数0.5；从已标注的数据集中提取行人标注框：(B，h)，其中B＝(b2，b)，代表样本属性，b代表竖直方向标注框的底部的像素位置，h代表标注框高度，同时用作样本标签，使用线性回归计算训练RoIs高度估计模型：
He(x)＝ax2+bx+c
其中a、b、c是训练获得的模型参数，它们的值分别为：0.0036、-0.9259、63.3596，x表示图像竖直方向位置变量，He(x)即为在x处获得的RoIs估计高度。
根据本发明的另一方面，对RoIs进行迭代优化的过程为：使用RoIs的置信度作为优化目标，通过迭代运算不断优化RoIs的置信度，迭代运算的步骤为：在当前RoIs的底部中点(xb，yb)分别在上、下、左、右四个方向移动a个像素获取四个位置：(xb-a，yb)、(xb+a，yb)、(xb，yb-a)和(xc，yb+a)，其中，xb和yb分别代表当前RoIs的水平位置和竖直位置，a等于「0.1*w]，w为当前RoIs的宽度；以这四个位置作为RoIs的底部中点，将这四个位置的竖直位置输入RoIs高度估计模型得到这四个位置估计的RoIs的高度，宽高比设为常数0.5，生成四个候选RoIs；计算当前RoIs与四个候选RoIs的置信度，进行比较运算，若当前RoIs的置信度最大，则输出当前RoIs，否则选择较大置信度的候选RoIs作为当前RoIs并继续进行迭代运算；RoIs的置信度计算式为：
conf(R)＝E(R)/(E(Re)-E(R))
其中R代表要计算置信度的RoIs，conf(R)代表RoIs的置信度，Re称为R的拓展区域，Re与R中心对称，但其宽度和高度是R的两倍，E(R)和E(Re)分别代表ProbMap在区域R和Re中的概率值之和。
本发明提供基于概率图的车载热成像行人检测RoIs方法，针对由于背景粘连，断裂等现象造成的RoIs定位失准问题，与现有的车载热成像行人检测技术相比，具有如下优点和效果：使用凸凹曲线对对图像进行映射操作，与基于单曲线的方法相比，图像处理后前、背景间的对比度更加明显，使行人区域更有可能被提取为RoIs，并剔除大部分背景区域；使用概率图来描述图像的前、背景分布，与图像分割算法生成的二值图像相比，概率图不关心行人目标的边缘细节和图像像素间的邻域关系，更强调图像中行人是否存在及其大致的位置和大小，更符合人类在搜索图像中感兴趣区域时所用的方式；通过迭代优化在概率图中搜索RoIs，并利用先验知识加快搜索的速度和增强定位的精度，在搜索过程中可以不用遍历整张图像并使RoIs提取的数量可控。
附图说明
从以下结合附图的描述中，本公开的特定实施例的以上和其它方面，特征和优点将变得更加明显，其中：
图1为图像预处理流程图；
图2为图像像素灰度值阈值P为175时的凸凹形曲线对；
图3a到图3d为不同场景的热成像图像及其预处理后的图像，其中左侧为原始图像，右侧为对应的预处理后图像；
图4为概率图获取流程图；
图5a为预处理后的图像；
图5b为输入图像的图像灰度强度前景概率矩阵图；
图5c为输入图像的图像显著性前景概率矩阵图；
图5d为输入图像的概率图；
图6为RoIs生成流程图；
图7a为已标注数据集行人分布统计结果图；
图7b为图像地平线范围的估计结果图；
图8为本发明的整体流程图。
具体实施方式
提供以下参照附图的描述以帮助全面理解由权利要求及其等同物限定的本公开的各种实施例。它包括各种具体的细节来帮助理解，但是这些被认为仅仅是示例性的。因此，本领域的普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文描述的各种实施例进行各种改变和修改。另外，为了清楚和简明，可以省略对公知功能和结构的描述。
在下面的描述和权利要求中使用的术语和词语不限于书面含义，而是仅由发明人使用使得能够清楚和一致地理解本公开。因此，本领域技术人员应该清楚，提供本公开的各种实施例的以下描述仅用于说明的目的，而不是为了限制由所附权利要求及其等同物限定的本公开。
本发明的基于概率图的车载热成像行人检测RoIs提取方法，如图8所示，包括以下过程：
图像预处理：估计图像像素灰度值阈值P，根据P值获得凸-凹形曲线对，根据P值取值范围获得凸-凹形曲线对集合；选择与当前P值匹配的凸-凹形曲线对映射操作当前图像。
概率图获取：对当前图像分别进行图像灰度强度计算和图像显著性计算获得两个前景像素概率矩阵，通过哈达玛积运算生成概率图矩阵。
RoIs生成：统计已标注数据集的行人分布以估计图像的地平线范围，在当前图像地平线范围采集RoIs种子点，结合RoIs种子点位置和RoIs高度估计模型获取初始RoIs，通过对RoIs进行迭代优化确定当前图像的RoIs。
下面对各环节的具体实施方式进行介绍，其中涉及到关于坐标的描述在不特别指明的情况下均是以图像坐标系为参考系，即图像左上角为坐标原点，图像列排列方向为水平方向(横坐标)，行排列方向为竖直方向(纵坐标)。
1、图像预处理
使用灰度值映射曲线扩展图像灰度值的动态范围可以增强图像的对比度，传统使用一条曲线，如对数函数曲线，对图像像素进行映射的方式映射后图像中所有像素的灰度值都会大于映射前，对比度提升不明显。本发明使用凸-凹形曲线对对图像像素进行映射：高灰度值像素对应的映射曲线为凸形曲线，这样映射后的灰度值会大于原灰度值；低灰度值像素点对应的映射曲线为凹形曲线，这样映射后的灰度值会小于原灰度值。如图1所示为图像预处理流程图，其中步骤110～步骤112为离线操作，只会执行一次，步骤120～步骤122为在线操作，每当有图像输入时即会执行。
步骤110：估计图像像素灰度值阈值P。估计图像像素灰度值阈值P的算式如公式(1)所示，其中
代表向上取整，/>
为图像像素灰度值的统计平均值，首先取/>
与200之间的最小值，记为P′，再取P′与170之间的最大值。
步骤111：根据P值获得凸-凹形曲线对。凸-凹形曲线对由公式(2)所示的分段函数生成，其中x为输入图像像素灰度值，L(x)为经映射操作的输出图像像素的灰度值，它们的取值都在0到255之间。当x小于P时，使用凹形曲线对其进行映射，当x大于P，使用凸形曲线对其进行映射。不同的P值对应不同的凸-凹形曲线对，如图2所示为P为175时凸-凹形曲线对。
步骤112：根据P值取值范围获得凸-凹形曲线对集合。由公式(1)可知P值取值范围为：170≤P≤200，同时P值为整数，所以P值共有31种不同的取值，对应31条不同的凸-凹形曲线对，这些凸-凹曲线对组成凸-凹形曲线对集合。
步骤120：计算当前图像的P值。对于输入的车载热成像图像，使用步骤110中设计的算式估计其灰度值阈值P。
步骤121：选择与当前图像的值匹配的凸-凹形曲线对。根据步骤120中估计的当前图像的P值从步骤112中生成的凸-凹形曲线对集合中选择匹配的凸-凹形曲线对。
步骤122：对当前图像进行映射操作。逐个遍历当前图像像素，将其灰度值输入步骤121中选择的凸-凹形曲线对得到经映射操作后的灰度值，该灰度值即作为预处理后图像对应位置像素的灰度值。图3a到图3d所示为不同场景的热成像图像及其预处理后的图像，可见经过预处理后的图像中背景区域变得更暗，与行人区域的对比度得到显著增强。
2、概率图获取
概率图表示图像中各像素点属于前景的概率，理想的概率图是一张类似前景分割结果的二值图，但就像很难得到完美的分割图像一样，实际的概率图存在很多0到1之间的中间值，越接近1表示该像素点越可能属于行人前景，反之就越可能是背景。一方面，人体具有自动调节体温的能力，正常体表的温度通常稳定在33℃左右，会远高于大多数夜间场景中背景的温度，所以行人通常是热成像中最明亮的物体并且与背景之间有明显反差。这样热成像图像本身就可以看成是一张概率图，图像的灰度强度会与概率图的概率值呈正相关的关系。另一方面，图像中表现出显著性的区域通常具有以下特点：角点、稀缺性、复杂性和不可预测性，对于道路交通场景，行人的出现可以看成是一个稀疏事件，行人的外观与背景相比也更复杂，所以图像中有行人出现区域通常就满足上述图像显著性区域的特点，这样图像中显著性的强弱即可以转换为用概率图描述。如图4所示为概率图获取流程图，将预处理后的图像如图5a，分别输入到两个分支提取前景概率矩阵，再将两个分支的结果融合生成最终的概率图输出。
步骤210：对图像进行衣着失真补偿。衣着失真补偿通过灰度级形态学闭操作实现，其原理如公式(3)所示，其中
代表灰度级形态学膨胀操作，/>
代表灰度级形态学腐蚀操作，ICDC代表衣着失真补偿后的图像，I代表输入图像的灰度值矩阵，mask代表形态学操作的结构元，其大小设为30x3，元素值均设为1。
步骤211：转换为图像灰度强度前景概率矩阵。使用公式(4)将ICDC转换为前景概率矩阵，即对ICDC中每个像素的灰度值除以255作为前景概率矩阵中对应位置的值，其中ProbMapi代表图像灰度强度前景概率矩阵，如图5b中所示。
ProbMapi＝ICDC/255公式(4)
步骤220：计算图像显著图。图像显著图的计算方法如公式(5)所示，其中Ire代表图像签名的重建图像，Gaussian代表高斯平滑运算，S代表图像显著图。图像签名是一种图像描述子，它的计算方法方法如公式(6)所示，其中Signature代表图像签名，DCT代表离散余弦变换，sign代表符号函数，Ire即Signature的反离散余弦变换。
S＝Gaussian(Ire*Ire)公式(5)
Signature＝sign(DCT(I))公式(6)
步骤221：转换为图像显著性前景概率矩阵。使用公式(7)将S转换为前景概率矩阵，其中1n代表自然对数运算，min(S)代表取S的最小值，max(S)代表取S的最大值。即先对S中每个像素的灰度值先进行线性变换，再进行非线性变换后作为前景概率矩阵中对应位置的值，其中ProbMaps代表图像显著性前景概率矩阵，如图5c中所示。
ProbMaps＝ln(1+(S-min(S))/(max(S)-min(S)))/ln2公式(7)
步骤230：通过哈达玛积运算生成概率图矩阵。使用公式(8)将ProbMapi和ProbMaps融合生成概率图矩阵，ProbMap每个位置的值等于ProbMapi和ProbMaps相应位置值得乘积，其中ProbMap代表所获得的概率图矩阵，如图5d中所示。
ProbMap＝ProbMapi*ProbMaps公式(8)
3、RoIs生成
本发明把概率图中某块区域概率值的和称为这块区域的能量，如公式(9)所示，其中R代表概率图中的某块区域，E(R)这块区域的能量，ProbMap代表概率图计算环节获得的概率图，p代表ProbMap在R中的概率值。行人往往出现在概率图中能量最大的地方，对于RoIs来说，它们的能量应该明显高于周围区域，这样RoIs的生成就转化为一个搜索问题，即在概率图中通过搜索并生成RoIs。在RoIs生成过程中会利用行人的先验知识、统计分布等信息，作为搜索过程中的启发信息或约束条件，加快搜索的速度和提升RoIs定位的准确度。如图6所示为RoIs生成流程图，它同样包含离线操作和在线操作，其中步骤310～步骤312为离线操作，步骤320～步骤327为在线操作。
E(R)＝∑p∈RProbMap(p)公式(9)
步骤310：统计已标注数据集的行人分布。从SCUT数据集中提取标注标签为“walk_person”(行走、跑步或站立的单个行人)或“ride_person”(骑车的单个行人)的无遮挡行人标注框，统计图像竖直方向的像素位置被标注框覆盖的次数。具体地，yc代表图像竖直方向像素位置，对于每一个标注框，y、b分别代表其竖直方向顶部和底部的像素位置，则将满足条件：y≤yc≤b的所有yc被覆盖次数加一。如图7a所示为统计的结果，其中纵坐标表示图像竖直方向像素位置，并已除以图像高度归一化，横坐标表示覆盖该像素位置的标注框占总标注框的百分比。
步骤311：估计图像的地平线范围。以覆盖次数最多的像素位置为中心，取宽度为W，高度为0.3*H的带状区域作为图像的地平线估计范围，其中H代表图像的高度，W代表图像的宽度。如图7b所示，其中虚线位置为图像真实的地平线位置，两条实线中间的区域为图像的地平线范围估计。
步骤312：训练RoIs高度估计模型。从SCUT数据集中提取标注标签为“walk_person”或“ride_person”的无遮挡行人标注框作为训练样本：(B，h)，其中B＝(b2，b)，代表样本属性，b代表竖直方向标注框的底部的像素位置，h代表标注框高度，同时用作样本标签，使用线性回归计算训练RoIs高度估计模型：He(x)＝ax2+bx+c，其中a、b、c是训练获得的模型参数，它们的值分别为：0.0036、-0.9259、63.3596，x表示图像竖直方向位置变量，He(x)即为在x处获得的RoIs估计高度。
步骤320：裁剪概率图地平线范围。使用步骤311中的地平线范围估计，对ProbMap进行地平线范围裁减以作为RoIs种子点采集区域，记为ProbMappt。
步骤321：确定种子点位置和权值。逐列计算ProbMappt的概率和，记为Hv；以Hv极大值为种子点的权重，Hv极大值的位置为种子点的横坐标，在种子点的横坐标对应ProbMappt的列中，具有最大值的像素位置作为种子点的纵坐标；进一步地，同时满足以下两个不等式的Hv是极大值：Hv(u)-Hv(u-1)＞0和Hv(u+1)-Hv(u)＜0，其中，u是位置变量，与极大值Hv(u)对应的u值是极大值的位置。
步骤322：种子点筛选。对于横坐标距离小于10个像素的种子点，仅保留权值最大的种子点。具体地，按种子点横坐标递增的顺序对种子点遍历，从第二个种子点开始：如果当前种子点与其前一个种子点的水平距离大于10个像素，则继续遍历当前种子点的下一个种子点；否则，如果当前种子点的权值大于其前一个种子点，则将其前一个种子点删除，继续遍历当前种子点的下一个种子点；否则，将当前种子点删除，将其前一个种子点作为当前种子点，继续遍历当前种子点下一个种子点。
步骤323：获取初始RoIs。结合步骤322输出的种子点位置和步骤312得到的RoIs高度估计获取初始RoIs。具体地，种子点位置作为初始RoIs的底部中点，将种子点的数竖直位置输入RoIs高度估计模型获得初始RoIs的高度，初始RoIs的宽高比设为常数0.5。
步骤324：生成候选RoIs。在当前RoIs的底部中点(xb，yb)分别在上、下、左、右四个方向移动a个像素获取四个位置：(xb-a，yb)、(xb+a，yb)、(xb，yb-a)和(xc，yb+a)，其中，xb和yb分别代表当前RoIs的水平位置和竖直位置，a等于「0.1*w]，w为当前RoIs的宽度；以这四个位置作为RoIs的底部中点，将这四个位置的竖直位置输入RoIs高度估计模型得到这四个位置估计的RoIs的高度，宽高比设为常数0.5，生成四个候选RoIs。
步骤325：计算当前RoIs与候选RoIs的置信度。RoIs的置信度计算式如公式(10)所示，其中R代表要计算置信度的RoIs，conf(R)代表R的置信度，Re称为R的拓展区域，Re与R中心对称，但其宽度和高度是R的两倍，E(R)和E(Re)分别代表区域R和Re在ProbMap中对应区域的能量。将当前RoIs与候选RoIs分别代入公式(10)即可获得它们的置信度。
conf(R)＝E(R)/(E(Re)-E(R))公式(10)
步骤326：迭代结束判断条件。迭代结束的判断条件是：当前RoIs的置信度大于四个候选RoIs，如果为真，则输出当前RoIs，供分类器识别，否者执行步骤327。
步骤327：更新当前RoIs。使用置信度最大的候选RoIs更新当前RoIs，并继续执行步骤324。
上述内容是结合具体的实施方式对本发明进行的详细说明，但并不能认定本发明的具体实施只限于此内容。对于本发明所属技术领域的普通技术人员而言，在不脱离本发明的原理和精神的前提下，还可以对这些实施进行若干调整、修改、替换和/或变型。本发明的保护范围由所附权利要求及其等同内容限定。
Claims (9)
1.基于概率图的车载热成像行人检测RoIs提取方法，其特征在于，包括以下步骤：
步骤一、图像预处理：估计图像像素灰度值阈值P，根据P值获得凸-凹形曲线对，根据P值取值范围获得凸-凹形曲线对集合；所述凸-凹形曲线对包括一条凸形曲线和一条凹形曲线，生成凸形曲线的函数为：
y(x)凸＝P+(255-P)*sin(π*(x-P)/(2*(255-P)))
生成凹形曲线的函数为：
y(x)凹＝P-P*sin(π*(x+P)/(2*P))
其中x为输入图像像素灰度值，y(x)凸和y(x)凹为经映射操作的输出图像像素的灰度值，π代表圆周率，sin代表正弦函数；当确定P值时，凸-凹形曲线对也被唯一确定；
计算当前图像的P值，在凸-凹形曲线对集合中检索匹配的凸-凹形曲线对映射操作当前图像，凸形曲线映射当前图像高灰度值即大于P值的像素，凹形曲线映射当前图像低灰度值即小于P值的像素；
步骤二、选择与当前P值匹配的凸-凹形曲线对映射操作当前图像；
步骤三、概率图获取：对当前图像分别进行图像灰度强度计算和图像显著性计算获得两个前景像素概率矩阵，通过哈达玛积运算生成概率图矩阵；
步骤四、RoIs生成：统计已标注数据集的行人分布以估计图像的地平线范围，在当前图像地平线范围采集RoIs种子点，结合RoIs种子点位置和RoIs高度估计模型获取初始RoIs，通过对RoIs进行迭代优化确定当前图像的RoIs。
2.根据权利要求1所述的方法，其特征在于，所述估计图像像素灰度值阈值P的算式为：
其中，
代表向上取整，/>
为当前图像像素灰度值的统计平均值，P值取值范围为：170≤P≤200，不同的P值对应不同的凸-凹形曲线对，这些曲线对组成凸-凹形曲线对集合，该集合包含K对凸-凹形曲线对，K＝P取值上界-P取值下界+1；通过给定的P值，可在集合中检索对应的凸-凹形曲线对。
3.根据权利要求1所述的方法，其特征在于，所述哈达玛积运算为：
ProbMap＝ProbMapi*ProbMaps
其中ProbMapi代表图像灰度强度前景概率矩阵，ProbMaps代表图像显著性前景概率矩阵，ProbMap代表所获得的概率图矩阵。
4.根据权利要求1所述的方法，其特征在于，所述图像灰度强度计算为对当前图像进行衣着失真补偿计算并转换，具体的计算过程如下：
ProbMapi＝ICDC/255
其中ICDC代表衣着失真补偿后的图像；所述衣着失真补偿为灰度级形态学闭操作：
其中
代表灰度级形态学膨胀操作，/>
代表灰度级形态学腐蚀操作，I代表输入图像的灰度值矩阵，mask代表形态学结构元，其大小设为30x3，元素值均设为1。
5.根据权利要求1所述的方法，其特征在于，所述图像显著性计算为对当前图像的显著图进行转换，具体的计算过程如下：
ProbMaps＝ln(1+(S-min(S))/(max(S)-min(S)))/ln2
其中，ln代表自然对数运算，min(S)代表取S的最小值，max(S)代表取S的最大值，S代表显著图，S＝Gaussian(Ire*Ire)，其中Ire代表图像签名的重建图像，Gaussian代表高斯平滑运算；图像签名计算式为：
Signature＝sign(DCT(I))
其中Signature代表图像签名，I代表输入图像的灰度值矩阵，DCT代表离散余弦变换函数，sign代表符号函数，Ire即Signature的反离散余弦变换。
6.根据权利要求1所述的方法，其特征在于，所述步骤四中估计图像的地平线范围的具体过程为：提取已标注的数据集中的行人标注框，统计图像竖直方向的像素位置被标注框覆盖的次数，以覆盖次数最多的像素位置为中心，取宽度为W，高度为0.3*H的带状区域作为图像地平线范围，其中H代表图像的高度，W代表图像的宽度；图像像素位置被标注框覆盖的判别式为：
y≤yc≤b
其中，yc代表图像竖直方向像素位置变量，y、b分别代表竖直方向标注框的顶部和底部的像素位置变量，判断每成立一次，yc被覆盖的次数加1。
7.根据权利要求1所述的方法，其特征在于，所述采集RoIs种子点的过程为：对ProbMap裁减当前图像地平线范围以作为RoIs种子点采集区域，记为ProbMappt；逐列计算ProbMappt的概率和，记为Hv；以Hv极大值为种子点的权重，Hv极大值的位置为种子点的水平位置，在种子点的水平位置对应ProbMappt的列中，具有最大值的竖直位置作为种子点的竖直位置；对于水平位置距离小于10个像素的种子点，仅保留权值最大的种子点，同时满足以下两个不等式的Hv是极大值：
Hv(u)-Hv(u-1)>0
Hv(u+1)-Hv(u)<0
其中，u是位置变量，与极大值Hv(u)对应的u值是极大值的位置。
8.根据权利要求1所述的方法，其特征在于，获取初始RoIs的具体过程为：使用RoIs种子点位置作为初始RoIs的底部中点，将RoIs种子点的竖直位置输入RoIs高度估计模型获得初始RoIs的高度，初始RoIs的宽高比设为常数0.5；从已标注的数据集中提取行人标注框：(B,h)，其中B＝(b2,b)，代表样本属性，b代表竖直方向标注框的底部的像素位置，h代表标注框高度，同时用作样本标签，使用线性回归计算训练RoIs高度估计模型：
He(x)＝ax2+bx+c
其中a、b、c是训练获得的模型参数，它们的值分别为：0.0036、-0.9259、63.3596，x表示图像竖直方向位置变量，He(x)即为在x处获得的RoIs估计高度。
9.根据权利要求1所述的方法，其特征在于，对RoIs进行迭代优化的过程为：使用RoIs的置信度作为优化目标，通过迭代运算不断优化RoIs的置信度，迭代运算的步骤为：在当前RoIs的底部中点(xb,yb)分别在上、下、左、右四个方向移动a个像素获取四个位置：(xb-a,yb)、(xb+a,yb)、(xb,yb-a)和(xc,yb+a)，其中，xb和yb分别代表当前RoIs的水平位置和竖直位置，a等于
w为当前RoIs的宽度；以这四个位置作为RoIs的底部中点，将这四个位置的竖直位置输入RoIs高度估计模型得到这四个位置估计的RoIs的高度，宽高比设为常数0.5，生成四个候选RoIs；计算当前RoIs与四个候选RoIs的置信度，进行比较运算，若当前RoIs的置信度最大，则输出当前RoIs，否则选择较大置信度的候选RoIs作为当前RoIs并继续进行迭代运算；RoIs的置信度计算式为：
conf(R)＝E(R)/(E(Re)-E(R))
其中R代表要计算置信度的RoIs，conf(R)代表RoIs的置信度，Re称为R的拓展区域，Re与R中心对称，但其宽度和高度是R的两倍，E(R)和E(Re)分别代表ProbMap在区域R和Re中的概率值之和。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811620500.XA CN109784216B (zh) | 2018-12-28 | 2018-12-28 | 基于概率图的车载热成像行人检测RoIs提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811620500.XA CN109784216B (zh) | 2018-12-28 | 2018-12-28 | 基于概率图的车载热成像行人检测RoIs提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109784216A CN109784216A (zh) | 2019-05-21 |
| CN109784216B true CN109784216B (zh) | 2023-06-20 |
Family
ID=66497819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811620500.XA Active CN109784216B (zh) | 2018-12-28 | 2018-12-28 | 基于概率图的车载热成像行人检测RoIs提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109784216B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110930720B (zh) * | 2019-11-28 | 2020-11-13 | 广州杰赛科技股份有限公司 | 一种车辆识别方法及装置 |
| CN111368704B (zh) * | 2020-02-29 | 2023-05-23 | 华南理工大学 | 基于头部特征点的车载热成像行人检测RoIs提取方法 |
| CN111950501B (zh) * | 2020-08-21 | 2024-05-03 | 东软睿驰汽车技术（沈阳）有限公司 | 障碍物检测方法、装置以及电子设备 |
| CN117409557B (zh) * | 2023-12-14 | 2024-02-20 | 成都格理特电子技术有限公司 | 基于动态分析的检测高温报警方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB0302997D0 (en) * | 2003-02-11 | 2003-03-12 | Qinetiq Ltd | Image analysis |
| JP2007133644A (ja) * | 2005-11-10 | 2007-05-31 | Hino Motors Ltd | 歩行者認識装置 |
| CN103198332A (zh) * | 2012-12-14 | 2013-07-10 | 华南理工大学 | 一种实时鲁棒的远红外车载行人检测方法 |
| CN104091171A (zh) * | 2014-07-04 | 2014-10-08 | 华南理工大学 | 基于局部特征的车载远红外行人检测系统及方法 |
| CN108416347A (zh) * | 2018-01-04 | 2018-08-17 | 天津大学 | 基于边界先验和迭代优化的显著目标检测算法 |
| CN108549864A (zh) * | 2018-04-12 | 2018-09-18 | 广州飒特红外股份有限公司 | 面向车载热成像行人检测的感兴趣区域过滤方法和装置 |
| CN108564030A (zh) * | 2018-04-12 | 2018-09-21 | 广州飒特红外股份有限公司 | 面向车载热成像行人检测的分类器训练方法和装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009131539A1 (en) * | 2008-04-22 | 2009-10-29 | Agency For Science, Technology And Research | A method and system for detecting and tracking hands in an image |
| KR101967305B1 (ko) * | 2016-10-14 | 2019-05-15 | 주식회사 만도 | 차량의 보행자 인식 방법 및 차량의 보행자 인식 시스템 |
-
2018
- 2018-12-28 CN CN201811620500.XA patent/CN109784216B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB0302997D0 (en) * | 2003-02-11 | 2003-03-12 | Qinetiq Ltd | Image analysis |
| JP2007133644A (ja) * | 2005-11-10 | 2007-05-31 | Hino Motors Ltd | 歩行者認識装置 |
| CN103198332A (zh) * | 2012-12-14 | 2013-07-10 | 华南理工大学 | 一种实时鲁棒的远红外车载行人检测方法 |
| CN104091171A (zh) * | 2014-07-04 | 2014-10-08 | 华南理工大学 | 基于局部特征的车载远红外行人检测系统及方法 |
| CN108416347A (zh) * | 2018-01-04 | 2018-08-17 | 天津大学 | 基于边界先验和迭代优化的显著目标检测算法 |
| CN108549864A (zh) * | 2018-04-12 | 2018-09-18 | 广州飒特红外股份有限公司 | 面向车载热成像行人检测的感兴趣区域过滤方法和装置 |
| CN108564030A (zh) * | 2018-04-12 | 2018-09-21 | 广州飒特红外股份有限公司 | 面向车载热成像行人检测的分类器训练方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| 《Robust and fast pedestrian detection method for far-infrared automotive》;Qiong Liu;《Infrared Physics & Technology》;20130620;全文 * |
| 导引概率图与显著特征相结合的行人目标检测;刘琼;《高技术通讯》;20160515(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109784216A (zh) | 2019-05-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109784216B (zh) | 基于概率图的车载热成像行人检测RoIs提取方法 | |
| CN111797716B (zh) | 一种基于Siamese网络的单目标跟踪方法 | |
| CN108573276B (zh) | 一种基于高分辨率遥感影像的变化检测方法 | |
| WO2021208275A1 (zh) | 一种交通视频背景建模方法及系统 | |
| CN104915636B (zh) | 基于多级框架显著性特征的遥感影像道路识别方法 | |
| CN106909902B (zh) | 一种基于改进的层次化显著模型的遥感目标检测方法 | |
| CN107273905B (zh) | 一种结合运动信息的目标主动轮廓跟踪方法 | |
| WO2017084204A1 (zh) | 一种二维视频流中的人体骨骼点追踪方法及系统 | |
| CN110738676A (zh) | 一种结合RGBD数据的GrabCut自动分割算法 | |
| CN110334692B (zh) | 一种基于图像处理的盲道识别方法 | |
| CN114187665B (zh) | 一种基于人体骨架热图的多人步态识别方法 | |
| CN103870808A (zh) | 一种手指静脉识别方法 | |
| CN103927511A (zh) | 基于差异特征描述的图像识别方法 | |
| CN107516083B (zh) | 一种面向识别的远距离人脸图像增强方法 | |
| CN113158943A (zh) | 一种跨域红外目标检测方法 | |
| CN113762009B (zh) | 一种基于多尺度特征融合及双注意力机制的人群计数方法 | |
| Shen et al. | Adaptive pedestrian tracking via patch-based features and spatial–temporal similarity measurement | |
| CN111539980B (zh) | 一种基于可见光的多目标追踪方法 | |
| CN110991398A (zh) | 一种基于改进步态能量图的步态识别方法及系统 | |
| CN104866853A (zh) | 一种足球比赛视频中的多运动员的行为特征提取方法 | |
| CN108830222A (zh) | 一种基于信息性和代表性主动学习的微表情识别方法 | |
| CN115690513A (zh) | 一种基于深度学习的城市行道树种类识别方法 | |
| CN116883588A (zh) | 一种大场景下的三维点云快速稠密重建方法及系统 | |
| CN104008374A (zh) | 一种矿井图像中基于条件随机场的矿工检测方法 | |
| Bhadauria et al. | Building extraction from satellite images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |