CN106407948A - 基于红外夜视仪的行人检测与识别方法 - Google Patents

Abstract

本发明公开了一种基于红外夜视仪的行人检测与识别方法，包括以下步骤：通过红外夜视仪采集并保存视频帧，实时更新当前最新三帧的有效数据，对采集的三帧视频图像进行预处理；对处理后的三帧视频图像进行区域匹配，图像补偿完成后，进行三帧差分计算，对图像进行形态学膨胀、腐蚀处理；根据几何特征和运动速率特征进行图像的行人识别。本方法在已有的行人检测基础上，提出了一种改进的三帧差分法进行行人检测，可以更好地将行人的外形轮廓提取出来，同时结合行人的几何和运动速率特征进行目标识别分类，即可识别道路上运动的行人。

Description

基于红外夜视仪的行人检测与识别方法

技术领域

本发明涉及图像处理、交通安全技术领域，具体涉及一种基于红外夜视仪的行人检测与识别方法。

背景技术

车载红外夜视仪是基于红外热成像原理设计并应用于汽车辅助驾驶，具有广泛的应用前景和巨大的商业价值。近年来，由于黑夜或雾雨等恶劣的天气条件下是交通事故发生的集中段，因此，各个研究机构分析了事故原因后一致认为，在汽车行驶过程中，驾驶员能够提前几秒对车辆前方的行人距离进行预判，并采取正确的操作，可以大大的减少交通事故的发生，极大地改善了驾驶员驾车体验，提升驾驶安全系数。

目前，常用的行人检测方法主要有光流法、背景相减法和帧差法。帧差法是对相对应的像素点在连续的两帧或者三帧图像上比较灰度值的差异，然后对图像进行阈值处理提取运动目标，但是其精度不高，难以提取目标真实的形状。三帧差分法是在二帧图像差分的基础上进行改进，该算法检测的运动目标形状和位置参数更精确，从而可以更好地获取运动目标的信息。虽然三帧差分法适用于运动背景的目标检测，但效果仍然不够理想。

通常行人识别是通过运动行人的形状特征即几何特征进行识别，但是几何特征识别方法常常产生误判，精确度不高。

发明内容

本发明要解决的技术问题是提供一种简便精确的基于红外夜视仪的行人检测与识别方法。

基于红外夜视仪的行人检测与识别方法，包括以下步骤：

S1：通过红外夜视仪采集并保存视频帧，实时更新当前最新三帧的有效数据；

S2：对采集的三帧视频图像进行预处理；

S3：对处理后的三帧视频图像进行区域匹配，令三帧灰度图像分别为前一帧f_i-1(x,y)、当前帧图像f_i(x,y)和后一帧图像f_i+1(x,y)，匹配过程如下：

S3-1：在前一帧图像f_i-1(x,y)中选取一块模块区，大小设置为32×32；

S3-2：在当前帧图像f_i(x,y)中搜寻能够匹配前一帧图像f_i-1(x,y)中参考模板的最优区域，并通过公式计算最优匹配点，计算公式如下：

其中，f_i与f_i-1分别为当前帧与前一帧图像的灰度值，MAD(p,q)为最小绝对误差，32×32为选取的区域匹配模板的大小，求取MAD(p,q)的最小值，所对应的点即为最优匹配点；

S3-3：计算当前帧图像f_i(x,y)和前一帧图像f_i-1(x,y)的相对位移量ΔS，并对当前帧图像f_i(x,y)进行补偿，。后一帧图像f_i+1的补偿计算和当前帧f_i相同；

S4：图像补偿完成后，进行三帧差分计算，前一帧图像与当前帧补偿后的图像进行查分运算，运算公式为：

D₁＝f′_i(x,y)-f_i-1(x,y)；

当前帧图像与后一帧补偿后的图像进行差分运算，运算公式为：

D₂＝f′_i+1(x,y)-f_i(x,y)；

将两次差分后的图像进行逻辑“与”运算,运算公式为：

D₃＝D₁∩D₂；

S5：对D₃图像进行形态学膨胀、腐蚀处理；

S6：根据几何特征和运动速率特征进行图像的行人识别，用g₁(x,y)表示图像中的第i个运动目标的图像；

运动目标的最小接矩形的长宽比为K，将扫描得到的待识别目标最小外接矩形的坐标分别记作，最顶端y_max(i)，最底端y_min(i)，最左端x_max(i)，最右端x_min(i)，其中，待识别目标i∈[1,n]，则待识别部分的最小外接矩形的长宽比计算公式如下：

根据质心计算公式求得目标行人的质心，计算公式为：

其中，i∈[1,n]，W_i为行人最小外界矩形的区域范围，行人像素与是计算连续两帧图像待识别目标得到的质心坐标，定义连续两帧图像的质心坐标公式为：

采集连续两帧图像的时间间隔为Δt，待识别区域的真实行人运动速率v的计算公式为：

根据几何特征和运动速率特征进行图像的行人识别的识别算法的实现过程如下：

S6-1：标定一帧图像的待识别区域i，求取i区域最小外接矩形参数；

S6-2：计算最小外接矩形的长宽比K；

S6-3：求取连续两帧图像中待识别目标的质心，计算连续两帧图像的质心距离与时间间隔；

S6-4：计算其质心运动速率v；

S6-5：判断K与v是否同时满足特定的取值范围：若满足，标定运动目标为行人，否则，忽略运动目标；

循环终止的条件：待识别区域i的值大于识别区域个数最大值n，循环终止。

本发明的有益效果是：

本发明改进的三帧差分法可以完整地检测目标行人，绝大多数的细节信息得到了保留，很好地适用于动态背景的运动目标检测，是一种较好的行人检测方法。通过行人的最小外接矩形及运动速率特征，建立了基于几何和运动速率的行人识别方法，识别效果好，没有出现误判现象。

具体实施方式

以下具体实施例对本发明作进一步阐述，但不作为对本发明的限定。

将采集的车载红外夜视图采用本发明改进的三帧差分法算法对图像进行处理；

通常情况，运动行人的形状特征可以近似地认为是矩形，则行人识别即可等效为求取运动目标行人的最小外接矩形长宽比K，约定行人在道路上正常直立行走，不考虑极端情况(包括行人卧地或弯腰)。对图像检测部分所标定的待识别区域进行扫描，将扫描得到的待识别目标最小外接矩形的坐标分别记作，最顶端y_max(i)，最底端y_min(i)，最左端X_min(i)，最右端X_max(i)，其中，待识别目标i∈[1,n]，则待识别部分的最小外接矩形的长宽比计算公式如下：

由大量实验数据可知，K的范围大约为1.2-4.0之间。

对图像待识别区域进行扫描，对三个可疑运动目标进行标定，目标1为车辆，目标2为不明发光体，目标3为行人；

扫描得到的待识别目标1外围轮廓的坐标值为：最顶端y_max＝16，最底端y_min＝2，最左端X_min＝2，最右端X_max＝9的坐标值为其中，则最小外接矩形的的长宽比K＝(16-2)/(9-2)＝2；

目标2外围轮廓的坐标值为：最顶端y_max＝5，最底端y_min＝2，最左端X_min＝5，最右端X_max＝6的坐标值为其中，则最小外接矩形的的长宽比K＝(5-2)/(6-5)＝3；

目标3外围轮廓的坐标值为：最顶端y_max＝20，最底端y_min＝2，最左端X_min＝10，最右端X_max＝15的坐标值为其中，则最小外接矩形的的长宽比K＝(20-2)/(15-10)＝3.8；

目标1，目标2，目标3均可被识别出来，存在误判。

求取连续两帧图像中待识别目标的质心,计算连续两帧图像的质心距离与时间间隔，计算质心运动速率；

用g₁(x,y)表示图像中的第i个运动目标的图像，运动目标的最小接矩形的长宽比为K，根据质心计算公式求得目标行人的质心，计算公式为：

其中，i∈[1,n]，W_i为行人最小外界矩形的区域范围，行人像素与是计算连续两帧图像待识别目标得到的质心坐标，定义连续两帧图像的质心坐标公式为：

采集连续两帧图像的时间间隔为Δt，待识别区域的真实行人运动速率v的计算公式为：

根据大量的实验数据求得道路上真实的行人运动速率(包括行走和跑的情况)范围为0.8-1.8m/s；

计算出目标1的速率为10m/s，目标2的速率为0m/s，目标3的运动速率为1.2m/s；

通过本发明的方法只将目标3识别了出来，没有出现误判现象。

Claims (1)

1.基于红外夜视仪的行人检测与识别方法，其特征在于，包括以下步骤：

S1：通过红外夜视仪采集并保存视频帧，实时更新当前最新三帧的有效数据；

S2：对采集的三帧视频图像进行预处理；

S3：对处理后的三帧视频图像进行区域匹配，令三帧灰度图像分别为前一帧f_i-1(x,y)、当前帧图像f_i(x,y)和后一帧图像f_i+1(x,y)，匹配过程如下：

S3-1：在前一帧图像f_i-1(x,y)中选取一块模块区，大小设置为32×32；

S3-2：在当前帧图像f_i(x,y)中搜寻能够匹配前一帧图像f_i-1(x,y)中参考模板的最优区域，并通过公式计算最优匹配点，计算公式如下：

其中，f_i与f_i-1分别为当前帧与前一帧图像的灰度值，MAD(p,q)为最小绝对误差，32×32为选取的区域匹配模板的大小，求取MAD(p,q)的最小值，所对应的点即为最优匹配点；

S3-3：计算当前帧图像f_i(x,y)和前一帧图像f_i-1(x,y)的相对位移量ΔS，并对当前帧图像f_i(x,y)进行补偿，。后一帧图像f_i+1的补偿计算和当前帧f_i相同；

S4：图像补偿完成后，进行三帧差分计算，前一帧图像与当前帧补偿后的图像进行查分运算，运算公式为：

D₁＝f_i′(x,y)-f_i-1(x,y)；

当前帧图像与后一帧补偿后的图像进行差分运算，运算公式为：

D₂＝f_i+1′(x,y)-f_i(x,y)；

将两次差分后的图像进行逻辑“与”运算,运算公式为：

D₃＝D₁∩D₂；

S5：对D₃图像进行形态学膨胀、腐蚀处理；

S6：根据几何特征和运动速率特征进行图像的行人识别，用g₁(x,y)表示图像中的第i个运动目标的图像；

运动目标的最小接矩形的长宽比为K，将扫描得到的待识别目标最小外接矩形的坐标分别记作，最顶端y_max(i)，最底端y_min(i)，最左端x_max(i)，最右端x_min(i)，其中，待识别目标i∈[1,n]，则待识别部分的最小外接矩形的长宽比计算公式如下：

根据质心计算公式求得目标行人的质心，计算公式为：

其中，i∈[1,n]，W_i为行人最小外界矩形的区域范围，行人像素与是计算连续两帧图像待识别目标得到的质心坐标，定义连续两帧图像的质心坐标公式为：

采集连续两帧图像的时间间隔为Δt，待识别区域的真实行人运动速率v的计算公式为：

根据几何特征和运动速率特征进行图像的行人识别的识别算法的实现过程如下：

S6-1：标定一帧图像的待识别区域i，求取i区域最小外接矩形参数；

S6-2：计算最小外接矩形的长宽比K；

S6-3：求取连续两帧图像中待识别目标的质心，计算连续两帧图像的质心距离与时间间隔；

S6-4：计算其质心运动速率v；

S6-5：判断K与v是否同时满足特定的取值范围：若满足，标定运动目标为行人，否则，忽略运动目标；

循环终止的条件：待识别区域i的值大于识别区域个数最大值n，循环终止。