CN102511046A - 使用近红外照相机对行人进行检测、分类并追踪的有成本效益的系统及方法 - Google Patents

Abstract

一种通过使用由设置在车辆上的近红外(IR)照相机捕捉的图像来对该车辆前出现的行人进行检测、分类和追踪的有成本效益的方法，所述方法包括用处理器实现的以下步骤：通过估算地平面，检测要关注的道路，以过滤在所述图像中的感兴趣区域(ROI)的物体；基于非地面物体到地面的距离，除去该非地面物体；通过为每个非ROI物体计算信噪比(SNR)，基于这种物体的形状过滤该非ROI物体；通过相对于非垂直物体的质心计算相对于x和y轴的惯性力矩，除去该非垂直的物体；基于行人的形状对所分析的图像画面中的行人进行分类；以及使用均值偏移算法来追踪所分类行人的移动。

Description

使用近红外照相机对行人进行检测、分类并追踪的有成本效益的系统及方法

发明领域

本发明总地涉及对行人进行检测、分类并追踪的系统和方法。更具体地，本发明涉及一种通过使用由设置在车辆上的近红外(IR)照相机捕捉的实时图像来对该车辆前方的行人进行检测、分类和追踪的有成本效益的系统和方法。

发明背景

牵涉到行人的道路事故在晚上发生的频率远远大于在白天发生的频率。在全世界，每年在道路交通碰撞中丧生的人数预计最多达到120万，而受伤的人数则高达5000万，这是世界最大的五个城市的总人口数。很多在这种事故中丧生的人都是行人。最重要的因素是司机的视觉范围显著减小了。如果车辆装备有与司机警告策略相结合的改进的行人检测系统，则丧生或严重受伤的行人将较少。

我们所知的处理行人检测及追踪的一些发明如下：

Fujimura等人的US7139411示出了一种在低能见度条件或其他条件下用于检测并追踪行人的系统和方法。夜视照相机定时地从单一的角度捕捉道路的红外线图像。行人检测模块通过处理所捕捉的图像来确定行人在画面中的位置。该行人检测模块包括支持向量机，用于将从所述夜视照相机获得的信息与训练数据库进行比较。行人追踪模块通过应用滤波器来估算所检测到的行人在接下来的画面中的移动。该追踪模块使用Kalman过滤以周期性地估算行人的移动并进行均值偏移(mean-shifting)以调整该估算的结果。

Ibrahim Burak Ozer的US7526102示出了用于提供拥挤环境的实时视频监视的方法和系统。该方法包括几个物体检测及追踪处理，可对这几个物体检测及追踪处理进行自动地选择以根据输入视频的分辨率和遮挡水平来追踪各个物体或一组物体。可能感兴趣的物体(OOI)可以是人、动物、汽车等。该发明可用于追踪在拥挤环境中的人或在繁忙交通条件下的汽车。

Hiroshi Satoh的US7421091示出了，在具有两维设置的多个像素的图像捕捉单元的给定像素周围的像素的输出被添加至该给定像素的输出。

Min-Sub Lee的US5694487示出了这样一种方法，其基于与每个块中的每个像素相对应的梯度大小和变化来确定每个块的特征点。

这些已知设备、系统和方法中的大部分为了检测并追踪行人都使用了复杂的方法，且成本较高。这些方法的精确度却不足以检测并追踪行人。

因此，考虑到上述背景技术，明显地需要一种系统和方法，用于对在车辆前出现的行人进行检测、分类和追踪以防止碰撞，该系统和方法是简单的、容易安装的，且以较低的成本提供较高的精确度。

发明目的

本发明的主要目的是提供一种系统和方法，用于对在车辆前出现的行人进行检测、分类和追踪以防止碰撞，该系统和方法是简单的、容易安装的，且以较低的成本提供较高的精确度。

本发明的另一个目的是提供一种系统性的方法，用于通过使用近IR照相机对地平面进行估算，从而检测道路区域。

本发明的又一个目的是提供一种系统性的方法，用于通过使用近I R照相机基于非地面物体到地面的距离来除去该非地面物体。

本发明的还有一个目的是提供一种系统性的方法，用于使用近IR照相机通过为每个非ROI物体计算信噪比(SNR)，从而基于这些物体的形状来过滤这种非ROI物体。

本发明的还有一个目的是提供一种系统性的方法，用于通过相对于非垂直物体的质心计算相对于x和y轴的惯性力矩，来从IR图像除去这种非垂直的物体。

本发明的又一个目的是提供一种系统化的方法，用于通过使用近I R照相机，基于行人的形状对所分析的图像画面中的行人进行分类。

本发明的另一个目的是提供一种系统化的方法，用于通过使用均值偏移算法来追踪被分类的行人的移动。

本发明的又一目的是提供一种用于对行人进行检测和追踪的系统和方法，该系统和方法是简单且有成本效益的。

发明内容

在对本发明的方法、系统和硬件实现进行描述前，应该理解到本发明不局限于所描述的特定系统和方法，本发明可有多个没有在本公开中明确说明的可能的实施例。还应理解到，本说明书中所使用的术语仅是为了描述特定版本或实施例的目的，不旨在限制仅由所附权利要求书限定的本发明的范围。

本发明提供一种系统和方法，用于在驾驶的同时对在车辆前出现的行人进行检测、分类和追踪，以防止碰撞，该系统和方法是简单的、容易安装的，且以较低的成本提供较高的精确度。

本发明具体实现为一种通过使用由设置在车辆上的近红外(IR)照相机捕捉的图像来对该车辆前出现的行人进行检测、分类和追踪的有成本效益的方法，其中所述方法包括用处理器实现的以下步骤：检测要关注的道路并通过估算地平面来过滤在所述图像中的感兴趣区域(ROI)的物体；基于非地面物体到地面的距离，除去该非地面物体；通过为每个非ROI物体计算信噪比(SNR)，基于这些物体的形状来过滤该非ROI物体；通过相对于非垂直物体的质心计算相对于x和y轴的惯性力矩，除去该非垂直的物体；基于行人的形状对所分析的图像画面中的行人进行分类；以及使用均值偏移算法来追踪被分类的行人的移动。

在本发明的一个方面中，与行人有关的追踪数据还被处理器传递给输出装置。

在本发明的还有一个方面中，警报装置警告司机出现一个或多个行人，其中该警报装置可以是发出警告的音频和音频视觉设备、基于语音的告诫装置、指示器和显示器。

根据本发明的另一方面，近IR照相机可设置在车辆的仪表板上或者车辆的前侧、内部或顶部。在本发明的一个典型实施例中，近IR照相机可设置在车辆之前。

附图简述

以上内容、以及优选实施例的以下详细描述将在结合附图阅读时被更好地理解。为了示出本发明，在图中示出本发明的示例性构造；但本发明不局限于在附图中所公开的特定方法和系统。

图1为流程图，其示出了根据本发明多个实施例的方法，该方法用于在驾驶的同时检测、分类和追踪在车辆前出现的行人，以避免碰撞。

发明的详细描述

现在将详细讨论本发明的一些实施例，说明其特征。词语“包含”、“具有”、“含有”和“包括”及其其他形式旨在含义相同并且是开放式的，在这些词语中任意一个之后的一个或多个事项并不意味着这一个或多个事项的穷举或意味着仅局限于所列举的一个或多个事项。还必需注意到，如本文以及所附权利要求书中所使用地，单数形式的“一”、“一种”以及“该”包括复数引用，除非上下文另外明确地指出相反情况。尽管在本发明的实施例的实践或测试中可使用与本文所描述的系统和方法相类似或等效的任何系统和方法，但是现在将描述优选的系统和方法。所公开的实施例仅仅是本发明的示例，其可由本领域技术人员具体化为各种形式。

一种通过使用由设置在车辆上的近红外(IR)照相机捕捉的图像来对该车辆前出现的行人进行检测、分类和追踪的有成本效益的方法，所述方法包括用处理器实现的以下步骤：

a)通过估算地平面，检测要关注的道路以过滤在所述图像中的感兴趣区域(ROI)的物体；

b)基于非地面物体到地面的距离，除去该非地面物体；

c)通过为每个非ROI物体计算信噪比(SNR)，基于这种物体的形状过滤该非ROI物体；

d)通过相对于非垂直物体的质心计算相对于x和y轴的惯性力矩，除去该非垂直的物体；

e)基于行人的形状对所分析的图像画面中的行人进行分类；和

f)使用均值偏移算法来追踪被分类的行人的移动。

本发明提供一种系统和方法，用于在驾驶的同时对在车辆前出现的行人进行检测、分类和追踪，以防止碰撞，该系统和方法是简单的、容易安装的，且以较低的成本提供较高的精确度。

根据本发明的一个典型实施例，一种有成本效益的系统包括：设置在车辆上的近IR照相机，用于捕捉图像；以及处理器，用于实时分析所捕捉的图像，用以对出现在车辆前的行人进行检测、分类和追踪。

图1为流程图，其示出了根据本发明多种实施例的方法100，该方法用于在驾驶的同时检测、分类和追踪在车辆前出现的行人，以避免碰撞。

在本发明的一个实施例中，有成本效益的方法100通过使用由设置在车辆上的近红外(IR)照相机捕捉的图像来对该车辆前出现的行人进行检测、分类和追踪。根据本发明的另一方面，近IR照相机可设置在车辆的仪表板上或者车辆的前侧、内部或顶部。在本发明的一个示例实施例中，近I R照相机可设置在车辆之前。

根据本发明的一个方面，所述近IR照相机的分辨率可从640*480、720*480等中选择。在本发明的一个典型实施例中，近IR照相机的分辨率为720*480。根据本发明的一个方面，所述近IR照相机的IR范围可从(0.7-1)到5微米的范围中选择，用以对行人进行检测和追踪。在本发明的一个典型实施例中，所述近IR照相机的IR范围可从0.7到5微米的范围中选择。根据本发明的一个方面，所述近IR照相机的温度范围可从740到3,000-5,200开氏度的范围中选择，用以对行人进行检测和追踪。

根据本发明的一个方面，处理器可设置在所述近IR照相机的主体内或车辆的仪表板上。在本发明的一个典型实施例中，处理器设置在近IR照相机的主体内。根据本发明的另一个方面，处理器可从Davinci DM6446处理器、ADSP-BF533，750MHz Blackfin处理器的组中选择。

上述有成本效益的方法包括多个用处理器实现的步骤。在用机载近IR照相机进行物体检测的情况下，首先需要估算地面区域。在所提议方法的第一步骤中，通过估算地平面，处理器检测要关注的道路以过滤在所述图像中的感兴趣区域(ROI)的物体。为了检测地面区域，处理器执行以下步骤：

最开始，使用sobel算子来完成图像微分102，然后使用Otsu算法来确定微分的图像104。根据本发明的一个方面，根据应用性可改变用于微分的图像的阈值参数。在微分二进制图像的阈值中，在沿着所述图像的宽度的每个最底部的像素向上穿越直到有0-1的转变。从最底部像素到0-1转变的区域106表示用于指示道路的光滑区域。将该区域值标注为‘X’。通过所述处理器为每个最底部的像素图像重复该工序。

为了检测完整的地面区域108，通过处理器将图像强度划分为16个面元。从最底部的像素向上穿越到达图像的一半高度。这些被标注为‘X’的像素被当作是籽像素(seed pixel)。选择籽像素，通过用处理器计算Eulidean距离(D)来检查相邻的像素并当该相邻的像素与籽像素相似时将该相邻的像素添加至地面区域。针对新添加像素中的每一个，重复该处理；如果没有更多的像素可被添加就停止。通过处理器，新添加的像素现在也被标注为‘X’。该方法基于这样的设想：道路具有相对恒定的温度，由此在边缘检测图像中不会产生边缘。

在所提议的方法的第二步骤中，所述处理器基于非地面物体到地面的距离来除去该非地面物体。为了除去所述非地面物体，处理器执行以下步骤：

最开始，使用Otsu算法对原始的灰度水平图像110取阈值。在被取阈值的二进制图像中，除去被标注为‘X’的像素。然后在二进制图像上执行连接分量分析。将′Lr′，′Hr′，′Lc′，′Hc′当作是用于构成一分量的边界框的最下面的行、最上面的行、最左面的栏和最右面的栏。接着计算所有分量的′Hr′上的平均值(μ)和标准差(σ)。通过处理器删除任何其′Hr′小于(μ+σ)的分量112。

在完成上述步骤之后，将有很多非ROI，它们为亮条纹物体114，诸如金属标记板、发光标记板、交通标记、前灯、电极和护栏的柱子。这些物体具有规则的形状。

在所提议的方法的第三步骤中，处理器通过为每个非ROI物体计算信噪比(SNR)，基于这种物体的形状过滤该非ROI物体。为了检测这些规则形状，处理器执行以下步骤：

为每个分量，寻找外边界。边界像素是值为‘1’的像素，且为8个像素值为‘0’的相邻像素中的任何一个，然后处理器为斑点计算矩心(x_c，y_c)。接着计算从斑点的矩心到形状轮廓的距离(r(t))。

然后计算在r(n)上的N点DFT R(f)。接着搜索频率成分的幅度的局部最大值。如果局部最大值周期地出现，则对该周期进行计算。观察到，形状为规则的物体将具有周期的局部最大值，而形状为不规则的物体则不具有周期的局部最大值。然后，处理器计算R(f)的复制的版本

其中M是周期。

在下一个步骤中，计算

上的N点IDFT

并随后计算误差信号接着处理器计算信噪比(SNR)，

SNR＝10log(S_y/S_e)

其中，且S_e(n)＝∑(e[n])²。

对于规则形状的物体SNR将非常得高，而对于不规则形状的物体SNR将较小。以这种方式，容易地除去街灯、车头灯、柱子和灯柱。

在所提议的方法的第四步骤中，处理器通过相对于非垂直物体的质心计算相对于x和y轴的惯性力矩，除去该非垂直的物体116。在灰度水平的被取阈值的二进制图像中，仍有更水平地对准而非垂直地对准的分量。行人等物体通常在本质上为垂直的。为了检测垂直伸长的物体118，通过处理器使用归一化的中心力矩。

其中M_x是关于质心的相对于X轴的惯性力矩。

其中M_y是关于质心的相对于Y轴的惯性力矩。

其中M_xy是关于质心的同时相对于X和Y轴的惯性力矩。

由于行人在本质上更加垂直，M_y＞M_x。

如果则物体为垂直伸长的，否则其将为水平伸长的，这将被处理器删除。在本发明的一个典型实施例中，估算的阈值为大约3.2。

在所提议的方法的第五步骤中，所述处理器基于行人的形状对所分析的图像画面中的行人进行分类。一旦已经获得了关于行人的物体基本结构和定性提示，那么更精确的控制就是必需的。为了分类，将行人的形状用作提示。

为了对所分析的图像画面中的行人进行分类，处理器执行以下步骤：为每个ROI，处理器寻找外边界。边界像素是其值为‘1’的像素，且为8个像素值为‘0’的相邻像素中的任何一个。最开始，为斑点计算矩心(x_c，y_c)。将所述边界表示为复坐标函数Z(n)＝[x(n)-x_c]+i[y(n)-y_c]。该转变使形状的表示对平移来说是不变的。物体形状和模型形状可具有不同的尺寸。结果，物体表示和模型表示的数据点的数量也将是不同的。为了避免该问题，物体和模型的形状边界必须被采样成具有相同数量的数据点。

a)假设K是沿着形状边界要被取样的候选点的总数目。相等的角度采样选择以相等角度θ＝2∏/K间隔的候选点。

b)通过计算在复坐标函数

上的32点FFT，获得傅里叶描述符(FD)。

c)通过忽略相位信息以及通过只取FD的幅度值，完成FD的非变化旋转。

d)然后通过使FD第一半的幅度值除以DC分量来获得标度不变性。

$f=\frac{\left|\mathrm{FD}1\right|}{\left|\mathrm{FD}0\right|},\frac{\left|\mathrm{FD}2\right|}{\left|\mathrm{FD}0\right|},.....\frac{\left|{\mathrm{FD}}_{N/2}\right|}{\left|\mathrm{FD}0\right|}.$

e)现在对于由FD特征

索引的模型形状和由FD特征

索引的数据形状，由于关于平移、旋转和比例缩放对该两组特征进行归一化，所以在该两组特征向量之间的Euclidean距离可被用作相似性测量。

$d={\left(\underset{i=0}{\overset{N}{\mathrm{\Σ}}}{|f_m^i-f_d^i|}^2\right)}^{1/2}$

其中，N_c是索引形状所需要的谐波的截取数量。

$\mathrm{Pedestrian}=\left\{\begin{array}{cc}1& d<\mathrm{threshold}\\ 0& d>\mathrm{threshold}\end{array}\right..$

最后，基于上述图像中的比较将行人进行分类。

在所提议的方法的最后一个步骤中，通过使用均值偏移算法，处理器追踪被分类的行人的移动120。为了追踪被分类的行人的移动，处理器执行以下步骤：

当在当前画面中定位行人之后，从下一个画面向前应用均值偏移追踪以追踪行人。所述均值偏移追踪算法为基于外观的追踪方法，且其应用均值偏移迭代以寻找候选目标，该候选目标与按照强度分布的给定模型最为相似，该两个分布的相似度由基于Bhattacharyya系数的度量来表示。从采样数据获得Bhattacharyya系数的过程包括对目标密度q和候选密度p的估算，在该估算中应用直方图公式。

首先，将行人斑点的矩心当作为中心x0，通过考虑特征空间来计算目标模型直方图。

基于被取阈值的图像计算边缘上的32面元直方图

目标模型：

u＝1，2，3，........32，

从下一个画面向前，对目标的中心在其先前的位置(y0)进行初始化，且通过考虑相同的特征空间来计算目标候选直方图。

基于被取阈值的图像更新边缘上的32面元直方图

现在计算目标模型和目标候选直方图之间的距离。

其中ρ[.]是p和q之间的bhattacharya系数。现在通过加权平均值对目标中心的偏移进行计算。

$y_1=\frac{\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{x}_i{w}_i}{\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{w}_i}$ 其中， $w_i=\underset{u=1}{\overset{m}{\mathrm{\&Sigma;}}}\sqrt{\frac{q_u}{p_u\left(y_0\right)}}.$

一旦找到了目标的新位置，则处理器执行以下步骤：

a.在新位置用相同的特征空间计算目标候选直方图，该特征空间包括直方图相等图像范围和低帽变换(bottom hat transform)的图像。

b.计算 $\mathrm{\&rho;}[\hat{p}\left(y_1\right),\hat{q}]$

c：当 $\mathrm{\&rho;}[\hat{p}\left(y_1\right),\hat{q}]<\mathrm{\&rho;}[\hat{p}\left(y_0\right),\hat{q}]$ 时，

进行y₁＜-(y₀+y₁))/2

估算 $\mathrm{\&rho;}[\hat{p}\left(y_1\right),\hat{q}]$

d.如果‖y₁-y₀‖＜ε，停止。

e.否则，通过处理器设置y₀＜-y₁并得到权重，然后新位置，并且到步骤1。

上述方法还包括通过使用行人的追踪数据来警告驾驶员以防止碰撞的步骤，其中警报装置用于警告驾驶员，其中所述警报装置可以是音频和音频视觉装置，包括但不局限于警报器、基于语音的告诫装置或指示器。

已参考本发明的多个实施例进行了上述描述。本发明所属的本领域技术人员将理解，在不有意脱离本发明主旨、精神和范围的条件下，可对所描述的操作的处理和方法作出变化和改变。

发明优点

在本发明中所提议的系统和方法具有如下优点：

1.本发明提供一种系统和方法，用于在驾驶的同时对在车辆前出现的行人进行检测、分类和追踪，以防止碰撞，该系统和方法是容易安装和执行的。

2.本发明的系统还提供一种方法，用于在驾驶的同时对在车辆前出现的行人进行检测、分类和追踪，以防止碰撞，该系统与现有的传统系统相比具有相当高的精确度。

3.本发明还提供一种系统和方法，用于在驾驶的同时对在车辆前出现的行人进行检测、分类和追踪，以防止碰撞，该系统和方法与传统系统相比具有成本效益。

Claims (9)

1.一种通过使用由设置在车辆上的近红外(IR)照相机捕捉的图像来对该车辆前方的行人进行检测、分类和追踪的有成本效益的方法，所述方法包括用处理器实现的以下步骤：

a)通过估算地平面，检测要关注的道路，以过滤在所述图像中的感兴趣区域(ROI)的物体；

b)基于非地面物体到地面的距离，除去该非地面物体；

c)通过为每个非ROI物体计算信噪比(SNR)，基于这种物体的形状，过滤该非ROI物体；

d)通过相对于非垂直物体的质心计算相对于x和y轴的惯性力矩，来除去该非垂直的物体；

e)基于行人的形状，对所分析的图像画面中的行人进行分类；和

f)使用均值偏移算法来追踪被分类的行人的移动。

2.如权利要求1所述的方法，其特征在于，还包括通过使用行人的追踪数据来警告驾驶员以防止碰撞的步骤。

3.如权利要求1所述的方法，其特征在于，近IR照相机可被设置在车辆的仪表板上或者车辆的前侧、内部或顶部。

4.如权利要求1所述的方法，其特征在于，通过用处理器实现的以下步骤来估算地平面：

a)使用sobel算子对所捕捉的IR图像进行微分；

b)在微分的图像上应用otsu算法以对微分的图像取阈值；

c)通过识别光滑区域、紧接着将该光滑区域标注为‘X并且针对每个最底部像素图像重复上述标注从而来检测道路，其中从最底部像素到0-1转变的区域表示该光滑区域；

d)将图像强度划分为16个面元，然后从最底部像素向上穿越到图像的一半高度处，接着将标注的像素当作为籽像素，随后选择该籽像素，通过计算Eulidean距离(D)来检查相邻的像素并当该相邻的像素与籽像素相似时将该相邻的像素添加至地面区域，然后针对每个新添加的像素重复上述过程，如果没有更多的像素可被添加则停止该过程，并且最后将该新添加的像素标注为‘X’。

5.如权利要求1所述的方法，其特征在于，通过用处理器实现的以下步骤来除去非地面物体：

a)在原始的灰度水平图像上应用otsu算法以对该原始的灰度水平图像取阈值；

b)忽略在被取阈值的二进制图像中被标注的像素；

c)在被取阈值的二进制图像中未被标注的像素上运行连接分量分析，其中最下面的行、最上面的行、最左面的栏和最右面的栏构成该图像的分量的边界框；和

d)计算所有分量的最上面行上的平均值和标准差，且如果分量的最上面行的值小于平均值和标准差之和的值，则接着删除该分量。

6.如权利要求1所述的方法，其特征在于，通过用处理器实现的以下步骤来计算信噪比(SNR)：

a)为每个分量确定外边界；

b)为斑点计算矩心；

c)计算从斑点的矩心到形状轮廓的距离；

d)计算在形状轮廓上的所计算的距离的N点DFT；

e)搜索频率成分的幅度的局部最大值，且如果周期地出现一个或多个局部最大值，则接着计算该周期；

f)计算所计算的距离的N点DFT的复制版本；

g)计算在形状轮廓上的所计算的距离的N点IDFT；

h)计算误差信号；和

i)最后从误差信号计算每个分量的信噪比(SNR)。

7.如权利要求1所述的方法，其特征在于，通过用处理器实现的以下步骤来完成对行人的分类：

a)为每个ROI找出外边界；

b)为斑点计算矩心；

c)将边界表示为复坐标函数，其中，这种转变使形状的表示对平移来说是不变的；

d)对物体和模型的形状边界进行采样以使其具有相同数量的数据点；

e)将物体和模型的形状边界的数据值进行比较；和

f)基于上述比较对行人进行分类。

8.一种通过使用近红外(IR)照相机对车辆前方的行人进行检测、分类和追踪的有成本效益的系统，所述系统包括：

a)设置在车辆上的近IR照相机，用于捕捉图像；和

b)处理器，用于实时分析所捕捉的图像，以对车辆前方的行人进行检测、分类和追踪。

9.如权利要求8所述的系统，其特征在于，还包括警报装置，用于通过使用行人的追踪数据来警告驾驶员以防止碰撞。

Images