CN102096803A - 基于机器视觉的行人安全状态识别系统 - Google Patents

Abstract

本发明公开了基于机器视觉的行人安全状态识别方法，旨在克服现有技术存在无法根据行人的安全状态制定相应的车辆驾驶行为智能控制决策的问题。该方法包括如下步骤：车载动态视频图像的采集；车辆前方感兴趣区域行人检测与识别；运动行人跟踪；车辆前方行人距离检测计算；车辆实时速度获取；行人安全状态识别。其中：行人安全状态识别包括如下步骤：临界冲突区域构建；相对运动过程中行人位于冲突区域外安全状态判别；相对运动过程中行人位于冲突区域内安全状态判别。根据上述的步骤利用视觉传感器获取的机动车与行人的相对速度以及相对位置，预测出行人是否会进入危险区域，并采取相应的策略避免发生事故。辅助驾驶员采取措施避免与行人发生碰撞。

Description

基于机器视觉的行人安全状态识别系统

技术领域

本发明涉及一种利用车载图像处理装置检测车辆前方行人并进行安全状态识别的方法，更具体地说，本发明涉及一种基于机器视觉的行人安全状态识别方法。

背景技术

混合交通是我国交通的重要特征，道路上机动车、自行车、行人冲突严重，处于弱势地位的行人安全隐患相对较大。据公安部交通管理部门统计，2000年后我国交通死亡人数平均每年逾10万，受伤人数约50万，其中60％以上为行人和骑自行车者。因此，开发行人安全保护系统对于减少交通事故，保障交通安全具有重要的意义。目前的行人安全保护机制包括汽车的被动安全和主动安全机制。被动安全机制主要包括行人安全气囊系统等，它是在行人与车辆碰撞不可避免时，启动车辆前方的行人安全气囊，降低行人与车辆碰撞的伤害程度。汽车被动安全技术虽然在一定程度上降低了行人的受伤害程度，但不能从根本上避免行人和车辆碰撞事故。而车辆智能主动安全保障系统等主动安全技术，是利用安装在车辆上的传感器检测并识别车辆前方的行人，当出现潜在冲突时，进行自动报警，避免车辆与行人相撞，从根本上保证行人安全。国内外学者对基于视觉的行人检测与识别技术进行了大量研究，尽管取得了一些成果，但离应用于实际的行人安全预警要求尚有较大差距，主要体现在：绝大多数仍停留在行人检测与识别方法方面，缺少进一步对行人安全状态判别的研究，无法根据行人的安全状态制定相应的车辆驾驶行为智能控制决策；在车辆、行人发生冲突时，行人主观行为是判定行人安全状态不容忽视的一项信息。现有方法没有对潜在冲突下行人交通行为的表达与分析进行研究，缺乏行人行为模式的判别与预测。因此行人安全状态识别技术有待进一步深入研究。

发明内容

本发明所要解决的技术问题是现有技术无法根据行人的安全状态制定相应的车辆驾驶行为智能控制决策的问题，提供了一种基于机器视觉的行人安全状态识别方法。

为解决上述技术问题，本发明是采用如下技术方案实现的：所述的种基于机器视觉的行人安全状态识别方法包括如下步骤：

1.车载动态视频图像的采集

安装在车辆前端的摄像机实时采集车辆前方的行人图像，并将行人图像实时传输给安装有图像处理系统的计算机；

2.车辆前方感兴趣区域行人检测与识别；

3.运动行人跟踪；

4.车辆前方行人距离检测计算；

5.车辆实时速度获取

利用轮速传感器获取的非驱动轮速乘以车轮滚动半径计算得到车辆运动速度；

6.行人安全状态识别。

技术方案中所述的车辆前方感兴趣区域行人检测与识别包括如下步骤：

1.图像像素梯度方向计算

对于图像中的任意点(x，y)的采用水平梯度算子[-1，0，1]计算水平方向梯度值G_h(x，y)和垂直梯度算子[-1，0，1]^T计算垂直方向梯度值G_v(x，y)：

G_h(x，y)＝f(x+1，y)-f(x-1，y)；G_v(x，y)＝f(x，y+1)-f(x，y-1)

由此可得点(x，y)的梯度强度M(x，y)和梯度方向θ(x，y)分别为：

$M(x,y)=\sqrt{G_v{(x,y)}^2+G_h{(x,y)}^2};$ $\mathrm{\θ}(x,y)=\arctan \left(\frac{G_h(x,y)}{G_v(x,y)}\right)$

2.统计图像梯度方向直方图(Histogram of Oriented Gradients，HOG)

首先计算图像中每个单元和每个块内各个方向的梯度值分布，然后将梯度方向定在0°到180°上分为9段，统计其梯度方向直方图，采用的单元大小为8*8的像素区域，每个块包含2*2个单元，并且一个块的扫描区域移动步长为一个单元的大小，具体的HOG特征提取如下：

1)统计一个单元上的梯度直方图，即按照梯度值在梯度方向上的投影值累积画出；

2)统计一个块上的梯度直方图，将单元上的梯度直方图串联起来；

3)使用二范数归一化每个块的梯度直方图，以此来消除光照的过大影响；

4)统计一个行人检测样本的HOG特征，即将一个检测样本上的所有块直方图串联起来。

3.行人样本与非行人样本的训练

计算每个行人和非行人检测样本的HOG特征，采用SVM分类器将行人和非行人两类样本特征向量映射到一个高维的空间里，并构建一区分两类样本的最优分类器。

4.感兴趣区域设定及行人的检测与识别

由于只检测识别道路前方的行人，对所拍摄图像只针对行人可能出现的区域做处理，采用多尺度变换方法对图像不同尺寸大小的区域进行扫描，对每一个单元按比例缩放后统计此区域内的梯度方向直方图，利用SVM分类器判断每一个区域HOG特征是否为可以匹配为行人样本HOG特征。

技术方案中所述的运动行人跟踪包括如下步骤：

1.特征表达

令M*N为分割的二值图像，任意一个前景目标R中像素点的f(i，j)均为1，则R的重心C坐标(x_c，y_c)可定义为：

$x_c=\frac{m_{10}}{m_{00}}=\frac{{\mathrm{\Σ}}_1^n{x}_i}{n},$ $y_c=\frac{m_{01}}{m_{00}}=\frac{{\mathrm{\Σ}}_1^n{y}_i}{n}$

式中：n为R内像素点个数，采用目标的重心点表征目标本身实现图像坐标系下的运动跟踪，利用目标的面积、周长构成紧密度特征，对其形状特性加以约束，R的紧密度S定义为：

$S=\frac{A}{L^2}$

式中：A为R的面积，即R内像素点个数n，L为R的周长，即R区域的边界点；利用运动目标的重心、速度、速度变化度、紧密度及紧密度变化对目标的状态进行描述，目标k时刻的状态特征向量可表达为：

X_k＝(C_k，V_k，▽V_k，S_k，▽S_k)；

在目标稳定出现于检测区域之后，利用前两个观测时刻的重心位置确定目标的速度，即：V_x，k＝x_c，k-x_c，k-1，V_y，k＝y_c，k-y_c，k-1。

其中，V_x，k，V_y，k分别为x，y方向的初始速度。

2.状态估计

找到使匹配距离最小的目标即为被跟踪的目标，受跟踪目标状态估计方程为：

$x_{c,t}^L=x_{c,t-1}^L+V_{x,t}^L\×\mathrm{\Δt}+\mathrm{\ω}$

$y_{c,t}^L=y_{c,t-1}^L+V_{y,t}^L\×\mathrm{\Δt}+\mathrm{\ω}$

$S_t^L=S_{t-1}^L+\▿S_{t-1}^L+\mathrm{\ξ}$

式中：Δt为相邻观测时间间隔，

为第L个已跟踪目标第t时刻重心坐标估计值，

为第L个已跟踪目标第t-1时刻重心坐标，

为t-1时刻匹配建立后对下一时刻的x、y方向预测速度，

为已跟踪目标第t时刻的紧密度估计值，为已跟踪目标第t-1时刻的紧密度，

为第t-1观测时刻对下一时刻预测的紧密度变化值，ω，ξ为估计误差。

3.特征匹配与更新

对于匹配成功的目标，计算估计值与观测值的匹配误差，在t时刻对目标的速度变化度以及紧密度变化

进行更新：

$\▿V_{x,t}^L=\▿V_{x,t-1}^L+\mathrm{\α}(V_{x,t}^i-V_{x,t}^L)$

$\▿V_{y,t}^L=\▿V_{y,t-1}^L+\mathrm{\α}(V_{y,t}^i-V_{y.t}^L)$

$\▿S_t^L=\▿S_{t-1}^L+\mathrm{\β}(S_t^i-S_t^L)$

式中：为当前观测时刻与已跟踪目标匹配成功的物体的x、y方向速度变化值，

为当前观测的物体速度，为上一时刻对当前时刻的预测速度，

为当前观测时刻与已跟踪目标匹配成功的物体的紧密度，α、β分别为0到1的常数；同时对下一时刻的速度进行更新如下：

$V_{x,t+1}^L=V_{x,t}^i+\▿V_{x,t}^L$

$V_{y,t+1}^L=V_{y,t-1}^L+\▿V_{y,t}^L$

由此便可以在连续的时间序列上通过迭代算法实现连续跟踪。

4.遮挡处理

采用GM(1，1)灰色模型实现遮挡条件下的目标状态特征预测，GM(1，1)模型定义如下：

设有n个原始观测值：U₀＝[u₀(1)，u₀(2)，u₀(3)…，u₀(n)]，通过累加可生成新序列U₁＝[u₁(1)，u₁(2)，u₁(3)…，u₁(n)]，其中，GM(1，1)模型相应的微分方程：

$\frac{d{U}_1}{\mathrm{dt}}+a{U}_1=b$

设

为待估参数序列，利用最小二乘法可得：

$\hat{a}={\left(B^{T}B\right)}^{-1}{B}^{T}U$

其中：

在得到估计参数之后，求微分方程，即可得到下列预测模型：

${\hat{u}}_0(k+1)=[\mathrm{\β}-\mathrm{\α}{u}_0\left(1\right)]e^{-a(k-1)}$

式中，

如果当前第K个观测时刻物体未发生匹配，则认为其发生遮挡。

技术方案中所述的车辆前方行人距离检测计算包括如下步骤：

1.假定世界坐标系原点位于地平面上且位于摄像机坐标系原点的正下方；用三脚架将摄像机固定于车辆前挡风玻璃处，量测摄像机光心离地高度为α米，有如下关系：

其中，O_c-X_cY_cZ_c称为摄像机坐标系。O_w-X_wY_wZ_w称为世界坐标系。

2.求得摄像机内部参数

对车辆前方进行标定点的布设，由摄像机光心点为起点，取摄像机正前方的一条直线和与其成任意角度的另一条直线，并对这两条相交直线上的特征点进行标定所得结果即为标定结果。

由于选取标定点的实际距离为已知，利用图像处理获取标定点的图像帧坐标(u，v)。由此求得摄像机内部参数：

$Z_C\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{cccc}{a}_x& 0& u_0& 0\\ 0& a_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& T\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]=\left[\begin{array}{cccc}{a}_x& 0& u_0& 0\\ 0& a_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& \mathrm{\α}\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$

$Z_C\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{cccc}{a}_x& 0& u_0& 0\\ 0& a_y& v_0& \mathrm{\α}{a}_y\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$

根据上述公式利用最小二乘法确定摄像机内部参数a_y，v₀值：

a_y(Y_W+α)+v₀Z_W＝Z_Cv

$S(a_y,v_0)=\underset{i=1}{\overset{8}{\mathrm{\Σ}}}{[a_y(y_{\mathrm{Wi}}+\mathrm{\α})+v_0{Z}_{\mathrm{Wi}}-Z_{\mathrm{Wi}}{v}_i]}^2$

可转化为求最小值问题：

$\frac{\∂S}{\∂a_y}=0$ $\frac{\∂S}{\∂v_0}=0$

3.依据公式：

计算摄像机前方行人距摄像机的距离，以行人足部中心投影为实际检测点。

技术方案中所述的行人安全状态识别包括如下步骤：

1.临界冲突区域构建。

2.相对运动过程中行人位于冲突区域外安全状态判别

1)行人的运动轨迹不能进入冲突区域则行人处于安全状态。

2)如果行人的运动轨迹进入冲突区域时，与机动车的距离小于安全距离，则行人处于危险状态。

3)如果行人的运动轨迹进入冲突区域时，与机动车的距离大于安全距离，则行人处于安全状态。

3.相对运动过程中行人位于冲突区域内安全状态判别处理

在实际交通中，考虑到车身有一定的宽度且制动以及反应需要一定时间，同时考虑到行人与机动车相对位置的不同，需要分别进行判断处理：

1)对行人已经处在冲突区域，若行人离开冲突区域而未进入危险区域，则不需要采取制动措施。

2)若行人进入危险区域，则需要采取紧急制动或采取其他措施避免发生事故发生。

3)若行人仍将留在冲突区域中，则需要根据行人与机动车的相对位置进行分类处理：

行人p₁虽然在冲突区域中，但由于有足够的距离，机动车不需要采取措施；行人p₂在缓冲区域中，机动车应该采取相应措施避免其进入危险区域，由此可得式

式中：y为坐标系内纵坐标值；d为安全距离；d′为缓冲距离。

技术方案中所述的临界冲突区域构建包括如下步骤：

1.以机动车为参考基准，建立相对坐标系y′-x′，则机动车相对静止，行人以相对速度

运动；

2.当行人的相对速度方向

变化时，机动车所需的安全距离也随之变化，从安全角度出发，行人与机动车相对位置关系确定的情况下，机动车的临界冲突区域半径应该满足行人速度方向任意变化的安全需要，那么为了确定临界冲突区域半径，就需要寻找最大安全距离，并将其定义为临界冲突区域半径，在抽象为质点的情况下，只有当行人与机动车的相对速度

与y轴负方向的夹角与

相同时，两者才会产生冲突，此时：

其中v_x和v_y是相对速度

在x和y方向上的分量，

为行人和机动车连线与y轴正方向的夹角。

与现有技术相比本发明的有益效果是：

1.本发明所述的基于机器视觉的行人安全状态识别方法可为智能车辆自动驾驶、自主导航提供技术手段，同时是保障道路行人安全的必要措施；

2.本发明所述的基于机器视觉的行人安全状态识别方法对于汽车生产厂商来说，能够增添产品的科技含量，提升品牌的市场竞争力，蕴涵着十分可观的市场价值。

附图说明

下面结合附图对本发明作进一步的说明：

图1是本发明所述的基于机器视觉的行人安全状态识别方法的流程框图；

图2是本发明所述的基于机器视觉的行人安全状态识别方法采用空间梯度直方图(HOG)作为特征的行人检测方法并设定图像的感兴趣区域(ROI)的行人检测的流程框图；

图3是表示采用本发明所述的基于机器视觉的行人安全状态识别方法时基于SVM分类器的行人识别流程框图；

图4-a是表示采用本发明所述的基于机器视觉的行人安全状态识别方法时基于SVM分类器所得到的车辆前方行人实时检测的效果图；

图4-b是表示采用本发明所述的基于机器视觉的行人安全状态识别方法时基于SVM分类器所得到的车辆前方行人实时检测的效果图；

图5是表示采用本发明所述的基于机器视觉的行人安全状态识别方法时行人相对位置对冲突区域的影响示意图；

图6是表示采用本发明所述的基于机器视觉的行人安全状态识别方法时行人运动方向对临界冲突区域影响的分析图；

图7是表示采用本发明所述的基于机器视觉的行人安全状态识别方法时行人的相对运动中临界冲突区域分析图；

图8是表示采用本发明所述的基于机器视觉的行人安全状态识别方法时行人位于冲突区域外安全状态判别的分析图；

图9是表示采用本发明所述的基于机器视觉的行人安全状态识别方法时行人位于冲突区域内安全状态判别的分析图；

图10是表示采用本发明所述的基于机器视觉的行人安全状态识别方法时行人不离开冲突区域内的行人安全状态判别的分析图。

具体实施方式

下面结合附图对本发明作详细的描述：

参阅图1，本发明所述的基于机器视觉的行人安全状态识别方法是利用车载动态图像处理技术，研究行人的自动检测与识别技术；根据获取的行人运动信息，利用知识表达与推理、语义分析、模式识别等方法，建立行人的运动行为表达与行为辨识模型；结合混合交通冲突理论方法体系，构建车辆、行人冲突预测模型，开发适于车载的混合交通行人安全识别技术，避免汽车与行人发生碰撞事故。所述的基于机器视觉的行人安全状态识别方法的具体步骤如下：

一.车载动态视频图像的采集

安装在车辆前端的摄像机实时采集车辆前方的行人图像，并将行人图像实时传输给安装有图像处理系统的计算机。

二.车辆前方感兴趣区域内行人检测与识别

参阅图2，为了快速准确地对行人进行检测，采用空间梯度直方图(HOG)作为特征的行人检测方法，并且设定感兴趣区域(ROI)，只针对设定好的感兴趣区域进行检测，能更有效的、准确、快速的识别车辆前方的行人。HOG特征是针对特征区域的形状进行梯度统计的，由每个区域的特征梯度集合来反映图像自身的方向特征属性。通过行人与非行人的样本训练来提取行人与非行人的HOG特征，并用SVM分类器从目标图像中筛选所需要的行人HOG特征，从而检测图像中的行人。本发明采用空间梯度直方图(HOG)作为特征的并在图像的感兴趣区域(ROI)内行人检测的步骤如下：

1.图像像素梯度方向计算

对于图像中的任意点(x，y)的采用水平梯度算子[-1，0，1]计算水平方向梯度值G_h(x，y)和垂直梯度算子[-1，0，1]^T计算垂直方向梯度值G_v(x，y)：

G_h(x，y)＝f(x+1，y)-f(x-1，y)；G_v(x，y)＝f(x，y+1)-f(x，y-1)    (1)

由此可得点(x，y)的梯度强度M(x，y)和梯度方向θ(x，y)分别为：

$M(x,y)=\sqrt{G_v{(x,y)}^2+G_h{(x,y)}^2};$ $\mathrm{\θ}(x,y)=\arctan \left(\frac{G_h(x,y)}{G_v(x,y)}\right)---\left(2\right)$

2.统计图像梯度方向直方图

首先计算图像中每个单元和每个块内各个方向的梯度值分布，然后将梯度方向定在0°到180°上分为9段，统计其梯度方向直方图。本发明在算法中采用的单元大小为8*8的像素区域，每个块包含2*2个单元，并且一个块的扫描区域移动步长为一个单元的大小。具体的HOG特征提取为如下过程：

1)统计一个单元上的梯度直方图，即按照梯度值在梯度方向上的投影值累积画出；

2)统计一个块上的梯度直方图，将单元上的梯度直方图串联起来；

3)使用二范数归一化每个块的梯度直方图，以此来消除光照的过大影响；

4)统计一个行人检测样本的HOG特征，即将一个检测样本上的所有块直方图串联起来。

3.行人样本与非行人样本的训练

参阅图3，计算每个行人和非行人检测样本的HOG特征，采用SVM分类器将行人和非行人两类样本特征向量映射到一个高维的空间里，并构建一区分两类样本的最优分类器。在初始训练过程中，对于那些与行人样本十分相似的非行人样本，一次SVM分类很难完全区分开来，容易误判，因此本发明对结果进行再次训练，得到非行人的困难样本集，这样可以提高检测率。行人检测识别流程如图中所示。

4.感兴趣区域设定及行人的检测与识别

参阅图4，由于本发明所述的基于机器视觉的行人安全状态识别方法只检测识别道路前方的行人，而现实图像中的行人可能出现的区域并非整幅图像，因此本发明所述的基于机器视觉的行人安全状态识别方法将对所拍摄图像只针对行人可能出现的区域做处理。同时本发明所述的基于机器视觉的行人安全状态识别方法采用多尺度变换方法对图像不同尺寸大小的区域进行扫描，对每一个单元(CELL)按比例缩放后统计此区域内的梯度方向直方图，其HOG特征数与所需要的对应样本尺寸大小为64*128的HOG特征数相同，利用SVM分类器判断每一个区域HOG特征是否为可以匹配为行人样本HOG特征，以此来检测图像中的行人，部分检测效果如图4所示。

二.运动行人跟踪。

本发明基于Kalman滤波思想对运动行人的前帧状态信息进行预测，获取重心位置与形态紧密度估计值；然后将估计值与当前帧观测值进行匹配，根据匹配误差修正运动行人的速度与紧密度变化值，通过递归算法实现常态下运动目标准确、快速的跟踪。针对复杂场景下由于运动遮挡造成无法准确估计目标行人轨迹的不足，采用适用于复杂系统非线性状态预测的灰色模型GM(1，1)，保证了跟踪过程的连续、稳定。具体步骤如下：

1.特征表达

令M*N为分割的二值图像，任意一个前景目标R中像素点的f(i，j)均为1，则R的重心C坐标(x_c，y_c)可定义为：

$x_c=\frac{m_{10}}{m_{00}}=\frac{{\mathrm{\Σ}}_1^n{x}_i}{n},$ $y_c=\frac{m_{01}}{m_{00}}=\frac{{\mathrm{\Σ}}_1^n{y}_i}{n}---\left(3\right)$

式中：n为R内像素点个数，采用目标的重心点表征目标本身实现图像坐标系下的运动跟踪，利用目标的面积、周长构成紧密度特征，对其形状特性加以约束。R的紧密度S定义为：

$S=\frac{A}{L^2}---\left(4\right)$

式中：A为R的面积，即R内像素点个数n，L为R的周长，即R区域的边界点；利用运动目标的重心、速度、速度变化度、紧密度及紧密度变化对目标的状态进行描述，目标k时刻的状态特征向量可表达为：

X_k＝(C_k，V_k，▽V_k，S_k，▽S_k)        (5)

在目标稳定出现于检测区域之后，利用前两个观测时刻的重心位置确定目标的速度，即：V_x，k＝x_c，k-x_c，k-1，V_y，k＝y_c，k-y_c，k-1。

其中，V_x，k，V_y，k分别为x，y方向的初始速度。

2.状态估计

找到使匹配距离最小的目标即为被跟踪的目标，受跟踪目标状态估计方程为：

$x_{c,t}^L=x_{c,t-1}^L+V_{x,t-1}^L\×\mathrm{\Δt}+\mathrm{\ω}---\left(6\right)$

$y_{c,t}^L=y_{c,t-1}^L+V_{y,t-1}^L\×\mathrm{\Δt}+\mathrm{\ω}---\left(7\right)$

$S_t^L=S_{t-1}^L+\▿S_{t-1}^L+\mathrm{\ξ}---\left(8\right)$

式中：Δt为相邻观测时间间隔，

为第L个已跟踪目标第t时刻重心坐标估计值，

为第L个已跟踪目标第t-1时刻重心坐标，

为t-1时刻匹配建立后对下一时刻的x、y方向预测速度，为已跟踪目标第t时刻的紧密度估计值，

为已跟踪目标第t-1时刻的紧密度，

为第t-1观测时刻对下一时刻预测的紧密度变化值，ω，ξ为估计误差。

3.特征匹配与更新

对于匹配成功的目标，计算估计值与观测值的匹配误差，在t时刻对目标的速度变化度以及紧密度变化

进行更新：

$\▿V_{x,t}^L=\▿V_{x,t-1}^L+\mathrm{\α}(V_{x,t}^i-V_{x,t}^L)---\left(9\right)$

$\▿V_{y,t}^L=\▿V_{y,t-1}^L+\mathrm{\α}(V_{y,t}^i-V_{y,t}^L)---\left(10\right)$

$\▿S_t^L=\▿S_{t-1}^L+\mathrm{\β}(S_t^i-S_t^L)---\left(11\right)$

式中：

为当前观测时刻与已跟踪目标匹配成功的物体的x、y方向速度变化值，

为当前观测的物体速度，

为上一时刻对当前时刻的预测速度，

为当前观测时刻与已跟踪目标匹配成功的物体的紧密度，α、β分别为0到1的常数；同时对下一时刻的速度进行更新如下：

$V_{x,t+1}^L=V_{x,t}^i+\▿V_{x,t}^L---\left(12\right)$

$V_{y,t+1}^L=V_{y,t-1}^L+\▿V_{y,t}^L---\left(13\right)$

由此便可以在连续的时间序列上通过迭代算法实现连续跟踪。

4.遮挡处理

在复杂的交通环境下，物体在运动过程中可能会发生遮挡现象，这会降低特征匹配的精确性甚至导致匹配失败。因此，有必要对遮挡情况下的跟踪进行特殊处理以提高算法的鲁棒性。本发明的遮挡处理包括暂时性遮挡处理和运动目标进出检测区域处理两部分。

通常情况下，运动物体在检测区内部不可能突然消失和出现，若物体在此时刻没有搜索到与之匹配的对象，则很有可能发生遮挡。在非遮挡情况下我们采用基于最优线性估计思想的kalman滤波对运动目标的状态特征进行各个时刻预测，由于预测间隔较短，近似的认为物体作线性运动，对每个时刻的状态特征做近似的线性估计，以实现目标的快速匹配。但由于运动目标运动行为的复杂性与随机性，运动规律是很难准确描述的，一个时间段内的运动不能简单近似的用直线运动来表示。如果仍旧采用基于kalman滤波的思想在遮挡情况下逐时刻预测运动目标特征，得到的线性运动往往与实际运动情况不符，极有可能在经历遮挡时段后导致目标的重新匹配失败。因此，针对运动跟踪过程中的暂时性遮挡时段，本发明采用GM(1，1)灰色模型实现遮挡条件下的目标状态特征预测。

GM(1，1)模型定义如下：

设有n个原始观测值：U₀＝[u₀(1)，u₀(2)，u₀(3)…，u₀(n)]，通过累加可生成新序列U₁＝[u₁(1)，u₁(2)，u₁(3)…，u₁(n)]，其中，

GM(1，1)模型相应的微分方程：

$\frac{d{U}_1}{\mathrm{dt}}+a{U}_1=b---\left(14\right)$

设为待估参数序列，利用最小二乘法可得：

$\hat{a}={\left(B^{T}B\right)}^{-1}{B}^{T}U---\left(15\right)$

其中：

在得到估计参数之后，求微分方程，即可得到下列预测模型：

${\hat{u}}_0(k+1)=[\mathrm{\β}-\mathrm{\α}{u}_0\left(1\right)]e^{-a(k-1)}---\left(16\right)$

式中，

如果当前第K个观测时刻物体未发生匹配，则认为其可能发生遮挡。这时将未匹配物体暂时保留，并对该物体进行标号处理，建立遮挡临时链表，将该物体的历史状态信息加入遮挡临时链表，同时根据GM(1，1)灰色模型更新目标状态，对遮挡过程的运动状态进行预测。依照上述推导模型，本发明应用运动目标的遮挡发生前的m个历史状态数据建立GM(1，1)模型，对遮挡条件下的目标进行下一观测时刻预测，当获取新的状态后，舍弃最前面的数据，利用最近的m个数据更新模型，从而进行新一时刻的预测。如果在T个观测时刻内，物体重新匹配成功，便认为该物体发生暂时性遮挡，将其再次加入跟踪目标链表；若连续T个观测时刻内仍未匹配，则确定该物体消失，将该物体遮挡临时链表删除。

由于本发明在目标检测过程中设置了感兴趣区域，因此跟踪算法针对该区域进行。当运动目标进入或离开检测区域时，由于位于检测区域的边界，会造成目标真实状态信息的缺失，导致相邻观测时刻内的特征不稳定。因此在这种情况下需要进行特殊处理，保证运动目标的状态稳定性以实现连续跟踪。

本发明感兴趣检测区域为矩形区域，跟踪算法仅针对该区域内运动目标进行。判别新进入物体重心C与有效检测区域四条边界的距离d_i，i＝0，1，2，3，当d_i＜D，i＝0，1，2，3(D为边界阈值)，且连续n个观测时刻均成功匹配，则确定该物体进入检测区域，将该物体加入跟踪目标链表并进行初始化操作。

同理，当受跟踪物体处于跟踪目标链表时，而d_i＜D，i＝0，1，2，3，并且在接下来连续n个观测时刻内均匹配失败，则确定该目标离开有效检测区域，将其在跟踪目标链表中删除。

本发明跟踪算法具有较好的适应性、鲁棒性，可实现复杂遮挡情况下连续、稳定、实时的目标运动跟踪。通过运动跟踪能够获取行人的运动轨迹，并可对其未来运动方向及速度进行有效预测。

三.车辆前方行人距离计算

利用摄像机成像的几何原理结合世界坐标系、摄像机坐标系、像平面物理坐标系、计算机帧存坐标系之间的转换关系，实现由已知摄像机内部参数及特征点像素坐标的情况下测算特征点距摄像机的车辆前方行人距离。

假定世界坐标系原点位于地平面上且位于摄像机坐标系原点的正下方；用三脚架将摄像机固定于车辆前挡风玻璃处，量测摄像机光心离地高度为α米。

有如下关系：

其中，O_c-X_cY_cZ_c称为摄像机坐标系。O_w-X_wY_wZ_w称为世界坐标系。

对车辆前方进行标定点的布设。布设规则：由摄像机光心点为起点，取摄像机正前方的一条直线和与其成任意角度的另一条直线，并对这两条相交直线上的特征点(提前人工选取并记录与摄像机的距离，可选直线上一系列位置)进行标定所得结果即为标定结果。

由于选取标定点的实际距离为已知，利用图像处理获取标定点的图像帧坐标(u，v)。由此可求得摄像机内部参数：

$Z_C\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{cccc}{a}_x& 0& u_0& 0\\ 0& a_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& T\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]=\left[\begin{array}{cccc}{a}_x& 0& u_0& 0\\ 0& a_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& \mathrm{\α}\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]---\left(17\right)$

$Z_C\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{cccc}{a}_x& 0& u_0& 0\\ 0& a_y& v_0& \mathrm{\α}{a}_y\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]---\left(18\right)$

根据上述公式利用最小二乘法确定摄像机内部参数a_y，v₀值：

a_y(Y_W+α)+v₀Z_W＝Z_Cv        (19)

$S(a_y,v_0)=\underset{i=1}{\overset{8}{\mathrm{\Σ}}}{[a_y(y_{\mathrm{Wi}}+\mathrm{\α})+v_0{Z}_{\mathrm{Wi}}-Z_{\mathrm{Wi}}{v}_i]}^2---\left(20\right)$

可转化为求最小值问题：

$\frac{\∂S}{\∂a_y}=0$ $\frac{\∂S}{\∂v_0}=0---\left(21\right)$

通过求取的摄像机内部参数，依据公式：

可计算摄像机前方行人距摄像机的距离，以行人足部中心投影为实际检测点。

四.车辆实时速度获取

获取行人的安全状态除了行人的运动信息以外，还需要车辆本身的运动信息。由于车辆速度传感器价格相对昂贵，我们这里采用车辆防抱死制动系统(ABS，Anti-lock Braking System)的轮速传感器实现车辆实时速度的估计。该方法能够较好的应用于实际工程中，利用轮速传感器获取的非驱动轮速乘以车轮滚动半径计算得到车辆运动速度。该方法实现简单，实时性强，所使用的信号可以从车辆自身ABS的轮速传感器中直接获得，因而无需附加其他传感设备，成本较低。

五.行人安全状态识别

1.构建机动车-行人冲突区域

在实现行人运动跟踪和状态预测的基础上，需要对行人安全区域进行判别与计算，从而实现安全状态识别。本部分内容首先利用冲突理论对行人与机动车的冲突区域进行了判别，在考虑相对速度和制动距离的基础上计算出行人安全区域。

参阅图5，考虑行人属于慢行交通，与机动车的交通冲突特性相似，将机动车和行人抽象为质点，以机动车的运动方向为y轴正向建立直角坐标系。机动车沿y轴正方向做直线运动，当行人在图中所示任意位置向车辆运动时，设机动车和行人的速度分别为v₁、v₂。

参阅图6，由于行人在某固定位置沿不同方向运动时，机动车所需的安全距离也不同。根据车辆实际运行特点，行人运动方向沿图中箭头所示，以机动车为圆心径向运动时，机动车所需安全距离最大，阴影外的部分都可能产生冲突。

参阅图7，由于在绝对坐标系中分别考虑两者的速度与角度，使得计算过程复杂，因此在研究中采用相对坐标系来进行分析。以机动车为参考基准，建立相对坐标系y′-x′，则机动车相对静止，行人以相对速度

运动。这样就将两者的关系统一起来，当行人的相对速度方向

变化时，机动车所需的安全距离也随之变化。从安全角度出发，行人与机动车相对位置关系确定的情况下，机动车的临界冲突区域半径应该满足行人速度方向任意变化的安全需要，那么为了确定临界冲突区域半径，就需要寻找最大安全距离，并将其定义为临界冲突区域半径。在抽象为质点的情况下，只有当行人与机动车的相对速度

与y轴负方向的夹角与

相同时，

为行人和机动车连线与y轴正方向的夹角；两者才会产生冲突。此时：

其中v_x和v_y是相对速度

在x和y方向上的分量。

2.相对运动冲突区域外安全状态判别

参阅图8，但是在实际交通中，由于车身有一定的宽度且制动以及反应需要一定时间，因此在计算危险区域时，应该对这些问题加以考虑，同时考虑到行人与机动车相对位置的不同，需要分别进行讨论。当行人在冲突区域外时，图中虚线框是冲突区域，而阴影部分是驾驶员反应和机动车制动所需要的时间内经过的区域，该区域与机动车车头的距离即为安全距离d，通过计算可得：

v₁是当前机动车的速度，a是机动车的制动系数，t是驾驶员制动的反应时间。而区域外行人沿着相对速度的方向运动，其相对运动轨迹如图中箭头所示。如果行人的运动轨迹不能进入冲突区域则行人处于安全状态；如果行人的运动轨迹进入冲突区域时，与机动车的距离小于安全距离，则该行人处于危险状态；如果行人的运动轨迹进入冲突区域时，与机动车的距离大于安全距离，则该行人处于安全状态。因此，根据上述原理，考虑机动车影响宽度为l，安全距离为d，可以得到：

3.相对运动冲突区域内安全状态判别

参阅图9，同理对行人已经处在冲突区域的情况也做了相应的研究设计。此时，若行人离开冲突区域而未进入危险区域，则不需要采取制动措施，否则需要采取紧急制动或采取其他措施避免发生事故发生，具体计算如下：

根据公式(23)可知，若判断行人仍将留在冲突区域中，即

时，则需要根据行人与机动车的相对位置进行分类处理。同时考虑到提前预警等机制，因此需要增加一段缓冲距离d′，提醒驾驶员采取措施，参阅图10。图中，行人p₁虽然在冲突区域中，但由于有足够的距离，机动车不需要采取措施；行人p₂在缓冲区域中，机动车应该采取相应措施避免其进入危险区域，由此可得式(24)。

根据式(22)、式(23)、式(24)，就可以利用当前视觉传感器获取的机动车与行人的相对速度以及相对位置，预测出行人是否会进入危险区域，并采取相应的策略避免发生事故。

Claims (6)

1.一种基于机器视觉的行人安全状态识别方法，其特征在于，所述的基于机器视觉的行人安全状态识别方法包括如下步骤：

1)车载动态视频图像的采集

安装在车辆前端的摄像机实时采集车辆前方的行人图像，并将行人图像实时传输给安装有图像处理系统的计算机；

2)车辆前方感兴趣区域行人检测与识别；

3)运动行人跟踪；

4)车辆前方行人距离检测计算；

5)车辆实时速度获取

利用轮速传感器获取的非驱动轮速乘以车轮滚动半径计算得到车辆运动速度；

6)行人安全状态识别。

2.按照权利要求1所述的基于机器视觉的行人安全状态识别方法，其特征在于，所述的车辆前方感兴趣区域行人检测与识别包括如下步骤：

1)图像像素梯度方向计算

对于图像中的任意点(x，y)的采用水平梯度算子[-1，0，1]计算水平方向梯度值G_h(x，y)和垂直梯度算子[-1，0，1]^T计算垂直方向梯度值G_v(x，y)：

G_h(x，y)＝f(x+1，y)-f(x-1，y)；G_v(x，y)＝f(x，y+1)-f(x，y-1)

由此可得点(x，y)的梯度强度M(x，y)和梯度方向θ(x，y)分别为：

$M(x,y)=\sqrt{G_v{(x,y)}^2+G_h{(x,y)}^2};$ $\mathrm{\θ}(x,y)=\arctan \left(\frac{G_h(x,y)}{G_v(x,y)}\right)$

2)统计图像梯度方向直方图

首先计算图像中每个单元和每个块内各个方向的梯度值分布，然后将梯度方向定在0°到180°上分为9段，统计其梯度方向直方图，采用的单元大小为8*8的像素区域，每个块包含2*2个单元，并且一个块的扫描区域移动步长为一个单元的大小，具体的HOG特征提取如下：

(1)统计一个单元上的梯度直方图，即按照梯度值在梯度方向上的投影值累积画出；

(2)统计一个块上的梯度直方图，将单元上的梯度直方图串联起来；

(3)使用二范数归一化每个块的梯度直方图，以此来消除光照的过大影响；

(4)统计一个行人检测样本的HOG特征，即将一个检测样本上的所有块直方图串联起来；

3)行人样本与非行人样本的训练

计算每个行人和非行人检测样本的HOG特征，采用SVM分类器将行人和非行人两类样本特征向量映射到一个高维的空间里，并构建一区分两类样本的最优分类器；

4)感兴趣区域设定及行人的检测与识别

由于只检测识别道路前方的行人，对所拍摄图像只针对行人可能出现的区域做处理，采用多尺度变换方法对图像不同尺寸大小的区域进行扫描，对每一个单元按比例缩放后统计此区域内的梯度方向直方图，利用SVM分类器判断每一个区域HOG特征是否为可以匹配为行人样本HOG特征。

3.按照权利要求1所述的基于机器视觉的行人安全状态识别方法，其特征在于，所述的运动行人跟踪包括如下步骤：

1)特征表达

令M*N为分割的二值图像，任意一个前景目标R中像素点的f(i，j)均为1，则R的重心C坐标(x_c，y_c)可定义为：

$x_c=\frac{m_{10}}{m_{00}}=\frac{{\mathrm{\Σ}}_1^n{x}_i}{n},$ $y_c=\frac{m_{01}}{m_{00}}=\frac{{\mathrm{\Σ}}_1^n{y}_i}{n}$

式中：n为R内像素点个数，采用目标的重心点表征目标本身实现图像坐标系下的运动跟踪，利用目标的面积、周长构成紧密度特征，对其形状特性加以约束，R的紧密度S定义为：

$S=\frac{A}{L^2}$

式中：A为R的面积，即R内像素点个数n，L为R的周长，即R区域的边界点；利用运动目标的重心、速度、速度变化度、紧密度及紧密度变化对目标的状态进行描述，目标k时刻的状态特征向量可表达为：

X_k＝(C_k，V_k，▽V_k，S_k，▽S_k)；

在目标稳定出现于检测区域之后，利用前两个观测时刻的重心位置确定目标的速度，即：V_x，k＝x_c，k-x_c，k-1，V_y，k＝y_c，k-y_c，k-1。

其中，V_x，k，V_y，k分别为x，y方向的初始速度；

2)状态估计

找到使匹配距离最小的目标即为被跟踪的目标，受跟踪目标状态估计方程为：

$x_{c,t}^L=x_{c,t-1}^L+V_{x,t-1}^L\×\mathrm{\Δt}+\mathrm{\ω}$

$y_{c,t}^L=y_{c,t-1}^L+V_{y,t-1}^L\×\mathrm{\Δt}+\mathrm{\ω}$

$S_t^L=S_{t-1}^L+\▿S_{t-1}^L+\mathrm{\ξ}$

式中：Δt为相邻观测时间间隔，

为第L个已跟踪目标第t时刻重心坐标估计值，

为第L个已跟踪目标第t-1时刻重心坐标，

为t-1时刻匹配建立后对下一时刻的x、y方向预测速度，为已跟踪目标第t时刻的紧密度估计值，

为已跟踪目标第t-1时刻的紧密度，为第t-1观测时刻对下一时刻预测的紧密度变化值，ω，ξ为估计误差；

3)特征匹配与更新

对于匹配成功的目标，计算估计值与观测值的匹配误差，在t时刻对目标的速度变化度以及紧密度变化进行更新：

$\▿V_{x,t}^L=\▿V_{x,t-1}^L+\mathrm{\α}(V_{x,t}^i-V_{x,t}^L)$

$\▿V_{y,t}^L=\▿V_{y,t-1}^L+\mathrm{\α}(V_{y,t}^i-V_{y,t}^L)$

$\▿S_t^L=\▿S_{t-1}^L+\mathrm{\β}(S_t^i-S_t^L)$

式中：

为当前观测时刻与已跟踪目标匹配成功的物体的x、y方向速度变化值，

为当前观测的物体速度，

为上一时刻对当前时刻的预测速度，

为当前观测时刻与已跟踪目标匹配成功的物体的紧密度，α、β分别为0到1的常数；同时对下一时刻的速度进行更新如下：

$V_{x,t+1}^L=V_{x,t}^i+\▿V_{x,t}^L$

$V_{y,t+1}^L=V_{y,t-1}^L+\▿V_{y,t}^L$

由此便可以在连续的时间序列上通过迭代算法实现连续跟踪；

4)遮挡处理

采用GM(1，1)灰色模型实现遮挡条件下的目标状态特征预测，GM(1，1)模型定义如下：

设有n个原始观测值：U₀＝[u₀(1)，u₀(2)，u₀(3)…，u₀(n)]，通过累加可生成新序列U₁＝[u₁(1)，u₁(2)，u₁(3)…，u₁(n)]，其中，

GM(1，1)模型相应的微分方程：

$\frac{d{U}_1}{\mathrm{dt}}+a{U}_1=b$

设

为待估参数序列，利用最小二乘法可得：

$\hat{a}={\left(B^{T}B\right)}^{-1}{B}^{T}U$

其中：

在得到估计参数之后，求微分方程，即可得到下列预测模型：

${\hat{u}}_0(k+1)=[\mathrm{\β}-\mathrm{\α}{u}_0\left(1\right)]e^{-a(k-1)}$

式中，

如果当前第K个观测时刻物体未发生匹配，则认为其发生遮挡。

4.按照权利要求1所述的基于机器视觉的行人安全状态识别方法，其特征在于，所述的车辆前方行人距离检测计算包括如下步骤：

1)假定世界坐标系原点位于地平面上且位于摄像机坐标系原点的正下方；用三脚架将摄像机固定于车辆前挡风玻璃处，量测摄像机光心离地高度为α米，有如下关系：

其中，O_c-X_cY_cZ_c称为摄像机坐标系。O_w-X_wY_wZ_w称为世界坐标系；

2)求得摄像机内部参数

对车辆前方进行标定点的布设，由摄像机光心点为起点，取摄像机正前方的一条直线和与其成任意角度的另一条直线，并对这两条相交直线上的特征点进行标定所得结果即为标定结果；

由于选取标定点的实际距离为已知，利用图像处理获取标定点的图像帧坐标(u，v)。由此求得摄像机内部参数：

$Z_C\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{cccc}{a}_x& 0& u_0& 0\\ 0& a_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& T\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]=\left[\begin{array}{cccc}{a}_x& 0& u_0& 0\\ 0& a_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& \mathrm{\α}\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$

$Z_C\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{cccc}{a}_x& 0& u_0& 0\\ 0& a_y& v_0& \mathrm{\α}{a}_y\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$

根据上述公式利用最小二乘法确定摄像机内部参数a_y，v₀值：

a_y(Y_W+α)+v₀Z_W＝Z_Cv

$S(a_y,v_0)=\underset{i=1}{\overset{8}{\mathrm{\Σ}}}{[a_y(y_{\mathrm{Wi}}+\mathrm{\α})+v_0{Z}_{\mathrm{Wi}}-Z_{\mathrm{Wi}}{v}_i]}^2$

可转化为求最小值问题：

$\frac{\∂S}{\∂a_y}=0$ $\frac{\∂S}{\∂v_0}=0$

3)依据公式：

计算摄像机前方行人距摄像机的距离，以行人足部中心投影为实际检测点。

5.按照权利要求1所述的基于机器视觉的行人安全状态识别方法，其特征在于，所述的行人安全状态识别包括如下步骤：

1)临界冲突区域构建；

2)相对运动过程中行人位于冲突区域外安全状态判别；

(1)行人的运动轨迹不能进入冲突区域则行人处于安全状态；

(2)如果行人的运动轨迹进入冲突区域时，与机动车的距离小于安全距离，则行人处于危险状态；

(3)如果行人的运动轨迹进入冲突区域时，与机动车的距离大于安全距离，则行人处于安全状态；

3)相对运动过程中行人位于冲突区域内安全状态判别处理；

在实际交通中，考虑到车身有一定的宽度且制动以及反应需要一定时间，同时考虑到行人与机动车相对位置的不同，需要分别进行判断处理：

(1)对行人已经处在冲突区域，若行人离开冲突区域而未进入危险区域，则不需要采取制动措施；

(2)若行人进入危险区域，则需要采取紧急制动或采取其他措施避免发生事故发生；

(3)若行人仍将留在冲突区域中，则需要根据行人与机动车的相对位置进行分类处理：

行人p₁虽然在冲突区域中，但由于有足够的距离，机动车不需要采取措施；行人p₂在缓冲区域中，机动车应该采取相应措施避免其进入危险区域，由此可得式

式中：y为坐标系内纵坐标值；d为安全距离；d′为缓冲距离。

6.按照权利要求5所述的基于机器视觉的行人安全状态识别方法，其特征在于，所述的临界冲突区域构建包括如下步骤：

1)以机动车为参考基准，建立相对坐标系y′-x′，则机动车相对静止，行人以相对速度

运动；

2)当行人的相对速度方向

变化时，机动车所需的安全距离也随之变化，从安全角度出发，行人与机动车相对位置关系确定的情况下，机动车的临界冲突区域半径应该满足行人速度方向任意变化的安全需要，那么为了确定临界冲突区域半径，就需要寻找最大安全距离，并将其定义为临界冲突区域半径，在抽象为质点的情况下，只有当行人与机动车的相对速度

与y轴负方向的夹角与

相同时，两者才会产生冲突，此时：

其中v_x和v_y是相对速度

在x和y方向上的分量，

为行人和机动车连线与y轴正方向的夹角。

Images