CN103204104A - 一种车辆全视角驾驶监控系统及方法 - Google Patents

Abstract

本发明公开了计算机视觉技术领域中的一种车辆全视角驾驶监控系统及方法。本发明包括摄像机和计算器；首先对摄像机进行标定；然后将摄像机采集的图像发送至计算器，计算器对图像进行处理，实现对车辆驾驶的监控。本发明实现了对车辆驾驶的360°监控，通过换装夜视摄像头，可在夜晚对车辆行驶提供更高的驾驶安全性；通过计算器对摄像机采集的图像处理，实现了从全景图中的弧形到三维世界中的直线，简化了对车辆路况、障碍物的目标识别，极大地方便了驾驶员对驾驶环境的了解，能够提前检测车辆行驶路线上的障碍物，极大地提高了驾驶安全性。

Description

一种车辆全视角驾驶监控系统及方法

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种车辆全视角驾驶监控系统及方法。

背景技术

一种已知的逆透视投影变换方法在智能车道路识别中已有应用。由于车载摄像机获取的道路图像是三维空间的场景在二维空间的投影，具有强烈的透视效果。主要表现为道路标志线在图像底部较直，在灭点（透视点的消失点）附近成为比较复杂的曲线，这样的道路标志线模型与世界坐标系下具有平行结构的道路标志线模型相比显然要复杂很多。在利用计算机视觉对道路情况进行识别的过程中，需要一种逆的求解过程，即从已经得到的二维图像还原成俯视的路面图像。通过变换后可以得到道路的深度信息，更好地提供道路路面信息，更方便地提供移动机器人及智能车行驶参考信息。对于路面的各种形状的障碍物，通过逆投影变换后，更清晰地显示障碍物与车辆的相对位置信息。

但这一方法只能获得车辆前方路况、障碍物信息，对于车辆侧后方和后方的道路情况无能为力，即是说对于侧后方车辆的超车或者借道超车等情况无能为力。

发明内容

（一）要解决的技术问题

本发明要解决的技术问题是：如何提供一种车辆驾驶监控系统及方法，对车辆驾驶进行全视角监控。

（二）技术方案

为解决上述技术问题，本发明提供了一种车辆全视角驾驶监控系统，其特征是，该系统包括：

设定个摄像机，用于采集车辆的全视角图像；

与所述摄像机连接的计算器，用于对所述全视角图像进行分析，并发出报警信息。

所述摄像机位于车辆的顶部。

所述系统还包括用于对所述摄像机固定的支架。

所述计算器包括摄像机标定单元、图像处理单元、显示单元、报警单元和处理器；所述处理器分别与所述摄像机标定单元、图像处理单元、显示单元和报警单元连接。

一种车辆全视角驾驶监控方法，其特征是，所述方法包括以下步骤：

S1：对所述摄像机进行标定；

S2：将所述摄像机采集的图像发送至计算器，所述计算器对所述图像进行处理，实现对车辆驾驶的监控。

所述步骤S1具体为：

S11：对所述摄像机进行排列，使所述摄像机采集车辆的全景图；

S12：通过所述全景图在所述计算机中的图像对所述摄像机的参数进行标定。

所述步骤S2具体为：

S21：所述计算器通过所述摄像机采集的全景图确定每个所述摄像机的视场范围；

S22：确定所述视场范围内的点的视场角度；

S23：通过所述视场角度确定所述点在所述全景图中的坐标；

S24：计算所述坐标对应的灰度值，得到全景灰度图；

S25：通过所述灰度值对所述全景灰度图进行判断，得到全景图中的道路图像和非道路图像。

所述步骤S25后还包括：

S26：通过对所述全景灰度图进行图像差分，进而对障碍物进行检测。

（三）有益效果

本发明通过摄像机采集车辆的全景图，实现了对车辆驾驶的360°监控，可根据需要控制摄像机对不同距离的路况进行检测，通过换装夜视摄像头，可在夜晚对车辆行驶提供更高的驾驶安全性；通过计算器对摄像机采集的图像处理，实现了从全景图中的弧形到三维世界中的直线，简化了对车辆路况、障碍物的目标识别，极大地方便了驾驶员对驾驶环境的了解，能够提前检测车辆行驶路线上的障碍物，极大地提高了驾驶安全性。

附图说明

图1是车辆全视角驾驶监控系统的摄像机组侧视图；

图2是本发明摄像机组中第c个摄像机的坐标系示意图；

图3是本发明摄像机的俯视图；

图4是本发明摄像机的俯视放大图；

图5是摄像机组覆盖的地平面范围图；

图6是全景图和单个相机采集图像之间的坐标示意；图6(a)为柱状全景图；图6(b)为摄像机获取的图像坐标；

图7是非整数点插值示意图；

图8是摄像机内部参数标定图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明的目的在于克服已知方法只能获得摄像机前方路况、障碍物信息的不足，提供全方位的状况信息；校正全景图像的形变，进而恢复所拍摄道路本来的几何关系，即从全景图中的弧形到三维世界中的直线；还能得到图像深度信息，从而显示障碍物与车辆的相对位置信息。最终简化道路识别及障碍物检测。

本发明系统包括设定个用于采集车辆的全视角图像的摄像机，摄像机位于车辆的顶部，如图1所示；用于对所述摄像机固定的支架；与摄像机连接的计算器，用于对所述全视角图像进行分析，并发出报警信息；计算器包括对摄像机进行标定的摄像机标定单元、对摄像机采集的图像进行处理的图像处理单元、显示全景图及报警信息的显示单元、发出报警信号的报警单元和处理全视角图像及报警信息的处理器；处理器分别与摄像机标定单元、图像处理单元、显示单元和报警单元连接。摄像机可换装带有夜视功能的摄像头，能够对车辆的夜间驾驶提供更加安全的保障。

本发明方法包括以下步骤：

S1：对所述摄像机进行标定；

S11：对所述摄像机进行排列，使所述摄像机采集车辆的全景图；摄像头需要采集车辆360度的全景图像，如图3和图4所示。根据摄像机的摄像角度选定设定个摄像机，摄像机镜头的俯仰角度为：采集车辆正前方图像的摄像机的俯仰角度略小，焦距调大，以采集车辆前方较远距离的图像。当有障碍物时给司机留有足够的反应时间，具体设置需要根据车辆及行驶道路情况控制摄像机自动调整。车辆后方和侧面的摄像头的俯仰角度应大于车辆正前方图像的摄像机的俯仰角度，相应地焦距也较小。

S12：通过所述全景图在所述计算机中的图像，通过实际测量、闭合解及最大似然估计法计算参数{f_v,u₀,v₀,h}对所述摄像机的参数进行标定；摄像机初始采集的车辆视角应大于360度（即，所有摄像机采集的视角之和大于360度），根据需要对摄像机的视角范围进行调整。

S2：将所述摄像机采集的图像发送至计算器，所述计算器对所述图像进行处理，实现对车辆驾驶的监控；

S21：通过所述摄像机采集的全景图确定每个所述摄像机的视场范围；针对摄像机的采集角度对摄像机进行调整。

S22：通过车体坐标系几何关系确定所述视场范围内的点的视场角度，及其所在的摄像机成像平面和对应的摄像机旋转角度；

S23：结合车体坐标系、设定个摄像机坐标系、全景图中像素位置坐标系的几何关系，通过所述视场角度确定所述点在所述全景图中的坐标；

S24：使用插值法计算所述坐标对应的灰度值，该灰度值随摄像机采集的图像而不同；最终得到全景灰度图；

S25：通过所述灰度值对所述全景灰度图进行判断，得到全景图中的道路图像和非道路图像；使用SVM分类法对道路标志线进行识别。

S26：通过对所述全景灰度图像进行图像差分，进而对障碍物进行检测，根据发现的障碍物发出对应的报警信号。

本发明的一个实施例如下：

一、对摄像机进行标定

首先需要对摄像机进行标定，计算出必要的参数，如图8所示。已知全景相机的柱状投影模型，我们首先需要标定来计算从全景图像到地面3D点的投影。

1.闭合解

对于我们的摄像机来说，有四个参数{f_v,u₀,v₀,h}需要标定，其中，f_v为V轴（VOU为摄像机c图像坐标系，V轴属于VOU坐标系）的焦距比例因子；u₀和v₀为摄像机的主点坐标，即图像坐标系的坐标原点；h为摄像机距地面的高度。实际上，在从地面向矩形全景图的投影中，我们不需要标定H和f_r，此处f_r为摄像机的焦距，H是圆柱成像面的高。所以我们只需要标定h和f_v即可，然后标定u₀和v₀。

令r₁=|O_gA|,r₂=|CB|,h₁=|FG|=h₁₁+h₁₂,h₂=|BI|。在图5所示的ΔOO_gA中，

在ΔOGF中，

只要知道了θ₁和θ₂，就能得到视场角θ=θ₁+θ₂。因此能得到：

$H_1=\frac{\tan {\mathrm{\θ}}_1}{\tan {\mathrm{\θ}}_1+\tan {\mathrm{\θ}}_2}H,$ $H_2=\frac{\tan {\mathrm{\θ}}_2}{\tan {\mathrm{\θ}}_1+\tan {\mathrm{\θ}}_2}H.$

h=r₁tanθ₂

从摄像机组获取矩形全景图像，令p=(u_p,v_p)为矩形全景图像上的任一点，则 $\left\{\begin{array}{c}{u}_p=f_u\arctan \left(\frac{y_c}{x_c}\right)+u_0\\ v_p=-f_v\frac{z_c}{\sqrt{x_c^2+y_c^2}}+v_0\end{array}\right.,$ 然后可以得到：

$-\frac{v_p-v_0}{f_v}=\frac{z_c}{f_r}$

对于点E和D有：

$-\frac{v_{p\max }-v_0}{f_v}=\frac{z_{\mathrm{ce}}}{f_r},$ $-\frac{v_{p\min }-v_0}{f_v}=\frac{z_{\mathrm{cd}}}{f_r}$

v_pmax和v_pmin是V轴上矩形全景图的最大值和最小值，z_ce和z_cd分别是点E和点D在z_c轴上的值。于是得到：

$f_v=\frac{v_{p\max }-v_{p\min }}{z_{\mathrm{cd}}-z_{\mathrm{ce}}}{f}_r=\frac{v_{p\max }-v_{p\min }}{\tan {\mathrm{\θ}}_2-\tan {\mathrm{\θ}}_1}$

由左手定理知θ₁为负。f_u必须满足

此处W_p为全景图像的宽度，否则恢复的地面图像就是出现间隙或重叠。f_u为角度因素，f_v为尺度因素。根据式子：

$\left\{\begin{array}{c}{u}_p=f_u\arctan \left(\frac{y_v}{x_v\cos \mathrm{\α}-h\sin \mathrm{\α}}\right)+u_0\\ v_p=f_v\frac{x_v\sin \mathrm{\α}+h\cos \mathrm{\α}}{\sqrt{{(x_v\cos \mathrm{\α}-h\sin \mathrm{\α})}^2+y_c^2}}+v_0\end{array}\right.---\left(1\right)$

可以知道地面与矩形全景图像之间的对应关系与f_r无关。

接着是(u₀,v₀)的标定。L表示一条平行于x_v轴且与x_v轴距离为a的直线，可以写出参数方程如下：

$\left\{\begin{array}{cc}{x}_v=t& t\∈(-\∞,+\∞)\\ y_v=a& \\ z_v=0& \end{array}\right.---\left(2\right)$

其中，a为常数。

把（2）式带入（1）式得到直线在矩形全景图像上的投影方程为：

$\left\{\begin{array}{c}{u}_p=f_u\arctan \frac{a}{t\cos \mathrm{\α}-h\sin \mathrm{\α}}+u_0\\ v_p={-f}_v\arctan \frac{t\sin \mathrm{\α}+h\cos \mathrm{\α}}{\sqrt{{(t\cos \mathrm{\α}-h\sin \mathrm{\α})}^2+a^2}}+v_0\end{array}\right.$

约去变量t，就能得到矩形全景图像上的直线方程：

$v_p^{\′2}{a}^2{\cos }^2\mathrm{\α}={(a\sin \mathrm{\α}\cos u_p^{\′}+h\sin u_p^{\′})}^2$

由于

上式变为：

$u_p^{\′}=|\tan \mathrm{\α}\cos u_p^{\′}+\frac{h\sin u_p^{\′}}{a}|---\left(3\right)$

当t→∞时， $\left\{\begin{array}{c}{u}_{\mathrm{pv}}=\underset{t\→\∞}{\lim }=u_0\\ v_{\mathrm{pv}}=\underset{t\→\∞}{\lim }=-f_v\tan \mathrm{\α}+v_0\end{array}\right.,$ 于是得到

$\mathrm{\α}=-\arctan \frac{v_{\mathrm{pv}}-v_0}{f_v}.$

只要算出u₀，由式（3）即可得到v₀，于是得到外参α。而且通过式子

能计算出虚拟相机的高度，也就是说只要知道已知圆的半径R即可得到摄像机的高度h。

2.最大似然估计

通过上述的变换得到了摄像机的内外参数，但是由于严重的非线性映射它们并不准确，因此需要用最大似然估计使之精确。

最大似然估计等同于求下式的最小值：

$\{\hat{h},{\hat{f}}_v,{\hat{u}}_0,{\hat{v}}_0\}=\underset{\{h,f_v,u_0,v_0\}}{\min }\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{\left|\right|p(u_p,v_p)-\hat{p}(u_p,v_p)\left|\right|}^2$

这是一个非线性最小化问题，可以用Levenberg-Marquardt算法求解。首先需要用1中的方法进行初始化得到{h₀,f_v0,u₀₀,v₀₀}。上式的几何距离最小化可以如下表示：

$\{\hat{h},{\hat{f}}_v,{\hat{u}}_0,{\hat{v}}_0\}=\underset{\{h,f_v,u_0,v_0\}}{\min }{D}^{T}D$

这里，D=[d_u1d_v1d_u2d_v2…d_und_vn]^T，

$d_{\mathrm{vi}}=v_{\mathrm{pi}}-{\hat{v}}_{\mathrm{pi}}(h,f_v,u_0,v_0).$

接着计算D的雅可比行列式：

$J=\left[\begin{array}{ccccc}\frac{\∂d_{u1}}{\∂f_v}& \frac{\∂d_{u1}}{\∂u_0}& \frac{\∂d_{u1}}{\∂v_0}& \frac{\∂d_{u1}}{\∂h}& \frac{\∂d_{u1}}{\∂\mathrm{\α}}\\ \frac{\∂d_{v1}}{\∂f_v}& \frac{\∂d_{v1}}{\∂u_0}& \frac{\∂d_{v1}}{\∂v_0}& \frac{\∂d_{v1}}{\∂h}& \frac{\∂d_{v1}}{\∂\mathrm{\α}}\\ \frac{\∂d_{u2}}{\∂f_v}& \frac{\∂d_{u2}}{\∂u_0}& \frac{\∂d_{u2}}{\∂v_0}& \frac{\∂d_{u2}}{\∂h}& \frac{\∂d_{u2}}{\∂\mathrm{\α}}\\ \frac{\∂d_{v2}}{\∂f_v}& \frac{\∂d_{v2}}{\∂u_0}& \frac{\∂d_{v2}}{\∂v_0}& \frac{\∂d_{v2}}{\∂h}& \frac{\∂d_{v2}}{\∂\mathrm{\α}}\\ \·\·\·& \·\·\·& \·\·\·& \·\·\·& \·\·\·\\ \frac{\∂d_{\mathrm{un}}}{\∂f_v}& \frac{\∂d_{\mathrm{un}}}{\∂u_0}& \frac{\∂d_{\mathrm{un}}}{\∂v_0}& \frac{\∂d_{\mathrm{un}}}{\∂h}& \frac{\∂d_{\mathrm{un}}}{\∂\mathrm{\α}}\\ \frac{\∂d_{\mathrm{vn}}}{\∂f_v}& \frac{\∂d_{\mathrm{vn}}}{\∂u_0}& \frac{\∂d_{\mathrm{vn}}}{\∂v_0}& \frac{\∂d_{\mathrm{vn}}}{\∂h}& \frac{\∂d_{\mathrm{vn}}}{\∂\mathrm{\α}}\end{array}\right]$

其中， $\frac{\∂d_{\mathrm{ui}}}{\∂f_v}=0,$ $\frac{\∂d_{\mathrm{ui}}}{\∂u_0}=-1,$ $\frac{\∂d_{\mathrm{ui}}}{\∂v_0}=0,$ $\frac{\∂d_{\mathrm{ui}}}{\∂h}=-\frac{f_u{y}_v\sin \mathrm{\α}}{c_r},$ $\frac{\∂d_{\mathrm{ui}}}{\∂\mathrm{\α}}=-f_u{y}_v\frac{c_z}{c_r},$ $\frac{\∂d_{\mathrm{vi}}}{\∂f_v}=-c_z{c_r}^{-\frac{1}{2}},$ $\frac{\∂d_{\mathrm{vi}}}{\∂u_0}=0,$ $\frac{\∂d_{\mathrm{vi}}}{\∂v_0}=-1,$ $\frac{\∂d_{\mathrm{vi}}}{\∂h}=-f_v{c_r}^{-\frac{1}{2}}(\cos \mathrm{\α}+c_x{c}_a{c_r}^{-1}),$ $\frac{\∂d_{\mathrm{vi}}}{\∂\mathrm{\α}}=-f_v{c}_x{c_r}^{-\frac{1}{2}}(1\mathrm{\α}+c_z{c_r}^{-1}),$ c_x=x_vcosα-hsinα，c_z=x_vsi+hcosα，

使用红球法进行全景图像坐标系和地面之间的标定。已知地平面的n张图片，使用红球采样地面上多个点的坐标。假设摄像机中心为(0,0,h)，h为摄像机高度。拍摄红球与摄像机中心多种距离的照片：d₁,d₂,d₃,d₄,…,d_n。每种距离拍摄几种重要位置，如前、后、左、右。于是得到红球如下的坐标：

(d₁,0,0),(0,d₁,0),(-d₁,0,0),(0,-d₁,0),

(d₂,0,0),(0,d₂,0),(-d₂,0,0),(0,-d₂,0),

(d₂,0,0),(0,d₂,0),(-d₂,0,0),(0,-d₂,0),

   …      …      …      …

(d₂,0,0),(0,d₂,0),(-d₂,0,0),(0,-d₂,0).

h,d₁,d₂,d₃,d₄,…,d_n是通过测量得到的。于是可以计算全景图像坐标到地面坐标的投影。

实验中我们测得摄像机参数为r₁=102inch，r₂=77inch，h₁=57inch，h₂=13.5inch，θ₁=20.3130°，θ₂=26.5651°，f_u=197.9989，f_v=193.3009。

二、通过所述摄像机采集的图像对车辆驾驶进行监控

如图4所示为5个摄像机。令X_vY_vZ_v为车体坐标系，X_cY_cZ_c为摄像机组中第c个摄像机的坐标系，如图2所示，其中摄像机组c=0,…,N-1，N为摄像机数。UOV为摄像机#c的图像坐标系。令r为摄像机组的半径，θ_c=2π/N为摄像机间的间隔角度，则摄像机组中心在车体坐标系中的3D坐标为[l,d,h]^T，摄像机#c的方向由两个旋转角度α_c和-β_c确定，且β_c=(cθ_c+θ₀)，θ₀为#0与X_v轴的夹角。

1.确定N个摄像机在车体坐标系中覆盖的视场范围

令X_vOY_v为摄像机组总坐标系，H_g为视场范围的高，W_g为视场范围的宽，#0表示第0号摄像机，x_v∈[-H_g/2,H_g/2]，y_v∈[-W_g/2,W_g/2]，如图5所示。

2.计算车体坐标系中兴趣区域内每点的视场角度

对于图5车体坐标系中视场范围内每一个位置点，计算其视场角度，并确定该位置点的对应投影的摄像机。如图5所示，(x_v,y_v)为坐标系中任意一点，θ₀为#0与X_v轴的夹角，θ_g为点(x_v,y_v)相对于#0摄像机的视场角度，由x_v和y_v的坐标值计算θ_g，其计算公式如下：

${\mathrm{\&theta;}}_g=\left\{\begin{array}{cc}\frac{[1-\mathrm{sgn}(y_v-d_s)*(1-\mathrm{sgn}(y_v-d_s))]\mathrm{\&pi;}}{2},& x_v-l_s=0\left(Y_v\mathrm{axis}\right)\\ \frac{(1-\mathrm{sgn}(x_v-l_s))\mathrm{\&pi;}}{2},& y_v-d_s=0\left(X_v\mathrm{axis}\right)\\ \arctan \left(\frac{y_v-d_s}{x_v-l_s}\right)& x_v-l_s>0\mathrm{and}{y}_v-d_s>0\\ \mathrm{\&pi;}+\arctan \left(\frac{y_v-d_s}{x_v-l_s}\right)& x_v-l_s<0\mathrm{and}{y}_v-d_s\&NotEqual;0\\ 2\mathrm{\&pi;}+\arctan \left(\frac{y_v-d_s}{x_v-l_s}\right)& x_v-l_s>0\mathrm{and}{y}_v-d_s<0\end{array}\right.$

式中，l_s=sgn(x_v)l，d_s=sgn(y_v)d。通过θ_g确定车体坐标系中一点(x_v,y_v)所在的摄像机成像平面以及对应的摄像机旋转角度β_c。

3.计算车体坐标系中一点(x_v,y_v)在全景图中的位置：

由图2中O_cS的直线方程 $\left[\begin{array}{c}{x}_v\\ y_v\\ z_v\end{array}\right]=t\&CenterDot;R\&CenterDot;\left[\begin{array}{c}1\\ \frac{u_c-u_0}{f_u}\\ -\frac{v_c-v_0}{f_v}\end{array}\right]+\left[\begin{array}{c}{l}^{\&prime;}\\ d^{\&prime;}\\ h\end{array}\right],$ 以及图6中摄像机#c坐标(u_c,v_c)和全景图中像素位置坐标(θ_p,v_p)的关系 $\left\{\begin{array}{c}{\mathrm{\&theta;}}_p={\mathrm{\&beta;}}_c-\frac{2\mathrm{\&pi;}}{W_p}(u_c+u_0-W_c)\\ v_p=v_c\end{array}\right.$ 可得：

$R^{-1}\{\left[\begin{array}{c}{x}_v\\ y_v\\ z_v\end{array}\right]-\left[\begin{array}{c}{l}^{\&prime;}\\ d^{\&prime;}\\ h\end{array}\right]\}=t\left[\begin{array}{c}1\\ \frac{\frac{W_p}{2\mathrm{\&pi;}}({\mathrm{\&theta;}}_p-{\mathrm{\&beta;}}_c)+(W_c-2u_0)}{f_u}\\ -\frac{v_p-v_0}{f_v}\end{array}\right]---\left(5\right)$

其中， $R=\left[\begin{array}{ccc}{X}_c\&CenterDot;X_v& Y_c\&CenterDot;X_v& Z_c\&CenterDot;X_v\\ X_c\&CenterDot;Y_v& Y_c\&CenterDot;Y_v& Z_c\&CenterDot;Y_v\\ X_c\&CenterDot;Z_v& Y_c\&CenterDot;Z_v& Z_c\&CenterDot;Z_v\end{array}\right]$ 为旋转矩阵，这里X·Y=|X||Y|cosθ，θ是两坐标轴之间的夹角；(u₀,v₀)为摄像机主点坐标；摄像机#c的光心在车体坐标系中的坐标为 $T_0^c={[l^{\&prime;},d^{\&prime;},h]}^T={[l+r\cos {\mathrm{\&beta;}}_c,d+r\sin {\mathrm{\&beta;}}_c,h]}^T;$ f_u，f_v分别为图像坐标系中U，V轴的焦距比例因子；W_c是单个摄像机获取图像的宽度，W_p是全景图像宽度。

利用公式(2)右边第一行，以及z_v=0可得：

$t={{[{R^{-1}}_{11},R}^{-1}}_{12},{R^{-1}}_{13}]\left[\begin{array}{c}{x}_v-l^{\&prime;}\\ y_v-d^{\&prime;}\\ -h\end{array}\right]---\left(6\right)$

同理，并利用上式的结果可得：

${\mathrm{\&theta;}}_p=\frac{2\mathrm{\&pi;}}{W_p}\left\{\frac{f_u}{t}\right[{R^{-1}}_{21},{R^{-1}}_{22},{R^{-1}}_{23}]\left[\begin{array}{c}{x}_v-l^{\&prime;}\\ y_v-d^{\&prime;}\\ -h\end{array}\right]-(W_c-2u_0)\}+{\mathrm{\&beta;}}_c---\left(7\right)$

$v_p=-\frac{f_v}{t}[{R^{-1}}_{31},{R^{-1}}_{32},{R^{-1}}_{33}]\left[\begin{array}{c}{x}_v-l^{\&prime;}\\ y_v-d^{\&prime;}\\ -h\end{array}\right]+v_0---\left(8\right)$

上面式(6)、(7)和(8)中

是矩阵R^-1的i行j列的元素。

将步骤2计算出的参数θ_g和β_c，及式(6)计算出的t，代入式(7)和(8)可计算出车体坐标系中地面上点(x_v,y_v)对应柱状全景图的坐标(θ_p,v_p)。

4.插值车体坐标系中一点(x_v,y_v)的灰度值

由于计算出的(θ_p,v_p)值常位于像素之间，因此，可用插值计算(x_v,y_v)所对应的像素灰度值。令

表示向下取整，下标p₁，p₂分别表示(θ_p,v_p)沿θ和v方向距的距离，0<p₁,p₂<1，如图7所示。因此，车体坐标系中(x_v,y_v)的灰度值为：

$I_v(x_v,y_v)=I_p({\widetilde{\mathrm{\&theta;}}}_p,{\tilde{v}}_p)(1-p_1)(1-p_2)+I_p({\widetilde{\mathrm{\&theta;}}}_p,{\tilde{v}}_p+1)(1-p_1)p_2---\left(9\right)$

$+I_p({\widetilde{\mathrm{\&theta;}}}_p+\mathrm{\&Delta;}{\mathrm{\&theta;}}_P,{\tilde{v}}_p)p_1(1-p_2)+I_p({\widetilde{\mathrm{\&theta;}}}_p+\mathrm{\&Delta;}{\mathrm{\&theta;}}_p,{\tilde{v}}_p+1)p_1{p}_2$

式中， $\mathrm{\&Delta;}{\mathrm{\&theta;}}_p=\frac{2\mathrm{\&pi;}}{W_p}.$

5.道路标志线检测识别

道路标志线检测分为三步：道路模型的建立，特征选择，以及使用支持向量机（SVM）进行训练分类，最后进行实时检测。

直线具有以最短距离连接两点和容易定位等优点，但过长的直线线性公路容易使人产生疲劳，特别是在高速行车的过程中，单调的线形将使行车变得非常不安全。在现代高速公路的线形设计中，回旋曲线是相当重要和普遍使用的一种线形。在保持前向行驶速度不变的情况下匀速地向一侧打方向盘，车辆的行驶轨迹即为回旋曲线。回旋曲线的基本公式如下：

$\frac{1}{R}=\mathrm{CL}$

其中C为定值。

建立x-y坐标系，道路模型如下：

$x=x_0+\left(\cos {\mathrm{\&alpha;}}_0\right)l-\frac{\sin {\mathrm{\&alpha;}}_0}{2}{c}_0{l}^2-\frac{\sin {\mathrm{\&alpha;}}_0}{6}{c}_1{l}^3\&CenterDot;\&CenterDot;\&CenterDot;$

$y=y_0+\left(\sin {\mathrm{\&alpha;}}_0\right)l-\frac{\cos {\mathrm{\&alpha;}}_0}{2}{c}_0{l}^2-\frac{\cos {\mathrm{\&alpha;}}_0}{6}{c}_1{l}^3\&CenterDot;\&CenterDot;\&CenterDot;$

$\mathrm{\&alpha;}\left(l\right)={\mathrm{\&alpha;}}_0+c_{0}l+\frac{c_1}{2}{l}^2$

其中，x₀=0，α为道路切线与x轴之间的夹角，c₀为道路的曲率，c₁为曲率变化率，也即c₀的一阶导数。

系统的特征向量如下：

系统的演化模型如下，其中，W为道路宽度，v和ω分别衡量车辆行度与角速度（v＝VΔt），θ,ψ,

分别为摄像机旋转矩阵的3个欧拉角，f,h分别为摄像机的焦距和离地高度。

特征选择与提取是道路检测中的关键，特征选择的不同强烈影响最终跟踪的效果。颜色、纹理、形状等低级特征在一定程度上能反映出道路特性，且便于计算，但其鲁棒性较差，仅能在特定条件下适用。高级特征一般有较好的效果，但过高的维数导致其计算量非常大，无法满足实时系统的要求。我们采用支持向量机，它有较好的分类效果，在满足实时系统的要求下力求更好的性能。

首先，从真实道路场景中选取正负样本对支持向量机进行训练。其次，采用高斯核函数

得到一种径向基函数的分类器。在实现中可调参数有两个：一是径向基系数s，它控制了函数的径向作用范围；一是软间隔优化参数C，它对应权重向量范数的最优选择并给出最优界。确定参数的典型方法是在一个范围内实验，直到找到对特定训练集最好的选择。最终确定s值选为0.1，C值选为1.0。

训练好的支持向量机即可对整幅图像进行分类，正值和负值分别代表了识别出的道路与非道路，而值的大小反映了分类的置信程度。

6.障碍物检测

本发明中的障碍物检测是指对在车道上的障碍物进行的定位并测距，并不需要对障碍物进行完全的识别。我们用立体全景逆透视投影与车道几何形状结合来检测障碍物，并且假设路面平坦。平坦的道路模型是通过两张重投影图像间不同像素值确定的：对于车体前端普通的障碍物（即任何高于地面的物体），它们的差分图像特征（即足够大非零像素块）拥有特定的形状。

IPM变换是把垂直于道路表面的直线投影到穿过摄像机投影面C_x,y≡(l,d,0)的直线上。在立体视觉系统中，在z=0平面上摄像机的投影不具一致性，这是由于各个立体摄像机视点的角度不同。假设障碍物为理想的正方体，在差分图像中它会产生两个三角形的像素块，对应它的垂直边缘。实验中，由于障碍物的纹理不同、形状不规则、颜色不统一，所以三角形像素块间不能清楚的定义和区分。然而，像素块的形状几乎接近三角形，在差分图像中是可以识别的。因此，对障碍物的检测转变成为在差分图像中对这些三角形像素块进行定位。

如果同一时间出现两个或者两个以上的障碍物，包括那些局部可视的物体，会使检测复杂化。因此，需要进一步的处理来区分属于同一物体的三角形像素块。

本发明采用的方法是使用极坐标直方图检测三角形像素块，它包括扫描差分图像对应的W域中z=0的平面上的焦点F。极坐标直方图可以通过每条源于焦点F的直线以及计算这条直线上对应的过临界值像素点的个数来得到。极坐标直方图还需要进行归一化，最后使用低通滤波器以减少噪声的影响。

由于每个三角边缘的延长线会与众摄像机投影面中的一个相交于路面上，焦点位于投影的中间：在这种情况下极坐标直方图表示每个三角可估计的峰值。直方图中峰值的位置决定了障碍物在什么样的视角下被检测。由同一个障碍物左右边缘产生的峰值必须结合起来，这样才能把整个区域考虑在内。

本发明从分析大量不同的状态出发，找到了一个较好的标准，即把一组峰值的特征考虑在内，如峰值的振幅、宽度，他们包含的区域，以及他们之间的距离。在峰值重叠的相位后方，根据峰值位置、振幅和宽度计算能观测到障碍物整体的视角。另外，通过进一步分析，得出沿着某一方向（这个方向是由极坐标直方图的极大值确定的）的差分图像，可以估计障碍物距离，因此可以检测三角形的各个角。实际上，它们描述了障碍物与道路平面间的接触点，于是就得到了障碍物的距离信息。对于每个极坐标直方图的峰值，计算辐射状的直方图，扫描出差分图像特定的扇形区域，差分图像的宽度决定了峰值宽度函数。焦点到障碍物间的距离要进行归一化，因此需要计算过临界值像素点（即在扇形区域中的像素点）的个数。适用于辐射状直方图的一种简单的临界值允许检测三角形的角位置，从而得到障碍物距离。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (8)

1.一种车辆全视角驾驶监控系统，其特征是，该系统包括：

设定个摄像机，用于采集车辆的全视角图像；

与所述摄像机连接的计算器，用于对所述全视角图像进行分析，并发出报警信息。

2.根据权利要求1所述的系统，其特征是，所述摄像机位于车辆的顶部。

3.根据权利要求1所述的系统，其特征是，所述系统还包括用于对所述摄像机固定的支架。

4.根据权利要求1所述的系统，其特征是，所述计算器包括摄像机标定单元、图像处理单元、显示单元、报警单元和处理器；所述处理器分别与所述摄像机标定单元、图像处理单元、显示单元和报警单元连接。

5.一种利用权利要求1所述系统的车辆全视角驾驶监控方法，其特征是，所述方法包括以下步骤：

S1：对所述摄像机进行标定；

S2：将所述摄像机采集的图像发送至计算器，所述计算器对所述图像进行处理，实现对车辆驾驶的监控。

6.根据权利要求5所述的方法，其特征是，所述步骤S1具体为：

S11：对所述摄像机进行排列，使所述摄像机采集车辆的全景图；

S12：通过所述全景图在所述计算机中的图像对所述摄像机的参数进行标定。

7.根据权利要求5所述的方法，其特征是，所述步骤S2具体为：

S21：所述计算器通过所述摄像机采集的全景图确定每个所述摄像机的视场范围；

S22：确定所述视场范围内的点的视场角度；

S23：通过所述视场角度确定所述点在所述全景图中的坐标；

S24：计算所述坐标对应的灰度值，得到全景灰度图；

S25：通过所述灰度值对所述全景灰度图进行判断，得到全景图中的道路图像和非道路图像。

8.根据权利要求7所述的方法，其特征是，所述步骤S25后还包括：

S26：通过对所述全景灰度图进行图像差分，进而对障碍物进行检测。

Images