CN101236603A - 车辆智能后视方法 - Google Patents

Abstract

一种车辆智能化技术领域的车辆智能后视方法，包括：步骤一、由分别安装于车辆左、右后视镜上的两个针孔摄像头和安装于车厢后挡板上的针孔摄像头实时采集车辆侧后方的景物图像；步骤二、对被采集景物图像进行预处理；步骤三、对预处理后的图像进行基于多结构元素数学形态学方法的边缘检测；步骤四、形成采样圆区域，并对采样圆区域中出现的边缘图像进行极指数栅格采样；步骤五、对极指数栅格采样所得到的边缘图像进行图像数据转换；步骤六、根据转换之后的图像数据进行运动状态识别；步骤七、根据运动状态识别的结果进行决策运算并输出执行指令。本发明提高了车辆的安全技术水平，减少了道路交通事故的发生的几率。

Description

车辆智能后视方法

技术领域

本发明涉及的是一种车辆智能化技术领域的方法，具体是一种车辆智能后视方法。

背景技术

现有车辆在行驶过程需要变道、或者左转、或者右转的时候，均要依靠驾驶员自行观察和判断前后方其它车辆的行驶状况来确定自己驾驶的车辆是否可以执行变道、或者左转、或者右转，此时，时常会因为驾驶员的视场受遮挡、或者路况复杂等因素的影响造成正在变道、或者左转、或者右转的车辆与后方急速前行的车辆发生碰撞而酿成交通事故。另外，受道路建设的条件所限，城市诸多道路的机动车、非机动车道不能用栏杆等障碍物隔离，机动车临时停放时开车门易诱发与非机动车的碰撞。虽然道路交通安全法及其实施条例等都强调“路边停车应紧靠道路右侧，开关车门不得妨碍其它车辆和行人通行”，但是由于车上人员或急于下车或缺少意识，往往会造成车门开启过程意外伤及行人或其它车辆。

经对现有技术文献的检索发现，中国发明专利号03111168.8的专利，专利名称为：自动引导车的视觉引导方法及其自动引导电动车，该专利公开了一种用于物流系统的智能型工业搬运车辆的自动引导方法及采用该自动引导方法的电动车，由计算机控制的自动引导车的视觉引导方法，是通过设置在自动引导车上的摄像机摄取在地面敷设的运行路径标线、工位地址编码标识符和运行状态控制标识符，与摄像机相联的计算机，通过图像智能化识别，获得车体与运行路径标线的位置偏差和方向偏差参数、工位地址及运行状态控制信息，据此，发出相应的控制信号给车轮驱动机构控制器，以实现对自动引导车按设定的路径、工位地址及加速、减速、停车的运行状态进行相应的控制。采用上述视觉引导方法的装有摄像机的自动引导电动车。但是，该方法不能被采用于车辆在行驶过程需要变道、或者左转、或者右转的时候避免与后方来车发生碰撞，也无法避免机动车临时停放时车门开启过程意外伤及行人或其它车辆事故的发生，因为，上述方法仅使用于对静态固定目标的主动寻的，不具备对运动物体运动趋势的识别功能，前后两者的算法存在根本的区别。

发明内容

本发明的目的在于克服上述现有技术中的不足，提供一种车辆智能后视方法，使其能够使车辆在行驶过程执行变道、或转弯、或倒车时有效避免与左后方或者右后方前行车辆的碰撞，还能够在车辆停驶时保障车上人员在开关车门过程不会发生与后方前行的机动车、非机动车以及行人发生碰撞，因此从自动化、智能化的技术层面上真正提高了车辆的安全技术水平，极大限度地避免了可能出现的道路交通事故的发生，极大限度地保护了生命和财产的安全。

本发明是通过以下技术方案实现的，本发明包括如下步骤：

步骤一，由分别安装于车辆左、右后视镜上的两个针孔摄像头和安装于车厢后挡板上的针孔摄像头实时采集车辆侧后方的景物图像；

步骤二，对被采集景物图像进行预处理：对图像进行颜色分离，将图像转换为灰度图像，并作均衡化处理；

所述预处理，具体如下：

①对真彩色图像进行颜色分离，从真彩色图像中分别提取出红色分量R、绿色分量G和蓝色分量B；

②通过公式：f(x，y)＝0.299×R(x，y)+0.587×G(x，y)+0.114×B(x，y)

将真彩色图像转换为灰度图像，式中，f(x，y)为转换后的灰度图像在(x，y)点的灰度值，R(x，y)、G(x，y)、B(x，y)分别为转换前的彩色图像在(x，y)点的红、绿、蓝亮度值；

③利用直方图对灰度图像进行均衡化处理，通过离散化方程：

$s_k=T\left(r_k\right)=\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{p}_r\left(r_j\right)=\underset{j=1}{\overset{k}{\mathrm{\Σ}}}\frac{n_j}{n}$

的运算，使分布在每个灰度等级上的像素个数保持相等或基本相等，用以增强目标与背景的灰度对比度，达到图像增强的目的，其中，T为变换函数，r_k代表原图像的灰度级，s_k代表r_k经均衡化变换后的灰度级，k＝1，2，...L，L为灰度级总数，n为图像中像素总数，n_k第k个灰度级出现的频数，p_r为给定图像的灰度级概率密度函数；

步骤三，对预处理后的图像进行基于多结构元素数学形态学方法的边缘检测；

所述数学形态学方法，是指用具有一定形态的结构元素去量度和提取图像中的对应形状以达到对图像分析和识别的目的，数学形态学的数学基础和所用语言是集合论，数学形态学能够简化图像数据，保持它们基本的形状特性，并除去不相干的结构，数学形态学是由一组形态学的代数运算子组成的，它的基本运算有4个：膨胀、腐蚀、开启和闭合，数学形态学分为二值形态学和灰度形态学两大类，它们在二值图像和灰度图像中各有特点，运用于二值图像的形态学称为二值形态学，运用于灰度图像的形态学称为灰度形态学，基于这些基本运算还可推导和组合成各种数学形态学实用算法，用它们可以进行图像形状和结构的分析及处理，包括图像分割、特征抽取、边界检测、图像滤波、图像增强和恢复等，数学形态学的算法具有天然的并行实现的结构，实现了形态学分析和处理算法的并行，大大提高了图像分析和处理的速度；

所述结构元素，是在数学形态学方法中用于收集图像的信息的“探针”，当探针在图像中不断移动时，考察图像各个部分之间的相互关系，了解图像的结构特征，作为探针的结构元素，可直接携带知识，如：形态、大小，甚至加入灰度和色度信息，来探测、研究图像的结构特点；

所述膨胀运算，是指将与某物体接触的所有背景点合并到该物体中的过程，过程的结果是使物体的面积增大了相应数量的点，如果物体是圆的，它的直径在每次膨胀后将增大两个像素，如果两个物体在某一点的任意方向相隔少于三个像素，它们将在该点连通起来，二值形态学中的膨胀运算对象是集合，用二值结构元素对二值图像进行膨胀结果就是把结构元素平移后使两者交集非空的点构成一个新的集合，灰度形态学是二值数学形态学对灰度图像的自然扩展，灰度形态学的运算对象不是集合，而是图像函数，在灰度形态学中，二值形态学中用到的交、并运算将分别用最大、最小极值运算代替，灰度图像的膨胀过程可直接从图像和结构元素的灰度级函数计算出来，膨胀运算的计算是一个点一个点的进行，计算时涉及到它周围点的灰度值及结构元素值，实际上是局部范围内点与结构元素中对应点灰度值之和，选取其中最大值，所以膨胀运算之后，边缘得到了延伸；

所述腐蚀运算，简单的腐蚀是消除物体的所有边界点的一种过程，其结果是使剩下的物体沿其周边比原物体小一个像素的面积，如果物体是圆的，它的直径在每次腐蚀后将减少两个像素，如果物体在某一点处任意方向上连通的像素小于三个，那么该物体经过一次腐蚀后将在该点处分裂为二个物体，用二值结构元素对二值图像进行腐蚀结果就是把结构元素平移后使二值结构元素包含于二值图像所有的点构成一个新的集合，灰度图像的腐蚀过程同样可直接从图像和结构元素的灰度级函数计算出来，腐蚀运算也是一个点一个点的进行，某点的运算结果是它在一个局部范围内点与结构元素中的对应点灰度值之差，选取其中最小值。可见经腐蚀运算后，边缘部位相对大点的灰度值会降低，从而边缘会向灰度值高的区域内收缩；

所述开启运算，先腐蚀后膨胀的过程称为开启运算，它具有消除细小物体、在纤细处分离物体和平滑较大物体边界的作用；

所述闭合运算，先膨胀后腐蚀的过程称为闭合运算，它具有填充物体内细小空洞、连接邻近物体和平滑边界的作用；

所述基于多结构元素数学形态学的方法对图像进行边缘检测，具体如下：

①选取多结构元素，令图像中心点为坐标原点(x₀，y₀)，则方形结构元素矩阵为B_i＝{f(x+x₀，y+y₀)，θ_i＝i×α|-N≤x₀，y₀≤N}，其中，B_i＝B_i(s，t)，i＝0，1，2，...4N-1，N为自然数，(s，t)为矩阵二维像素坐标，α＝180°/4N，θ_i是结构元素在矩阵中形成的方向角，简称方向角；

②对图像进行数据变换：用B＝B(s，t)结构元素对转换后的灰度图像在(x，y)点的灰度值f＝f(x，y)输入图像进行灰度膨胀运算fB，膨胀运算的定义公式为：

(fB)(x，y)＝max{f(s-x，t-y)+B(s，t)|(s-x，t-y)∈D_fand(s，t)∈D_B}

再用B的结构元素对f的输入图像进行灰度腐蚀运算fΘB，腐蚀运算的定义公式为：

(fΘB)(x，y)＝min{f(x+s，y+t)-B(s，t)|(s+x，t+y)∈D_fand(s，t)∈D_B}

上述两公式中，D_f、D_B分别是f与B的定义域，

再对上述膨胀和腐蚀运算进行结合得到形态学梯度g_i(f)，运算公式为：

g_i(f)＝(fB)-(fΘB)

其中，i与B_i中i的取值相对应；

③对形态学梯度g_i(f)进行加权合成，获得合成后的形态学梯度

$\hat{g}\left(f\right)=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\ω}}_i{g}_i\left(f\right)$

其中，i＝1，2，...M，M是方形结构元的个数，ω_i是边缘检测中不同方向角的权重；

④对合成后的形态学梯度进行基于统计学原理的二值化处理：

首先，计算灰度图像帧平均灰度值

再以3×3像素小区域为单位计算该区域中九个像素灰度a_i的平均值main：

$\mathrm{main}=\frac{1}{9}\underset{i=1}{\overset{9}{\mathrm{\Σ}}}{a}_i$

然后，逐一计算该像素小区域灰度的平均方差e_A

$e_A=\sqrt{\underset{i=1}{\overset{9}{\mathrm{\Σ}}}{(\mathrm{main}-a_i)}^2}$

最后，逐一将像素小区域灰度平均方差e_A与灰度图像帧平均灰度值

进行比较，按下式确定该像素小区域取1或0：

$F(x,y)=\left\{\begin{array}{cc}1& {\stackrel{\‾}{A}}_{\mathrm{gray}}\≤n\·e_A\\ 0& {\stackrel{\‾}{A}}_{\mathrm{gray}}>n\·e_A\end{array}\right.$

其中，F(x，y)为灰度图像f(x，y)所对应的二值化图像，n为倍数，由实验确定。

步骤四，形成采样圆区域，并对采样圆区域中出现的边缘图像进行极指数栅格采样；

所述形成采样圆区域，是指：以坐标原点(x₀，y₀)为圆心、图像帧宽度的一半为采样最大半径r_max形成一个采样圆区域。

步骤五，对极指数栅格采样所得到的边缘图像通过极对数坐标变换的方法进行图像数据转换；

所述进行图像数据转换，其变换公式为：

$\left\{\begin{array}{c}u=k_u\ln \left(\frac{r}{r_{\min }}\right)\\ v=\mathrm{\θ}=k_v\arctan \left(\frac{y}{x}\right)\end{array}\right.$

其中，k_u、k_v分别为距离分辨率和角度分辨率常数，可根据实际情况通过实验设定， $r=\sqrt{x^2+y^2}$ 为像素距变换中心的长度，(x，y)是图像在直角坐标中的坐标，(u，v)是经过转换后所得到的极对数栅格坐标系中的坐标，u为极对数栅格坐标系的横坐标轴，其对应像素距变换中心的长度，v为极对数栅格坐标系的纵坐标轴，等于该像素极径与水平轴的夹角，r_min是进行极对数坐标变换时，采样的最小半径。

步骤六，根据转换之后的图像数据进行运动状态识别；

所述进行运动状态识别，是指根据边缘图像在极对数栅格坐标系横坐标上投影所得到的坐标集合Q＝{u_i|i＝1，2，3，...；u_i∈U}分析车后物体运动状态，其中，U为极对数栅格坐标系横坐标u_i的论域，具体如下：

利用从直角坐标到极对数栅格坐标的变换具有物体旋转不变性和缩放不变性实行对目标的跟踪，选取u_i，以u_i(k)表达u_i在时间t的采样值，令采样周期为Δt，则u_i(k+1)表达了u_i在下一个采样时间t+Δt的采样值；

判断u_i(k)和u_i(k+1)大小关系，若|u_i(k+1)|＜|u_i(k)|，表明被选取u_i所代表的物体为自身车辆后方的静止物体或者是运动速度为低于自身车辆的相对低速物体，否则，表明被选取u_i所对应的物体为后方运动速度超过自身车辆的相对高速物体。

步骤七，根据运动状态识别的结果进行决策运算并输出执行指令；

所述进行决策运算并输出执行指令，具体为：

当车辆处于行驶状况，在左视图中|u_i(k+1)|＞|u_i(k)|，驾驶员一旦拨动左转指示开关，信号处理器实时输出控制指令向驾驶员发出语音、灯光和液晶视屏警示，同时通过机电装置阻止驾驶员的左转或做变道操作；在右视图中|u_i(k+1)|＞|u_i(k)|，驾驶员一旦拨动右转指示开关，信号处理器实时输出控制指令向驾驶员发出语音、灯光和液晶视屏警示，同时通过机电装置阻止驾驶员的右转或右变道操作；

当车辆处于停驶状况，在左视图中|u_i(k+1)|＞|u_i(k)|，信号处理器实时输出控制指令向驾驶员发出语音、灯光和液晶视屏警示，同时通过机电装置锁闭车辆左侧车门，禁止司乘人员开左侧车门的操作；在右视图中|u_i(k+1)|＞|u_i(k)|，控制指令输出模块实时输出控制指令向驾驶员发出语音、灯光和液晶视屏警示，同时通过机电装置锁闭车辆右侧车门，禁止司乘人员开右侧车门的操作；

当车辆处于倒车状况，在后视图中满足：

$\left(\right|u_i(k+1)|>|u_i\left(k\right)\left|\right)\mathrm{and}(\frac{\left|u_i(k+1)\right|-\left|u_i\left(k\right)\right|}{\mathrm{\Δt}}\≥10\mathrm{pixels}/s),$ 其中：pixels为像素单位，或者，在极指数栅格采样半径等于

的圆区域中，边缘图像出现的概率小于20％，控制指令输出模块实时输出控制指令向驾驶员发出语音、灯光和液晶视屏警示，同时通过机电装置禁止驾驶员倒车操作。

与现有技术相比，本发明具有如下有益效果：在保障车辆行驶安全方面进一步提高自动化和智能化水平，具体表现，第一、不会因为驾驶员的疏忽而在变道过程，或者左转，或者右转时与左后方或者右后方正在前行车辆发生碰撞；第二、车辆停下，不会因为司乘人员的疏忽在打开车门过程与后方正在前行的机动车、非机动车或行人发生碰撞；第三、倒车时，可以及时提醒驾驶员车辆后方的路面情况，因此能够最大限度地提高现有车辆的运行安全和人员生命保障水平。

附图说明

图1为本发明实施例采用的基础硬件系统构成示意图；

图2为本发明实施例流程图；

图3为极指数栅格与极对数坐标变换图。

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，实施例中采用的基础硬件系统，包括：左针孔摄像头1、右针孔摄像头2、后针孔摄像头3、驾驶状态编码器4、信号处理器5、通道译码器6、电子开关器7、锁定器、语音提示器13、液晶显示器14，其中：左针孔摄像头1安装于车辆左外测后视镜的最靠近边缘的位置，右针孔摄像头2安装于车辆右外测后视镜的最靠近边缘的位置上，后针孔摄像头3安装于车厢后挡板的中心位置上，三个针孔摄像头的输出接口分别与信号处理器的三个图像输入接口相连，驾驶状态编码器4的输出接口与信号处理器5连接，驾驶状态编码器4的信号输入接口与车辆的信号输出接口相连，信号处理器5有两个输出接口，信号处理器的第一输出接口与通道译码器6的输入接口相连，信号处理器5的第二输出接口连至液晶显示器14的输入接口，通道译码器6的输出接口与电子开关器7的输入接口连接，电子开关器7的输出接口同时与锁定器的输入接口和语音提示器13的输入接口连接。

如图2所示，所述信号处理器的核心部件是图像处理程序模块，图像处理程序模块包括：图像预处理模块、图像边缘检测模块、决策运算模块和决策执行指令输出模块，其中：图像预处理模块的四个输入通道分别与三个模数转换模块的输出端口及数字信号输入接口的输出端连接，图像预处理模块的输出端口与图像边缘检测模块的输入端口连接，图像边缘检测模块的输出端口与决策运算模块的输入端口连接，决策运算模块的输出端口与决策执行指令输出模块的输入端口连接，决策执行指令输出模块的第一输出端口作为图像处理程序模块的第一输出端口与通道选通指令输出模块相连，决策执行指令输出模块的第二输出端口作为图像处理程序模块的第二输出端口与信号处理器第二输出接口的输入端连接。

所述图像预处理模块接收左、右、后针孔摄像头传输的左、右、后视图，进行预处理后得到数字图像信号传输给图像边缘检测模块；所述图像边缘检测模块进行图像边缘检测并将二值化的边缘图像输出至决策运算模块；所述决策运算模块将二值化边缘图像通过极对数坐标变换进行图像数据转换，利用图像数据转换过程具有物体旋转不变性和缩放不变性来实行对目标的跟踪，进而识别出图像所对应的被捕捉物体的运动状态，并传输到决策执行指令输出模块；所述决策执行指令输出模块根据接收到的决策运算模块输出的、代表着被捕捉物体的运动状态的代码，以及驾驶操作开关信号来确定是否向后续的警示模块和机电伺服装置发出禁止变道、或转弯、或开门、或倒车等决策执行指令。

本实施例中，车辆运行包括：运行时左转、运行时右转，十字路口左传、十字路口右转，靠边停车、倒车六种情况。

第一种情况：

车辆正沿着双向6车道高速公路上的一侧中间车道上行驶，驾驶员拨动左转方向灯、欲向左变道。

本实施例包括如下具体步骤：

步骤一，由分别安装于车辆左、右后视镜上的两个针孔摄像头和安装于车厢后挡板上的针孔摄像头实时采集车辆侧后方的景物图像，并将其图像分别通过各自的视频电缆传输至图像处理程序模块；

步骤二，对被采集景物图像进行预处理，由图像处理程序模块中的图像预处理模块具体实施如下：

①从真彩色图像中分别提取出红色分量R、绿色分量G和蓝色分量B；

②通过公式f(x，y)＝0.299×R(x，y)+0.587×G(x，y)+0.114×B(x，y)，将真彩色图像转换为灰度图像；

③通过离散化方程 $s_k=T\left(r_k\right)=\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{p}_r\left(r_j\right)=\underset{j=1}{\overset{k}{\mathrm{\Σ}}}\frac{n_j}{n},$ 利用直方图对灰度图像进行均衡化处理，用以增强目标与背景的灰度对比度，达到图像增强的目的；

步骤三，对图像进行基于多结构元素数学形态学方法的边缘检测，由图像处理程序模块中的图像边缘检测模块具体实施如下：

①选取多种结构元素，对方形结构元素矩阵：

B_i＝{f(x+x₀，y+y₀)，θ_i＝i×α|-N≤x₀，y₀≤N}

中的i＝0，1，2，...4N-1，取N＝3，因此能够获得对应θ＝i×α＝0°，45°，90°，135°的4个3×3的方形结构元素矩阵如下：

其中，●表示结构元素中的有效成分，○表示结构元素中的无效成分；

②对图像进行数据变换，用上述4个3×3方形矩阵B₀、B₁、B₂、B₃的结构元素对f＝f(x，y)的输入图像分别进行灰度膨胀运算fB，获得4个灰度膨胀结果：fB₀、fB₁、fB₂和fB₃；

再用4个3×3方形矩阵B₀、B₁、B₂、B₃的结构元素对f的输入图像进行灰度腐蚀运算fΘB，获得4个灰度腐蚀结果：fΘB₀、fΘB₁、fΘB₂和fΘB₃；

再对膨胀和腐蚀的运算结果进行结合，分别得到形态学梯度g_i(f)的4个表达形式：g₀(f)、g₁(f)、g₂(f)和g₃(f)；

③对形态学梯度g_i(f)进行加权合成，对 $\hat{g}\left(f\right)=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\ω}}_i{g}_i\left(f\right),$ 取ω₁＝ω₃＝0.4，ω₂＝ω₄＝0.1，最终获得灰度边缘图像；

④对合成后的形态学梯度

进行基于统计学原理的二值化处理，首先计算灰度图像帧平均灰度值

再以3×3像素小区域为单位计算该区域中九个像素灰度a_i的平均值main

$\mathrm{main}=\frac{1}{9}\underset{i=1}{\overset{9}{\mathrm{\Σ}}}{a}_i$

再逐一计算该像素小区域灰度的平均方差e_A

$e_A=\sqrt{\underset{i=1}{\overset{9}{\mathrm{\Σ}}}{(\mathrm{main}-a_i)}^2}$

根据公式 $F(x,y)=\left\{\begin{array}{cc}1& {\stackrel{\‾}{A}}_{\mathrm{gray}}\≤n\·e_A\\ 0& {\stackrel{\‾}{A}}_{\mathrm{gray}}>n\·e_A\end{array}\right.,$ 在未开启车灯的情况下，取n＝1，在开启车灯情况下，取n＝2，逐一将像素小区域灰度平均方差e_A与灰度图像帧平均灰度值进行比较，确定该像素小区域取1或0，最终获得二值化边缘图像；

步骤四，图像处理程序模块中的决策运算模块对采样圆区域中出现的边缘图像进行极指数栅格采样；

如图3所示，以坐标原点(x₀，y₀)为圆心、图像帧宽度的一半为采样最大半径r_max形成一个采样圆区域，对该采样圆区域中出现的边缘图像进行极指数栅格采样；

步骤五，决策运算模块对极指数栅格采样获得的图像进行极对数坐标变换；取公式 $\left\{\begin{array}{c}u=k_u\ln \left(\frac{r}{r_{\min }}\right)\\ v=\mathrm{\θ}=k_v\arctan \left(\frac{y}{x}\right)\end{array}\right.$ 中的k_u＝40.23、k_v＝20.4、r_min＝10pixels，将极指数栅格采样所得到的边缘图像进行极对数坐标变换；

步骤六，决策运算模块对被采集景物的运动状态进行识别；

根据边缘图像在极对数栅格坐标系横坐标上投影所得到的坐标集合Q＝{u_i|i＝0，1，2，...，a，b，c...；u_i∈U}分析车后物体运动状态，利用从直角坐标到极对数栅格坐标的变换具有物体旋转不变性和缩放不变性实行对目标的跟踪，选取u_b，以u_b(k)表达u_b在时间t的采样值，令采样周期为Δt，则u_b(k+1)表达了u_b在下一个采样时间t+Δt的采样值；

若|u_i(k+1)|＜|u_i(k)|，说明尽管后方有车辆，但速度低于本车，本车可以执行左变道，信号处理器不输出任何干预指令，但是，一旦出现|u_i(k+1)|＞|u_i(k)|，说明后方存在相对速度超过本车的车辆正在前行；

步骤七，决策运算与执行指令输出：当左视图中|u_i(k+1)|＞|u_i(k)|，只要驾驶员拨动左转指示开关，决策运算模块根据被采集景物运动状态的识别结果和驾驶状态编码器输出的驾驶状态代码实时地向决策指令输出模块发送阻止驾驶员左变道操作的决策代码；当决策执行指令输出模块接收到决策运算模块发送的决策代码时，决策执行指令输出模块实时地将决策代码通过信号处理器的第一输出接口传输至通道译码器的输入接口，再由通道译码器对电子开关器进行选通，进而驱动对应的锁定器和语音播放器播放内容；同时，通过信号处理器的第二输出接口传输至液晶显示器输入接口，进而由液晶显示器选定显示信息；具体表现为：决策执行指令输出模块实时决策执行指令向驾驶员发出语音、灯光和液晶视屏警示，如：“左车道有车，不得左变道！”，同时通过机电装置阻止驾驶员的左变道操作。

第二种情况：

某车辆正沿着双向6车道高速公路上的一侧中间车道上行驶，驾驶员拨动右转方向灯、欲向右变道。

此时图像处理程序模块针对采集到的右视图实施了与第一种情况完全相同的图像处理、识别与决策运算全过程，当发现右侧后方存在相对速度超过本车的车辆正在前行，只要驾驶员拨动右转方向灯、欲向右变道，决策运算模块根据被采集景物运动状态的识别结果和驾驶状态编码器输出的驾驶状态代码实时地向决策执行指令输出模块发送阻止驾驶员右变道操作的决策代码；当决策执行指令输出模块接收到决策运算模块发送的决策代码时，决策执行指令输出模块实时地将决策代码通过信号处理器的第一输出接口传输至通道译码器的输入接口，再由通道译码器对电子开关器进行选通，进而驱动对应的锁定器和语音播放器播放内容；同时，通过信号处理器的第二输出接口传输至液晶显示器输入接口，进而由液晶显示器选定显示信息；具体表现为：决策执行指令输出模块实时输出决策执行指令向驾驶员发出语音、灯光和液晶视屏警示，如：“右车道有车，不得右变道！”，同时通过机电装置阻止驾驶员的右变道操作。

第三种情况：

某车辆行驶到尚未设置交通指示灯的十字路口，驾驶员拨动左转方向灯、欲向左转弯。

此时图像处理程序模块针对采集到的左视图实施了与第一种情况完全相同的图像处理、识别与决策运算全过程，当发现左侧后方存在相对速度超过本车的车辆正在前行，决策执行指令输出模块实时输出决策执行指令向驾驶员发出语音、灯光和液晶视屏警示，如：“左侧有车辆准备超车，不得左转！”，同时通过机电装置阻止驾驶员的左转弯操作。

第四种情况：

某车辆行驶到十字路口，驾驶员在交通灯指示下拨动右转方向灯、欲向右转弯，此时本实施例中的图像处理程序模块针对采集到的右视图实施了与第二种情况完全相同的图像处理、识别与决策运算全过程，当发现右侧后方存在相对速度超过本车的非机动车辆和行人正在前行，决策执行指令输出模块实时输出决策执行指令向驾驶员发出语音、灯光和液晶视屏警示，如：“注意右侧慢车道，不得右转！”，同时通过机电装置阻止驾驶员的右转弯操作。

第五种情况：

某车辆准备靠边停车，此时本实施例中的图像处理程序模块针对采集到的左、右视图实施了与第一种情况完全相同的图像处理、识别与决策运算全过程，当发现左、右侧后方有正在前行的车辆、或非机动车辆、或行人时，决策执行指令输出模块实时输出决策执行指令通过机电装置闭锁有前行的车辆、或非机动车辆、或行人一侧的车门，禁止司乘人员打开该侧车门，并在液晶视屏上显示图像与文字提示，如：“注意安全，此刻不可开门！”，直至不存在前行的车辆、或非机动车辆、或行人时，才取消该侧车门闭锁，并改变液晶屏幕上的提示，如：“可以开门”。

第六种情况：

某车辆准备倒车，此时本实施例中的图像处理程序模块针对采集到的左、右、后视图实施了与第一种情况完全相同的图像处理、识别过程，除了能够发现左、右侧后方是否有正在前行的车辆、或非机动车辆、或行人外，还特别对车辆正后方的景物图像特别实施是否存在障碍物的判断，当在后视图中 $\left(\right|u_i(k+1)|>|u_i\left(k\right)\left|\right)\mathrm{and}(\frac{\left|u_i(k+1)\right|-\left|u_i\left(k\right)\right|}{\mathrm{\Δt}}\≥10\mathrm{pixels}/s),$ 或者，在极指数栅格采样半径等于

的圆区域中，边缘图像出现的概率小于20％，决策运算模块能够认定车后存在某种距离小于1m的障碍物，此时决策执行指令输出模块实时输出决策执行指令向驾驶员发出语音、灯光和液晶视屏警示，如：“注意车后物体！”，同时通过机电装置阻止驾驶员倒车操作。

本实施方法使得因车辆变道、转弯而发生车辆碰撞的事故发生率，以及停驶因打开车门与车辆、非机动车和行人发生碰撞的事故发生率均能降低至98％以上，因此能够进一步提高现有车辆的自动化与智能化技术水平。

Claims (9)

1、一种车辆智能后视方法，其特征在于，包括以下步骤：

步骤一，由分别安装于车辆左、右后视镜上的两个针孔摄像头和安装于车厢后挡板上的针孔摄像头实时采集车辆侧后方的景物图像；

步骤二，对被采集景物图像进行预处理：对图像进行颜色分离，将图像转换为灰度图像，并作均衡化处理；

步骤三，对预处理后的图像进行基于多结构元素数学形态学方法的边缘检测；

步骤四，形成采样圆区域，并对采样圆区域中出现的边缘图像进行极指数栅格采样；

步骤五，对极指数栅格采样所得到的边缘图像通过极对数坐标变换的方法进行图像数据转换；

步骤六，根据转换之后的图像数据进行运动状态识别，通过图像数据变换后的边缘图像在极对数栅格坐标系横坐标上的投影，利用其旋转不变性和缩放不变性实行对目标的跟踪与识别，进而根据被跟踪点在极对数栅格坐标系横坐标上的移动方向与趋势，最终确认跟踪点所代表的物体是在以何种相对速度运动；

步骤七，根据运动状态识别的结果进行决策运算并输出执行指令，当驾驶员欲进行变道、或转弯、或倒车时，一旦运动状态识别结果认定驾驶员不适宜进行此类操作，便由系统输出决策执行指令来阻止驾驶员的危险操作；当车辆停驶而司乘人员欲向外打开车门时，一旦靠近车门侧有机动车、非机动车或行人通过，便由系统输出决策执行指令来阻止司乘人员打开车辆。

2、根据权利要求1所述车辆智能后视方法，其特征是，所述预处理，具体如下：

①对真彩色图像进行颜色分离，从真彩色图像中分别提取出红色分量R、绿色分量G和蓝色分量B；

②通过公式：f(x，y)＝0.299×R(x，y)+0.587×G(x，y)+0.114×B(x，y)，将真彩色图像转换为灰度图像，式中，f(x，y)为转换后的灰度图像在(x，y)点的灰度值，R(x，y)、G(x，y)、B(x，y)分别为转换前的彩色图像在(x，y)点的红、绿、蓝亮度值；

③利用直方图对灰度图像进行均衡化处理，通过离散化方程：

$s_k=T\left(r_k\right)=\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{p}_r\left(r_j\right)=\underset{j=1}{\overset{k}{\mathrm{\Σ}}}\frac{n_j}{n}$

的运算，使分布在每个灰度等级上的像素个数保持相等或基本相等，用增强目标与背景的灰度对比度，其中，T为变换函数，r_k代表原图像的灰度级，s_k代表r_k经均衡化变换后的灰度级，k＝1，2，...L，L为灰度级总数，n为图像中像素总数，n_k第k个灰度级出现的频数，p_r为给定图像的灰度级概率密度函数。

3、根据权利要求1所述车辆智能后视方法，其特征是，所述基于多结构元素数学形态学的方法对图像进行边缘检测，具体如下：

①选取多结构元素，令图像中心点为坐标原点(x₀，y₀)，则方形结构元素矩阵为B_i＝{f(x+x₀，y+y₀)，θ_i＝i×α|-N≤x₀，y₀≤N}，其中，B_i＝B_i(s，t)，i＝0，1，2，...4N-1，N为自然数，(s，t)为矩阵二维像素坐标，α＝180°/4N，θ_i是结构元素在矩阵中形成的方向角，简称方向角；

②对灰度图像进行灰度膨胀运算、灰度腐蚀运算，得到形态学梯度g_i(f)；

③对形态学梯度g_i(f)进行加权合成，获得合成后的形态学梯度

$\hat{g}\left(f\right)=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\ω}}_i{g}_i\left(f\right)$

其中，i＝1，2，...M，M是方形结构元的个数，ω_i是边缘检测中不同方向角的权重；

④对合成后的形态学梯度

进行二值化处理。

4、根据权利要求3所述车辆智能后视方法，其特征是，所述对灰度图像进行灰度膨胀运算、灰度腐蚀运算，得到形态学梯度，具体为：

首先，用B＝B(s，t)结构元素对灰度图像在(x，y)点的灰度值f＝f(x，y)输入图像进行灰度膨胀运算fB，膨胀运算的定义公式为：

(fB)(x，y)＝max{f(s-x，t-y)+B(s，t)|(s-x，t-y)∈D_fand(s，t)∈D_B}；

其次，用B的结构元素对f的输入图像进行灰度腐蚀运算fΘB，腐蚀运算的定义公式为：

(fΘB)(x，y)＝min{f(x+s，y+t)-B(s，t)|(s+x，t+y)∈D_fand(s，t)∈D_B}

上述两公式中，D_f、D_B分别是f与B的定义域；

最后，对上述膨胀和腐蚀运算进行结合得到形态学梯度g_i(f)，运算公式为：

g_i(f)＝(fB)-(fΘB)

其中，i与B_i中i的取值相对应。

5、根据权利要求3所述车辆智能后视方法，其特征是，所述进行二值化处理，具体为：

首先，计算灰度图像帧平均灰度值

再以3像素×3像素小区域为单位计算该区域中九个像素灰度a_i的平均值main： $\mathrm{main}=\frac{1}{9}\underset{i=1}{\overset{9}{\mathrm{\Σ}}}{a}_i,$

逐一计算该像素小区域灰度的平均方差e_A： $e_A=\sqrt{\underset{i=1}{\overset{9}{\mathrm{\Σ}}}{(\mathrm{main}-a_i)}^2};$

其次，逐一将像素小区域灰度平均方差e_A与灰度图像帧平均灰度值

进行比较，按下式确定该像素小区域取1或0：

$F(x,y)=\left\{\begin{array}{cc}1& {\stackrel{\‾}{A}}_{\mathrm{gray}}\≤n\·e_A\\ 0& {\stackrel{\‾}{A}}_{\mathrm{gray}}>n\·e_A\end{array}\right.$

其中，F(x，y)为灰度图像f(x，y)所对应的二值化图像，n为倍数，由实验确定。

6、根据权利要求1所述车辆智能后视方法，其特征是，所述形成采样圆区域，是指：以坐标原点(x₀，y₀)为圆心、图像帧宽度的一半为采样最大半径r_max形成一个采样圆区域。

7、根据权利要求1所述车辆智能后视方法，其特征是，所述进行图像数据转换，其变换公式为：

$\left\{\begin{array}{c}u=k_u\ln \left(\frac{r}{r_{\min }}\right)\\ v=\mathrm{\θ}=k_v\arctan \left(\frac{y}{x}\right)\end{array}\right.$

其中，k_u、k_v分别为距离分辨率和角度分辨率常数，根据实际情况通过实验设定， $r=\sqrt{x^2+y^2}$ 为像素距变换中心的长度，(x，y)是图像在直角坐标中的坐标，(u，v)是经过转换后所得到的极对数栅格坐标系中的坐标，u为极对数栅格坐标系的横坐标轴，其对应像素距变换中心的长度，v为极对数栅格坐标系的纵坐标轴，等于该像素极径与水平轴的夹角，r_min是进行极对数坐标变换时，采样的最小半径。

8、根据权利要求1所述车辆智能后视方法，其特征是，所述进行运动状态识别，是指根据边缘图像在极对数栅格坐标系横坐标上投影所得到的坐标集合Q＝{u_i|i＝1，2，3，...；u_i∈U}分析车后物体运动状态，其中，U为极对数栅格坐标系横坐标u_i的论域，具体如下：

利用从直角坐标到极对数栅格坐标的变换具有物体旋转不变性和缩放不变性实行对目标的跟踪，选取u_i，以u_i(k)为u_i在时间t的采样值，令采样周期为Δt，则u_i(k+1)为u_i在下一个采样时间t+Δt的采样值；

判断u_i(k)和u_i(k+1)大小关系，若|u_i(k+1)|＜|u_i(k)|，表明被选取u_i所代表的物体为自身车辆后方的静止物体或者是运动速度为低于自身车辆的相对低速物体，否则，表明被选取u_i所对应的物体为后方运动速度超过自身车辆的相对高速物体。

9、根据权利要求1所述车辆智能后视方法，其特征是，所述进行决策运算并输出执行指令，具体为：

当车辆处于行驶状况，在左视图中|u_i(k+1)|＞|u_i(k)|，u_i(k)为u_i在时间t的采样值，令采样周期为Δt，u_i(k+1)为u_i在下一个采样时间t+Δt的采样值，驾驶员一旦拨动左转指示开关，信号处理器实时输出控制指令向驾驶员发出语音、灯光和液晶视屏警示，同时通过机电装置阻止驾驶员的左转或做变道操作；在右视图中|u_i(k+1)|＞|u_i(k)|，驾驶员一旦拨动右转指示开关，信号处理器实时输出控制指令向驾驶员发出语音、灯光和液晶视屏警示，同时通过机电装置阻止驾驶员的右转或右变道操作；

当车辆处于停驶状况，在左视图中|u_i(k+1)|＞|u_i(k)|，信号处理器实时输出控制指令向驾驶员发出语音、灯光和液晶视屏警示，同时通过机电装置锁闭车辆左侧车门，禁止司乘人员开左侧车门的操作；在右视图中|u_i(k+1)|＞|u_i(k)|，控制指令输出模块实时输出控制指令向驾驶员发出语音、灯光和液晶视屏警示，同时通过机电装置锁闭车辆右侧车门，禁止司乘人员开右侧车门的操作；

当车辆处于倒车状况，在后视图中满足：

$\left(\right|u_i(k+1)|>|u_i\left(k\right)\left|\right)\mathrm{and}(\frac{\left|u_i(k+1)\right|-\left|u_i\left(k\right)\right|}{\mathrm{\Δt}}\≥10\mathrm{pixels}/s),$ 其中：pixels为像素单位，或者，在极指数栅格采样半径等于

的圆区域中，边缘图像出现的概率小于20％，控制指令输出模块实时输出控制指令向驾驶员发出语音、灯光和液晶视屏警示，同时通过机电装置禁止驾驶员倒车操作。

Images