CN101734214B - 汽车防撞行人智能装置与方法 - Google Patents

Abstract

一种汽车自动控制技术领域的汽车防撞行人智能装置与方法，装置包括：双目针孔摄像头、信号处理器、车速操控机构和语音提示器；方法的步骤包括：步骤一，摄像头参数标定；步骤二，左、右视图合成；步骤三，判定并确定移动物体所在区域；步骤四，克服灰度差异的阈值求取；步骤五，相似度度量；步骤六，检测移动物体与车辆的距离；步骤七，控制指令输出；步骤八，重复步骤二到步骤七的循环过程。本发明能够对路面状况进行自动检测，一旦发现过路行人，装置就会立即发出控制指令，警示驾驶员注意前方路况，并自动使车辆减速和刹车，因此提升了车辆自动化、智能化技术水平，确保了行车安全。

Description

汽车防撞行人智能装置与方法

技术领域

本发明涉及的是一种自动控制技术领域的装置与方法，具体是一种汽车防撞行人智能装置与方法。

背景技术

车辆在道路上行驶过程难免要遇到行人横穿道路或者其它障碍物的情形。众所周知，因为驾驶员的疏忽，往往酿成惨祸，特别是行人横穿城市道路斑马线或横穿乡村道路时。要彻底铲除此类交通事故的发生，很重要的一点是在于提升车辆的自动化和智能化技术水平。基于图像信息的车辆智能防撞技术就是其中的有效手段之一。

经对现有技术文献的检索发现，王运韬的发明专利“汽车主动与被动保护充气式防撞安全气囊”(专利号：200810231666.2)公开了一种汽车主动与被动保护充气式防撞安全气囊，属于汽车在行驶中的安全保护装置，结构是车体前安装毫米波雷达和碰撞传感器，汽车在行驶中当出现障碍物或车辆偏离道路时，能报警或语言提醒驾驶员、安全带自锁保护、后尾灯闪亮和自动刹车主动保护，车辆在发生碰撞时发动机护盖气囊升起并将挡风玻璃遮盖，安全带气囊或方向盘气囊、侧气囊、车窗气帘和后追尾气囊同时打开，打开后的有效工作时间为3000毫秒，形成被动保护充气式防撞安全气囊，对道路行人、车内乘员、驾驶员、车辆、物体及追尾车辆起到缓冲吸能保护作用，以最大程度减少人员伤亡、车辆及物体因碰撞带来的损失。但是该技术存在以下缺点：

(1)采用毫米波雷达虽然能够探测车辆前方的障碍物，但是毫米波雷达用于汽车防撞显然受到一定程度的技术限制，因为：当采用大功率雷达信号时，车辆将会经常出现误报，比如车辆转弯时，就因为探测到路边的障碍物而频繁地产生误报；如果降低雷达信号的发射功率，又会使得该技术只能适用于低速、近距离探测，显然不适用于高速行驶中的车辆。

(2)依靠“碰撞传感器”来启动“气囊”的泄放，这是一种极为被动和接触式的防撞技术。采用这种方法，一旦发生碰撞只能减轻被撞者的伤亡程度，显然这是一种万不得已的方法，何况从整个发明思想来看，其保护的重点在于司乘人员的人身安全，而并没有将路上行人放在首要地位来考虑。

(3)“有效工作时间为3000毫秒”这是汽车防止碰撞所绝对不允许的“作用时间”，假定发生碰撞前的车速为60km/h，经过“3000毫秒”的作用，车辆已经“滑出”50m，可以想象此时汽车对被撞物的破坏性作用有多么巨大！

发明内容

本发明的目的在于克服现有技术中的上述不足，提供一种汽车防撞行人智能装置与方法。本发明确保车辆在行驶过程，一旦前方有行人出现，车辆能够及时减速或刹车，而且能够做到识别与控制的准确性和快速性，因此从根本上提升汽车驾驶的自动化技术水平，有效避免交通事故的发生。

本发明是通过以下技术方案实现的：

本发明涉及的汽车防撞行人智能装置，包括：双目针孔摄像头、信号处理器、车速操控机构和语音提示器，其中：双目针孔摄像头设置在车辆前方远视灯的内侧，双目针孔摄像头的输出端分别与信号处理器的输入端相连传输道路景物图像模拟信息，信号处理器输出端分别与车速操控机构和语音提示器相连传输控制决策信息和音响警示信息。

所述的双目针孔摄像头包括：两个针孔摄像头，其中：第一针孔摄像头设置在车辆左前方远视灯的内侧，第二针孔摄像头设置在车辆右前方远视灯的内侧，两个针孔摄像头的光轴平行，且两个针孔摄像头分别与信号处理器相连传输道路景物图像模拟信息。

所述的信号处理器包括：两个图像输入接口、两个模数转换模块、图像处理模块、车速信号输入接口和输出接口，其中：第一图像输入接口的输入端与第一针孔摄像头的输出端相连传输模拟图像信号，第二图像输入接口的输入端与第二针孔摄像头的输出端相连传输模拟图像信号，第一图像输入接口的输出端与第一模数转换模块的输入端相连传输模拟图像信号，第二图像输入接口的输出端与第二模数转换模块的输入端相连传输模拟图像信号，两个模数转换模块的输出端口分别与图像处理模块的输入端相连传输数字图像信号，车辆的速度传感器与车速信号输入接口的输入端相连传输数字车速信号，车速信号输入接口的输出端与图像处理模块的输入端相连传输数字车速信号，图像处理模块的输出端与输出接口的输入端相连传输控制决策指令，输出接口的输出端分别与车速操控机构和语音提示器相连传输控制决策信息和音响警示信息。

所述的车速操控机构，包括：车控输入接口、第一数模转换器、功率放大器、电磁阀和电动刹车推杆，其中：车控输入接口与第一数模转换器的输入端相连传输车速控制指令，第一数模转换器的输出端与功率放大器的输入端相连传输车速控制电压信号，功率放大器的输出端分别与电磁阀和电动刹车推杆相连传输电功率信号。

所述的电磁阀包括：电磁线圈、电磁铁芯、阀门、阻力弹簧和阀体，其中：电磁线圈套在电磁铁芯的外面，电磁线圈的两个端点与功率放大器的输出端连接，阀门和阻力弹簧位于阀体上，阻力弹簧套在阀门上，受电时通过电磁铁芯产生磁力对阀门产生磁性吸力，随着加在电磁线圈两端点电压的大小变化，电磁铁芯的磁性吸力同时产生变化，电磁铁芯的磁性吸力作用于阀门且拉动阀门以改变阀门的开度，阻力弹簧是一种拉伸弹簧，阀门在电磁铁芯磁性吸力拉动的同时，阻力弹簧也同时受到拉伸，因此产生一个与电磁铁芯磁性吸力相反的弹性力，当电磁铁芯磁性吸力和阻力弹簧弹力达到平衡时，阀门就被停止拉动，即停止在与加在电磁线圈两端点电压相对应的一个阀门开度。

所述的电动刹车推杆，包括：电刹车线圈与电磁推杆，其中：电刹车线圈套装在电磁推杆的一端，电磁推杆的另一端与汽车的脚踏刹车杆杠机构相连，电刹车线圈的两端分别与功率放大器相连。当电刹车线圈受电时，电刹车线圈所产生的电磁场对套装在电刹车线圈内的推杆产生轴向机械推力，该轴向机械推力作用在脚踏刹车杆杠机构的电动推杆作力点上，通过杆杠机构起到与脚踏刹车同样的效果使车辆自动刹车。

所述的语音提示器，包括：语音输入接口、译码器、数字语音模块、第二数模转换器、功率放大模块和扬声器，其中：语音输入接口的输入端与信号处理器的输出接口相连接收音响警示信息，语音输入接口的输出端与译码器的输入端相连传输音响警示指令，译码器的输出端与数字语音模块的输入端相连传输寻址指令，数字语音模块的输出端与第二数模转换器的输入端相连传输数字语音信号，第二数模转换器的输出端与功率放大模块的输入端相连传输模拟语音信号，功率放大模块的输出端与扬声器的输入端相连传输模拟语音电功率信号。

本发明涉及的上述汽车防撞行人智能装置的智能方法，包括以下步骤：

步骤一，以Y_W、Z_W构成水平面坐标，X_W垂直于水平面来建立世界坐标系，根据计算机图像坐标系像素点坐标(u，v)和世界坐标系空间三维坐标(X_W，Y_W，Z_W)之间的关系，对双目针孔摄像头进行参数标定。

步骤二，将信号处理器接收到的左、右两幅数字图像进行透视变换恢复到同一个透视关系上，获得两幅图像形状一致的公共部分，并使得两幅图像在非重叠部分具有良好的形状平滑连续性，将两幅图像根据公共部分重合原则进行拼接。

步骤三，根据得到的二维平面图像，确定移动物体所在区域。

所述的确定移动物体所在的区域是：

1)将得到的二维平面图像分成M₁×M₂个单元，每个单元包含N₁×N₂个像素，像素点(u，v)的灰度等级F_uv为

其中：f(i，j)为像素点(i，j)的灰度值，0≤f(i，j)≤L，0≤F_uv≤L，0≤u≤M₁-N₁，0≤v≤M₂-N₂，L是灰度等级的总数；

2)将每帧图像的单元与其前一帧图像相同位置的单元进行对比，当

时，移动物体的像素坐标是(p，q)。

其中：D_rs代表连续两帧相同位置单元的灰度等级差的绝对值，F_pq ^(t)是t时刻像素点(p，q)的灰度等级，F_pq ^(t-1)是(t-1)时刻像素点(p，q)的灰度等级，0≤p≤M₁-N₁-1，0≤q≤M₂-N₂-1，r，s＝-1，0，1。

步骤四，根据OTSU(最大类间方差法)方法，得到每帧图像的克服灰度差异的阈值k。

鉴于实时采集的序列图像，即使是同一景物也会由于自然环境的影响在色彩上呈现出不同的对比度，亦即前后两帧可能在景物的同一部分取到不同的灰度值，因此对于每帧图像都要计算该帧的灰度阈值k以确定灰度差异在何种程度下可以接受。该阈值k求取采用OTSU方法。步骤五，将得到的前后两帧中移动物体的最小距离度量D(p，q)与克服灰度差异的阈值k进行比较，当 $D(p,q)>\frac{1}{2}k$ 时，则像素点(p，q)所在的单元是运动区域的一部分，对该单元进行标注，进而对移动物体的整个区域进行标注。

所述的前后两帧中移动物体的最小距离度量D(p，q)的具体公式为：

或：

或：

或：

其中：X_p+i，q+j为像素点(p，q)所在的单元移动前图像向量，Y_p+i，q+j为像素点(p，q)所在的单元移动后图像向量。

步骤六，根据移动物体的标注点，得到移动物体与车辆的距离。

所述的移动物体与车辆的距离是：分别将移动物体的标注点在左、右视图中的像素坐标(u_l，v_l)和(u_r，v_r)转换为世界坐标(X_Wl，Y_Wl，Z_Wl)和(X_Wr，Y_Wr，Z_Wr)，再利用空间中值法得到移动物体空间坐标的最优近似值得到的

就是被检测到的移动物体与车辆的实际距离值。

步骤七，信号处理器根据得到的移动物体与车辆的距离信息，对车速操控机构和语音提示器发出控制指令，警示驾驶员注意前方路况，并通过车速操控机构自动使车辆减速并停止在移动物体之前。

步骤八，在车辆行驶的过程中，不断依次重复步骤二到步骤七，保障车辆安全行驶。

与现有技术相比，本发明具有如下有益效果：能够对路面状况进行自动检测，一旦发现过路行人或其他移动物体，装置就会立即发出控制指令，警示驾驶员注意前方路况，并自动使车辆减速和刹车，确保了行车安全；具有对前方突然出现的行人或车辆进行刹车或避让的功能，因此能够明显降低碰撞行人和其他移动物体而引发道路交通事故发生的概率，在保障车辆行驶安全方面进一步提高了车辆的自动化和智能化水平。

附图说明

图1为本发明系统结构示意图。

图2为本发明中双目针孔摄像头在汽车上的设置位置结构示意图。

图3为本发明信号处理器结构示意图。

图4为本发明的车速操控机构示意图。

图5为本发明的语音提示器结构示意图。

图6为实施例摄像头几何模型图。

图7为实施例外极几何图。

图8为实施例摄像头参数标定板。

图9为实施例左、右视图合成实例图；

其中：(a)为第一时刻出现的行人通过道路图像；(b)为第二时刻出现的行人通过道路图像；(c)为第三时刻出现的行人通过道路图像；(d)为第四时刻出现的行人通过道路图像；(e)为第五时刻出现的行人通过道路图像；(f)为第六时刻出现的行人通过道路图像。

图10为实施例图像格式化示意图。

图11为实施例标注点形成的矩状移动块示意图；

其中：(a)为标注点第一时刻在计算机图像坐标系上位置，(b)为标注点第二时刻在计算机图像坐标系上位置，(c)为前后两个时刻的标注点在计算机图像坐标系上位置所构成的矩形框。

图12为实施例识别加速的流程框图。

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1和图2所示，本实施例涉及的汽车防撞行人智能装置，包括：第一针孔摄像头1、第二针孔摄像头2、信号处理器3、车速操控机构4和语音提示器5，其中：第一针孔摄像头1设置在车辆左前方远视灯内侧，第二针孔摄像头2设置在车辆右前方远视灯内侧，两个针孔摄像头的光轴平行，两个针孔摄像头的输出端分别与信号处理器3的输入端相连传输道路景物图像模拟信息，信号处理器3的输出端分别与车速操控机构4的输入端和语音提示器5的输入端相连传输控制决策信息和音响警示信息。

所述的针孔摄像头是CMOS摄像头。

如图3所示，所述的信号处理器3，包括：第一图像输入接口31、第二图像输入接口32、第一模数转换模块33、第二模数转换模块34、图像处理模块35、车速信号输入接口36和输出接口37，其中：第一图像输入接口31的输入端经视频电缆与第一针孔摄像头1的输出端相连传输模拟图像信号，第二图像输入接口32的输入端经视频电缆与第二针孔摄像头2的输出端相连传输模拟图像信号，第一图像输入接口31的输出端与第一模数转换模块33的输入端相连传输模拟图像信号，第二图像输入接口32的输出端与第二模数转换模块34的输入端相连传输模拟图像信号，两个模数转换模块的输出端口分别与图像处理模块35的输入端相连传输数字图像信号，车辆的速度传感器与车速信号输入接口36的输入端相连传输数字车速信号，车速信号输入接口36的输出端与图像处理模块35的输入端相连传输数字车速信号，图像处理模块35的输出端与输出接口37的输入端相连传输控制决策指令，输出接口37的输出端分别与车速操控机构4和语音提示器5相连传输控制决策信息和音响警示信息。

所述的图像处理模块35是信号处理器3中的核心技术模块，承担图像信息的处理、识别与决策的整个运算过程。

如图4所示，所述车速操控机构4，包括：车控输入接口41、第一数模转换器42、功率放大器43、电磁阀44和电动刹车推杆45，其中：车控输入接口41的输入端与信号处理器3的输出接口37相连传输控制决策信息，车控输入接口41的输出端与第一数模转换器42的输入端相连传输车速控制指令信息，第一数模转换器42的输出端与功率放大器43的输入端相连传输车速控制电压信号，功率放大器43的输出端分别与电磁阀44和电动刹车推杆45相连传输电功率信号。

所述的电磁阀44包括：电磁线圈46、电磁铁芯47、阀门48、阻力弹簧49和阀体50五个部分，其中：电磁线圈46套在电磁铁芯47的外面，电磁线圈46的两个端点与功率放大器43的输出端连接，阀门47和阻力弹簧49位于阀体50上，阻力弹簧49套在阀门48上，受电时通过电磁铁芯47产生磁力对阀门48产生磁性吸力，随着加在电磁线圈46两端点电压的大小变化，电磁铁芯47的磁性吸力同时产生变化，电磁铁芯47的磁性吸力作用于阀门48、拉动阀门48以改变阀门48的开度，阻力弹簧49是一种拉伸弹簧，阀门48在电磁铁芯47磁性吸力拉动的同时，阻力弹簧49也同时受到拉伸，因此产生一个与电磁铁芯47磁性吸力相反的弹性力，当电磁铁芯47磁性吸力和阻力弹簧49弹力达到平衡时，阀门48就被停止拉动，即停止在与加在电磁线圈46两端点电压相对应的一个阀门开度。

所述的电动刹车推杆45，包括：电刹车线圈与电磁推杆，其中：电刹车线圈套装在电磁推杆的一端，电磁推杆的另一端与脚踏刹车杆杠机构连接，当电刹车线圈受电时，电刹车线圈所产生的电磁场对套装在电刹车线圈内的推杆产生轴向机械推力，该轴向机械推力作用在脚踏刹车杆杠机构的电动推杆的作力点上，通过杆杠机构起到与脚踏刹车同样的效果使车辆自动刹车。

所述的车速操控机构4的工作原理是：车辆正常行驶中，电磁阀44处于全开状态，即开度为100％；当本实施例装置识别出的道路存在行人或其它移动物体时，电磁线圈46在输入电压信号的作用下，电磁铁芯47产生磁力拉动阀门48减小其原有开度，因此减小了燃料的流量，迫使车辆降速；同时，电刹车线圈也在输入电压信号的作用下，对电磁推杆产生轴向推力通过杆杠机构的力矩传递带动汽车的脚刹车迫使车辆逐渐减速并最终停止下来。

如图5所示，所述语音提示器5，包括：语音输入接口51、译码器52、数字语音模块53、第二数模转换器54、功率放大模块55和扬声器56；其中：语音输入接口51与信号处理器3的输出接口37相连传输音响警示信息，语音输入接口51的输出端与译码器52的输入端相连传输音响警示信息，译码器52的输出端与数字语音模块53的输入端口相连传输寻址指令，数字语音模块53的输出端口与第二数模转换器54的输入端相连传输数字语音信号，第二数模转换器54的输出端与功率放大模块55的输入端相连传输模拟语音信号，功率放大模块55的输出端与扬声器56的输入端相连传输模拟语音电功率信号。当语音提示器5的语音输入接口51接收到控制指令后，经过译码器52的解释，链接数字语音模块53中的相关语音单元，将链接后的语音单元序列依次输至第二数模转换器54转换为语音模拟信号，再将语音模拟信号输至功率放大模块55，经功率放大后驱动扬声器56发出相应的语音提示。

本实施例涉及的上述汽车防撞行人智能装置的智能方法，包括以下步骤：

步骤一，以Y_W、Z_W构成水平面坐标，X_W垂直于水平面来建立世界坐标系，根据计算机图像坐标系像素点坐标(u，v)和世界坐标系空间三维坐标(X_W，Y_W，Z_W)之间的关系，对双目针孔摄像头进行参数标定(包括内、外参数的标定)。

如图6所示，本实施例中采用的摄像头几何模型，表达了空间点坐标在计算机图像坐标系o_uvuv、物理图像坐标系oxy、摄像机坐标系o_cx_cy_cz_c和世界坐标系O_WX_WY_WZ_W中的相互转换关系，即映射关系；其中：

1)计算机图像坐标系o_uvuv，原点o_uv位于摄像头图像平面的左上角，u和v分别表示像素位于数组的列数和行数，单位为pixel(像素)；

所述的计算机图像坐标系，又称为归一化虚平面图像坐标系，是指：沿光轴在与摄像机光学成像平面形成对称的平面称为虚平面，在其上所建立的坐标系称为虚平面图像坐标系，将图像像素特征量进行归一化后在虚平面坐标系上的表达称为图像的归一化虚平面坐标系表达，使用归一化表达的虚平面坐标系所处平面，又称为归一化虚平面。

2)物理图像坐标系oxy，原点(即主点o)定义在摄像头光轴与物理图像平面的交点，x、y轴分别与u、v轴平行；p_u(x_u，y_u)表示针孔模型下P点的理想图像坐标，p_d(x_d，y_d)是由透镜径向畸变引起的偏离p_u(x_u，y_u)的实际图像坐标；

3)摄像机坐标系o_cx_cy_cz_c，原点o_c定义在摄像机的光心，x_c、y_c轴分别平行于x、y轴，z_c轴与光轴重合。o_co为摄像机的有效焦距f，(x_c，y_c，z_c)表示物点P在摄像机坐标系下的三维坐标；

4)世界坐标系O_WX_WY_WZ_W，根据具体环境来定，(X_W，Y_W，Z_W)表示物点P在世界坐标系下的三维坐标。

如图7所示，针对双目视觉系统从两个角度观测同一个点，寻求两个成像点之间的外极线约束的相关几何学问题，被称为外极几何。图7中，两个针孔摄像头平行摆放，P、P^*分别为左目摄像头和右目摄像头观测的两个三维空间共同点，O_l、O_r分别为左、右摄像机的光心；e_l、e_r分别为左、右像面上的外极中心；P点在左、右摄像机的归一化虚成像平面上的成像点分别为p_l[x_l y_l 1]^T和p_r[x_r y_r 1]^T，对于共同观测点P的左、右两条外极线分别通过点P_l、e_l和P_r、e_r；P^*点在左、右摄像机的归一化虚成像平面上的成像点分别为p_l ^*[x_l ^* y_l ^* 1]^T和p_r ^*[x_r ^* y_r ^* 1]^T，对于共同观测点P^*的左、右两条外极线分别通过点P_l ^*、e_l和P_r ^*、e_r。

所述摄像头的参数标定，包括摄像头内、外参数的标定。计算机视感检测技术是从摄像头获取的图像出发，计算空间中物体的几何信息，从而识别、理解或重构空间物体，而空间物体的几何信息是由摄像头成像的几何模型参数和摄像头所处的位姿参数(位置与姿态参数)所决定的，在大多数条件下这些参数必须通过实验和计算得到，这个过程称为标定过程。对于计算机视感系统，不同的系统有着不同的精度要求，所要标定的参数也不相同，因此采用的标定方式和过程也不同。若需要较高的测量精度，则需采用较复杂的成像模型，并且在标定过程中需要高精度的辅助标定参照物。

根据计算机图像坐标系像素点坐标(u，v)和世界坐标系空间三维坐标(X_W，Y_W，Z_W)之间的关系：

(公式一)

其中，p＝[u v]^T，u和v分别表示像素位于数组的列数和行数，单位为pixel；P＝[X_W Y_W Z_W]^T，X_W、Y_W、Z_W分别代表公共角点的竖直高度、横向宽度和纵向长度坐标值，表达空间坐标的世界坐标系遵循右手定则，并将坐标原点定在第一(或第二)针孔摄像头的光心位置，因此，代表竖直高度的X_W为负值时，表明该空间点高出地面，否则低于地面；代表纵向长度坐标值的Z_W表明被测空间点与当前车辆的距离，且为负值；s为世界坐标系中空间点映射到摄像头坐标系(x_c，y_c，z_c)中z_c轴上的分量，其数值等于(公式一)右边计算结果所得到的三维列向量中的第三元素值；

为三维点坐标从归一化成像平面到物理成像平面的等比例缩放矩阵，其缩放的比例(逻辑焦距)和实际焦距f有关，单位为“像素/m”，f_x、f_y称为u轴和v轴上的尺度因子，(c_x，c_y)为主点o(即物理图像坐标系oxy的原点)的像素坐标，又称主点坐标，矩阵K参数被称为摄像机内参数；

R中的矩阵元素r_i称为摄像头旋转参数，t中列向量元素称为摄像机的平移参数，R与t的参数统称为摄像头的外参数。

所述的外部参数，包括R和t，共12个，但因R为单位正交矩阵，满足6个正交约束，故只有6个外部参数需要标定，加上内部参数f、k₁、s_x和c_x、c_y，总共有11个参数需要标定。

如图8所示，本实施例采用方格模板标定法，具体是：

1)双目针孔摄像头的内、外参数标定具体采用7×6的方格模板，每个小方格尺寸为25mm×25mm；在车辆停驶状态下，将方格模板竖立于世界坐标系的OX_WY_W平面上；两个针孔摄像头分别对方格模板拍摄若干幅图像；

2)取每幅模板图像中的小方格正方形的四个顶点作为特征点，每幅模板共有56个点，根据所选择的世界坐标系M＝[X_W Y_W Z_W]^T测出每个特征点的世界坐标

M_i＝[X_Wi Y_Wi 0]^T＝[X_Wi Y_Wi]^T；i＝1，2，…，56；

3)将方格模板中第五行的7个特征点作为三维重建点，其余49个特征点作为标定点；

4)两个针孔摄像头分别通过各自所拍摄到的模板图像中的49个特征点坐标代入(公式一)，利用外参数矩阵[R t]中列向量相互正交特性及其约束条件，得到全部外参数；

5)根据外参数矩阵[R t]，得到与三维重建点相对应的7个特征点坐标将该7个特征点坐标计算值与上述7个三维重建点坐标

进行比较，

6)根据相差最小目标函数

分别对两个针孔摄像头外参数标定结果做出标定误差评价，当Q_min≤ε时，就认为标定达到要求；ε是设定的一个常数，本实施例取ε＝0.01。

步骤二，将信号处理器3接收到的左、右两幅数字图像进行透视变换恢复到同一个透视关系上，获得两幅图像形状一致的公共部分，并使得两幅图像在非重叠部分具有良好的形状平滑连续性，将两幅图像根据公共部分重合原则进行拼接。

本实施例左、右两幅数字图像的合成图如图9所示，其中：图9(a)为第一时刻出现的行人通过道路图像；图9(b)为第二时刻出现的行人通过道路图像；图9(c)为第三时刻出现的行人通过道路图像；图9(d)为第四时刻出现的行人通过道路图像；图9(e)为第五时刻出现的行人通过道路图像；图9(f)为第六时刻出现的行人通过道路图像。

步骤三，根据得到的二维平面图像，确定移动物体所在区域；

如图10所示，本实施例将合成后的每幅二维平面图像进行网格化，即把它分成M₁×M₂个方形的象元，即单元。假定每个单元包含N₁×N₂像素，每个单元的灰度等级F_uv为

(公式九)

其中，f(i，j)为像素点(i，j)的灰度值(0≤f(i，j)≤254，0≤F_uv≤254)，0≤u≤M₁-N₁，0≤v≤M₂-N₂。

由于在同一背景下连续两帧图像之间，除了移动目标及其周围区域之外，其它区域的灰度值相对变化不大，因此，选取N₁×N₂的模板，比如3×3或5×5像素，将前后两帧图像的对应部分以模板的大小为单位进行比对，根据两者之间差异可以确定出图像中是否出现移动目标及其所处的区域。

如：有连续采集的、大小为M₁×M₂的先后两帧图像，模板大小取为3×3像素，则按顺序扫描，由当前帧的单元F_pq ^(t)与上一帧图像的单元F_pq ^(t-1)比对得

(公式十)

其中：D_rs代表连续两帧相同位置单元的灰度等级差的绝对值，F_pq ^(t)是t时刻像素点(p，q)的灰度等级，F_pq ^(t-1)是(t-1)时刻像素点(p，q)的灰度等级，0≤p≤M₁-N₁-1，0≤q≤M₂-N₂-1，r，s＝-1，0，1。

当D_rs＞0时，说明汽车前方正在出现移动物体，而且该移动物体处于计算机图像坐标系中的像素坐标为(p，q)；否则，说明汽车前方未出现移动物体。

步骤四，根据OTSU方法，得到每帧图像的克服灰度差异的阈值k。

鉴于实时采集的序列图像，即使是同一景物也会由于自然环境的影响在色彩上呈现出不同的对比度，亦即前后两帧可能在景物的同一部分取到不同的灰度值，因此对于每帧图像都要计算该帧的灰度阈值k以确定灰度差异在何种程度下可以接受。

所述OTSU方法又称最大类间方差法，是图像分割方法中基于点的全局阈值选取法中的一种，诞生于1978年，作者是Otsu。OTSU方法以最佳门限将图像灰度直方图分成目标和背景两部分，使两部分类间方差取到最大值，即分离性最大。

采用OTSU方法求取阈值，具体方法如下：

设图像灰度级为1～L(本实施例L＝255，灰度级即为1～255)，第l级灰度像素数有n_l个(l∈[1，L])，总像素数N为：

$N=\underset{l=1}{\overset{L}{\mathrm{\Σ}}}{n}_l$ (公式十一)

则第l级灰度像素出现的概率P₁为：

P_l＝n_l/N        (公式十二)

设灰度门限值为k，则图像灰度级按门限可以被分为两类：C₀与C₁，具体为：

(公式十三)

图像总平均灰度级μ为：

$\mathrm{\μ}=\underset{l=1}{\overset{L}{\mathrm{\Σ}}}{\mathrm{lP}}_l$ (公式十四)

C₀类的平均灰度级μ₀、像素数N₀分别为：

${\mathrm{\μ}}_0=\mathrm{\μ}\left(k\right)=\underset{l=1}{\overset{k}{\mathrm{\Σ}}}{\mathrm{lP}}_l$ (公式十五)

与

$N_0=\underset{l=1}{\overset{k}{\mathrm{\Σ}}}{n}_l$ (公式十六)

C₁类的平均灰度级μ₁、像素数N₁分别为：

μ₁＝μ-μ₀                 (公式十七)

与

N₁＝N-N₀                    (公式十八)

C₀类图像所占比例w₀为：

$w_0=w\left(k\right)=\underset{l=1}{\overset{k}{\mathrm{\Σ}}}{P}_l$ (公式十九)

C₁类图像所占比例w₁为：

w₁＝1-w₀                    (公式二十)

分别对C₀、C₁作规范化处理得：

${\stackrel{\‾}{\mathrm{\μ}}}_0={\mathrm{\μ}}_0/w_0,$ ${\stackrel{\‾}{\mathrm{\μ}}}_1={\mathrm{\μ}}_1/w_1$ (公式二十一)

则图像总均值μ可化为：

$\mathrm{\μ}=w_0{\stackrel{\‾}{\mathrm{\μ}}}_0+w_1{\stackrel{\‾}{\mathrm{\μ}}}_1$ (公式二十二)

类间方差σ²(k)为：

(公式二十三)

上式进一步简化为：

(公式二十四)

其中：1≤k≤L，且k为整数，使σ²(k)最大的k即为所求的阈值，σ²(k)称为目标选择函数。

通过上述公式十一～公式二十四的依次计算，即可求出每幅图像的克服灰度差异的阈值k。

步骤五，将得到的前后两帧中移动物体的最小距离度量D(p，q)与克服灰度差异的阈值k进行比较，当 $D(p,q)>\frac{1}{2}k$ 时，则像素点(p，q)所在的单元是运动区域的一部分，对该单元进行标注，如图11(a)所示；图11(b)为标注点单元在后时刻的运动位置；在标注的过程中，同时进行比较，求出移动区域的上、下、左、右的边界点，从而得出矩状的移动块，如图11(c)所示。

所述的前后两帧中移动物体的最小距离度量D(p，q)的具体公式为：

或：

或：

或：

其中：X_p+i，q+j为像素点(p，q)所在的单元移动前图像向量，Y_p+i，q+j为像素点(p，q)所在的单元移动后图像向量；或者说，X_p+i，q+j、Y_p+i，q+j分别为前后两个时刻所采集到的两幅图像中的像素点(p，q)所在的单元子图的图像向量描述。所述图像向量，是考虑到任何两幅图像中的对应单元子图所包含的N₁×N₂像素单元都可表示成N₁×N₂×1维向量，分别用向量X_pq和Y_pq来表达，即X_pq与Y_pq分别代表着不同的两幅图像中同样区域下单元子图的N₁×N₂×1维向量。

如图12所示，为了提高运算速度，还可以采用加速计算方法，具体如下：

由于对每一帧图像都要进行OTSU阈值及与前一帧图像的相似度等复杂的计算，如果不能在100ms内完成这些计算，方法将变得没有实用价值。因此，先把BMP位图文件调入内存，然后以访问数组的方式对内存中的像素值逐个进行处理，则效率可以提高几十倍。其中，图像识别中处理的图像是BITMAP结构的位图文件，它包括：位图文件头(BITMAPHEADER)数据结构、位图信息(BITMAPINFO)数据结构和位图阵列，其中：位图阵列记录了图像的每一个像素值，在非压缩格式中，位图中每一个点的像素值对应于位图阵列的若干位，而位图阵列的大小由图像的宽、高及图像的每个像素所需位数决定。

设记录一个扫描行的像素值需n个字节，这时，位图阵列的0～n-1个字节记录了图像的第一个扫描行的像素值，n～2n-1个字节记录了图像的第二个扫描行的像素值。有了关于BMP图像格式的信息之后，便在保存于内存中的图像数组的对应位置迅速读取到每一个像素点的灰度值。

经过上述方法后，处理一帧图像所用的时间不超过30ms，达到快速、高效地满足实时处理的要求。

步骤六，根据移动物体的标注点，得到移动物体与车辆的距离。

所述的移动物体与车辆的距离是：分别将移动物体的标注点在左、右视图中的像素坐标(u_l，v_l)和(u_r，v_r)转换为世界坐标(X_Wl，Y_Wl，Z_Wl)和(X_Wr，Y_Wr，Z_Wr)，再利用空间中值法得到移动物体空间坐标的最优近似值

得的

就是被检测到的移动物体与车辆的实际距离值。

所述的空间中值法，具体方法如下：

由于摄像机成像模型并非理想的小孔成像以及图像噪音的影响和标定参数的微小误差，都会使得左、右视图中经换算获得的点坐标(X_Wl，Y_Wl，Z_Wl)和(X_Wr，Y_Wr，Z_Wr)分别与透视中心的连接直线未必相交于空间一点，而这两条直线又不可能平行，所以这两条直线势必是异面直线；换句话说，一般情况下，(X_Wl，Y_Wl，Z_Wl)与(X_Wr，Y_Wr，Z_Wr)不会完全重合，因此需要采用对点坐标(X_Wl，Y_Wl，Z_Wl)和(X_Wr，Y_Wr，Z_Wr)分别与透视中心的连接直线做公垂线，然后在其上求取中值的方法最后获得物点空间坐标的最优近似，用

表示，最后求得的

就是被检测到的移动物体与车辆的实际距离值。

步骤七，信号处理器3根据得到的移动物体与车辆的距离信息，对车速操控机构4和语音提示器5发出控制指令，警示驾驶员注意前方路况，并通过车速操控机构4自动使车辆减速并停止在移动物体之前。

本实施例中以车辆在发现行人时刻的车速为60km/h为例，经检测获知当前行人正于车辆前方10.5m处欲通过道路，本实施例对图像信息的处理、识别、判定的全部过程使用了30ms时间，在此期间车辆仅向前行驶了0.5m；30ms后，车辆已经开始减速并刹车，因此能够准确地使汽车停止于斑马线前，让行人安全通过道路。

步骤八，在车辆行驶的过程中，不断依次重复步骤二到步骤七，保障车辆安全行驶。

本实施例对于有若干个移动物体进入视场范围时，装置能够利用图像分割、匹配与跟踪方法同时获知当前有若干个行人欲穿过前方道路的现场信息，同时装置就会立即发出控制指令，警示驾驶员注意前方路况，并自动使车辆减速和刹车，确保了行车安全；此外对前方突然出现的行人或车辆也能很好的进行刹车或避让，因此能够明显降低碰撞行人和其他移动物体而引发道路交通事故发生的概率。

Claims (3)

1.一种汽车防撞行人智能装置的防撞方法，其特征在于，所述汽车防撞行人智能装置包括：双目针孔摄像头、信号处理器、车速操控机构和语音提示器，其中：双目针孔摄像头设置在车辆前方远视灯的内侧，双目针孔摄像头的两个针孔摄像头的光轴平行，且两个针孔摄像头分别与信号处理器相连传输道路景物图像模拟信息，双目针孔摄像头的输出端分别与信号处理器的输入端相连传输道路景物图像模拟信息，信号处理器输出端分别与车速操控机构和语音提示器相连传输控制决策信息和音响警示信息；所述方法包括以下步骤：

步骤一，以Y_W、Z_W构成水平面坐标，X_W垂直于水平面来建立世界坐标系，根据计算机图像坐标系像素点坐标(u，v)和世界坐标系空间三维坐标(X_W，Y_W，Z_W)之间的关系，对双目针孔摄像头进行参数标定；

步骤二，将信号处理器接收到的左、右两幅数字图像进行透视变换恢复到同一个透视关系上，获得两幅数字图像中形状一致的公共部分，并使得两幅数字图像在非重叠部分具有良好的形状平滑连续性，将两幅数字图像根据公共部分重合原则进行拼接，得到二维平面图像；

步骤三，根据步骤二得到的二维平面图像，确定移动物体所在区域；

步骤四，根据最大类间方差法，得到每帧二维平面图像的克服灰度差异的阈值k；

步骤五，将得到的前后两帧二维平面图像中移动物体的最小距离度量D(p，q)与克服灰度差异的阈值k进行比较，当

时，则像素点(p，q)所在的单元是运动区域的一部分，对该单元进行标注，进而对移动物体的整个区域进行标注，其中最小距离度量D(p，q)的具体公式为：

$D(p,q)=\underset{i=1}{\overset{N_1}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_2}{\mathrm{\Σ}}}|X_{p+i,q+j}-Y_{p+i,q+j}|,$

或： $D(p,q)=\frac{1}{N_1{N}_2}\underset{i=1}{\overset{N_1}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_2}{\mathrm{\Σ}}}|X_{p+i,q+j}-Y_{p+i,q+j}|,$

或： $D(p,q)=\underset{i=1}{\overset{N_1}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_2}{\mathrm{\Σ}}}{(X_{p+i,q+j}-Y_{p+i,q+j})}^2,$

或： $D(p,q)=\frac{1}{N_1{N}_2}\underset{i=1}{\overset{N_1}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_2}{\mathrm{\Σ}}}{(X_{p+i,q+j}-Y_{p+i,q+j})}^2,$

其中：X_p+i，q+j为像素点(p，q)所在的单元移动前图像向量，Y_p+i，q+j为像素点(p，q)所在的单元移动后图像向量，每个单元包含N₁×N₂个像素，p、q则分别为像素点的二维坐标；

步骤六，根据移动物体的标注点，得到移动物体与车辆的距离；

步骤七，信号处理器根据得到的移动物体与车辆的距离信息，对车速操控机构和语音提示器发出控制指令，警示驾驶员注意前方路况，并通过车速操控机构自动使车辆减速并停止在移动物体之前；

步骤八，在车辆行驶的过程中，不断依次重复步骤二到步骤七，保障车辆安全行驶。

2.根据权利要求1所述的防撞方法，其特征是，步骤一中所述的参数标定采用方格模板标定法。

3.根据权利要求1所述的防撞方法，其特征是，步骤六中所述的移动物体与车辆的距离是：分别将移动物体的标注点在左、右视图中的像素坐标(u_l，v_l)和(u_r，v_r)转换为世界坐标(X_Wl，Y_Wl，Z_Wl)和(X_Wr，Y_Wr，Z_Wr)，再利用空间中值法得到移动物体空间坐标的最优近似值

得到的

就是被检测到的移动物体与车辆的距离。

Images