CN110716212B - 一种路面障碍物检测方法及系统 - Google Patents

Abstract

本发明公开了一种路面障碍物检测方法及系统，涉及智能车环感系统技术领域。该路面障碍物检测方法根据第一CCD相机的脉冲序列控制第一激光器第二激光器的开启与关闭，提高有效探测距离，降低结构光光源的平均输出功耗；对来自第一CCD相机的第一时刻和第二时刻的帧数据进行差运算后得到第一黑白图像；对来自第二CCD相机的第一时刻和第二时刻的帧数据进行差运算后得到第二黑白图像；对第一黑白图像和第二黑白图像进行差运算后得到结构光条图像，克服交通行驶中环境光对结构光光条提取的干扰，提高系统的环境适应能力。

Description

一种路面障碍物检测方法及系统

技术领域

本发明涉及智能车环感系统技术领域，特别是涉及一种路面障碍物检测方法及系统。

背景技术

障碍物准确检测是避免发生碰撞的关键，是智能车环境感知的核心问题。利用结构光视觉传感器的目标检测是基于图像处理基础上的主动式检测技术。但目前的结构光视觉检测系统只适应于室内良好光线环境下短距离的检测任务，如室内移动机器人、产品质量检测和三维重建等。目前的结构光视觉检测系统在车用时受人眼安全、光源功率和结构光产生方式等因素的限制，在探测距离和适用环境方面难以达到智能车的使用要求。目前解决上述问题的方法是选择对人眼伤害相对小(波长≥1400nm)的和峰值功率相对较大的激光光源，采用较高灵敏度的检测元件。但这种方法带来的性能提升有限且价格昂贵，也会加大激光器散热和电路高频干扰的处理难度。因此现有结构光视觉检测系统存在探测距离低和环境适用性差的问题。

发明内容

本发明的目的是提供一种路面障碍物检测方法及系统，解决了现有结构光视觉检测系统探测距离低和环境适用性差的问题。

为实现上述目的，本发明提供了如下方案：

一种路面障碍物检测方法，应用于一种路面障碍物检测装置，所述路面障碍物检测装置包括：光学发射子装置、光学接收子装置、图像处理单元和中央控制单元；

所述光学接收子装置包括：第一CCD相机、第二CCD相机、分光镜和镜头；所述镜头用于采集外部光线；

所述分光镜位于所述镜头的出射光路上，所述分光镜用于接收所述镜头采集的外部光线，并将所述外部光线分为第一光路和第二光路；

所述第一CCD相机位于所述第一光路上，所述第二CCD相机位于所述第二光路上；所述第一CCD相机为红外CCD相机，所述第二CCD相机为可见光CCD相机；

所述第一CCD相机的输出端通过数据总线连接所述图像处理单元的总线接口，所述第一CCD相机的控制端通过控制总线连接所述中央控制单元的总线接口；

所述第二CCD相机的输出端通过数据总线连接所述图像处理单元的总线接口，所述第二CCD相机的控制端通过控制总线连接所述中央控制单元的总线接口；

所述光学发射子装置包括：第一激光器、第二激光器、第一合光镜、第二合光镜、准直透镜和扫描振镜；所述第一激光器和所述第二激光器的规格相同；

所述第一激光器的控制端通过控制总线连接所述中央控制单元的总线接口，所述第二激光器的控制端通过控制总线连接所述中央控制单元的总线接口；

所述第一合光镜位于所述第一激光器发射的激光光路上，所述第二合光镜位于所述第二激光器发射的激光光路上；

所述第一合光镜和所述第二合光镜用于将所述第一激光器发射的激光和所述第二激光器发射的激光合并射入所述准直透镜；

所述扫描振镜位于所述准直透镜的出射光路上，所述扫描振镜的控制端通过控制总线连接所述中央控制单元的总线接口，所述扫描振镜用于接收所述准直透镜的出射光路并扫描后投射出所述光学接收子装置；

所述图像处理单元用于接收所述第一CCD相机和所述第二CCD相机采集的图像数据，并处理所述图像数据；

所述中央控制单元用于控制所述第一CCD相机、所述第二CCD相机、所述第一激光器和所述第二激光器的工作时序；

所述路面障碍物检测方法包括：

获取车辆的车速信号、侧向加速度信号和所述第一CCD相机的脉冲序列；所述侧向加速度信号包括正侧向加速度和负侧向加速度；所述正侧向加速度表示所述车辆左转弯的侧向加速度；所述负侧向加速度表示所述车辆右转弯的侧向加速度；

根据所述第一CCD相机的脉冲序列控制所述第一激光器以及所述第二激光器的开启与关闭；

获取所述第一CCD相机和所述第二CCD相机采集的图像数据，并对所述图像数据进行预处理，得到预处理后的图像数据；

获取所述预处理后的图像数据中来自所述第一CCD相机的第一时刻和第二时刻的帧数据以及来自所述第二CCD相机的第一时刻和第二时刻的帧数据；

对来自所述第一CCD相机的所述第一时刻和所述第二时刻的帧数据进行差运算后得到第一黑白图像；

对来自所述第二CCD相机的所述第一时刻和所述第二时刻的帧数据进行差运算后得到第二黑白图像；

对所述第一黑白图像和所述第二黑白图像进行差运算后得到结构光条图像；

对所述结构光条图像进行聚类分析，得到障碍物信息。

可选的，所述根据所述第一CCD相机的脉冲序列控制所述第一激光器以及所述第二激光器的开启与关闭，具体包括：

根据所述第一CCD相机的脉冲序列输出第一控制指令，控制所述第一激光器的开启与关闭；

根据所述第一控制指令输出第二控制指令，控制所述第二激光器的开启与关闭。

可选的，所述根据所述第一控制指令输出第二控制指令，控制所述第二激光器的开启与关闭，具体包括：

根据所述车辆的车速信号，判断所述车辆的车速是否大于第一预设阈值；

若所述车辆的车速大于第一预设阈值，则输出所述第二控制指令控制所述第二激光器开启。

可选的，在所述输出所述第二控制指令控制所述第二激光器开启之前，还包括：

在所述车辆左转弯时判断所述正侧向加速度是否大于第二预设阈值；

若所述正侧向加速度大于所述第二预设阈值，则所述第二控制指令的脉宽中心提前所述第一控制指令的脉宽中心预设时间；

在所述车辆右转弯时判断所述负侧向加速度是否小于第三预设阈值；

若所述负侧向加速度小于所述第三预设阈值，则所述第二控制指令的脉宽中心滞后所述第一控制指令的脉宽中心所述预设时间。

可选的，所述获取所述第一CCD相机和所述第二CCD相机采集的图像数据，并对所述图像数据进行预处理，得到预处理后的图像数据，具体包括：

获取所述第一CCD相机采集的第一图像数据，所述第二CCD相机采集的第二图像数据；

对所述第一图像数据进行预处理得到第三图像数据，对所述第二图像数据进行预处理得到第四图像数据；

所述获取所述预处理后的图像数据中来自所述第一CCD相机的第一时刻和第二时刻的帧数据以及来自所述第二CCD相机的第一时刻和第二时刻的帧数据，具体包括：

根据所述第三图像数据，获取所述第一时刻时所述第一CCD相机的第一数据帧，第二时刻时所述第一CCD相机的第二数据帧；所述第一时刻时所述第一激光器为开启状态，所述第二时刻时所述第一激光器为关闭状态；

根据所述第四图像数据，获取所述第一时刻时所述第二CCD相机的第三数据帧，所述第二时刻时所述第二CCD相机的第四数据帧。

可选的，所述对来自所述第一CCD相机的所述第一时刻和所述第二时刻的帧数据进行差运算后得到第一黑白图像，具体包括：

所述第一数据帧减去所述第二数据帧，得到第一图像帧数据；

将所述第一图像帧数据中的负值置零且二值化，得到所述第一黑白图像；

所述对来自所述第二CCD相机的所述第一时刻和所述第二时刻的帧数据进行差运算后得到第二黑白图像，具体包括：

对所述第三数据帧进行灰度化处理，得到灰度第三数据帧；

对所述第四数据帧进行灰度化处理，得到灰度第四数据帧；

所述灰度第三数据帧减去所述灰度第四数据帧，得到第二图像帧数据；

对所述第二图像帧数据进行二值化处理，得到所述第二黑白图像。

可选的，所述对所述第一黑白图像和所述第二黑白图像进行差运算后得到结构光条图像，具体包括：

所述第一黑白图像减去所述第二黑白图像，得到第三黑白图像；

将所述第三黑白图像中的负值置零，得到所述结构光条图像。

一种路面障碍物检测系统，包括：

获取模块，用于获取车辆的车速信号、侧向加速度信号和所述第一CCD相机的脉冲序列；所述侧向加速度信号包括正侧向加速度和负侧向加速度；所述正侧向加速度表示所述车辆左转弯的侧向加速度；所述负侧向加速度表示所述车辆右转弯的侧向加速度；

控制模块，用于根据所述第一CCD相机的脉冲序列控制所述第一激光器以及所述第二激光器的开启与关闭；

预处理模块，用于获取所述第一CCD相机和所述第二CCD相机采集的图像数据，并对所述图像数据进行预处理，得到预处理后的图像数据；

帧数据模块，用于获取所述预处理后的图像数据中来自所述第一CCD相机的第一时刻和第二时刻的帧数据以及来自所述第二CCD相机的第一时刻和第二时刻的帧数据；

第一黑白图像模块，用于对来自所述第一CCD相机的所述第一时刻和所述第二时刻的帧数据进行差运算后得到第一黑白图像；

第二黑白图像模块，用于对来自所述第二CCD相机的所述第一时刻和所述第二时刻的帧数据进行差运算后得到第二黑白图像；

结构光条图像模块，用于对所述第一黑白图像和所述第二黑白图像进行差运算后得到结构光条图像；

障碍物信息模块，用于对所述结构光条图像进行聚类分析，得到障碍物信息。

可选的，所述预处理模块，具体包括：

获取单元，用于获取所述第一CCD相机采集的第一图像数据，所述第二CCD相机采集的第二图像数据；

预处理单元，用于对所述第一图像数据进行预处理得到第三图像数据，对所述第二图像数据进行预处理得到第四图像数据；

所述帧数据模块，具体包括：

第三图像数据单元，用于根据所述第三图像数据，获取所述第一时刻时所述第一CCD相机的第一数据帧，第二时刻时所述第一CCD相机的第二数据帧；所述第一时刻时所述第一激光器为开启状态，所述第二时刻时所述第一激光器为关闭状态；

第四图像数据单元，用于根据所述第四图像数据，获取所述第一时刻时所述第二CCD相机的第三数据帧，所述第二时刻时所述第二CCD相机的第四数据帧。

可选的，所述第一黑白图像模块，具体包括：

第一图像帧数据单元，用于所述第一数据帧减去所述第二数据帧，得到第一图像帧数据；

第一黑白图像单元，用于将所述第一图像帧数据中的负值置零且二值化，得到所述第一黑白图像；

所述第二黑白图像模块，具体包括：

灰度第三数据帧单元，用于对所述第三数据帧进行灰度化处理，得到灰度第三数据帧；

灰度第四数据帧单元，用于对所述第四数据帧进行灰度化处理，得到灰度第四数据帧；

第二图像帧数据单元，用于所述灰度第三数据帧减去所述灰度第四数据帧，得到第二图像帧数据；

第二黑白图像单元，用于对所述第二图像帧数据进行二值化处理，得到所述第二黑白图像。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供一种路面障碍物检测方法及系统中，该方法应用于路面障碍物检测装置，该装置包括光学发射子装置、光学接收子装置、图像处理单元和中央控制单元。该方法根据第一CCD相机的脉冲序列控制第一激光器和第二激光器的开启与关闭，提高有效探测距离，降低结构光光源的平均输出功耗；对来自所述第一CCD相机的所述第一时刻和所述第二时刻的帧数据进行差运算后得到第一黑白图像；对来自所述第二CCD相机的所述第一时刻和所述第二时刻的帧数据进行差运算后得到第二黑白图像；对所述第一黑白图像和所述第二黑白图像进行差运算后得到结构光条图像，克服交通行驶中环境光对结构光光条提取的干扰，提高系统的环境适应能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例所提供的路面障碍物检测装置的结构图；

图2为本发明实施例所提供的路面障碍物检测方法的流程图；

图3为本发明实施例所提供的激光的有效探测区示意图；

图4为本发明实施例所提供的双路帧差降噪处理原理示意图；

图5为本发明实施例所提供的路面障碍物检测系统的系统图。

其中，1、光学发射子装置；2、光学接收子装置；3、图像处理单元；4、中央控制单元；5、第一CCD相机；6、第二CCD相机；7、分光镜；8、镜头；9、第一激光器；10、第二激光器；11、第一合光镜；12、第二合光镜；13、准直透镜；14、扫描振镜；15、控制总线；16、数据总线；17、障碍物；18、玻璃罩。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明提供一种路面障碍物检测方法，应用于一种路面障碍物检测装置。

图1为本发明实施例所提供的路面障碍物检测装置的结构图，参见图1，该路面障碍物检测装置为车载设备，该路面障碍物检测装置包括：光学发射子装置1、光学接收子装置2、图像处理单元3和中央控制单元4。

光学发射子装置1包括：第一激光器9、第二激光器10、第一合光镜11、第二合光镜12、准直透镜13和扫描振镜14；第一激光器9和第二激光器10的规格相同。

第一激光器9的控制端通过控制总线15连接中央控制单元4的总线接口，第二激光器10的控制端通过控制总线15连接中央控制单元4的总线接口。

第一合光镜11位于第一激光器9发射的激光光路上，第二合光镜12位于第二激光器10发射的激光光路上。

第一合光镜11和第二合光镜12用于将第一激光器9发射的激光和第二激光器10发射的激光合并射入准直透镜13。

扫描振镜14位于准直透镜13的出射光路上，扫描振镜14的控制端通过控制总线15连接中央控制单元4的总线接口，扫描振镜14用于接收准直透镜13的出射光路并扫描后投射出光学接收子装置2。第一激光器9和第二激光器10发射的激光经准直透镜13进入到扫描振镜14，并经扫描振镜14扫描后投射出光学接收子装置2。在实际应用中，扫描振镜14外还罩有玻璃罩18。

第一激光器9和第二激光器10发射的激光通过第一合光镜11和第二合光镜12的合并射入到准直透镜13，激光经准直透镜13进入扫描振镜14扫描振镜14扫描后投射出光学接收子装置2。第一激光器9和第二激光器10通过控制总线15接收中央控制单元4的开关控制指令。

光学接收子装置2包括：第一CCD(charge coupled device，电荷耦合器件)相机5、第二CCD相机6、分光镜7和镜头8；镜头8用于采集外部光线，外部光线包括经障碍物17反射后的结构光和环境光，外部光线经镜头8传递到第一CCD相机5和第二CCD相机6。

分光镜7位于镜头8的出射光路上，分光镜7用于接收镜头8采集的外部光线，并将外部光线分为第一光路和第二光路，第一光路为红外光，第二光路为可见光。

第一CCD相机5位于第一光路上，第二CCD相机6位于第二光路上；第一CCD相机5为红外CCD相机，第二CCD相机6为可见光CCD相机。

第一CCD相机5的输出端通过数据总线16连接图像处理单元3的总线接口，第一CCD相机5的控制端通过控制总线15连接中央控制单元4的总线接口。

第二CCD相机6的输出端通过数据总线16连接图像处理单元3的总线接口，第二CCD相机6的控制端通过控制总线15连接中央控制单元4的总线接口。

外部光线经镜头8汇聚到分光镜7，分光镜7将外部光线分为红外光和可见光，分别进入第一CCD相机5和第二CCD相机6，第一CCD相机5和第二CCD相机6将各自采集的图像数据通过数据总线16输出至图像处理单元3。第一CCD相机5和第二CCD相机6通过控制总线15接收中央控制单元4的同步控制指令，使第一CCD相机5和第二CCD相机6与扫描振镜14的工作周期一致，并同时开始工作，防止第一CCD相机5和第二CCD相机6拍摄的图像出现残缺或模糊不清的情况。

图像处理单元3用于接收第一CCD相机5和第二CCD相机6采集的图像数据，并处理图像数据，得到障碍物信息。在实际应用中，图像处理单元3可以为图形处理器(GraphicsProcessing Unit，GPU)。图像处理单元3还可以包括对外输出通信接口，图像处理单元3通过对外输出通信接口连接中央处理器或者其他数据处理系统，用于对外输出障碍物信息，障碍物信息包括障碍物17的位置信息。

中央控制单元4用于控制第一CCD相机5、第二CCD相机6、第一激光器9和第二激光器10的工作时序。在实际应用中，中央控制单元4可以包括输入数据总线16接口，中央控制单元4通过对外输出通信接口连接车辆的惯性导航系统或中央控制器，用于接收路面障碍物检测装置的输入信息，输入信息包括车速和侧向加速度。

本发明的路面障碍物检测装置不依赖高性能激光发射元件和检测元件，采用简单的叠加结构，且控制简单易于工程实现。第一CCD相机和第二CCD相机，以及第一激光器和第二激光器在结构上具有冗余，可以进行信息融合提高了检测的可靠性，并且在第一激光器出现故障时第二激光器仍能工作，继续进行检测，提高了路面障碍物检测装置的安全性。

图2为本发明实施例所提供的路面障碍物检测方法的流程图，参见图2，本发明的路面障碍物检测方法包括：

步骤201：获取车辆的车速信号、车辆的侧向加速度信号和第一CCD相机的脉冲序列；车辆的侧向加速度信号包括正侧向加速度和负侧向加速度；正侧向加速度表示车辆左转弯的侧向加速度；负侧向加速度表示车辆右转弯的侧向加速度。步骤201具体为：中央控制单元通过输入数据总线接口获取车速信号和侧向加速度信号，设侧向加速度的正对应车辆的左弯道行驶，侧向加速度的负对应车辆的右弯道行驶；侧向加速度(lateralacceleration)是指车辆受到的左→右和右→左方向的加速度。

步骤202：根据第一CCD相机的脉冲序列控制第一激光器的开启与关闭以及第二激光器的开启与关闭。本实施例将步骤202定义为双程切换策略。

步骤202，具体包括：

根据第一CCD相机的脉冲序列输出第一控制指令，控制第一激光器的开启与关闭。具体为：设第一CCD相机的帧周期为T，第一控制指令的开关控制脉冲序列的周期为2T，第一控制指令的脉宽为T，本实施例中脉宽为第一控制指令开关控制脉冲序列中高电平的时长。当第一控制指令的脉冲为高电平时，中央控制单元输出第一控制指令控制第一激光器开启；当第一控制指令的脉冲为低电平时，中央控制单元输出第一控制指令控制第一激光器关闭。路面障碍物检测装置通电后，中央控制单元根据第一控制指令的开关控制脉冲序列产生第一控制指令，第一控制指令通过控制总线传递到第一激光器，第一激光器开启。

根据第一控制指令输出第二控制指令，控制第二激光器的开启与关闭。第二控制指令的开关控制脉冲序列的周期为2T，第二控制指令的脉宽为T’，T’<T，即当第二控制指令的脉冲为高电平时，中央控制单元输出第二控制指令控制第二激光器开启；当第二控制指令的脉冲为低电平时，中央控制单元输出第二控制指令控制第二激光器关闭。

根据第一控制指令输出第二控制指令，控制第二激光器的开启与关闭，具体包括：

根据车辆的车速信号，判断车辆的车速是否大于第一预设阈值。第一预设阈值的取值范围为车速在50千米每小时(km/h)-60km/h。

若车辆的车速大于第一预设阈值，则输出第二控制指令控制第二激光器开启。

在判断出车辆的车速大于第一预设阈值之后，且在输出第二控制指令控制第二激光器开启之前，还包括：

在车辆左转弯时判断正侧向加速度是否大于第二预设阈值，得到第二判断结果。

第二判断结果为是，即正侧向加速度大于第二预设阈值，则第二控制指令的脉宽中心提前第一控制指令的脉宽中心预设时间。

在车辆右转弯时判断负侧向加速度是否小于第三预设阈值，得到第三判断结果。

第三判断结果为是，即负侧向加速度小于第三预设阈值，则第二控制指令的脉宽中心滞后第一控制指令的脉宽中心预设时间。

第二判断结果和第三判断结果均为否，即侧向加速度接近0m/s²(米每二次方秒)，车辆直行时，第二控制指令的脉宽中心等于第一控制指令的脉宽中心。

步骤203：获取第一CCD相机和第二CCD相机采集的图像数据，并对图像数据进行预处理，得到预处理后的图像数据。

步骤203，具体包括：

获取第一CCD相机采集的第一图像数据，第二CCD相机采集的第二图像数据。

对第一图像数据进行预处理得到第三图像数据，对第二图像数据进行预处理得到第四图像数据。预处理包括缩放和滤波等常规预处理。

步骤204：获取预处理后的图像数据中来自第一CCD相机的第一时刻(t时刻)和第二时刻(t+T时刻)的帧数据以及来自第二CCD相机的第一时刻(t时刻)和第二时刻(t+T时刻)的帧数据。步骤204，具体包括：

根据第三图像数据，获取第一时刻(t时刻)时第一CCD相机的第一数据帧，第二时刻(t+T时刻)时第一CCD相机的第二数据帧；第一时刻为第一CCD相机脉冲序列的t时刻，第二时刻为第一CCD相机脉冲序列的t+T时刻，t时刻与t+T时刻相差一个脉宽时间。

根据第四图像数据，获取第一时刻(t时刻)时第二CCD相机的第三数据帧，第二时刻(t+T时刻)时第二CCD相机的第四数据帧。

步骤205：对来自第一CCD相机的第一时刻和第二时刻的帧数据进行差运算后得到第一黑白图像。

步骤205，具体包括：

第一数据帧减去第二数据帧，得到第一图像帧数据。

将第一图像帧数据中的负值置零且二值化，得到第一黑白图像。

步骤206：对来自第二CCD相机的第一时刻和第二时刻的帧数据进行差运算后得到第二黑白图像。

步骤206，具体包括：

对第三数据帧进行灰度化处理，得到灰度第三数据帧。

对第四数据帧进行灰度化处理，得到灰度第四数据帧。

灰度第三数据帧减去灰度第四数据帧，得到第二图像帧数据。

对第二图像帧数据进行二值化处理，得到第二黑白图像。

步骤207：对第一黑白图像和第二黑白图像进行差运算后得到结构光条图像。

步骤207，具体包括：

第一黑白图像减去第二黑白图像，得到第三黑白图像。

将第三黑白图像中的负值置零，得到结构光条图像。本实施例将步骤203-207定义通过对预处理后的图像数据进行双路帧差降噪处理得到结构光条图像。

步骤208：对结构光条图像进行聚类分析，得到障碍物信息。步骤208具体为通过对结构光条图像进行聚类分析，确定结构光条图像中是否有障碍物，以及障碍物的位置，聚类分析采用可以实现上述功能的聚类分析算法，如K-means算法等。

本发明的路面障碍物检测方法通过第一激光器和第二激光器以及双程切换策略，能够有效避免人眼安全对路面障碍物检测装置性能提升的限制，尤其提高了弯道的有效探测距离，同时有效降低了路面障碍物检测装置能耗。第一CCD相机和第二CCD相机以及双路帧差降噪处理有效排除了环境光的干扰，尤其避免了其他主动光源的干扰，提高了路面障碍物检测方法的稳定性。

本发明路面障碍物检测方法的工作原理为：

采用扫描振镜将一定功率的半导体激光器，即第一激光器和第二激光器产生的红外激光进行二维投射，红外激光遇到物体后在物体表面产生光条特征，完成结构光条扫描成像；利用光学分色镜将接收到的光分离为可见光和设定波长的红外光，利用第一CCD相机接收结构光条扫描成像的红外光条图像，利用第二CCD相机接收结构光条扫描成像的可见光图像，完成结构光条图像采集；利用第一CCD相机和第二CCD采集的图像通进行双路帧差降噪处理，完成结构光条提取，即得到结构光条图像；再对结构光条进行聚类处理，完成路面障碍物的检测。

本发明路面障碍物检测方法的关键在于结构光条的成像质量要满足检测距离的要求。一般情况下，车辆通过紧急制动避免发生碰撞的安全距离与车速成正比，即车速越高安全距离就越大，因此检测距离应大于安全距离。提高结构光光源的输出功率可以提高探测距离，但功率提高到一定程度会造成人眼伤害，这就限制了检测距离的提高，同时高功率会带来大的能耗，使得检测装置的经济性变差。车辆需要在高速公路上高速行驶，也需要在城区道路上的中低速行驶，既可能直道行驶也可能弯道行驶。为了有效降低功耗，就需要结构光功率能智能的适应道路曲率和车速的变化，提高有效探测区域即检测装置的探测范围所能覆盖的道路区域，实现检测装置的安全和节能。为了实现上述效果，本发明优选采用两个一样规格的半导体激光器即第一激光器和第二激光器，半导体激光器的中心波长为905nm，峰值功率根据探测半径选取，本发明的探测半径优选最高车速为60km/h时的大约60m的安全距离为探测半径，即探测半径为60m。第一激光器和第二激光器分别根据中央控制单元的第一控制指令和第二控制指令按照一定的时序信号发射。

第一激光器和第二激光器的开启和关闭分别受中央控制单元的第一控制指令和第二控制指令控制，第一控制指令和第二控制指令的脉宽长度与扫描振镜的水平摆角成正比，第一控制指令频率为第一CCD相机的帧周期的二分之一。其中第一激光器在整个工作期间以固定频率工作。当车速达到第一预设阈值时远程激光器以一定的脉宽长度工作，根据侧向加速度判断车辆处于直行还是弯行，如果是直行，第二激光器的控制指令脉冲中心与第一激光器的控制脉冲中心重合；如果是左向弯行，则第二激光器的控制脉冲中心提前第一激光器的控制脉冲中心M秒；如果是右向弯行，则第二激光器的控制脉冲中心滞后第一激光器的控制脉冲中心M秒。第二激光器开启期间，在合光镜的作用下第一激光器的激光和第二激光器的激合二为一，相当于总功率为原来的2倍，探测距离相应为原来的2倍。所以上述双程切换策略能够实现低速时较大扇角覆盖区和较低功率输出，高速时近距离检测区域不变，同时覆盖一定角度远距离的道路区域，并根据车辆状态调整高速覆盖区域的方位。图3为本发明实施例所提供的激光的有效探测区示意图，图3用于说明本实施例具体如何根据车速和道路曲率智能调整结构光的分布。参见图3，第一控制指令的开关控制脉冲序列中t+2NT时刻为高电平，第一激光器开启；第一控制指令的开关控制脉冲序列中t+(2N+1)T时刻为低电平，第一激光器关闭。第二控制指令的开关控制脉冲序列中高电平的时长为T’。图3中(a)为车辆低速行驶时，第一激光器开启，扇角为第一激光器的探测角度；(b)为车辆高速且直行行驶时，第一激光器和第二激光器均开启，且第二激光器的控制指令脉冲中心与第一激光器的控制脉冲中心重合；(c)为车辆高速且左转弯行驶时，第一激光器和第二激光器均开启，且第二激光器的控制脉冲中心提前第一激光器的控制脉冲中心M秒；虚线表示控制指令脉冲中心。N和M均为自然数。

图4为本发明实施例所提供的双路帧差降噪处理原理示意图，参见图4，环境光中包含可见光和与半导体激光器同波长的红外光，所以进入光学接收子装置镜头中的外部光线包括直射环境光、反射环境光，第一激光器和第二激光器发射后反射的结构光I，以及其他红外光源发射的同波长红外光II。外部光线经分光镜后分为两部分，可见光部分被第二CCD相机接收并形成彩色图像序列，与结构光I同波长的红外光部分被第一CCD相机接收并形成灰度图像序列，结构光I所成的像即为初步的结构光条图像，而其他同波长红外光所成的像即为干扰。为了有效去除干扰，本实施例优选采用对两个光路(可见光光路和红外光光路)分别进行帧差运算然后再将帧差结果做差。第一控制指令频率为第一CCD相机帧频的二分之一，设第一CCD相机的成帧周期为T，即若在t时刻第一激光器开启，则在t+T时刻第一激光器关闭，所以对于第一CCD相机的红外图像序列在t时刻结构光I成像，t+T时刻结构光I不成像，而直射环境光和反射环境光中的红外部分在t时刻和t+T时刻都成像，因此用第一数据帧减去第二数据帧即可去除环境光红外部分的干扰。为了确保结构光I成像时第一CCD相机能够及时采集以避免失真，采用与第一激光器相同的脉冲时间序列作为第一CCD相机的同步控制信号。对于其他光源发射的同波长红外光II，由于属于人工光源，通常是按照一定频率发射的，如果红外光II的发射频率大于或者小于结构光I的频率，由于所选择的第一CCD相机本身的带通特性是与结构光I的频率相匹配的，因此红外光II可被第一CCD相机在成像时削弱或滤除。如果红外光II的发射频率与结构光I的发射频率相等或相近，当红外光II发射与结构光I发射异步时，即红外光II在t+T时刻第一CCD相机的红外图像成像，在t时刻第一CCD相机的红外图像不成像，第一图像帧数据中的负值即是红外光II的成像数据，将第一图像帧数据中的负值置零即可去除。当红外光II发射与结构光I发射异步时直接不能通过双路帧差降噪处理直接去除，可通过其他常规图像处理方法进一步处理。

由于运动原因，做帧差后的第一图像帧数据中仍存在一部分运动对象的残像，为去除运动对象的残像，本实施例优选采用与第一CCD相机同步的第二CCD相机采集彩色图像序列预处理后得到第三数据帧和第四数据帧，将第三数据帧和第四数据帧灰度化后进行帧差运算并二值化为黑白图像，即第二黑白图像。第二黑白图像同样存在运动对象的残像，将第一图像帧数据二值化得到第一黑白图像，用第一黑白图像减去第二黑白图像后即可去除运动对象的残像，而其他彩色图像附带的多余图像信息在差运算后体现为负值，将第三黑白图像中的负值置零即可消除其他彩色图像附带的多余图像信息，得到结构光条图像。

本实施例第一CCD相机和第二CCD相机与第一激光器和第二激光器在结构上相互独立互不影响，因此两个光路的信息能够进一步融合，无需空间和时间的匹配，并且在其中一个CCD相机或一个激光器失效后，另一个CCD相机或另一个激光器仍能继续工作，提高了路面障碍物检测装置的检测精度和防故障冗余。

本发明提供一种路面障碍物检测系统，图5为本发明实施例所提供的路面障碍物检测系统的系统图。参见图5，路面障碍物检测系统包括：

获取模块301，用于获取车辆的车速信号、车辆的侧向加速度信号和第一CCD相机的脉冲序列；车辆的侧向加速度信号包括正侧向加速度和负侧向加速度；正侧向加速度表示车辆左转弯的侧向加速度；负侧向加速度表示车辆右转弯的侧向加速度。

控制模块302，用于根据第一CCD相机的脉冲序列控制第一激光器的开启与关闭以及第二激光器的开启与关闭。

控制模块302，具体包括：

第一激光器单元，用于根据第一CCD相机的脉冲序列输出第一控制指令，控制第一激光器的开启与关闭。

第二激光器单元，用于根据第一控制指令输出第二控制指令，控制第二激光器的开启与关闭。第二激光器单元具体包括：

第一预设阈值子单元，用于根据车辆的车速信号，判断车辆的车速是否大于第一预设阈值，得到第一判断结果，第一判断结果为是，执行大于子单元。第一预设阈值的取值范围为车速在50千米每小时(km/h)-60km/h。

大于子单元，用于在车辆左转弯时判断正侧向加速度是否大于第二预设阈值，得到第二判断结果，第二判断结果为是，执行提前子单元；第二判断结果为否，执行提前子单元；

提前子单元，用于第二控制指令的脉宽中心提前第一控制指令的脉宽中心预设时间。

第三判断子单元，用于在车辆右转弯时判断负侧向加速度是否小于第三预设阈值，得到第三判断结果，第三判断结果为是，执行滞后子单元；第二判断结果为否，执行控制子单元。

滞后子单元，用于第二控制指令的脉宽中心滞后第一控制指令的脉宽中心预设时间。

控制子单元，用于输出第二控制指令控制第二激光器开启。

预处理模块303，用于获取第一CCD相机和第二CCD相机采集的图像数据，并对图像数据进行预处理，得到预处理后的图像数据。

预处理模块303，具体包括：

获取单元，用于获取第一CCD相机采集的第一图像数据，第二CCD相机采集的第二图像数据。

预处理单元，用于对第一图像数据进行预处理得到第三图像数据，对第二图像数据进行预处理得到第四图像数据。预处理包括缩放和滤波等常规预处理。

帧数据模块304，用于获取预处理后的图像数据中来自第一CCD相机的第一时刻和第二时刻的帧数据以及来自第二CCD相机的第一时刻和第二时刻的帧数据。

帧数据模块304，具体包括：

第三图像数据单元，用于根据第三图像数据，获取第一时刻时第一CCD相机的第一数据帧，第二时刻时第一CCD相机的第二数据帧；第一时刻为第一CCD相机脉冲序列的t时刻，第二时刻为第一CCD相机脉冲序列的t+T时刻，t时刻与t+T时刻相差一个脉宽时间。

第四图像数据单元，用于根据第四图像数据，获取第一时刻时第二CCD相机的第三数据帧，第二时刻时第二CCD相机的第四数据帧。

第一黑白图像模块305，用于对来自第一CCD相机的第一时刻和第二时刻的帧数据进行差运算后得到第一黑白图像。

第一黑白图像模块305，具体包括：

第一图像帧数据单元，用于第一数据帧减去第二数据帧，得到第一图像帧数据。

第一黑白图像单元，用于将第一图像帧数据中的负值置零且二值化，得到第一黑白图像。

第二黑白图像模块306，用于对来自第二CCD相机的第一时刻和第二时刻的帧数据进行差运算后得到第二黑白图像。

第二黑白图像模块306，具体包括：

灰度第三数据帧单元，用于对第三数据帧进行灰度化处理，得到灰度第三数据帧。

灰度第四数据帧单元，用于对第四数据帧进行灰度化处理，得到灰度第四数据帧。

第二图像帧数据单元，用于灰度第三数据帧减去灰度第四数据帧，得到第二图像帧数据。

第二黑白图像单元，用于对第二图像帧数据进行二值化处理，得到第二黑白图像。

结构光条图像模块307，用于对第一黑白图像和第二黑白图像进行差运算后得到结构光条图像。

结构光条图像模块307，具体包括：

第三黑白图像单元，用于第一黑白图像减去第二黑白图像，得到第三黑白图像。

结构光条图像单元，用于将第三黑白图像中的负值置零，得到结构光条图像。

障碍物信息模块308，用于对结构光条图像进行聚类分析，得到障碍物信息。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种路面障碍物检测方法，其特征在于，应用于一种路面障碍物检测装置，所述路面障碍物检测装置包括：光学发射子装置、光学接收子装置、图像处理单元和中央控制单元；

所述光学接收子装置包括：第一CCD相机、第二CCD相机、分光镜和镜头；所述镜头用于采集外部光线；

所述分光镜位于所述镜头的出射光路上，所述分光镜用于接收所述镜头采集的外部光线，并将所述外部光线分为第一光路和第二光路；

所述第一CCD相机位于所述第一光路上，所述第二CCD相机位于所述第二光路上；所述第一CCD相机为红外CCD相机，所述第二CCD相机为可见光CCD相机；

所述第一CCD相机的输出端通过数据总线连接所述图像处理单元的总线接口，所述第一CCD相机的控制端通过控制总线连接所述中央控制单元的总线接口；

所述第二CCD相机的输出端通过数据总线连接所述图像处理单元的总线接口，所述第二CCD相机的控制端通过控制总线连接所述中央控制单元的总线接口；

所述光学发射子装置包括：第一激光器、第二激光器、第一合光镜、第二合光镜、准直透镜和扫描振镜；所述第一激光器和所述第二激光器的规格相同；

所述第一激光器的控制端通过控制总线连接所述中央控制单元的总线接口，所述第二激光器的控制端通过控制总线连接所述中央控制单元的总线接口；

所述第一合光镜位于所述第一激光器发射的激光光路上，所述第二合光镜位于所述第二激光器发射的激光光路上；

所述第一合光镜和所述第二合光镜用于将所述第一激光器发射的激光和所述第二激光器发射的激光合并射入所述准直透镜；

所述扫描振镜位于所述准直透镜的出射光路上，所述扫描振镜的控制端通过控制总线连接所述中央控制单元的总线接口，所述扫描振镜用于接收所述准直透镜的出射光路并扫描后投射出所述光学接收子装置；

所述图像处理单元用于接收所述第一CCD相机和所述第二CCD相机采集的图像数据，并处理所述图像数据；

所述中央控制单元用于控制所述第一CCD相机、所述第二CCD相机、所述第一激光器和所述第二激光器的工作时序；

所述路面障碍物检测方法包括：

获取车辆的车速信号、侧向加速度信号和所述第一CCD相机的脉冲序列；所述侧向加速度信号包括正侧向加速度和负侧向加速度；所述正侧向加速度表示所述车辆左转弯的侧向加速度；所述负侧向加速度表示所述车辆右转弯的侧向加速度；

根据所述第一CCD相机的脉冲序列控制所述第一激光器以及所述第二激光器的开启与关闭；

获取所述第一CCD相机和所述第二CCD相机采集的图像数据，并对所述图像数据进行预处理，得到预处理后的图像数据，具体包括：

获取所述第一CCD相机采集的第一图像数据，所述第二CCD相机采集的第二图像数据；

对所述第一图像数据进行预处理得到第三图像数据，对所述第二图像数据进行预处理得到第四图像数据；

获取所述预处理后的图像数据中来自所述第一CCD相机的第一时刻和第二时刻的帧数据以及来自所述第二CCD相机的第一时刻和第二时刻的帧数据，具体包括：

根据所述第三图像数据，获取所述第一时刻时所述第一CCD相机的第一数据帧，第二时刻时所述第一CCD相机的第二数据帧；所述第一时刻时所述第一激光器为开启状态，所述第二时刻时所述第一激光器为关闭状态；

根据所述第四图像数据，获取所述第一时刻时所述第二CCD相机的第三数据帧，所述第二时刻时所述第二CCD相机的第四数据帧；

对来自所述第一CCD相机的所述第一时刻和所述第二时刻的帧数据进行差运算后得到第一黑白图像，具体包括：

所述第一数据帧减去所述第二数据帧，得到第一图像帧数据；

将所述第一图像帧数据中的负值置零且二值化，得到所述第一黑白图像；

对来自所述第二CCD相机的所述第一时刻和所述第二时刻的帧数据进行差运算后得到第二黑白图像，具体包括：

对所述第三数据帧进行灰度化处理，得到灰度第三数据帧；

对所述第四数据帧进行灰度化处理，得到灰度第四数据帧；

所述灰度第三数据帧减去所述灰度第四数据帧，得到第二图像帧数据；

对所述第二图像帧数据进行二值化处理，得到所述第二黑白图像；

对所述第一黑白图像和所述第二黑白图像进行差运算后得到结构光条图像，具体包括：

所述第一黑白图像减去所述第二黑白图像，得到第三黑白图像；

将所述第三黑白图像中的负值置零，得到所述结构光条图像；

对所述结构光条图像进行聚类分析，得到障碍物信息。

2.根据权利要求1所述的路面障碍物检测方法，其特征在于，所述根据所述第一CCD相机的脉冲序列控制所述第一激光器以及所述第二激光器的开启与关闭，具体包括：

根据所述第一CCD相机的脉冲序列输出第一控制指令，控制所述第一激光器的开启与关闭；

根据所述第一控制指令输出第二控制指令，控制所述第二激光器的开启与关闭。

3.根据权利要求2所述的路面障碍物检测方法，其特征在于，所述根据所述第一控制指令输出第二控制指令，控制所述第二激光器的开启与关闭，具体包括：

根据所述车辆的车速信号，判断所述车辆的车速是否大于第一预设阈值；

若所述车辆的车速大于第一预设阈值，则输出所述第二控制指令控制所述第二激光器开启。

4.根据权利要求3所述的路面障碍物检测方法，其特征在于，在所述输出所述第二控制指令控制所述第二激光器开启之前，还包括：

在所述车辆左转弯时判断所述正侧向加速度是否大于第二预设阈值；

若所述正侧向加速度大于所述第二预设阈值，则所述第二控制指令的脉宽中心提前所述第一控制指令的脉宽中心预设时间；

在所述车辆右转弯时判断所述负侧向加速度是否小于第三预设阈值；

若所述负侧向加速度小于所述第三预设阈值，则所述第二控制指令的脉宽中心滞后所述第一控制指令的脉宽中心所述预设时间。

5.根据权利要求1所述的路面障碍物检测方法，其特征在于，所述对所述第一黑白图像和所述第二黑白图像进行差运算后得到结构光条图像，具体包括：

所述第一黑白图像减去所述第二黑白图像，得到第三黑白图像；

将所述第三黑白图像中的负值置零，得到所述结构光条图像。

6.一种路面障碍物检测系统，其特征在于，应用于一种路面障碍物检测装置，所述路面障碍物检测装置包括：光学发射子装置、光学接收子装置、图像处理单元和中央控制单元；

所述光学接收子装置包括：第一CCD相机、第二CCD相机、分光镜和镜头；所述镜头用于采集外部光线；

所述分光镜位于所述镜头的出射光路上，所述分光镜用于接收所述镜头采集的外部光线，并将所述外部光线分为第一光路和第二光路；

所述第一CCD相机位于所述第一光路上，所述第二CCD相机位于所述第二光路上；所述第一CCD相机为红外CCD相机，所述第二CCD相机为可见光CCD相机；

所述第一CCD相机的输出端通过数据总线连接所述图像处理单元的总线接口，所述第一CCD相机的控制端通过控制总线连接所述中央控制单元的总线接口；

所述第二CCD相机的输出端通过数据总线连接所述图像处理单元的总线接口，所述第二CCD相机的控制端通过控制总线连接所述中央控制单元的总线接口；

所述光学发射子装置包括：第一激光器、第二激光器、第一合光镜、第二合光镜、准直透镜和扫描振镜；所述第一激光器和所述第二激光器的规格相同；

所述第一激光器的控制端通过控制总线连接所述中央控制单元的总线接口，所述第二激光器的控制端通过控制总线连接所述中央控制单元的总线接口；

所述第一合光镜位于所述第一激光器发射的激光光路上，所述第二合光镜位于所述第二激光器发射的激光光路上；

所述第一合光镜和所述第二合光镜用于将所述第一激光器发射的激光和所述第二激光器发射的激光合并射入所述准直透镜；

所述扫描振镜位于所述准直透镜的出射光路上，所述扫描振镜的控制端通过控制总线连接所述中央控制单元的总线接口，所述扫描振镜用于接收所述准直透镜的出射光路并扫描后投射出所述光学接收子装置；

所述图像处理单元用于接收所述第一CCD相机和所述第二CCD相机采集的图像数据，并处理所述图像数据；

所述中央控制单元用于控制所述第一CCD相机、所述第二CCD相机、所述第一激光器和所述第二激光器的工作时序；

所述路面障碍物检测系统包括：

获取模块，用于获取车辆的车速信号、侧向加速度信号和所述第一CCD相机的脉冲序列；所述侧向加速度信号包括正侧向加速度和负侧向加速度；所述正侧向加速度表示所述车辆左转弯的侧向加速度；所述负侧向加速度表示所述车辆右转弯的侧向加速度；

控制模块，用于根据所述第一CCD相机的脉冲序列控制所述第一激光器以及所述第二激光器的开启与关闭；

预处理模块，用于获取所述第一CCD相机和所述第二CCD相机采集的图像数据，并对所述图像数据进行预处理，得到预处理后的图像数据，具体包括：

获取单元，用于获取所述第一CCD相机采集的第一图像数据，所述第二CCD相机采集的第二图像数据；

预处理单元，用于对所述第一图像数据进行预处理得到第三图像数据，对所述第二图像数据进行预处理得到第四图像数据；

帧数据模块，用于获取所述预处理后的图像数据中来自所述第一CCD相机的第一时刻和第二时刻的帧数据以及来自所述第二CCD相机的第一时刻和第二时刻的帧数据，具体包括：

第三图像数据单元，用于根据所述第三图像数据，获取所述第一时刻时所述第一CCD相机的第一数据帧，第二时刻时所述第一CCD相机的第二数据帧；所述第一时刻时所述第一激光器为开启状态，所述第二时刻时所述第一激光器为关闭状态；

第四图像数据单元，用于根据所述第四图像数据，获取所述第一时刻时所述第二CCD相机的第三数据帧，所述第二时刻时所述第二CCD相机的第四数据帧；

第一黑白图像模块，用于对来自所述第一CCD相机的所述第一时刻和所述第二时刻的帧数据进行差运算后得到第一黑白图像，具体包括：

第一图像帧数据单元，用于所述第一数据帧减去所述第二数据帧，得到第一图像帧数据；

第一黑白图像单元，用于将所述第一图像帧数据中的负值置零且二值化，得到所述第一黑白图像；

第二黑白图像模块，用于对来自所述第二CCD相机的所述第一时刻和所述第二时刻的帧数据进行差运算后得到第二黑白图像，具体包括：

灰度第三数据帧单元，用于对所述第三数据帧进行灰度化处理，得到灰度第三数据帧；

灰度第四数据帧单元，用于对所述第四数据帧进行灰度化处理，得到灰度第四数据帧；

第二图像帧数据单元，用于所述灰度第三数据帧减去所述灰度第四数据帧，得到第二图像帧数据；

第二黑白图像单元，用于对所述第二图像帧数据进行二值化处理，得到所述第二黑白图像；

结构光条图像模块，用于对所述第一黑白图像和所述第二黑白图像进行差运算后得到结构光条图像；

障碍物信息模块，用于对所述结构光条图像进行聚类分析，得到障碍物信息。

Images