CN109934108A - 一种多目标多种类的车辆检测和测距系统及实现方法 - Google Patents

Abstract

本发明公开了一种多目标多种类的车辆检测和测距系统及实现方法，包括检测系统、测距系统、外部控制单元和车载的显示屏；检测系统包括车道视频采集模块、显示器以及嵌入式系统；测距系统包括信息识别单元、控制单元以及显示单元；信息识别处理单元连接所述检测系统的车道视频采集模块，接收车道视频采集模块处理后的图像/视频数据；测距系统的所述控制单元与信息识别单元、显示单元、车道视频采集模块、嵌入式系统连接，用于控制各单元和之间的数据交互；其中所述嵌入式系统以开源深度学习框架Darknet为基础，改进的YOLOv3网络结构为模型；所述信息识别处理单元基于双目SLAM算法。

Description

一种多目标多种类的车辆检测和测距系统及实现方法

技术领域

本发明涉及车辆识别和定位领域，尤其涉及一种多目标多种类的车辆检测和测距的系统及实现方法。

背景技术

在当前车辆识别和定位领域，目标检测技术的主要过程是找出图像中目标的位置并且判断出目标的分类。传统的目标检测方法是基于滑窗的局域选择加手工特征的原理，存在时间复杂度高、窗口冗余以及无法适应特征的多样性缺点，难以应用到复杂路况中。后来又陆续研究出了R-CNN、Fast R-CNN、SPP-NET等检测算法，但这些算法还是存在检测速率过慢、选择候选区域耗时等问题。

而测距领域当前基于摄像头的测距方法主要有双目视觉测距系统、结构光视觉测距系统、TOF测距系统这三类方法。

双目视觉测距系统是基于视差原理，由多幅图像获取物体三维几何信息的方案。在计算机视觉系统中，双目视觉一般由双摄像机从不同角度同时获取周围景物的两幅数字图像，或有由单摄像机在不同时刻从不同角度获取周围景物的两幅数字图像，并基于视差原理即可恢复出物体三维几何信息，重建周围景物的三维形状与位置。相对于其他的辅助测距方法，譬如雷达测距、激光测距、红外线测距等，双目立体视觉测距技术的最大特点在于其非接触性，具有受外界影响小、隐蔽性及性价比高等优点。

结构光视觉测距系统采用一个投影仪主动投射光模式。光模式经过场景调制后，由摄像机捕获场景调制图对捕获的模式图像进行解码，与投射模式特征量匹配，找出各个对应点，利用三角原理完成三维重构。结构光视觉测距系统虽然能够有效地解决双目视觉中匹配算法的复杂度和鲁棒性的问题，但是在强光下，结构光中的核心技术激光散斑会被淹没。因此，此方法不适用于室外。同时，在长时间监控方面，例如视频监控等，激光发射设备容易损坏，成本高。重新更换设备后，需要进行重新标定各项参数。

TOF是Time of flight的简写，直译为飞行时间的意思。TOF测距系统即是所谓的光飞行时间法3D成像。该方法是通过给待检测目标连续发送光脉冲，利用传感器接收从物体返回的光。通过探测光脉冲的飞行时间来得到目标物体的距离。TOF测距系统的最大优点是其深度精度不会随距离改变而变化，精度基本能稳定在厘米级别。但是在多目标的距离测量中存在操作不方便等问题。

发明内容

有鉴于此，为了解决现有技术中的上述问题，本发明提出一种多目标多种类车辆检测和测距的系统及方法，实现低成本高精度的车辆检测和测距。

本发明通过以下技术手段解决上述问题：

本发明提供一种多目标多种类的车辆检测和测距系统，包括检测系统、测距系统、外部控制单元和车载的显示屏；所述检测系统包括车道视频采集模块、显示器以及嵌入式系统；所述测距系统包括信息识别单元、控制单元以及显示单元；所述信息识别处理单元连接所述检测系统的所述车道视频采集模块，接收所述车道视频采集模块处理后的图像/视频数据；所述测距系统的所述控制单元与所述信息识别单元、所述显示单元、所述车道视频采集模块、所述嵌入式系统连接，用于控制各单元和之间的数据交互；其中所述嵌入式系统以开源深度学习框架Darknet为基础，改进的YOLOv3网络结构为模型，结合维度聚类分析、网络预训练和多尺度训练模型的方法，训练图像检测器；所述信息识别处理单元基于双目SLAM算法，采用特征点法进行视觉里程计设计，光束平差法与图优化法进行后端优化。

进一步地，所述车道视频采集模块包括双目摄像头和预处理单元，其中所述预处理单元用于所述双目摄像头采集到的图像/视频的预处理工作；所述预处理工作包括：将采集到的车辆行驶道路信息，以视频逐帧的形式将信息传递给所述预处理单元，所述预处理单元对图像进行格式、大小统一设置，去模糊化，处理不规则、模糊的图片。

进一步地，所述控制单元用于：(1)当从所述检测系统的所述车道视频采集模块所采集的图片、视频信息不符合所述嵌入式系统检测算法模型的要求时，所述控制单元将控制所述车道视频采集模块重新采集图像；(2)当所述检测系统的所述嵌入式系统将产生的车辆识别结果送入所述测距系统的信息识别处理单元时，若所述识别结果中并没有识别出车辆或原始数据中根本不存在车辆信息时，控制单元将信息反馈回所述嵌入式系统；(3)接受来自所述外部控制单元的指令选择部分或全部信息传递到所述车载的显示屏；(4)接受来自所述外部控制单元的指令控制检测和/或测距。

本发明还提供一种多目标多种类的车辆检测和测距系统的实现方法，包含如下步骤：

步骤S1、通过双目摄像头采集车辆行驶道路信息，将所述采集到的信息传递给预处理单元进行预处理工作；

步骤S2、通过控制单元传递给所述嵌入式系统的检测模型，识别出图像上车辆的类型；

步骤S3、所述嵌入式系统同时将信息传递给所述测距系统的所述控制单元，所述控制单元根据所述外部控制单元的指令判断是否将信息传递给所述测距系统的所述信息识别单元，用以实现控制是否测距的功能。

进一步地，采用特征点法进行视觉里程计设计，光束平差法与图优化法进行后端优化具体步骤为：

步骤1)、提取每帧图像特征点，利用相邻帧图像，进行特征点匹配；

步骤2)、利用RANSAC去除大噪声，进行匹配后得到位姿信息，同时可以利用惯性测量单元提供的位姿信息进行滤波融合；

步骤3)、后端优化利用滤波理论或者优化理论TORO、G2O进行树或者图的优化，最终得到最优的位姿估计。

本发明的有益效果是：

本发明以开源深度学习框架Darknet为基础，改进的YOLOv3网络结构为模型实现多目标多种类的车辆检测，基于双目SLAM算法实现精确测距以及降低成本，实现了低成本高精度的车辆检测和测距，为进一步智能辅助司机或无人驾驶车在多目标多种类的车辆交通环境下安全驾驶，根据检测和测距结果智能判断行驶道路情况提供了解决方案。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的多目标多种类车辆检测和测距系统结构图；

图2是本发明的多目标多种类车辆检测和测距系统的实现方法流程示意图；

图3是本发明所采用的双目SLAM算法实现测距的算法示意图；

图4是本发明所采用的双目SLAM算法实现测距的流程示意图。

具体实施方式

为了使本发明的上述目的、特征和有点能够更加通俗易懂，下面将结合附图和具体的是实施例对发明的技术方案进行详细说明。需要指出的是，所描述的是实施例仅是本发明一部分实施例，不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提供一种多目标多种类的车辆检测和测距系统，包括检测系统、测距系统、外部控制单元和车载的显示屏；所述检测系统包括车道视频采集模块、显示器以及嵌入式系统；所述测距系统包括信息识别单元、控制单元以及显示单元；所述信息识别处理单元连接所述检测系统的所述车道视频采集模块，接收所述车道视频采集模块处理后的图像/视频数据；所述测距系统的所述控制单元与所述信息识别单元、所述显示单元、所述车道视频采集模块、所述嵌入式系统连接，用于控制各单元和之间的数据交互。

所述车道视频采集模块包括双目摄像头和预处理单元，其中所述预处理单元用于所述双目摄像头采集到的图像/视频的预处理工作。所述双目摄像头与所述预处理单元连接，所述双目摄像头固定于车灯上方且两个摄像头之间距离固定。

所述嵌入式系统，其携带的代码用于前方多目标多种类车辆检测，所采用的代码框架为Darknet框架，其所用算法为YOLOv3算法，所述Darknet框架与YOLOv3算法是目标检测的框架算法，本发明在所述框架与算法上进行了参数优化，并进一步优化模型。由于本发明是要实现多目标多种类的目标检测，故算法代码中模型类别全设为车的种类，将车分为多个类别。

Darknet框架是一个开源的较为轻型的完全基于C与CUDA的深度学习框架，其YOLO神经网络算法对目标检测效果显著。区别于R-CNN系列为代表的两步检测算法，YOLO舍去了候选框提取分支(Proposal阶段)，直接将特征提取、候选框回归和分类在同一个无分支的卷积网络中完成，使得网络结构变得简单，检测速度较Faster R-CNN也有近10倍的提升，这使得深度学习目标检测算法能够满足实时检测任务的需求。

YOLO算法将待检测图像缩放到统一尺寸，为了检测不同位置的目标，将图像等分成的网格，如果某个目标的中心落在一个网格单元中，此网格单元就负责预测该目标。本发明所采用的YOLOv3模型可以通过改变模型结构的大小来权衡速度与精度。YOLOv3有以下优点：多尺度预测(FPN)；更好的Backbone网络(Darknet53残差网络)；分类损失采用binarycross-entropy损失函数替换Softmax损失函数(Softmax会选择分数最高的类别判定为当前框所属的类别，而现实中一个目标可能属于多个类别标签)。

因此，本发明所述嵌入式系统以开源深度学习框架Darknet为基础，改进的YOLOv3网络结构为模型，结合维度聚类分析、网络预训练和多尺度训练模型的方法，训练图像检测器。

所述信息识别处理单元附有实现测距的算法代码，所述算法是基于视觉SLAM(Simultaneous Localization and Mapping，同时定位与建图)算法进行构建的，视觉SLAM算法可分为单目SLAM和双目SLAM算法，顾名思义，单目SLAM是以单目相机为物理基础的，双目SLAM是以双目相机为物理基础的，基于双目比单目更为精确。

基于双目比单目更为精准，本发明采用双目SLAM算法进行测距，采用特征点法进行视觉里程计设计，光束平差法(BA，Bundle Adjustment)与图优化法进行后端优化。

所述控制单元的功能具体表现为：(1)当从所述检测系统的所述车道视频采集模块所采集的图片、视频信息不符合所述嵌入式系统检测算法模型的要求时，所述控制单元将控制所述车道视频采集模块重新采集图像；(2)当所述检测系统的所述嵌入式系统将产生的车辆识别结果送入所述测距系统的信息识别处理单元时，若所述识别结果中并没有识别出车辆或原始数据中根本不存在车辆信息时，控制单元将信息反馈回所述嵌入式系统；(3)接受来自所述外部控制单元的指令选择部分或全部信息传递到所述车载的显示屏；(4)接受来自所述外部控制单元的指令控制检测和/或测距。

如图2所示，本发明还提供一种多目标多种类的车辆检测和测距系统的实现方法，具体步骤如下：

步骤S1、通过双目摄像头采集车辆行驶道路信息，将所述采集到的信息传递给预处理单元进行预处理工作；

其中预处理单元对图像进行格式、大小统一设置，去模糊化，处理不规则、模糊的图片；

步骤S2、所述预处理好的图像信息通过控制单元传递给所述嵌入式系统的检测模型，识别出图像上车辆的类型；

若识别不出即意味着所在图像检测不到车辆，当前车道暂无车辆，就这样将传递过来的图像在做过屏幕自适应处理后通过外部控制单元显示在车载的显示屏上；若识别了但识别率低于50％则嵌入式系统将下达指令将识别出错信息回馈给控制单元，控制单元将重新加载图像，再将图像信息传递回嵌入式系统，直至识别率高于50％，考虑到实际情况，本发明所提供的系统在车距100m以上时进行的检测和测距不会显示结果。

步骤S3、所述嵌入式系统处理信息后会将数据传递给所述显示器，所述显示器将要显示的数据规范化处理；同时所述嵌入式系统亦将信息传递给所述测距系统的所述控制单元，所述控制单元根据所述外部控制单元的指令判断是否将信息传递给所述测距系统的所述信息识别单元，用以实现控制是否测距的功能。

具体地，若接收的指令是1(True)，则将信息传递给所述信息识别单元，所述信息识别单元接收信息并进行测距，距离测定后则将测定后的带有距离信息的数据回馈到所述控制单元，所述控制单元将数据传递给所述显示单元，所述显示单元同样将要显示的数据规范化处理。

进一步地，从所述检测系统的所述显示器输出的数据将与从所述测距系统的所述显示单元输出的数据或一起或单一地传递到所述外部控制单元，是一起还是单一取决于所述外部控制单元的指令，若一起则所述外部控制单元将会检测数据与测距数据通过编码糅合成一块，即数据揉合，所述外部控制单元将揉合后的数据传递给所述车载的显示屏，所述车载的显示屏显示最终输出的数据。

进一步地，本发明的检测系统是基于YOLOv3目标检测算法和Darknet框架实现的，Darknet框架是一个开源的较为轻型的完全基于C与CUDA的深度学习框架，其YOLO神经网络算法对目标检测效果显著。区别于R-CNN系列为代表的两步检测算法，YOLO舍去了候选框提取分支(Proposal阶段)，直接将特征提取、候选框回归和分类在同一个无分支的卷积网络中完成，使得网络结构变得简单，检测速度较Faster R-CNN也有近10倍的提升。这使得深度学习目标检测算法在当时的计算能力下开始能够满足实时检测任务的需求。算法将待检测图像缩放到统一尺寸，为了检测不同位置的目标，将图像等分成的网格，如果某个目标的中心落在一个网格单元中，此网格单元就负责预测该目标。其中YOLOv3的模型比之前的版本复杂了不少，可以通过改变模型结构的大小来权衡速度与精度。YOLOv3有一下优点：多尺度预测(FPN)；更好的Backbone网络(Darknet53残差网络)；分类损失采用binary cross-entropy损失函数替换Softmax损失函数(Softmax会选择分数最高的类别判定为当前框所属的类别，而现实中一个目标可能属于多个类别标签)。

因此，本发明所述嵌入式系统以开源深度学习框架Darknet为基础，改进的YOLOv3网络结构为模型，结合维度聚类分析、网络预训练和多尺度训练模型的方法，训练图像检测器。

如图3所示，本发明的测距系统是基于双目视觉SLAM算法实现的，其初始化实现过程如下：首先将从摄像头或者数据集中读入的数据封装，将彩色图像处理成灰度图像，继而将图片封装成帧，进行ORB特征提取，创建关键帧，创建好后添加关键帧和初始化地图点，将关键帧插入地图，地图初始化时关联关键帧，然后对相关数据赋值，具体表现为更新局部地图、最后帧、最后关键帧、参考帧。

SLAM算法分为前端(即视觉里程计(VO)，研究帧与帧之间变换关系)和后端，在本发明中采用特征点法进行视觉里程计设计，光束平差法(BA，Bundle Adjustment)与图优化法进行后端优化，如图4所示，具体步骤如下：

步骤1、提取每帧图像特征点，利用相邻帧图像，进行特征点匹配；

步骤2、利用RANSAC去除大噪声，进行匹配后得到位姿信息，同时可以利用惯性测量单元提供的位姿信息进行滤波融合；

步骤3、后端优化利用滤波理论或者优化理论TORO、G2O进行树或者图的优化，最终得到最优的位姿估计。

以上所述实施例仅表达了本发明的集中实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明的构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (5)

1.一种多目标多种类的车辆检测和测距系统，其特征在于，包括检测系统、测距系统、外部控制单元和车载的显示屏；所述检测系统包括车道视频采集模块、显示器以及嵌入式系统；所述测距系统包括信息识别单元、控制单元以及显示单元；所述信息识别处理单元连接所述检测系统的所述车道视频采集模块，接收所述车道视频采集模块处理后的图像/视频数据；所述测距系统的所述控制单元与所述信息识别单元、所述显示单元、所述车道视频采集模块、所述嵌入式系统连接，用于控制各单元和之间的数据交互；其中所述嵌入式系统以开源深度学习框架Darknet为基础，改进的YOLOv3网络结构为模型，结合维度聚类分析、网络预训练和多尺度训练模型的方法，训练图像检测器；所述信息识别处理单元基于双目SLAM算法，采用特征点法进行视觉里程计设计，光束平差法与图优化法进行后端优化。

2.根据权利要求1所述的车辆检测和测距系统，其特征在于，所述车道视频采集模块包括双目摄像头和预处理单元，其中所述预处理单元用于所述双目摄像头采集到的图像/视频的预处理工作；所述预处理工作包括：将采集到的车辆行驶道路信息，以视频逐帧的形式将信息传递给所述预处理单元，所述预处理单元对图像进行格式、大小统一设置，去模糊化，处理不规则、模糊的图片。

3.根据权利要求1所述的车辆检测和测距系统，其特征在于，所述控制单元用于：(1)当从所述检测系统的所述车道视频采集模块所采集的图片、视频信息不符合所述嵌入式系统检测算法模型的要求时，所述控制单元将控制所述车道视频采集模块重新采集图像；(2)当所述检测系统的所述嵌入式系统将产生的车辆识别结果送入所述测距系统的信息识别处理单元时，若所述识别结果中并没有识别出车辆或原始数据中根本不存在车辆信息时，控制单元将信息反馈回所述嵌入式系统；(3)接受来自所述外部控制单元的指令选择部分或全部信息传递到所述车载的显示屏；(4)接受来自所述外部控制单元的指令控制检测和/或测距。

4.一种如权利要求1-3任一项所述的多目标多种类的车辆检测和测距系统的实现方法，其特征在于包含如下步骤：

步骤S1、通过双目摄像头采集车辆行驶道路信息，将所述采集到的信息传递给预处理单元进行预处理工作；

步骤S2、通过控制单元传递给所述嵌入式系统的检测模型，识别出图像上车辆的类型；

步骤S3、所述嵌入式系统同时将信息传递给所述测距系统的所述控制单元，所述控制单元根据所述外部控制单元的指令判断是否将信息传递给所述测距系统的所述信息识别单元，用以实现控制是否测距的功能。

5.根据权利要求4所述的实现方法，其特征在于，采用特征点法进行视觉里程计设计，光束平差法与图优化法进行后端优化，具体步骤为：

步骤1)、提取每帧图像特征点，利用相邻帧图像，进行特征点匹配；

步骤2)、利用RANSAC去除大噪声，进行匹配后得到位姿信息，同时可以利用惯性测量单元提供的位姿信息进行滤波融合；

步骤3)、后端优化利用滤波理论或者优化理论TORO、G2O进行树或者图的优化，最终得到最优的位姿估计。