CN110674733A - 多目标检测识别方法和辅助驾驶方法、系统 - Google Patents

Abstract

本发明公开了一种多目标检测识别方法和辅助驾驶方法、系统,涉及汽车自动驾驶，其中多目标检测识别方法，包括以下步骤：获取车辆前方路况的原始图像；计算车辆当前的安全距离；建立原始图像与物理距离的表征关系；根据所述表征关系和安全距离，对原始图像进行截取，以截取出安全距离内的图像作为待检测图像；将待检测图像进行基于Keras的多目标检测识别，并输出多目标识别结果。本发明的多目标检测识别方法可根据车辆的车速信息等车况信息从图像传感器获取的原始图像中划分出感兴趣区域，从而过滤掉不感兴趣的数据，加快多目标检测识别的速度，同时避免区域外的目标对驾驶员产生不必要的干扰，提高车辆行驶的安全性。

Description

多目标检测识别方法和辅助驾驶方法、系统

技术领域

本发明涉及汽车自动驾驶领域，尤其涉及一种基于Keras的多目标检测识别方法和车辆辅助驾驶系统。

背景技术

智能车辆对社会、驾驶员和行人均有益处。智能车辆的交通事故发生率几乎可以下降至零，即使受其他汽车交通事故发生率的干扰，自动驾驶汽车市场份额的高速增长也会使整体交通事故发生率稳步下降。智能驾驶汽车的行驶模式可以更加节能高效，因此交通拥堵及对空气的污染将得以减弱。

此外，智能汽车可以为社会节省数量巨大的交通事故成本、交通拥堵成本以及运输过程中以人力提高生产力的成本。

随着人工智能、无人驾驶领域等相关技术不断创新发展，一些智能网联化的设备、技术已经在道路上广泛实践，可以完成一定条件下的自动驾驶和辅助驾驶。如自动泊车、车道保持、前向防撞等。如何对目标进行检测识别在自动驾驶领域中是一项非常重要的研究课题，如果能够将检测结果实时准确地传达给自动驾驶系统，进而控制车辆下一步的操作，将非常有利于减少交通事故，提高驾驶的安全系数。

车辆在日常行驶下，交通路况复杂多样，需要检测的目标多而杂，且容易受到不同天气状况的干扰。传统的图像处理方法较难处理如此复杂的工况。故致力于研究使用深度学习方法结合传统图像处理方法来达到使用效果。

发明内容

有鉴于现有技术的上述缺陷，本发明的第一目的是提供一种基于Keras的多目标检测识别方法，可从图像传感器上传的原始图像中过滤掉不感兴趣的数据，减少干扰，加快多目标检测识别的速度，提高车辆行驶的安全性。

本发明的第二目的是提供一种应用该多目标检测识别方法的辅助驾驶系统和辅助驾驶方法，用以提供实现多目标检测识别方法所需的硬件架构和软件控制。

为实现第一目的，本发明提供了以下方案：

一种多目标检测识别方法，包括以下步骤：获取车辆前方路况的原始图像；计算车辆当前的安全距离；建立原始图像与物理距离的表征关系；根据所述表征关系和安全距离，对原始图像进行截取，以截取出安全距离内的图像作为待检测图像；将待检测图像进行基于Keras的多目标检测识别，并输出多目标识别结果。

进一步的，所述建立原始图像与物理距离的表征关系是：根据用于拍摄原始图像的拍摄视角与路面的物理距离的几何关系，建立物理距离在原始图像的水平位置的对应关系。

进一步的，所述待检测图像的截取是：根据安全距离对应在原始图像的水平位置，截取出所述水平位的水平线以下区域作为待检测图像。

进一步的，所述计算车辆当前的安全距离的方法是：通过当前车速信息、车辆制动力、系统反应时间、当前车速对应的刹车距离、以及反应时间内车辆匀速行驶的距离中的一个或多个来估算获得。

进一步的，所述基于Keras的多目标检测识别的过程是：将待检测图像输入到已训练好的神经网络，经过卷积神经网络、编码降维、阈值过滤和非极大值抑制，以输出多目标识别结果。

进一步的，所述阈值过滤，包括获取每个锚框的置信度得分，判断每个锚框的置信度得分是否大于预设阈值，当所述锚框的置信度得分小于预设阈值时，所述锚框丢弃。

进一步的，所述非极大值抑制用于解决锚框相互重叠并检测同一个物体的情况，包括步骤：

S1，根据置信度得分进行排序；S2，选择置信度最高的锚框添加到最终输出列表中，将其从锚框列表中删除；S3计算所有锚框的面积；S4,计算置信度最高的锚框与锚框列表中的其它锚框的交互比IOU，其中IOU函数等于两个锚框的交集面积处以两个锚框的并集面积；S5,设置交互比IOU的阈值，删除交互比IOU大于阈值的锚框列表中的锚框；S6,重复S1-S5，直至锚框列表为空。

为实现第二目的，本发明提供了以下技术方案：

一种辅助驾驶方法，至少包括功能开启模式，在所述开启模式，以多目标检测识别方法进行多目标检测识别，所述多目标检测识别方法是如上所述的多目标识别方法，并根据多目标识别结果进行驾驶控制。

进一步的，还包括功能关闭模式和功能准备模式；所述功能关闭模式和功能准备模式通过模式控制信号进行切换控制，当模式控制信号被置为有效时，由功能关闭模式进入功能准备模式；当模式控制信号被置为无效时，由功能准备模式进入功能关闭模式；

所述功能准备模式和功能开启模式通过阈值速度和挡位信息进行切换控制，当车速大于设定的阈值速度且挡位为前进挡时，由功能准备模式进入功能开启模式；当车速小于设定的阈值速度或挡位不为前进挡时，在功能开启模式进入功能准备模式。

一种辅助驾驶系统，包括前摄像头和控制器，所述前摄像头用于获取车辆前方的原始图像信息，并发送给控制器；所述控制器和车辆的行车控制系统通信，获取车辆的挡位信息、车速信息等实时状态信息；并根据车速信息和档位信息执行如上所述的辅助驾驶方法，进行多目标检测识别，并将识别结果实时准确地传达给行车控制系统，进行驾驶控制。

进一步的，所述车辆辅助驾驶系统为一装置，所述装置集成前摄像头和控制器，所述装置通过控制线缆和所述行车控制系统通信。

进一步的，所述车辆辅助驾驶系统还包括毫米波雷达，所述毫米波雷达用于获取车辆前方或四周的目标的状态信息，并发送给控制器。

辅助驾驶系统辅助驾驶系统辅助驾驶系统辅助驾驶系统本发明实现了如下技术效果：

与现有技术相比，本发明基于Keras的多目标检测识别方法，可根据车辆的车速信息等车况信息从图像传感器获取的原始图像中划分出感兴趣区域，从而过滤掉不感兴趣的数据，加快多目标检测识别的速度，同时避免区域外的目标对驾驶员产生不必要的干扰，提高车辆行驶的安全性。

附图说明

图1是本发明实施例的车辆辅助驾驶系统的模式转移图；

图2是本发明实施例的基于Keras的多目标检测识别流程图；

图3是本发明实施例的用于多目标检测识别的原始图像；

图4A、图4B、图4C、图4D是本发明实施例中根据行车的安全距离截取的图3的感兴趣区域；

图5是车辆辅助驾驶系统和行车控制系统的结构框图。

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。

现结合附图和具体实施方式对本发明进一步说明。

实施例一

本发明公开了一种车辆辅助驾驶系统及基于Keras的多目标检测识别方法的具体实施例，具体包括以下步骤：

(一)功能开启：

在本实施例中，车辆辅助驾驶系统是根据人机接口(HMI)、车速信息、挡位信息等信息进行模式的切换控制，从而启动基于Keras的多目标检测识别方法，模式转移图如图1所示，包括功能关闭模式、功能准备模式和功能开启模式。系统控制模块的功能开关(即图1中控制信号开关)用于进行功能关闭模式和功能准备模式之间的切换。在图1中将控制信号开关由0置为1，辅助驾驶系统由功能关闭模式进入功能准备模式，从而状态信号Status被标记为1；当车速大于设定的阈值速度且挡位为前进挡(即D挡)时，由功能准备模式进入功能开启模式，状态信号Status被标记为2，开始进行多目标检测识别。

(二)基于Keras的多目标检测识别：

Keras是一个由Python编写的开源人工神经网络库，可以作为Tensorflow、Microsoft-CNTK和Theano的高阶应用程序接口，进行深度学习模型的设计、调试、评估、应用和可视化。Keras在代码结构上由面向对象方法编写，完全模块化并具有可扩展性。Keras支持现代人工智能领域的主流算法，包括前馈结构和递归结构的神经网络，也可以通过封装参与构建统计学习模型。在硬件和开发环境方面，Keras支持多操作系统下的多GPU并行计算，可以根据后台设置转化为Tensorflow、Microsoft-CNTK等系统下的组件。

在本发明的实施例中，通过调用Keras的API，运用锚框、非极大值抑制等技术手段实现图片识别，获取目标的状态信息。基于Keras的多目标检测识别流程如图2所示。

基本概念：

1、锚框

在车辆前方或顶部设置图像传感器(摄像头)，检测车辆前方的路况信息。将图像传感器采集的图像作为待检测图像，输入到已训练好的神经网络，经过卷积神经网络(CNN)、编码降维、阈值过滤、非极大值抑制输出为多目标识别结果。

将输入的每一帧图片划分成19*19的单元格，每个单元格的输出是一个识别分类与边界框的列表。每个单元格的一个边界框由5个数字和1个集合组成：(p_c,b_x,b_y,b_h,b_w,c)。

其中：p_c：代表此单元格有检测目标的图像的概率；b_x,b_y,b_h,b_w:如果某个单元格包含有检测目标，那么就给出具体目标的边界框坐标，b_x,b_y为边界框中心点坐标，b_h,b_w为边界框的宽度和长度；c：是一个具有元素数量为目标识别类别总数量的有序集合，集合里的每个元素对应的检测目标在该边界框内被检出的概率。

比如只支持行人车辆的识别，那么集合c里就只有2个元素c1、c2，元素c1、c2分别对应行人、车辆的检测概率，那【1，0.4，0.5，0.8，0.8，0，1】表示这个单元格里存在检测目标的概率为100％，对应的边界框中心点坐标(0.4,0.5),宽度和高度是0.8，该检测目标为车辆的概率为100％。

由于使用5个锚框，图像输入后经过深度卷积神经网络DeepCNN、编码降维，输出的维度为(19,19,25+5*c)，其中25+5*c＝5*(5+c)，5+c对应的就是(p_c,b_x,b_y,b_h,b_w,c)。

计算每个单元格每个锚框里的检测概率p_c与集合c里每一个元素的乘积，找到每个锚框的分类概率的最大值，并提取该框对应最大值的目标类别。

在每个网络单元的每个锚框里采用阈值过滤，对每个锚框的分类概率最大值进行识别。设置第一阈值并根据第一阈值创建掩码，舍弃掉最大值低于第一阈值的锚框，对于最大值大于第一阈值的锚框进行掩码操作筛选出来。

2、非极大值抑制

非极大值抑制，简称为NMS算法，英文为Non-Maximum Suppression。其思想是搜索局部最大值，抑制非极大值的元素。非极大值抑制，在计算机视觉任务中得到了广泛的应用，例如边缘检测、人脸检测、目标检测(DPM，YOLO，SSD，Faster R-CNN)等。

以目标检测为例：目标检测的过程中在同一目标的位置上会产生大量的候选框，这些候选框相互之间可能会有重叠，此时我们需要利用非极大值抑制找到最佳的目标边界框，并消除冗余的边界框。

采用非极大值抑制解决锚框相互重叠并检测同一个物体的情况，包括步骤：

(1)根据置信度得分进行排序；(2)选择置信度最高的锚框添加到最终输出列表中，将其从锚框列表中删除；(3)计算所有锚框的面积；(4)计算置信度最高的锚框与锚框列表中的其它锚框的交互比IOU，其中IOU函数等于两个锚框的交集面积处以两个锚框的并集面积；(5)设置交互比IOU的阈值，即第二阈值，删除交互比IOU大于第二阈值的锚框列表中的锚框；(6)重复上述过程，直至锚框列表为空。

在完成非极大值抑制后，输出最终输出列表；具体的，也可以是在图片上标识最终输出列表中的锚框，并输出图片。

(三)多目标检测识别的前置图像处理：

为有效识别目标信息，需要提高图像传感器采集的图像像素，进而增加图像处理的运算量，控制器的运行负荷增大，需要进行优化。

图像传感器捕捉的原始图像为透视图，根据拍摄原始图像的拍摄视角，原始图像的中部的某一点代表无穷远处，从该点向原始图像的四周，其与车辆的距离越来越近，包括由远及近的路况信息，图像的上半部为是天空，图像的下半部为近处的路况信息，因此可以根据用于拍摄原始图像的拍摄视角与路面的物理距离的几何关系，建立物理距离在原始图像的水平位置的对应关系。

在该图像中，仅有近处近地的目标会对行车产生威胁，因此，在多目标检测识别时，仅需要截取对行车有威胁的区域进行多目标检测识别，从而避免远处的目标对驾驶员产生不必要的干扰。为便于截取有威胁的区域，可以根据有威胁的区域的物理距离对应在原始图像的水平位置，截取出所述水平位的水平线以下区域作为待检测图像。

图3为图像传感器上传的原始图像，可以根据实际情况在原始图像上标注场景中的各水平线与车的相对距离，建立原始图像与物理距离的表征关系。

在多目标检测识别时，需要及时检测接近车辆的安全距离的目标，我们可以通过车速信息、车辆制动力、系统反应时间、刹车距离、以及反应时间内车辆匀速行驶的距离中的一个或多个得出车辆的安全距离，如表1所示。

表1车速和安全距离对照表

在本实施例中，本车辆实时采集车速信息，获取车辆的安全距离，根据安全距离在原始图像上标注无穷远、50米、20米、10米、5米等水平线，划分出感兴趣区域，并进行动态的裁剪得到目标图片，如图4A、图4B、图4C和图4D所示。该水平线的标注已经考虑了行人、车辆等前方目标的高度信息。

如图4A所示，当车辆的安全距离为5米，将原始图像的上部裁剪至标识为5米的水平线；

如图4B所示，当车辆的安全距离为10米时，将原始图像的上部裁剪至标识为10米的水平线；

如图4C所示，当车辆的安全距离为20米时，将原始图像的上部裁剪至标识为20米的水平线；

如图4D所示，当车辆的安全距离大于50米时，将原始图像的上部裁剪至标识为无穷远的水平线；

将得到目标图片输入至识别模型，进行目标的实时识别，提高检测效率和有效性。

(三)预警机制触发：

当识别的目标位于车辆前方设定范围内，触发辅助驾驶系统的预警机制。辅助驾驶系统的系统控制模块的输入输出如表2。

表2系统控制模块的输入输出

在检测的时候，实时读取车速信号，结合车辆工况，获取车辆的安全距离，根据安全距离对图片划分感兴趣区域，动态的裁剪传感器的原始图片大小。目标标志位是一个识别目标总数量的集合，当识别的目标位于车辆前方设定范围内，在集合里的指定位置的数字从0变成1，并识别出相应的目标信息。并触发指定类别的预警信号。

当车速低于等于阈值速度或挡位不为D挡时，从功能开启模式返回功能准备模式，状态信号Status被标记为1；当控制信号开关由1置为0时，返回功能关闭模式，状态信号标记为0，车辆辅助驾驶系统的多目标识别功能关闭。

与现有技术相比，本发明基于Keras的多目标检测识别，可根据车辆的车速信息等车辆工况信息从图像传感器采集的原始图像中划分出感兴趣区域，从而过滤掉不感兴趣的数据，加快多目标检测识别的速度，同时避免远处的目标对驾驶员产生不必要的干扰，提高车辆行驶的安全性。

实施例二

如图5所示，本发明还公开了一种车辆辅助驾驶系统20，车辆辅助驾驶系统20包括控制器202、前摄像头201和存储器203，前摄像头201被设置于车辆的前部或顶部，用于获取车辆前方的路况图像信息；控制器202和车辆的行车控制系统10通信，获取车辆的挡位信息、车速信息等车辆车况信息；当车辆挡位处于D挡且速度大于最低限速时，控制器202读取前摄像头201采集的路况图像信息，并运用如实施例一所述的基于Keras的多目标检测识别方法进行多目标识别，并将识别结果实时准确地传达给行车控制系统10，进而控制车辆的下一步动作。

可选的，存储器203可以由以下类型的易失性或非易失性存储设备或者它们的组合实现，如静态随时存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器和快闪存储器。

控制器202包括一个或一个以上处理核心，存储器203通过总线与控制器202相连，存储器203用于存储程序指令，控制器202执行存储器203的程序指令时实现如上所述的基于Keras的多目标检测识别方法。

可选的，车辆辅助驾驶系统20中的控制器202和前摄像头201集成在一设备上，该设备通过控制线缆和行车控制系统10通信。

可选的，车辆辅助驾驶系统20还包括毫米波雷达204，该毫米波雷达204可提供近距离的精确测距，通过前摄像头201和毫米波雷达204的输出信息的相互验证，可以准确获得车辆前方的目标位置和目标类别信息，可增加目标识别的准确性，实现车辆行驶的安全性。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (13)

1.一种多目标检测识别方法，其特征在于，包括以下步骤：

获取车辆前方路况的原始图像；

计算车辆当前的安全距离；

建立原始图像与物理距离的表征关系；

根据所述表征关系和安全距离，对原始图像进行截取，以截取出安全距离内的图像作为待检测图像；

将待检测图像进行基于Keras的多目标检测识别，并输出多目标识别结果。

2.如权利要求1所述的多目标检测识别方法，其特征在于：所述建立原始图像与物理距离的表征关系是：根据用于拍摄原始图像的拍摄视角与路面的物理距离的几何关系，建立物理距离在原始图像的水平位置的对应关系。

3.如权利要求1所述的多目标检测识别方法，其特征在于：所述待检测图像的截取是：根据安全距离对应在原始图像的水平位置，截取出所述水平位的水平线以下区域作为待检测图像。

4.如权利要求1所述的多目标检测识别方法，其特征在于：所述计算车辆当前的安全距离的方法是：通过当前车速信息、车辆制动力、系统反应时间、当前车速对应的刹车距离、以及反应时间内车辆匀速行驶的距离中的一个或多个来估算获得。

5.如权利要求1所述的多目标检测识别方法，其特征在于：所述基于Keras的多目标检测识别的过程是：将待检测图像输入到已训练好的神经网络，经过卷积神经网络、编码降维、阈值过滤和非极大值抑制，以输出多目标识别结果。

6.如权利要求5所述的多目标检测识别方法，其特征在于：所述阈值过滤，包括获取每个锚框的置信度得分，判断每个锚框的置信度得分是否大于预设阈值，当所述锚框的置信度得分小于预设阈值时，所述锚框丢弃。

7.如权利要求5所述的多目标检测识别方法，其特征在于：所述非极大值抑制用于解决锚框相互重叠并检测同一个物体的情况，包括步骤：

S1，根据置信度得分进行排序；S2，选择置信度最高的锚框添加到最终输出列表中，将其从锚框列表中删除；S3计算所有锚框的面积；S4,计算置信度最高的锚框与锚框列表中的其它锚框的交互比IOU，其中IOU函数等于两个锚框的交集面积处以两个锚框的并集面积；S5,设置交互比IOU的阈值，删除交互比IOU大于阈值的锚框列表中的锚框；S6,重复S1-S5，直至锚框列表为空。

8.一种辅助驾驶方法，其特征在于，至少包括功能开启模式，在所述开启模式以多目标检测识别方法进行多目标检测识别，所述多目标检测识别方法是如权利要求1-7任意一项所述的多目标识别方法，并根据多目标识别结果进行驾驶控制。

9.如权利要求8所述的辅助驾驶方法，其特征在于：还包括功能关闭模式和功能准备模式，

所述功能关闭模式和功能准备模式通过模式控制信号进行切换控制，当模式控制信号被置为有效时，由功能关闭模式进入功能准备模式；当模式控制信号被置为无效时，由功能准备模式进入功能关闭模式；

所述功能准备模式和功能开启模式通过阈值速度和挡位信息进行切换控制，当车速大于设定的阈值速度且挡位为前进挡时，由功能准备模式进入功能开启模式；当车速小于设定的阈值速度或挡位不为前进挡时，在功能开启模式进入功能准备模式。

10.一种辅助驾驶系统，其特征在于：包括前摄像头和控制器，所述前摄像头用于获取车辆前方的原始图像信息，并发送给控制器；所述控制器和车辆的行车控制系统通信，获取车辆的挡位信息、车速信息等实时状态信息；并根据车速信息和档位信息执行如权利要求8或9所述的辅助驾驶方法，进行多目标检测识别，并将识别结果实时准确地传达给行车控制系统，进行驾驶控制。

11.如权利要求10所述的辅助驾驶系统，其特征在于：所述车辆辅助系统为一装置，所述装置集成前摄像头和控制器，所述装置通过控制线缆和所述行车控制系统通信。

12.如权利要求10所述的辅助驾驶系统，其特征在于：所述车辆辅助系统还包括毫米波雷达，所述毫米波雷达用于进行车辆前方或四周的目标检测，并发送给控制器。

13.一种计算机的可读存储介质，其特征在于：所述存储介质中存储有至少一段程序，所述至少一段程序由控制器执行以实现权利要求1-7任一项所述的多目标检测识别方法。

Images