CN112364707B - 一种智能车对复杂路况进行超视距感知的系统及方法 - Google Patents

Abstract

本发明公开了一种智能车对路况进行超视距感知的系统及方法，包括智能车及无人机，车载无人机起飞后，将车载无人机自带的时间与智能车的时间同步，车载无人机启用跟随拍摄模式，位置实时校正，跟随车辆移动，保持位于车辆正上方；基于车载无人机实时传回的图像，智能车的智能终端运行目标检测算法，检测目标并进行分类，目标包括车道线、车辆、行人、交通标志牌，划定识别框及识别ID；利用无人机图像识别的结果补充车载视觉传感器获得的信息，具体是：将无人机图像检测的目标与车载视觉传感器所检测的行人与车辆图像运行进行重识别算法，对于被遮挡的交通车道线与标志牌，直接将识别获得的信息提供给智能车辆。

Description

一种智能车对复杂路况进行超视距感知的系统及方法

技术领域

本发明涉及自动驾驶领域，具体涉及一种智能车对复杂路况进行超视距感知的系统及方法。

背景技术

自动驾驶中的环境感知一直是复杂而艰巨的任务，在实际驾驶的过程中，环境往往十分复杂多样，涉及到交通标志识别、交通灯识别、地面标线识别、行人识别、车辆识别、道路地形的识别、路口识别、停车带识别等，单靠智能车自身的传感器难以获取全部信息，特别是在存在遮挡的情况下。针对这一问题，目前存在的解决方案是利用路侧传感器捕获的信息以及交通系统中多辆智能车传感器信息的相互融合形成感知通信一体化的智能车联系统，还可以利用高精度地图帮助智能车完成一部分识别任务，如交通标志识别、地面标线识别、道路地形的识别、路口识别、停车带识别等。

而以上方法的实现需要较高的前期投入，需要提前完成布设路侧传感器以及绘制高精度地图等工作，并且不够灵活，容易存在死角。

发明内容

为了克服现有技术存在的缺点与不足，本发明提供一种智能车对复杂路况进行超视距感知的系统及方法。

本发明采用如下技术方案：

一种智能车对复杂路况进行超视距感知的系统，包括智能车，所述智能车顶部设置车载无人机，所述车载无人机由驾驶员或智能车启用，在未启用时，机翼收紧，所述车载无人机与车辆顶部的无人机充电座连接，所述车载无人机包括摄像头及GPS模块，所述智能车包括用于检测行人与车辆目标图像的车载视觉传感器、GPS模块及智能终端。

优选的，智能车的车载视觉传感器在感知到交通环境存在遮挡物并且影响到正常驾驶行为的时候选择启用车载无人机。

优选的，所述车载无人机的时间与智能车时间均通过GPS模块获得。

优选的，所述车载无人机与智能车通过无线网络连接。

优选的，车载无人机的跟随模式通过GPS模块跟随方式实现：无人机通过自带的GPS模块获取自身的GPS定位，并与智能车辆的GPS所在位置进行比较，控制无人机飞行保持无人机对于智能车辆的跟随。

一种智能车对复杂路况进行超视距感知的系统的方法，包括如下步骤：

车载无人机起飞后，将车载无人机自带的时间与智能车的时间同步，车载无人机启用跟随拍摄模式，位置实时校正，跟随车辆移动，保持位于车辆正上方；

基于车载无人机实时传回的图像，智能车的智能终端运行目标检测算法，检测目标并进行分类，目标包括车道线、车辆、行人、交通标志牌，划定识别框及识别ID；

利用无人机图像识别的结果补充车载视觉传感器获得的信息，具体是：将无人机图像检测的目标与车载视觉传感器所检测的行人与车辆图像运行进行重识别算法，对于被遮挡的交通车道线与标志牌，直接将识别获得的信息提供给智能车辆。

优选的，所述重识别算法，包括：

截取无人机图像检测的目标图形，并将图像分配ID存入无人机检测目标库；

截取智能车视觉传感器捕获的目标车辆或行人的图像，并将其分配ID存入智能车检测目标库；

将无人机检测库的目标图像与智能车检测目标库的图像进行匹配；

无人机检测目标库中未成功匹配的目标移入未匹配目标库，这一目标库中的图像有较大可能是智能车的传感器未能捕获的目标，提供给智能车作为进一步路况判断的依据；

清空无人机检测目标库与智能车辆检测目标库，为下一帧图像运行目标检测算法做准备。

优选的，对于单帧的目标识别，如果是行人，则目标识别采用分部件提取特征向量的方法，具体包括：

首先对于按照一定固定比例将无人机检测库中的行人目标检测框图像与智能车检测目标库的行人目标检测框图像/>分别划分为三个部分，分别为头部的图像上身的图像/>与腿部的图像/>划分公式如下

运用提前训练好的深度卷积神经网络提取这些图片的特征向量并进行归一化，其中无人机检测库中的行人目标检测框图像的部分特征向量为与/>智能车检测目标库的行人目标检测框图像的部分特征向量为/> 与/>这些特征向量有相同的维度，将这些特征向量的每一个维度分别加权平均后得到无人机检测库中的行人目标检测框图像与智能车检测目标库的行人目标检测框图像的总特征向量，如下公式所示

计算两张图像特征向量的欧氏距离来衡量两幅图片的相似度，公式如下

优选的，对于单帧的目标识别，如果是车辆目标重识别，包括如下步骤：

首先将无人机检测库中的车辆目标检测框图像与智能车检测目标库的车辆目标检测框图像/>变换到HSV颜色空间，在颜色空间用多种颜色掩膜提取每一个车辆目标检测框中面积最大的颜色作为被车辆目标颜色特征/>与/>如下所示

然后运用训练好的深度卷积神经网络分别提取无人机检测库中的车辆目标检测框图像与智能车检测目标库的车辆目标检测框图像的特征向量与/>

在进行重识别匹配时首先确认与/>是否相等，若不相等则默认为不同的车辆，不进行特征向量匹配，若确认/>与/>相等，则进一步计算/>与/>的欧氏距离，以此判断图像之间的相似度，公式如下所示

优选的，还包括利用车载无人机搭载的深度摄像头获得深度图，根据深度图估测距离，深度图的像素值代表原RGB图像中每个像素点到相机平面的距离。由于无人机的飞行角度设定为45°，则距离估测公式如下

其中l为深度图中的像素值，即每个像素点到相机平面的距离，对于每一个检测目标只选取一个像素点代表其所在位置，选取的像素点为目标识别框底边的中点。

本发明的有益效果：

(1)本方法在智能车辆行驶过程中扩展驾驶员与智能车辆的视野，协助智能车辆感知车载传感器无法捕获的行人、车辆、交通标志、车道线信息；

(2)利用无人机深度摄像机所拍摄的深度图估算未匹配目标库中的车辆或行人到智能车的距离，为智能车做出安全可靠的决策提供信息。

附图说明

图1是本发明的工作流程图；

图2是本发明重识别算法的流程图；

图3是本发明车载无人机起飞的示意图。

具体实施方式

下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例

如图3所示，一种智能车对复杂路况进行超视距感知的系统，包括智能车，所述智能车顶部设置车载无人机，在未启用时，机翼收紧，处于待机状态，并带有专门的保护罩防止雨水、日晒对于无人机的损伤。

所述车载无人机由驾驶员或智能车在满足条件下启用，车载无人机是车辆与驾驶员扩展视野的辅助设备，车载无人机的启用可由驾驶员或智能车自行启动，当智能车辆外带的车载视觉传感器在感知到交通环境存在遮挡物并且影响到正常驾驶行为的时候选择启用无人机，利用无人机提供的更广阔的视野进行超视距感知，并控制无人机的摄像头旋转至障碍物或者遮挡严重的方位。接收到启用的命令时，无人机保护罩自动打开，无人机的机翼自动伸展。

所述车载无人机与车辆顶部的无人机充电座连接，所述车载无人机包括摄像头及GPS模块，所述智能车包括用于检测行人与车辆目标图像的车载视觉传感器、GPS模块及智能终端。

无人机起飞后，将无人机自带的时间与智能车的时间同步，无人机启用跟随拍摄模式，位置实时校正，跟随车辆移动，保持位于车辆正上方。

无人机通过自带的GPS模块获取自身的GPS定位，并与智能车辆的GPS所在位置进行比较，通过无人机自身的飞行控制系统控制无人机飞行保持无人机对于智能车辆的跟随。

车载无人机所带摄像头的标定方法为张正友标定法。在实际操作中张正友标定法可以利用摄像机从不同角度拍摄方格纸的图像推算摄像头的内参矩阵以及畸变系数。

相机标定后获得的畸变系数为5个，分别为[k₁ k₂ p₁ p₃ k₃]，图像畸变模型分为径向畸变模型与切向畸变模型，利用这一模型可以对畸变图像进行矫正。

径向畸变模型为：

切向畸变模型为：

其中(u',v')为畸变后的像素点坐标，为(u,v)未发生畸变的像素点坐标。由于k₃对应的非线性较为剧烈，容易导致图片扭曲，因此一般不使用。

所述无人机图像的传输采用的是无线网络实时传输

本实施例的感知方法，包括如下步骤：

S1车载无人机起飞后，将车载无人机自带的时间与智能车的时间同步，车载无人机启用跟随拍摄模式，位置实时校正，跟随车辆移动，保持位于车辆正上方；

S2基于车载无人机实时传回的图像，智能车的智能终端运行目标检测算法，检测目标并进行分类，目标包括车道线、车辆、行人、交通标志牌，划定识别框及识别ID；

所述目标识别算法采用现有成熟、效果较好、实时性佳的目标识别深度网络，如Yolov4、Yolov3、SSD等。由于无人机拍摄位置较高，拍摄得到的图像多为物体的俯视图，为了取得较好的识别效果，需要提前用相似角度的图像数据对目标检测识别网络进行训练。

S3利用无人机图像识别的结果补充车载视觉传感器获得的信息，具体是：将无人机图像检测的目标与车载视觉传感器所检测的行人与车辆图像运行进行重识别算法，对于被遮挡的交通车道线与标志牌，直接将识别获得的信息提供给智能车辆。

如图2所示，所述重识别算法，包括：

截取无人机图像检测的目标图形，并将图像分配ID存入无人机检测目标库；

截取智能车视觉传感器捕获的目标车辆或行人的图像，并将其分配ID存入智能车检测目标库；

将无人机检测库的目标图像与智能车检测目标库的图像进行匹配；

无人机检测目标库中未成功匹配的目标移入未匹配目标库，这一目标库中的图像有较大可能是智能车的传感器未能捕获的目标，提供给智能车作为进一步路况判断的依据；

清空无人机检测目标库与智能车辆检测目标库，为下一帧图像运行目标检测算法做准备。

对于单帧的目标识别，如果是行人，则目标识别采用分部件提取特征向量的方法，具体包括：

首先对于按照一定固定比例将无人机检测库中的行人目标检测框图像与智能车检测目标库的行人目标检测框图像/>分别划分为三个部分，分别为头部的图像上身的图像/>与腿部的图像/>划分公式如下

运用提前训练好的深度卷积神经网络提取这些图片的特征向量并进行归一化，其中无人机检测库中的行人目标检测框图像的部分特征向量为与/>智能车检测目标库的行人目标检测框图像的部分特征向量为/> 与/>这些特征向量有相同的维度，将这些特征向量的每一个维度分别加权平均后得到无人机检测库中的行人目标检测框图像与智能车检测目标库的行人目标检测框图像的总特征向量，如下公式所示

计算两张图像特征向量的欧氏距离来衡量两幅图片的相似度，公式如下

对于单帧的目标识别，如果是车辆目标重识别，包括如下步骤：

首先将无人机检测库中的车辆目标检测框图像与智能车检测目标库的车辆目标检测框图像/>变换到HSV颜色空间，在颜色空间用多种颜色掩膜提取每一个车辆目标检测框中面积最大的颜色作为被车辆目标颜色特征/>与/>如下所示

然后运用训练好的深度卷积神经网络分别提取无人机检测库中的车辆目标检测框图像与智能车检测目标库的车辆目标检测框图像的特征向量与/>

在进行重识别匹配时首先确认与/>是否相等，若不相等则默认为不同的车辆，不进行特征向量匹配，若确认/>与/>相等，则进一步计算/>与/>的欧氏距离，以此判断图像之间的相似度，公式如下所示

本实施例中车载无人家还搭载一个深度摄像头，用于获得深度图，根据深度图估测距离，深度图的像素值代表原RGB图像中每个像素点到相机平面的距离。由于无人机的飞行角度设定为45°，则距离估测公式如下

其中l为深度图中的像素值，即每个像素点到相机平面的距离，对于每一个检测目标只选取一个像素点代表其所在位置，本发明选取的像素点为目标识别框底边的中点。

本实施例适用于智能车行驶过程中出现视线遮挡且智能车的视觉传感器无法捕获遮挡方位的信息时使用，接下来结合智能车行驶至某十字路口时被大货车遮挡的场景对本实施例进行测试，其实施步骤如附图1所示，首先智能车检测到右前方的大货车遮挡了行驶的视线，并且由于遮挡无法正常感知到十字路口交通灯、指示牌、过马路行人与转弯车辆的情况。因此智能车自动启用无人机，无人机保护罩打开，无人机升空保持在智能车正上方跟车飞行并将摄像头旋转至右前方大货车的方向。运用无人机实时传回的图像，智能车终端运行目标检测算法，检测到当前前方路口的交通灯信号与标志牌信息后直接传递给智能车，同时截取检测到车辆与行人目标的图像，给定ID后存入无人机检测目标库。分别运行车辆与行人的重识别算法，将无人机目标检测库中的目标图像分别与智能车视觉传感器检测到的目标图像进行匹配，将未能匹配的目标图像均移入未匹配目标库，并清空无人机检测目标库，未匹配目标库中的行人与车辆可能均在智能车与驾驶员的视野外且未能被智能车所感知，因此必须对智能车与驾驶员做出提醒。基于无人机深度摄像机拍摄的深度图像并结合无人机的飞行高度与摄像头角度可以估测出未匹配目标库中的目标与车辆的距离，提供给智能车作为决策的信息。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种智能车对复杂路况进行超视距感知的系统，其特征在于，包括智能车，所述智能车顶部设置车载无人机，所述车载无人机由驾驶员或智能车启用，在未启用时，机翼收紧，所述车载无人机与车辆顶部的无人机充电座连接，所述车载无人机包括摄像头及GPS模块，所述智能车包括用于检测行人与车辆目标图像的车载视觉传感器、GPS模块及智能终端；

所述系统实现的步骤包括：

车载无人机起飞后，将车载无人机自带的时间与智能车的时间同步，车载无人机启用跟随拍摄模式，位置实时校正，跟随车辆移动，保持位于车辆正上方；

基于车载无人机实时传回的图像，智能车的智能终端运行目标检测算法，检测目标并进行分类，目标包括车道线、车辆、行人、交通标志牌，划定识别框及识别ID；

利用无人机图像识别的结果补充车载视觉传感器获得的信息，具体是：将无人机图像检测的目标与车载视觉传感器所检测的行人与车辆图像运行进行重识别算法，对于被遮挡的交通车道线与标志牌，直接将识别获得的信息提供给智能车辆；

所述重识别算法，包括：

截取无人机图像检测的目标图形，并将图像分配ID存入无人机检测目标库；

截取智能车视觉传感器捕获的目标车辆或行人的图像，并将其分配ID存入智能车检测目标库；

将无人机检测库的目标图像与智能车检测目标库的图像进行匹配；

无人机检测目标库中未成功匹配的目标移入未匹配目标库，这一目标库中的图像有较大可能是智能车的传感器未能捕获的目标，提供给智能车作为进一步路况判断的依据；

清空无人机检测目标库与智能车辆检测目标库，为下一帧图像运行目标检测算法做准备；

对于单帧的目标识别，如果是行人，则目标识别采用分部件提取特征向量的方法，具体包括：

首先对于按照一定固定比例将无人机检测库中的行人目标检测框图像与智能车检测目标库的行人目标检测框图像/>分别划分为三个部分，分别为头部的图像/>上身的图像/>与腿部的图像/>划分公式如下：

运用提前训练好的深度卷积神经网络提取图片的特征向量并进行归一化，其中无人机检测库中的行人目标检测框图像的部分特征向量为与/>智能车检测目标库的行人目标检测框图像的部分特征向量为/> 与/>上述两种部分特征向量有相同的维度，将上述两种部分特征向量的每一个维度分别加权平均后得到无人机检测库中的行人目标检测框图像与智能车检测目标库的行人目标检测框图像的总特征向量，如下公式所示：

计算两张图像特征向量的欧氏距离来衡量两幅图片的相似度，公式如下：

对于单帧的目标识别，如果是车辆目标重识别，包括如下步骤：

首先将无人机检测库中的车辆目标检测框图像与智能车检测目标库的车辆目标检测框图像/>变换到HSV颜色空间，在颜色空间用多种颜色掩膜提取每一个车辆目标检测框中面积最大的颜色作为被车辆目标颜色特征/>与/>如下所示：

然后运用训练好的深度卷积神经网络分别提取无人机检测库中的车辆目标检测框图像与智能车检测目标库的车辆目标检测框图像的特征向量与/>

在进行重识别匹配时首先确认与/>是否相等，若不相等则默认为不同的车辆，不进行特征向量匹配，若确认/>与/>相等，则进一步计算/>与/>的欧氏距离，以此判断图像之间的相似度，公式如下所示：

2.根据权利要求1所述的系统，其特征在于，智能车的车载视觉传感器在感知到交通环境存在遮挡物并且影响到正常驾驶行为的时候选择启用车载无人机。

3.根据权利要求1所述的系统，其特征在于，所述车载无人机的时间与智能车时间均通过GPS模块获得。

4.根据权利要求1所述的系统，其特征在于，所述车载无人机与智能车通过无线网络连接。

5.根据权利要求1所述的系统，其特征在于，车载无人机的跟随模式通过GPS模块跟随方式实现：无人机通过自带的GPS模块获取自身的GPS定位，并与智能车辆的GPS所在位置进行比较，控制无人机飞行保持无人机对于智能车辆的跟随。

6.根据权利要求1所述的系统，其特征在于，还包括利用车载无人机搭载的深度摄像头获得深度图，根据深度图估测距离，深度图的像素值代表原RGB图像中每个像素点到相机平面的距离，由于无人机的飞行角度设定为45°，则距离估测公式如下

其中l为深度图中的像素值，即每个像素点到相机平面的距离，对于每一个检测目标只选取一个像素点代表其所在位置，选取的像素点为目标识别框底边的中点。