CN114511831A

CN114511831A - 一种基于视觉可行驶区域的检测方法及系统

Info

Publication number: CN114511831A
Application number: CN202210040086.5A
Authority: CN
Inventors: 张典民; 王世崇
Original assignee: Beijing Jingwei Hirain Tech Co Ltd
Current assignee: Beijing Jingwei Hirain Tech Co Ltd
Priority date: 2022-01-14
Filing date: 2022-01-14
Publication date: 2022-05-17

Abstract

本发明实施例提供了一种基于视觉可行驶区域的检测方法及系统，方法包括：获取车辆摄像头视频流信号中的实时鱼眼图像，根据第一预设映射关系确定与实时鱼眼图像对应的第一经纬展开图像，第一预设映射关系为从鱼眼图像到经纬展开图像的映射关系；将第一经纬展开图像作为深度网络模型的输入，得到第一经纬展开图像的像素级分类结果；通过边界搜索算法对像素级分类结果进行遍历，得到可行驶区域的多个边界点；根据第二预设映射关系确定车辆与每个边界点所对应真实位置之间的真实距离，第二预设映射关系包括经纬展开图像中每个像素点与车辆与该像素点所对应真实位置之间真实距离的映射关系。本发明可有效预警车辆横纵向的潜在危险，实现全方位预警。

Description

一种基于视觉可行驶区域的检测方法及系统

技术领域

本发明涉及行驶检测技术领域，具体而言，涉及一种基于视觉可行驶区域的检测方法及系统。

背景技术

随着科学技术的不断发展及生活水平的提高，用户对车辆的安全性能要求越来越高。车辆在行驶过程中，由于驾驶室可视范围的局限性，可能会发生纵向追尾、横向擦碰的事故，对车内人员具有一定的安全隐患，并会造成一定的财产损失。为避免上述事故的发生，传统方法主要利用毫米波雷达进行探测，但受天气环境等因素的干扰较大，或者采用单目相机的方法，但横向危险无法探测。目前，现有技术中的方法采用鱼眼环视可行驶区域的检测算法，但由于鱼眼相机的畸变很大，在相机边缘成像物体或在真实世界中离自车一定距离后较大的物体在图片中只显示很少的几个像素。对于检测、分割算法会造成很大的干扰，准确性不高。

发明内容

本说明书提供一种基于视觉可行驶区域的检测方法及系统，用以克服现有技术中存在的至少一个技术问题。

根据本说明书实施例，提供了一种基于视觉可行驶区域的检测方法，所述方法包括：

获取车辆摄像头视频流信号中的实时鱼眼图像，根据第一预设映射关系确定与所述实时鱼眼图像对应的第一经纬展开图像，其中，所述第一预设映射关系为从鱼眼图像到经纬展开图像的映射关系；

将所述第一经纬展开图像作为深度网络模型的输入，得到所述第一经纬展开图像的像素级分类结果；

通过边界搜索算法对所述像素级分类结果进行遍历，得到可行驶区域的多个边界点；

根据第二预设映射关系确定车辆与每个所述边界点所对应真实位置之间的真实距离，其中，所述第二预设映射关系包括经纬展开图像中每个像素点与车辆与该像素点所对应真实位置之间真实距离的映射关系。

可选地，在所述获取车辆摄像头视频流信号中的实时鱼眼图像，根据第一预设映射关系确定与所述实时鱼眼图像对应的第一经纬展开图像之前，所述方法还包括：

获取所述车辆摄像头的鱼眼图像，采用经纬展开算法将所述鱼眼图像转换为经纬展开图像；

根据所述鱼眼图像和所述经纬展开图像，确定从所述鱼眼图像到所述经纬展开图像的映射关系，生成所述第一预设映射关系。

进一步可选地，所述采用经纬展开算法将所述鱼眼图像转换为经纬展开图像具体包括：

对所述鱼眼图像进行归一化处理，将所述鱼眼图像的像素映射到2D单位圆模型上，得到在单位鱼眼坐标系下的像素坐标(x_f，y_f)，其中，在所述单位鱼眼坐标系下，所述鱼眼图像中成像高度r与夹角ф的计算公式如下：

其中，所述车辆摄像头的镜头的入射角θ与所述鱼眼图像中成像高度r的关系为r＝f(θ)；

将所述像素坐标(x_f，y_f)从2D单位圆模型映射为3D单位球模型的单位球面坐标(x_p，y_p，z_p)，其中，所述单位球面坐标(x_p，y_p，z_p)与所述入射角θ和所述夹角ф的对应关系为：

将所述单位球面坐标(x_p，y_p，z_p)转换为单位球面经纬度坐标(longitude，latitude)，其中，所述单位球面经纬度坐标(longitude，latitude)与所述单位球面坐标(x_p，y_p，z_p)之间的对应关系为：

将所述单位球面经纬度坐标(longitude，latitude)从所述3D单位球模型映射为2D的单位经纬展开坐标(x_e，y_e)，得到所述经纬展开图像，其中，所述单位经纬展开坐标(x_e，y_e)与所述单位球面经纬度坐标(longitude，latitude)之间的对应关系为：

再进一步可选地，所述3D单位球模型为乘以所述单位球面坐标与世界坐标的旋转矩阵后的单位球模型。

进一步可选地，所述深度网络模型采用编码–解码的网络结构，且所述深度网络模型是经过以下步骤训练形成：

构建深度网络模型，并获取所述经纬展开图像作为训练样本集；

对所述训练样本集执行深度网络训练，得到训练后的深度网络模型。

进一步可选地，在所述通过边界搜索算法对所述像素级分类结果进行遍历，得到可行驶区域的多个边界点之前，所述方法还包括：

设置搜索源，以所述经纬展开图像的图片底边像素为所述搜索源的放射源；

设置搜索线，以所述放射源为起始点，竖直向上，按设定间隔采样；

搜索，从所述搜索源开始，逐个搜索点比较像素级类别；

若当前搜索点的像素级类别与下一个搜索点的像素级类别不一致，则判定为发生了从车身到可行驶区域或从可行驶区域到障碍物区域的跳变，得到满足边界条件的边界点，并保存至数组中，其中，满足边界条件的边界点包括可行驶区域的入点和出点；

重复搜索每一条搜索线，直至完成可行驶区域的边界点搜索；

将所有满足边界条件的边界点生成边界查找表，并记录所述可行驶区域的入点。

再进一步可选地，所述通过边界搜索算法对所述像素级分类结果进行遍历，得到可行驶区域的多个边界点具体包括：

将所述像素级分类结果中与所述可行驶区域的入点对应的像素点作为搜索的起始点；

搜索时，从搜索的起始点开始，根据所述边界查找表向上进行搜索；

若当前搜索点的像素级类别与下一个搜索点的像素级类别不一致，则判定发生了从可行驶区域到障碍物区域的跳变，得到可行驶区域的边界点；

遍历整个所述边界查找表，直至完成可行驶区域的边界点搜索，得到可行驶区域的多个边界点。

进一步可选地，在所述根据第二预设映射关系确定车辆与每个所述边界点所对应真实位置之间的真实距离之前，所述方法还包括：

对摄像头成像模型进行建模；

在地面水平的假设条件下，根据所述摄像头成像模型分别计算所述鱼眼图像的各个像素点在车辆后轴坐标系下的坐标，得到从所述鱼眼图像到所述车辆后轴坐标系下的映射关系；

根据预设映射关系和从所述鱼眼图像到所述车辆后轴坐标系下的映射关系，得到经纬展开图像中每个像素点与车辆与该像素点所对应真实位置之间真实距离的映射关系，生成所述第二预设映射关系，其中，所述预设映射关系为从所述鱼眼图像到所述经纬展开图像的预设映射关系或者为所述经纬展开图像与鱼眼图像之间的逆投影关系。

再进一步可选地，所述摄像头成像模型的摄像头内参数模型为：

其中，(u,v)为图像坐标，(X_c,Y_c,Z_c)为摄像头坐标，(f_x,f_y,C_x,C_y)为利用张正友标定法标定的摄像头内参数；

摄像头外参数模型为：

其中，(X_w,Y_w,Z_w)表示车辆后轴坐标，

为摄像头坐标和车辆后轴坐标的变换矩阵；

在地面水平的假设条件下，各个所述像素点在所述车辆后轴坐标系下的Z_w为0，则根据上述公式(5)和(6)，计算得到所述像素点在所述车辆后轴坐标系下的坐标(X_w,Y_w)。

根据本说明书实施例，还提供了一种基于视觉可行驶区域的检测系统，包括：

图像获取模块，用于获取车辆摄像头视频流信号中的实时鱼眼图像；

经纬展开模块，用于根据第一预设映射关系确定与所述实时鱼眼图像对应的第一经纬展开图像，其中，所述第一预设映射关系为从鱼眼图像到经纬展开图像的映射关系；

深度网络推理模块，用于将所述第一经纬展开图像作为深度网络模型的输入，得到所述第一经纬展开图像的像素级分类结果；

边界点搜索模块，用于通过边界搜索算法对所述像素级分类结果进行遍历，得到可行驶区域的多个边界点；

障碍物判别模块，用于根据第二预设映射关系确定车辆与每个所述边界点所对应真实位置之间的真实距离，其中，所述第二预设映射关系包括经纬展开图像中每个像素点与车辆与该像素点所对应真实位置之间真实距离的映射关系。

本说明书实施例的有益效果如下：

基于鱼眼摄像头经纬展开模型，使鱼眼图像进行经纬展开后，物体不会出现较大畸变，基本符合近大远小的规则，提高了检测、分割算法的精度，自车在行驶过程中，能够更有效预警车辆横向、纵向中的潜在危险，进而做到360°无死角预警。

对车辆行驶中遇到的前后方、左右侧的障碍物做出检测，相对于现有技术中的去畸变环视拼接图的检测方法，本实施例中的检测方法的预警会更加提前，制动安全距离更长，检测的精度更高，丢失原始的图像信息更少。本说明书实施例中的检测方法在离线阶段计算鱼眼图像到经纬展开图像和经纬展开图像每个像素到车辆后轴中心真实距离的映射关系，由于在线阶段是在车载芯片上进行的，硬件算力受限，该检测方法通过两种映射关系，可快速得到有角度偏执的经纬展开图像和经纬展开图像中每个像素点距离自车的真实距离，减少了计算时间，在行车过程中，可快速得到响应，并且可以提升接收图像的帧率，大大提高了行车过程中的安全性。

本说明书实施例的技术效果包括：

1、本实施例中，离线确定从鱼眼图像到有角度偏移的经纬展开图像的映射关系以及经纬展开图像每个像素到车辆后轴中心真实距离的映射关系，从而在后续的在线阶段利用映射关系可进行快速计算，有效解决了硬件算力受限的问题，通过两种映射关系可快速得到有角度偏执的经纬展开图像和经纬展开图像中每个像素点距离自车的真实距离，减少了计算时间，可快速得到响应，提高了行车过程中的安全性，是本说明书实施例的技术效果之一。

2、本实施例中，在经纬展开后的经纬展开图像加角度偏执，将鱼眼图像中平行垂直的几何关系与世界坐标系下保持一致，将图像拉宽，不仅提升了对远处障碍物检测的准确率，更进一步提高整个系统的安全性，是本说明书实施例的技术效果之一。

3、本实施例中，将带有角度偏执的经纬展开图像逆投影到鱼眼图像中，并计算其距离自车后轴中心的真实距离，丢失原始的图像信息更少，检测的精度更高，是本说明书实施例的技术效果之一。

4、本实施例中，利用边界点搜索模块接收网络的逐像素分类结果，并求取可行驶区域的边界线，搜索更全面，且搜索速度更快，是本说明书实施例的技术效果之一。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书实施例提供的基于视觉可行驶区域的检测方法的流程示意图；

图2为本说明书实施例提供的基于视觉可行驶区域的检测方法中从鱼眼图像到经纬展开图像的映射关系图；其中，(a)为单位鱼眼坐标，(b)为单位球面坐标，(c)为单位球面经纬度坐标，(d)为单位经纬展开坐标；

图3为本说明书实施例提供的基于视觉可行驶区域的检测方法中的原始鱼眼图像图；

图4为本说明书实施例提供的基于视觉可行驶区域的检测方法中经纬展开的经纬展开图像图；

图5为本说明书实施例提供的基于视觉可行驶区域的检测方法中角度偏移经纬展开图像图；

图6为本说明书实施例提供的基于视觉可行驶区域的检测方法中离线阶段搜索图；

图7为本说明书实施例提供的基于视觉可行驶区域的检测方法的中在线阶段搜索图；

图8为本说明书实施例提供的基于视觉可行驶区域的检测方法中计算真实距离的坐标示意图。

具体实施方式

下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本说明书实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本说明书实施例公开了一种基于视觉可行驶区域的检测方法，在车辆安装有前后左右四路环视摄像头的基础上，对四路鱼眼图像进行经纬展开，并且将经纬展开作为深度网络模型的输入，得到可行驶区域的掩码图，之后，对掩码图进行边界搜索，得到可行驶区域的有序散点，再基于可行驶区域的有序散点进行后处理来计算障碍物距离车辆的最小距离，据此判断潜在危险的存在，以做出有效的预警及动作。以下分别进行详细说明。

图1示出了根据本说明书实施例提供的一种基于视觉可行驶区域的检测方法，该方法可以包括以下步骤：

步骤100，获取车辆摄像头视频流信号中的实时鱼眼图像，根据第一预设映射关系确定与实时鱼眼图像对应的第一经纬展开图像。

其中，所述车辆摄像头为车辆前后左右四路环视摄像头。所述第一预设映射关系为从鱼眼图像到经纬展开图像的映射关系，具体可为从鱼眼图像到经纬展开图像的查找表。该第一预设映射关系在离线阶段获取得到，下面对第一预设映射关系的生成过程进行阐述：

(A1)获取车辆摄像头的鱼眼图像，采用经纬展开算法将鱼眼图像转换为经纬展开图像。

所述车辆摄像头指的是车辆前后左右四路环视摄像头，基于四路环视摄像头的鱼眼图像进行经纬展开。经纬展开算法主要是基于经纬映射图像和等角鱼眼投影原理来实现鱼眼图像的校正。如图2所示，把鱼眼图像近似为一个单位球面，并按照从左到右、从下到上施以经度和纬度刻画，建立经纬度映射平面。所建立的经纬度映射平面以球面的经度为横坐标，以球面的纬度为纵坐标，建立球面上的点P和经纬度映射平面上的点P'的对应关系，把球面上所有的像素点映射到经纬度映射平面上，从而生成一幅矩形的经纬度映射图像。其中，需注意并理解的是，对于鱼眼图像来说，其经度和纬度的变化均从0到π，所以采用经纬度映射法校正生成的图像是正方形。

具体的，如图2所示，对鱼眼图像进行归一化处理，将鱼眼图像的像素映射到2D单位圆模型上，得到在单位鱼眼坐标系下的像素坐标(x_f，y_f)。之后，将像素坐标(x_f，y_f)从2D单位圆模型映射为3D单位球模型的单位球面坐标(x_p，y_p，z_p)，再将单位球面坐标(x_p，y_p，z_p)转换为单位球面经纬度坐标(longitude，latitude)，最后，将单位球面经纬度坐标(longitude，latitude)从3D单位球模型映射为2D的单位经纬展开坐标(x_e，y_e)，从而得到经纬展开图像。

其中，在单位鱼眼坐标系下，已知单位圆上的像素坐标(x_f，y_f)，如图2(a)所示，鱼眼图像中成像高度r与夹角ф的计算公式如下：

如图2(b)所示，记3D单位球模型球面上任意一点的单位球面参数为ф和θ，在上述式(1)中，车辆摄像头的镜头的入射角θ与鱼眼图像中成像高度r的关系为r＝f(θ)，也就是说，根据上述式(1)可得到单位球面上任意一点的单位球面参数。单位球面坐标(x_p，y_p，z_p)与入射角θ和夹角ф的对应关系为：

由式(1)可得单位球面上任意一点的单位球面参数ф和θ，则再根据上述式(2)便可得单位球面坐标(x_p，y_p，z_p)。

单位球面经纬度坐标(longitude，latitude)与单位球面坐标(x_p，y_p，z_p)之间的对应关系为：

将单位球面坐标(x_p，y_p，z_p)转换为单位球面经纬度坐标(longitude，latitude)，如图2(c)所示，点P的位置不变，根据点P(x_p，y_p，z_p)，由上述式(3)可以确定此时坐标的经纬度(longitude，latitude)。

单位经纬展开坐标(x_e，y_e)与单位球面经纬度坐标(longitude，latitude)之间的对应关系为：

从而已知单位球面经纬度坐标(longitude，latitude)，根据上述式(4)便可得到相对应的单位经纬展开坐标(x_e，y_e)。

基于上述步骤，对于一张鱼眼图像上的每一点，通过一系列的坐标变换，可以映射到经纬展开图像上，如此，完成鱼眼图像的校正算法。

在本说明书实施例中，将原始鱼眼图像(如图3所示)变化为经纬展开后的经纬展开图像(如图4所示)，整体的效果如图4所示，经纬展开将鱼眼摄像头在经纬度方向上的畸变大幅度的消除。其中，主要由于鱼眼图像畸变处理后，大部分在一些边缘位置无法将可行驶区域推理出来，本说明书实施例中的检测方法采用经纬展开后的经纬展开图像作为可行驶区域检测模型的输入，以解决上述问题，且展开后的经纬展开图像不会像畸变图一样将物体拉长，而将物体拉宽，保留了许多有效的图像信息。

此外，本说明书实施例中的边界点检测算法为竖直采样的方式，为使经纬展开后的经纬展开图像满足世界坐标系下的位置关系，世界坐标系下的平行线与垂直线在经纬展开图像上也要满足其几何关系。在另一个具体的实施例中，在3D单位球模型中，求出单位球面坐标与世界坐标的旋转矩阵，将3D单位球模型乘以旋转矩阵，便可得到带有角度偏移的经纬展开图像。如图5所示，带有角度偏移的经纬展开图像满足世界坐标系下的位置关系，在世界坐标系中垂直、平行的几何关系在有角度偏移的经纬展开图像中同样满足，很大程度上将灭点消除，将图像拉宽，提升了对远处障碍物检测的准确率，进而提升了整个系统的安全性。对于深度检测模型来说，经纬展开后的经纬展开图像是优于去畸变图的，因为远处的一个障碍物在去畸变图中只有极少数的像素点，此现象是由于不平行于成像平面的平行线在去畸变图中会相交于一点，其中，相交的点称为灭点。但经纬展开的经纬展开图像会将物体拉宽，会增加障碍物的像素点。在计算可行驶区域边界点距离车辆后轴坐标系的真实距离时，由于经纬展开图像是将物体拉宽，在计算距离时会有更多的有效点，可以提高对于潜在危险的检测准确率。

(A2)根据鱼眼图像和经纬展开图像，确定从鱼眼图像到经纬展开图像的映射关系，生成第一预设映射关系。

其中，第一预设映射关系可以具体为一种查找表。在获得鱼眼图像所对应的经纬展开图像后，可以利用鱼眼图像及其相对应的经纬展开图像，确定从鱼眼图像到经纬展开图像的映射关系，根据该映射关系生成第一预设映射关系，保存为从鱼眼图像到经纬展开图像的第一查找表，以供在线阶段使用。由于在线阶段的处理单元为车载芯片，硬件算力受限，通过查找表可以得到相对应的经纬展开图像，可有效降低计算难度，减少计算时间，在行车过程中响应更迅速。

在一个具体的实施例中，在行车过程中(即在线阶段)，获取车辆前后左右四路环视摄像头视频流信号中的实时鱼眼图像，提取离线阶段中所生成的从鱼眼图像到经纬展开图像的第一查找表，根据该第一查找表计算得到与实时鱼眼图像对应的第一经纬展开图像。

步骤200，第一经纬展开图像作为深度网络模型的输入，得到第一经纬展开图像的像素级分类结果。

本实施例设计了一种轻量、有效的语义分割网络，用于实现对可行驶区域的逐像素的分类，所述深度网络模型采用编码–解码的网络结构，该网络结构是基于现有技术中的DFANet实时语义分割网络进行修改的，具体的，将没有激活的通道删除，从而将整个模型压缩至很小，但是整个分割准确率却仅受到很小的影响。且在线阶段所使用的深度网络模型为离线阶段训练好后的深度网络模型，下面对深度网络模型的训练步骤进行阐述：

(B1)构建深度网络模型，并获取经纬展开图像作为训练样本集。

所述经纬展开图像为上述离线阶段步骤中鱼眼图像采用经纬展开算法转换所得的经纬展开图像，作为深度网络模型的输入，输出为经纬展开图像的像素级分类结果，每个像素被识别为可行驶区域和不可行驶区域。

(B2)对训练样本集执行深度网络训练，得到训练后的深度网络模型。

读取训练样本集，执行深度网络训练，直至训练结束，以得到训练好的深度网络模型。

在一个具体的实施例中，在线阶段中，将上述步骤100获得的第一经纬展开图像作为训练后的深度网络模型的输入，输出第一经纬展开图像的像素级分类结果。

步骤300，通过边界搜索算法对像素级分类结果进行遍历，得到可行驶区域的多个边界点。

在深度网络模型运行输出分割结果的过程中，根据输入的经纬展开图像的RGB图像数据，网络推理得到包含可行驶区域的前景，通过对前景区域的遍历，可求得边界部分的散点图像坐标(u,v)。逐像素分类结果如图6和图7所示，其中，黑色区域表示不可行驶的背景部分，白色区域表示可行驶区域。其中，本文中所述的边界部分的散点指的是可行驶区域的边界点，此外在本文中，像素级分类结果也称为逐像素分类结果。

在一个具体的实施例中，可构建边界参数模型，边界参数模型的作用是接收网络的逐像素分类结果，并利用边界搜索算法求取可行驶区域的边界线。如图6所示，黑色点为可行驶区域出口边界点，灰色点为车身轮廓点，白色点为采样放射源点。在离线阶段生成边界查找表，从而在线阶段中直接使用该边界查找表，以减少计算量，提高响应速度。

下面结合图6对离线阶段的生成边界查找表的步骤进行阐述：

(C1)设置搜索源，以经纬展开图像的图片底边像素为搜索源的放射源。

设置搜索源，为了得到更精细的可行驶区域边界点，可以图片底边每隔2像素为放射源的起始点，如图6所示，白色点为采样放射源点。

(C2)设置搜索线，以放射源为起始点，竖直向上，按设定间隔采样。

设置搜索线，如图6所示，以采样放射源点为起始点，竖直向上，每隔2像素进行采样。

(C3)搜索，从搜索源开始，逐个搜索点比较像素级类别。

根据上述步骤从搜索源开始逐个搜索点进行搜索，比较前后两个搜索点之间的像素级类别，如图6所示，灰色点为车身轮廓点，代表可行驶区域的入点，黑色点为可行驶区域出口边界点，代表可行驶区域的出点，灰色点与黑色点及其两者之间的点被识别为可行驶区域，其他区域的点则被识别为不可行驶区域。

(C4)若当前搜索点的像素级类别与下一个搜索点的像素级类别不一致，则判定为发生了从车身到可行驶区域或从可行驶区域到障碍物区域的跳变，得到满足边界条件的边界点，并保存至数组中，其中，满足边界条件的边界点包括可行驶区域的入点和出点。

其中，如果当前搜索点的像素级类别与下一个搜索点的像素级类别不一致，则可能发生了从车身到可行驶区域或从可行驶区域到障碍物区域的跳变，例如，如图6所示，若下一个搜索点为灰色点，当前搜索点为灰色点之前的点，则当前搜索点的像素级类别为不可行驶区域，下一个搜索点的像素级类别为可行驶区域，两者的像素级类别不同，发生从车身到可行驶区域的跳变，即得到了可行驶区域的入点；若当前搜索点为黑色点，下一个搜索点为黑色点之后的点，则当前搜索点的像素级类别为可行驶区域，下一个搜索点的像素级类别为不可行驶区域，两者的像素级类别不同，发生从可行驶区域到障碍物区域的跳变，即得到了可行驶区域的出点，从而可得到可行驶区域的入点和出点。

(C5)重复搜索每一条搜索线，直至完成可行驶区域的边界点搜索。

重复上述步骤(C3)–(C4)，逐条搜索每一条搜索线，直至完成每一条搜索线上的可行驶区域的边界点搜索，得到所有满足边界条件的边界点。

(C6)将所有满足边界条件的边界点生成边界查找表，并记录可行驶区域的入点。

由上述步骤得到所有满足边界条件的边界点，即可行驶区域的入点和出点，据此生成相应的边界查找表，并记录车身轮廓点，即可行驶区域的入点。

为确保上述所生成的边界查找表的准确性，在离线阶段中，对识别出的可行驶区域的边界点进行验证，若验证通过，则在后续的在线阶段中使用所生成的边界查找表。

下面结合图7对在线阶段的可行驶区域边界点的搜索步骤进行阐述：

(D1)将像素级分类结果中与可行驶区域的入点对应的像素点作为搜索的起始点。

在线阶段的采样起始点相对于离线阶段改变，将车身轮廓点作为采样的起始点，如图7所示，灰色点为车身轮廓点，即可行驶区域的入点，黑色点为可行驶区域出口边界点，即可行驶区域的出点，以灰色点作为起始点，大大减少了搜索点的个数及搜索时间，提高了搜索效果。

(D2)搜索时，从搜索的起始点开始，根据边界查找表向上进行搜索。

提取离线阶段所得到的经过验证的边界查找表，根据边界查找表从可行驶区域的入点开始，向上逐个搜索点进行搜索，如图7所示。

(D3)若当前搜索点的像素级类别与下一个搜索点的像素级类别不一致，则判定发生了从可行驶区域到障碍物区域的跳变，得到可行驶区域的边界点。

如图7所示，可行驶区域的入点和出点及其两点之间的搜索点的像素级类别均为可行驶区域，若当前搜索点的像素级类别与下一个搜索点的像素级类别不一致，也就是说，当前搜索点为黑色点(可行驶区域的出点)，下一个搜索点的像素级类别为不可行驶区域，此时判定发生了从可行驶区域到障碍物区域的跳变，从而可得知当前搜索点为可行驶区域的出点，得到了可行驶区域的边界点。

(D4)遍历整个边界查找表，直至完成可行驶区域的边界点搜索，得到可行驶区域的多个边界点。

由上述步骤遍历整个边界查找表，以完成可行驶区域的边界点搜索，得到相对应的可行驶区域的多个边界点。

需要说明的是，实际应用中各搜索线起始点之间的间隔并不限于2像素，同一搜索线上相邻搜索点之间的间隔也并不限于2像素，只要各搜索线起始点之间的间隔以及同一搜索线上相邻搜索点之间的间隔能够识别出满足需求的可行驶区域即可。

步骤400，根据第二预设映射关系确定车辆与每个边界点所对应真实位置之间的真实距离。

其中，第二预设映射关系包括经纬展开图像中每个像素点与车辆与该像素点所对应真实位置之间真实距离的映射关系，该第二预设映射关系在离线阶段获取得到，下面对第二预设映射关系的生成过程进行阐述：

(E1)对摄像头成像模型进行建模。

在本实施例中，所述车辆摄像头为鱼眼摄像头，鱼眼摄像头是一种焦距约在6–16毫米之间的短焦距超广角镜头，具有视场角大的特点，去畸变后的鱼眼摄像头成像模型等价于针孔成像模型。

在一个具体的实施例中，摄像头成像模型的摄像头内参数模型为：

摄像头外参数模型为：

其中，(X_w,Y_w,Z_w)表示车辆后轴坐标，

为摄像头坐标和车辆后轴坐标系的变换矩阵，用于描述摄像头坐标系和世界坐标系的位姿变换关系。

(E2)在地面水平的假设条件下，根据摄像头成像模型分别计算鱼眼图像的各个像素点在车辆后轴坐标系下的坐标，得到从鱼眼图像到车辆后轴坐标系下的映射关系。

由于所得到的掩码图是经纬展开的经纬展开图像，坐标为(u′,v′)，需要将经纬展开图像逆投影到原始的鱼眼图像中，得到接收边界点的图像坐标(u,v)，并反求该点在车辆后轴坐标系下的坐标。其中，本文中所述的掩码图指的是包含像素级分类结果的经纬展开图像。根据上述公式(5)，已知(u,v)坐标，同时记

求解该二元一次方程，便可得a、b的值。

另外，将上述公式(6)展开，得到如下公式：

进一步的，再得到如下公式：

在地面水平的假设条件下，则可知障碍物边界点在车辆后轴坐标系下的Z_w为0，又已知a、b的值，上述公式(8)便也成为一个二元一次方程组，从而根据上述公式(5)和(6)可得出(X_w,Y_w)值，即为障碍物边界点在世界坐标系下的坐标，也就是像素点在车辆后轴坐标系下的坐标。其中，本文中所述的障碍物边界点指的是不可行驶区域的边界点，也是可行驶区域的边界点(可行驶区域的出点)。如图8所示，前后左右四个方向的世界坐标原点均为标记点Ob，对其加偏执便可得到以车辆后轴中心为原点的车辆坐标系下的真实坐标。对前后左右四个方向上的图片建立世界坐标系，原点为Ob，x轴为xb，y轴为yb，自车的坐标原点为车辆后轴中心，x轴正方向为朝向车头方向，y轴正方向位于车辆左侧且垂直于x轴，满足右手规则，z轴垂直于地面向上。

(E3)根据预设映射关系和从鱼眼图像到车辆后轴坐标系下的映射关系，得到经纬展开图像中每个像素点与车辆与该像素点所对应真实位置之间真实距离的映射关系，生成第二预设映射关系。

其中，预设映射关系为从鱼眼图像到经纬展开图像的预设映射关系或者为经纬展开图像与鱼眼图像之间的逆投影关系。

在离线阶段中，将经纬展开的经纬展开图像逆投影到鱼眼图像，对鱼眼图像进行去畸变，通过摄像头内、外参数模型计算出每个像素点相对于自车后轴中心相对距离。根据上述公式(5)–(8)推导出鱼眼图像上每个像素点在世界坐标系(以棋盘格左上角为零点的坐标系)下的真实距离，最终对每个方向上的图片的世界坐标系下的距离进行加偏执操作，进而可以得到每个鱼眼图像上像素点到自车后轴中心的距离。

根据经纬展开图像到鱼眼图像的映射关系，可以计算出鱼眼图像在车辆坐标系下的坐标。输入经纬展开图像，通过映射关系得到鱼眼图像的坐标，将鱼眼图像的坐标作为中间变量，输入到鱼眼摄像头求真实坐标的模型中。从而可以直接获得从经纬展开图像到世界坐标的映射关系，生成从经纬展开图像到车辆后轴中心真实距离的查找表。在后续的在线阶段中，可直接通过查表的方式得到经纬展开图像上每个像素的坐标点距离自车的真实距离，提高了计算速度及响应速度。

在一个具体的实施例中，根据上述离线阶段中所生成的从经纬展开图像到车辆后轴中心真实距离的查找表，计算并得到步骤300中所得到的可行驶区域各个边界点的真实距离。

由上述可知，该方法结构整体分为离线阶段和在线阶段两部分。其中，在本说明书实施例的离线阶段中，对四路摄像头的鱼眼图像进行经纬展开，确定从鱼眼图像到经纬展开的映射关系，生成从鱼眼图像到经纬展开的查找表。将经纬展开图像作为深度网络模型的输入，并构建得到边界参数模型，以根据深度网络模型的输出求得可行驶区域的边界线。且将经纬展开图像逆投影到鱼眼图像上，之后对摄像头成像模型进行建模，在地面水平的假设条件下，分别计算各个像素点在车辆后轴坐标系下的映射关系，生成从经纬展开到车辆后轴中心真实距离的查找表。

在本说明书实施例的在线阶段中，摄像头读取视频流信号后，通过从鱼眼图像到经纬展开的映射关系的查找表，计算经纬展开图像。之后，分别进入深度网络模型，求得可行驶区域的像素级分类结果，然后边界参数模型通过边界搜索算法对像素级分类结果进行遍历，求出可行驶区域边界点。得到可行驶区域边界点后，通过经纬展开到车辆后轴坐标中心真实距离的查找表，计算边界点的真实距离。

综上所述，本说明书公开一种基于视觉可行驶区域的检测方法，对车辆行驶中遇到的前后方、左右侧的障碍物做出检测，相对于现有技术中的去畸变环视拼接图的检测方法，本实施例中的检测方法的预警会更加提前，制动安全距离更长，检测的精度更高，丢失原始的图像信息更少。本说明书实施例中的检测方法在离线阶段计算鱼眼图像到经纬展开图像和经纬展开图像每个像素到车辆后轴中心真实距离的映射关系，由于在线阶段是在车载芯片上进行的，硬件算力受限，该检测方法通过两种映射关系，可快速得到有角度偏执的经纬展开图像和经纬展开图像中每个像素点距离自车的真实距离，减少了计算时间，在行车过程中，可快速得到响应，并且可以提升接收图像的帧率，大大提高了行车过程中的安全性。

相应于上述的方法实施例，本发明实施例还提供了一种基于视觉可行驶区域的检测系统，用于执行上述实施例中的基于视觉可行驶区域的检测方法步骤。该基于视觉可行驶区域的检测系统包括图像获取模块、经纬展开模块、深度网络推理模块、边界点搜索模块以及障碍物判别模块。

具体的，图像获取模块用于获取车辆摄像头视频流信号中的实时鱼眼图像。

经纬展开模块用于根据第一预设映射关系确定与实时鱼眼图像对应的第一经纬展开图像，其中，第一预设映射关系为从鱼眼图像到经纬展开图像的映射关系。

深度网络推理模块用于将第一经纬展开图像作为深度网络模型的输入，得到第一经纬展开图像的像素级分类结果。

边界点搜索模块用于通过边界搜索算法对像素级分类结果进行遍历，得到可行驶区域的多个边界点。

障碍物判别模块用于根据第二预设映射关系确定车辆与每个边界点所对应真实位置之间的真实距离，其中，第二预设映射关系包括经纬展开图像中每个像素点与车辆与该像素点所对应真实位置之间真实距离的映射关系。

需要说明的是，本发明实施例提供的基于视觉可行驶区域的检测系统，由于与本发明的基于视觉可行驶区域的检测方法基于同一构思，其带来的技术效果与本发明的基于视觉可行驶区域的检测方法实施例相同，本实施例未提及之处可参见本发明的基于视觉可行驶区域的检测方法实施例中的叙述，此处不再赘述。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。