CN118149797A - 栅格地图构建方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明涉及自动驾驶技术领域，公开了栅格地图构建方法、装置、计算机设备及存储介质，本发明基于车辆所处环境的多张图像得到语义拼接图，对语义拼接图进行栅格划分得到各栅格单元对应的坐标和语义类型，基于各栅格单元的坐标和语义类型衡量栅格单元为障碍物的概率，得到每个栅格单元的障碍物概率值，从而方便快捷地确定每个栅格单元的区域通行状态，最后根据每个栅格单元的区域通行状态和语义拼接图中各像素点的深度信息，得到带高度信息的栅格地图，为车辆自动驾驶提供了更精确的信息，且无需传感器来获取数据，成本更低。

Description

栅格地图构建方法、装置、计算机设备及存储介质

技术领域

本发明涉及自动驾驶技术领域，具体涉及栅格地图构建方法、装置、计算机设备及存储介质。

背景技术

自动驾驶技术是指车辆在不需要人为操作的情况下，通过自身配备的传感器感知行驶环境，自主决策行驶路径，并控制车辆按照期望的路径到达期望目的地的技术。

与传统驾驶相同，对车辆运行环境实时感知与定位是自动驾驶系统实施决策和控制的基础。目前，对可行驶区域的感知通常有以下几种方法：1）使用激光雷达传感器构建环境感知，但该方法受限于昂贵的雷达传感器成本；2）直接使用深度学习语义分割技术，将可行驶区域表达出来，但往往直接使用网络分割的结果会有很大的噪声，对可行驶区域的表达会不准确；3）深度学习网络往往要根据已标注的物体类别做推理，对于未标注的物体类别无法做到识别；4）传统可行驶区域表达都是在二维平面上，对于有高度的悬空障碍物无法表达。

发明内容

有鉴于此，本发明提供了一种栅格地图构建方法、装置、计算机设备及存储介质，以解决传统方法在感知车辆可行驶区域时成本高、感知不准确的问题。

第一方面，本发明提供了一种栅格地图构建方法，该方法包括：

获取车辆所处环境的多张图像，并基于多张图像得到语义拼接图以及语义拼接图中各像素点的深度信息；

对语义拼接图进行栅格划分，得到多个栅格单元以及各栅格单元对应的坐标和语义类型；

基于各栅格单元的坐标和语义类型，得到每个栅格单元的障碍物概率值；

基于各栅格单元的障碍物概率值，确定每个栅格单元的区域通行状态；

根据深度信息和各栅格单元对应的区域通行状态，构建栅格地图。

从而基于车辆所处环境的多张图像得到语义拼接图，对语义拼接图进行栅格划分得到各栅格单元对应的坐标和语义类型，基于各栅格单元的坐标和语义类型衡量栅格单元为障碍物的概率，得到每个栅格单元的障碍物概率值，从而方便快捷地确定每个栅格单元的区域通行状态，最后根据每个栅格单元的区域通行状态和语义拼接图中各像素点的深度信息，得到带高度信息的栅格地图，为车辆自动驾驶提供了更精确的信息，且无需传感器来获取数据，成本更低。

在一种可选的实施方式中，基于各栅格单元的坐标和语义类型，得到每个栅格单元的障碍物概率值，包括：

基于各栅格单元对应的语义类型，得到各栅格单元对应的第一概率值；

遍历每个栅格单元，基于当前栅格单元的坐标和相邻栅格单元的坐标，计算当前栅格单元对应的欧氏距离，根据欧氏距离得到第二概率值；

根据各栅格单元对应的第一概率值和第二概率值，得到每个栅格单元对应的障碍物概率值。

从而通过将第一概率值和第二概率值进行融合得到障碍物概率值，以表征在多帧时刻后栅格单元为障碍物的概率，综合考量了每个栅格的语义信息以及相邻栅格的坐标信息，对噪声的抗干扰性更强，鲁棒性更好。

在一种可选的实施方式中，语义类型包括可行驶区域、动态障碍物和静态障碍物，不同的语义类型对应不同的概率权重；基于各栅格单元对应的语义类型，得到各栅格单元对应的第一概率值，包括：

针对每个栅格单元，根据该栅格单元的语义类型对应的概率权重与预设障碍物概率的乘积，计算得到该栅格单元对应的第一概率值。

从而通过根据栅格单元的语义类型计算得到第一概率值，结合栅格单元的语义类型对每个栅格为障碍物的概率进行初步判断。

在一种可选的实施方式中，根据各栅格单元对应的第一概率值和第二概率值，得到每个栅格单元对应的障碍物概率值，包括：

针对每个栅格单元，计算栅格单元的第一概率值对应的第一对数比以及第二概率值对应的第二对数比；

针对每个栅格单元，根据第一对数比和第二对数比，得到栅格单元对应的障碍物概率值。

从而通过对栅格的第一概率值和第二概率值进行融合，表征栅格单元在多帧时刻后为障碍物的概率，提高感知的准确性。

在一种可选的实施方式中，语义拼接图包括各像素点的语义信息；对语义拼接图进行栅格划分，得到多个栅格单元以及各栅格单元对应的坐标和语义类型，包括：

在极坐标系下将语义拼接图划分为多个栅格单元，得到各栅格单元的坐标；

根据每个栅格单元的坐标，确定各栅格单元的像素坐标；

针对每个栅格单元，根据该栅格单元的像素坐标确定语义拼接图中与该栅格单元对应的像素点，并根据像素点的语义信息得到该栅格单元的语义类型。

从而通过在极坐标系下将语义拼接图划分为多个栅格单元，并融合语义拼接图中像素点的语义信息来确定各栅格单元的语义类型，有效解决不稳定分割带来的噪声问题。

在一种可选的实施方式中，基于各栅格单元的障碍物概率值，确定每个栅格单元的区域通行状态，包括：

遍历每个栅格单元，若检测到当前栅格单元对应的障碍物概率值大于障碍物概率阈值，则确定当前栅格单元的区域通行状态为障碍物区域；否则，确定当前栅格单元的区域通行状态为可行驶区域。

从而通过将每个栅格单元的障碍物概率值与设定的障碍物概率阈值进行比较，方便快捷地确定每个栅格单元的区域通行状态。

在一种可选的实施方式中，根据深度信息和各栅格单元对应的区域通行状态，构建栅格地图，包括：

根据深度信息，确定各栅格单元对应的高度值；

根据各栅格单元对应的高度值和区域通行状态，构建包括可行驶区域、障碍物区域以及障碍物高度值的栅格地图。

从而通过构建包括可行驶区域、障碍物区域以及障碍物高度值的栅格地图，以便于表示非常规无法标注的障碍物以及悬空障碍物，感知更准确，为车辆提供了更精确的地图信息。

第二方面，本发明提供了一种栅格地图构建装置，该装置包括：

获取模块，用于获取车辆所处环境的多张图像，并基于多张图像得到语义拼接图以及语义拼接图中各像素点的深度信息；

第一处理模块，用于对语义拼接图进行栅格划分，得到多个栅格单元以及各栅格单元对应的坐标和语义类型；

第二处理模块，用于基于各栅格单元的坐标和语义类型，得到每个栅格单元的障碍物概率值；

第三处理模块，用于基于各栅格单元的障碍物概率值，确定每个栅格单元的区域通行状态；

第四处理模块，用于根据深度信息和各栅格单元对应的区域通行状态，构建栅格地图。

第三方面，本发明提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的栅格地图构建方法。

第四方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的栅格地图构建方法。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的栅格地图方法的流程示意图；

图2是根据本发明实施例的一种栅格地图构建方法的场景示意图；

图3是根据本发明实施例的一种极坐标栅格划分的示意图；

图4是根据本发明实施例的另一栅格地图构建方法的流程示意图；

图5是根据本发明实施例的栅格地图构建装置的结构框图；

图6是本发明实施例的计算机设备的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

自动驾驶技术(也称无人驾驶技术)是指车辆（或其他运载工具）在不需要人为操作的情况下，通过自身配备的传感器感知行驶环境，自主决策行驶路径，并控制车辆按照期望的路径到达期望目的地的技术。自动驾驶技术是多个技术的集成，主要包括实时感知与定位、运动路径规划、通信与数据交互、车辆智能控制等技术。

自动驾驶技术作为当今世界最具潜力之一的技术，代表了汽车产业发展的战略方向，已成为国际国内新一轮科技革命和产业变革竞争的战略制高点。与传统驾驶相同，对车辆运行环境进行实时感知与定位是自动驾驶系统实施决策和控制的基础。环境感知主要包括三个方面：路面、静态物体和动态物体，这几个方面统一可表达为环境中可行驶区域的感知。对动静态目标物体的感知，尤其悬空障碍物的精确识别对自动驾驶的可行驶区域感知十分重要，这与自动驾驶的避障绕行等功能的实现尤为相关。

为满足实时性与可靠性要求，自动驾驶车辆通常配备有视觉相机、惯性测量单元（Inertial Measurement Unit，IMU）、激光雷达和轮速计等多种传感器。针对自动驾驶泊车场景，视觉相机（例如鱼眼相机）通常是自动驾驶车辆的基本配置，其能够感知的外界信息最为丰富，如车辆周边景物的色彩、结构、纹理以及一些语义信息（例如道路、行人、交通标识等）。

对可行驶区域的检测，通常成熟的方案会采用2D、3D激光雷达传感器，通过雷达点云对环境中障碍物的精确距离探测，绘制出环境中的可行驶区域，但该方案受限于传感器昂贵的硬件成本，在量产的乘用车市场难以推广。低成本的纯视觉方案会基于深度学习技术检测当前环境的可行驶区域，以语义像素的形式表达是否可通行，该方案硬件成本较低，方案的上限取决于感知算法的性能；但通常的场景中，由于光线、物体遮挡和难以识别的非常见物体会导致该方法存在鲁棒性不足，错检和漏检的问题频现。

目前，对可行驶区域的表示通常有：1）使用激光雷达传感器构建环境感知，但该方法受限于昂贵的雷达传感器成本；2）直接使用深度学习语义分割技术，将可行驶区域表达出来，但直接使用网络分割的结果往往会有很大的噪声，对可行驶区域的表达会不准确；3）深度学习网络往往要根据已标注的物体类别做推理，对于未标注的物体类别无法做到识别；4）传统可行驶区域表达都是在2D平面上，对于有高度的悬空障碍物无法表达。

因此，本发明实施例提供了一种栅格地图构建方法，通过对车辆环境对应的语义拼接图划分成栅格单元，基于概率确定栅格单元的区域通行状态，有很强的抗干扰性，并根据语义拼接图中的深度信息来构建栅格地图，还原栅格单元的高度信息，对非常规非标注的物体和悬空小物体有较好的表示。

根据本发明实施例，提供了一种栅格地图构建方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中提供了一种栅格地图构建方法，可用于构建栅格地图的计算机设备或电子设备，如计算机、车机等，图1是根据本发明实施例的栅格地图构建方法的流程图，如图1所示，该流程包括如下步骤：

步骤S101，获取车辆所处环境的多张图像，并基于多张图像得到语义拼接图以及语义拼接图中各像素点的深度信息。

具体地，在车辆上装载四路环视鱼眼相机，如图2所示，分别摆放在车身前、后、左前和右前位置，通过四路鱼眼相机从前、后、左和右四个方向来拍摄得到车辆周围环境的多张图像。接下来，可通过训练好的语义分割网络对四路鱼眼相机拍摄的四路图像进行语义分割，得到四路语义分割图，每路语义分割图包括图中各像素点的语义信息。通过相机的内外参数将四路语义分割图进行逆透视变换IPM（Inverse Perspective Mapping），将含有语义信息的语义像素从图像平面逆投影到以车辆为中心的地平面上，得到俯视图下的二维语义拼接图。需要说明的是，四路环视鱼眼相机的内外参数需要提前标定好。

示例性地，将四路语义分割图拼接得到二维语义拼接图/>，该语义拼接图的分辨率是640 pixel*640 pixel，对应车体平面12 m*12 m的区域，单个像素分辨率为/>pixel。

具体地，通过Harris角点检测算法（Harris Corner Detection）对四路鱼眼相机拍摄的四路图像提取Harris角点，前后两帧图片之间相同位置的角点根据Lucas Kanade光流算法（Lucas-Kanade Method for Optical Flow）做关联跟踪。对跟踪上的角点采用三角化的方法得到该点的深度值，并将该像素点投影到车体平面12 m*12 m的平面区域，从而得到语义拼接图中各像素点的深度信息。

步骤S102，对语义拼接图进行栅格划分，得到多个栅格单元以及各栅格单元对应的坐标和语义类型。

具体地，如图3所示，将语义拼接图在极坐标系下划分成多个栅格单元，得到每个栅格单元的极坐标、像素坐标以及栅格单元在车体坐标系下的坐标，并基于像素坐标对应的像素点的语义信息，获得每个栅格单元的语义类型。

在一些可选的实施方式中，语义类型主要包括可行驶区域、动态障碍物和静态障碍物，像素点的语义信息可以包括车道线、栏杆、行人、车辆等。示例性地，可以将语义信息为车道线的栅格单元作为可行驶区域，将语义信息为栏杆的栅格单元作为静态障碍物，将语义信息为行人、车辆的栅格单元作为静态障碍物，本发明并不以此为限。

步骤S103，基于各栅格单元的坐标和语义类型，得到每个栅格单元的障碍物概率值。

具体地，根据每个栅格单元的坐标和语义类型衡量栅格单元为障碍物的概率，得到障碍物概率值。

步骤S104，基于各栅格单元的障碍物概率值，确定每个栅格单元的区域通行状态。

具体地，可以遍历每个栅格单元，若检测到当前栅格单元对应的障碍物概率值大于障碍物概率阈值，则确定当前栅格单元的区域通行状态为障碍物区域。否则，若检测到当前栅格单元对应的障碍物概率值不大于障碍物概率阈值，确定当前栅格单元的区域通行状态为可行驶区域。其中，障碍物概率阈值可根据实际场景要求来进行设定。

从而通过将每个栅格单元的障碍物概率值与设定的障碍物概率阈值进行比较，方便快捷地确定每个栅格单元的区域通行状态。

步骤S105，根据深度信息和各栅格单元对应的区域通行状态，构建栅格地图。

具体地，根据语义拼接图中各像素点的深度信息，可以得到对应栅格单元在车体坐标系下的高度值，对于区域通行状态为障碍物区域的栅格单元来说，还可以进一步确认障碍物的高度，以得到带高度信息的栅格地图，为自动驾驶可行驶区域的使用提供更精确的信息。

本发明实施例提供的栅格地图构建方法，基于车辆所处环境的多张图像得到语义拼接图，对语义拼接图进行栅格划分得到各栅格单元对应的坐标和语义类型，基于各栅格单元的坐标和语义类型衡量栅格单元为障碍物的概率，得到每个栅格单元的障碍物概率值，从而方便快捷地确定每个栅格单元的区域通行状态，最后根据每个栅格单元的区域通行状态和语义拼接图中各像素点的深度信息，得到带高度信息的栅格地图，为车辆自动驾驶提供了更精确的信息，且无需传感器来获取数据，成本更低。

在本实施例中提供了一种栅格地图构建方法，可用于构建栅格地图的计算机设备或电子设备，如计算机、车机等，图4是根据本发明实施例的栅格地图构建方法的流程图，如图4所示，该流程包括如下步骤：

步骤S401，获取车辆所处环境的多张图像，并基于多张图像得到语义拼接图以及语义拼接图中各像素点的深度信息。详细请参见图1所示实施例的步骤S101，在此不再赘述。

步骤S402，对语义拼接图进行栅格划分，得到多个栅格单元以及各栅格单元对应的坐标和语义类型。

具体地，坐标还包括像素坐标，语义拼接图包括各像素点的语义信息，上述步骤S402包括：

步骤S4021，在极坐标系下将语义拼接图划分为多个栅格单元，得到各栅格单元的坐标。

需要说明的是，若没有特殊说明，本发明中栅格单元的坐标指的是栅格单元在车体坐标系下的坐标。

示例性地，在极坐标系下将分辨率为640 pixel*640 pixel的语义拼接图进行划分，得到多个栅格单元。其中，极坐标栅格的角度分辨率为/>，即将语义拼接图按角度划分成360个区间/>。在每个栅格单元的角度方向上，极坐标半径为6 m，栅格单元的径向分辨率为/>，即在径向将语义拼接图/>划分成60个区间/>。综上，每个栅格单元可用极坐标唯一表示。

其中，表示栅格单元的极坐标，/>表示栅格单元在极坐标系下的角度，/>表示栅格单元在极坐标系下的半径，/>表示第k个栅格在车体坐标系下的坐标，x表示栅格单元在车体坐标系中的横坐标，y表示栅格单元在车体坐标系中的纵坐标，其中，栅格单元的坐标与极坐标的转换公式如下所示：

步骤S4022，根据每个栅格单元的坐标，确定各栅格单元的像素坐标。

示例性地，遍历每个栅格单元可得到在语义拼接图与之对应的像素坐标，其中，栅格单元的坐标与像素坐标的转化公式如下：

其中，表示栅格单元在像素坐标系下的横坐标，/>表示栅格单元在像素坐标系下的纵坐标，/>表示语义拼接图中的像素分辨率。

步骤S4023，针对每个栅格单元，根据该栅格单元的像素坐标确定语义拼接图中与该栅格单元对应的像素点，并根据像素点的语义信息得到该栅格单元的语义类型。

具体地，通过像素坐标可访问到语义拼接图/>中对应的像素点，从而根据像素点的语义信息确定栅格单元的语义类型/>。示例性地，语义类型包括可行驶区域、动态障碍物和静态障碍物。

从而通过在极坐标系下将语义拼接图划分为多个栅格单元，并融合语义拼接图中像素点的语义信息来确定各栅格单元的语义类型，有效解决不稳定分割带来的噪声问题。

步骤S403，基于各栅格单元的坐标和语义类型，得到每个栅格单元的障碍物概率值。

具体地，坐标包括极坐标，步骤S403包括：

步骤S4031，基于各栅格单元对应的语义类型，得到各栅格单元对应的第一概率值。

具体地，语义类型包括可行驶区域、动态障碍物和静态障碍物，不同的语义类型对应不同的概率权重。针对每个栅格单元，根据该栅格单元的语义类型对应的概率权重与预设障碍物概率的乘积，计算得到该栅格单元对应的第一概率值，通过栅格单元的语义类型对每个栅格为障碍物的概率进行初步判断。

示例性地，首先初始化每个栅格单元的概率值为0.5，根据如下公式计算每个栅格单元的第一概率值：

其中，表示预设障碍物概率，/>表示栅格单元的第一概率值，/>表示栅格单元的语义类型对应的概率权重，不同语义类型的具体可以如下：

步骤S4032，遍历每个栅格单元，基于当前栅格单元的坐标和相邻栅格单元的坐标，计算当前栅格单元对应的欧氏距离，根据欧氏距离得到第二概率值。

具体地，根据当前栅格的极坐标，可搜索得到该栅格附近区域的邻居栅格/>为可设置的临域采样个数。遍历所有的/>，得到相邻栅格单元的坐标值/>。计算临域内所有相邻栅格单元的坐标和当前栅格坐标值的欧式距离/>，并根据欧式距离直接计算出高斯分布的均值/>，根据如下公式得到当前栅格的第二概率值：

其中，表示第二概率值，/>表示指数函数，表示/>的平方。

步骤S4033，根据各栅格单元对应的第一概率值和第二概率值，得到每个栅格单元对应的障碍物概率值。

具体地，上述步骤S4033包括：

步骤a1，针对每个栅格单元，计算栅格单元的第一概率值对应的第一对数比以及第二概率值对应的第二对数比。

具体地，根据如下公式来得到第一概率值对应的第一对数比以及第二概率值/>对应的第二对数比/>：

步骤a2，针对每个栅格单元，根据第一对数比和第二对数比，得到栅格单元对应的障碍物概率值。

具体地，可以根据如下公式来计算障碍物概率值：

其中，表示障碍物概率值。

从而通过对栅格的第一概率值和第二概率值进行融合，表征栅格单元在多帧时刻后为障碍物的概率，提高感知的准确性。

本实施例通过将第一概率值和第二概率值进行融合得到障碍物概率值，以表征在多帧时刻后栅格单元为障碍物的概率，综合考量了每个栅格的语义信息以及相邻栅格的坐标信息，对噪声的抗干扰性更强，鲁棒性更好。

在不引入从权实施方式的情况下对该步骤进行详细解释。

步骤S404，基于各栅格单元的障碍物概率值，确定每个栅格单元的区域通行状态。详细请参见图1所示实施例的步骤S104，在此不再赘述。

步骤S405，根据深度信息和各栅格单元对应的区域通行状态，构建栅格地图。

具体地，上述步骤S405包括：

步骤S4051，根据深度信息，确定各栅格单元对应的高度值。

具体地，根据语义拼接图中各像素点的深度信息，并结合像素点和栅格单元的对应关系，可确定各栅格单元对应的高度值。

步骤S4052，根据各栅格单元对应的高度值和区域通行状态，构建包括可行驶区域、障碍物区域以及障碍物高度值的栅格地图。

具体地，确定每个栅格是可行驶区域还是障碍物区域，如果是障碍物区域则根据栅格对应的高度值确定障碍物高度值，以便于在栅格地图上表示非常规无法标注的障碍物以及悬空障碍物，从而得到可行驶区域的范围以及部分障碍物对应的高度值，构建包括可行驶区域以及障碍物高度值的栅格地图，感知更准确，为车辆提供了更精确的地图信息。

在一些可选的实施方式中，为了便于使用和维护栅格地图，在每个角度方向上选出第一个障碍物概率值大于概率阈值的栅格，将该栅格前侧区域表示为可行驶区域，该栅格的当前及后侧区域均为障碍物区域。

本实施例提供的栅格地图构建方法，基于车辆所处环境的多张图像得到语义拼接图，对语义拼接图进行栅格划分得到各栅格单元对应的坐标和语义类型，通过根据栅格单元的语义类型计算得到第一概率值，结合栅格单元的语义类型对每个栅格为障碍物的概率进行初步判断，根据各栅格单元的坐标计算第二概率值，将第一概率值和第二概率值进行融合得到障碍物概率值，以表征在多帧时刻后栅格单元为障碍物的概率，对噪声的抗干扰性更强，从而确定每个栅格单元的区域通行状态，最后根据每个栅格单元的区域通行状态和语义拼接图中各像素点的深度信息，得到可行驶区域、障碍物区域以及障碍物高度值的栅格地图，直观地表示非常规无法标注的障碍物以及悬空障碍物，为车辆自动驾驶提供了更精确的信息，且无需传感器来获取数据，成本更低。

下面结合一个具体应用例对本发明的栅格地图构建方法进行详细说明，该应用例包括以下步骤：

步骤1，数据预处理：通过IPM进行语义像素投影。在车辆上装载四路环视鱼眼相机，分别摆放在车身前、后、左前和右前位置，通过四路鱼眼相机从前、后、左和右四个方向来拍摄得到车辆周围环境的多张图像。通过相机的内外参数可以将四路语义分割图通过逆透视变换IPM得到俯视图下的二维语义拼接图/>。即，将四路语义分割图/>拼接得到/>，该语义拼接图的分辨率是640 pixel*640 pixel，对应车体平面12 m*12 m的区域，单个像素分辨率为/>m。

步骤2，极坐标系栅格单元划分。在极坐标系下将分辨率为640 pixel*640 pixel的语义拼接图进行划分，得到多个栅格单元。其中，极坐标栅格的角度分辨率为/>，即将语义拼接图/>按角度划分成360个区间/>。在每个栅格单元的角度方向上，极坐标半径为6 m，栅格单元的径向分辨率为/>，即在径向将语义拼接图/>划分成60个区间/>。综上，每个栅格单元可用极坐标唯一表示。

其中，栅格单元的坐标与极坐标的转换公式如下所示：

通过以上计算可得到极坐标系下的栅格单元，初始化每个栅格单元的概率值为0.5。遍历每个栅格单元可得到在语义拼接图与之对应的像素坐标/>，其中，栅格单元的坐标与像素坐标的转化公式如下：

步骤3，基于语义信息的概率融合。

步骤3.1，遍历所有栅格，得到该栅格对应的语义类型。通过像素坐标可访问到语义拼接图/>中对应的像素点，从而根据像素点的语义信息确定栅格单元的语义类型/>。

步骤3.2，计算栅格的第一概率值：

其中，表示栅格单元的语义类型对应的概率权重，不同语义类型的/>具体可以如下：

步骤3.3，计算栅格的第二概率值。根据当前栅格的极坐标，可搜索得到该栅格附近区域的邻居栅格/>为可设置的临域采样个数。遍历所有的/>，得到相邻栅格单元的坐标值/>。计算临域内所有相邻栅格单元的坐标和当前栅格坐标值的欧式距离/>，并根据欧式距离直接计算出高斯分布的均值/>，根据如下公式得到当前栅格的第二概率值：

步骤3.4，计算栅格的障碍物概率值。根据如下公式来得到第一概率值对应的第一对数比/>以及第二概率值/>对应的第二对数比：/>

针对每个栅格单元，根据第一对数比和第二对数比，根据如下公式来计算得到栅格单元对应的障碍物概率值：

将障碍物概率值与障碍物概率阈值进行比较，大于障碍物概率阈值的为障碍物区域，小于或等于障碍物概率阈值的为可行驶区域。

步骤4，栅格单元高度信息融合。通过Harris角点检测算法对四路鱼眼相机拍摄的四路图像提取Harris角点，前后两帧图片之间相同位置的角点根据Lucas Kanade光流算法做关联跟踪。对跟踪上的角点采用三角化的方法得到该点的深度值，并将该像素点投影到车体平面12 m*12 m的平面区域，从而得到语义拼接图中各像素点的深度信息。

步骤5，根据步骤1至4，可得到当前时刻极坐标系下每个栅格为障碍物的障碍物概率值，以及部分栅格障碍物对应的高度信息。为了便于使用和维护该栅格地图，在每个角度方向上选出第一个障碍物概率值大于障碍物概率阈值的栅格，则表示为该栅格前侧区域为可行驶区域，当前及后侧区域均为障碍物区域。通过以上可得到极坐标系下每个方向上可行驶区域的范围，以及部分障碍物对应的高度值，从而构建栅格地图。

上述应用例使用视觉感知方案和语义分割结果，把语义像素点投影到地面，并把地面区域划分成栅格单元，根据概率更新的方式调整栅格单元的占用情况，对语义检测噪声有很大抗干扰性。同时，对梯度变换较大的像素点（角点）恢复出深度信息，并投影到栅格单元中表达出对应栅格的高度信息，对非常规非标注的物体和悬空小物体有较好的表示，以便于构建出带高度信息的概率栅格地图，对动静态复杂场景的可行驶区域感知从鲁棒性到精度都有很大的提升，更好地表达自动驾驶的可行驶区域。

此外，本发明无需激光雷达信息以及高性能算力平台，能够在低成本硬件上实现兼具精度和鲁棒性的可行驶区域感知，适用范围更广泛。

在本实施例中还提供了一种栅格地图构建装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

本实施例提供一种栅格地图构建装置，如图5所示，包括：

获取模块501，用于获取车辆所处环境的多张图像，并基于多张图像得到语义拼接图以及语义拼接图中各像素点的深度信息；

第一处理模块502，用于对语义拼接图进行栅格划分，得到多个栅格单元以及各栅格单元对应的坐标和语义类型；

第二处理模块503，用于基于各栅格单元的坐标和语义类型，得到每个栅格单元的障碍物概率值；

第三处理模块504，用于基于各栅格单元的障碍物概率值，确定每个栅格单元的区域通行状态；

第四处理模块505，用于根据深度信息和各栅格单元对应的区域通行状态，构建栅格地图。

在一些可选的实施方式中，语义拼接图包括各像素点的语义信息；第一处理模块502还用于：

在极坐标系下将语义拼接图划分为多个栅格单元，得到各栅格单元的坐标；

根据每个栅格单元的坐标，确定各栅格单元的像素坐标；

针对每个栅格单元，根据该栅格单元的像素坐标确定语义拼接图中与该栅格单元对应的像素点，并根据像素点的语义信息得到该栅格单元的语义类型。

在一些可选的实施方式中，第二处理模块503还用于：

基于各栅格单元对应的语义类型，得到各栅格单元对应的第一概率值；

遍历每个栅格单元，基于当前栅格单元的坐标和相邻栅格单元的坐标，计算当前栅格单元对应的欧氏距离，根据欧氏距离得到第二概率值；

根据各栅格单元对应的第一概率值和第二概率值，得到每个栅格单元对应的障碍物概率值。

在一些可选的实施方式中，语义类型包括可行驶区域、动态障碍物和静态障碍物，不同的语义类型对应不同的概率权重，第二处理模块503还用于：

针对每个栅格单元，根据该栅格单元的语义类型对应的概率权重与预设障碍物概率的乘积，计算得到该栅格单元对应的第一概率值。

在一些可选的实施方式中，第二处理模块503还用于：

针对每个栅格单元，计算栅格单元的第一概率值对应的第一对数比以及第二概率值对应的第二对数比；

针对每个栅格单元，根据第一对数比和第二对数比，得到栅格单元对应的障碍物概率值。

在一些可选的实施方式中，第三处理模块504还用于：

遍历每个栅格单元，若检测到当前栅格单元对应的障碍物概率值大于障碍物概率阈值，则确定当前栅格单元的区域通行状态为障碍物区域；否则，确定当前栅格单元的区域通行状态为可行驶区域。

在一些可选的实施方式中，第四处理模块505还用于：

根据深度信息，确定各栅格单元对应的高度值；

根据各栅格单元对应的高度值和区域通行状态，构建包括可行驶区域、障碍物区域以及障碍物高度值的栅格地图。

上述各个模块和单元的更进一步的功能描述与上述对应实施例相同，在此不再赘述。

本实施例中的栅格地图构建装置是以功能单元的形式来呈现，这里的单元是指ASIC（Application Specific Integrated Circuit，专用集成电路）电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。

本发明实施例还提供一种计算机设备，具有上述图5所示的栅格地图构建装置。

请参阅图6，图6是本发明可选实施例提供的一种计算机设备的结构示意图，如图6所示，该计算机设备包括：一个或多个处理器10、存储器20，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相通信连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在计算机设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在一些可选的实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个计算机设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器10为例。

处理器10可以是中央处理器，网络处理器或其组合。其中，处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路，可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件，现场可编程逻辑门阵列，通用阵列逻辑或其任意组合。

其中，所述存储器20存储有可由至少一个处理器10执行的指令，以使所述至少一个处理器10执行实现上述实施例示出的方法。

存储器20可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器20可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中，存储器20可选包括相对于处理器10远程设置的存储器，这些远程存储器可以通过网络连接至该计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

存储器20可以包括易失性存储器，例如，随机存取存储器；存储器也可以包括非易失性存储器，例如，快闪存储器，硬盘或固态硬盘；存储器20还可以包括上述种类的存储器的组合。

该计算机设备还包括通信接口30，用于该计算机设备与其他设备或通信网络通信。

本发明实施例还提供了一种计算机可读存储介质，上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可记录在存储介质，或者被实现通过网络下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中，存储介质可为磁碟、光盘、只读存储记忆体、随机存储记忆体、快闪存储器、硬盘或固态硬盘等；进一步地，存储介质还可以包括上述种类的存储器的组合。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现上述实施例示出的方法。

本发明的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本发明的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种栅格地图构建方法，其特征在于，所述方法包括：

获取车辆所处环境的多张图像，并基于多张所述图像得到语义拼接图以及所述语义拼接图中各像素点的深度信息；

对所述语义拼接图进行栅格划分，得到多个栅格单元以及各栅格单元对应的坐标和语义类型；

基于各栅格单元的坐标和语义类型，得到每个栅格单元的障碍物概率值；

基于各栅格单元的障碍物概率值，确定每个所述栅格单元的区域通行状态；

根据所述深度信息和各栅格单元对应的区域通行状态，构建栅格地图。

2.根据权利要求1所述的方法，其特征在于，所述基于各栅格单元的坐标和语义类型，得到每个栅格单元的障碍物概率值，包括：

基于各栅格单元对应的语义类型，得到各栅格单元对应的第一概率值；

遍历每个栅格单元，基于当前栅格单元的坐标和相邻栅格单元的坐标，计算所述当前栅格单元对应的欧氏距离，根据所述欧氏距离得到第二概率值；

根据各栅格单元对应的第一概率值和第二概率值，得到每个所述栅格单元对应的障碍物概率值。

3.根据权利要求2所述的方法，其特征在于，所述语义类型包括可行驶区域、动态障碍物和静态障碍物，不同的语义类型对应不同的概率权重；所述基于各栅格单元对应的语义类型，得到各栅格单元对应的第一概率值，包括：

针对每个栅格单元，根据所述栅格单元的语义类型对应的概率权重与预设障碍物概率的乘积，计算得到所述栅格单元对应的第一概率值。

4.根据权利要求2所述的方法，其特征在于，所述根据各栅格单元对应的第一概率值和第二概率值，得到每个所述栅格单元对应的障碍物概率值，包括：

针对每个栅格单元，计算所述栅格单元的第一概率值对应的第一对数比以及所述第二概率值对应的第二对数比；

针对每个栅格单元，根据所述第一对数比和所述第二对数比，得到所述栅格单元对应的障碍物概率值。

5.根据权利要求2所述的方法，其特征在于，所述语义拼接图包括各像素点的语义信息；所述对所述语义拼接图进行栅格划分，得到多个栅格单元以及各栅格单元对应的坐标和语义类型，包括：

在极坐标系下将所述语义拼接图划分为多个栅格单元，得到各栅格单元的坐标；

根据每个所述栅格单元的坐标，确定各栅格单元的像素坐标；

针对每个栅格单元，根据所述栅格单元的像素坐标确定所述语义拼接图中与所述栅格单元对应的像素点，并根据所述像素点的语义信息得到所述栅格单元的语义类型。

6.根据权利要求5所述的方法，其特征在于，所述基于各栅格单元的障碍物概率值，确定每个所述栅格单元的区域通行状态，包括：

遍历每个栅格单元，若检测到当前栅格单元对应的障碍物概率值大于障碍物概率阈值，则确定当前栅格单元的区域通行状态为障碍物区域；否则，确定当前栅格单元的区域通行状态为可行驶区域。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述根据所述深度信息和各栅格单元对应的区域通行状态，构建栅格地图，包括：

根据所述深度信息，确定各栅格单元对应的高度值；

根据各栅格单元对应的高度值和区域通行状态，构建包括可行驶区域、障碍物区域以及障碍物高度值的栅格地图。

8.一种栅格地图构建装置，其特征在于，所述装置包括：

获取模块，用于获取车辆所处环境的多张图像，并基于多张所述图像得到语义拼接图以及所述语义拼接图中各像素点的深度信息；

第一处理模块，用于对所述语义拼接图进行栅格划分，得到多个栅格单元以及各栅格单元对应的坐标和语义类型；

第二处理模块，用于基于各栅格单元的坐标和语义类型，得到每个栅格单元的障碍物概率值；

第三处理模块，用于基于各栅格单元的障碍物概率值，确定每个所述栅格单元的区域通行状态；

第四处理模块，用于根据所述深度信息和各栅格单元对应的区域通行状态，构建栅格地图。

9.一种计算机设备，其特征在于，包括：

存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1至7中任一项所述的栅格地图构建方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至7中任一项所述的栅格地图构建方法。