CN111538009B - 雷达点的标记方法和装置 - Google Patents

Abstract

本公开提供了一种雷达点的标记方法和装置，属于辅助驾驶技术领域。该方法包括：终端设备可以获取雷达点通过发射信号获取的雷达点集合和摄像机拍摄的目标图像，确定栅格图坐标系中可行驶区域的坐标集合，然后根据可行驶区域的坐标集合和目标图像，确定雷达点集合中每个雷达点属于路沿的概率，在雷达点集合中，将概率高于第一预设阈值的雷达点标记为路沿。采用本公开，可以降低辅助车辆行驶出错的概率。

Description

雷达点的标记方法和装置

技术领域

本公开涉及辅助驾驶领域，特别涉及一种雷达点的标记方法和装置。

背景技术

随着车辆数量的不断增加，道路安全问题越来越重要，因此，车辆的高级驾驶辅助系统已成为研究热点，在高级驾驶辅助系统中，一般会包括摄像机、雷达和终端，摄像机可以拍摄车辆前方的图像，雷达可以通过发射信号，获取的前方目标的雷达点和速度，终端设备可以确定获取的雷达点是不是路沿，以便后续辅助车辆进行行驶。

相关技术中，利用车道线信息、前一帧的车道线信息预估雷达路沿区域，并结合随机采样方法拟合左右两侧的路沿方程，基于这两条路沿方程，确定为路沿的雷达点。

在路沿被目标(如停在路沿旁边的车辆等)遮挡时，由于检测到的车道线会出现更靠近本车而远离实际路沿的情况，所以会导致路沿旁边的目标产生的雷达点被误检测成路沿，进而辅助车辆行驶出错的概率比较高。

发明内容

为了解决现有技术的问题，本公开实施例提供了一种雷达点的标记方法和装置。所述技术方案如下：

第一方面，提供了一种雷达点的标记方法，所述方法包括：

获取雷达点集合和摄像机拍摄的目标图像，其中，所述雷达点集合中包括雷达坐标系对应的俯视图坐标系下雷达点的坐标；

根据所述雷达点集合，确定所述俯视图坐标系对应的栅格图坐标系中可行驶区域的坐标集合；

根据所述可行驶区域的坐标集合和所述目标图像，确定所述雷达点集合中每个雷达点属于路沿的概率；

在所述雷达点集合中，将概率高于第一预设阈值的雷达点标记为路沿。

可选的，所述根据所述可行驶区域的坐标集合和所述目标图像，确定所述雷达点集合中每个雷达点属于路沿的概率，包括：

根据所述可行驶区域的坐标集合、所述雷达集合中每个雷达点的绝对速度、所述目标图像中目标框集合，确定所述栅格图坐标系下路沿的观测栅格坐标集合；

根据所述观测栅格坐标集合，确定所述栅格图坐标系下的路沿概率图。

根据所述路沿概率图，确定所述雷达点集合中每个雷达点属于路沿的概率。

这样，可以使计算出的路沿的概率更准确。

可选的，所述根据所述路沿概率图，确定所述雷达点集合中每个雷达点属于路沿的概率，包括：

根据所述路沿概率图、前一次拍摄的图像在所述栅格图坐标系下的路沿概率图、车辆的绝对速度、所述前一次拍摄的图像和所述目标图像的时间间隔、所述栅格图坐标系的栅格坐标分辨率、所述雷达点集合，确定每个雷达点属于路沿的概率。

这样，可以使计算出的路沿的概率更准确。

可选的，所述根据所述雷达点集合，确定所述俯视图坐标系对应的栅格图坐标系中可行驶区域的坐标集合，包括：

对所述目标图像进行图像识别，确定所述摄像机对应的图像坐标系下可行驶区域的坐标集合；

根据所述雷达点集合，确定所述图像坐标系下可行驶区域中雷达点的坐标、所述俯视图坐标下第一有效区域、所述栅格图坐标系下第二有效区域，其中，所述第一有效区域用于表示所述车辆前视区域中的感兴趣区域，所述第二有效区域是所述第一有效区域在所述栅格图坐标系中的对应区域；

根据所述第一有效区域、第二有效区域、所述摄像机的内参、所述雷达相对于所述摄像机的外参和所述图像坐标系下可行驶区域的坐标集合，确定所述栅格图坐标系中可行驶区域的坐标集合；

所述确定所述栅格图坐标系下路沿的观测栅格坐标集合，包括：

确定所述栅格图坐标系下所述第二有效区域中路沿的观测栅格坐标集合；

所述根据所述观测栅格坐标集合，确定所述栅格图坐标系下的路沿概率图，包括：

根据所述观测栅格坐标集合，确定所述栅格图坐标系下所述第二有效区域的路沿概率图。

可选的，所述根据所述雷达点集合，确定所述图像坐标系下可行驶区域中雷达点的坐标、所述俯视图坐标系下第一有效区域、所述栅格图坐标系下第二有效区域，包括：

确定所述雷达点集合中x方向的最大值和最小值、z方向的最大值和最小值；

根据所述x方向的最大值和最小值、z方向的最大值和最小值，确定所述俯视图坐标系下第一有效区域；

根据所述x方向的最大值和最小值、所述栅格图坐标系中所述x方向的分辨率，确定所述栅格图坐标系下第二有效区域的x方向的最大值与最小值，并根据所述z方向的最大值和最小值、所述栅格图坐标系中所述z方向的分辨率，确定所述栅格图坐标系下第二有效区域的z方向的最大值与最小值。

可选的，所述根据所述x方向的最大值和最小值、所述栅格图坐标系中所述x方向的分辨率，确定所述栅格图坐标系下第二有效区域的x方向的最大值与最小值，并根据所述z方向的最大值和最小值、所述栅格图坐标系中所述z方向的分辨率，确定所述栅格图坐标系下第二有效区域的z方向的最大值与最小值，包括：

将所述x方向的最大值和最小值求差值，得到第一差值，将所述第一差值与所述栅格图坐标系中所述x方向的分辨率相除后取整，将取整后的数值减去一，得到所述第二有效区域的x方向的最大值，并将所述z方向的最大值和最小值求差值，得到第二差值，将所述第二差值与所述栅格图坐标系中所述z方向的分辨率相除后取整，将取整后的数值减去一，得到所述第二有效区域的z方向的最大值，其中，所述第二有效区域的x方向的最小值为0、z方向的最小值为0。

可选的，所述根据所述第一有效区域、第二有效区域、所述摄像机的内参、所述雷达相对于所述摄像机的外参和所述图像坐标系下可行驶区域的坐标集合，确定所述栅格图坐标系中可行驶区域的坐标集合，包括：

确定在所述栅格图坐标系中所述第二有效区域中各栅格的坐标；

根据所述第一有效区域、所述摄像机的内参、所述雷达相对于所述摄像机的外参，将所述各栅格的坐标转换到所述图像坐标系中；

确定所述各栅格的坐标转换到所述图像坐标系后的坐标中属于所述图像坐标系下可行驶区域的坐标集合中的坐标，得到目标坐标集合；

将所述目标坐标集合中的坐标在所述栅格图坐标系中所对应的坐标，确定为所述栅格图坐标系中可行驶区域的坐标集合。

可选的，所述根据所述可行驶区域的坐标集合、所述雷达集合中每个雷达点的绝对速度、所述目标框集合和所述第二有效区域，确定所述栅格图坐标系下所述第二有效区域中路沿的观测栅格坐标集合，包括：

根据所述栅格图坐标系中可行驶区域的坐标集合，确定所述栅格图坐标系下路沿参考点集合；

对所述路沿参考点集合中相邻的预设数目个路沿参考点进行聚类处理，得到多类路沿参考点；

根据所述目标框集合，确定所述雷达点集合中，每个雷达点属于目标的概率；

根据所述雷达点集合中每个雷达点的绝对速度、每个雷达点距离每类路沿参考点中各路沿参考点的栅格距离、每个雷达点属于目标的概率，确定每个雷达点属于各类路沿参考点的概率；

根据所述多类路沿参考点、每个雷达点属于各路沿参考点的概率、所述雷达点集合，确定所述栅格图坐标系下所述第二有效区域中路沿的观测栅格坐标集合。

可选的，所述对所述路沿参考点集合中相邻的预设数目个路沿参考点进行聚类处理，得到多类路沿参考点，包括：

确定所述路沿参考点集合中相邻的3个路沿参考点构成的3个夹角；

将相邻的3个路沿参考点构成的3个夹角均小于预设角度阈值的一组路沿参考点聚为一类。

可选的，所述根据所述多类路沿参考点、每个雷达点属于各路沿参考点的概率、所述雷达点集合，确定所述栅格图坐标系下所述第二有效区域中路沿的观测栅格坐标集合，包括：

根据所述多类路沿参考点、每个雷达点属于各路沿参考点的概率、所述雷达点集合，确定每类路沿参考点的回归方向和回归参数；

根据每类路沿参考点的回归方向和回归参数，对所述多类路沿参考点进行二值化处理，得到所述栅格图坐标系下第二有效区域中路沿的观测栅格坐标集合。

可选的，所述根据所述多类路沿参考点、每个雷达点属于各路沿参考点的概率、所述雷达点集合，确定每类路沿参考点的回归方向和回归参数，包括：

对于目标类路沿参考点，将每个雷达点属于所述目标类路沿参考点的概率相加，得到所述目标类路沿参考点的存在概率，其中，所述目标类路沿参考点为所述多类路沿参考点中的任一类路沿参考点；

将存在概率低于第二预设阈值的目标类路沿参考点进行过滤，得到过滤后的多类路沿参考点；

根据所述过滤后的多类路沿参考点、每个雷达点属于所述过滤后的多类路沿参考点中各路沿参考点的概率、所述雷达点集合，确定过滤后的每类路沿参考点的回归方向和回归参数。

可选的，所述根据所述过滤后的多类路沿参考点、每个雷达点属于所述过滤后的多类路沿参考点中各路沿参考点的概率、所述雷达点集合，确定过滤后的每类路沿参考点的回归方向和回归参数，包括：

根据所述过滤后的多类路沿参考点、每个雷达点属于所述过滤后的多类路沿参考点中各类路沿参考点的概率、所述雷达点集合，确定过滤后的每类路沿参考点分别在以所述栅格图坐标系中x、z为自变量的总拟合误差，并确定以x方向、z方向回归时的回归参数，其中，所述总拟合误差包括回归误差和正则化损失误差；

对于第一类路沿参考点，如果以所述栅格图坐标系中x为自变量的总拟合误差小于以所述栅格图坐标系中z为自变量的总拟合误差，则将所述第一类路沿参考点的回归方向，确定为x方向，并将以x方向回归时的回归参数，确定为所述第一类路沿参考点的回归参数；对于第二类路沿参考点，如果以所述栅格图坐标系中x为自变量的总拟合误差大于或等于以所述栅格图坐标系中z为自变量的总拟合误差，则将所述第二类路沿参考点的回归方向，确定为z方向，并将以z方向回归时的回归参数，确定为所述第二类路沿参考点的回归参数，其中，所述第一类路沿参考点与所述第二类路沿参考点不相同，且均属于所述过滤后的多类路沿参考点。

可选的，所述根据所述观测栅格坐标集合，确定所述栅格图坐标系下所述第二有效区域的路沿概率图，包括：

根据所述观测栅格坐标集合、所述栅格图坐标系下第二有效区域，确定所述第二有效区域中，各栅格到所述观测栅格坐标集合中每类二值化路沿参考点中各路沿参考点的栅格距离；

根据确定出的栅格距离，确定所述栅格图坐标系下所述第二有效区域的路沿概率图。

可选的，所述根据所述路沿概率图、前一次拍摄的图像在所述栅格图坐标系下的路沿概率图、所述车辆的绝对速度、所述前一次拍摄的图像和所述目标图像的时间间隔、所述栅格图坐标系的栅格坐标分辨率、所述雷达点集合，确定每个雷达点属于路沿的概率，包括：

根据所述路沿概率图、前一次拍摄的图像在所述栅格图坐标系下的路沿概率图、所述车辆的绝对速度、所述前一次拍摄的图像和所述目标图像的时间间隔、栅格图坐标系的栅格坐标分辨率和所述第二有效区域，确定所述目标图像的最优路沿概率图；

根据所述雷达点集合和所述最优路沿概率图，确定每个雷达点属于路沿的概率。

第二方面，提供了一种雷达点的标记装置，所述装置包括：

获取模块，用于获取雷达点集合和所述摄像机拍摄的目标图像，其中，所述雷达点集合中包括雷达坐标系对应的俯视图坐标系下雷达点的坐标；

确定模块，用于：

根据所述雷达点集合，确定所述俯视图坐标系对应的栅格图坐标系中可行驶区域的坐标集合；

根据所述可行驶区域的坐标集合和所述目标图像，确定所述雷达点集合中每个雷达点属于路沿的概率；

在所述雷达点集合中，将概率高于第一预设阈值的雷达点标记为路沿。

可选的，所述确定模块，用于：

根据所述可行驶区域的坐标集合、所述雷达集合中每个雷达点的绝对速度、所述目标图像中目标框集合，确定所述栅格图坐标系下路沿的观测栅格坐标集合；

根据所述观测栅格坐标集合，确定所述栅格图坐标系下的路沿概率图。

根据所述路沿概率图，确定所述雷达点集合中每个雷达点属于路沿的概率。

可选的，所述确定模块，用于：

根据所述路沿概率图、前一次拍摄的图像在所述栅格图坐标系下的路沿概率图、车辆的绝对速度、所述前一次拍摄的图像和所述目标图像的时间间隔、所述栅格图坐标系的栅格坐标分辨率、所述雷达点集合，确定每个雷达点属于路沿的概率。

可选的，所述确定模块，用于：

对所述目标图像进行图像识别，确定所述摄像机对应的图像坐标系下可行驶区域的坐标集合；

根据所述雷达点集合，确定所述图像坐标系下可行驶区域中雷达点的坐标、所述俯视图坐标下第一有效区域、所述栅格图坐标系下第二有效区域，其中，所述第一有效区域用于表示所述车辆前视区域中的感兴趣区域，所述第二有效区域是所述第一有效区域在所述栅格图坐标系中的对应区域；

根据所述第一有效区域、第二有效区域、所述摄像机的内参、所述雷达相对于所述摄像机的外参和所述图像坐标系下可行驶区域的坐标集合，确定所述栅格图坐标系中可行驶区域的坐标集合；

所述确定模块，用于：

确定所述栅格图坐标系下所述第二有效区域中路沿的观测栅格坐标集合；

所述确定模块，用于：

根据所述观测栅格坐标集合，确定所述栅格图坐标系下所述第二有效区域的路沿概率图。

可选的，所述确定模块，用于：

确定所述雷达点集合中x方向的最大值和最小值、z方向的最大值和最小值；

根据所述x方向的最大值和最小值、z方向的最大值和最小值，确定所述俯视图坐标系下第一有效区域；

根据所述x方向的最大值和最小值、所述栅格图坐标系中所述x方向的分辨率，确定所述栅格图坐标系下第二有效区域的x方向的最大值与最小值，并根据所述z方向的最大值和最小值、所述栅格图坐标系中所述z方向的分辨率，确定所述栅格图坐标系下第二有效区域的z方向的最大值与最小值。

可选的，所述确定模块，用于：

将所述x方向的最大值和最小值求差值，得到第一差值，将所述第一差值与所述栅格图坐标系中所述x方向的分辨率相除后取整，将取整后的数值减去一，得到所述第二有效区域的x方向的最大值，并将所述z方向的最大值和最小值求差值，得到第二差值，将所述第二差值与所述栅格图坐标系中所述z方向的分辨率相除后取整，将取整后的数值减去一，得到所述第二有效区域的z方向的最大值，其中，所述第二有效区域的x方向的最小值为0、z方向的最小值为0。

可选的，所述确定模块，用于：

确定在所述栅格图坐标系中所述第二有效区域中各栅格的坐标；

根据所述第一有效区域、所述摄像机的内参、所述雷达相对于所述摄像机的外参，将所述各栅格的坐标转换到所述图像坐标系中；

确定所述各栅格的坐标转换到所述图像坐标系后的坐标中属于所述图像坐标系下可行驶区域的坐标集合中的坐标，得到目标坐标集合；

将所述目标坐标集合中的坐标在所述栅格图坐标系中所对应的坐标，确定为所述栅格图坐标系中可行驶区域的坐标集合。

可选的，所述确定模块，用于：

根据所述栅格图坐标系中可行驶区域的坐标集合，确定所述栅格图坐标系下路沿参考点集合；

对所述路沿参考点集合中相邻的预设数目个路沿参考点进行聚类处理，得到多类路沿参考点；

根据所述目标框集合，确定所述雷达点集合中，每个雷达点属于目标的概率；

根据所述雷达点集合中每个雷达点的绝对速度、每个雷达点距离每类路沿参考点中各路沿参考点的栅格距离、每个雷达点属于目标的概率，确定每个雷达点属于各类路沿参考点的概率；

根据所述多类路沿参考点、每个雷达点属于各路沿参考点的概率、所述雷达点集合，确定所述栅格图坐标系下所述第二有效区域中路沿的观测栅格坐标集合。

可选的，所述确定模块，用于：

确定所述路沿参考点集合中相邻的3个路沿参考点构成的3个夹角；

将相邻的3个路沿参考点构成的3个夹角均小于预设角度阈值的一组路沿参考点聚为一类。

可选的，所述确定模块，用于：

根据所述多类路沿参考点、每个雷达点属于各路沿参考点的概率、所述雷达点集合，确定每类路沿参考点的回归方向和回归参数；

根据每类路沿参考点的回归方向和回归参数，对所述多类路沿参考点进行二值化处理，得到所述栅格图坐标系下第二有效区域中路沿的观测栅格坐标集合。

可选的，所述确定模块，用于：

对于目标类路沿参考点，将每个雷达点属于所述目标类路沿参考点的概率相加，得到所述目标类路沿参考点的存在概率，其中，所述目标类路沿参考点为所述多类路沿参考点中的任一类路沿参考点；

将存在概率低于第二预设阈值的目标类路沿参考点进行过滤，得到过滤后的多类路沿参考点；

根据所述过滤后的多类路沿参考点、每个雷达点属于所述过滤后的多类路沿参考点中各路沿参考点的概率、所述雷达点集合，确定过滤后的每类路沿参考点的回归方向和回归参数。

可选的，所述确定模块，用于：

根据所述过滤后的多类路沿参考点、每个雷达点属于所述过滤后的多类路沿参考点中各类路沿参考点的概率、所述雷达点集合，确定过滤后的每类路沿参考点分别在以所述栅格图坐标系中x、z为自变量的总拟合误差，并确定以x方向、z方向回归时的回归参数，其中，所述总拟合误差包括回归误差和正则化损失误差；

对于第一类路沿参考点，如果以所述栅格图坐标系中x为自变量的总拟合误差小于以所述栅格图坐标系中z为自变量的总拟合误差，则将所述第一类路沿参考点的回归方向，确定为x方向，并将以x方向回归时的回归参数，确定为所述第一类路沿参考点的回归参数；对于第二类路沿参考点，如果以所述栅格图坐标系中x为自变量的总拟合误差大于或等于以所述栅格图坐标系中z为自变量的总拟合误差，则将所述第二类路沿参考点的回归方向，确定为z方向，并将以z方向回归时的回归参数，确定为所述第二类路沿参考点的回归参数，其中，所述第一类路沿参考点与所述第二类路沿参考点不相同，且均属于所述过滤后的多类路沿参考点。

可选的，所述确定模块，用于：

根据所述观测栅格坐标集合、所述栅格图坐标系下第二有效区域，确定所述第二有效区域中，各栅格到所述观测栅格坐标集合中每类二值化路沿参考点中各路沿参考点的栅格距离；

根据确定出的栅格距离，确定所述栅格图坐标系下所述第二有效区域的路沿概率图。

可选的，所述确定模块，用于：

根据所述路沿概率图、前一次拍摄的图像在所述栅格图坐标系下的路沿概率图、所述车辆的绝对速度、所述前一次拍摄的图像和所述目标图像的时间间隔、栅格图坐标系的栅格坐标分辨率和所述第二有效区域，确定所述目标图像的最优路沿概率图；

根据所述雷达点集合和所述最优路沿概率图，确定每个雷达点属于路沿的概率。

第三方面，提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的方法步骤。

第四方面，提供了一种终端设备，包括处理器和存储器，其中，所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序，实现上述第一方面的方法步骤。

第五方面，一种雷达点的标记系统，其特征在于，所述系统包括终端设备、雷达和摄像机，其中：所述终端设备用于执行上述第一方面所述的雷达点的标记方法；所述摄像机用于拍摄图像；所述雷达用于获得雷达点集合。

本公开实施例提供的技术方案带来的有益效果至少包括：

本公开实施例中，终端设备可以获取雷达点通过发射信号获取的雷达点集合和摄像机拍摄的目标图像，然后根据雷达点集合，确定俯视图坐标系对应的栅格图坐标系中可行驶区域的坐标集合，然后根据可行驶区域的坐标集合和目标图像，确定雷达点集合中每个雷达点属于路沿的概率，在雷达点集合中，将概率高于第一预设阈值的雷达点标记为路沿。这样，由于使用了拍摄的图像，所以可以降低路沿旁边的目标产生的雷达点被误检测成路沿的概率，进而可以降低辅助车辆行驶出错的概率。

附图说明

图1是本公开实施例提供的一种雷达点的标记的系统图；

图2是本公开实施例提供的一种雷达点的标记方法的流程图；

图3是本公开实施例提供的一种雷达点的标记方法的流程图；

图4是本公开实施例提供的一种可行驶区域的示意图；

图5是本公开实施例提供的一种聚类后的路沿参考点的示意图；

图6是本公开实施例提供的一种路沿概率图的示意图；

图7是本公开实施例提供的一种二值化路沿参考点后的示意图

图8是本公开实施例提供的一种雷达点的标记装置的结构示意图；

图9是本公开实施例提供的一种服务器的结构示意图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开实施方式作进一步地详细描述。

本公开实施例提供了一种雷达点的标记方法，该方法的执行主体可以是终端设备。其中，终端设备一般设置在车辆上，终端设备中可以设置有处理器、存储器和收发器等，处理器可以用于雷达点的标记的处理，存储器可以用于存储雷达点的标记过程中需要的数据以及产生的数据，收发器可以用于接收以及发送数据。

在进行实施前，首先介绍一下本公开实施例的应用场景以及涉及的坐标系、名词：

在高级辅助驾驶系统中，车辆上设置有终端设备、摄像机和雷达，摄像机为前视摄像机，安装在车内，以获取本车辆的前方视频或图像，雷达可以是激光雷达、毫米波雷达等，可以周期性向外发射毫米波信号，设置在本车辆的车前保险盖处，可以是设置在车前保险盖的中间位置处，雷达的有效方位角大约为正负10度，也就是说发射区域形成一个顶角大约为20度的圆锥体。

需要说明的是，雷达发射毫米波信号的周期与摄像机拍摄图像的周期相同，可以是1秒。由于毫米波发射距离远，所以本公开实施例以雷达为毫米波雷达为例进行说明。

如图1所示，终端设备可以分别与摄像机、雷达进行通信，摄像机可以将自身拍摄的图像发送至终端，雷达可以将确定的雷达点集合发送至终端设备。

图像坐标系f-o1，也可以称为是前视图坐标系，一般坐标原点为图像左上角，朝右为x轴，朝下为y轴，朝纸面向内为z轴，并以像素为单位。后续下标有f表示为图像坐标系下的坐标。

雷达坐标系b-o2，以雷达点建立的坐标系，在雷达坐标系对应有俯视图坐标系，一般坐标原点为雷达的中心点，朝右为x轴，朝下为y轴、朝前为z轴。后续下标有b表示为图像坐标系下的坐标。

栅格图坐标系g-o3，朝右为x轴，朝前为z轴，栅格图坐标系中栅格的坐标可以认为是俯视图坐标系经过距离分辨率离散化获得的坐标。后续下标有g表示为图像坐标系下的坐标。在栅格图坐标系中，每个栅格都有自己的坐标，属于第一行第一列的栅格的坐标为(1,1)，属于第一行第二列的栅格的坐标为(1,2)，依此类推。

路沿，可行驶区域的边界。

路沿概率图：栅格图坐标系下每个栅格属于路沿的概率的集合。

另外，在进行实施前，还提供了摄像机的内参标定、雷达相对于摄像机的外参的标定过程：

摄像机的内参包括f_x，f_y，c_x，c_y。f_x为像素横向比例尺，f_y为像素纵向比例尺，c_x为主点的横向像素位置，c_y为主点的纵向像素位置。内参使用Intrincs表示，Intrincs＝{f_x,f_y,c_x,c_y}。

外参一般包括雷达相对于摄像机的偏航角

雷达相对于摄像机在图像坐标系y轴方向的位移y_rcc，雷达相对于摄像机在图像坐标系z轴方向的位移z_rcc，路面相对于毫米波雷达在图像坐标系x轴方向的位移x_rcc，上述提到的x_rcc、y_rcc、z_rcc可以是使用标尺测量得到的。外参使用Extrincs表示，

本公开实施例提供了一种雷达点的标记方法，如图2所示，该方法的执行流程可以如下：

步骤201，获取雷达点集合和摄像机拍摄的目标图像。

其中，雷达点指反射毫米波信号的点，如毫米波信号发射在车辆上某一点，被车辆上的该点反射回来，该点为雷达点，在俯视图坐标系对应的俯视图坐标系下，雷达点的x方向的坐标为本车辆与前方车辆的横向距离，雷达点的y方向的坐标一般标定为0，雷达点的z方向的坐标为本车辆与前方车辆的纵向距离，雷达点的坐标可以表示为R_b＝{p_b,i＝(x_b,i,0,z_b,i)}，其中，i＝0,...,N_r-1，N_r为雷达点的数目，p_b,i为第i个雷达点在俯视图坐标系中的坐标。

在实施中，车辆在行驶过程中，摄像机可以拍摄车辆前方图像，并且同时雷达可以向外发射毫米波信号，雷达可以接收被反射回来的毫米波信号，基于发射的毫米波信号和接收到的毫米波信号，确定俯视图坐标系下雷达点的坐标，将雷达点的坐标组成雷达点集合。摄像机可以将拍摄的图像(后续可以称为是目标图像)发送至终端设备，并且雷达可以将确定雷达点集合发送至终端设备。这样终端设备就可以获取到雷达点集合和目标图像。

摄像机向终端设备发送目标图像时，可以添加标识，雷达向终端设备发送雷达点集合时，也可以添加标识，终端设备可以将具有相同标识的目标图像和雷达集合进行后续处理。在摄像机、雷达添加标识时，标识分别为拍摄次数和发射毫米波信号的次数。

步骤202，根据雷达点集合，确定俯视图坐标系对应的栅格图坐标系中可行驶区域的坐标集合。

在实施中，终端设备获取到雷达点集合后，可以使用雷达点集合，将雷达点坐标转换到俯视图坐标系对应的栅格图坐标系中，基于转换后的雷达点坐标，确定该栅格图坐标系中可行驶区域的坐标集合。

步骤203，根据可行驶区域的坐标集合和目标图像，确定雷达点集合中每个雷达点属于路沿的概率。

在实施中，终端设备在确定出栅格图坐标系中的可行驶区域的坐标集合之后，可以使用可行驶区域的坐标集合和目标图像，确定出雷达点集合中每个雷达点属于路沿的概率。

步骤206，在雷达点集合中，将概率高于第一预设阈值的雷达点标记为路沿。

其中，第一预设阈值可以预设，并且存储至终端设备，如80％等。

在实施中，终端设备在确定出雷达点集合中，每个雷达点属于路沿的概率后，可以判断每个雷达点属于路沿的概率是否大于第一预设阈值，将概率高于第一预设阈值的雷达点标记为路沿。

用公式表示为：

在该式子中，R_i为第i个雷达点，p_r2b,i为第i个雷达点属于路沿的概率，

为第一预设阈值，N_r ^*+1为属于路沿的雷达点的数目。

如图3所示，基于栅格图坐标系下的路沿概率图，确定每个雷达点属于路沿的概率，本公开实施例还提供了如下流程：

步骤301，获取雷达点集合和摄像机拍摄的目标图像。

在实施中，步骤301与上述步骤201的处理完全相同，可参见步骤201，此处不再赘述。

步骤302，根据雷达点集合，确定俯视图坐标系对应的栅格图坐标系中可行驶区域的坐标集合，并根据目标图像，确定目标图像中的目标框集合。

其中，目标框可以指图像中包含目标的矩形框，在本公开实施例中，目标可以是车辆等。

在实施中，终端设备获取到雷达点集合后，可以使用雷达点集合，将雷达点坐标转换到俯视图坐标系对应的栅格图坐标系中，基于转换后的雷达点坐标，确定该栅格图坐标系中可行驶区域的坐标集合。并且终端设备在获取到目标图像后，可以获取预先训练得到的神经网络算法，将目标图像输入到该神经网络算法中，得到目标图像中所包括目标的目标框集合O，其中，O＝{O_i＝(u_o,i,v_o,i,u_1,i,v_1,i)|i＝0,...,N₀-1}，N₀为目标框的数目，u_o,i,v_o,i,u_1,i,v_1,i分别为第i个目标框的图像坐标系下横坐标的最小值、纵坐标的最小值、横坐标的最大值、横坐标的最小值。

可选的，对于上述步骤302，可以按照如下过程实现：

对目标图像进行图像识别，确定摄像机对应的图像坐标系下可行驶区域的坐标集合，根据雷达点集合，确定图像坐标系下可行驶区域中雷达点的坐标、俯视图坐标下第一有效区域、栅格图坐标系下第二有效区域，根据第一有效区域、第二有效区域、摄像机的内参、雷达相对于摄像机的外参和图像坐标系下可行驶区域的坐标集合，确定栅格图坐标系中可行驶区域的坐标集合。

其中，第一有效区域用于表示车辆前视区域中的感兴趣区域，第二有效区域是第一有效区域在栅格图坐标系中的对应区域。

在实施中，终端可以对目标图像进行图像识别，识别到目标图像中障碍物所在的位置(障碍物为车辆、道路两旁等)，然后根据不存在障碍物的位置，确定出摄像机对应的图像坐标系中可行驶区域坐标集合，可以使用M_f,r表示，M_f,r＝{p_f,r,i＝(x_f,r,i,y_f,r,i)|i＝0,...,N_f,r-1}，x_f,r,i,y_f,r,i为非负整数，(x_f,r,i,y_f,r,i)为图像坐标系中可行驶区域的像素位置，p_f,r,i为第i个像素位置，N_f,r为图像坐标系中可行驶区域的像素个数。

终端设备可以使用雷达点集合，确定俯视图坐标系下的第一有效区域，然后可以使用第一有效区域，确定出栅格图坐标系下的第二有效区域，并且获取摄像机的内参和雷达相对于摄像机的外参，然后使用图像坐标系下可行驶区域的坐标集合、第一有效区域、第二有效区域和内参、外参，确定出栅格图坐标系中可行驶区域的坐标集合，如图4所示。

需要说明的是，在确定图像坐标系中目标图像可行驶区域坐标集合时，可以使用现有技术的任意一种方式。

可选的，确定第一有效区域和第二有效区域的方式可以如下：

确定雷达点集合中x方向的最大值和最小值、z方向的最大值和最小值，根据x方向的最大值和最小值、z方向的最大值和最小值，确定俯视图坐标系下第一有效区域，根据x方向的最大值和最小值、x方向的分辨率，确定栅格图坐标系下第二有效区域的x方向的最大值与最小值，并根据z方向的最大值和最小值、z方向的分辨率，确定栅格图坐标系下第二有效区域的z方向的最大值与最小值。

在实施中，终端设备可以在雷达点集合中，确定俯视图坐标系中，x方向的最大值x_b,max和最小值x_b,min，并且确定俯视图坐标系中，z方向的最大值z_b,max和最小值z_b,min，将x_b,max确定为俯视图坐标系中第一有效区域x方向的最大值，并将x_b,min确定为俯视图坐标系中第一有效区域x方向的最小值，并将z_b,max确定为俯视图坐标系中第一有效区域z方向的最大值，并将z_b,min确定为俯视图坐标系中第一有效区域z方向的最小值，这样，可以确定第一有效区域为E_b-roi＝{x_b,min,x_b,max,z_b,min,z_b,max}，其中，x_b,min,x_b,max,z_b,min,z_b,max均为实数，实际上第一有效区域为一个矩形区域。

在确定出x_b,min,x_b,max,z_b,min,z_b,max之后，可以获取栅格图坐标系下x方向和z方向的分辨率s(x方向和z方向的分辨率相等，均使用s表示)，然后根据x方向的最大值x_b,max和最小值x_b,min、x方向的分辨率，确定栅格图坐标系下第二有效区域的x方向的最大值与最小值，并根据z方向的最大值z_b,max和最小值z_b,min、z方向的分辨率，确定栅格图坐标系下第二有效区域的z方向的最大值与最小值。

可选的，可以通过取整的方式，确定出第二有效区域，相应的处理可以如下：

将x方向的最大值和最小值求差值，得到第一差值，将第一差值与栅格图坐标系中x方向的分辨率相除后取整，将取整后的数值减去一，得到第二有效区域的x方向的最大值，并将z方向的最大值和最小值求差值，得到第二差值，将第二差值与栅格图坐标系中z方向的分辨率相除后取整，将取整后的数值减去一，得到第二有效区域的z方向的最大值，其中，第二有效区域的x方向的最小值为0、z方向的最小值为0。

在实施中，第二有效区域的坐标集合可以表示为M_g-roi＝{p_g,i＝(x_g,i,z_g,i)|x_g,i＝0,...,N_g,x-1,z_g,i＝0,...,N_g,z-1}，其中，p_g,i为第i个栅格的坐标，N_g,x和N_g,z均为非负整数，N_g,x＝floor[(x_b,max-x_b,min)/s]，N_g,z＝floor[(z_b,max-z_b,min)/s]，floor[]为取整函数，x_b,max为x方向的最大值，x_b,min为x方向的最小值，z_b,max为z方向的最大值，z_b,min为z方向的最小值。这样，可以得到第二有效区域，包括N_g,x*N_g,z个栅格。例如，N_g,x＝100.5，N_g,z＝50.2，取整之后分别为100和50。

步骤303，根据可行驶区域的坐标集合、雷达集合中每个雷达点的绝对速度、目标图像中目标框集合，确定栅格图坐标系下路沿的观测栅格坐标集合。

在实施中，雷达每次在确定雷达点的坐标时，还可以确定出每个雷达点的绝对速度，也就是反射毫米波信号的车辆的行驶速度。

终端设备在确定出栅格图坐标系中的可行驶区域后，可以使用可行驶区域的坐标集合、每个雷达点的绝对速度、目标框集合，确定出栅格图坐标系下路沿的观测栅格坐标集合。

可选的，为了节约计算量，可以直接确定栅格图坐标系下第二有效区域中路沿的观测栅格坐标集合，相应的步骤303的处理可以如下：

确定栅格图坐标系下第二有效区域中路沿的观测栅格坐标集合。

在实施中，终端设备在确定出栅格图坐标系中的可行驶区域的坐标集合后，可以使用可行驶区域的坐标集合、每个雷达点的绝对速度、目标框集合，确定出栅格图坐标系下第二有效区域的路沿的观测栅格坐标集合。

可选的，步骤303中，确定观测栅格坐标集合的过程可以如下：

根据可行驶区域的坐标集合，确定栅格图坐标系下路沿参考点集合，对路沿参考点集合中相邻的预设数目个路沿参考点进行聚类处理，得到多类路沿参考点，根据目标框集合，确定雷达点集合中，每个雷达点属于目标的概率，根据雷达点集合中每个雷达点的绝对速度、每个雷达点距离每类路沿参考点中各路沿参考点的栅格距离、每个雷达点属于目标的概率，确定每个雷达点属于各类路沿参考点的概率，根据多类路沿参考点、每个雷达点属于各路沿参考点的概率、雷达点集合，确定栅格图坐标系下第二有效区域中路沿的观测栅格坐标集合。

其中，预设数目可以预设，并且存储至终端设备中，如预设数目为3等。

在实施中，终端设备可以使用可行驶区域的坐标集合M_g,rv，从中确定出可行驶区域的边界，将可行驶区域的边界附近的坐标点确定为路沿参考点集合C_g,ra＝{p_g,ra,i＝(x_g,ra,i,z_g,ra,i)}，(x_g,ra,i,z_g,ra,i)为栅格图坐标系路沿参考点集合，例如，可以是距离可行驶区域的边界处一个栅格位置处的坐标点确定为路沿参考点集合。

然后终端设备可以获取预设的聚类算法(如K-means聚类算法，基于夹角的聚类算法)，对路沿参考点集合中相邻的预设数目个路沿参考点进行聚类处理，得到多类路沿参考点。

然后终端设备可以使用目标框集合和雷达点集合，确定每个雷达点属于目标的概率p_r20，p_r20＝F_r20(R,O)，其中，p_r20＝{p_r20，i|i＝0,...,N_r-1}，N_r为雷达集合中雷达点的数目，p_r20，i＝{max({p_r20，i,j|j＝0,...,N₀-1})}，p_r20，i表示第i个雷达点属于目标的概率为其属于所有目标框概率的最大值，其中，

p_r20，i,j为第i个雷达点属于第j个目标框的概率，R_b,i为第i个雷达点在俯视图坐标系中的坐标，R_bmin,i为第j个目标框包含的雷达点中，z_b最小的雷达点在俯视图坐标系中的坐标，d_r2o为预设参数。此处在确定R_bmin,i时，需要将雷达点的坐标，从俯视图坐标系转换到图像坐标系(转换过程在后面有详细介绍)，然后确定哪些雷达点经过转换后的坐标属于第j个目标框，然后在属于第j个目标框中雷达点中，确定在俯视图坐标系下的最小z_b，即为R_bmin,i。

然后终端设备可以获取每个雷达点的绝对速度，并确定每个雷达点距离每类路沿参考点中各路沿参考点的栅格距离平方。然后基于此，确定每个雷达点属于每类路沿参考点的概率p_r2b，其中，第i个雷达点属于第j类路沿参考点的概率为：

其中，N_g,c,a,j表示第j类路沿参考点中路沿参考点的数目，B_g,ca,j,m表示第j类路沿参考点中第m个路沿参考点的栅格坐标，w_ao，w_a1，w_a2，d_r2b,0，d_r2b,1均为根据经验预设的参数，||v_a,i||表示第i个雷达点的绝对速度大小，本公开实施例例中横向绝对速度一般为0，所以||v_a,i||表示第i个雷达点的纵向绝对速度大小，||R_g,i-B_g,ca,j,m||²表示每个雷达点距离第j类路沿参考点中第m个路沿参考点的栅格距离平方。依照此方法可以得到每个雷达点属于每类路沿参考点的概率。

然后终端设备可以使用多类路沿参考点、每个雷达点属于各路沿参考点的概率、雷达点集合，确定栅格图坐标系下第二有效区域中路沿的观测栅格坐标集合。

这样，由于计算了雷达点属于目标的概率，所以在进行雷达点属于路沿的概率估计时，可以降低属于目标概率高的雷达点的权重，从而可以降低了目标被误估计为路沿的概率。

可选的，基于夹角进行聚类的处理可以如下：

确定路沿参考点集合中相邻的3个路沿参考点构成的3个夹角，将相邻的3个路沿参考点构成的3个夹角均小于预设角度阈值的一组路沿参考点聚为一类。

其中，预设角度阈值可以预设，并且存储至终端设备中。

在实施中，终端设备可以确定路沿参考点集合中相邻的3个路沿参考点，并且确定这三个路沿参考点构成的3个夹角θ_g-ra，如果这三个路沿参考点构成的3个夹角均小于预设角度阈值，则可以将这三个路沿参考点聚为一类。如图5所示，为聚类后的路沿参考点和雷达点。

用公式表示也就是：

B_g,ca＝{B_g,ca,i|i＝0,...,N_g,ca-1}，其中，N_g,ca为聚类得到的路沿参考点类的数目，例如，得到10类路沿参考点。

B_g,ca,i＝{p_g,ca,i,j}，B_g,ca,i为第i类路沿参考点，其中，p_g,ca,i,j属于C_g,ra，j＝0,...,N_g,ca,i-1，且

小于预设角度阈值，N_g,ca,i为第i类路沿参考点中路沿参考点的数目。

步骤304，根据观测栅格坐标集合，确定栅格图坐标系下的路沿概率图。

其中，路沿概率图指栅格图坐标系下每个栅格属于路沿的概率的集合。

可选的，可以确定出栅格图坐标系下第二有效区域的路沿概率图，相应的处理可以如下：

根据观测栅格坐标集合，确定栅格图坐标系下第二有效区域的路沿概率图。

在实施中，终端设备确定出栅格图坐标系下第二有效区域的观测栅格坐标集合后，可以确定栅格图坐标系下第二有效区域的路沿概率图。

可选的，确定栅格图坐标系下第二有效区域的路沿概率图时，还可以使用栅格图坐标系下的第二有效区域中的栅格的坐标，相应的处理可以如下：

根据观测栅格坐标集合、栅格图坐标系下第二有效区域，确定第二有效区域中，各栅格到观测栅格坐标集合中每类二值化路沿参考点中各路沿参考点的栅格距离，根据确定出的栅格距离，确定栅格图坐标系下第二有效区域的路沿概率图。

其中，路沿概率图为栅格图坐标系下每个栅格属于路沿的概率。

在实施中，栅格图坐标系下第二有效区域的路沿概率图为p_r,m＝{p_r(p_i)|p_i∈M_g,roi,i＝0,...,N_g,roi-1}，其中，N_g,roi表示栅格图坐标系中栅格的数目，p_r(p_i)为第i个栅格属于路沿的概率，可以按照如下方式确定：

其中，||p_iB_g,p,j,m||²表示M_g,roi中第i个栅格到第j类二值化路沿参考点中第m个路沿参考点的栅格距离，d_r为根据经验值预设的参数。如图6所示，为栅格图坐标系下第二有效区域的路沿概率图，接近白色的地方的概率比较大，接近黑色的地方的概率比较小。

步骤305，根据路沿概率图，确定雷达点集合中每个雷达点属于路沿的概率。

在实施中，终端设备确定出路沿概率图之后，由于路沿概率图中包括了每个栅格属于路沿的概率，确定每个雷达点属于的栅格，对于任一雷达点，将属于的栅格对应的概率，确定为该雷达点属于路沿的概率，即可得到每个雷达点属于路沿的概率。

可选的，为了使计算得到的雷达点属于路沿的概率更准确，还可以参考前一次拍摄的图像，相应的步骤305的处理可以如下：

根据路沿概率图、前一次拍摄的图像在栅格图坐标系下的路沿概率图、车辆的绝对速度、前一次拍摄的图像和目标图像的时间间隔、栅格图坐标系的栅格坐标分辨率、雷达点集合，确定每个雷达点属于路沿的概率。

在实施中，终端设备每次均存储摄像机拍摄的图像的路沿概率图，在确定此次每个雷达点属于路沿的概率时，可以获取前一次摄像机拍摄的图像在栅格图坐标系下的路沿概率图，并且获取在拍摄目标图像时，本车辆的绝对速度，以及拍摄周期(也就是前一次拍摄的图像和目标图像的时间间隔)，并且获取预设的栅格图坐标系的栅格坐标的分辨率，然后基于获取到的数据，确定每个雷达点属于路沿的概率。

可选的，在确定每个雷达点属于路沿的概率时，还会考虑第二有效区域，相应的处理可以如下：

根据路沿概率图、前一次拍摄的图像在栅格图坐标系下的路沿概率图、车辆的绝对速度、前一次拍摄的图像和目标图像的时间间隔、栅格图坐标系的栅格坐标分辨率和第二有效区域，确定目标图像的最优路沿概率图，根据雷达点集合和最优路沿概率图，确定每个雷达点属于路沿的概率。

在实施中，假设前一次拍摄的图像的路沿概率图为p_r,m,p，本车辆的绝对速度为v_e，前一次拍摄的图像与目标图像的时间间隔为d_t，栅格图坐标系的x方向的分辨率和z方向的分辨率(也就是栅格分辨率)为s，第二有效区域为M_g,roi，目标图像的最优路沿概率图可以表示为：

p_r,m ^*＝{p_r ^*(p_i)＝p_r(p_i)+p_r,p(p_j)|p_r∈p_r,m,p_r,p∈p_rm,p}，并且在该式子中满足：z_g,i+v_e*d_t＝z_i,i＝0,...,N_g,roi-1，N_g,roi表示栅格图坐标系中栅格的数目，也就是第二有效区域中栅格的数目，z_g,i+v_e*d_t＝z_i表示前一次拍摄的图像在栅格图坐标系下，第i个栅格的纵向坐标值等于本车辆的绝对速度与时间间隔的乘积与在目标图像中第i个栅格的纵向坐标值之和，p_r,m ^*为表示最优路沿概率图。

在确定出最优路沿概率图后，可以将雷达点集合中俯视图坐标系下的雷达点坐标转换到栅格图坐标系中，对于任一雷达点，使用在栅格图坐标系下的坐标，确定其属于那个栅格，获取该栅格属于路沿的概率，将该概率确定为该雷达点属于路沿的概率。这样，依照该方法可以确定出每个雷达点属于路沿的概率。

用公式表示为：

p_r,m ^*＝{p_r2b,i ^*＝p_r ^*(R_g,i)|i＝0,...,N_r-1}，N_r为雷达点集合中雷达点的数目。

步骤306，在雷达点集合中，将概率高于第一预设阈值的雷达点标记为路沿。

其中，第一预设阈值可以预设，并且存储至终端设备，如80％等。

在实施中，终端设备在确定出雷达点集合中，每个雷达点属于路沿的概率后，可以判断每个雷达点属于路沿的概率是否大于第一预设阈值，将概率高于第一预设阈值的雷达点标记为路沿。

用公式表示为：

在该式子中，R_i为第i个雷达点，p_r2b,i为第i个雷达点属于路沿的概率，

为第一预设阈值，N_r ^*+1为属于路沿的雷达点的数目。

可选的，在步骤302中，可以使用图像坐标系中的可行驶区域的坐标集合，确定栅格图坐标系中可行驶区域的坐标集合，相应的处理可以如下：

确定在栅格图坐标系中第二有效区域中各栅格的坐标，根据第一有效区域、摄像机的内参、雷达相对于摄像机的外参，将各栅格的坐标转换到图像坐标系中，确定各栅格的坐标转换到图像坐标系后的坐标中属于图像坐标系下可行驶区域的坐标集合中的坐标，得到目标坐标集合，将目标坐标集合中的坐标在栅格图坐标系中所对应的坐标，确定为栅格图坐标系中可行驶区域的坐标集合。

在实施中，终端设备可以确定栅格图坐标系中第二有效区域中各栅格的坐标，然后使用第一有效区域，摄像机的内参、雷达相对于摄像机的外参，将各栅格的坐标转换到图像坐标系中，过程可以是：

第一有效区域为E_b-roi＝{x_b,min,x_b,max,z_b,min,z_b,max}，摄像机的内参为f_x，f_y，c_x，c_y，雷达相对于摄像机的外参为

x_rcc、y_rcc、z_rcc，雷达点集合为R_b＝{p_b,i＝(x_b,i,0,z_b,i)|i＝0,...,N_r-1}，栅格图坐标系中坐标到俯视图坐标系的转换使用F_g2b表示，那么栅格图坐标系集合转换到俯视图坐标系后可以使用M_b＝F_g2b(M_g,E_b-roi)表示，M_b为俯视图坐标系下的坐标集合，M_g为栅格图坐标系下的坐标集合，栅格图坐标系中坐标使用(x_g,z_g)表示，俯视图坐标系中坐标使用(x_b,z_b)表示，则有

其中，s为栅格图坐标系下x方向和z方向的分辨率。

然后将栅格图坐标系中第二有效区域的各栅格的坐标转换到图像坐标系中，转换可以使用F_g2f表示，M_f＝F_g2f(M_g,E_b-roi,Extrincs,I nt rincs)，其中，M_f为图像坐标系下的坐标集合，M_g为栅格图坐标系下的坐标集合，Extrincs,I nt rincs分别为外参和内参，使用M_f＝F_g2f(M_g,E_b-roi,Extrincs,int rincs)和M_b＝F_g2b(M_g,E_b-roi)即可得到：

进而使用(x_f,c,i,y_f,c,i,z_f,c,i)与(x_f,i,y_f,i)之间的关系即可得到：

这样，由于外参和内参都是确定的，所以根据雷达点在俯视图坐标系下的坐标，就可以得到第二有效区域的各栅格在图像坐标系下的坐标。

然后使用第二有效区域的各栅格在图像坐标系下的坐标和图像坐标系下可行驶区域的坐标集合，确定各栅格的坐标转换到图像坐标系后的坐标中属于图像坐标系下可行驶区域的坐标集合中的坐标p_f,rv,i，得到目标坐标集合，然后将目标坐标集合中的坐标在栅格图坐标系中所对应的坐标，确定为栅格图坐标系中可行驶区域的坐标集合。

用公式表示为：

M_g,rv＝{p_g,rv,i＝(x_g,rv,i,z_g,rv,i)|i＝0,...,N_g,rv-1}，其中，p_f,rv,i＝F_g2f(p_g,rv,i)，且p_f,rv,i∈M_f-r，M_g,rv为栅格图坐标系中可行驶区域的坐标集合，p_g,rv,i为该坐标集合中第i个元素的坐标，N_g,rv为该坐标集合中的元素的数目，M_f-r为图像坐标系中可行驶区域的坐标集合。

可选的，对于步骤303中，为了使确定出的观测栅格坐标集合更准确，可以基于回归方向和回归参数来计算，相应的处理可以如下：

根据多类路沿参考点、每个雷达点属于各路沿参考点的概率、雷达点集合，确定每类路沿参考点的回归方向和回归参数，根据每类路沿参考点的回归方向和回归参数，对多类路沿参考点进行二值化处理，得到栅格图坐标系下第二有效区域中路沿的观测栅格坐标集合。

其中，回归方向有x方向和z方向。

在实施中，终端设备可以根据多类路沿参考点、每个雷达点属于各路沿参考点的概率、雷达点的集合，确定每类路沿参考点的回归方向和回归参数，然后对多路路沿参考点进行二值化处理，得到栅格图坐标系下第二有效区域中路沿的观测栅格坐标集合。用公式表示可以如下：

回归方向和回归参数可以表示为：

在该式子中dir表示回归方向，意思是假如x方向的总拟合误差小于z方的总拟合误差，则将x方向确定为回归方向，并将对应x的回归参数确定为后续计算使用的回归参数，反之，将z方向确定为回归方向，并将对应z的回归参数确定为后续计算使用的回归参数。

路沿的观测栅格坐标集合可以表示为：

B_g,p＝{B_g,p,i|i＝0,...,N_gcb-1}，其中，在回归方向为x方向时，B_g,p,i＝{(x_j,v_j)|v_j＝a_x,i ^**x_j*x_j+b_x，i ^**x_j+c_x,i ^*}，x_j为B_g,p,i元素栅格横坐标，且x_j小于或等于过滤后的多类路沿参考点中x方向的最大值，且大于或等于过滤后的多类路沿参考点中x方向的最小值。在回归方向为z方向时，B_g,p,i＝{(z_j,v_j)|v_j＝a_z,i ^**z_j*z_j+b_z，i ^**z_j+c_z,i ^*}，z_j为B_g,p,i元素栅格纵坐标，且z_j小于或等于过滤后的多类路沿参考点中z方向的最大值，且大于或等于过滤后的多类路沿参考点中z方向的最小值。

这样，不管回归方向是x方向还是z方向，均能得到观测栅格坐标集合。

如图7所示，为二值化后的路沿参考点。

可选的，在确定回归方向和回归参数前可以对路沿参考点进行过滤，相应的处理可以如下：

对于目标类路沿参考点，将每个雷达点属于目标类路沿参考点的概率相加，得到目标类路沿参考点的存在概率，其中，目标类路沿参考点为多类路沿参考点中的任一类路沿参考点，将存在概率低于第二预设阈值的目标类路沿参考点进行过滤，得到过滤后的多类路沿参考点，根据过滤后的多类路沿参考点、每个雷达点属于过滤后的多类路沿参考点中各路沿参考点的概率、雷达点集合，确定过滤后的每类路沿参考点的回归方向和回归参数。

其中，第二预设阈值可以预设，并且存储至终端设备中。

在实施中，对于多类路沿参考点中的任一类路沿参考点(可以称为是目标类参考点)，可以确定每个雷达点属于目标类路沿参考点的概率之和，得到目标类路沿参考点(可以认为是第i类路沿参考点)的存在概率，用公式表示为：

p_r2b,j,i表示第j个雷达点属于第i类路沿参考点的概率。

然后将p_bi小于第二预设阈值

的目标类路沿参考点删除，即过滤掉，得到过滤后的多类路沿参考点，用公式表示为：

N_g,cb表示基于第二预设阈值过滤后的路沿参考点的类的数目，例如，过滤前为10类路沿参考点，过滤后，变成了5类路沿参考点。

同样，由于过滤掉一些类路沿参考点，所以每个雷达点属于被过滤掉的类路沿参考点的概率也会被过滤掉。

然后终端设备可以使用过滤后的多类路沿参考点、每个雷达点属于过滤后的多类路沿参考点中各路沿参考点的概率、雷达点集合，确定过滤后的每类路沿参考点的回归方向和回归参数。

可选的，可以使用回归误差和正则化损失误差，确定回归方向和回归参数，相应的处理可以如下：

根据过滤后的多类路沿参考点、每个雷达点属于过滤后的多类路沿参考点中各类路沿参考点的概率、雷达点集合，确定过滤后的每类路沿参考点分别在以栅格图坐标系中x、z为自变量的总拟合误差，并确定以x方向、z方向回归时的回归参数，其中，总拟合误差包括回归误差和正则化损失误差，对于第一类路沿参考点，如果以栅格图坐标系中x为自变量的总拟合误差小于以栅格图坐标系中z为自变量的总拟合误差，则将第一类路沿参考点的回归方向，确定为x方向，并将以x方向回归时的回归参数，确定为第一类路沿参考点的回归参数；对于第二类路沿参考点，如果以栅格图坐标系中x为自变量的总拟合误差大于或等于以栅格图坐标系中z为自变量的总拟合误差，则将第二类路沿参考点的回归方向，确定为z方向，并将以z方向回归时的回归参数，确定为第二类路沿参考点的回归参数，其中，第一类路沿参考点与第二类路沿参考点不相同，且均属于过滤后的多类路沿参考点。

在实施中，终端设备可以确定过滤后的每类路沿参考点在以栅格图坐标系中x为自变量的总拟合误差L_x，L_x包括两部分，一部分为回归误差L_reg.x，另一部分为正则化损失L_norm.x，L_x＝w_b,0*L_reg.x+w_b,1*L_norm.x，其中，w_b,0和w_b,1为权重，是基于经验值预设的权重。

并确定过滤后的每类路沿参考点在以栅格图坐标系中z为自变量的总拟合误差L_z，L_z包括两部分，一部分为回归误差L_reg.z，另一部分为正则化损失L_norm.z，L_z＝w_b,0*L_reg.z+w_b,1*L_norm.z，其中，w_b,0和w_b,1为权重，是基于经验值预设的。

对于过滤后的每类路沿参考点的总拟合误差为：L＝{L_i＝(L_x,i,L_z,i)|i＝0,...,N_g，cb}，以栅格图坐标系下的x轴为自变量、第i类路沿参考点B_g,cb,i(任一类路沿参考点)为例，令L_reg.x,i、L_norm.x,i为回归参数a,b,c的函数，有如下表达式：

其中，L_norm.x,i为a和b的最大值，a_x,i,b_x,i,c_x,i为回归参数，x_g,j，z_g,j为第j个雷达点在栅格图坐标系中的横坐标和纵坐标。

对于第i类路沿参考点B_g,cb,i，通过如下方式获得x为自变量时的回归参数：

L_x,i ^*＝w_b,0*L_reg.x,i ^*+w_b,1*L_norm.x,i ^*，其中，a_x,i ^*,b_x,i ^*,c_x,i ^*为最佳回归参数，也就是最终使用的回归参数，arg min a_x,i,b_x,i,c_x,i(L_reg.x,i(a_x,i,b_x,i,c_x,i))指在L_reg.x,i(a_x,i,b_x,i,c_x,i)取最小值时，a_x,i,b_x,i,c_x,i即为最终确定的x方向的回归参数，L_reg.x,i ^*＝L_reg.x,i(a_x,i ^*,b_x,i ^*,c_x,i ^*)为在回归参数为a_x,i ^*,b_x,i ^*,c_x,i ^*时L_reg.x,i取得最小值L_reg.x,i ^*，L_norm.x,i ^*＝max(a_x,i ^*,b_x,i ^*)为L_norm.x,i最佳取值为a_x,i ^*,b_x,i ^*之间的最大值。

同理，也可以得到L_x,i ^*，a_z,i ^*,b_z,i ^*,c_z,i ^*，此处不再赘述。

对于B_g,cb，可以得到每类路沿参考点在x方向和z方向的最小总拟合误差和回归参数：

G_g＝{L_x,i ^*,a_x,i ^*,b_x,i ^*,c_x,i ^*,L_z,i ^*,a_z,i ^*,b_z,i ^*,c_z,i ^*|i＝0,...,N_g,cb}。

在B_g,cb中，对于第一类路沿参考点，如果以栅格图坐标系中x为自变量的总拟合误差小于以栅格图坐标系中z为自变量的总拟合误差，则可以将第一类路沿参考点的回归方向，确定为x方向，并将以x方向回归时的回归参数，确定为第一类路沿参考点的回归参数，对于第二类路沿参考点，如果以栅格图坐标系中x为自变量的总拟合误差大于或等于以栅格图坐标系中z为自变量的总拟合误差，则将第二类路沿参考点的回归方向，确定为z方向，并将以z方向回归时的回归参数，确定为第二类路沿参考点的回归参数，第一类路沿参考点与第二类路沿参考点不相同，且均属于过滤后的多类路沿参考点。

用公式表示也就是：

在该式子中dir表示回归方向。

需要说明的是，在栅格图坐标系下，每个雷达点的坐标的值都是非负正整数。

还需要说明的是，由于本公开实施例中，计算了雷达点属于目标的概率，所以在进行雷达点标记时，降低了属于目标概率高的雷达点的权重，所以可以降低目标被误估计成路沿的概率。

而且由于对路沿参考点使用角度进行了聚类，并且分别对每类路沿参考点分别进行回归处理，所以该方法可以对路沿数目大于等于2的场景进行回归参数的确定，提高了雷达点标记的应用范围。

而且本公开实施例中，分别采用两个方向(x方向和z方向)的自变量分别进行回归，并选取总拟合误差最小的自变量方向作为回归方向，并将总拟合误差最小对应的参数最为回归参数，使用该回归参数进行路沿点标记，可以提高回归模型的稳定性，降低过拟合的风险，进而可以提到回归精度，进一步提高雷达点标记精度。

而且针对现有技术中，采用圆曲线对最终的路沿进行拟合，在实际路沿近似为直线时，曲线参数值过大，导致路沿曲线对路沿噪声较为敏感，易产生较大的误差。而本公开实施例中，并未采用圆曲线进行拟合，所以可以适用于直线、曲线的场景。

本公开实施例中，终端设备可以获取雷达点通过发射信号获取的雷达点集合和摄像机拍摄的目标图像，然后根据雷达点集合，确定俯视图坐标系对应的栅格图坐标系中可行驶区域的坐标集合，然后根据可行驶区域的坐标集合和目标图像，确定雷达点集合中每个雷达点属于路沿的概率，在雷达点集合中，将概率高于第一预设阈值的雷达点标记为路沿。这样，由于使用了拍摄的图像，所以可以降低路沿旁边的目标产生的雷达点被误检测成路沿的概率，进而可以降低辅助车辆行驶出错的概率。

基于相同的技术构思，本公开实施例还提供了一种雷达点的标记装置，所述装置应用于车辆，所述车辆中设置有雷达和摄像机，如图8所示，该装置包括：

获取模块810，用于获取雷达点集合和所述摄像机拍摄的目标图像，其中，所述雷达点集合中包括雷达坐标系对应的俯视图坐标系下雷达点的坐标；

确定模块820，用于：

根据所述雷达点集合，确定所述俯视图坐标系对应的栅格图坐标系中可行驶区域的坐标集合；

根据所述可行驶区域的坐标集合和所述目标图像，确定所述雷达点集合中每个雷达点属于路沿的概率；

在所述雷达点集合中，将概率高于第一预设阈值的雷达点标记为路沿。

可选的，所述确定模块820，用于：

根据所述可行驶区域的坐标集合、所述雷达集合中每个雷达点的绝对速度、所述目标图像中目标框集合，确定所述栅格图坐标系下路沿的观测栅格坐标集合；

根据所述观测栅格坐标集合，确定所述栅格图坐标系下的路沿概率图。

根据所述路沿概率图，确定所述雷达点集合中每个雷达点属于路沿的概率。

可选的，所述确定模块820，用于：

根据所述路沿概率图、前一次拍摄的图像在所述栅格图坐标系下的路沿概率图、车辆的绝对速度、所述前一次拍摄的图像和所述目标图像的时间间隔、所述栅格图坐标系的栅格坐标分辨率、所述雷达点集合，确定每个雷达点属于路沿的概率。

可选的，所述确定模块820，用于：

对所述目标图像进行图像识别，确定所述摄像机对应的图像坐标系下可行驶区域的坐标集合；

根据所述雷达点集合，确定所述图像坐标系下可行驶区域中雷达点的坐标、所述俯视图坐标下第一有效区域、所述栅格图坐标系下第二有效区域，其中，所述第一有效区域用于表示所述车辆前视区域中的感兴趣区域，所述第二有效区域是所述第一有效区域在所述栅格图坐标系中的对应区域；

根据所述第一有效区域、第二有效区域、所述摄像机的内参、所述雷达相对于所述摄像机的外参和所述图像坐标系下可行驶区域的坐标集合，确定所述栅格图坐标系中可行驶区域的坐标集合；

所述确定模块820，用于：

确定所述栅格图坐标系下所述第二有效区域中路沿的观测栅格坐标集合；

所述确定模块820，用于：

根据所述观测栅格坐标集合，确定所述栅格图坐标系下所述第二有效区域的路沿概率图。

可选的，所述确定模块820，用于：

确定所述雷达点集合中x方向的最大值和最小值、z方向的最大值和最小值；

根据所述x方向的最大值和最小值、z方向的最大值和最小值，确定所述俯视图坐标系下第一有效区域；

根据所述x方向的最大值和最小值、所述栅格图坐标系中所述x方向的分辨率，确定所述栅格图坐标系下第二有效区域的x方向的最大值与最小值，并根据所述z方向的最大值和最小值、所述栅格图坐标系中所述z方向的分辨率，确定所述栅格图坐标系下第二有效区域的z方向的最大值与最小值。

可选的，所述确定模块820，用于：

将所述x方向的最大值和最小值求差值，得到第一差值，将所述第一差值与所述栅格图坐标系中所述x方向的分辨率相除后取整，将取整后的数值减去一，得到所述第二有效区域的x方向的最大值，并将所述z方向的最大值和最小值求差值，得到第二差值，将所述第二差值与所述栅格图坐标系中所述z方向的分辨率相除后取整，将取整后的数值减去一，得到所述第二有效区域的z方向的最大值，其中，所述第二有效区域的x方向的最小值为0、z方向的最小值为0。

可选的，所述确定模块820，用于：

确定在所述栅格图坐标系中所述第二有效区域中各栅格的坐标；

根据所述第一有效区域、所述摄像机的内参、所述雷达相对于所述摄像机的外参，将所述各栅格的坐标转换到所述图像坐标系中；

确定所述各栅格的坐标转换到所述图像坐标系后的坐标中属于所述图像坐标系下可行驶区域的坐标集合中的坐标，得到目标坐标集合；

将所述目标坐标集合中的坐标在所述栅格图坐标系中所对应的坐标，确定为所述栅格图坐标系中可行驶区域的坐标集合。

可选的，所述确定模块820，用于：

根据所述栅格图坐标系中可行驶区域的坐标集合，确定所述栅格图坐标系下路沿参考点集合；

对所述路沿参考点集合中相邻的预设数目个路沿参考点进行聚类处理，得到多类路沿参考点；

根据所述目标框集合，确定所述雷达点集合中，每个雷达点属于目标的概率；

根据所述雷达点集合中每个雷达点的绝对速度、每个雷达点距离每类路沿参考点中各路沿参考点的栅格距离、每个雷达点属于目标的概率，确定每个雷达点属于各类路沿参考点的概率；

根据所述多类路沿参考点、每个雷达点属于各路沿参考点的概率、所述雷达点集合，确定所述栅格图坐标系下所述第二有效区域中路沿的观测栅格坐标集合。

可选的，所述确定模块820，用于：

确定所述路沿参考点集合中相邻的3个路沿参考点构成的3个夹角；

将相邻的3个路沿参考点构成的3个夹角均小于预设角度阈值的一组路沿参考点聚为一类。

可选的，所述确定模块820，用于：

根据所述多类路沿参考点、每个雷达点属于各路沿参考点的概率、所述雷达点集合，确定每类路沿参考点的回归方向和回归参数；

根据每类路沿参考点的回归方向和回归参数，对所述多类路沿参考点进行二值化处理，得到所述栅格图坐标系下第二有效区域中路沿的观测栅格坐标集合。

可选的，所述确定模块820，用于：

对于目标类路沿参考点，将每个雷达点属于所述目标类路沿参考点的概率相加，得到所述目标类路沿参考点的存在概率，其中，所述目标类路沿参考点为所述多类路沿参考点中的任一类路沿参考点；

将存在概率低于第二预设阈值的目标类路沿参考点进行过滤，得到过滤后的多类路沿参考点；

根据所述过滤后的多类路沿参考点、每个雷达点属于所述过滤后的多类路沿参考点中各路沿参考点的概率、所述雷达点集合，确定过滤后的每类路沿参考点的回归方向和回归参数。

可选的，所述确定模块820，用于：

根据所述过滤后的多类路沿参考点、每个雷达点属于所述过滤后的多类路沿参考点中各类路沿参考点的概率、所述雷达点集合，确定过滤后的每类路沿参考点分别在以所述栅格图坐标系中x、z为自变量的总拟合误差，并确定以x方向、z方向回归时的回归参数，其中，所述总拟合误差包括回归误差和正则化损失误差；

对于第一类路沿参考点，如果以所述栅格图坐标系中x为自变量的总拟合误差小于以所述栅格图坐标系中z为自变量的总拟合误差，则将所述第一类路沿参考点的回归方向，确定为x方向，并将以x方向回归时的回归参数，确定为所述第一类路沿参考点的回归参数；对于第二类路沿参考点，如果以所述栅格图坐标系中x为自变量的总拟合误差大于或等于以所述栅格图坐标系中z为自变量的总拟合误差，则将所述第二类路沿参考点的回归方向，确定为z方向，并将以z方向回归时的回归参数，确定为所述第二类路沿参考点的回归参数，其中，所述第一类路沿参考点与所述第二类路沿参考点不相同，且均属于所述过滤后的多类路沿参考点。

可选的，所述确定模块820，用于：

根据所述观测栅格坐标集合、所述栅格图坐标系下第二有效区域，确定所述第二有效区域中，各栅格到所述观测栅格坐标集合中每类二值化路沿参考点中各路沿参考点的栅格距离；

根据确定出的栅格距离，确定所述栅格图坐标系下所述第二有效区域的路沿概率图。

可选的，所述确定模块820，用于：

根据所述路沿概率图、前一次拍摄的图像在所述栅格图坐标系下的路沿概率图、所述车辆的绝对速度、所述前一次拍摄的图像和所述目标图像的时间间隔、栅格图坐标系的栅格坐标分辨率和所述第二有效区域，确定所述目标图像的最优路沿概率图；

根据所述雷达点集合和所述最优路沿概率图，确定每个雷达点属于路沿的概率。

本公开实施例中，终端设备可以获取雷达点通过发射信号获取的雷达点集合和摄像机拍摄的目标图像，然后根据雷达点集合，确定俯视图坐标系对应的栅格图坐标系中可行驶区域的坐标集合，然后根据可行驶区域的坐标集合和目标图像，确定雷达点集合中每个雷达点属于路沿的概率，在雷达点集合中，将概率高于第一预设阈值的雷达点标记为路沿。这样，由于使用了拍摄的图像，所以可以降低路沿旁边的目标产生的雷达点被误检测成路沿的概率，进而可以降低辅助车辆行驶出错的概率。

需要说明的是：上述实施例提供的雷达点的标记装置在雷达点的标记时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的雷达点的标记装置与雷达点的标记方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图9示出了本发明一个示例性实施例提供的终端900的结构框图。该终端900可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio LayerIV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端900还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端900包括有：处理器901和存储器902。

处理器901可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器901可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器901可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器901还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器902可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器902中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器901所执行以实现本申请中方法实施例提供的雷达点的标记方法。

在一些实施例中，终端900还可选包括有：外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。具体地，外围设备包括：射频电路904、触摸显示屏905、摄像头906、音频电路907、定位组件908和电源909中的至少一种。

外围设备接口903可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器901和存储器902。在一些实施例中，处理器901、存储器902和外围设备接口903被集成在同一芯片或电路板上；在一些其他实施例中，处理器901、存储器902和外围设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路904用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路904包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路904还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏905用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时，显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时，显示屏905还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏905可以为一个，设置终端900的前面板；在另一些实施例中，显示屏905可以为至少两个，分别设置在终端900的不同表面或呈折叠设计；在再一些实施例中，显示屏905可以是柔性显示屏，设置在终端900的弯曲表面上或折叠面上。甚至，显示屏905还可以设置成非矩形的不规则图形，也即异形屏。显示屏905可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件906用于采集图像或视频。可选地，摄像头组件906包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器901进行处理，或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路907还可以包括耳机插孔。

定位组件908用于定位终端900的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件908可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。

电源909用于为终端900中的各个组件进行供电。电源909可以是交流电、直流电、一次性电池或可充电电池。当电源909包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端900还包括有一个或多个传感器910。该一个或多个传感器910包括但不限于：加速度传感器911、陀螺仪传感器912、压力传感器913、指纹传感器914、光学传感器915以及接近传感器916。

加速度传感器911可以检测以终端900建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器911可以用于检测重力加速度在三个坐标轴上的分量。处理器901可以根据加速度传感器911采集的重力加速度信号，控制触摸显示屏905以横向视图或纵向视图进行用户界面的显示。加速度传感器911还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器912可以检测终端900的机体方向及转动角度，陀螺仪传感器912可以与加速度传感器911协同采集用户对终端900的3D动作。处理器901根据陀螺仪传感器912采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器913可以设置在终端900的侧边框和/或触摸显示屏905的下层。当压力传感器913设置在终端900的侧边框时，可以检测用户对终端900的握持信号，由处理器901根据压力传感器913采集的握持信号进行左右手识别或快捷操作。当压力传感器913设置在触摸显示屏905的下层时，由处理器901根据用户对触摸显示屏905的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器914用于采集用户的指纹，由处理器901根据指纹传感器914采集到的指纹识别用户的身份，或者，由指纹传感器914根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器901授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器914可以被设置终端900的正面、背面或侧面。当终端900上设置有物理按键或厂商Logo时，指纹传感器914可以与物理按键或厂商Logo集成在一起。

光学传感器915用于采集环境光强度。在一个实施例中，处理器901可以根据光学传感器915采集的环境光强度，控制触摸显示屏905的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏905的显示亮度；当环境光强度较低时，调低触摸显示屏905的显示亮度。在另一个实施例中，处理器901还可以根据光学传感器915采集的环境光强度，动态调整摄像头组件906的拍摄参数。

接近传感器916，也称距离传感器，通常设置在终端900的前面板。接近传感器916用于采集用户与终端900的正面之间的距离。在一个实施例中，当接近传感器916检测到用户与终端900的正面之间的距离逐渐变小时，由处理器901控制触摸显示屏905从亮屏状态切换为息屏状态；当接近传感器916检测到用户与终端900的正面之间的距离逐渐变大时，由处理器901控制触摸显示屏905从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图9中示出的结构并不构成对终端900的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

本公开还提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述雷达点的标记方法步骤。

本公开还提供了一种终端设备，包括处理器和存储器，其中，所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序，实现上述雷达点的标记方法步骤。

本公开还提供了一种雷达点的标记系统，所述系统包括终端设备、雷达和摄像机，其中：所述终端设备用于实现上述雷达点的标记方法步骤，所述摄像机用于拍摄图像，所述雷达用于获得雷达点集合。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (25)

1.一种雷达点的标记方法，其特征在于，所述方法包括：

获取雷达点集合和摄像机拍摄的目标图像，其中，所述雷达点集合中包括雷达坐标系对应的俯视图坐标系下雷达点的坐标；

根据所述雷达点集合，确定所述俯视图坐标系对应的栅格图坐标系中可行驶区域的坐标集合，并根据目标图像，确定目标图像中的目标框集合；

根据所述可行驶区域的坐标集合、雷达集合中每个雷达点的绝对速度、目标图像中目标框集合，确定所述栅格图坐标系下路沿的观测栅格坐标集合；根据所述观测栅格坐标集合，确定所述栅格图坐标系下的路沿概率图；根据所述路沿概率图、前一次拍摄的图像在所述栅格图坐标系下的路沿概率图、车辆的绝对速度、前一次拍摄的图像和所述目标图像的时间间隔、栅格图坐标系的栅格坐标分辨率、所述雷达点集合，确定每个雷达点属于路沿的概率；

在所述雷达点集合中，将概率高于第一预设阈值的雷达点标记为路沿。

2.根据权利要求1所述的方法，其特征在于，所述根据所述雷达点集合，确定所述俯视图坐标系对应的栅格图坐标系中可行驶区域的坐标集合，包括：

对所述目标图像进行图像识别，确定所述摄像机对应的图像坐标系下可行驶区域的坐标集合；

根据所述雷达点集合，确定所述图像坐标系下可行驶区域中雷达点的坐标、所述俯视图坐标下第一有效区域、所述栅格图坐标系下第二有效区域，其中，所述第一有效区域用于表示所述车辆前视区域中的感兴趣区域，所述第二有效区域是所述第一有效区域在所述栅格图坐标系中的对应区域；

根据所述第一有效区域、第二有效区域、所述摄像机的内参、所述雷达相对于所述摄像机的外参和所述图像坐标系下可行驶区域的坐标集合，确定所述栅格图坐标系中可行驶区域的坐标集合；

所述确定所述栅格图坐标系下路沿的观测栅格坐标集合，包括：

确定所述栅格图坐标系下所述第二有效区域中路沿的观测栅格坐标集合；

所述根据所述观测栅格坐标集合，确定所述栅格图坐标系下的路沿概率图，包括：

根据所述观测栅格坐标集合，确定所述栅格图坐标系下所述第二有效区域的路沿概率图。

3.根据权利要求2所述的方法，其特征在于，所述根据所述雷达点集合，确定所述图像坐标系下可行驶区域中雷达点的坐标、所述俯视图坐标系下第一有效区域、所述栅格图坐标系下第二有效区域，包括：

确定所述雷达点集合中x方向的最大值和最小值、z方向的最大值和最小值；

根据所述x方向的最大值和最小值、z方向的最大值和最小值，确定所述俯视图坐标系下第一有效区域；

根据所述x方向的最大值和最小值、所述栅格图坐标系中所述x方向的分辨率，确定所述栅格图坐标系下第二有效区域的x方向的最大值与最小值，并根据所述z方向的最大值和最小值、所述栅格图坐标系中所述z方向的分辨率，确定所述栅格图坐标系下第二有效区域的z方向的最大值与最小值。

4.根据权利要求3所述的方法，其特征在于，所述根据所述x方向的最大值和最小值、所述栅格图坐标系中所述x方向的分辨率，确定所述栅格图坐标系下第二有效区域的x方向的最大值与最小值，并根据所述z方向的最大值和最小值、所述栅格图坐标系中所述z方向的分辨率，确定所述栅格图坐标系下第二有效区域的z方向的最大值与最小值，包括：

将所述x方向的最大值和最小值求差值，得到第一差值，将所述第一差值与所述栅格图坐标系中所述x方向的分辨率相除后取整，将取整后的数值减去一，得到所述第二有效区域的x方向的最大值，并将所述z方向的最大值和最小值求差值，得到第二差值，将所述第二差值与所述栅格图坐标系中所述z方向的分辨率相除后取整，将取整后的数值减去一，得到所述第二有效区域的z方向的最大值，其中，所述第二有效区域的x方向的最小值为0、z方向的最小值为0。

5.根据权利要求2所述的方法，其特征在于，所述根据所述第一有效区域、第二有效区域、所述摄像机的内参、所述雷达相对于所述摄像机的外参和所述图像坐标系下可行驶区域的坐标集合，确定所述栅格图坐标系中可行驶区域的坐标集合，包括：

确定在所述栅格图坐标系中所述第二有效区域中各栅格的坐标；

根据所述第一有效区域、所述摄像机的内参、所述雷达相对于所述摄像机的外参，将所述各栅格的坐标转换到所述图像坐标系中；

确定所述各栅格的坐标转换到所述图像坐标系后的坐标中属于所述图像坐标系下可行驶区域的坐标集合中的坐标，得到目标坐标集合；

将所述目标坐标集合中的坐标在所述栅格图坐标系中所对应的坐标，确定为所述栅格图坐标系中可行驶区域的坐标集合。

6.根据权利要求2所述的方法，其特征在于，所述确定所述栅格图坐标系下所述第二有效区域中路沿的观测栅格坐标集合，包括：

根据所述栅格图坐标系中可行驶区域的坐标集合，确定所述栅格图坐标系下路沿参考点集合；

对所述路沿参考点集合中相邻的预设数目个路沿参考点进行聚类处理，得到多类路沿参考点；

根据所述目标框集合，确定所述雷达点集合中，每个雷达点属于目标的概率；

根据所述雷达点集合中每个雷达点的绝对速度、每个雷达点距离每类路沿参考点中各路沿参考点的栅格距离、每个雷达点属于目标的概率，确定每个雷达点属于各类路沿参考点的概率；

根据所述多类路沿参考点、每个雷达点属于各路沿参考点的概率、所述雷达点集合，确定所述栅格图坐标系下所述第二有效区域中路沿的观测栅格坐标集合。

7.根据权利要求6所述的方法，其特征在于，所述对所述路沿参考点集合中相邻的预设数目个路沿参考点进行聚类处理，得到多类路沿参考点，包括：

确定所述路沿参考点集合中相邻的3个路沿参考点构成的3个夹角；

将相邻的3个路沿参考点构成的3个夹角均小于预设角度阈值的一组路沿参考点聚为一类。

8.根据权利要求6所述的方法，其特征在于，所述根据所述多类路沿参考点、每个雷达点属于各路沿参考点的概率、所述雷达点集合，确定所述栅格图坐标系下所述第二有效区域中路沿的观测栅格坐标集合，包括：

根据所述多类路沿参考点、每个雷达点属于各路沿参考点的概率、所述雷达点集合，确定每类路沿参考点的回归方向和回归参数；

根据每类路沿参考点的回归方向和回归参数，对所述多类路沿参考点进行二值化处理，得到所述栅格图坐标系下第二有效区域中路沿的观测栅格坐标集合。

9.根据权利要求8所述的方法，其特征在于，所述根据所述多类路沿参考点、每个雷达点属于各路沿参考点的概率、所述雷达点集合，确定每类路沿参考点的回归方向和回归参数，包括：

对于目标类路沿参考点，将每个雷达点属于所述目标类路沿参考点的概率相加，得到所述目标类路沿参考点的存在概率，其中，所述目标类路沿参考点为所述多类路沿参考点中的任一类路沿参考点；

将存在概率低于第二预设阈值的目标类路沿参考点进行过滤，得到过滤后的多类路沿参考点；

根据所述过滤后的多类路沿参考点、每个雷达点属于所述过滤后的多类路沿参考点中各路沿参考点的概率、所述雷达点集合，确定过滤后的每类路沿参考点的回归方向和回归参数。

10.根据权利要求9所述的方法，其特征在于，所述根据所述过滤后的多类路沿参考点、每个雷达点属于所述过滤后的多类路沿参考点中各路沿参考点的概率、所述雷达点集合，确定过滤后的每类路沿参考点的回归方向和回归参数，包括：

根据所述过滤后的多类路沿参考点、每个雷达点属于所述过滤后的多类路沿参考点中各类路沿参考点的概率、所述雷达点集合，确定过滤后的每类路沿参考点分别在以所述栅格图坐标系中x、z为自变量的总拟合误差，并确定以x方向、z方向回归时的回归参数，其中，所述总拟合误差包括回归误差和正则化损失误差；

对于第一类路沿参考点，如果以所述栅格图坐标系中x为自变量的总拟合误差小于以所述栅格图坐标系中z为自变量的总拟合误差，则将所述第一类路沿参考点的回归方向，确定为x方向，并将以x方向回归时的回归参数，确定为所述第一类路沿参考点的回归参数；对于第二类路沿参考点，如果以所述栅格图坐标系中x为自变量的总拟合误差大于或等于以所述栅格图坐标系中z为自变量的总拟合误差，则将所述第二类路沿参考点的回归方向，确定为z方向，并将以z方向回归时的回归参数，确定为所述第二类路沿参考点的回归参数，其中，所述第一类路沿参考点与所述第二类路沿参考点不相同，且均属于所述过滤后的多类路沿参考点。

11.根据权利要求2所述的方法，其特征在于，所述根据所述观测栅格坐标集合，确定所述栅格图坐标系下所述第二有效区域的路沿概率图，包括：

根据所述观测栅格坐标集合、所述栅格图坐标系下第二有效区域，确定所述第二有效区域中，各栅格到所述观测栅格坐标集合中每类二值化路沿参考点中各路沿参考点的栅格距离；

根据确定出的栅格距离，确定所述栅格图坐标系下所述第二有效区域的路沿概率图。

12.根据权利要求2至6、8、10至11任一所述的方法，其特征在于，所述根据所述路沿概率图、前一次拍摄的图像在所述栅格图坐标系下的路沿概率图、所述车辆的绝对速度、所述前一次拍摄的图像和所述目标图像的时间间隔、所述栅格图坐标系的栅格坐标分辨率、所述雷达点集合，确定每个雷达点属于路沿的概率，包括：

根据所述路沿概率图、前一次拍摄的图像在所述栅格图坐标系下的路沿概率图、所述车辆的绝对速度、所述前一次拍摄的图像和所述目标图像的时间间隔、栅格图坐标系的栅格坐标分辨率和所述第二有效区域，确定所述目标图像的最优路沿概率图；

根据所述雷达点集合和所述最优路沿概率图，确定每个雷达点属于路沿的概率。

13.一种雷达点的标记装置，其特征在于，所述装置包括：

获取模块，用于获取雷达点集合和摄像机拍摄的目标图像，其中，所述雷达点集合中包括雷达坐标系对应的俯视图坐标系下雷达点的坐标；

确定模块，用于：

根据所述雷达点集合，确定所述俯视图坐标系对应的栅格图坐标系中可行驶区域的坐标集合，并根据目标图像，确定目标图像中的目标框集合；

根据所述可行驶区域的坐标集合、雷达集合中每个雷达点的绝对速度、目标图像中目标框集合，确定所述栅格图坐标系下路沿的观测栅格坐标集合；根据所述观测栅格坐标集合，确定所述栅格图坐标系下的路沿概率图；根据所述路沿概率图、前一次拍摄的图像在所述栅格图坐标系下的路沿概率图、车辆的绝对速度、前一次拍摄的图像和所述目标图像的时间间隔、栅格图坐标系的栅格坐标分辨率、所述雷达点集合，确定每个雷达点属于路沿的概率；

在所述雷达点集合中，将概率高于第一预设阈值的雷达点标记为路沿。

14.根据权利要求13所述的装置，其特征在于，所述确定模块，用于：

对所述目标图像进行图像识别，确定所述摄像机对应的图像坐标系下可行驶区域的坐标集合；

根据所述雷达点集合，确定所述图像坐标系下可行驶区域中雷达点的坐标、所述俯视图坐标下第一有效区域、所述栅格图坐标系下第二有效区域，其中，所述第一有效区域用于表示所述车辆前视区域中的感兴趣区域，所述第二有效区域是所述第一有效区域在所述栅格图坐标系中的对应区域；

根据所述第一有效区域、第二有效区域、所述摄像机的内参、所述雷达相对于所述摄像机的外参和所述图像坐标系下可行驶区域的坐标集合，确定所述栅格图坐标系中可行驶区域的坐标集合；

所述确定模块，用于：

确定所述栅格图坐标系下所述第二有效区域中路沿的观测栅格坐标集合；

所述确定模块，用于：

根据所述观测栅格坐标集合，确定所述栅格图坐标系下所述第二有效区域的路沿概率图。

15.根据权利要求14所述的装置，其特征在于，所述确定模块，用于：

确定所述雷达点集合中x方向的最大值和最小值、z方向的最大值和最小值；

根据所述x方向的最大值和最小值、z方向的最大值和最小值，确定所述俯视图坐标系下第一有效区域；

根据所述x方向的最大值和最小值、所述栅格图坐标系中所述x方向的分辨率，确定所述栅格图坐标系下第二有效区域的x方向的最大值与最小值，并根据所述z方向的最大值和最小值、所述栅格图坐标系中所述z方向的分辨率，确定所述栅格图坐标系下第二有效区域的z方向的最大值与最小值。

16.根据权利要求15所述的装置，其特征在于，所述确定模块，用于：

将所述x方向的最大值和最小值求差值，得到第一差值，将所述第一差值与所述栅格图坐标系中所述x方向的分辨率相除后取整，将取整后的数值减去一，得到所述第二有效区域的x方向的最大值，并将所述z方向的最大值和最小值求差值，得到第二差值，将所述第二差值与所述栅格图坐标系中所述z方向的分辨率相除后取整，将取整后的数值减去一，得到所述第二有效区域的z方向的最大值，其中，所述第二有效区域的x方向的最小值为0、z方向的最小值为0。

17.根据权利要求14所述的装置，其特征在于，所述确定模块，用于：

确定在所述栅格图坐标系中所述第二有效区域中各栅格的坐标；

根据所述第一有效区域、所述摄像机的内参、所述雷达相对于所述摄像机的外参，将所述各栅格的坐标转换到所述图像坐标系中；

确定所述各栅格的坐标转换到所述图像坐标系后的坐标中属于所述图像坐标系下可行驶区域的坐标集合中的坐标，得到目标坐标集合；

将所述目标坐标集合中的坐标在所述栅格图坐标系中所对应的坐标，确定为所述栅格图坐标系中可行驶区域的坐标集合。

18.根据权利要求14所述的装置，其特征在于，所述确定模块，用于：

根据所述栅格图坐标系中可行驶区域的坐标集合，确定所述栅格图坐标系下路沿参考点集合；

对所述路沿参考点集合中相邻的预设数目个路沿参考点进行聚类处理，得到多类路沿参考点；

根据所述目标框集合，确定所述雷达点集合中，每个雷达点属于目标的概率；

根据所述雷达点集合中每个雷达点的绝对速度、每个雷达点距离每类路沿参考点中各路沿参考点的栅格距离、每个雷达点属于目标的概率，确定每个雷达点属于各类路沿参考点的概率；

根据所述多类路沿参考点、每个雷达点属于各路沿参考点的概率、所述雷达点集合，确定所述栅格图坐标系下所述第二有效区域中路沿的观测栅格坐标集合。

19.根据权利要求18所述的装置，其特征在于，所述确定模块，用于：

确定所述路沿参考点集合中相邻的3个路沿参考点构成的3个夹角；

将相邻的3个路沿参考点构成的3个夹角均小于预设角度阈值的一组路沿参考点聚为一类。

20.根据权利要求18所述的装置，其特征在于，所述确定模块，用于：

根据所述多类路沿参考点、每个雷达点属于各路沿参考点的概率、所述雷达点集合，确定每类路沿参考点的回归方向和回归参数；

根据每类路沿参考点的回归方向和回归参数，对所述多类路沿参考点进行二值化处理，得到所述栅格图坐标系下第二有效区域中路沿的观测栅格坐标集合。

21.根据权利要求20所述的装置，其特征在于，所述确定模块，用于：

对于目标类路沿参考点，将每个雷达点属于所述目标类路沿参考点的概率相加，得到所述目标类路沿参考点的存在概率，其中，所述目标类路沿参考点为所述多类路沿参考点中的任一类路沿参考点；

将存在概率低于第二预设阈值的目标类路沿参考点进行过滤，得到过滤后的多类路沿参考点；

根据所述过滤后的多类路沿参考点、每个雷达点属于所述过滤后的多类路沿参考点中各路沿参考点的概率、所述雷达点集合，确定过滤后的每类路沿参考点的回归方向和回归参数。

22.根据权利要求21所述的装置，其特征在于，所述确定模块，用于：

根据所述过滤后的多类路沿参考点、每个雷达点属于所述过滤后的多类路沿参考点中各类路沿参考点的概率、所述雷达点集合，确定过滤后的每类路沿参考点分别在以所述栅格图坐标系中x、z为自变量的总拟合误差，并确定以x方向、z方向回归时的回归参数，其中，所述总拟合误差包括回归误差和正则化损失误差；

对于第一类路沿参考点，如果以所述栅格图坐标系中x为自变量的总拟合误差小于以所述栅格图坐标系中z为自变量的总拟合误差，则将所述第一类路沿参考点的回归方向，确定为x方向，并将以x方向回归时的回归参数，确定为所述第一类路沿参考点的回归参数；对于第二类路沿参考点，如果以所述栅格图坐标系中x为自变量的总拟合误差大于或等于以所述栅格图坐标系中z为自变量的总拟合误差，则将所述第二类路沿参考点的回归方向，确定为z方向，并将以z方向回归时的回归参数，确定为所述第二类路沿参考点的回归参数，其中，所述第一类路沿参考点与所述第二类路沿参考点不相同，且均属于所述过滤后的多类路沿参考点。

23.根据权利要求14所述的装置，其特征在于，所述确定模块，用于：

根据所述观测栅格坐标集合、所述栅格图坐标系下第二有效区域，确定所述第二有效区域中，各栅格到所述观测栅格坐标集合中每类二值化路沿参考点中各路沿参考点的栅格距离；

根据确定出的栅格距离，确定所述栅格图坐标系下所述第二有效区域的路沿概率图。

24.根据权利要求14至18、20、22至23任一所述的装置，其特征在于，所述确定模块，用于：

根据所述路沿概率图、前一次拍摄的图像在所述栅格图坐标系下的路沿概率图、所述车辆的绝对速度、所述前一次拍摄的图像和所述目标图像的时间间隔、栅格图坐标系的栅格坐标分辨率和所述第二有效区域，确定所述目标图像的最优路沿概率图；

根据所述雷达点集合和所述最优路沿概率图，确定每个雷达点属于路沿的概率。

25.一种雷达点的标记系统，其特征在于，所述系统包括终端设备、雷达和摄像机，其中：

所述终端设备用于执行上述权利要求1至12任一所述的雷达点的标记方法；

所述摄像机用于拍摄图像；

所述雷达用于获得雷达点集合。

Images