CN116229426B - 基于全景环视图像的无人驾驶泊车停车位检测方法 - Google Patents

Abstract

本发明提供一种基于全景环视图像的无人驾驶泊车停车位检测方法，本发明采用拉普拉斯的图像融合方法对全景环视图的拼接进行处理，能够有效对图像进行融合，根据图像评价系数，采用调整函数实现保证拼接质量的同时降低算法复杂度，且本发明生成的全景环视图拼接处过渡更加自然，环视图像显示更加完整美观，本发明提供的停车位检测方法，与传统的机器视觉检测技术相比，本发明采用基于深度学习的目标检测技术对停车位线进行检测，具有更高的检测精度和更强的鲁棒性，采用了较为轻量化的网络设计，保证了检测算法的实时性。

Description

基于全景环视图像的无人驾驶泊车停车位检测方法

技术领域

本发明涉及智能汽车技术领域，特别是涉及一种基于全景环视图像的无人驾驶泊车停车位检测方法。

背景技术

随着汽车技术的发展，越来越多的智能汽车搭载了高级驾驶辅助系统，感知技术作为辅助驾驶的核心技术之一，如今更是成为了智能汽车从辅助驾驶过渡为无人驾驶的重要渠道。

目前，随着城市车辆的保有量逐渐增多，这给城市交通带来了挑战。城市停车位难以跟上汽车增长的步伐，城市交通情况越发恶劣和复杂，加剧了停车位资源的紧张态势。停车位检测技术是无人驾驶泊车环境感知系统中的一个关键技术，停车位检测的效果很大程度上影响整个泊车过程的安全性和稳定性。通过停车位检测技术，无人驾驶汽车可以根据地面的停车位标识线实时获取周围停车位的信息并准确地判断停车位是否有效。

现有技术主要通过一定数量的摄像头获取车辆周围环境的信息，并基于机器视觉检测技术获取停车位信息，然而融合多摄像头的方法增加了成本，且现有技术无法有效的对图像进行融合，算法的检测精度也较差。

发明内容

本发明的目的在于提供一种基于全景环视图像的无人驾驶泊车停车位检测方法，以解决现有技术成本高、未有效对图像进行融合、检测精度差的技术问题。

一种基于全景环视图像的无人驾驶泊车停车位检测方法，包括以下步骤：

步骤1，通过设置在汽车上的前视摄像头、后视摄像头、左视摄像头和右视摄像头分别获取汽车周围环境的前视摄像头原始图像、后视摄像头原始图像、左视摄像头原始图像和右视摄像头原始图像；

步骤2，将前视摄像头原始图像、后视摄像头原始图像、左视摄像头原始图像和右视摄像头原始图像分别进行去畸变处理和透视变换处理，得到为前视图、后视图、左视图、右视图；

步骤3，采用RANSAC算法对前视图、后视图、左视图、右视图进行特征点的提取，确定待拼接融合的区域；

步骤4，通过拉普拉斯融合算法对待拼接融合的区域进行融合，得到全景环视图，且在融合过程中，根据图像质量评价函数，调整拉普拉斯融合算法的层数；

步骤5，将全景环视图输入至训练好的基于深度学习的停车位检测模型中，获得停车位属性结果以及停车位标识点结果，所述停车位检测模型采用Rep-VGG网络作为网络主干，网络主干输出后经过Sim-CSPSPPF模块以及若干个残差卷积模块后，主干网络的分支也将经过若干个残差卷积模块，最后在不同分辨率的特征图上输出不同的停车位结果，其中，分辨率较低的特征图上预测停车位属性结果，在分辨率较高的特征图上预测停车位标识点结果。

根据本发明提供的基于全景环视图像的无人驾驶泊车停车位检测方法，具有以下有益效果：

（1）本发明提供的停车位检测方法，仅需使用四个摄像头完成图像采集、拼接等任务，成本更低廉；

（2）本发明采用拉普拉斯的图像融合方法对全景环视图的拼接进行处理，能够有效对图像进行融合，根据图像评价系数，采用调整函数实现保证拼接质量的同时降低算法复杂度，且本发明生成的全景环视图拼接处过渡更加自然，环视图像显示更加完整美观；

（3）本发明提供的停车位检测方法，与传统的机器视觉检测技术相比，本发明采用基于深度学习的目标检测技术对停车位线进行检测，具有更高的检测精度和更强的鲁棒性，采用了较为轻量化的网络设计，保证了检测算法的实时性；

（4）本发明提供的停车位检测方法不依赖于目标停车位附近的车辆的相对空间位置，只需泊车区域的地面上存在符合停车标准的停车标识线即可完成停车位检测任务；

（5）本发明提供的停车位检测方法适用于多种停车环境，可以检测垂直、平行、倾斜停车位情况并且可以获取停车位是否被占用的信息。

附图说明

图1为本发明实施例的基于全景环视图像的无人驾驶泊车停车位检测方法的流程图；

图2为摄像头的安装位置示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明的实施例提供的基于全景环视图像的无人驾驶泊车停车位检测方法，包括以下步骤：

步骤1，通过设置在汽车上的前视摄像头、后视摄像头、左视摄像头和右视摄像头分别获取汽车周围环境的前视摄像头原始图像、后视摄像头原始图像、左视摄像头原始图像和右视摄像头原始图像。

本实施例中，前视摄像头、后视摄像头、左视摄像头和右视摄像头的安装位置如图2所示，这个4个摄像头均为鱼眼摄像头，视角为190°，使得感知范围能够完全覆盖车辆周围环境。

步骤2，将前视摄像头原始图像、后视摄像头原始图像、左视摄像头原始图像和右视摄像头原始图像分别进行去畸变处理和透视变换处理，得到为前视图、后视图、左视图、右视图。

在本实施例中，只考虑鱼眼摄像头的径向畸变和切向畸变。

步骤2具体包括：

S201，通过下式将世界坐标系中的物理坐标转换为像素坐标系中的像素坐标：

其中，Z为尺度因子，为畸变矩阵，/>为旋转矩阵，/>为平移矢量，/>为内参矩阵，/>，/>为外参矩阵，/>，（U,V,W）为世界坐标系下目标点的物理坐标，（u,v）为该目标点对应在理想无畸变的像素坐标系下的像素坐标，/>、/>分别为x轴和y轴上归一化焦距，且/>，/>，f表示摄像头的焦距，/>、/>为像元单元，为图像原点；

S202，将世界坐标系固定于棋盘格上，则棋盘格上任一点的物理坐标W=0，通过标定获取若干个（u,v）、（U,V）从而获取内参矩阵的参数；

S203，基于径向畸变公式、切向畸变公式，得到理想的图像坐标和像素坐标的转换关系的矩阵形式：

径向畸变公式为：

切向畸变公式为：

其中，、/>为畸变矩阵中间值，（x,y）、/>分别是理想无畸变的归一化图像坐标、畸变后的归一化图像坐标；r为图像像素点到图像中心点的距离，/>；、/>、/>、/>、/>为畸变参数，(u，v)，/>分别为理想的无畸变的像素坐标、畸变后的像素坐标，理想的图像坐标和像素坐标的转换关系为：/>，；

S204，通过多张离线标定图获取畸变参数确定、/>，从而确定畸变矩阵/>，根据畸变矩阵/>对前视摄像头原始图像、后视摄像头原始图像、左视摄像头原始图像和右视摄像头原始图像分别进行去畸变处理，得到去畸变后的前视摄像头原始图像、去畸变后的后视摄像头原始图像、去畸变后的左视摄像头原始图像和去畸变后的右视摄像头原始图像；

S205，根据外参标定获得的外参矩阵，将去畸变后的前视摄像头原始图像、去畸变后的后视摄像头原始图像、去畸变后的左视摄像头原始图像和去畸变后的右视摄像头原始图像分别进行透视变换处理，得到前视图、后视图、左视图、右视图。

如图2所述，分别得到前视图A、右视图B、后视图C、左视图D。

步骤3，采用RANSAC算法对前视图、后视图、左视图、右视图进行特征点的提取，确定待拼接融合的区域。

其中，如图2所示，对需要进行图像配准的区域采用基于特征的图像拼接方法，采用RANSAC算法进行特征点的提取，确定需要进行拼接融合的区域A-B、B-A、B-C、C-B、C-D、D-C、D-A、A-D。

步骤4，通过拉普拉斯融合算法对待拼接融合的区域进行融合，得到全景环视图，且在融合过程中，根据图像质量评价函数，调整拉普拉斯融合算法的层数。

其中，步骤4中，通过拉普拉斯融合算法对待拼接融合的区域进行融合具体包括：

S401a，对于待拼接融合的两张图像中的一张图像P1，先进行高斯平滑及下采样，再进行高斯平滑及上采样，循环N次，得到图像P1的N+1层高斯金字塔，在进行第i次高斯平滑及下采样时得到与第i层的第一中间图像，在进行第i次高斯平滑及上采样时得到与第i层的第二中间图像/>，i≤N，图像P1的N+1层高斯金字塔由N个第二中间图像/>和图像P1组成；

S402a，采用下式构建拉普拉斯金字塔：

其中，表示图像P1的第i层的拉普拉斯残差图像，UP为上采样操作，N个拉普拉斯残差图像/>构成N层的拉普拉斯金字塔，通过对第N层的拉普拉斯残差图像进行高斯下采样，获得图像P1的第三中间图像/>；

S403a，按照步骤S401a~S402a的方式，对待拼接融合的两张图像中的另一张图像P2进行相应处理，得到图像P2的第i层的拉普拉斯残差图像，从而分别获得包含图像P1的第三中间图像/>的N+1层的P1图像拉普拉斯金字塔以及包含图像P2的第三中间图像/>的N+1层的P2图像拉普拉斯金字塔；

S404a，设定二值掩膜值mask矩阵，mask矩阵表示图像P1、图像P2的所需各自融合的权重比例，对mask矩阵进行N次下采样，得到下采样后的矩阵，从而构建得到mask矩阵的N+1层高斯金字塔，根据mask矩阵的N+1层高斯金字塔，将/>与进行图像mask融合得到/>，/>表示第i层图像mask融合图像，其表达式为：

其中，为图像层融合操作符；

S405a，采用下式对重新构建，得到第i层重构融合效果图像：

其中，UP为上采样操作，表示第i+1层图像mask融合图像，表示第i-1层重构融合效果图像，/>为图像层融合操作符；

S406a，从i=0开始，重复S405a，直至i=N时，构建出第N层重构融合效果图像，将/>作为图像融合的最终结果。

其中，步骤4中，根据图像质量评价函数，调整拉普拉斯融合算法的层数具体包括：

S401b，对图像融合的区域进行图像拼接质量评价，采用SSIM评价方法从亮度、对比度和结构相似度3个方面对图像质量进行评价，SSIM评价函数的表达式为：

其中，为评价系数，/> ，分别表示亮度相似度、对比度相似度、结构相似度，/>、/>分别表示原始图像和待评价图像，/>、/>、/>分别为亮度相似度、对比度相似度、结构相似度对评分的权重贡献值；/>和/>分别为原始图像和待评价图像的平均强度，/>和/>分别表示原始图像和待评价图像的像素标准差，/>表示原始图像和待评价图像之间的互相关系数，/>、/>、/>为初设常量；

S402b，基于评价系数，根据调整函数，调整拉普拉斯融合算法的层数N，调整函数/>的表达式为：

其中，为常数，S为可调参数，/>。

分别将待融合区域A-B与B-A、B-C与C-B、C-D与D-C、D-A与A-D作为拉普拉斯算法的P1图像与P2图像输入，进行上述操作，即可获得左上、右上、右下、左下，四个平滑的融合图像，将其与其他不需要融合的区域进行拼接即可获得完整的平滑清晰的全景环视图。

步骤5，将全景环视图输入至训练好的基于深度学习的停车位检测模型中，获得停车位属性结果以及停车位标识点结果，所述停车位检测模型采用Rep-VGG网络作为网络主干，网络主干输出后经过Sim-CSPSPPF模块以及若干个残差卷积模块后，主干网络的分支也将经过若干个残差卷积模块，最后在不同分辨率的特征图上输出不同的停车位结果，其中，分辨率较低的特征图上预测停车位属性结果，在分辨率较高的特征图上预测停车位标识点结果。

其中，步骤5具体包括：

S501，设计基于深度学习的停车位检测模型的总损失函数Loss的表达式为：

其中，为停车位损失函数/>的权重超参数，/>为停车标识点的损失函数/>的权重超参数，在分辨率较低的特征图上，设计停车位损失函数/>，在分辨率较高的特征图上，设计停车标识点的损失函数/>。

S502，将初始的学习率设定为0.001，选用AdamW作为梯度下降的优化器，batch的大小设置为32，迭代次数初始设定为200，当总损失函数Loss的值收敛，获得训练好的基于深度学习的停车位检测模型；

S503，将全景环视图输入至训练好的基于深度学习的停车位检测模型中，获得停车位入口线的两个停车位标识点的信息，将停车位属性结果以及停车位标识点结果相结合获得目标停车位入口线的两个标识点的坐标信息M1和M2，通过停车位标识点推导表达式获得未出现在全景环视图中的目标停车位的其余两个标识点的坐标信息M3和M4，停车位标识点推导表达式为：

其中，表示全景环视图中第n个停车位的角度，/>表示全景环视图中第n个停车位的深度。

停车位损失函数的表达式为：

其中，表示停车位类别损失函数/>的权重超参数，/>表示停车位占用损失函数/>对应的权重超参数，/>表示停车位置信度损失函数/>对应的权重超参数；

停车位类别损失函数的表达式为：

其中，w1表示分辨率较低的特征图的宽，h1为分辨率较低的特征图的高，表示第g个格子的中心是否属于停车位的区域，/>=1表示第g个格子的中心属于停车位的区域，=0表示第g个格子的中心不属于停车位的区域；/>表示预测的停车位属于第t种停车位的概率；/>表示预测的停车位属于第t种停车位类别的真实值，/>=(0，0，1)表示垂直停车位，/>=(0，1，0)表示平行停车位，/>=(1，0，0)表示倾斜停车位，/>为中间函数；

停车位占用损失函数的表达式为：

其中，为平衡有效停车位和无效停车位的权重值，/>表示第g个格子是否属于有效停车位的区域，/>=1表示第g个格子的中心点位于有效停车位区域内，/>=0表示第g个格子的中心点位于非有效停车位区域内；/>表示第g个格子是否属于无效停车位的区域，/>=1表示第g个格子的中心点位于无效停车位区域内，/>=0表示第g个格子的中心点位于非无效停车位区域；/>表示第g个格子上预测停车位是否有效的概率，/>表示第g个格子上预测停车位是否有效的真实值，/>=0表示为有效停车位，/>=1表示为无效停车位；

停车位置信度损失函数的表达式为：

其中，表示第g个格子是否属于停车位的区域，/>=1表示第g个格子的中心属于停车位的区域，/>=0表示第g个格子的中心不属于停车位的区域；/>表示第g个格子属于停车位的概率预测值；/>表示第g个格子属于停车位的真实值；/>为平衡停车位区域与非停车位区域的权重值。

停车标识点的损失函数的表达式为：

其中，表示停车位标识点坐标的损失函数/>对应的权重超参数，/>表示停车位标识点角度朝向的损失函数/>对应的权重超参数；

停车位标识点坐标的损失函数的表达式为：

其中，w2表示分辨率较高的特征图的宽，h2为分辨率较高的特征图的高，表示第g个格子是否包含停车位标识点，/>=1表示第g个格子包含停车位标识点，/>=0表示第g个格子不包含停车位标识点；/>表示第g个格子上对停车位标识点x坐标方向的预测值，/>表示第g个格子上停车位标识点x坐标方向的真实值；/>表示第g个格子上对停车位标识点y坐标方向的预测值，/>表示第g个格子上停车位标识点y坐标方向的真实值；

停车位标识点角度朝向的损失函数的表达式为：

其中，表示第g个格子上预测停车位标识点角度朝向的cos值，/>表示第g个格子上停车位标识点角度朝向cos值的真实值；/>表示第g个格子上预测停车位标识点角度朝向的sin值，/>表示第g个格子上停车位标识点角度朝向sin值的真实值。

最终结合全景环视图中停车位四个标识点的信息以及停车位属性信息即可实时获得车辆周围停车位的所有详细信息，将停车位的详细信息传输给下一级自动驾驶路径规划、决策控制模块，即可实现自动泊车功能。

综上，根据本实施例提供的基于全景环视图像的无人驾驶泊车停车位检测方法，具有以下有益效果：

（1）本发明提供的停车位检测方法，仅需使用四个摄像头完成图像采集、拼接等任务，成本更低廉；

（2）本发明采用拉普拉斯的图像融合方法对全景环视图的拼接进行处理，能够有效对图像进行融合，根据图像评价系数，采用调整函数实现保证拼接质量的同时降低算法复杂度，且本发明生成的全景环视图拼接处过渡更加自然，环视图像显示更加完整美观；

（3）本发明提供的停车位检测方法，与传统的机器视觉检测技术相比，本发明采用基于深度学习的目标检测技术对停车位线进行检测，具有更高的检测精度和更强的鲁棒性，采用了较为轻量化的网络设计，保证了检测算法的实时性；

（4）本发明提供的停车位检测方法不依赖于目标停车位附近的车辆的相对空间位置，只需泊车区域的地面上存在符合停车标准的停车标识线即可完成停车位检测任务；

（5）本发明提供的停车位检测方法适用于多种停车环境，可以检测垂直、平行、倾斜停车位情况并且可以获取停车位是否被占用的信息。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (5)

1.一种基于全景环视图像的无人驾驶泊车停车位检测方法，其特征在于，包括以下步骤：

步骤1，通过设置在汽车上的前视摄像头、后视摄像头、左视摄像头和右视摄像头分别获取汽车周围环境的前视摄像头原始图像、后视摄像头原始图像、左视摄像头原始图像和右视摄像头原始图像；

步骤2，将前视摄像头原始图像、后视摄像头原始图像、左视摄像头原始图像和右视摄像头原始图像分别进行去畸变处理和透视变换处理，得到为前视图、后视图、左视图、右视图；

步骤3，采用RANSAC算法对前视图、后视图、左视图、右视图进行特征点的提取，确定待拼接融合的区域；

步骤4，通过拉普拉斯融合算法对待拼接融合的区域进行融合，得到全景环视图，且在融合过程中，根据图像质量评价函数，调整拉普拉斯融合算法的层数；

步骤5，将全景环视图输入至训练好的基于深度学习的停车位检测模型中，获得停车位属性结果以及停车位标识点结果，所述停车位检测模型采用Rep-VGG网络作为网络主干，网络主干输出后经过Sim-CSPSPPF模块以及若干个残差卷积模块后，主干网络的分支也将经过若干个残差卷积模块，最后在不同分辨率的特征图上输出不同的停车位结果，其中，分辨率较低的特征图上预测停车位属性结果，在分辨率较高的特征图上预测停车位标识点结果；

其中，步骤4中，通过拉普拉斯融合算法对待拼接融合的区域进行融合具体包括：

S401a，对于待拼接融合的两张图像中的一张图像P1，先进行高斯平滑及下采样，再进行高斯平滑及上采样，循环N次，得到图像P1的N+1层高斯金字塔，在进行第i次高斯平滑及下采样时得到与第i层的第一中间图像，在进行第i次高斯平滑及上采样时得到与第i层的第二中间图像/>，i≤N，图像P1的N+1层高斯金字塔由N个第二中间图像和图像P1组成；

S402a，采用下式构建拉普拉斯金字塔：

其中，表示图像P1的第i层的拉普拉斯残差图像，UP为上采样操作，N个拉普拉斯残差图像/>构成N层的拉普拉斯金字塔，通过对第N层的拉普拉斯残差图像/>进行高斯下采样，获得图像P1的第三中间图像/>；

S403a，按照步骤S401a~S402a的方式，对待拼接融合的两张图像中的另一张图像P2进行相应处理，得到图像P2的第i层的拉普拉斯残差图像，从而分别获得包含图像P1的第三中间图像/>的N+1层的P1图像拉普拉斯金字塔以及包含图像P2的第三中间图像的N+1层的P2图像拉普拉斯金字塔；

S404a，设定二值掩膜值mask矩阵，mask矩阵表示图像P1、图像P2的所需各自融合的权重比例，对mask矩阵进行N次下采样，得到下采样后的矩阵，从而构建得到mask矩阵的N+1层高斯金字塔，根据mask矩阵的N+1层高斯金字塔，将/>与/>进行图像mask融合得到/>，/>表示第i层图像mask融合图像，其表达式为：

其中，为图像层融合操作符；

S405a，采用下式对重新构建，得到第i层重构融合效果图像/>：

其中，UP为上采样操作，表示第i+1层图像mask融合图像，/>表示第i-1层重构融合效果图像，/>为图像层融合操作符；

S406a，从i=0开始，重复S405a，直至i=N时，构建出第N层重构融合效果图像，将/>作为图像融合的最终结果；

其中，步骤4中，根据图像质量评价函数，调整拉普拉斯融合算法的层数具体包括：

S401b，对图像融合的区域进行图像拼接质量评价，采用SSIM评价方法从亮度、对比度和结构相似度3个方面对图像质量进行评价，SSIM评价函数的表达式为：

其中，为评价系数，/> ，分别表示亮度相似度、对比度相似度、结构相似度，/>、/>分别表示原始图像和待评价图像，/>、/>、/>分别为亮度相似度、对比度相似度、结构相似度对评分的权重贡献值；/>和/>分别为原始图像和待评价图像的平均强度，/>和/>分别表示原始图像和待评价图像的像素标准差，/>表示原始图像和待评价图像之间的互相关系数，/>、/>、/>为初设常量；

S402b，基于评价系数，根据调整函数，调整拉普拉斯融合算法的层数N，调整函数/>的表达式为：

其中，为常数，S为可调参数，/>；

将待融合区域作为拉普拉斯算法的P1图像与P2图像输入，进行上述操作，即可获得左上、右上、右下、左下，四个平滑的融合图像，将其与其他不需要融合的区域进行拼接即可获得完整的全景环视图。

2.根据权利要求1所述的基于全景环视图像的无人驾驶泊车停车位检测方法，其特征在于，步骤2具体包括：

S201，通过下式将世界坐标系中的物理坐标转换为像素坐标系中的像素坐标：

其中，Z为尺度因子，为畸变矩阵，/>为旋转矩阵，/>为平移矢量，/>为内参矩阵，，/>为外参矩阵，/>，（U,V,W）为世界坐标系下目标点的物理坐标，（u,v）为该目标点对应在理想无畸变的像素坐标系下的像素坐标，/>、/>分别为x轴和y轴上归一化焦距，且/>，/>，f表示摄像头的焦距，/>、/>为像元单元，为图像原点；

S202，将世界坐标系固定于棋盘格上，则棋盘格上任一点的物理坐标W=0，通过标定获取若干个（u,v）、（U,V）从而获取内参矩阵的参数；

S203，基于径向畸变公式、切向畸变公式，得到理想的图像坐标和像素坐标的转换关系的矩阵形式：

径向畸变公式为：

切向畸变公式为：

其中，、/>为畸变矩阵中间值，（x,y）、/>分别是理想无畸变的归一化图像坐标、畸变后的归一化图像坐标；r为图像像素点到图像中心点的距离，/>；/>、/>、、/>、/>为畸变参数，(u，v)，/>分别为理想的无畸变的像素坐标、畸变后的像素坐标，理想的图像坐标和像素坐标的转换关系为：/>，/>；

S204，通过多张离线标定图获取畸变参数确定、/>，从而确定畸变矩阵/>，根据畸变矩阵/>对前视摄像头原始图像、后视摄像头原始图像、左视摄像头原始图像和右视摄像头原始图像分别进行去畸变处理，得到去畸变后的前视摄像头原始图像、去畸变后的后视摄像头原始图像、去畸变后的左视摄像头原始图像和去畸变后的右视摄像头原始图像；

S205，根据外参标定获得的外参矩阵，将去畸变后的前视摄像头原始图像、去畸变后的后视摄像头原始图像、去畸变后的左视摄像头原始图像和去畸变后的右视摄像头原始图像分别进行透视变换处理，得到前视图、后视图、左视图、右视图。

3.根据权利要求1所述的基于全景环视图像的无人驾驶泊车停车位检测方法，其特征在于，步骤5具体包括：

S501，设计基于深度学习的停车位检测模型的总损失函数Loss的表达式为：

其中，为停车位损失函数/>的权重超参数，/>为停车标识点的损失函数的权重超参数，在分辨率较低的特征图上，设计停车位损失函数/>，在分辨率较高的特征图上，设计停车标识点的损失函数/>；

S502，将初始的学习率设定为0.001，选用AdamW作为梯度下降的优化器，batch的大小设置为32，迭代次数初始设定为200，当总损失函数Loss的值收敛，获得训练好的基于深度学习的停车位检测模型；

S503，将全景环视图输入至训练好的基于深度学习的停车位检测模型中，获得停车位入口线的两个停车位标识点的信息，将停车位属性结果以及停车位标识点结果相结合获得目标停车位入口线的两个标识点的坐标信息M1和M2，通过停车位标识点推导表达式获得未出现在全景环视图中的目标停车位的其余两个标识点的坐标信息M3和M4，停车位标识点推导表达式为：

其中，表示全景环视图中第n个停车位的角度，/>表示全景环视图中第n个停车位的深度。

4.根据权利要求3所述的基于全景环视图像的无人驾驶泊车停车位检测方法，其特征在于，停车位损失函数的表达式为：

其中，表示停车位类别损失函数/>的权重超参数，/>表示停车位占用损失函数对应的权重超参数，/>表示停车位置信度损失函数/>对应的权重超参数；

停车位类别损失函数的表达式为：

其中，w1表示分辨率较低的特征图的宽，h1为分辨率较低的特征图的高，表示第g个格子的中心是否属于停车位的区域，/>=1表示第g个格子的中心属于停车位的区域，/>=0表示第g个格子的中心不属于停车位的区域；/>表示预测的停车位属于第t种停车位的概率；/>表示预测的停车位属于第t种停车位类别的真实值，/>=(0，0，1)表示垂直停车位，/>=(0，1，0)表示平行停车位，/>=(1，0，0)表示倾斜停车位，/>为中间函数；

停车位占用损失函数的表达式为：

其中，为平衡有效停车位和无效停车位的权重值，/>表示第g个格子是否属于有效停车位的区域，/>=1表示第g个格子的中心点位于有效停车位区域内，/>=0表示第g个格子的中心点位于非有效停车位区域内；/>表示第g个格子是否属于无效停车位的区域，=1表示第g个格子的中心点位于无效停车位区域内，/>=0表示第g个格子的中心点位于非无效停车位区域；/>表示第g个格子上预测停车位是否有效的概率，/>表示第g个格子上预测停车位是否有效的真实值，/>=0表示为有效停车位，/>=1表示为无效停车位；

停车位置信度损失函数的表达式为：

其中，表示第g个格子是否属于停车位的区域，/>=1表示第g个格子的中心属于停车位的区域，/>=0表示第g个格子的中心不属于停车位的区域；/>表示第g个格子属于停车位的概率预测值；/>表示第g个格子属于停车位的真实值；/>为平衡停车位区域与非停车位区域的权重值。

5.根据权利要求3所述的基于全景环视图像的无人驾驶泊车停车位检测方法，其特征在于，停车标识点的损失函数的表达式为：

其中，表示停车位标识点坐标的损失函数/>对应的权重超参数，/>表示停车位标识点角度朝向的损失函数/>对应的权重超参数；

停车位标识点坐标的损失函数的表达式为：

其中，w2表示分辨率较高的特征图的宽，h2为分辨率较高的特征图的高，表示第g个格子是否包含停车位标识点，/>=1表示第g个格子包含停车位标识点，/>=0表示第g个格子不包含停车位标识点；/>表示第g个格子上对停车位标识点x坐标方向的预测值，表示第g个格子上停车位标识点x坐标方向的真实值；/>表示第g个格子上对停车位标识点y坐标方向的预测值，/>表示第g个格子上停车位标识点y坐标方向的真实值；

停车位标识点角度朝向的损失函数的表达式为：

其中，表示第g个格子上预测停车位标识点角度朝向的cos值，/>表示第g个格子上停车位标识点角度朝向cos值的真实值；/>表示第g个格子上预测停车位标识点角度朝向的sin值，/>表示第g个格子上停车位标识点角度朝向sin值的真实值。