CN112862818A - 惯性传感器和多鱼眼相机联合的地下停车场车辆定位方法 - Google Patents

Abstract

本发明公开了一种惯性传感器和多鱼眼相机联合的地下停车场车辆定位方法，其步骤包括：1建立停车场全局初始三维可视化地图；2收集车辆惯性传感器数据，进行数据预处理；3收集停车场鱼眼相机图像数据，进行数据预处理；4建立定位模型联立车辆惯性数据以及鱼眼相机图像数据实现定位。本发明能扩大摄像头的视觉感知范围，减少摄像头的布置数量，从而能降低成本并提高停车场内车辆的定位精度。

Description

惯性传感器和多鱼眼相机联合的地下停车场车辆定位方法

技术领域

本发明涉及停车场室内车辆定位引导领域，尤其涉及一种惯性传感器与鱼眼相机联合定位的方法。

背景技术

随着人工智能、计算机视觉、传感技术等基础理论的持续快速发展，停车场的车辆自主引导开始走进了我们的生活，而要想实现停车场内车辆的自主引导，就需要对车辆的位置进行精确的定位，针对于地下停车场等室内环境，很难使用GPS进行定位，因为信号会被建筑物遮挡从而影响定位信号的接收与发送。因此针对停车场等室内环境的车辆定位，需要让车辆在不借助GPS信号的情况下进行自主定位。目前广泛使用的利用车辆自身所携带的传感器来实现车辆定位，其中比较有代表性的是利用惯性传感器的测量信息借助航位推算法来推算车辆位置，但是由于惯性导航技术的累积误差，导致其精度不高，但实时性较好。单独采用视觉定位时由于需要处理大量图片，所以存在数据处理效率低下而无法满足实时性要求。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出一种惯性传感器和多鱼眼相机联合的地下停车场车辆定位方法，以期能扩大摄像头的视觉感知范围，减少摄像头的布置数量，从而能降低成本并提高停车场内车辆的定位精度。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种惯性传感器和多鱼眼相机联合的地下停车场车辆定位方法的特点是按如下步骤进行：

步骤1：建立停车场初始三维可视化地图；

步骤1.1：利用鱼眼相机获取一幅停车场图像，并利用式(1)对所述停车场图像中的每个像素点进行校正，得到校正后的停车场图像：

式(1)中，x、y分别表示所述停车场图像中一个像素点的横、纵坐标；r表示横纵坐标x和y平方的和；x_dis、y_dis表示校正后的停车场图像中一个像素点的横、纵坐标；k₁,k₂,k₃表示鱼眼相机的三个内参，p₁,p₂表示鱼眼相机的畸变参数；

步骤1.2：在停车场中建立大地坐标系n；

步骤1.3：以大地坐标系n为基准测量所有m个鱼眼相机中心的坐标，得到鱼眼相机位置的坐标数据集

以及相对位置关系，其中，CC_i表示第i个鱼眼相机中心的坐标，所述相对位置关系包括：旋转矩阵

和平移矩阵

R_pq表示第p个鱼眼相机和第q个鱼眼相机之间的旋转矩阵；T_pq表示第p个鱼眼相机和第q个鱼眼相机之间的平移矩阵，

分别表示第p个鱼眼相机和第q个鱼眼相机之间在大地坐标系n中x轴、y轴、z轴上的坐标位置；

步骤1.4：应用双目测距原理，计算两两一组鱼眼相机的深度信息，并生成点云地图M_pq：

步骤1.4.1：利用式(2)计算第p个鱼眼相机和第q个鱼眼相机之间的左、右旋转矩阵

和

步骤1.4.2：利用式(3)计算第p个鱼眼相机和第q个鱼眼相机之间的标准校正矩阵

式(3)中，e₁、e₂、e₃表示标准校正矩阵

中的三个向量，并有：

步骤1.4.3：利用式(5)得到第p个鱼眼相机和第q个鱼眼相机之间的左、右立体校正矩阵

和

步骤1.4.4：根据左、右立体校正矩阵

和

利用SGBM算法对校正后的停车场图像进行处理，得到深度信息，并生成第p个鱼眼相机和第q个鱼眼相机之间的点云地图M_pq；

步骤1.5：以第O个鱼眼相机为基准，利用式(6)对点云地图M_pq进行坐标变换，得到点云地图数据集M_po：

M_po＝M_pqR_po+T_po (6)

式(6)中，R_po表示第p个鱼眼相机和第O个鱼眼相机之间的旋转矩阵；T_po表示第p个鱼眼相机和第O个鱼眼相机之间的平移矩阵；

以第O个鱼眼相机为基准对齐所有的点云地图数据集，从而得到数据集M_o，且

步骤1.6：将数据集M_o进行高斯滤波处理，生成去除噪点后的停车场初始三维可视化点云地图M_w0；

步骤2：通过惯性传感器确定停车场内车辆相对于起点的相对位置；

步骤2.1：车辆在大地坐标系n中的初始位置设为W_g0＝[x_g0,y_g0,z_g0]；

以移动车辆的质心作为坐标原点，以移动车辆水平运动方向为X轴，以垂直于X轴的方向为Y轴，建立车辆自身坐标系c；

步骤2.2：在t时刻利用惯性传感器获得在车辆自身坐标系c下的车辆加速度a_t,c、角速度ω_t,c，t+1时刻的车辆加速度a_t+1,c、角速度ω_t+1,c；

将惯性传感器固联在车身上并与车辆自身坐标系c的三轴重合，利用式(7)得到在大地坐标系n下t时刻的车辆加速度a_t,n、t+1时刻车辆加速度a_t+1,n：

式(7)中，Q_t、Q_t+1分别为t时刻和t+1时刻相应的姿态变换矩阵，B_a为测量偏差，g为重力加速度，并有：

Q_t+1＝Q_t(ω′_t,cΔt) (8)

式(8)中，Δt表示t时刻和t+1时刻之间的差值；ω_t′_,c表示大地坐标系n下的t时刻到t+1时刻的平均角速度，并有：

步骤2.3：利用式(10)得到t+1时刻的速度v_t+1和位置W(x_t+1,y_t+1,z_t+1)：

式(10)中，a_t′_,n为大地坐标系n下的t时刻到t+1时刻的平均加速度，θ为航向角，x_t,y_t,z_t为t时刻的车辆在大地坐标系n下的坐标，当t＝0时，有[x_t,y_t,z_t]＝[x_g0,y_g0,z_g0]，x_t+1,y_t+1,z_t+1为t+1时刻的车辆在大地坐标系下的坐标，并有：

步骤2.4：根据式(10)得到任意时刻车辆相对于出发点的位置信息，并记车辆在任意时刻通过惯性传感器得到的定位坐标为W_g＝[x_g,y_g,z_g]；

步骤3：收集停车场鱼眼相机的图像数据，并利用所述图像数据定位车辆的位置W_c＝[x_c,y_c,z_c]；

步骤3.1：对鱼眼相机所获取的实时图像进行高斯滤波处理，去除图像噪点，从而得到去燥后的实时图像；

步骤3.2：按照步骤1的过程进行处理，并输出实时三维可视化点云地图M_w1；

步骤3.3：比较实时三维可视化点云地图M_w1和停车场初始三维可视化点云地图M_w0，由式(12)计算得到实时运动车辆的点云数据集

其中，c_j为点云数据集M_c中第j个三维坐标向量；h为组成云数据集M_c的三维坐标向量的个数；

M_c＝M_w1-M_w0 (12)

步骤3.4：利用式(13)得到所定位的车辆位置W_c的三维坐标[x_c,y_c,z_c]，并作为重心位置：

步骤4：数据融合：

利用式(14)计算最终车辆位置信息W_D：

W_D＝kW_g+(1-k)W_c (14)

式(14)中，k为权重，且0＜k＜1。

本发明所述的惯性传感器和多鱼眼相机联合的地下停车场车辆定位方法的特点是，设置阈值时间thresh和计数时间t_a；

当t_a<thresh时，设置k>中间值，表示惯性传感器的定位信息精确度更高；

当t_a>thresh时，设置k<中间值，表示鱼眼相机的定位信息精确度更高，同时重置惯性传感器以消去漂移误差；利用式(15)得到重置后的惯性传感器的初始坐标变W_g′₀：

W′_g0＝W_D＝[x_gc,y_gc,z_gc] (15)

式(15)中，x_gc,y_gc,z_gc为重置时刻的车辆在大地坐标系n下的坐标。

当鱼眼相机视野内同时出现两辆以上车辆时，按如下步骤进行定位：

步骤5.1：根据车辆惯性传感器的定位坐标W_g计算所述车辆在鱼眼相机所获取的图像中的像素位置范围，从而得到图像中车辆位置的矩形框B_g；

步骤5.2：使用YOLOV5的深度学习图像识别方法对鱼眼相机所拍摄的实时图像上的车辆位置进行定位，得到图像中车辆位置的识别矩形框B_c；

步骤5.4：由式(16)比较所述识别矩形框B_c与所述矩形框B_g，得到误差判定结果ΔB：

ΔB＝||B_g-B_c||₂ (16)

步骤5.5：判断ΔB＜Bmin是否成立，若成立，表示最终车辆位置信息W_D准确；否则，增加k后，重新利用式(14)计算最终车辆位置信息，其中，Bmin表示阈值。

与现有技术相比，本发明的有益效果在于：

1.本发明的地下停车场车辆定位方法使用鱼眼相机和惯性传感器定位数据实现了数据融合定位，提高了地下停车场车辆定位精度，同时也实现了惯性传感器的定位误差重置，减少了惯性传感器漂移误差。

2.本发明使用鱼眼相机采集的图像实现视觉定位，相比使用普通相机实现视觉定位，该方法能够获取停车场内更大视野范围内的图像信息，避免了视野盲区，同时在一辆车被多个鱼眼相机观测到的情况下通过联合多个鱼眼相机的定位信息提高了该视觉定位方法的精度。

3.本发明利用停车场用于监控的鱼眼相机和车辆上普遍安装的惯性传感器这些已有硬件设备进行停车场车辆定位方法的设计，在不提升硬件成本的情况下提高了停车场车辆定位精度。

4.本发明设计使用YOLOV5深度学习检测方法结合惯性传感器定位的推导结果，在同一区域内同时出现两辆及以上车辆的复杂情况下仍能够实现地下停车场车辆的精准定位。

附图说明

图1为本发明惯性传感器的车辆定位原理图；

图2为本发明惯性传感器和鱼眼相机联合定位算法流程图；

图3为本发明多车辆目标工况下的定位算法流程图。

具体实施方式

本实施例中，一种惯性传感器和多鱼眼相机联合的地下停车场车辆定位方法能联合停车场内鱼眼相机的图像信息和车辆的惯性传感器信息实现车辆在地下停车场内的定位，该定位方法能大大提高定位精度，同时通过数据融合的方法克服了惯性传感器数据漂移问题和停车场内鱼眼相机的视角盲区问题，具体的说，如图2所示，是按如下步骤进行：

步骤1：建立停车场初始三维可视化地图，目的是为了获取无车辆时停车场的三维地图信息；

1.1：利用鱼眼相机获取一幅停车场图像，并利用式(1)对停车场图像中的每个像素点进行校正，得到校正后的停车场图像：

式(1)中，x、y表示停车场图像中一个像素点的横纵坐标；r表示横纵坐标x和y平方的和；x_dis、y_dis表示校正后的停车场图像中的一个像素点的横、纵坐标；k₁,k₂,k₃表示鱼眼相机的三个内参，p₁,p₂表示鱼眼相机的畸变参数；

1.2：在停车场中建立大地坐标系n；

1.3：以大地坐标系n为基准测量所有m个鱼眼相机中心的坐标，得到鱼眼相机位置的坐标数据集

以及相对位置关系，其中，CC_i表示第i个鱼眼相机中心的坐标，相对位置关系包括：旋转矩阵

和平移矩阵

R_pq表示第p个鱼眼相机和第q个鱼眼相机之间的旋转矩阵；T_pq表示第p个鱼眼相机和第q个鱼眼相机之间的平移矩阵，

分别表示第p个鱼眼相机和第q个鱼眼相机之间在大地坐标系n中x轴、y轴、z轴上的坐标位置；

1.4：应用双目测距原理，计算两两一组鱼眼相机的深度信息，并生成点云地图M_pq：

1.4.1：利用式(2)计算第p个鱼眼相机和第q个鱼眼相机之间的左、右旋转矩阵

和

1.4.2：利用式(3)计算第p个鱼眼相机和第q个鱼眼相机之间的标准校正矩阵

式(3)中，e₁、e₂、e₃表示标准校正矩阵

中的三个向量，并有：

1.4.3：利用式(5)得到第p个鱼眼相机和第q个鱼眼相机之间的左、右立体校正矩阵

和

1.4.4：根据左、右立体校正矩阵

和

利用SGBM算法对校正后的停车场图像进行处理，得到深度信息，并生成第p个鱼眼相机和第q个鱼眼相机之间的点云地图M_pq；

1.5：以第O个鱼眼相机为基准，利用式(6)对点云地图M_pq进行坐标变换，得到点云地图数据集M_po：

式(6)中，R_po表示第p个鱼眼相机和第O个鱼眼相机之间的旋转矩阵；T_po表示第p个鱼眼相机和第O个鱼眼相机之间的平移矩阵；

以第O个鱼眼相机为基准对齐所有的点云地图数据集，从而得到数据集M_o，且

1.6：将数据集M_o进行高斯滤波处理，生成去除噪点后的停车场初始三维可视化点云地图M_w0。

步骤2：通过惯性传感器确定停车场内车辆相对于起点的相对位置；

步骤2.1：停车场中由于GPS信号较弱，可以采用惯性传感器推测车辆的相对位置，主要通过惯性敏感元件三轴加速度计和三轴陀螺仪对移动车辆的实时加速度和角速度进行测量，在对姿态、位置等参量初始化的基础上，通过坐标变换和导航计算得到车辆的加速度、速度、位置等各类惯性参数，基于惯性传感器的车辆定位原理如图1所示。

步骤2.2：车辆在大地坐标系中的初始位置设为W_g0＝[x_g0,y_g0,z_g0],以移动车辆的质心作为坐标原点，以移动车辆水平运动方向为X轴，以垂直于X轴的方向为Y轴，建立车辆自身坐标系c；,

步骤2.3：在t时刻利用惯性传感器获得在车辆自身坐标系c下的车辆加速度a_t,c、角速度ω_t,c，t+1时刻的车辆加速度a_t+1,c、角速度ω_t+1,c；

将惯性传感器固联在车身上并于车辆的三轴重合，由于惯性传感器测量的加速度数据是相对于车辆坐标系c的，所以要根据相应时刻的姿态将车辆坐标系c下的加速度转换到大地坐标系n下，利用式(7)得到在大地坐标系n下t时刻的车辆加速度a_t,n、t+1时刻车辆加速度a_t+1,n：

式(7)中，Q_t、Q_t+1分别为t时刻和t+1时刻相应的姿态变换矩阵，B_a为测量偏差，g为重力加速度，并有：

Q_t+1＝Q_t(ω′_t,cΔt) (8)

式(8)中，Δt表示t时刻和t+1时刻之间的差值；ω′_t,c表示大地坐标系n下的t时刻到t+1时刻的平均角速度，并有：

步骤2.4：利用式(10)得到t+1时刻的速度v_t+1和位置W(x_t+1,y_t+1,z_t+1)：

式(10)中，a′_t,n为大地坐标系n下的t时刻到t+1时刻的平均加速度，θ为航向角，x_t,y_t,z_t为t时刻的车辆在大地坐标系下的坐标，当t＝0时，有[x_t,y_t,z_t]＝[x_g0,y_g0,z_g0]，x_t+1,y_t+1,z_t+1为t+1时刻的车辆在大地坐标系下的坐标，并有：

步骤2.5：根据式(10)得到任意时刻车辆相对于出发点的位置信息，并记车辆在任意时刻通过惯性传感器得到的位置信息为W_g＝[x_g,y_g,z_g]；

步骤3：收集停车场鱼眼相机图像数据，利用图像信息定位车辆位置W_c＝[x_c,y_c,z_c]；

步骤3.1：对鱼眼相机所获取的实时图像进行高斯滤波处理，去除图像噪点，从而得到去燥后的实时图像；

步骤3.2：按照步骤1的过程进行处理，并输出实时三维可视化点云地图M_w1；

步骤3.2：按照步骤1的过程进行处理，并输出实时三维可视化点云地图M_w1；

步骤3.3：比较实时三维可视化点云地图M_w1和停车场初始三维可视化点云地图M_w0，由式(12)计算得到实时运动车辆的点云数据集

其中，c_j为点云数据集M_c中第j个三维坐标向量；h为组成云数据集M_c的三维坐标向量的个数；

M_c＝M_w1-M_w0 (12)

步骤3.4：利用式(13)得到所定位的车辆位置W_c的三维坐标[x_c,y_c,z_c]，并作为重心位置：

步骤4：融合惯性传感器定位数据与鱼眼相机定位数据的融合，实现更为准确的定位，实现联合定位的算法流程图如图2所示；

步骤4.1：利用式(14)计算最终车辆位置信息W_D：

W_D＝kW_g+(1-k)W_c (14)

式(14)中，k为权重，且0＜k＜1。

步骤4.2：设置阈值时间thresh和计数时间t_a；t_a为系统计数器计数值，随时间增加而增加。

步骤4.3当t_a<thresh时，设置k＝0.8，表示惯性传感器的定位信息精确度更高；

步骤4.4当t_a>thresh时，设置k＝0.2，表示鱼眼相机的定位信息精确度更高，同时重置惯性传感器以消去漂移误差；利用式(15)得到重置后的惯性传感器的初始坐标变W′_g0：

W′_g0＝W_D＝[x_gc,y_gc,z_gc] (15)

式(15)中，x_gc,y_gc,z_gc为当前时刻车辆在大地坐标系下n的坐标；

步骤5：当鱼眼相机视野内同时出现两辆以上车辆时的定位方法，如图3所示。

实际应用中鱼眼相机的视野内可能同时出现多个车辆目标，因此需要设计合理的算法处理此种情况，提高定位算法的鲁棒性和稳定性，设计算法步骤如下：

步骤5.1：使用车辆惯性传感器定位坐标W_g推导该车辆在鱼眼相机或取图像中的像素位置范围，得到使用车辆惯性传感器定位坐标W_g推导所得的图像中车辆位置的矩形框B_g；

步骤5.2：使用YOLOV5的深度学习图像识别方法对鱼眼相机实时图像上的车辆位置进行定位，得到由YOLOV5识别的图像中车辆位置的识别矩形框B_c；

步骤5.4：由式(16)比较YOLOV5识别的图像中车辆位置的识别矩形框B_c与使用车辆惯性传感器定位坐标W_g推导所得的图像中车辆位置的矩形框B_g，得到误差判定结果ΔB：

ΔB＝||B_g-B_c||₂ (16)

式(16)中，ΔB值较大说明矩形框B_c和矩形框B_g相差较大；ΔB值较小说明矩形框B_c和矩形框B_g相差较小；

步骤5.5：判断ΔB＜Bmin是否成立，若成立，表示最终车辆位置信息W_D准确；否则，表示此时图像定位方法失效，只信任惯性装置的定位结果，所以将步骤4.2中的k设为0.95，重新利用式(14)计算最终车辆位置信息，其中，Bmin表示阈值。

Claims (3)

1.一种惯性传感器和多鱼眼相机联合的地下停车场车辆定位方法，其特征是按如下步骤进行：

步骤1：建立停车场初始三维可视化地图；

步骤1.1：利用鱼眼相机获取一幅停车场图像，并利用式(1)对所述停车场图像中的每个像素点进行校正，得到校正后的停车场图像：

式(1)中，x、y分别表示所述停车场图像中一个像素点的横、纵坐标；r表示横纵坐标x和y平方的和；x_dis、y_dis表示校正后的停车场图像中一个像素点的横、纵坐标；k₁,k₂,k₃表示鱼眼相机的三个内参，p₁,p₂表示鱼眼相机的畸变参数；

步骤1.2：在停车场中建立大地坐标系n；

步骤1.3：以大地坐标系n为基准测量所有m个鱼眼相机中心的坐标，得到鱼眼相机位置的坐标数据集

以及相对位置关系，其中，CC_i表示第i个鱼眼相机中心的坐标，所述相对位置关系包括：旋转矩阵

和平移矩阵

R_pq表示第p个鱼眼相机和第q个鱼眼相机之间的旋转矩阵；T_pq表示第p个鱼眼相机和第q个鱼眼相机之间的平移矩阵，

分别表示第p个鱼眼相机和第q个鱼眼相机之间在大地坐标系n中x轴、y轴、z轴上的坐标位置；

步骤1.4：应用双目测距原理，计算两两一组鱼眼相机的深度信息，并生成点云地图M_pq：

步骤1.4.1：利用式(2)计算第p个鱼眼相机和第q个鱼眼相机之间的左、右旋转矩阵

和

步骤1.4.2：利用式(3)计算第p个鱼眼相机和第q个鱼眼相机之间的标准校正矩阵

式(3)中，e₁、e₂、e₃表示标准校正矩阵

中的三个向量，并有：

步骤1.4.3：利用式(5)得到第p个鱼眼相机和第q个鱼眼相机之间的左、右立体校正矩阵

和

步骤1.4.4：根据左、右立体校正矩阵

和

利用SGBM算法对校正后的停车场图像进行处理，得到深度信息，并生成第p个鱼眼相机和第q个鱼眼相机之间的点云地图M_pq；

步骤1.5：以第O个鱼眼相机为基准，利用式(6)对点云地图M_pq进行坐标变换，得到点云地图数据集M_po：

M_po＝M_pqR_po+T_po (6)

式(6)中，R_po表示第p个鱼眼相机和第O个鱼眼相机之间的旋转矩阵；T_po表示第p个鱼眼相机和第O个鱼眼相机之间的平移矩阵；

以第O个鱼眼相机为基准对齐所有的点云地图数据集，从而得到数据集M_o，且

步骤1.6：将数据集M_o进行高斯滤波处理，生成去除噪点后的停车场初始三维可视化点云地图M_w0；

步骤2：通过惯性传感器确定停车场内车辆相对于起点的相对位置；

步骤2.1：车辆在大地坐标系n中的初始位置设为W_g0＝[x_g0,y_g0,z_g0]；

以移动车辆的质心作为坐标原点，以移动车辆水平运动方向为X轴，以垂直于X轴的方向为Y轴，建立车辆自身坐标系c；

步骤2.2：在t时刻利用惯性传感器获得在车辆自身坐标系c下的车辆加速度a_t,c、角速度ω_t,c，t+1时刻的车辆加速度a_t+1,c、角速度ω_t+1,c；

将惯性传感器固联在车身上并与车辆自身坐标系c的三轴重合，利用式(7)得到在大地坐标系n下t时刻的车辆加速度a_t,n、t+1时刻车辆加速度a_t+1,n：

式(7)中，Q_t、Q_t+1分别为t时刻和t+1时刻相应的姿态变换矩阵，B_a为测量偏差，g为重力加速度，并有：

Q_t+1＝Q_t(ω′_t,cΔt) (8)

式(8)中，Δt表示t时刻和t+1时刻之间的差值；ω′_t,c表示大地坐标系n下的t时刻到t+1时刻的平均角速度，并有：

步骤2.3：利用式(10)得到t+1时刻的速度v_t+1和位置W(x_t+1,y_t+1,z_t+1)：

式(10)中，a′_t,n为大地坐标系n下的t时刻到t+1时刻的平均加速度，θ为航向角，x_t,y_t,z_t为t时刻的车辆在大地坐标系n下的坐标，当t＝0时，有[x_t,y_t,z_t]＝[x_g0,y_g0,z_g0]，x_t+1,y_t+1,z_t+1为t+1时刻的车辆在大地坐标系下的坐标，并有：

步骤2.4：根据式(10)得到任意时刻车辆相对于出发点的位置信息，并记车辆在任意时刻通过惯性传感器得到的定位坐标为W_g＝[x_g,y_g,z_g]；

步骤3：收集停车场鱼眼相机的图像数据，并利用所述图像数据定位车辆的位置W_c＝[x_c,y_c,z_c]；

步骤3.1：对鱼眼相机所获取的实时图像进行高斯滤波处理，去除图像噪点，从而得到去燥后的实时图像；

步骤3.2：按照步骤1的过程进行处理，并输出实时三维可视化点云地图M_w1；

步骤3.3：比较实时三维可视化点云地图M_w1和停车场初始三维可视化点云地图M_w0，由式(12)计算得到实时运动车辆的点云数据集

其中，c_j为点云数据集M_c中第j个三维坐标向量；h为组成云数据集M_c的三维坐标向量的个数；

M_c＝M_w1-M_w0 (12)

步骤3.4：利用式(13)得到所定位的车辆位置W_c的三维坐标[x_c,y_c,z_c]，并作为重心位置：

步骤4：数据融合：

利用式(14)计算最终车辆位置信息W_D：

W_D＝kW_g+(1-k)W_c (14)

式(14)中，k为权重，且0＜k＜1。

2.根据权利要求1所述的惯性传感器和多鱼眼相机联合的地下停车场车辆定位方法，其特征是，设置阈值时间thresh和计数时间t_a；

当t_a<thresh时，设置k>中间值，表示惯性传感器的定位信息精确度更高；

当t_a>thresh时，设置k<中间值，表示鱼眼相机的定位信息精确度更高，同时重置惯性传感器以消去漂移误差；利用式(15)得到重置后的惯性传感器的初始坐标变W′_g0：

W′_g0＝W_D＝[x_gc,y_gc,z_gc] (15)

式(15)中，x_gc,y_gc,z_gc为重置时刻的车辆在大地坐标系n下的坐标。

3.根据权利要求1所述的惯性传感器和多鱼眼相机联合的地下停车场车辆定位方法，其特征在于，当鱼眼相机视野内同时出现两辆以上车辆时，按如下步骤进行定位：

步骤5.1：根据车辆惯性传感器的定位坐标W_g计算所述车辆在鱼眼相机所获取的图像中的像素位置范围，从而得到图像中车辆位置的矩形框B_g；

步骤5.2：使用YOLOV5的深度学习图像识别方法对鱼眼相机所拍摄的实时图像上的车辆位置进行定位，得到图像中车辆位置的识别矩形框B_c；

步骤5.4：由式(16)比较所述识别矩形框B_c与所述矩形框B_g，得到误差判定结果ΔB：

ΔB＝||B_g-B_c||₂ (16)

步骤5.5：判断ΔB＜Bmin是否成立，若成立，表示最终车辆位置信息W_D准确；否则，增加k后，重新利用式(14)计算最终车辆位置信息，其中，Bmin表示阈值。

Images