CN112381726A - 一种地下车库全局图的构建方法及装置 - Google Patents

Abstract

本申请公开一种地下车库全局图的构建方法及装置，本申请通过获取连续时间段内车辆周围的地下车库环境源图像；利用预设函数对地下车库环境源图像进行矫正处理，得到矫正后图像；利用预设检测元对每个矫正后图像中的多个区域进行特征值检测，生成每个特征点的描述子；基于每个特征点的描述子，对矫正后图像中特征点周围的图像区域进行分块，计算分块图像的梯度直方图；基于梯度直方图，对同一时刻的多个矫正后图像进行匹配，生成目标匹配图像；利用预设的标志物识别模型对目标匹配图像中的每个像素点进行识别，输出目标标志物图像；基于连续时间段内对应的目标标志物图像构建地下车库全局图，可实现地下车库全局图的构建，成本低，图像稳定可靠。

Description

一种地下车库全局图的构建方法及装置

技术领域

本发明涉及图像处理领域，尤其涉及一种地下车库全局图的构建方法及装置。

背景技术

目前的传统建图依靠定位和传统的图像处理，常用超宽带定位、超声波传感器、地磁探测器等技术进行定位建图。然而地下车库环境结构单一，纹理(如墙壁、电线杆、地面)高度重复，特征检测和匹配不稳定，光线较弱，传统描述子的特异性非常差。采用超宽带定位、超声波传感器、地磁探测器等技术进行定位建图存在需对地下车库进行改造，成本高，检测效果差的问题。

发明内容

为了解决上述技术问题，本发明提供一种地下车库全局图的构建方法和装置，可以实现对地下车库全局图的构建，成本低，图像稳定可靠。

为了达到上述申请的目的，本申请提供了一种地下车库全局图的构建方法，该方法可以包括：

获取连续时间段内车辆周围的多个地下车库环境源图像；

利用预设的抗扭曲视角变换函数对每个时刻的多个地下车库环境源图像进行矫正处理，得到多个矫正后的图像；

利用预设的检测元对每个矫正后图像中的多个区域进行特征值检测，确定所述每个矫正后图像中的特征点，并生成每个特征点的描述子；

基于所述每个特征点的描述子，对所述每个矫正后图像中特征点周围的图像区域进行分块，得到分块图像，计算所述分块图像的梯度直方图；

基于同一时刻的多个矫正后图像中分块图像的梯度直方图，对所述同一时刻的多个矫正后图像进行匹配，生成目标匹配图像；

利用预设的标志物识别模型对所述目标匹配图像中的每个像素点进行识别，输出目标标志物图像，所述目标标志物图像表征对每个像素点进行标志物类别分类后的图像；

基于所述连续时间段内对应的目标标志物图像构建地下车库全局图。

另一方面，本申请还提供地下车库全局图的构建装置，该装置可以包括：

源图像获取模块，用于获取连续时间段内车辆周围的多个地下车库环境源图像；

矫正处理模块，用于利用预设的抗扭曲视角变换函数对每个时刻的多个地下车库环境源图像进行矫正处理，得到多个矫正后的图像；

特征值检测模块，用于利用预设的检测元对每个矫正后图像中的多个区域进行特征值检测，确定所述每个矫正后图像中的特征点，并生成每个特征点的描述子；

梯度直方图生成模块，用于基于所述每个特征点的描述子，对所述每个矫正后图像中特征点周围的图像区域进行分块，得到分块图像，计算所述分块图像的梯度直方图；

匹配模块，用于基于同一时刻的多个矫正后图像中分块图像的梯度直方图，对所述同一时刻的多个矫正后图像进行匹配，生成目标匹配图像；

标志物识别模块，用于利用预设的标志物识别模型对所述目标匹配图像中的每个像素点进行识别，输出目标标志物图像，所述目标标志物图像表征对每个像素点进行标志物类别分类后的图像；

构图模块，用于基于所述连续时间段内对应的目标标志物图像构建地下车库全局图。

实施本申请，具有如下有益效果：

本申请通过获取连续时间段内车辆周围的多个地下车库环境源图像；利用预设的抗扭曲视角变换函数对每个时刻的多个地下车库环境源图像进行矫正处理，得到多个矫正后的图像；利用预设的检测元对每个矫正后图像中的多个区域进行特征值检测，确定所述每个矫正后图像中的特征点，并生成每个特征点的描述子；基于所述每个特征点的描述子，对所述每个矫正后图像中特征点周围的图像区域进行分块，得到分块图像，计算所述分块图像的梯度直方图；基于同一时刻的多个矫正后图像中分块图像的梯度直方图，对所述同一时刻的多个矫正后图像进行匹配，生成目标匹配图像；利用预设的标志物识别模型对所述目标匹配图像中的每个像素点进行识别，输出目标标志物图像，所述目标标志物图像表征对每个像素点进行标志物类别分类后的图像；基于所述连续时间段内对应的目标标志物图像构建地下车库全局图，可以实现对地下车库全局图的构建，成本低，图像稳定可靠。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本申请实施例提供的一种地下车库全局图的构建方法流程示意图。

图2为本申请实施例提供的一种抗扭曲视角变换函数确定方法流程示意图。

图3为本申请实施例提供的一种标志物识别模型确定方法流程示意图。

图4为本申请另一实施例提供的一种地下车库全局图的构建方法示意图。

图5为本申请实施例提供的一种包含路口类别的目标标志物图像的示意图。

图6为本申请实施例提供的一种构建地下车库全局图的流程示意图。

图7为本申请另一实施例提供的一种匹配生成基准图像的流程示意图。

图8为本申请另一实施例提供的一种地下车库全局图的构建方法示意图。

图9为本申请实施例提供的一种地下车库全局图的构建装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请说明书实施例中的附图，对本申请说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了实现本申请的技术方案，让更多的工程技术工作者容易了解和应用本申请，将结合具体的实施例，进一步阐述本申请的工作原理。

本申请可应用于图像处理领域，利用工具车在地下车库采集地下车库环境源图像，对地下车库环境源图像进行处理、匹配和识别，生成地下车库全局图。以下首先介绍本申请一种地下车库全局图的构建方法，如图1所示，该方法可以包括：

S101：获取连续时间段内车辆周围的多个地下车库环境源图像。

在一些实施例中，可以利用多个环视摄像头采集车辆周围地下车库环境的多个源图像，该多个环视摄像头可以安装于车辆上不同位置。环视摄像头可以为鱼眼摄像头，每个鱼眼摄像头采集车辆一个方向的地下车库环境源图像，相邻的鱼眼摄像头采集的地下车库环境源图像存在交集。采集到的每个地下车库环境源图像由于摄像头的属性和采集角度不同，存在扭曲和视角问题。因此需要对每个时刻的多个地下车库环境源图像进行矫正处理。

S103：利用预设的抗扭曲视角变换函数对每个时刻的多个地下车库环境图像进行矫正处理，得到多个矫正后的图像。

具体的，抗扭曲视角变换函数是利用图像非线性插值矫正算法，对扭曲的环视角度的图像进行变换。

在一些实施例中，如图2所示，抗扭曲视角变换函数可以通过以下方式得到：

S1031：获取相机内外参数。

S1033：基于相机内外参数确定抗扭曲矩阵和视角转换矩阵。

S1035：基于抗扭曲矩阵和视角转换矩阵确定抗扭曲视角变换函数。

先获取相机内外参数，基于相机内外参数构建第一矩阵。利用第一矩阵可以对图像的扭曲程度进行变换，将环视摄像头采集的扭曲的图像变换为抗扭曲的图像。预先对摄像头采集的样本图像进行分析，构建第二矩阵，利用第二矩阵可以对图像的视角进行转换，将环视视角的图像转换为俯视视角的图像，便于后续构建地下车库全局图。由第一矩阵和第二矩阵可以得到抗扭曲视角变换函数，将地下车库环境图像中的任一像素点通过非线性插值矫正算法映射为矫正后的图像中对应的像素点，从而生成矫正后图像。

S105：利用预设的检测元对每个矫正后图像中的多个区域进行特征值检测，确定每个矫正后图像中的特征点。

本申请说明书实施例中的检测元可以是一个预设大小的滑动窗口，在矫正后图像上进行滑动，检测元预先设置有不同特征对应的特征值。当检测元滑动到矫正后图像的某个区域时，可以利用高斯差分对检测元和该区域进行匹配。具体的，高斯差分的公式如下：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)

其中，x，y为空间坐标，也即尺度坐标；G(x,y,σ)是高斯核函数，k为系数，σ为高斯平滑参数，反映图像的平滑程度，是高斯正态分布的标准差，该值越大，表示尺度越大，大尺度用于表征全局特征，小尺度用于表征细节特征。

将一个矫正后图像在不同的高斯平滑参数下进行高斯差分计算，得到多个DOG(Difference of Guassian，高斯函数的差分)的响应值图像。基于该DOG的响应值图像，在三维空间中求极值点，即可得到该矫正后图像中的特征点。

S107：对每个矫正后图像中特征点周围的图像区域进行分块，得到分块图像，计算分块图像的梯度直方图。

具体的，对每个矫正后图像中特征点周围的图像区域进行分块，得到分块图像，可以是以特征点为中心，在特征点的邻域内将坐标轴旋转特征点的主方向角度，以主方向的特征点为中心取8*8的窗口，得到分块图像，分块图像中可以包括特征点和特征点周围对特征描述有贡献的像素点。分块图像中的每个1*1小格代表特征点邻域所在尺度空间的一个像素，求取每个像素的梯度幅值和梯度方向，进而得到分块图像的梯度直方图。利用这个方式计算出分块图像的梯度直方图，可以增强抗噪声能力，同时可以对含有定位误差的特征匹配提供更高的容错性。

S109：基于同一时刻的多个矫正后图像中分块图像的梯度直方图，对同一时刻的多个矫正后图像进行匹配，生成目标匹配图像。

本申请说明书实施例中，分块图像的梯度直方图即为特征点的描述子，可以描述出一小块图像的特征。同一时刻可以包括对应车辆多个方向的矫正后图像，例如车辆前后左右四个方向采集的图像经过处理后得到对应的四个矫正后图像，可以先以前面对应的矫正后图像为基准图像，通过匹配前面和左面对应的两个矫正后图像中特征点的描述子，将左面对应的矫正后图像匹配到前面对应的矫正后图像中，生成新的图像，作为第二基准图像，将后面对应的矫正后图像匹配到第二基准图像中，生成新的图像，作为第三基准图像，最后将右面对应的矫正后图像匹配到第三基准图像中，最后生成该时刻的目标匹配图像。

S111：利用预设的标志物识别模型对目标匹配图像中的每个像素点进行识别，输出目标标志物图像。

具体的，该目标标志物图像表征对每个像素点进行标志物类别分类后的图像。标志物类别可以包括可行驶区域、车位线、车位区域、柱子、斑马线和车位编号等。将目标匹配图像作为标志物识别模型中的输入，标志物识别模型通过对输入的目标匹配图像中的每个像素点进行语义识别，输出目标标志物图像，目标标志物图像中不同类别的标志物由不同方式进行标注，例如可以用橙色线表示车位线，灰色块表示柱子，蓝色箭头表示车道行驶方向。

在另外的实施例中，如图3所示，预设的标志物识别模型可以通过下述步骤确定：

S1111：获取第一训练样本图像。

具体的，第一训练样本图像可以包括多种标志物图像和对应的标志物类别标签。

S1113：基于多种标志物图像和对应的标志物类别标签对深度学习网络进行标志物类别识别训练，得到标志物识别模型。

具体的，深度学习网络可以包括编码-解码模型。编码器包括多个编码模块，每个编码模块包括一个3*3卷积核的卷积层、两个残差块和最大池化层，每个残差块包括两个3*3卷积核的卷积层和一个跳层连接；解码器包括与编码模块数量一致的解码模块，解码器的每个解码模块包括一个反卷积层、一个特征融合层和一个3*3卷积核的卷积层。特征融合层可对多个特征进行融合处理。在一些实施例中，编码器可以下采样4、8、16或32次，对称的解码器上采样相同次数得到与输入图像尺寸一致的输出图像，编码器的第一区块跳层连接到解码器的最后一个区块，编码器的第二区块跳层连接到解码器的倒数第二区块，依次类推。

本说明书实施例中，以不同标志物类别的图像为训练数据，对融合了高级语义信息和低级特征信息的深度学习网络进行标志物类别识别训练，得到标志物识别模型，利用该标志物识别模型可以对输入图像进行标志物类别的识别，输出由不同类别标志物组成的目标标志物图像。由于地下车库环境与常规开放路段存在不同，地下车库环境光线较暗，环境偏模糊，更多得融合低级特征可以提高深度学习网络标志物类别识别的性能。

S113：基于连续时间段内对应的目标标志物图像构建地下车库全局图。

在另外的实施例中，标志物类别中还可以包括路口类别，相应的，在利用预设的标志物识别模型对所述目标匹配图像中的每个像素点进行识别，输出目标标志物图像之后，该方法还可以包括：

S1121：获取车辆行驶过程中的航向角信息和速度信息。

S1123：基于车辆行驶过程中的航向角信息和速度信息，确定车辆是否在路口。

具体的，例如，当车辆的航向角超过预设的角度阈值时，可以确定车辆进入可拐弯的路口，并由航向角向左或向右确定车辆前方的路口是左拐路口还是又拐路口；或者，当车辆的速度逐渐减小时，确定车辆前方存在路口。

S1125：当确定车辆在路口时，对车辆在路口的时间段内的航向角信息和速度信息进行积分，得到车辆的行驶轨迹。

S1127：基于车辆的行驶轨迹确定车辆路口的过弯情况。

具体的，可以利用阿克曼转向几何算法，对车辆连续小段时间内的航向角信息和速度信息进行积分，得到该车辆的行驶路径。通过判断该段行驶路径的曲率分析车辆的过弯情况。

S1129：基于过弯信息对标志物类别包含路口类别的目标标志物图像进行修正，得到修正后目标标志物图像。

S114：基于连续时间段内对应的目标标志物图像和修正后目标标志物图像构建地下车库全局图。

具体的，该实施例中连续时间段内对应的目标标志物图像是标志物类别不包含路口类别的目标标志物图像，即基于连续时间段内不包含路口类别的目标标志物图像和包含路口类别的修正后目标标志物图像，构建地下车库全局图。

在一些实施例中，也可以通过分析标志物识别模型识别出的目标标志物图像确定路口信息。例如图5中，标志物1和标志物2为柱子，标志物3为可行驶区域，标志物4为墙壁，通过分析可行驶区域在左右两侧是否存在延伸，可以确定该段可行驶区域是否存在路口。该实施例在实际场景中的目标标志物图像可以是彩色的，例如用褐色表示柱子，蓝色表示可行驶区域，灰色表示墙壁。

在一些实施例中，如图6所示，基于连续时间段内对应的目标标志物图像构建地下车库全局图可以包括：

S1131：以连续时间段内目标时刻的目标标志物图像为基准图像。

S1132：基于里程计测量的行程信息将第一时刻的后一时刻的目标标志物图像匹配到基准图像中，得到新的基准图像。

具体的，将第一时刻的后一时刻的目标标志物图像匹配到第一时刻的目标标志物图像中时，根据里程计测量的行程信息，可以得到第一时刻与第一时刻的后一时刻图像的移动路程，基于该移动路程，确定第一时刻的后一时刻的目标标志物图像匹配到第一时刻的目标标志物图像的具体位置。

S1133：将前后两个时刻对应的基准图像进行位置差异的对比，得到两个时刻车辆的相对位置。

具体的，前后两个时刻对应的基准图像分别为第一时刻的目标标志物图像，和将第一时刻的后一时刻的目标标志物图像匹配到第一时刻的目标标志物图像中得到的基准图像，通过迭代最近法对两个基准图像进行位置差异的对比，得到两个时刻车辆的相对位置。

在本申请说明书实施例中，体现在构建的图像上的距离与实际测量的距离是经过等比例缩放的。

S1134：基于两个时刻车辆的相对位置对里程计的漂移进行修正，得到修正后里程计测量的行程信息。

具体的，由于里程计测量可能存在误差，随着时间的延长，里程计测量的误差越来越大，即里程计漂移。基于两个时刻车辆的相对位置得到车辆的运动参数，该运动参数与时间、路程有关，根据该运动参数对里程计的漂移进行修正。

S1135：基于修正后里程计测量的行程信息将后一时刻的目标标志物图像匹配到新的基准图像中。

具体的，如图7所示，在以连续时间段内目标时刻的目标标志物图像为基准图像后，该方法还可以包括：

S1141：对当前的基准图像进行车位线检测。

S1143：当检测到一根车位侧边线时，确定车位侧边线为待匹配向量，并进行存储。

S1145：当检测到与车位侧边线相接的门口线和门口线相交的另一车位侧边线时，将另一车位侧边线与所述待匹配向量进行匹配。

S1147：若匹配成功，基于修正后里程计测量的行程信息将车位侧边线、门口线和另一车位侧边线构建为一个车位。

S1149：记录所述车位为被占用状态，并在所述新的基准图像中进行标示。

该实施例中，当仅识别到一根车位侧边线时，说明该车位侧边线为边缘车位或对应的车位被占用。而不断识别到与该车位侧边线相接的门口线以及另一车位侧边线，可以确定一个车位，并基于此确定车位被占用，该方式在实现被占用车位构建的同时，还能确定该车位的状态。

S1136：更新匹配对象所处的时刻。

S1137：当时刻未更新至连续时间段内最后一刻时，重复S1133至S1135的步骤。

S1138：当当前的目标时刻为连续时间段内的最后一个时刻时，输出地下车库全局图。

在本申请说明书实施例中，连续时间段为车辆完成一次地下车库全部路程的行驶时间。

该实施例通过对前后时刻的基准图像进行位置差异的对比，可以实现对里程计漂移的不断修正。

在另外的实施例中，当车辆在地下车库环境中行驶时，由于地下车库亮度较弱、车位线存在断裂、摄像头起雾模糊等原因导致图像中停车位模糊等，标志物识别模型不能保证输出的目标标志物图像完整且正确，因此利用预设的标志物识别模型对目标匹配图像中的每个像素点进行识别，输出目标标志物图像之后，该方法还可以包括：

S1151：将连续时间段内对应的目标标志物图像输入预设卷积网络，输出连续多帧图像的特征图。

具体的，预设卷积网络的优化函数可以设置为

该优化函数中的前一项

为目标优化函数，后一项

是L1范数norm函数，利用该优化函数对目标标志物图像进行优化，来抑制图像梯度，既可以保持梯度的稀疏性，也可以保证生成的目标标志物图像的质量。

S1153：将多帧序列图像的特征图作为预设循环神经网络的输入，对多帧序列图像进行特征聚合。

S1155：对预设循环神经网络的输出进行非线性处理，得到多帧位移重叠融合图像。

S1157：基于多帧位移重叠融合图像构建地下车库全局图。

在该实施例中，利用梯度下降的算法对目标标志物图像进行多次迭代，可以实现多帧位移重叠图像的融合。通过多帧位移重叠图像的融合，可以提升目标标志物图像标志物的呈现效果。

本申请另外还提供一种地下车库全局图的构建装置的实施例，该装置可以包括：

源图像获取模块11，用于获取连续时间段内车辆周围的多个地下车库环境源图像。

矫正处理模块12，用于利用预设的抗扭曲视角变换函数对每个时刻的多个地下车库环境源图像进行矫正处理，得到多个矫正后的图像。

特征值检测模块13，用于利用预设的检测元对每个矫正后图像中的多个区域进行特征值检测，确定每个矫正后图像中的特征点，并生成每个特征点的描述子。

梯度直方图生成模块14，用于基于每个特征点的描述子，对每个矫正后图像中特征点周围的图像区域进行分块，得到分块图像，计算分块图像的梯度直方图。

匹配模块15，用于基于同一时刻的多个矫正后图像中分块图像的梯度直方图，对同一时刻的多个矫正后图像进行匹配，生成目标匹配图像。

标志物识别模块16，用于利用预设的标志物识别模型对目标匹配图像中的每个像素点进行识别，输出目标标志物图像，目标标志物图像表征对每个像素点进行标志物类别分类后的图像。

构图模块17，用于基于连续时间段内对应的目标标志物图像构建地下车库全局图。

在一些实施例中，该装置还可以包括：

图像采集模块，用于利用多个环视摄像头采集车辆周围地下车库环境的多个源图像，该多个环视摄像头安装于车辆上不同位置。

在一些实施例中，该装置还可以包括：

相机参数获取模块，用于获取相机内外参数。

矩阵确定模块，用于基于相机内外参数确定抗扭曲矩阵和视角转换矩阵。

函数确定模块，用于基于抗扭曲矩阵和视角转换矩阵确定抗扭曲视角变换函数。

本申请说明书实施例中，还可以包括模型训练模块，该模块可以包括：

样本图像获取单元，用于获取第一训练样本图像，该第一训练样本图形包括多种标志物图像和对应的标志物类别标签。

训练单元，用于基于多种标志物图像和对应的标志物类别标签对深度学习网络进行标志物类别识别训练，得到标志物识别模型。

在一些实施例中，该装置还可以包括深度学习网络构建模块，该模块用于构建编码-解码模型，该模型包括编码器和解码器，其中编码器包括多个区块，每个区块包括一个3*3卷积核的卷积层、两个残差块和最大池化层，每个残差块包括两个3*3卷积核的卷积层和一个跳层连接；解码器包括与所述编码器区块数一致的区块，所述解码器的每个区块包括一个反卷积层、一个特征融合层和一个3*3卷积核的卷积层。

在一些实施例中，该装置还可以包括：

车辆信息获取模块，用于获取车辆行驶过程中的航向角信息和速度信息。

路口确定模块，用于基于车辆行驶过程中的航向角信息和速度信息，确定车辆是否在路口。

行驶轨迹确定模块，用于对车辆在路口的时间段内的航向角信息和速度信息进行积分，得到车辆的行驶轨迹。

过弯信息确定模块，用于基于车辆的行驶轨迹确定车辆路口的过弯情况。

修正模块，用于基于过弯信息对标志物类别包含路口类别的目标标志物图像进行修正，得到修正后目标标志物图像。

在另外的实施例中，该装置还可以包括：

第一处理模块，用于将连续时间段内对应的目标标志物图像输入预设卷积网络，输出连续多帧图像的特征图。

第二处理模块，用于将多帧序列图像的特征图作为预设循环神经网络的输入，对多帧序列图像进行特征聚合。

第三处理模块，用于对预设循环神经网络的输出进行非线性处理，得到多帧位移重叠融合图像。

在另外的实施例中，构图模块可以包括：

匹配单元，用于以连续时间段内目标时刻的目标标志物图像为基准图像，基于里程计测量的行程信息将第一时刻的后一时刻的目标标志物图像匹配到基准图像中，得到新的基准图像。

相对位置获取单元，用于将前后两个时刻对应的基准图像进行位置差异的对比，得到两个时刻车辆的相对位置。

漂移修正单元，用于基于两个时刻车辆的相对位置对里程计的漂移进行修正，得到修正后里程计测量的行程信息。

修正后匹配单元，用于基于修正后里程计测量的行程信息将后一时刻的目标标志物图像匹配到新的基准图像中。

在另外的实施例中，修正后匹配单元可以包括：

车位线识别单元，用于对当前的基准图像进行车位线检测。

待匹配向量确定单元，用于当检测到一根车位侧边线时，确定车位侧边线为待匹配向量，并进行存储。

向量匹配单元，用于当检测到与车位侧边线相接的门口线和门口线相交的另一车位侧边线时，将另一车位侧边线与待匹配向量进行匹配。

车位构建单元，用于匹配成功时，基于修正后里程计测量的行程信息将车位侧边线、门口线和另一车位侧边线构建为一个车位。

占用状态确定单元，用于记录车位为被占用状态，并在新的基准图像中进行标示。

上述的实施例可以看出，本申请通过获取连续时间段内车辆周围的多个地下车库环境源图像；利用预设的抗扭曲视角变换函数对每个时刻的多个地下车库环境源图像进行矫正处理，得到多个矫正后的图像；利用预设的检测元对每个矫正后图像中的多个区域进行特征值检测，确定所述每个矫正后图像中的特征点，并生成每个特征点的描述子；基于所述每个特征点的描述子，对所述每个矫正后图像中特征点周围的图像区域进行分块，得到分块图像，计算所述分块图像的梯度直方图；基于同一时刻的多个矫正后图像中分块图像的梯度直方图，对所述同一时刻的多个矫正后图像进行匹配，生成目标匹配图像；利用预设的标志物识别模型对所述目标匹配图像中的每个像素点进行识别，输出目标标志物图像，所述目标标志物图像表征对每个像素点进行标志物类别分类后的图像；基于所述连续时间段内对应的目标标志物图像构建地下车库全局图，可以实现对地下车库全局图的构建，成本低，图像稳定可靠。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如本发明的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在本发明的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者系统程序(如计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，也可以在载体信号上提供，或者以任何其他形式提供。

应该注意的是，上述实施例是对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或者步骤等。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干系统的单元权利要求中，这些系统中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二以及第三等的使用不表示任何顺序，可将这些单词解释为名称。

Claims (10)

1.一种地下车库全局图的构建方法，其特征在于，所述方法包括：

获取连续时间段内车辆周围的多个地下车库环境源图像；

利用预设的抗扭曲视角变换函数对每个时刻的多个地下车库环境源图像进行矫正处理，得到多个矫正后的图像；

利用预设的检测元对每个矫正后图像中的多个区域进行特征值检测，确定所述每个矫正后图像中的特征点；

对所述每个矫正后图像中的特征点周围的图像区域进行分块，得到多个分块图像，计算所述多个分块图像各自的梯度直方图；

基于同一时刻的多个矫正后图像中分块图像的梯度直方图，对所述同一时刻的多个矫正后图像进行匹配，生成目标匹配图像；

利用预设的标志物识别模型对所述目标匹配图像中的每个像素点进行识别，输出目标标志物图像；

基于所述连续时间段内对应的目标标志物图像构建地下车库全局图。

2.根据权利要求1所述的方法，其特征在于，所述获取连续时间段内车辆周围的多个地下车库环境源图像之前，所述方法还包括：

利用多个环视摄像头采集车辆周围地下车库环境的多个源图像，所述多个环视摄像头安装于车辆上不同位置。

3.根据权利要求2所述的方法，其特征在于，所述利用预设的抗扭曲视角变换函数对每个时刻的多个地下车库环境源图像进行矫正处理，得到多个矫正后的图像之前，所述方法还包括：

获取相机内外参数；

基于所述相机内外参数确定抗扭曲矩阵和视角转换矩阵；

基于所述抗扭曲矩阵和所述视角转换矩阵确定所述抗扭曲视角变换函数。

4.根据权利要求1所述的方法，其特征在于，所述预设的标志物识别模型包括采用下述步骤确定：

获取第一训练样本图像，所述第一训练样本图像包括多种标志物图像和对应的标志物类别标签；

基于所述多种标志物图像和对应的标志物类别标签对深度学习网络进行标志物类别识别训练，得到标志物识别模型。

5.根据权利要求4所述的方法，其特征在于，所述深度学习网络包括编码-解码模型，所述编码-解码模型包括编码器和解码器；

所述编码器包括多个编码模块，每个区块包括一个卷积核的卷积层、两个残差块和最大池化层，每个残差块包括两个卷积核的卷积层和一个跳层连接；

所述解码器包括与所述编码模块数量一致的解码块，所述解码器的每个区块包括一个反卷积层、一个特征融合层和一个卷积核的卷积层。

6.根据权利要求1所述的方法，其特征在于，所述标志物类别包括路口类别；

所述利用预设的标志物识别模型对所述目标匹配图像中的每个像素点进行识别，输出目标标志物图像之后，所述方法还包括：

获取车辆行驶过程中的航向角信息和速度信息；

基于所述车辆行驶过程中的航向角信息和速度信息，确定车辆是否在路口；

当确定车辆在路口时，对所述车辆在所述路口的时间段内的航向角信息和速度信息进行积分，得到车辆的行驶轨迹；

基于所述车辆的行驶轨迹确定车辆路口的过弯信息；

基于所述过弯信息对标志物类别包含路口类别的目标标志物图像进行修正，得到修正后目标标志物图像；

相应的，所述基于所述连续时间段内对应的目标标志物图像构建地下车库全局图替换为：

基于所述连续时间段内对应的目标标志物图像和修正后目标标志物图像构建地下车库全局图。

7.根据权利要求1所述的方法，其特征在于，所述利用预设的标志物识别模型对所述目标匹配图像中的每个像素点进行识别，输出目标标志物图像之后，所述方法还包括：

将连续时间段内对应的目标标志物图像输入预设卷积网络，输出连续多帧图像的特征图；

将所述多帧序列图像的特征图作为预设循环神经网络的输入，对多帧序列图像进行特征聚合；

对所述预设循环神经网络的输出进行非线性处理，得到多帧位移重叠融合图像；

相应的，将所述基于所述连续时间段内对应的目标标志物图像构建地下车库全局图替换为基于所述多帧位移重叠融合图像构建地下车库全局图。

8.根据权利要求1至7任一所述的方法，其特征在于，所述基于所述连续时间段内对应的目标标志物图像构建地下车库全局图包括：

以连续时间段内目标时刻的目标标志物图像为基准图像；

基于里程计测量的行程信息将第一时刻的后一时刻的目标图像匹配到所述基准图像中，得到新的基准图像；

将前后两个时刻对应的基准图像进行位置差异的对比，得到两个时刻车辆的相对位置；

基于所述两个时刻车辆的相对位置对里程计的漂移进行修正，得到修正后里程计测量的行程信息；

将所述目标时刻的后一时刻作为当前的目标时刻，重复进行将前后两个时刻对应的基准图像进行位置差异的对比，得到两个时刻车辆的相对位置，基于所述两个时刻车辆的相对位置对里程计的漂移进行修正，得到修正后里程计测量的行程信息，和基于所述修正后里程计测量的行程信息将后一时刻的目标标志物图像匹配到新的基准图像中的操作，直至当前的目标时刻为所述连续时间段内的最后一个时刻。

9.根据权利要求8所述的方法，其特征在于，在以连续时间段内目标时刻的目标标志物图像为基准图像之后，所述方法还包括：

对当前的基准图像进行车位线检测；

当检测到一根车位侧边线时，确定所述车位侧边线为待匹配向量；

当检测到与所述车位侧边线相接的门口线和所述门口线相交的另一车位侧边线时，将所述另一车位侧边线与所述待匹配向量进行匹配；

若匹配成功，基于所述修正后里程计测量的行程信息将所述车位侧边线、所述门口线和所述另一车位侧边线构建为一个车位；

记录所述车位为被占用状态，并在所述新的基准图像中进行标示。

10.一种地下车库全局图的构建装置，其特征在于，所述装置包括：

源图像获取模块，用于获取连续时间段内车辆周围的多个地下车库环境源图像；

矫正处理模块，用于利用预设的抗扭曲视角变换函数对每个时刻的多个地下车库环境源图像进行矫正处理，得到多个矫正后的图像；

特征值检测模块，用于利用预设的检测元对每个矫正后图像中的多个区域进行特征值检测，确定所述每个矫正后图像中的特征点，并生成每个特征点的描述子；

梯度直方图生成模块，用于基于所述每个特征点的描述子，对所述每个矫正后图像中特征点周围的图像区域进行分块，得到分块图像，计算所述分块图像的梯度直方图；

匹配模块，用于基于同一时刻的多个矫正后图像中分块图像的梯度直方图，对所述同一时刻的多个矫正后图像进行匹配，生成目标匹配图像；

标志物识别模块，用于利用预设的标志物识别模型对所述目标匹配图像中的每个像素点进行识别，输出目标标志物图像，所述目标标志物图像表征对每个像素点进行标志物类别分类后的图像；

构图模块，用于基于所述连续时间段内对应的目标标志物图像构建地下车库全局图。

Images