CN111160172A - 泊车位检测方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种泊车位检测方法、装置、计算机设备和存储介质。所述方法包括：获取车辆四周的多帧广角图像；根据多帧所述广角图像生成所述车辆对应的环视图像；调用泊车位检测模型，将所述广角图像和所述环视图像输入至所述泊车位检测模型；基于所述泊车位检测模型对所述广角图像和所述环视图像进行检测，得到车位检测信息和障碍物检测信息；根据所述车位检测信息和所述障碍物检测信息生成泊车位信息。采用本方法能够有效的提高泊车位检测的准确性。

Description

泊车位检测方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种泊车位检测方法、装置、计算机设备和存储介质。

背景技术

在自动驾驶领域中，自动泊车技术是车辆在结束道路行驶之后的一个重要环节。基于自动泊车技术可以在不需要人工控制的情况下自动控制车辆停入泊车位中，减少了用户的泊车操作。在自动泊车过程中，首先需要进行泊车位检测，检测在车辆的周围环境中是否存在泊车位以及能够进行泊车。

在传统泊车位检测方式中，通常是对采集到的图像进行特征提取，基于分类器对图像特征进行分类，以此检测泊车位。但是，传统方式对图像进行特征提取对图像质量要求较高，采集的图像容易受到环境场景、光照条件等因素的影响，导致检测结果不准确。而且，传统方式中通常是针对同源图像进行单任务检测，无法得到泊车位对应的多维度信息，无法准确检测泊车位信息。

发明内容

基于此，有必要针对上述泊车位检测的准确性较低的技术问题，提供一种能够提高泊车位检测准确性的泊车位检测方法、装置、计算机设备和存储介质。

一种泊车位检测方法，所述方法包括：

获取车辆四周的多帧广角图像；

根据多帧所述广角图像生成所述车辆对应的环视图像；

调用泊车位检测模型，将所述广角图像和所述环视图像输入至所述泊车位检测模型；

基于所述泊车位检测模型对所述广角图像和所述环视图像进行检测，得到车位检测信息和障碍物检测信息；

根据所述车位检测信息和所述障碍物检测信息生成泊车位信息。

在其中一个实施例中，所述根据多帧所述广角图像生成所述车辆对应的环视图像包括：

将多帧所述广角图像进行矫正处理，得到矫正后的图像；

获取所述广角图像之间的位置关系，根据所述位置关系将所述矫正后的图像进行拼接，得到所述环视图像。

在其中一个实施例中，所述泊车位检测模型包括车位检测分支网络和障碍物检测分支网络，所述基于所述泊车位检测模型对所述广角图像和所述环视图像进行检测，得到车位检测信息和障碍物检测信息包括：

根据所述车位检测分支网络对所述环视图像进行检测，得到车位检测信息；

根据所述障碍物检测分支网络对所述广角图像进行检测，得到障碍物检测信息。

在其中一个实施例中，所述根据所述障碍物检测分支网络对所述广角图像进行检测，得到障碍物检测信息包括：

获取所述泊车位检测模型输出的障碍物检测结果，所述障碍物检测结果包括所述广角图像对应的语义分割信息；

对所述广角图像对应的所述语义分割信息进行识别，得到与预设障碍物类型相对应的障碍物检测信息。

在其中一个实施例中，所述方法还包括：

获取广角样本图像和环视样本图像；

建立标准检测模型，将所述广角样本图像和环视样本图像输入所述标准检测模型；

根据所述广角样本图像和环视样本图像对所述标准检测模型进行训练，得到训练后的检测模型；

当所述训练后的检测模型校验成功时，确定所述训练后的检测模型作为目标泊车位检测模型。

在其中一个实施例中，所述根据所述车位检测信息和所述障碍物检测信息生成泊车位信息包括：

将所述障碍物检测信息映射至所述环视图像，得到目标环视图像；

根据所述目标环视图像识别多个泊车位对应的泊车位信息；

基于所述泊车位信息确定目标泊车位。

在其中一个实施例中，所述根据多帧所述广角图像生成所述车辆对应的环视图像包括：

获取第一环视参数，根据所述第一环视参数生成第一环视图像；

在确定目标泊车位之后，所述方法还包括：

重复获取所述车辆四周的广角图像，根据所述广角图像对所述目标泊车位进行跟踪；

当所述车辆与所述目标泊车位之间的距离小于或等于预设阈值时，将所述第一环视参数切换为第二环视参数，根据所述第二环视参数生成第二环视图像，所述第二环视参数小于或等于所述第一环视参数。

一种泊车位检测装置，所述装置包括：

图像获取模块，用于获取车辆四周的多帧广角图像；根据多帧所述广角图像生成所述车辆对应的环视图像；

模型调用模块，用于调用泊车位检测模型，将所述广角图像和所述环视图像输入至所述泊车位检测模型；

泊车位检测模块，用于基于所述泊车位检测模型对所述广角图像和所述环视图像进行检测，得到车位检测信息和障碍物检测信息；

信息生成模块，用于根据所述车位检测信息和所述障碍物检测信息生成泊车位信息。

在其中一个实施例中，所述图像获取模块还用于将多帧所述广角图像进行矫正处理，得到矫正后的图像；获取所述广角图像之间的位置关系，根据所述位置关系将所述矫正后的图像进行拼接，得到所述环视图像。

在其中一个实施例中，所述泊车位检测模块还用于获取所述泊车位检测模型输出的障碍物检测结果，所述障碍物检测结果包括所述广角图像对应的语义分割信息；对所述广角图像对应的所述语义分割信息进行识别，得到与预设障碍物类型相对应的障碍物检测信息。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述泊车位检测方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述泊车位检测方法的步骤。

上述泊车位检测方法、装置、计算机设备和存储介质，根据车辆四周的多帧广角图像生成车辆四周对应的环视图像，调用泊车位检测模型对广角图像和环视图像进行检测，避免了传统分类方式中车辆周围环境对图像质量影响所造成的检测结果不准确。基于泊车位检测模型可以对输入的不同源的广角图像和环视图像进行多任务的检测，得到车位检测信息和障碍物检测信息。根据车位检测信息以及障碍物检测信息生成多维度的泊车位信息，有效的提高了泊车位检测的准确性。

附图说明

图1为一个实施例中泊车位检测方法的应用环境图；

图2为一个实施例中泊车位检测方法的流程示意图；

图3(a)为一个实施例中车辆前侧对应广角图像的语义分割示意图；

图3(b)为一个实施例中车辆后侧对应广角图像的语义分割示意图；

图3(c)为一个实施例中车辆左侧对应广角图像的语义分割示意图；

图3(d)为一个实施例中车辆右侧对应广角图像的语义分割示意图；

图4为另一个实施例中泊车位检测方法的流程示意图；

图5(a)为一个实施例中根据第一环视参数生成的第一环视图像的示意图；

图5(b)为一个实施例中第一环视图像的语义分割示意图；

图6(a)为一个实施例中根据第二环视参数生成的第二环视图像的示意图；

图6(b)为一个实施例中第二环视图像的语义分割示意图；

图7为一个实施例中泊车位检测装置的结构框图；

图8为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的泊车位检测方法，可以应用于如图1所示的应用环境中。其中，图像采集设备102可以与计算机设备104进行通信。图像采集设备102可以与计算机设备104建立有线连接，也可以建立无线连接。车辆上可以设置至少一个图像采集设备102，图像采集设备102可以用于采集车辆四周的图像数据，图像数据具体可以是广角图像。计算机设备104可以获取图像采集设备102采集的车辆四周的多帧广角图像。计算机设备104根据多帧广角图像生成车辆对应的环视图像。计算机设备104调用泊车位检测模型，将广角图像和环视图像共同输入泊车位检测模型，对广角图像和环视图像进行检测，得到车位检测信息和障碍物检测信息。服务器104基于车位检测信息和障碍物检测信息生成泊车位信息。其中，图像采集设备102具体可以包括但不限于多种照相机、摄像机以及摄像头等设备。计算机设备104具体可以包括但不限于各种个人计算机、电脑以及服务器等。

在一个实施例中，如图2所示，提供了一种泊车位检测方法，以该方法应用于图1中的计算机设备104为例进行说明，包括以下步骤：

步骤202，获取车辆四周的多帧广角图像。

广角图像是指在使用具有旋转对称的凸面形状的反射镜对90°左右大小的广角图像进行摄像，反射面的旋转中心在垂直于0°方向的面内偏离铅直方向倾斜的情况下所得到的图像数据。车辆上可以设置有至少一个图像采集设备，用于采集车辆四周环境的广角图像。图像采集设备的数量可以根据实际需求确定。不同数量的图像采集设备可以采集对应区域的图像。例如，一个车辆上可以设置有四个图像采集设备，分别设置在车辆的前侧、后侧、左侧以及右侧，将车辆周围的环境划分为前后左右四个区域，图像采集设备分别采集对应区域的广角图像。再例如，还可以在车辆顶部设置一个图像采集设备，图像采集设备可以在车辆顶部多角度转动，从而采集车辆四周环境的广角图像。其中，图像采集设备对应的镜头可以是鱼眼镜头，鱼眼镜头属于广角镜头中的一种，是指焦距小于或等于16毫米并且视角接近或等于180°的镜头，以此采集对应区域的鱼眼图像。广角图像相较于传统图像对应有更大的视角，可以包括更大角度的环境图像。

当车辆进入室内停车场或室外停车场等可泊车区域准备开始泊车时，计算机设备可以开始对车辆周围环境中的泊车位进行检测，以便根据检测到的泊车位信息确定目标泊车位供车辆进行泊车。在开始对车辆周围环境中的泊车位进行检测时，计算机设备可以获取图像采集设备采集到的车辆四周的多帧广角图像。多帧广角图像对应的区域之间可以存在重叠。多帧广角图像可以是由多个图像采集设备共同采集的，也可以是由一个图像采集设备采集的。当多帧广角图像是由多个图像采集设备共同采集时，多个图像采集设备可以在同一时刻采集对应区域的广角图像。当多帧广角图像是由一个图像采集设备采集时，图像采集设备可以在预设时间段内采集多个区域各自对应的多帧广角图像，以此保证多帧广角图像的一致性和有效性。预设时间段可以是用户根据实际需求预先设置的时间长度。例如，预设时间段可以设置为1秒。

步骤204，根据多帧广角图像生成车辆对应的环视图像。

计算机设备可以根据获取到的车辆四周的多帧广角图像生成环视图像，环视图像是指车辆对应的周围360度的全景图像，环视图像可以综合多帧广角图像，完整的反映车辆周围360度的图像情况。计算机设备可以将获取到的多帧广角图像进行拼接，得到环视图像。

具体的，计算机设备根据多帧广角图像生成车辆对应的环视图像的步骤包括：将多帧广角图像进行矫正处理，得到矫正后的图像；获取广角图像之间的位置关系，根据位置关系将矫正后的图像进行拼接，得到环视图像。

图像采集设备为了得到更大的视角，所采集的广角图像中的景象与实际景象相比会存在一定程度的畸变。广角图像中景象的畸变程度与广角图像所对应的视角大小相关联，视角越大，焦距越短，对应因光学原理产生的畸变也就越强烈。特别是在鱼眼图像中，鱼眼图像的视角达到180度，鱼眼图像中除了图像中心以外的景象均发生了相应的桶形畸变。计算机设备可以先对获取到的多帧广角图像进行矫正处理，将存在畸变的广角图像进行去畸变，得到矫正后的图像。

计算机设备可以获取多帧广角图像之间的位置关系。广角图像之间的位置关系与广角图像所对应区域之间的空间关系相对应，位置关系可以用于表示多帧广角图像之间的拼接顺序。具体的，当多帧广角图像是由一个图像采集设备采集时，计算机设备可以读取采集广角图像时对应的时间戳，按照多帧广角图像对应时间戳的时间先后关系确定多帧广角图像的位置关系。当多帧广角图像是由多个图像采集设备采集时，计算机设备可以获取多个图像采集设备之间的位置关系，将多帧广角图像分别与多个图像采集设备进行匹配，根据图像采集设备之间的位置关系确定广角图像之间的位置关系。

计算机设备可以根据广角图像之间的位置关系，将在位置关系中相邻的两个矫正后的图像进行匹配。由于图像采集设备采集的广角图像对应的区域存在重叠，计算机设备可以根据广角图像之间的位置关系，将广角图像与相邻的两帧广角图像进行匹配，确定重叠区域对应的图像，并且删除两帧广角图像中其中一帧广角图像的重叠区域图像。计算机设备可以将多帧矫正后的图像根据广角图像之间的位置关系进行拼接，得到车辆周围360度的环视图。

步骤206，调用泊车位检测模型，将广角图像和环视图像输入至泊车位检测模型。

计算机设备可以调用泊车位检测模型，泊车位检测模型具体可以是深度神经网络(Deep Neural Network，简称DNN)模型。泊车位检测模型可以是用户预先建立，并经过训练和校验后得到的。可以基于深度神经网络，根据训练样本进行深度学习，得到泊车位检测模型。在得到泊车位检测模型之后，可以将训练得到的泊车位检测模型配置在计算机设备中，以便于计算机设备调用泊车位检测模型进行泊车位检测。

泊车位检测模型的深度神经网络包括主干网络和多个分支网络。泊车位检测模型的主干网络结构可以是U型网络结构(U-Net)。U型网络结构包括上采样和下采样，有利于将深层特征与浅层特征进行融合。泊车位检测模型具体可以包括但不限于车位检测分支网络和障碍物检测分支网络。计算机设备可以将图像采集设备采集的多帧广角图像，以及生成的环视图像统一输入至泊车位检测模型，广角图像和环视图像共用泊车位检测模型进行检测。

步骤208，基于泊车位检测模型对广角图像和环视图像进行检测，得到车位检测信息和障碍物检测信息。

计算机设备可以利用泊车位检测模型，对输入的广角图像和环视图像进行检测。计算机设备可以根据泊车位检测模型包括的多层网络，对广角图像和环视图像进行多任务检测，分别得到车位检测信息和障碍物检测信息。在传统检测方式中，传统检测模型通常只能针对单一特定任务进行检测。若需要对多项任务进行检测，通常需要分别设计对应的多个检测模型，检测过程较为复杂，较难满足实际应用过程中多任务检测的需求。而在本实施例中，可以通过泊车位检测模型，对广角图像和环视图像进行多任务检测，多任务检测具体可以包括但不限于车位检测和障碍物检测。可以通过一个泊车位检测模型进行多任务检测，有效的简化了传统多任务的检测过程，适应实际应用过程中的多任务检测需求。

在其中一个实施例中，计算机设备可以将多帧广角图像和环视图像共同输入至泊车位检测模型，根据车位检测模型包括的多个分支网络对广角图像和环视图像进行处理。具体的，计算机设备可以根据车位检测分支网络对多帧环视图像进行车位检测，得到车位检测信息。由于障碍物在环视图像中存在剧烈畸变，因此，计算机设备可以根据障碍物检测分支网络对广角图像进行障碍物检测，得到障碍物检测信息。其中，车位检测或障碍物检测的方式包括但不限于语义分割、目标检测等。计算机设备可以将非同源的广角图像和环视图像共同输入泊车位检测模型，根据泊车位检测模型中的车位检测分支网络和障碍物检测分支网络，对广角图像和环视图像进行包括车位检测和障碍物检测的多任务检测，得到车位检测信息和障碍物检测信息。其中，车位检测信息具体可以包括但不限于环视图像对应的车位线信息、角点信息以及限位杆信息等。障碍物检测信息具体可以包括但不限于广角图像对应的车辆信息、行人信息、锥形桶信息、地锁信息、限位杆信息以及可通行区域信息等。

步骤210，根据车位检测信息和障碍物检测信息生成泊车位信息。

计算机设备可以根据得到的车位检测信息和障碍物检测信息，生成泊车位信息，泊车位信息是指车辆周围环境中的泊车位所对应的信息。泊车位信息可以包括泊车位对应的车位线信息、角点信息、限位杆信息，以及泊车位上可能存在的障碍物，具体可以包括车辆、行人、锥形桶以及地锁等。计算机设备可以从车位检测信息中获取车位线信息和角点信息，根据车位线信息和角点信息确定对应的泊车位。计算机设备还可以从障碍物检测信息中获取多种类型的障碍物所处的位置信息，确定障碍物所在的位置，结合车位检测信息和障碍物检测信息，得到泊车位信息，以此实现对车辆周围环境中的泊车位进行检测。

在本实施例中，计算机设备获取车辆四周的多帧广角图像，根据多帧广角图像生成车辆对应的环视图像。计算机设备调用泊车位检测模型对广角图像和环视图像进行检测，泊车位检测模型是基于深度学习的深度神经网络模型。相较于传统特征分类的方式，降低了对图像质量的要求，避免了车辆周围环境对图像质量影响所造成的检测结果不准确，可以适用于多种泊车环境。泊车位检测模型包括多个分支网络，可以对非同源的广角图像和环视图像，进行包括车位检测和障碍物检测的多任务检测，得到车位检测信息和障碍物检测信息。相较于传统对不同检测任务需要多个不同检测模型的方式，有效的简化了多任务检测过程，适应实际应用过程中多任务检测的需求。计算机设备基于车位检测信息和障碍物检测信息生成多维度的泊车位信息，有效的提高了泊车位检测的准确性。

在一个实施例中，根据障碍物检测分支网络对广角图像进行检测，得到障碍物检测信息的步骤包括：获取泊车位检测模型输出的障碍物检测结果，障碍物检测结果包括广角图像对应的语义分割信息；对广角图像对应的语义分割信息进行识别，得到与预设障碍物类型相对应的障碍物检测信息。

计算机设备可以根据泊车位检测模型中的障碍物检测分支网络，对多帧广角图像进行障碍物检测，得到障碍物检测结果。对应的，计算机设备可以根据泊车位检测模型中的车位检测分支网络，对环视图像进行车位检测，得到车位检测结果。

泊车位检测模型可以输出检测结果，检测结果包括障碍物检测结果和车位检测结果。计算机设备可以获取泊车位检测模型输出的障碍物检测结果，障碍物检测结果包括广角图像对应的语义分割信息。障碍物检测分支网络对广角图像进行的障碍物检测具体可以是语义分割，根据对广角图像中的每一个像素点进行语义分割，得到广角图像对应的语义分割信息。其中，语义分割信息可以通过多种形式表示。例如，广角图像对应的语义分割信息可以是多个像素点对应的语义矩阵。在其中一个实施例中，如图3所示，图3(a)、(b)、(c)和(d)分别为车辆前后左右四个方向的广角图像的语义分割示意图，泊车位检测模型输出的语义分割信息可以是分割后的广角图像。如图3(a)所示的前侧广角图像中，包括车辆信息和可通行区域信息。如图3(b)所示的后侧广角图像中，包括车辆信息、可通行区域信息以及限位杆信息。如图3(c)所示的左侧广角图像中，包括车辆信息、可通行区域信息以及锥形桶信息。如图3(d)所示的右侧广角图像中，包括车辆信息、可通行区域信息、限位杆信息以及地锁信息。

计算机设备可以对广角图像对应的语义分割信息进行识别，得到与预设障碍物类型相对应的障碍物检测信息。其中，预设障碍物类型可以是用户根据应用场景的实际需求预先设置的障碍物对应的类型。例如，预设障碍物类型具体可以包括行人、车辆、锥形桶以及地锁等。计算机设备可以对广角图像包括的每一个像素点进行语义分割。例如，当广角图像中包括行人和锥形桶时，可以将行人对应的像素点表示为(1,0,0,0)，将锥形桶对应的像素点表示为(0,0,1,0)。计算机设备可以对语义分割信息进行识别，得到分割出的预设障碍物类型对应的广角图像，根据语义分割出的广角图像确定障碍物检测信息。

可以理解的，当泊车位检测模型通过语义分割的方式对环视图像进行车位检测时，计算机设备还可以获取泊车位检测模型输出的车位检测结果，车位检测结果包括环视图像对应的语义分割信息。计算机设备可以对环视图像对应的语义分割信息进行识别，得到车位检测信息。

在本实施例中，计算机设备可以根据障碍物检测分支网络对广角图像进行语义分割，获取泊车位检测模型输出的障碍物检测结果，障碍物检测结果包括广角图像对应的语义分割信息。相较于传统回归泊车位角点或障碍物坐标的方式，语义分割信息能够更加准确和详细的反映广角图像中的障碍物信息。计算机设备对广角图像对应的语义分割信息进行识别，得到与预设障碍物类型相对应的障碍物检测信息，有效的提高了障碍物检测的准确性，进一步提高了检测泊车位的准确性。

在一个实施例中，如图4所示，上述方法还包括：

步骤402，获取广角样本图像和环视样本图像。

步骤404，建立标准检测模型，将广角样本图像和环视样本图像输入标准检测模型。

步骤406，根据广角样本图像和环视样本图像对标准检测模型进行训练，得到训练后的检测模型。

步骤408，当训练后的检测模型校验成功时，确定训练后的检测模型作为目标泊车位检测模型。

计算机设备可以获取泊车位样本图像，泊车位样本图像是指车辆在不同光照、不同场景等不同条件的泊车环境下对应的图像。计算机设备可以将获取到的多帧图像记作泊车位样本图像，泊车位样本图像包括广角样本图像和环视样本图像。广角样本图像具体包括车辆周围的多帧广角图像以及多帧广角图像各自对应的广角标注信息。环视样本图像具体包括根据多帧广角图像生成的环视图像，以及与环视图像对应的环视标注信息。

泊车位样本图像的标注信息可以是由用户预先标注的，标注信息可以包括根据预设障碍物类型和预设车位信息分别对应广角图像和环视图像的图像分割结果。环视标注信息可以包括用户标注出的环视图像对应的车位线信息、角点信息以及限位杆信息等。广角标注信息可以包括用户标注出的广角图像对应的车辆信息、行人信息、锥形桶信息、地锁信息、限位杆信息和可通行区域信息等。泊车位样本图像可以是通过计算机设备对应的图像采集设备采集得到的，也可以是终端或者服务器发送至计算机设备的。

在其中一个实施例中，泊车位样本图像对应的标注信息可以是非完备的，用户可以标注出样本图像中的所有标注信息，也可以只标注出样本图像中的部分标注信息。当标注信息只包括样本图像对应的部分信息时，计算机设备可以仅针对标注出的图像信息对标准检测模型进行训练。在传统方式中，检测模型通常只能针对同源并且标注完备的样本集进行模型训练，标注成本较高，进行标注所需的时间也较长，无法满足真正的工业化生产需求。相较于传统必须标注出同源样本图像所有信息的方式，本实施例中可以标注不同源图像中的部分图像信息，有利于减少用户的图像标注时间和工作量。

计算机设备可以基于深度神经网络建立标准检测模型，标准检测模型包括主干网络和多个分支网络。分支网络数量可以与检测任务相对应。计算机设备可以将泊车位样本图像统一输入至标准检测模型，根据泊车位样本图像包括的广角样本图像和环视样本图像，同时对各自对应的障碍检物测分支网络和车位检测分支网络进行训练。具体的，标准检测模型采用共享主干网络和多任务分支网络的结构，利用分支网络在不同源、非完备样本图像上联合训练的方法，分别利用广角样本图像和环视样本图像，对共享主干网络和各自对应的障碍检物测分支网络及车位检测分支网络进行训练。计算机设备可以依次训练每一个任务对应的分支网络，将分支网络对应的检测结果与标注信息进行比对，得到每个分支网络各自对应的损失函数。计算机设备可以叠加每个分支网络对应的损失函数，得到标准检测模型对应的全局损失函数。计算机设备可以根据全局损失函数对标准检测模型中的参数进行反馈调整，重复对标准检测模型进行训练，基于深度神经网络对泊车位样本图像进行深度学习，得到训练后的检测模型。

计算机设备可以对训练后的检测模型进行校验。具体的，计算机设备可以通过多种校验方式中的至少一种对训练后的检测模型进行校验。例如，计算机设备可以根据预设训练次数对训练后的检测模型进行校验。当训练后的检测模型对应的训练次数大于或等于预设训练次数时，确定校验成功。否则，确定校验失败。计算机设备还可以根据训练后的检测模型的检测结果进行校验。计算机设备可以获取泊车位校验图像，泊车位校验图像用于对训练后的检测模型进行校验。计算机设备可以将泊车位校验图像输入训练后的检测模型，得到训练后的检测模型输出的检测结果，将检测结果与泊车位校验图像对应的标准图像信息进行比对，得到检测结果与标准图像信息之间的差异度。当差异度小于预设阈值时，表示训练后的检测模型的检测精度达到预设需求，计算机设备确定校验成功。否则，确定校验失败。预设阈值可以是用户根据实际精度需求预先设置的。当训练后的检测模型校验成功时，计算机设备可以确定训练后的检测模型作为目标泊车位检测模型。当训练后的检测模型校验失败时，计算机设备可以重复对检测模型进行训练，直到校验成功。

在其中一个实施例中，泊车位检测模型可以是由其他终端或服务器建立并训练完成后，再配置到车辆对应的计算机设备中。

在本实施例中，计算机设备可以获取泊车位样本图像，泊车位样本图像包括广角样本图像和环视样本图像，计算机设备可以根据不同源的样本图像对标准检测模型进行训练，泊车位样本图像对应的标注信息也可以是不完备的，相较于传统只能针对同源且标注完备的样本集进行模型训练的方式，有效的减少了泊车位样本图像的标注成本和时间，减少了用户标注样本图像时的工作量，真正满足工业化生产需求。计算机设备可以对训练后的检测模型进行校验，当校验成功时，确定训练后的检测模型作为目标泊车位检测模型，有效的提高了基于目标泊车位检测模型进行泊车位检测的准确性。

在一个实施例中，根据车位检测信息和障碍物检测信息生成泊车位信息的步骤包括：将障碍物检测信息映射至环视图像，得到目标环视图像；根据目标环视图像识别多个泊车位对应的泊车位信息；基于泊车位信息确定目标泊车位。

在环视图像中，障碍物存在较大的畸变，计算机设备可以根据多帧广角图像进行障碍物检测，得到多帧广角图像分别对应的障碍物检测信息。由于环视图像是基于多帧广角图像生成的，而且环视图像是车辆周围360度的全景图像。因此，计算机设备可以基于广角图像与环视图像之间的对应关系，将广角图像中的障碍物检测信息映射至环视图像中，使得环视图像可以同时反映车位检测信息和障碍物检测信息。计算机设备可以将投影了障碍物检测信息的环视图像记作目标环视图像。

计算机设备可以根据目标环视图像识别多个泊车位分别对应的泊车位信息。具体的，计算机设备可以获取目标环视图像中的车位检测信息，根据车位检测信息中的车位线信息和角点信息确定泊车位位置、泊车位形状以及泊车位大小等信息。计算机设备可以获取多个泊车位对应的障碍物检测信息，根据障碍物检测信息确定泊车位状态。泊车位状态可以包括空闲状态和占用状态。当泊车位上存在障碍物时，将泊车位状态记作占用状态。当泊车位上不存在障碍物时，将泊车位状态记作空闲状态。可以理解的，计算机设备在确定泊车位状态时，可以不将限位杆记作障碍物。

计算机设备可以基于车位周围环境中的泊车位信息，确定目标泊车位。具体的，计算机设备可以获取对应车辆的车辆信息，车辆信息可以包括车辆尺寸。计算机设备可以从多个泊车位信息中获取泊车位状态处于空闲状态的泊车位，将车辆尺寸与处于空闲状态的泊车位形状和泊车位大小进行比对。当泊车位范围大于车辆范围时，计算机设备可以确定对应的泊车位作为目标泊车位。

在其中一个实施例中，计算机设备还可以根据对应的显示界面将泊车位信息进行展示，接收用户从展示的多个泊车位中选择的泊车位确定为目标泊车位。计算机设备可以基于目标泊车位生成控制指令，以此控制车辆停入目标泊车位中。

在本实施例中，计算机设备可以将障碍物检测信息映射至环视图像，得到目标环视图像，根据综合了障碍物检测信息和车位检测信息的目标环视图像，识别车辆周围多个泊车位对应的多维度的泊车位信息。计算机设备可以基于多维度的泊车位信息确定目标泊车位，有助于计算机设备进一步控制车辆进行泊车至目标泊车位，实现车辆自动泊车。

在一个实施例中，根据多帧广角图像生成车辆对应的环视图像的步骤包括：获取第一环视参数，根据第一环视参数生成第一环视图像。具体的，计算机设备可以获取第一环视参数，第一环视参数可以是用户根据实际需求预先设置的环视范围参数。第一环视参数可以用于表示车辆两侧分别到环视图像左右两侧景象的实际距离。可以理解的，环视参数的大小不同，对应的环视图像所包括的区域范围也是不同的。环视参数越大，对应环视图像包括的区域范围越大。如图5(a)所示，图5(a)为计算机设备根据第一环视参数生成的第一环视图像的示意图。其中，图像中间黑色的矩形表示车辆，小圆圈表示泊车位的角点。计算机设备可以根据生成的第一环视图像进行车位检测，得到对应的车位检测信息。如图5(b)所示，图5(b)为第一环视图像的语义分割示意图。其中，包括角点信息、车位线信息、可通行区域信息以及车辆信息。

计算机设备可以根据第一泊车位信息确定目标泊车位。具体的，计算机设备可以根据第一泊车位信息和车辆信息自动确定目标泊车位，也可以通过计算机设备对应的显示界面展示第一泊车位信息，接收用户选择的泊车位作为目标泊车位。计算机设备在确定目标泊车位之后，计算机设备可以控制车辆泊入目标泊车位。在泊车的过程中，计算机设备可以重复获取车辆四周的多帧广角图像，根据多帧广角图像生成第一环视图像，基于第一环视图像对目标泊车位进行跟踪，检测车辆与目标泊车位之间的距离。

当车辆与目标泊车位之间的距离小于或等于预设阈值时，计算机设备可以获取第二环视参数。预设阈值可以是用户根据实际情况预先设置的，在其中一个实施例中，预设阈值可以与第二环视参数一致。第二环视参数小于或等于第一环视参数。例如，用户可以根据实际需求，将第一环视参数设置为6米，将预设阈值和第二环视参数设置为3米。当车辆与目标泊车位之间的距离小于或等于3米时，计算机设备将第一环视参数切换为第二环视参数，根据第二环视参数生成第二环视图像，基于第二环视图像对目标泊车位进行跟踪。如图6(a)所示，图6(a)为计算机设备根据第二环视参数生成的第二环视图像的示意图。第二环视参数小于第一环视参数。对应的，生成的第二环视图像对应的区域范围也小于第一环视图像的范围，但第二环视图像的精度大于第一环视图像的精度。如图6(b)所示，图6(b)为第二环视图像的语义分割示意图。计算机设备可以根据生成的第二环视图像进行目标泊车位跟踪和车辆控制，进一步提高了泊车位检测的准确性。

在本实施例中，计算机设备可以根据第一环视参数生成第一环视图像，根据第一环视图像控制车辆泊车的过程中，对目标泊车位进行跟踪。当车辆与目标泊车位之间的距离小于或等于预设阈值时，将第一环视参数切换为第二环视参数，第二环视参数小于或等于第一环视参数。计算机设备可以根据第二环视参数生成范围更小，但更细致的第二环视图像，根据第二环视图像进行泊车位检测和跟踪，进一步提高了泊车位检测的准确性。

应该理解的是，虽然图2和图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2和图4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图7所示，提供了一种泊车位检测装置，包括：图像获取模块702、模型调用模块704、泊车位检测模块706和信息生成模块708，其中：

图像获取模块702，用于获取车辆四周的多帧广角图像；根据多帧广角图像生成车辆对应的环视图像。

模型调用模块704，用于调用泊车位检测模型，将广角图像和环视图像输入至泊车位检测模型。

泊车位检测模块706，用于基于泊车位检测模型对广角图像和环视图像进行检测，得到车位检测信息和障碍物检测信息。

信息生成模块708，用于根据车位检测信息和障碍物检测信息生成泊车位信息。

在一个实施例中，上述图像获取模块702还用于将多帧广角图像进行矫正处理，得到矫正后的图像；获取广角图像之间的位置关系，根据位置关系将矫正后的图像进行拼接，得到环视图像。

在一个实施例中，泊车位检测模型包括车位检测分支网络和障碍物检测分支网络，上述泊车位检测模块706还用于根据车位检测分支网络对环视图像进行检测，得到车位检测信息；根据障碍物检测分支网络对广角图像进行检测，得到障碍物检测信息。

在一个实施例中，上述泊车位检测模块706还用于获取泊车位检测模型输出的障碍物检测结果，障碍物检测结果包括广角图像对应的语义分割信息；对广角图像对应的语义分割信息进行识别，得到与预设障碍物类型相对应的障碍物检测信息。

在一个实施例中，上述泊车位检测装置还包括模型训练模块，用于获取广角样本图像和环视样本图像；建立标准检测模型，将广角样本图像和环视样本图像输入标准检测模型；根据广角样本图像和环视样本图像对标准检测模型进行训练，得到训练后的检测模型；当训练后的检测模型校验成功时，确定训练后的检测模型作为目标泊车位检测模型。

在一个实施例中，上述信息生成模块708还用于将障碍物检测信息映射至环视图像，得到目标环视图像；根据目标环视图像识别多个泊车位对应的泊车位信息；基于泊车位信息确定目标泊车位。

在一个实施例中，上述图像获取模块702还用于获取第一环视参数，根据第一环视参数生成第一环视图像；在确定目标泊车位之后，重复获取车辆四周的广角图像，根据广角图像对目标泊车位进行跟踪；当车辆与目标泊车位之间的距离小于或等于预设阈值时，将第一环视参数切换为第二环视参数，根据第二环视参数生成第二环视图像，第二环视参数小于或等于第一环视参数。

关于泊车位检测装置的具体限定可以参见上文中对于泊车位检测方法的限定，在此不再赘述。上述泊车位检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。计算机设备可以设置在车辆中。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种泊车位检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述泊车位检测方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述泊车位检测方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种泊车位检测方法，所述方法包括：

获取车辆四周的多帧广角图像；

根据多帧所述广角图像生成所述车辆对应的环视图像；

调用泊车位检测模型，将所述广角图像和所述环视图像输入至所述泊车位检测模型；

基于所述泊车位检测模型对所述广角图像和所述环视图像进行检测，得到车位检测信息和障碍物检测信息；

根据所述车位检测信息和所述障碍物检测信息生成泊车位信息。

2.根据权利要求1所述的方法，其特征在于，所述根据多帧所述广角图像生成所述车辆对应的环视图像包括：

将多帧所述广角图像进行矫正处理，得到矫正后的图像；

获取所述广角图像之间的位置关系，根据所述位置关系将所述矫正后的图像进行拼接，得到所述环视图像。

3.根据权利要求1所述的方法，其特征在于，所述泊车位检测模型包括车位检测分支网络和障碍物检测分支网络，所述基于所述泊车位检测模型对所述广角图像和所述环视图像进行检测，得到车位检测信息和障碍物检测信息包括：

根据所述车位检测分支网络对所述环视图像进行检测，得到车位检测信息；

根据所述障碍物检测分支网络对所述广角图像进行检测，得到障碍物检测信息。

4.根据权利要求3所述的方法，其特征在于，所述根据所述障碍物检测分支网络对所述广角图像进行检测，得到障碍物检测信息包括：

获取所述泊车位检测模型输出的障碍物检测结果，所述障碍物检测结果包括所述广角图像对应的语义分割信息；

对所述广角图像对应的所述语义分割信息进行识别，得到与预设障碍物类型相对应的障碍物检测信息。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取广角样本图像和环视样本图像；

建立标准检测模型，将所述广角样本图像和环视样本图像输入所述标准检测模型；

根据所述广角样本图像和环视样本图像对所述标准检测模型进行训练，得到训练后的检测模型；

当所述训练后的检测模型校验成功时，确定所述训练后的检测模型作为目标泊车位检测模型。

6.根据权利要求1所述的方法，其特征在于，所述根据所述车位检测信息和所述障碍物检测信息生成泊车位信息包括：

将所述障碍物检测信息映射至所述环视图像，得到目标环视图像；

根据所述目标环视图像识别多个泊车位对应的泊车位信息；

基于所述泊车位信息确定目标泊车位。

7.根据权利要求1所述的方法，其特征在于，所述根据多帧所述广角图像生成所述车辆对应的环视图像包括：

获取第一环视参数，根据所述第一环视参数生成第一环视图像；

在确定目标泊车位之后，所述方法还包括：

重复获取所述车辆四周的广角图像，根据所述广角图像对所述目标泊车位进行跟踪；

当所述车辆与所述目标泊车位之间的距离小于或等于预设阈值时，将所述第一环视参数切换为第二环视参数，根据所述第二环视参数生成第二环视图像，所述第二环视参数小于或等于所述第一环视参数。

8.一种泊车位检测装置，其特征在于，所述装置包括：

图像获取模块，用于获取车辆四周的多帧广角图像；根据多帧所述广角图像生成所述车辆对应的环视图像；

模型调用模块，用于调用泊车位检测模型，将所述广角图像和所述环视图像输入至所述泊车位检测模型；

泊车位检测模块，用于基于所述泊车位检测模型对所述广角图像和所述环视图像进行检测，得到车位检测信息和障碍物检测信息；

信息生成模块，用于根据所述车位检测信息和所述障碍物检测信息生成泊车位信息。

9.根据权利要求8所述的装置，其特征在于，所述图像获取模块还用于将多帧所述广角图像进行矫正处理，得到矫正后的图像；获取所述广角图像之间的位置关系，根据所述位置关系将所述矫正后的图像进行拼接，得到所述环视图像。

10.根据权利要求8所述的装置，其特征在于，所述泊车位检测模块还用于获取所述泊车位检测模型输出的障碍物检测结果，所述障碍物检测结果包括所述广角图像对应的语义分割信息；对所述广角图像对应的所述语义分割信息进行识别，得到与预设障碍物类型相对应的障碍物检测信息。

11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images