CN116664498A - 车位检测模型的训练方法、车位检测方法、装置和设备 - Google Patents

车位检测模型的训练方法、车位检测方法、装置和设备 Download PDF

Info

Publication number
CN116664498A
CN116664498A CN202310527752.2A CN202310527752A CN116664498A CN 116664498 A CN116664498 A CN 116664498A CN 202310527752 A CN202310527752 A CN 202310527752A CN 116664498 A CN116664498 A CN 116664498A
Authority
CN
China
Prior art keywords
vehicle
parking space
vehicle position
target
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310527752.2A
Other languages
English (en)
Inventor
于跃龙
韩伟斌
任伟强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Anting Horizon Intelligent Transportation Technology Co ltd
Original Assignee
Shanghai Anting Horizon Intelligent Transportation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Anting Horizon Intelligent Transportation Technology Co ltd filed Critical Shanghai Anting Horizon Intelligent Transportation Technology Co ltd
Priority to CN202310527752.2A priority Critical patent/CN116664498A/zh
Publication of CN116664498A publication Critical patent/CN116664498A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开实施例公开了一种车位检测模型的训练方法、车位检测方法、装置和设备，其中，方法包括：确定目标区域的目标点云地图及目标点云地图的地图坐标系下的至少一个车辆位姿对应的图像数据；基于预设范围确定规则，确定各车辆位姿分别对应的区域范围；获取各区域范围分别对应的地图坐标系下的第一车位标签数据；基于各第一车位标签数据，确定各车辆位姿分别对应的车辆坐标系下的第二车位标签数据；基于各车辆位姿分别对应的图像数据和第二车位标签数据，对预先获得的第一车位检测模型进行训练，获得目标车位检测模型。本公开实施例实现了基于多视角图像直接检测车辆坐标系下的车位的模型的训练，可以有效提高车位检测结果的准确性。

Description

车位检测模型的训练方法、车位检测方法、装置和设备
技术领域
本公开涉及计算机视觉技术，尤其是一种车位检测模型的训练方法、车位检测方法、装置和设备。
背景技术
随着汽车智能化的飞速发展，自动泊车、记忆泊车、自主代客泊车等泊车功能已应用于车辆上，准确检测车位是各种泊车功能实现的基础。相关技术中，车位检测通常是基于IPM(Inverse Perspective Mapping，逆透视变换)将多个视角的图像转换到鸟瞰图视角，进而在鸟瞰图视角下拼接成全景鸟瞰图，用于车位检测，但是IPM是基于道路平面假设实现，当车辆在行驶过程中出现振动状态时，获得的全景鸟瞰图会存在失真的情况，导致车位检测结果准确性较差。
发明内容
为了解决上述车位检测结果准确性较差等技术问题，本公开的实施例提供了一种车位检测模型的训练方法、车位检测方法、装置和设备，以避免通过IPM变换将多视角图像转换到鸟瞰图视角图像对车位检测带来的不利影响，有效提高车位检测结果的准确性。
根据本公开实施例的一个方面，提供了一种车位检测模型的训练方法，包括：确定目标区域的目标点云地图及所述目标点云地图的地图坐标系下的至少一个车辆位姿对应的图像数据，任一所述车辆位姿对应的所述图像数据包括在所述车辆位姿下采集的至少一个视角的图像；基于预设范围确定规则，确定各所述车辆位姿分别对应的区域范围；获取各所述区域范围分别对应的所述地图坐标系下的第一车位标签数据；基于各所述区域范围分别对应的所述第一车位标签数据，确定各所述车辆位姿分别对应的车辆坐标系下的第二车位标签数据；基于各所述车辆位姿分别对应的图像数据和所述第二车位标签数据，对预先获得的第一车位检测模型进行训练，获得目标车位检测模型。
根据本公开实施例的另一个方面，提供了一种车位检测方法，包括：获取至少一个视角中各所述视角分别对应的待处理图像；利用目标车位检测模型对各所述视角分别对应的所述待处理图像进行处理，获得图像处理结果，所述目标车位检测模型基于上述任一实施例提供的车位检测模型的训练方法获得；基于所述图像处理结果，确定观测到的车辆坐标系下的车位检测结果。
根据本公开实施例的再一个方面，提供了一种车位检测模型的训练装置，包括：第一获取模块，用于确定目标区域的目标点云地图及所述目标点云地图的地图坐标系下的至少一个车辆位姿对应的图像数据，任一所述车辆位姿对应的所述图像数据包括在所述车辆位姿下采集的至少一个视角的图像；第一处理模块，用于基于预设范围确定规则，确定各所述车辆位姿分别对应的区域范围；第二处理模块，用于获取各所述区域范围分别对应的所述地图坐标系下的第一车位标签数据；第三处理模块，用于基于各所述区域范围分别对应的所述第一车位标签数据，确定各所述车辆位姿分别对应的车辆坐标系下的第二车位标签数据；第四处理模块，用于基于各所述车辆位姿分别对应的图像数据和所述第二车位标签数据，对预先获得的第一车位检测模型进行训练，获得目标车位检测模型。
根据本公开实施例的又一个方面，提供了一种车位检测装置，包括：第二获取模块，用于获取至少一个视角中各所述视角分别对应的待处理图像；第五处理模块，用于利用目标车位检测模型对各所述视角分别对应的所述待处理图像进行处理，获得图像处理结果，所述目标车位检测模型基于上述任一实施例提供的车位检测模型的训练方法获得；第六处理模块，用于基于所述图像处理结果，确定观测到的车辆坐标系下的车位检测结果。
根据本公开实施例的再一方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本公开上述任一实施例所述的车位检测模型的训练方法，或者，执行本公开上述任一实施例所述的车位检测方法。
根据本公开实施例的又一方面，提供一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本公开上述任一实施例所述的车位检测模型的训练方法，或者，实现本公开上述任一实施例所述的车位检测方法。
基于本公开上述实施例提供的车位检测模型的训练方法、车位检测方法、装置和设备，可以基于建立的目标区域的点云地图及建图时存储的至少一个车辆位姿对应的图像数据，确定出各车辆位姿的区域范围内的车位标签数据，从而获得训练样本，用于车位检测模型的训练，获得目标车位检测模型，实现了基于多视角图像直接检测车辆坐标系下的车位的模型的训练，可以避免通过IPM变换将多视角图像转换到鸟瞰图视角图像对车位检测带来的不利影响，有效提高车位检测结果的准确性，并且还可以避免多视角图像的拼接，降低IPM变换后的多视角图像拼接在重叠区域的冲突对车位检测的不利影响，进一步提高车位检测结果的准确性。
附图说明
图1是本公开提供的车位检测模型的训练方法的一个示例性的应用场景；
图2是本公开一示例性实施例提供的车位检测模型的训练方法的流程示意图；
图3是本公开一示例性实施例提供的目标点云地图及车位标注结果的示意图；
图4是本公开另一示例性实施例提供的车位检测模型的训练方法的流程示意图；
图5是本公开一示例性实施例提供的角点标识的示意图；
图6是本公开一示例性实施例提供的被截断的目标车位的示意图；
图7是本公开一示例性实施例提供的步骤2051的流程示意图；
图8是本公开一示例性实施例提供的第一车位检测模型的网络结构示意图；
图9是本公开另一示例性实施例提供的第一车位检测模型的网络结构示意图；
图10是本公开一示例性实施例提供的车位检测方法的流程示意图；
图11是本公开一示例性实施例提供的车位检测模型的训练装置的结构示意图；
图12是本公开另一示例性实施例提供的车位检测模型的训练装置的结构示意图；
图13是本公开一示例性实施例提供的车位检测装置的结构示意图；
图14是本公开实施例提供的一种电子设备的结构图。
具体实施方式
为了解释本公开，下面将参考附图详细地描述本公开的示例实施例，显然，所描述的实施例仅是本公开的一部分实施例，而不是全部实施例，应理解，本公开不受示例性实施例的限制。
应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本公开概述
在实现本公开的过程中，发明人发现，随着汽车智能化的飞速发展，自动泊车、记忆泊车、自主代客泊车等泊车功能已应用于车辆上，准确检测车位是各种泊车功能实现的基础。相关技术中，车位检测通常是基于IPM(Inverse Perspective Mapping，逆透视变换)将多个视角的图像转换到鸟瞰图视角，进而在鸟瞰图视角下拼接成全景鸟瞰图，用于车位检测，但是IPM是基于道路平面假设实现，当车辆在行驶过程中出现振动状态时，获得的全景鸟瞰图会存在失真的情况，导致车位检测结果准确性较差。
示例性概述
图1是本公开提供的车位检测模型的训练方法的一个示例性的应用场景。
在自动泊车、记忆泊车、自主代客泊车等泊车场景，对于任意的停车场、停车区域等包含车位的目标区域，可以预先基于车辆上的摄像头、激光雷达、毫米波雷达、超声波雷达、组合惯导等中的至少一种，采用任意可实施的建图算法建立目标区域的目标点云地图，并记录车辆在建图过程中的行驶轨迹以及在行驶轨迹的各轨迹点分别采集的传感器数据，比如激光雷达点云数据、图像数据、组合惯导数据，等等。本公开需要用到图像数据，因此，至少需要记录各轨迹点分别采集的图像数据。该行驶轨迹可以包括车辆在建图过程中各传感器采集数据时的车辆位姿，还可以包括对应的采集时间，具体可以根据实际需求设置。建图算法比如可以为任意可实施的同步定位与地图构建(Simultaneous Localization andMapping，简称：SLAM)算法，具体可以根据实际需求设置。利用本公开的车位检测模型的训练方法，可以基于上述方法确定目标区域的目标点云地图，并可以确定目标点云地图的地图坐标系下的至少一个车辆位姿对应的图像数据，每个车辆位姿对应的图像数据可以包括在该车辆位姿下采集的至少一个视角的图像，可以基于预设范围确定规则确定各车辆位姿分别对应的区域范围，该区域范围为在其对应的车辆位姿下各视角的摄像头的有效感知区域的范围，获取各区域范围分别对应的地图坐标系下的第一车位标签数据，基于各区域范围分别对应的第一车位标签数据，确定各车辆位姿分别对应的车辆坐标系下的第二车位标签数据，进而可以基于各车辆位姿分别对应的图像数据和第二车位标签数据，对预先获得的第一车位检测模型进行训练，获得目标车位检测模型。其中，各区域范围分别对应的地图坐标系下的第一车位标签数据可以从预先对目标点云地图进行标注获得的目标点云地图整体范围的标签数据集中获取，对目标点云地图进行标注的具体标注方式可以根据实际需求设置，比如标注方式可以采用自动标注、半自动标注、人工标注等方式中的至少一种。标注时机可以在确定目标区域的目标点云地图之后及获取各区域范围的第一车位标签数据之前的任意时机，具体可以根据实际需求设置。比如标注实际可以在确定各车辆位姿分别对应的区域范围之前，也可以在确定区域范围之后，只要能够获取到各区域范围分别对应的地图坐标系下的第一车位标签数据即可。第一车位检测模型可以是预先建立的初始车位检测模型，也可以是基于一定训练样本进行训练过的基础车位检测模型，具体不作限定。第一车位检测模型的网络结构可以根据实际需求设置，比如可以采用基于Transformer的网络结构。在获得目标车位检测模型后，可以将目标车位检测模型配置到车辆的车位检测装置中，该车辆可以包括上述建图车辆及其他任意的车辆，具体不作限定。当车辆需要在该目标区域进行泊车时，可以通过车位检测装置执行相应的车位检测方法，利用预配置的目标车位检测模型实现基于至少一个视角的待处理图像的车位检测，获得车位检测结果，用于辅助泊车。实现了基于多视角图像直接检测车辆坐标系下的车位的模型的训练，可以避免通过IPM变换将多视角图像转换到鸟瞰图视角图像对车位检测带来的不利影响，有效提高车位检测结果的准确性，并且还可以避免多视角图像的拼接，降低IPM变换后的多视角图像拼接在重叠区域的冲突对车位检测的不利影响，进一步提高车位检测结果的准确性。
示例性方法
图2是本公开一示例性实施例提供的车位检测模型的训练方法的流程示意图。本实施例可应用在电子设备上，具体比如服务器、终端设备等电子设备上，如图2所示，包括如下步骤：
步骤201，确定目标区域的目标点云地图及目标点云地图的地图坐标系下的至少一个车辆位姿对应的图像数据。
其中，任一车辆位姿对应的图像数据包括在该车辆位姿下采集的至少一个视角的图像。目标区域可以是任意包含车位的区域，目标点云地图可以是预先建立的目标区域的点云地图。目标点云地图可以是预先基于任意可实施的建图算法建立。比如可以基于同步定位与地图构建(Simultaneous Localization and Mapping，简称：SLAM)算法建立目标区域的目标点云地图。目标点云地图的地图坐标系下的至少一个车辆位姿对应的图像数据可以是在目标点云地图构建过程中存储的。比如在构建目标点云地图时，车辆在目标区域按照一定路径行驶，在行驶过程中，车辆上的传感器按照一定帧率采集数据，车载计算平台或其中的相关装置可以获取传感器数据并记录传感器数据、采集数据时的车辆位姿、时间戳等相关信息。
在一个可选实施例中，至少一个车辆位姿所包括的车辆位姿数量可以根据实际需求设置，比如按照一定采样间隔从已存储的目标点云地图所对应的大量车辆位姿中进行采样，获得各采样位姿，作为本公开的至少一个车辆位姿。采样间隔可以是时间间隔，也可以是车辆行驶距离间隔，具体可以根据实际需求设置。比如采样间隔为根据已存储的车辆在构建目标点云地图过程中的车辆位姿的时间戳，按照预设时间间隔进行采样，获得至少一个车辆位姿。再比如根据车辆在目标区域的行驶轨迹，按照预设距离间隔进行采样，获得至少一个车辆位姿。
在一些可选实施例中，目标点云地图的地图坐标系可以是以目标区域中任一点作为原点，比如可以根据车辆在目标区域的任一时刻的位姿建立该目标区域的地图坐标系，具体可以根据实际需求设置。
步骤202，基于预设范围确定规则，确定各车辆位姿分别对应的区域范围。
其中，预设范围确定规则可以根据实际需求设置，用于确定车辆位姿周围的区域范围，预设范围确定规则可以包括区域范围的形状规则、大小规则。
在一个可选实施例中，对于任一车辆位姿，该车辆位姿对应的区域范围的形状比如可以为矩形区域、圆形区域、椭圆形区域及其他任意可能的形状区域中的至少一种，具体可以根据实际需求设置。该车辆位姿对应的区域范围的大小可以根据实际需求设置，比如对于矩形区域，大小可以设置为车辆前方第一距离、车辆后方第二距离、车辆左侧第三距离和车辆右侧第四距离所形成的矩形区域的范围。其中，第一距离和第二距离可以相同或不同，第三距离和第四距离可以相同或不同，具体不作限定。再比如，对于圆形区域，大小可以设置以该车辆位姿对应的车辆位置为中心的半径为第一预设半径的圆形区域，第一预设半径可以根据实际需求设置。
步骤203，获取各区域范围分别对应的地图坐标系下的第一车位标签数据。
其中，对于任一区域范围，该区域范围对应的第一车位标签数据可以从目标点云地图对应的目标车位标签数据集中获取，也可以对该区域范围对应的局部点云地图进行车位标注获得，具体不作限定。目标车位标签数据集可以通过对目标点云地图进行车位标注获得。对局部点云地图及目标点云地图的标注可以采用任意可实施的标注方式，比如可以采用自动标注、半自动标注、人工标注等标注方式中的至少一种，具体不作限定。对于自动标注，可以是基于预先训练获得的点云地图车位检测模型对目标点云地图中的车位进行识别，获得目标点云地图对应的目标车位标签数据集。对于半自动标注可以是在自动标注后，由人工审核自动标注的结果，对标注不准确或错误的部分进行修正，从而提高标注结果的准确性。对于人工标注，则是由相关标注人员对目标点云地图中的车位进行标注，获得目标车位标签数据集。
在一个可选实施例中，当需要从目标车位标签数据集中获取区域范围对应的第一车位标签数据时，可以基于区域范围与目标点云地图的位置关系，从目标车位标签数据集中提取区域范围内的各车位的标签作为该区域范围对应的第一车位标签数据。
在一些可选实施例中，第一车位标签数据可以包括对应区域范围内的各车位分别对应的标签，对于任一车位，其标签的表示方式可以根据实际需求设置，比如可以表示为车位角点坐标，也可以表示为车位中心点坐标和入口角点坐标，等等，具体表示方式不作限定，只要能够确定车位形状和大小即可。
示例性的，图3是本公开一示例性实施例提供的目标点云地图及车位标注结果的示意图。本示例中，车位的标签为标注的车位的角点坐标。
步骤204，基于各区域范围分别对应的第一车位标签数据，确定各车辆位姿分别对应的车辆坐标系下的第二车位标签数据。
其中，由于不同区域范围对应的车辆位姿不同，也即不同区域范围对应的车辆坐标系不同，为了能够将第一车位标签数据用于本公开的车位检测模型的训练，需要将第一车位标签数据转换到对应的车辆坐标系下。
在一个可选实施例中，对于每个车辆位姿，该车辆位姿表征了其对应的车辆坐标系相对于统一的地图坐标系的旋转和平移关系，基于此可以确定该车辆位姿的车辆坐标系与地图坐标系之间的转换关系，可以基于该转换关系将该车辆位姿对应区域范围的第一车位标签数据转换到该车辆位姿的车辆坐标系下，获得第二车位标签数据。
步骤205，基于各车辆位姿分别对应的图像数据和第二车位标签数据，对预先获得的第一车位检测模型进行训练，获得目标车位检测模型。
其中，第一车位检测模型可以为初始化的车位检测模型，也可以是经过一定训练后的车位检测模型。第一车位检测模型的网络结构可以根据实际需求设置，比如可以采用基于Transformer的网络结构、基于YOLO的网络结构，等等，具体不作限定。第一车位检测模型描述了从至少一个视角的图像数据到车辆坐标系下的车位预测结果的映射关系，实现直接基于多视角图像检测车辆坐标系下的车位。
在一些可选的实施例中，对于第一车位检测模型的训练，可以基于第一车位检测模型对各车辆位姿分别对应的图像数据进行处理，获得各车辆位姿分别对应的车位预测结果，基于各车位预测结果与第二车位标签数据确定网络损失，用于网络参数的更新，对更新后的模型继续按照上述过程进行迭代更新，直至满足训练结束条件，获得训练好的目标车位检测模型。训练结束条件可以包括网络损失收敛和迭代次数达到预设次数阈值中的至少一者。
在一些可选的实施例中，目标区域中车位的类型可以包括垂直车位、横向车位、斜车位、立体车位等类型中的至少一种。相应的第一车位标签数据还可以包括各车位分别对应的车位类型，则第一车位检测模型的输出还可以包括预测的各车位分别对应的预测类型。具体可以根据实际需求设置。
在一些可选的实施例中，第一车位标签数据还可以包括各车位内的轮档器、地锁、车位是否被占用等属性中的至少一种，以使模型能够学习各车位的相关属性，以在应用时能够预测各车位的相关属性，为车辆泊车提供更多有效的车位信息。
本实施例提供的车位检测模型的训练方法，可以基于建立的目标区域的点云地图及建图时存储的至少一个车辆位姿对应的图像数据，确定出各车辆位姿的区域范围内的车位标签数据，从而获得训练样本，用于车位检测模型的训练，获得目标车位检测模型，实现了基于多视角图像直接检测车辆坐标系下的车位的模型的训练，可以避免通过IPM变换将多视角图像转换到鸟瞰图视角图像对车位检测带来的不利影响，有效提高车位检测结果的准确性，并且还可以避免多视角图像的拼接，降低IPM变换后的多视角图像拼接在重叠区域的冲突对车位检测的不利影响，进一步提高车位检测结果的准确性。
图4是本公开另一示例性实施例提供的车位检测模型的训练方法的流程示意图。
在一些可选的实施例中，步骤201的确定目标区域的目标点云地图及目标点云地图的地图坐标系下的至少一个车辆位姿对应的图像数据，包括：
步骤2011，基于车辆在各车辆位姿下采集的目标区域的原图像数据、雷达点云数据、组合惯导数据中的至少一种，建立目标区域的目标点云地图。
其中，原图像数据可以为车辆上的摄像头采集的图像数据，雷达点云数据可以包括激光雷达点云数据、毫米波雷达点云数据、超声波雷达点云数据中的至少一种。组合惯导数据可以包括惯性测量单元(Inertial Measurement Unit，简称：IMU)数据、轮速计数据等。基于相应的视觉里程计、雷达里程计、惯性里程计、轮速里程计等中的至少一种进行车辆位姿估计，进而可以基于图优化算法进行同步定位与地图构建，建立目标区域的目标点云地图。
在一些可选的实施例中，对于多层的停车场，可以将每一层作为目标区域，建立该目标区域对应的目标点云地图，并可以对各层设置相应的标识，用于标识目标点云地图所属的层，便于后续应用。
步骤2012，从各车辆位姿下采集的原图像数据中获取至少一个车辆位姿对应的图像数据。
其中，可以按照一定的采样间隔获取至少一个车辆位姿对应的图像数据，具体获取方式可以参见前述内容，在此不再赘述。
本实施例通过在目标区域的点云地图构建过程中记录车辆位姿及对应的图像数据，从而可以从记录的车辆位姿的图像数据中采样至少一个车辆位姿对应的图像数据，作为本公开车位检测模型的样本数据，提高样本数据的有效性和丰富性。
在一些可选的实施例中，步骤202的基于预设范围确定规则，确定各车辆位姿分别对应的区域范围，包括：
步骤2021，针对任一车辆位姿，基于该车辆位姿第一方向的第一距离、第二方向的第二距离、第三方向的第三距离和第四方向的第四距离，确定该车辆位姿所在的矩形区域。
其中，第一方向、第二方向、第三方向和第四方向可以分别指该车辆位姿的前后左右四个方向，车辆位姿的前方是指车辆位姿中车辆姿态所指的方向，车辆后方是与前方相反的方向。第一距离、第二距离、第三距离和第四距离可以根据实际需求设置，具体不作限定。表示前方的第一方向的第一距离和表示后方的第二距离可以相同，也可以不同。表示左方的第三距离和表示右方的第四距离可以相同也可以不同。
步骤2022，将该矩形区域作为该车辆位姿对应的区域范围。
本实施例通过将车辆位姿对应的区域范围设置为车辆周围的矩形区域，便于区域范围内的第一车位标签数据的获取，降低计算量。
在一些可选的实施例中，步骤203的获取各区域范围分别对应的地图坐标系下的第一车位标签数据，具体可以包括以下步骤：
步骤2031，获取目标点云地图对应的在地图坐标系下标注的目标车位标签数据集。
其中，目标车位标签数据集包括目标点云地图所包括的各车位分别对应的标签。
在一些可选实施例中，目标车位标签数据集可以采用任意可实施的标准方式获得，比如可以采用自动标注、半自动标注、人工标注等标注方式中的至少一种标注获得，具体不作限定。
在一些可选实施例中，各车位分别对应的标签可以采用任意可实施的方式表示，比如可以包括车位的至少一个角点的坐标，还可以包括车位的中心点坐标，还可以包括各角点的标识，等等。角点的标识用于区分角点在车位中的相对位置，便于确定车位的入口线及侧边线。
步骤2032，针对任一区域范围，基于该区域范围，从目标车位标签数据集中确定该区域范围对应的第一车位标签数据。
其中，可以通过该区域范围在目标点云地图中的位置范围从目标车位标签数据集中提取出该区域范围对应的第一车位标签数据。
本实施例通过对目标区域的目标点云地图进行标注，获得地图坐标系下的车位标签数据集，为获得各区域范围对应的车位标签数据提供有效的数据支撑，进而为本公开的模型训练提供有效的车辆坐标系下的车位真值。
在一些可选的实施例中，步骤2031的获取目标点云地图对应的在地图坐标系下标注的目标车位标签数据集，包括：
基于预先训练获得的点云地图车位检测模型，对目标点云地图进行车位检测，获得目标点云地图对应的目标车位标签数据集。
其中，点云地图车位检测模型可以是任意可实施的目标检测模型，比如基于卷积神经网络及其系列的目标检测模型，具体可以根据实际需求设置。
在一些可选实施例中，点云地图车位检测模型的输出结果可以包括检测到的各车位分别对应的四个角点坐标中的至少一个角点坐标，还可以包括各角点坐标分别对应的角点标识，角点标识的表示方式可以根据实际需求设置，比如通过四个不同的编号分别表示车位中的四个角点。
在一些可选实施例中，在车位标注时，当车位的四个角点中的一个或两个角点被遮挡时，可以根据相邻车位的车位线估计出被遮挡的角点的坐标。
本实施例通过预先训练获得的点云地图车位检测模型实现目标点云地图的车位的自动化标注，快速获得目标点云地图对应的目标车位标签数据集，大大提高标注效率。
在一些可选的实施例中，步骤2031的获取目标点云地图对应的在地图坐标系下标注的目标车位标签数据集，包括：
基于预先训练获得的点云地图车位检测模型，对目标点云地图进行车位检测，获得目标点云地图对应的目标车位标签数据集；对目标车位标签数据集与目标点云地图进行审核，获得审核后的车位标签数据；将审核后的车位标签数据作为目标车位标签数据集。
其中，对目标车位标签数据集与目标点云地图的审核可以是将目标点云地图和目标车位标签数据集一起显示到屏幕上，通过目标车位标签数据集中各车位的标签与目标点云地图中实际车位的匹配情况确定标注结果的准确性，对于标注结果不准确或错误的情况进行修正，将修正后的车位标签数据作为审核后的车位标签数据，当所有车位的标签数据审核完成后，将审核后的车位标签数据作为目标车位标签数据集。
本实施例通过进一步结合目标点云地图对标注获得的目标车位标签数据集进行审核，可以对标注不准确或错误的车位标签进行修正，以提高目标车位标签数据集的准确性，从而可以提高本公开的目标车位检测模型的性能。
在一些可选的实施例中，步骤204的基于各区域范围分别对应的第一车位标签数据，确定各车辆位姿分别对应的车辆坐标系下的第二车位标签数据，包括：
步骤2041，针对任一区域范围，基于该区域范围对应的车辆位姿，将该区域范围对应的第一车位标签数据从地图坐标系转换到该车辆位姿的车辆坐标系下，获得该车辆位姿对应的车辆坐标系下的第二车位标签数据。
其中，车辆位姿表征了车辆坐标系相对于地图坐标系的旋转和平移情况，因此可以基于车辆位姿确定车辆坐标系与地图坐标系之间的转换关系，基于该转换关系实现第一车位标签数据到第二车位标签数据的转换。
本实施例通过将各区域范围的地图坐标系下的第一车位标签数据转换到对应的车辆坐标系下，有效获得了可作为本公开的车位检测模型的车辆坐标系下的车位标签的标签数据，为模型训练提供有效的参考真值。
在一些可选的实施例中，第一车位标签数据包括各车位分别对应的至少一个车位角点坐标及各车位角点坐标分别对应的角点标识。
其中，角点标识用于标识车位的各角点的相对位置关系，用于确定车位中的入口线、侧边线等。其中，入口线是指泊车时车辆需要通过的车位边界线。
示例性的，图5是本公开一示例性实施例提供的角点标识的示意图。本示例中，角点标识表示为1、2、3、4的顺序编号，从而根据角点标识和角点坐标可以确定出入口线、第一侧边线、远端线和第二侧边线，比如，角点标识为1和4的角点坐标之间的线段为入口线，角点标识为1和2的角点坐标可以确定第一侧边线，等等。在实际应用中，角点标识不限于图中的编号，比如可以采用0、1、2和3表示，还可以采用P0-P3表示，等等。只要能够区分各角点即可。每个车位可以按照统一的标识方式进行标识，便于后续应用。
步骤2041的基于该区域范围对应的车辆位姿，将该区域范围对应的第一车位标签数据从地图坐标系转换到该车辆位姿的车辆坐标系下，获得该车辆位姿对应的车辆坐标系下的第二车位标签数据，包括：
1、对于该区域范围对应的第一车位标签数据中的任一车位，确定该区域范围的边界对该车位的截断状态。
其中，对于位于区域范围边界上的车位，会被边界截断，导致该车位一部分角点在区域范围内，另一部分角点在区域范围外，基于此，可以确定该区域范围的边界对该车位的截断状态，截断状态可以包括被截断和未被截断两种状态。
2、对于该车位的任一车位角点坐标，基于预设遮挡规则确定该车位角点坐标在该区域范围对应的车辆位姿下的遮挡状态。
其中，预设遮挡规则可以根据实际需求设置。遮挡状态可以包括遮挡和未遮挡两种状态。遮挡表示在该车辆位姿下各视角的摄像头均无法观测到该车位角点。未遮挡则表示在该车辆位姿下该车位角点能够被至少一个视角的摄像头观测到。
3、基于第一车位标签数据中各车位对应的所述截断状态、各车位角点坐标分别对应的角点标识及对应的遮挡状态，确定第二车位标签数据。
其中，可以根据车位的不同截断状态及车位角点坐标的不同遮挡状态设置车位标签的确定条件，将第一车位标签数据中能够满足条件的车位的车位角点坐标作为有效的车位标签，对于不满足条件的车位则进行滤除，以提高车位标签数据的准确性和有效性。
在一些可选的实施例中，基于第一车位标签数据中各车位对应的截断状态、各车位角点坐标分别对应的角点标识及对应的遮挡状态，确定第二车位标签数据，具体可以包括：
a、对于任一车位，响应于该车位对应的截断状态为被截断，基于该车位对应的车位角点坐标及角点标识，确定该车位的入口线状态，入口线状态包括完整状态和不完整状态。
其中，当车位被截断时，该车位只有一部分区域在区域范围内，导致该车位在该区域范围内是不完整的车位，为了进一步提高车位标签数据的准确性，需要针对区域范围内不完整的车位进行相应处理，获得其准确的车位标签。入口线可以通过两端的两个入口角点表示，当两个入口角点都在区域范围内，表示入口线状态为完整状态，若有至少一个入口角点不在区域范围内，则表示入口线状态为不完整状态。
b、响应于该车位的所述入口线状态为完整状态，且该车位的两个入口角点坐标中有至少一个入口角点坐标的所述遮挡状态为未遮挡，将该车位的两个入口角点坐标及两个截断点坐标作为该车位的标签，两个所述截断点坐标是该车位的两个侧边线分别与该区域范围的边界的交点坐标。
其中，入口线状态为完整状态表示两个入口角点坐标均在该区域范围内，针对两个入口角点坐标，需要进一步结合遮挡状态确定该车位能否作为有效车位，若两个入口角点坐标中有至少一个入口角点坐标的遮挡状态为未遮挡，则将该车位作为有效车位。
在一些可选的实施例中，两个截断点坐标可以通过求该车位的两个侧边线分别与区域范围的边界的交点获得。比如将区域范围的边界用曲线或直线表示，将该车位的两个侧边线分别表示为两个直线，求区域范围的边界曲线或直线与两个侧边线的直线的交点。当入口线状态为完整状态时，表示在泊车时，该该车位入口线在车辆周围的有效感知的区域范围内，可以作为车辆可选车位，因此，在模型训练阶段，将该该车位的两个入口角点坐标及两个截断点坐标作为该车位的标签，以使模型能够学习到在该车辆位姿下周围的更准确的车位情况。
示例性的，图6是本公开一示例性实施例提供的被截断的车位的示意图。其中，该车位被区域范围的边界截断，在截断位置处，区域范围边界与该车位的第一侧边线相交于第一截断点，与第二侧边线相交于第二截断点，则该车位的标签包括入口角点1的坐标、第一截断点的坐标、第二截断点的坐标和入口角点4的坐标。
c、响应于该车位对应的截断状态为未被截断，且该车位存在至少一个车位角点坐标的遮挡状态为未遮挡，将该车位的各车位角点坐标作为该车位的标签。
其中，对于未被截断的车位，表示该车位的完整区域均在该区域范围内，当该车位存在至少一个车位角点坐标的遮挡状态为未遮挡时，可以根据该未遮挡的车位角点坐标及相邻车位的相关角点坐标，预测出该车位在车辆坐标系下的其他角点坐标，因此，可以将该车位作为有效车位，从而将该车位的各车位角点坐标作为该车位的标签，用于模型的训练，使得模型能够在观测到至少一个车位角点坐标的情况下，预测出车辆坐标系下的完整车位，为泊车提供有效的车位信息。当该车位的所有角点坐标的遮挡状态均为遮挡时，将该车位作为无效车位，不作为模型训练的车位标签。
d、基于各车位的标签，确定该区域范围对应的第三车位标签数据。
其中，根据前述步骤可以获得第一车位标签数据中能够作为有效车位的各车位的标签，可以基于这些车位的标签确定该区域范围对应的第三车位标签数据，对于该区域范围内被截断的车位，若在该车辆位姿下被忽略，可以在其他车辆位姿下被识别。
在一些可选实施例中，对于入口线状态不完整的车位，也可以基于区域范围内的部分与该区域范围的边界的截断点作为该车位的标签。比如被截断的车位的四个角点中只有一个入口角点在区域范围内，则将区域范围的该入口角点坐标、入口线与区域范围的边界的截断点、该入口角点所在的侧边线与区域范围边界的截断点作为该车位的标签。再比如，当车位两个入口角点均不在区域范围内，两个远端点在区域范围内，则将两个远端点坐标、两侧边线分别与区域范围边界的截断点坐标作为该车位的标签，等等。具体可以根据实际需求设置。
e、将第三车位标签数据从地图坐标系转换到该车辆位姿的车辆坐标系下，获得该车辆位姿对应的第二车位标签数据。
其中，地图坐标系到车辆坐标系的转换可以参见前述内容，在此不再赘述。
本实施例通过角点标识区分车位的各角点，从而可以对被区域范围边界截断的车位按照截断的状态确定车位标签数据，有效提高车位标签数据的准确性。
在一些可选的实施例中，基于预设遮挡规则确定该车位角点坐标在该区域范围对应的车辆位姿下的遮挡状态，包括：
将该车位角点坐标转换到该车辆位姿对应的车辆坐标系下，获得第一角点坐标；将第一角点坐标投影到该车辆位姿的各视角分别对应的图像坐标系下，获得第一角点坐标在各视角分别对应的投影点；基于该车辆位姿的各视角的图像分别对应的语义分割结果，确定各投影点分别对应的分割类型；响应于存在至少一个视角的投影点对应的分割类型为第一类型，确定该车位角点坐标的遮挡状态为未遮挡；或者，响应于各视角分别对应的投影点的分割类型均为第二类型，或者，该投影点未在该视角的图像上，确定该车位角点坐标的遮挡状态为遮挡。
其中，车位角点坐标转换到车辆坐标系的具体操作原理可以参见前述内容，在此不再赘述。第一角点坐标投影到各视角的图像坐标系下可以基于各视角的相机内参和外参实现。各视角的图像分别对应的语义分割结果可以基于预先训练获得的语义分割模型获得。语义分割模型可以为任意可实施的模型，比如基于FCN(Fully ConvolutionalNetworks，全卷积神经网络)的语义分割模型、基于U-NET(U型网络)的语义分割模型、基于Deeplabv3及其系列的语义分割模型，等等，具体可以根据实际需求设置，本公开不作限定。第一类型可以包括地面类型或非障碍物类型等表示可被观测到的类型。第二类型可以包括任意的障碍物类型，表示在该投影点处观测到的是障碍物而观测不到该角点。当第一角点坐标在任一视角的投影点在该视角的图像的分割类型为第一类型时，表示该第一角点坐标对应的角点在该视角未被遮挡，能够被观测到，因此确定该第一角点坐标在该视角的遮挡状态为未遮挡，只要第一角点坐标在至少一个视角的遮挡状态为未遮挡，即可确定该第一角点坐标对应的角点在该车辆位姿下的遮挡状态为未遮挡。若第一角点坐标在所有视角下的遮挡状态均为遮挡状态，或者第一角点坐标的投影点未在各视角的图像上，则确定该第一角点坐标对应的角点在该车辆位姿下的遮挡状态为遮挡。
本实施例通过将各车位角点坐标投影到区域范围对应的车辆位姿下的各视角图像坐标系上，根据投影点在各视角的图像上对应的语义分割类型，可以有效确定出角点的遮挡状态，从而为区域范围对应的车位标签数据的确定提供准确有效的可观测到的角点，进一步提高车位标签数据的准确性。
在一些可选的实施例中，基于预设遮挡规则确定该车位角点坐标在该区域范围对应的车辆位姿下的遮挡状态，包括：
将该车位角点坐标转换到该车辆位姿对应的车辆坐标系下，获得第一角点坐标；获取该车辆位姿对应的车辆坐标系下的第一点云数据；确定第一角点坐标与第一点云数据中各点的距离；响应于第一角点坐标与第一点云数据中各点的距离满足预设条件，确定该车位角点坐标的遮挡状态为未遮挡。
其中，第一点云数据表示了在该车辆位姿下，车辆周围的障碍点情况。第一点云数据可以是在建立目标区域的目标点云地图时存储的，也可以是从目标点云地图中提取获得的，具体不作限定。预设条件可以根据实际需求设置，比如预设条件可以为存在至少一个距离小于距离阈值。若第一角点坐标对应的角点在该车辆位姿下未被遮挡，在该角点应该是该车辆位姿下的障碍点，则第一角点坐标应该在第一点云数据附近，基于此，可以计算第一角点坐标与第一点云数据中各点的距离，若第一点云数据中存在至少一个点与第一角点坐标之间的距离小于距离阈值，表示该点为第一角点坐标对应的角点，该角点未被遮挡，基于此，可以确定各车位角点坐标分别对应的遮挡状态。
本实施例通过区域范围的点云数据与车位角点的位置关系，确定出各车位角点坐标分别对应的遮挡状态，从而为区域范围对应的车位标签数据的确定提供准确有效的可观测到的角点，进一步提高车位标签数据的准确性。
在一些可选的实施例中，步骤205的基于各车辆位姿分别对应的图像数据和第二车位标签数据，对预先获得的第一车位检测模型进行训练，获得目标车位检测模型，包括：
步骤2051，将各车辆位姿中的任一车辆位姿作为目标车辆位姿，利用第一车位检测模型对目标车辆位姿对应的各视角的图像进行处理，获得图像处理结果。
其中，图像处理结果包括目标车辆位姿对应的车辆坐标系下的车位预测结果。车位预测结果可以包括预测的各视角图像中所包括的车位在车辆坐标系下的预测框信息，该预测框信息可以包括各车位在车辆坐标系下的至少一个角点坐标。
步骤2052，基于各车辆位姿分别对应的车位预测结果和第二车位标签数据，确定网络损失。
其中，网络损失可以基于预设损失函数确定，预设损失函数可以采用任意可实施的损失函数，比如可以采用交并比(IOU)及其系列的损失函数、L1损失函数、L2损失函数，等等。IOU损失函数是基于车位预测结果中的车位与第二车位标签数据中对应的车位的交并比确定网络损失。L1损失函数是基于车位角点位置的均绝对误差(Mean Absolute Error，简称：MAE)损失函数，L2损失函数是基于车位角点位置的均方误差(Mean Square Error，简称：MSE)损失函数。
步骤2053，基于网络损失对第一车位检测模型的网络参数进行更新，获得第二车位检测模型。
其中，对网络参数的更新可以通过网络损失确定梯度，采用任意可实施的梯度下降算法实现，比如梯度下降算法可以包括随机梯度下降算法、学习率自适应下降算法，等等，具体可以根据实际需求设置，本公开不作限定。
步骤2054，响应于第二车位检测模型满足训练结束条件，将第二车位检测模型作为目标车位检测模型。
其中，第二车位检测模型是否满足训练结束条件可以基于当前迭代次数和第二车位检测模型的网络损失进行判断。比如当前迭代次数达到预设次数阈值或者第二车位检测模型的网络损失收敛，则可以确定第二车位检测模型满足训练结束条件，具体训练结束条件可以根据实际需求设置，本公开不作限定。
步骤2055，响应于第二车位检测模型不满足训练结束条件，将第二车位检测模型作为第一车位检测模型，重复执行将各车辆位姿中的任一车辆位姿作为目标车辆位姿，利用第一车位检测模型对目标车辆位姿对应的各视角的图像进行处理，获得图像处理结果的步骤。
其中，若第二车位检测模型不满足训练结束条件，则需要继续对第二车位检测模型进行迭代训练，具体来说，可以将第二车位检测模型作为上述的第一车位检测模型，重复执行上述步骤2051至步骤2055，直至更新获得的第二车位检测模型满足训练结束条件，将第二车位检测模型作为目标车位检测模型。
图7是本公开一示例性实施例提供的步骤2051的流程示意图。
在一些可选的实施例中，步骤2051中的利用第一车位检测模型对目标车辆位姿对应的各视角的图像进行处理，获得图像处理结果，包括：
步骤20511，利用第一车位检测模型中的第一特征提取网络，分别对各视角的图像进行处理，获得各视角分别对应的图像特征。
其中，第一特征提取网络可以为任意可实施的特征提取网络，比如可以为基于卷积神经网络的特征提取网络，具体比如基于VGG(Visual Geometry Group)的特征提取网络、基于Resnet的特征提取网络，等等，具体不作限定。
在一些可选的实施例中，第一特征提取网络可以包括至少一个视角中各视角分别对应的分支网络，也可以包括同时对各视角的图像进行特征提取的整体特征提取网络，具体网络结构不作限定。
步骤20512，利用第一车位检测模型中的特征映射网络，分别对各视角分别对应的图像特征进行处理，获得各视角分别对应的第一鸟瞰图特征。
其中，特征映射网络用于将各视角分别对应的图像特征映射到车辆坐标系的鸟瞰图视角。与第一特征提取网络类似，特征映射网络可以包括各视角分别对应的分支映射网络，也可以是包括同时对各视角进行映射的整体特征映射网络，具体可以根据实际需求设置。
在一些可选的实施例中，特征映射网络可以采用注意力机制的网络结构、多层感知机(Multilayer Perceptron，简称：MLP)的网络结构，等等。具体可以根据实际需求设置。
在一些可选的实施例中，特征映射网络还可以是基于单应矩阵、深度估计等实现特征映射，具体可以根据实际需求设置。其中单应矩阵是指基于各视角分别对应的相机内参和外参确定映射转换矩阵，实现特征映射。深度估计是指通过估计各视角图像的深度信息，建立图像坐标系与车辆坐标系的转换矩阵，实现特征映射。
步骤20513，利用第一车位检测模型中的特征融合网络，将各视角分别对应的第一鸟瞰图特征进行融合，获得鸟瞰图融合特征。
其中，由于不同视角对应鸟瞰图视角下的不同区域，在获得各视角分别对应的第一鸟瞰图特征后，需要将各视角的第一鸟瞰图特征融合为鸟瞰图视角下的整体特征，具体特征融合网络的网络结构可以根据实际需求设置。比如可以通过拼接(Concat)层进行特征融合，还可以通过相加(add)进行特征融合，还可以采用基于循环神经网络的特征融合网络进行时序特征融合，等等，具体不作限定。
步骤20514，利用第一车位检测模型中的第二特征提取网络，对鸟瞰图融合特征进行处理，获得第二鸟瞰图特征。
其中，第二特征提取网络可以采用任意可实施的特征提取网络，比如基于卷积神经网络的特征提取网络，具体可以根据实际需求设置。通过第二特征提取网络对鸟瞰图特征进行进一步特征提取，从而提取出与车位更相关的特征，便于后续车位的预测。
步骤20515，利用第一车位检测模型中的预测头网络，对第二鸟瞰图特征进行处理，获得图像处理结果。
其中，预测头网络可以采用任意可实施的网络结果，比如基于卷积神经网络的网络结构、基于多层感知机的网络结构，等等，具体不作限定。
本实施例通过第一特征提取网络对各视角的图像进行特征提取，通过特征映射网络将各视角的图像特征映射到鸟瞰图视角，通过特征融合网络将各视角的鸟瞰图特征进行融合，进而通过第二特征提取网络对鸟瞰图融合特征进行进一步特征提取，为预测头网络的车位预测提供更加有效的鸟瞰图特征，从而获得车辆坐标系下的车位预测结果，实现了基于多视角图像到车辆坐标系下的车位的映射关系，有效提高车位检测结果的准确性。
图8是本公开一示例性实施例提供的第一车位检测模型的网络结构示意图。该网络结构包括第一特征提取网络、特征映射网络、特征融合网络、第二特征提取网络和预测头网络。第一特征提取网络用于对多视角的图像进行特征提取获得各视角分别对应的图像特征，特征映射网络用于将各视角分别对应的图像特征转换到鸟瞰图视角，获得各视角分别对应的第一鸟瞰图特征，特征融合网络用于将各视角分别对应的第一鸟瞰图特征进行融合，获得鸟瞰图融合特征，第二特征提取网络用于对鸟瞰图融合特征进行特征提取，获得第二鸟瞰图特征，预测头网络用于对第二鸟瞰图特征进行处理，获得图像处理结果。
在一些可选的实施例中，特征融合网络为基于时序的特征融合网络；步骤20513的利用第一车位检测模型中的特征融合网络，将各视角分别对应的第一鸟瞰图特征进行融合，获得鸟瞰图融合特征，包括：
获取在前鸟瞰图特征，在前鸟瞰图特征包括目标车辆位姿之前的第一数量的车辆位姿分别对应的鸟瞰图特征；将在前鸟瞰图特征转换到目标车辆位姿的鸟瞰图视角下，获得在前鸟瞰图特征对应的目标鸟瞰图特征；利用第一车位检测模型中的特征融合网络，将各视角分别对应的第一鸟瞰图特征与目标鸟瞰图特征进行特征融合，获得鸟瞰图融合特征。
其中，基于时序的特征融合网络可以基于循环神经网络实现。基于时序的特征融合网络用于将各视角分别对应的第一鸟瞰图特征与在前鸟瞰图特征对应的目标鸟瞰图特征进行融合，获得基于时序的鸟瞰图融合特征。对于目标车辆位姿之前的第一数量的车辆位姿，可以将目标车辆位姿对应的采集时刻表示为tn时刻，则第一数量的车辆位姿可以表示为tn-1、tn-2、…、tn-M的M个时刻分别对应的车辆位姿，M表示第一数量。
在一些可选的实施例中，第一数量的车辆位姿分别对应的鸟瞰图特征可以包括该车辆位姿下各视角分别对应的鸟瞰图特征，相应的，目标鸟瞰图特征包括各车辆位姿下的各视角的鸟瞰图特征转换到目标车辆位姿下的特征。对于各视角的第一鸟瞰图特征与目标鸟瞰图特征的融合，可以是先针对每个车辆位姿及目标车辆位姿进行多视角的鸟瞰图特征融合，获得各车辆位姿分别对应的融合特征及目标车辆位姿对应的融合特征，再对各车辆位姿分别对应的融合特征与目标车辆位姿对应的融合特征进行时序融合，获得基于时序的鸟瞰图融合特征。也可以是先进行时序融合，再进行多视角融合，具体融合方式不作限定。
在一些可选的实施例中，第一数量的车辆位姿分别对应的鸟瞰图特征可以包括该车辆位姿下多视角融合后的鸟瞰图融合特征，相应的目标鸟瞰图特征包括各车辆位姿下的鸟瞰图融合特征转换到目标车辆位姿下的目标融合特征，则对于各视角的第一鸟瞰图特征与目标鸟瞰图特征的融合，可以是先将各视角的第一鸟瞰图进行多视角融合，获得目标车辆位姿对应的鸟瞰图融合特征，将目标车辆位姿对应的鸟瞰图融合特征与各车辆位姿对应的目标融合特征进行时序融合，获得基于时序的鸟瞰图融合特征。
在一个可选实施例中，图9是本公开另一示例性实施例提供的第一车位检测模型的网络结构示意图。在本示例中，第一特征提取网络包括各视角分别对应的特征提取分支网络，特征映射网络包括各视角分别对应的分支映射网络，特征融合网络为基于时序的网络结构，目标车辆位姿为tn时刻的车辆位姿，在前鸟瞰图特征为在前鸟瞰图融合特征，在前鸟瞰图融合特征包括tn-1、tn-2、…、tn-M的M个时刻分别对应的鸟瞰图融合特征，M为第一数量，相应的，在前鸟瞰图融合特征对应的车辆位姿包括tn-1、tn-2、…、tn-M的M个时刻分别对应的车辆位姿，将各视角的tn时刻的第一鸟瞰图特征进行融合获得tn时刻鸟瞰图融合特征，根据M个时刻分别对应的车辆位姿将各时刻分别对应的鸟瞰图融合特征转换到tn时刻的鸟瞰图视角下，获得各鸟瞰图融合特征分别对应的目标鸟瞰图融合特征，进而将各目标鸟瞰图融合特征与tn时刻鸟瞰图融合特征进行融合，获得基于时序的鸟瞰图融合特征，进一步对基于时序的鸟瞰图融合特征进行特征提取及预测，获得图像处理结果。在本示例中，对于不同时刻的鸟瞰图融合特征，还可以携带对应时刻的车辆位姿，以进一步提高模型性能。
本公开实施例可以在建立的目标点云地图中稠密地选取车辆位姿，获得各车辆位姿对应的图像及标注的观测连续的真值，实现鸟瞰图特征的时序融合，进一步提高模型性能。
本公开上述各实施例可以单独实施也可以在不冲突的情况下以任意组合方式结合实施，具体可以根据实际需求设置，本公开不做限定。
本公开实施例提供的任一种车位检测模型的训练方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种车位检测模型的训练方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种车位检测模型的训练方法。下文不再赘述。
图10是本公开一示例性实施例提供的车位检测方法的流程示意图。本实施例可应用在电子设备上，具体比如车载计算平台上，如图10所示，包括如下步骤：
步骤301，获取至少一个视角中各视角分别对应的待处理图像。
其中，各视角分别对应的待处理图像可以是车辆在目标区域行驶时摄像头采集的车辆周围的图像。
步骤302，利用目标车位检测模型对各视角分别对应的待处理图像进行处理，获得图像处理结果。
其中，目标车位检测模型基于上述任一实施例提供的车位检测模型的训练方法获得，具体参见上述实施例，在此不再赘述。
步骤303，基于图像处理结果，确定观测到的车辆坐标系下的车位检测结果。
其中，图像处理结果包括目标车位检测模型输出车辆坐标系范围内的各点属于车位角点的概率，基于图像处理结果及预设概率阈值确定观测到的各车位的至少一个角点的角点坐标，作为车位检测结果，可以用于辅助车辆进行各种泊车的规划与控制。
本公开实施例提供的任一种车位检测方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种车位检测方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种车位检测方法。下文不再赘述。
示例性装置
图11是本公开一示例性实施例提供的车位检测模型的训练装置的结构示意图。该实施例的车位检测模型的训练装置可用于实现本公开相应的车位检测模型的训练方法实施例，如图11所示的装置包括：第一获取模块501、第一处理模块502、第二处理模块503、第三处理模块504和第四处理模块505。
第一获取模块501，用于确定目标区域的目标点云地图及目标点云地图的地图坐标系下的至少一个车辆位姿对应的图像数据，任一车辆位姿对应的图像数据包括在车辆位姿下采集的至少一个视角的图像。
第一处理模块502，用于基于预设范围确定规则，确定各车辆位姿分别对应的区域范围。
第二处理模块503，用于获取各区域范围分别对应的地图坐标系下的第一车位标签数据。
第三处理模块504，用于基于各区域范围分别对应的第一车位标签数据，确定各车辆位姿分别对应的车辆坐标系下的第二车位标签数据。
第四处理模块505，用于基于各车辆位姿分别对应的图像数据和第二车位标签数据，对预先获得的第一车位检测模型进行训练，获得目标车位检测模型。
图12是本公开另一示例性实施例提供的车位检测模型的训练装置的结构示意图。
在一些可选的实施例中，第一获取模块501包括：
地图建立单元5011，用于基于车辆在各车辆位姿下采集的目标区域的原图像数据、雷达点云数据、组合惯导数据中的至少一种，建立目标区域的目标点云地图。
第一获取单元5012，用于从各车辆位姿下采集的原图像数据中获取至少一个车辆位姿对应的图像数据。
在一些可选的实施例中，第一处理模块502包括：
第一确定单元5021，用于针对任一车辆位姿，基于该车辆位姿第一方向的第一距离、第二方向的第二距离、第三方向的第三距离和第四方向的第四距离，确定该车辆位姿所在的矩形区域。
第二确定单元5022，用于将该矩形区域作为该车辆位姿对应的区域范围。
在一些可选的实施例中，第二处理模块503包括：
第二获取单元5031，用于获取目标点云地图对应的在地图坐标系下标注的目标车位标签数据集。
其中，目标车位标签数据集包括目标点云地图所包括的各车位分别对应的标签。
第三确定单元5032，用于针对任一区域范围，基于该区域范围，从目标车位标签数据集中确定该区域范围对应的第一车位标签数据。
在一些可选的实施例中，第二获取单元5031具体用于：
基于预先训练获得的点云地图车位检测模型，对目标点云地图进行车位检测，获得目标点云地图对应的目标车位标签数据集。
在一些可选的实施例中，第二获取单元5031具体用于：
基于预先训练获得的点云地图车位检测模型，对目标点云地图进行车位检测，获得目标点云地图对应的目标车位标签数据集；对目标车位标签数据集与目标点云地图进行审核，获得审核后的车位标签数据；将审核后的车位标签数据作为目标车位标签数据集。
在一些可选的实施例中，第三处理模块504包括：
第一处理单元5041，用于针对任一区域范围，基于该区域范围对应的车辆位姿，将该区域范围对应的第一车位标签数据从地图坐标系转换到该车辆位姿的车辆坐标系下，获得该车辆位姿对应的车辆坐标系下的第二车位标签数据。
在一些可选的实施例中，第一车位标签数据包括各车位分别对应的至少一个车位角点坐标及各车位角点坐标分别对应的角点标识；第一处理单元5041具体用于：
对于该区域范围对应的第一车位标签数据中的任一车位，确定该区域范围的边界对该车位的截断状态；对于该车位的任一车位角点坐标，基于预设遮挡规则确定该车位角点坐标在该区域范围对应的车辆位姿下的遮挡状态；基于第一车位标签数据中各车位对应的所述截断状态、各车位角点坐标分别对应的角点标识及对应的遮挡状态，确定第二车位标签数据。
在一些可选的实施例中，第一处理单元5041具体用于：
对于任一车位，响应于该车位对应的截断状态为被截断，基于该车位对应的车位角点坐标及角点标识，确定该车位的入口线状态，入口线状态包括完整状态和不完整状态；响应于该车位的所述入口线状态为完整状态，且该车位的两个入口角点坐标中有至少一个入口角点坐标的所述遮挡状态为未遮挡，将该车位的两个入口角点坐标及两个截断点坐标作为该车位的标签，两个所述截断点坐标是该车位的两个侧边线分别与该区域范围的边界的交点坐标；响应于该车位对应的截断状态为未被截断，且该车位存在至少一个车位角点坐标的遮挡状态为未遮挡，将该车位的各车位角点坐标作为该车位的标签；基于各车位的标签，确定该区域范围对应的第三车位标签数据；将第三车位标签数据从地图坐标系转换到该车辆位姿的车辆坐标系下，获得该车辆位姿对应的第二车位标签数据。
在一些可选的实施例中，第一处理单元5041具体用于：
将该车位角点坐标转换到该车辆位姿对应的车辆坐标系下，获得第一角点坐标；获取该车辆位姿对应的车辆坐标系下的第一点云数据；确定第一角点坐标与第一点云数据中各点的距离；响应于第一角点坐标与第一点云数据中各点的距离满足预设条件，确定该车位角点坐标的遮挡状态为未遮挡。
在一些可选的实施例中，第四处理模块505包括：
第二处理单元5051，用于将各车辆位姿中的任一车辆位姿作为目标车辆位姿，利用第一车位检测模型对目标车辆位姿对应的各视角的图像进行处理，获得图像处理结果。
其中，图像处理结果包括目标车辆位姿对应的车辆坐标系下的车位预测结果。
第三处理单元5052，用于基于各车辆位姿分别对应的车位预测结果和第二车位标签数据，确定网络损失。
第四处理单元5053，用于基于网络损失对第一车位检测模型的网络参数进行更新，获得第二车位检测模型。
第五处理单元5054，用于响应于第一车位检测模型满足训练结束条件，将第二车位检测模型作为目标车位检测模型。
第六处理单元5055，用于响应于第二车位检测模型不满足训练结束条件，将第二车位检测模型作为第一车位检测模型，重复执行将各车辆位姿中的任一车辆位姿作为目标车辆位姿，利用第一车位检测模型对目标车辆位姿对应的各视角的图像进行处理，获得图像处理结果的步骤。
在一些可选的实施例中，第二处理单元5051具体用于：
利用第一车位检测模型中的第一特征提取网络，分别对各视角的图像进行处理，获得各视角分别对应的图像特征；利用第一车位检测模型中的特征映射网络，分别对各视角分别对应的图像特征进行处理，获得各视角分别对应的第一鸟瞰图特征；利用第一车位检测模型中的特征融合网络，将各视角分别对应的第一鸟瞰图特征进行融合，获得鸟瞰图融合特征；利用第一车位检测模型中的第二特征提取网络，对鸟瞰图融合特征进行处理，获得第二鸟瞰图特征；利用第一车位检测模型中的预测头网络，对第二鸟瞰图特征进行处理，获得图像处理结果。
在一些可选的实施例中，特征融合网络为基于时序的特征融合网络；第二处理单元5051具体用于：
利用第一车位检测模型中的特征融合网络，将各视角分别对应的第一鸟瞰图特征与各视角分别对应的在前鸟瞰图特征进行特征融合，获得鸟瞰图融合特征，任一视角对应的在前鸟瞰图特征包括目标车辆位姿之前的第一数量的车辆位姿分别对应的该视角的鸟瞰图特征。
本装置示例性实施例对应的有益技术效果可以参见上述示例性方法部分的相应有益技术效果，在此不再赘述。
图13是本公开一示例性实施例提供的车位检测装置的结构示意图。该实施例的车位检测装置可用于实现本公开相应的车位检测方法实施例，如图13所示的装置包括：第二获取模块601、第五处理模块602和第六处理模块603。
第二获取模块601，用于获取至少一个视角中各视角分别对应的待处理图像。
第五处理模块602，用于利用目标车位检测模型对各视角分别对应的待处理图像进行处理，获得图像处理结果，目标车位检测模型基于上述任一实施例提供的车位检测模型的训练方法获得。
第六处理模块603，用于基于图像处理结果，确定观测到的车辆坐标系下的车位检测结果。
本装置示例性实施例对应的有益技术效果可以参见上述示例性方法部分的相应有益技术效果，在此不再赘述。
示例性电子设备
图14是本公开实施例提供的一种电子设备的结构图，包括至少一个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行一个或多个计算机程序指令，以实现上文中本公开的各个实施例的方法和/或其他期望的功能。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
该输入装置13还可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息，其可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图14中仅示出了该电子设备10中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本公开的实施例还可以提供一种计算机程序产品，包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行上述“示例性方法”部分中描述的本公开各种实施例的方法中的步骤。
计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行上述“示例性方法”部分中描述的本公开各种实施例的方法中的步骤。
计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如但不限于包括电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为其是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本领域的技术人员可以对本公开进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。

Claims (19)

1.一种车位检测模型的训练方法，包括：
确定目标区域的目标点云地图及所述目标点云地图的地图坐标系下的至少一个车辆位姿对应的图像数据，任一所述车辆位姿对应的所述图像数据包括在所述车辆位姿下采集的至少一个视角的图像；
基于预设范围确定规则，确定各所述车辆位姿分别对应的区域范围；
获取各所述区域范围分别对应的所述地图坐标系下的第一车位标签数据；
基于各所述区域范围分别对应的所述第一车位标签数据，确定各所述车辆位姿分别对应的车辆坐标系下的第二车位标签数据；
基于各所述车辆位姿分别对应的图像数据和所述第二车位标签数据，对预先获得的第一车位检测模型进行训练，获得目标车位检测模型。
2.根据权利要求1所述的方法，其中，所述获取各所述区域范围分别对应的所述地图坐标系下的第一车位标签数据，包括：
获取所述目标点云地图对应的在所述地图坐标系下标注的目标车位标签数据集，所述目标车位标签数据集包括所述目标点云地图所包括的各车位分别对应的标签；
针对任一所述区域范围，基于该区域范围，从所述目标车位标签数据集中确定该区域范围对应的所述第一车位标签数据。
3.根据权利要求2所述的方法，其中，所述获取所述目标点云地图对应的在所述地图坐标系下标注的目标车位标签数据集，包括：
基于预先训练获得的点云地图车位检测模型，对所述目标点云地图进行车位检测，获得所述目标点云地图对应的所述目标车位标签数据集。
4.根据权利要求3所述的方法，其中，在所述基于预先训练获得的点云地图车位检测模型，对所述目标点云地图进行车位检测，获得所述目标点云地图对应的所述目标车位标签数据集之后，还包括：
对所述目标车位标签数据集与所述目标点云地图进行审核，获得审核后的车位标签数据；
将所述审核后的车位标签数据作为所述目标车位标签数据集。
5.根据权利要求1所述的方法，其中，所述基于各所述车辆位姿分别对应的图像数据和所述第二车位标签数据，对预先获得的第一车位检测模型进行训练，获得目标车位检测模型，包括：
将各所述车辆位姿中的任一所述车辆位姿作为目标车辆位姿，利用所述第一车位检测模型对所述目标车辆位姿对应的各视角的图像进行处理，获得图像处理结果，所述图像处理结果包括所述目标车辆位姿对应的车辆坐标系下的车位预测结果；
基于各所述车辆位姿分别对应的所述车位预测结果和所述第二车位标签数据，确定网络损失；
基于所述网络损失对所述第一车位检测模型的网络参数进行更新，获得第二车位检测模型；
响应于所述第二车位检测模型满足训练结束条件，将所述第二车位检测模型作为所述目标车位检测模型；或者，
响应于所述第二车位检测模型不满足训练结束条件，将所述第二车位检测模型作为所述第一车位检测模型，重复执行将各所述车辆位姿中的任一所述车辆位姿作为目标车辆位姿，利用所述第一车位检测模型对所述目标车辆位姿对应的各视角的图像进行处理，获得图像处理结果的步骤。
6.根据权利要求5所述的方法，其中，所述利用所述第一车位检测模型对所述目标车辆位姿对应的各视角的图像进行处理，获得图像处理结果，包括：
利用所述第一车位检测模型中的第一特征提取网络，分别对各所述视角的图像进行处理，获得各所述视角分别对应的图像特征；
利用所述第一车位检测模型中的特征映射网络，分别对各所述视角分别对应的所述图像特征进行处理，获得各所述视角分别对应的第一鸟瞰图特征；
利用所述第一车位检测模型中的特征融合网络，将各所述视角分别对应的所述第一鸟瞰图特征进行融合，获得鸟瞰图融合特征；
利用所述第一车位检测模型中的第二特征提取网络，对所述鸟瞰图融合特征进行处理，获得第二鸟瞰图特征；
利用所述第一车位检测模型中的预测头网络，对所述第二鸟瞰图特征进行处理，获得所述图像处理结果。
7.根据权利要求6所述的方法，其中，所述特征融合网络为基于时序的特征融合网络；
所述利用所述第一车位检测模型中的特征融合网络，将各所述视角分别对应的所述第一鸟瞰图特征进行融合，获得鸟瞰图融合特征，包括：
获取在前鸟瞰图特征，在前鸟瞰图特征包括所述目标车辆位姿之前的第一数量的车辆位姿分别对应的鸟瞰图特征；
将所述在前鸟瞰图特征转换到所述目标车辆位姿的鸟瞰图视角下，获得所述在前鸟瞰图特征对应的目标鸟瞰图特征；
利用所述第一车位检测模型中的特征融合网络，将各所述视角分别对应的所述第一鸟瞰图特征与各所述目标鸟瞰图特征进行特征融合，获得所述鸟瞰图融合特征。
8.根据权利要求1所述的方法，其中，所述基于各所述区域范围分别对应的所述第一车位标签数据，确定各所述车辆位姿分别对应的车辆坐标系下的第二车位标签数据，包括：
针对任一所述区域范围，基于该区域范围对应的所述车辆位姿，将该区域范围对应的所述第一车位标签数据从所述地图坐标系转换到该车辆位姿的车辆坐标系下，获得该车辆位姿对应的车辆坐标系下的第二车位标签数据。
9.根据权利要求8所述的方法，其中，所述第一车位标签数据包括各车位分别对应的至少一个车位角点坐标及各车位角点坐标分别对应的角点标识；
基于该区域范围对应的所述车辆位姿，将该区域范围对应的所述第一车位标签数据从所述地图坐标系转换到该车辆位姿的车辆坐标系下，获得该车辆位姿对应的车辆坐标系下的第二车位标签数据，包括：
对于该区域范围对应的所述第一车位标签数据中的任一车位，确定该区域范围的边界对该车位的截断状态；
对于该车位的任一车位角点坐标，基于预设遮挡规则确定该车位角点坐标在该区域范围对应的车辆位姿下的遮挡状态；
基于所述第一车位标签数据中各所述车位对应的所述截断状态、各所述车位角点坐标分别对应的所述角点标识及对应的所述遮挡状态，确定所述第二车位标签数据。
10.根据权利要求9所述的方法，其中，所述基于所述第一车位标签数据中各所述车位对应的所述截断状态、各所述车位角点坐标分别对应的所述角点标识及对应的所述遮挡状态，确定所述第二车位标签数据，包括：
对于任一所述车位，响应于该车位对应的所述截断状态为被截断，基于该车位对应的所述车位角点坐标及所述角点标识，确定该车位的入口线状态，所述入口线状态包括完整状态和不完整状态；
响应于该车位的所述入口线状态为完整状态，且该车位的两个入口角点坐标中有至少一个入口角点坐标的所述遮挡状态为未遮挡，将该车位的两个入口角点坐标及两个截断点坐标作为该车位的标签，两个所述截断点坐标是该车位的两个侧边线分别与该区域范围的边界的交点坐标；或者，
响应于该车位对应的所述截断状态为未被截断，且该车位存在至少一个车位角点坐标的所述遮挡状态为未遮挡，将该车位的各所述车位角点坐标作为该车位的标签；
基于各所述车位的标签，确定该区域范围对应的第三车位标签数据；
将所述第三车位标签数据从所述地图坐标系转换到该车辆位姿的车辆坐标系下，获得该车辆位姿对应的所述第二车位标签数据。
11.根据权利要求9所述的方法，其中，所述基于预设遮挡规则确定该车位角点坐标在该区域范围对应的车辆位姿下的遮挡状态，包括：
将该车位角点坐标转换到该车辆位姿对应的车辆坐标系下，获得第一角点坐标；
将所述第一角点坐标投影到该车辆位姿的各所述视角分别对应的图像坐标系下，获得所述第一角点坐标在各所述视角分别对应的投影点；
基于该车辆位姿的各所述视角的图像分别对应的语义分割结果，确定各所述投影点分别对应的分割类型；
响应于存在至少一个所述视角的所述投影点对应的分割类型为第一类型，确定该车位角点坐标的所述遮挡状态为未遮挡；或者，
响应于各所述视角分别对应的所述投影点的分割类型均为第二类型，或者，该投影点未在该视角的图像上，确定该车位角点坐标的所述遮挡状态为遮挡。
12.根据权利要求9所述的方法，其中，所述基于预设遮挡规则确定该车位角点坐标在该区域范围对应的车辆位姿下的遮挡状态，包括：
将该车位角点坐标转换到该车辆位姿对应的车辆坐标系下，获得第一角点坐标；
获取该车辆位姿对应的车辆坐标系下的第一点云数据；
确定所述第一角点坐标与所述第一点云数据中各点的距离；
响应于所述第一角点坐标与所述第一点云数据中各点的距离满足预设条件，确定该车位角点坐标的所述遮挡状态为未遮挡。
13.根据权利要求1所述的方法，其中，所述基于预设范围确定规则，确定各所述车辆位姿分别对应的区域范围，包括：
针对任一所述车辆位姿，基于该车辆位姿第一方向的第一距离、第二方向的第二距离、第三方向的第三距离和第四方向的第四距离，确定该车辆位姿所在的矩形区域；
将该矩形区域作为该车辆位姿对应的区域范围。
14.根据权利要求1所述的方法，其中，所述确定目标区域的目标点云地图及所述点云地图的地图坐标系下的至少一个车辆位姿对应的图像数据，包括：
基于车辆在各车辆位姿下采集的所述目标区域的原图像数据、雷达点云数据、组合惯导数据中的至少一种，建立所述目标区域的所述目标点云地图；
从各所述车辆位姿下采集的所述原图像数据中获取所述至少一个车辆位姿对应的所述图像数据。
15.一种车位检测方法，包括：
获取至少一个视角中各所述视角分别对应的待处理图像；
利用目标车位检测模型对各所述视角分别对应的所述待处理图像进行处理，获得图像处理结果，所述目标车位检测模型基于权利要求1-14任一项所述的车位检测模型的训练方法获得；
基于所述图像处理结果，确定观测到的车辆坐标系下的车位检测结果。
16.一种车位检测模型的训练装置，包括：
第一获取模块，用于确定目标区域的目标点云地图及所述目标点云地图的地图坐标系下的至少一个车辆位姿对应的图像数据，任一所述车辆位姿对应的所述图像数据包括在所述车辆位姿下采集的至少一个视角的图像；
第一处理模块，用于基于预设范围确定规则，确定各所述车辆位姿分别对应的区域范围；
第二处理模块，用于获取各所述区域范围分别对应的所述地图坐标系下的第一车位标签数据；
第三处理模块，用于基于各所述区域范围分别对应的所述第一车位标签数据，确定各所述车辆位姿分别对应的车辆坐标系下的第二车位标签数据；
第四处理模块，用于基于各所述车辆位姿分别对应的图像数据和所述第二车位标签数据，对预先获得的第一车位检测模型进行训练，获得目标车位检测模型。
17.一种车位检测装置，包括：
第二获取模块，用于获取至少一个视角中各所述视角分别对应的待处理图像；
第五处理模块，用于利用目标车位检测模型对各所述视角分别对应的所述待处理图像进行处理，获得图像处理结果，所述目标车位检测模型基于权利要求1-14任一项所述的车位检测模型的训练方法获得；
第六处理模块，用于基于所述图像处理结果，确定观测到的车辆坐标系下的车位检测结果。
18.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-14任一项所述的车位检测模型的训练方法，或者执行上述权利要求15所述的车位检测方法。
19.一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-14任一项所述的车位检测模型的训练方法，或者，实现上述权利要求15所述的车位检测方法。
CN202310527752.2A 2023-05-10 2023-05-10 车位检测模型的训练方法、车位检测方法、装置和设备 Pending CN116664498A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310527752.2A CN116664498A (zh) 2023-05-10 2023-05-10 车位检测模型的训练方法、车位检测方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310527752.2A CN116664498A (zh) 2023-05-10 2023-05-10 车位检测模型的训练方法、车位检测方法、装置和设备

Publications (1)

Publication Number Publication Date
CN116664498A true CN116664498A (zh) 2023-08-29

Family

ID=87708905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310527752.2A Pending CN116664498A (zh) 2023-05-10 2023-05-10 车位检测模型的训练方法、车位检测方法、装置和设备

Country Status (1)

Country Link
CN (1) CN116664498A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117576645A (zh) * 2024-01-16 2024-02-20 深圳市欧冶半导体有限公司 基于bev视角的车位检测方法、装置和计算机设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117576645A (zh) * 2024-01-16 2024-02-20 深圳市欧冶半导体有限公司 基于bev视角的车位检测方法、装置和计算机设备
CN117576645B (zh) * 2024-01-16 2024-03-22 深圳市欧冶半导体有限公司 基于bev视角的车位检测方法、装置和计算机设备

Similar Documents

Publication Publication Date Title
US11629964B2 (en) Navigation map updating method and apparatus and robot using the same
EP3627180B1 (en) Sensor calibration method and device, computer device, medium, and vehicle
CN110163930B (zh) 车道线生成方法、装置、设备、系统及可读存储介质
US20190080186A1 (en) Traffic light state recognizing method and apparatus, computer device and readable medium
CN112069856A (zh) 地图生成方法、驾驶控制方法、装置、电子设备及系统
CN110287276A (zh) 高精地图更新方法、装置及存储介质
EP3617944A1 (en) Method and apparatus for recognizing object, device, vehicle and medium
WO2021155685A1 (zh) 一种更新地图的方法、装置和设备
CN111652072A (zh) 轨迹获取方法、轨迹获取装置、存储介质和电子设备
CN111027381A (zh) 利用单目相机识别障碍物的方法、装置、设备及存储介质
CN111783595B (zh) 一种车辆泊车方法、装置、车载设备及存储介质
CN115339453B (zh) 车辆换道决策信息生成方法、装置、设备和计算机介质
CN116664498A (zh) 车位检测模型的训练方法、车位检测方法、装置和设备
CN114663852A (zh) 车道线图的构建方法、装置、电子设备及可读存储介质
CN111985300A (zh) 自动驾驶动态目标定位方法、装置、电子设备及存储介质
CN114648551B (zh) 轨迹预测方法及装置
CN114943952A (zh) 多相机重叠视域下障碍物融合方法、系统、设备和介质
CN110853085A (zh) 基于语义slam的建图方法和装置及电子设备
CN115366885A (zh) 用于辅助机动车的驾驶操作的方法、辅助装置及机动车
WO2023155580A1 (zh) 一种对象识别方法和装置
CN111353273A (zh) 一种雷达数据标注方法、装置、设备及存储介质
CN111126154A (zh) 路面元素的识别方法、装置、无人驾驶设备和存储介质
CN113469045B (zh) 无人集卡的视觉定位方法、系统、电子设备和存储介质
CN116295508A (zh) 一种基于高精地图的路侧传感器标定方法、设备和系统
CN115346193A (zh) 一种车位检测方法及其跟踪方法、车位检测装置、车位检测设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination