CN111340877A - 一种车辆定位方法及装置 - Google Patents

Abstract

本发明公开了一种车辆定位方法及装置，可以获得待检测图像；对所述待检测图像的车辆关键点进行识别，获得识别到的所述车辆关键点在所述待检测图像中的位置；将所述车辆关键点在所述待检测图像中的位置投影到与预设投影矩阵对应的三维坐标系以获得所述位置在所述三维坐标系中的三维坐标，根据所述三维坐标对车辆进行定位，获得车辆定位结果。本发明通过识别出图像中的车辆关键点，进而确定车辆关键点在三维坐标系中的三维坐标，从而实现对车辆的准确定位。

Description

一种车辆定位方法及装置

技术领域

本发明涉及车辆定位领域，尤其涉及一种车辆定位方法及装置。

背景技术

随着信息技术的飞速发展，车辆定位技术在公共服务和智能交通等领域应用越来越广。

如今，传统的GPS(Global Positioning System，全球定位系统)等无线电定位系统可以确定车辆所在位置的经纬度。然而，在某些实际场景中，利用当前的无线电定位系统，难以确定车辆在该场景中的相对位置，特别是在室内、地下以及复杂环境等场景。例如，在某商场的地下停车场，可能由于无线电定位信号弱或该地下停车场实际环境复杂(例如：停车场有好几层)等原因，用户难以确定车辆在该停车场具体停放的位置。

因此，如何在各种各样的实际场景中对车辆进行准确定位，成为技术人员亟需解决的问题。

发明内容

鉴于上述问题，本发明提供一种克服上述问题或者至少部分地解决上述问题的一种车辆定位方法及装置，技术方案如下：

一种车辆定位方法，包括：

获得待检测图像；

对所述待检测图像中的车辆关键点进行识别，获得识别到的所述车辆关键点在所述待检测图像中的位置；

将所述车辆关键点在所述待检测图像中的位置投影到与预设投影矩阵对应的三维坐标系以获得所述位置在所述三维坐标系中的三维坐标，根据所述三维坐标对车辆进行定位，获得车辆定位结果。

可选的，所述对所述待检测图像中的车辆关键点进行识别，获得识别到的所述车辆关键点在所述待检测图像中的位置，包括：

对所述待检测图像中的车辆图像进行识别，在识别到所述待检测图像中存在所述车辆图像后，根据识别到的所述车辆图像的边界在所述待检测图像中添加车框标记，获得带有车框标记的目标图像，其中，所述车辆图像位于所述车框标记内；

对所述车框标记上的车辆关键点进行识别，获得识别到的所述车辆关键点在所述目标图像中的位置。

可选的，所述车辆关键点包括：车辆左前轮触地点、车辆右前轮触地点、车辆左后轮触地点和车辆右后轮触地点中的至少一个。

可选的，所述方法还包括：

根据所述车辆关键点确定车辆的朝向。

可选的，在所述根据所述三维坐标对车辆进行定位，获得车辆定位结果之后，所述方法还包括：

将多个待检测图像对应的车辆定位结果进行聚类，获得至少一个车辆簇；

对位于同一车辆簇内的车辆定位结果进行融合处理，确定车辆融合结果。

可选的，所述对所述待检测图像中的车辆图像进行识别，在识别到所述待检测图像中存在所述车辆图像后，根据识别到的所述车辆图像的边界在所述待检测图像中添加车框标记，获得带有车框标记的目标图像，包括：

将所述待检测图像输入至车框检测模型中，获得所述车框检测模型输出的带有车框标记的目标图像，其中，所述目标图像为所述车框检测模型在所述待检测图像中添加车框标记后获得的图像；

所述车框检测模型的训练过程包括：

获得标注有车框标记的车框训练图像；

将所述车框训练图像输入至第一预设卷积神经网络模型中，获得所述车框训练图像的全图特征图；

使用预设的目标检测算法在所述车框训练图像中确定至少一个参考图像；

确定所述至少一个参考图像与所述车框标记的目标重叠度，将所述目标重叠度大于预设阈值的参考图像作为正样本，将所述目标重叠度小于所述预设阈值的参考图像作为负样本；

在所述全图特征图中确定所述正样本的图像特征和所述负样本的图像特征；

对所述正样本的图像特征和所述负样本的图像特征进行机器学习，获得车框检测模型。

可选的，所述对所述车框标记上的车辆关键点进行识别，获得识别到的所述车辆关键点在所述目标图像中的位置，包括：

将所述目标图像输入至车辆关键点识别模型中对车辆关键点进行识别，获得识别到的所述车辆关键点在所述目标图像中的位置；

所述关键点识别模型的训练过程包括：

获得标注有车辆关键点的关键点训练图像；

将所述关键点训练图像输入至第二预设卷积神经网络模型中，获得所述关键点训练图像的全图特征图；

根据所述关键点训练图像中标注的所述车辆关键点的坐标，生成预设热图尺寸的关键点热图；

对所述全图特征图中所述车辆关键点对应的图像特征和所述关键点热图进行机器学习，获得关键点识别模型。

可选的，所述关键点训练图像中的所述车辆关键点上标注有车辆部位信息。

可选的，所述车辆部位信息包括：车辆左前轮、车辆右前轮、车辆左后轮和车辆右后轮中的其中一种。

一种车辆定位装置，包括：待检测图像获得单元、车辆关键点识别单元和车辆定位单元，

所述待检测图像获得单元，用于获得待检测图像；

所述车辆关键点识别单元，用于对所述待检测图像中的车辆关键点进行识别，获得识别到的所述车辆关键点在所述待检测图像中的位置；

所述车辆定位单元，用于将所述车辆关键点在所述待检测图像中的位置投影到与预设投影矩阵对应的三维坐标系以获得所述位置在所述三维坐标系中的三维坐标，根据所述三维坐标对车辆进行定位，获得车辆定位结果。

借由上述技术方案，本发明提供的一种车辆定位方法及装置，可以获得待检测图像；对所述待检测图像的车辆关键点进行识别，获得识别到的所述车辆关键点在所述待检测图像中的位置；将所述车辆关键点在所述待检测图像中的位置投影到与预设投影矩阵对应的三维坐标系以获得所述位置在所述三维坐标系中的三维坐标，根据所述三维坐标对车辆进行定位，获得车辆定位结果。本发明通过识别出图像中的车辆关键点，进而确定车辆关键点在三维坐标系中的三维坐标，从而实现对车辆的准确定位。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种车辆定位方法的流程示意图；

图2示出了本发明实施例提供的另一种车辆定位方法的流程示意图；

图3示出了本发明实施例提供的一种车框标记的示意图；

图4示出了本发明实施例提供的另一种车辆定位方法的流程示意图；

图5示出了本发明实施例提供的一种车框检测模型获得方法的流程示意图；

图6示出了本发明实施例提供的另一种车辆定位方法的流程示意图；

图7示出了本发明实施例提供的一种关键点识别模型获得方法的流程示意图；

图8示出了本发明实施例提供的另一种车辆定位方法的流程示意图；

图9示出了本发明实施例提供的另一种车辆定位方法的流程示意图；

图10示出了本发明实施例提供的一种车辆定位装置的结构示意图；

图11示出了本发明实施例提供的另一种车辆定位装置的结构示意图；

图12示出了本发明实施例提供的另一种车辆定位装置的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

如图1所示，本发明实施例提供的一种车辆定位方法，可以包括：

S100、获得待检测图像。

其中，步骤S100可以从图像采集装置中获得待检测图像，也可以从其他设备(如存储设备或网络侧设备)中获得待检测图像。

其中，待检测图像可以是通过图像采集装置采集的原始图像。其中，图像采集装置可以为黑白摄像机、彩色摄像机以及红外线摄像机等。当然，待检测图像也可以是对图像采集装置采集的原始图像使用某些图像处理方法进行图像处理后获得的图像。

S200、对所述待检测图像中的车辆关键点进行识别，获得识别到的所述车辆关键点在所述待检测图像中的位置。

车辆关键点可以是车辆的车灯、车牌和车标的位置，也可以是其他位置。本发明实施例可以使用目标检测算法对待检测图像的车辆关键点进行识别。其中，目标检测算法可以包括：CNN(Convolutional Neural Networks，卷积神经网络)算法、FPN(FeaturePyramid Networks，特征金字塔网络)算法、SSD(Single Shot MultiBox Detector，单阶段多框物体检测)算法等算法中的至少一种。

可选的，所述车辆关键点可以包括：车辆左前轮触地点、车辆右前轮触地点、车辆左后轮触地点和车辆右后轮触地点中的至少一个。

可以理解的是，在实际使用过程中，由于待检测图像中的部分车辆关键点可能被遮挡，因此本发明实施例可以先识别出待检测图像中的至少一个车辆关键点，再通过预设的各车辆关键点之间的距离和角度，最后识别出其他车辆关键点在待检测图像中的位置。例如，本发明实施例在待检测图像中仅能直接识别出车辆左前轮触地点和车辆左后轮触地点，此时根据预设的各车辆关键点之间的距离和角度，计算出车辆右前轮触地点和车辆右后轮触地点。

可选的，基于图1所示的方法，如图2所示，本发明实施例提供的另一种车辆定位方法，步骤S200可以包括：

S210、对所述待检测图像中的车辆图像进行识别，在识别到所述待检测图像中存在所述车辆图像后，根据识别到的所述车辆图像的边界在所述待检测图像中添加车框标记，获得带有车框标记的目标图像，其中，所述车辆图像位于所述车框标记内。

其中，本发明实施例可以使用目标检测算法对待检测图像中的车辆图像进行识别。

其中，车框标记可以为由多个线段或曲线围绕形成的区域标记，该车框标记可以是封闭或非封闭的线。该车框标记可以是一个规则的图形，也可以是不规则的图形。可选的，车框标记可以为一个矩形框。带有车框标记的目标图像可以如图3所示，虚线框为车框标记，虚线框内为车辆图像。

需要注意的是，目标图像与待检测图像的区别在于：目标图像带有车框标记，待检测图像不带有车框标记。

可选的，基于图2所示的方法，如图4所示，本发明实施例提供的另一种车辆定位方法，步骤S210可以包括：

S211、将所述待检测图像输入至车框检测模型中，获得所述车框检测模型输出的带有车框标记的目标图像，其中，所述目标图像为所述车框检测模型在所述待检测图像中添加车框标记后获得的图像。

其中，车框检测模型可以是卷积神经网络模型。本发明实施例可以使用卷积神经网络模型对车框标记进行机器学习，进而确定车框标记的图像特征。

可选的，如图5所示，本发明实施例提供的一种车框检测模型获得方法，所述车框检测模型的训练过程可以包括：

S10、获得标注有车框标记的车框训练图像。

S11、将所述车框训练图像输入至第一预设卷积神经网络模型中，获得所述车框训练图像的全图特征图。

其中，本发明实施例中的第一预设卷积神经网络模型可以为采用单阶段(one-stage)的RetinaNet网络结构的目标检测算法。具体的，第一预设卷积神经网络模型可以包括Resnet-101的卷积神经网络结构。本发明实施例可以对第一预设卷积神经网络模型中卷积神经网络结构的卷积参数进行设置。卷积参数可以包括卷积核尺寸和输出通道数量。第一预设卷积神经网络模型可以根据设置好的卷积参数对车框训练图像的全图特征图进行机器学习，该全图特征图可以包括车框训练图像的图像几何特征和灰度值分布。

S12、使用预设的目标检测算法在所述车框训练图像中确定至少一个参考图像。

其中，本发明实施例可以使用参考框(anchor box)对参考图像进行框选，即参考框可以为参考图像的边界。可以理解的是，本发明实施例可以在车框训练图像中确定多个参考框。

S13、确定所述至少一个参考图像与所述车框标记的目标重叠度，将所述目标重叠度大于预设阈值的参考图像作为正样本，将所述目标重叠度小于所述预设阈值的参考图像作为负样本。

具体的，本发明实施例可以将车框标记作为目标框(ground truth box)。本发明实施例可以根据参考框和目标框，确定该参考图像与车框标记的目标重叠率。目标重叠率可以为参考框与目标框的交并比(Intersection-over-Union，IOU)，其中，交并比为参考框和目标框的交集与参考框和目标框的并集的比值。预设阈值可以根据实际需求进行设定。例如，预设阈值可以根据技术人员确定框中图像存在车辆图像的参考框与目标框的交并比进行设置。当目标重叠率大于预设阈值时，可以认为该参考框里的参考图像中存在车辆图像。例如，本发明实施例中预设阈值可以为0.9，当目标重叠率为0.93时，该参考图像为正样本，当目标重叠率为0.78时，该参考图像为负样本。

S14、在所述全图特征图中确定所述正样本的图像特征和所述负样本的图像特征。

可以理解的是，由于本发明实施例获得的是车框训练图像的全图特征图，且无论是正样本或负样本的参考图像均在车框训练图像以内，因此，本发明实施例可以对照某一参考图像在车框训练图像所处的区域，在全图特征图中确定与该区域对应的图像特征作为该参考图像的图像特征。

S15、对所述正样本的图像特征和所述负样本的图像特征进行机器学习，获得车框检测模型。

其中，所述车框检测模型的输入可以为待检测图像，所述车框检测模型的输出可以为带有车框标记的目标图像。

本发明实施例可以通过二次分类器对正样本的图像特征和负样本的图像特征进行回归处理，获得可以识别出目标图像的分类器，进而获得可以输出带有车框标记的目标图像的车框检测模型。

可以理解的是，本发明实施例可以使用多个车框训练图像进行步骤S10至步骤S15的车框检测模型训练过程，提升二次分类器识别出目标图像的准确率。

可选的，在步骤S13之后，本发明实施例可以计算参考图像为正样本的参考框与目标框的偏差量。根据该偏差量调整车框检测模型的卷积参数，使得本发明实施例提供的车框检测模型在使用过程中，可以首先在对待检测图像中确定车辆图像的坐标，接着在该坐标加上该偏差值后对应的位置生成车框标记。

S220、对所述车框标记上的车辆关键点进行识别，获得识别到的所述车辆关键点在所述目标图像中的位置。

本发明实施例通过在车框标记上对车辆关键点进行识别的技术手段，在识别车辆关键点时减小识别图像区域，进而减小了识别车辆关键点所需的计算量，同时可以更准确地获得车辆关键点在目标图像中的位置。

可选的，基于图2所示的方法，如图6所示，本发明实施例提供的另一种车辆定位方法，步骤S220可以包括：

S221、将所述目标图像输入至车辆关键点识别模型中对所述车辆关键点进行识别，获得识别到的所述车辆关键点在所述目标图像中的位置。

其中，车辆关键点识别模型可以是卷积神经网络模型。本发明实施例可以使用卷积神经网络模型对车辆关键点进行机器学习，进而确定车辆关键点的图像特征。

可选的，如图7所示，本发明实施例提供的一种关键点识别模型获得方法，所述关键点识别模型的训练过程可以包括：

S20、获得标注有车辆关键点的关键点训练图像。

S21、将所述关键点训练图像输入至第二预设卷积神经网络模型中，获得所述关键点训练图像的全图特征图。

具体的，第二预设卷积神经网络模型可以包括Resnet-50的卷积神经网络结构。本发明实施例可以对第二预设卷积神经网络模型中卷积神经网络结构的卷积参数进行设置。卷积参数可以包括卷积核尺寸和输出通道数量。第二预设卷积神经网络模型的卷积参数可以与第一预设卷积神经网络模型的卷积参数不同。第二预设卷积神经网络模型可以根据设置好的卷积参数对关键点训练图像的全图特征图进行机器学习，该全图特征图可以包括关键点训练图像的图像几何特征和灰度值分布。

S22、根据所述关键点训练图像中标注的所述车辆关键点的坐标，生成预设热图尺寸的关键点热图。

具体的，本发明实施例可以根据车辆关键点在关键点训练图像上的坐标，在该坐标上生成一个成高斯分布的概率区域，其中，该概率区域的中心值最大且中心值为1；将该概率区域叠加至关键点训练图像中，获得关键点热力图。

S23、对所述全图特征图中所述车辆关键点对应的图像特征和所述关键点热图进行机器学习，获得关键点识别模型。

其中，所述关键点识别模型的输入可以为带有车框标记的目标图像，所述关键点识别模型的输出可以为车辆关键点在所述目标图像中的位置。

具体的，本发明实施例可以对车辆关键点对应的图像特征和关键点热图进行回归处理，获得可以识别车辆关键点的关键点识别模型。

可以理解的是，本发明实施例可以使用多个关键点训练图像进行步骤S20至步骤S23的关键点识别模型训练过程，提升关键点识别模型识别车辆关键点的准确率。

可选的，本发明实施例可以根据每次对车辆关键点对应的图像特征和关键点热图进行回归处理产生的回归误差，调整关键点识别模型的卷积参数，使得本发明实施例提供的关键点识别模型在使用过程中，可以对车辆图像对应的关键点热图进行解析，获得车辆关键点在所述目标图像中的位置。

可选的，所述关键点训练图像中的所述车辆关键点上标注有车辆部位信息。可选的，所述车辆部位信息包括：车辆左前轮、车辆右前轮、车辆左后轮和车辆右后轮中的其中一种。

本发明实施例在对关键点识别模型进行训练时，可以对车辆关键点上标注的车辆部位信息进行机器学习。在关键点识别模型使用时，当关键点识别模型识别到车辆关键点之后，可以识别出该车辆关键点对应的车辆部位信息。

S300、将所述车辆关键点在所述待检测图像中的位置投影到与预设投影矩阵对应的三维坐标系以获得所述位置在所述三维坐标系中的三维坐标，根据所述三维坐标对车辆进行定位，获得车辆定位结果。

本发明实施例可以预先定义三维坐标系，接着在该三维坐标系中确定实际应用场景的位置以及该实际应用场景的边界，并根据待检测图像在该实际应用场景中对应的图像角度，设置该待检测图像投影到该三维坐标系中的三维坐标的投影矩阵。实际应用场景可以为停车场、4S店以及洗车店等，本发明实施例不对实际应用场景进行限定。

可选的，投影矩阵可以由待检测图像对应的外参和内参组成。可选的，外参可以包括待检测图像在三维坐标系中对应的位置和朝向。可选的，内参可以是获得待检测图像的装置或设备的物理特性的近似参数。例如：P＝K[R|t]，其中，P为投影矩阵，K为获得待检测图像的装置或设备的物理特性的近似参数，R为待检测图像在三维坐标系中对应的位置，t为待检测图像在三维坐标系中对应的朝向。

本发明实施例可以通过棋盘格标定法对投影矩阵的内参进行标定。具体的，本发明实施例可以在获得待检测图像的装置或设备的采集视野中放置已知固定尺寸的棋盘，通过检测该棋盘在二维图像中的角点位置，计算出该装置或设备的映射矩阵，该映射矩阵即为该图像采集装置的内参。

本发明实施例可以通过点云匹配法对投影矩阵的外参进行标定。具体的，本发明实施例可以对在实际应用场景中安装位置相邻的两个装置或设备的采集视野中，对这两个装置或设备所采集的重叠区域点云对应的点位进行标定，从而确定这两个装置或设备之间的相对位置，进而确定该实际应用场景中所有装置或设备之间的相对位置。因此，在确定该实际应用场景所在的三维坐标系之后，可以确定各获得待检测图像的装置或设备在该三维坐标系中的位置和朝向。

可以理解的是，本发明实施例在确定各车辆关键点的三维坐标后，可以按照各车辆关键点对应的车辆部位，通过多边形对车辆所占区域进行反应。例如：当车辆关键点为车辆的每个轮胎触地点时，则小轿车所占区域的多边形为四边形，三轮车所占区域的多边形为三角形。该多边形以内的区域即为车辆定位结果。

本发明实施例提供的一种车辆定位方法，可以获得待检测图像；对所述待检测图像的车辆关键点进行识别，获得识别到的所述车辆关键点在所述待检测图像中的位置；将所述车辆关键点在所述待检测图像中的位置投影到与预设投影矩阵对应的三维坐标系以获得所述位置在所述三维坐标系中的三维坐标，根据所述三维坐标对车辆进行定位，获得车辆定位结果。本发明通过识别出图像中的车辆关键点，进而确定车辆关键点在三维坐标系中的三维坐标，从而实现对车辆的准确定位。

可选的，如图8所示，本发明实施例提供的另一种车辆定位方法，还可以包括：

S400、根据所述车辆关键点确定车辆的朝向。

由于本发明实施例在对关键点识别模型进行训练时，可以对车辆关键点上标注的车辆部位信息进行机器学习，因此本发明实施例可以通过关键点识别模型识别车辆关键点的车辆部位信息，接着通过车辆部位信息确定车辆的朝向。例如：当识别的的车辆关键点的车辆部位信息分别为：车辆左前轮、车辆右前轮、车辆左后轮和车辆右后轮时，可以根据车辆左前轮和车辆右前轮确定车辆的车头朝向，根据车辆左后轮和车辆右后轮确定车辆的车尾朝向。本发明实施例通过车辆关键点的车辆部位信息，可以确定车辆的朝向，解决了传统车辆定位难以确定车辆朝向的问题。

可以理解的是，本发明实施例可以根据实际应用场景布设多个图像采集装置。各图像采集装置的采集视野可以存在重叠区域。各图像采集装置采集的各待检测检测图像中可以显示同一车辆。那么，为了得到该车辆精确的车辆定位结果，本发明实施例可以将各待检测图像中的该车辆的车辆定位结果进行融合处理，最终得到一个车框融合结果。

具体的，如图9所示，本发明实施例提供的另一种车辆定位方法，在步骤S300之后，所述方法还包括：

S500、将多个待检测图像对应的车辆定位结果进行聚类，获得至少一个车辆簇。

本发明实施例可以按照各车辆定位结果之间的交并比，将交并比大于预设同簇阈值的两个车辆定位结果归为同一车辆簇。

S600、对位于同一车辆簇内的车辆定位结果进行融合处理，确定车辆融合结果。

本发明实施例可以预先对各待检测图像分配预设权重，根据各车辆定位结果对应的图待检测图像的权重，对同一车辆簇内的车辆定位结果进行加权求和，将加权求和的结果作为车辆融合结果。本发明实施例通过对同一车辆在不同待检测图像对应的车辆定位结果进行融合处理，相对于单一车辆定位结果对应的三维坐标而言，车辆融合结果对应的三维坐标更加准确地反应了车辆在该三维坐标系中的位置。

可选的，本发明实施例可以控制同一图像采集装置按照预设图像采集时长采集待检测图像，将在预设图像采集时长内采集的多个待检测图像对应的车辆定位结果进行融合处理，将融合处理后的车辆定位结果作为在该预设图像采集时长内该图像采集装置对应的车辆定位结果。本发明实施例通过对同一图像采集装置在不同时刻采集的待检测图像对应的车辆定位结果进行融合，将融合后的车辆定位结果确定为该图像采集装置在某一时长内输出的车辆定位结果，在一定程度上可以消除由于人路过车辆或车门打开等情况对车辆定位结果产生的误差，使最终产生的车辆定位结果更加准确。

与上述方法实施例相对应，本发明实施例还提供一种车辆定位装置，其结构如图10所示，可以包括：待检测图像获得单元100、车辆关键点识别单元200和车辆定位单元300。

所述待检测图像获得单元100，用于获得待检测图像。

其中，待检测图像获得单元100可以从图像采集装置中获得待检测图像，也可以从其他设备(如存储设备或网络侧设备)中获得待检测图像。

其中，待检测图像可以是通过图像采集装置采集的原始图像。其中，图像采集装置可以为黑白摄像机、彩色摄像机以及红外线摄像机等。当然，待检测图像也可以是在对图像采集装置采集的原始图像使用某些图像处理方法进行图像处理后获得的图像。

所述车辆关键点识别单元200，用于对待检测图像中的车辆关键点进行识别，获得识别到的所述车辆关键点在所述待检测图像中的位置。

车辆关键点可以是车辆的车灯、车牌和车标的位置，也可以是其他位置。本发明实施例可以使用目标检测算法对待检测图像的车辆关键点进行识别。其中，目标检测算法可以包括：CNN(Convolutional Neural Networks，卷积神经网络)算法、FPN(FeaturePyramid Networks，特征金字塔网络)算法、SSD(Single Shot MultiBox Detector，单阶段多框物体检测)算法等算法中的至少一种。

可选的，所述车辆关键点可以包括：车辆左前轮触地点、车辆右前轮触地点、车辆左后轮触地点和车辆右后轮触地点中的至少一个。

可以理解的是，在实际使用过程中，由于待检测图像中的部分车辆关键点可能被遮挡，因此车辆关键点识别单元200可以先识别出待检测图像中的至少一个车辆关键点，再通过预设的各车辆关键点之间的距离和角度，最后识别出其他车辆关键点在待检测图像中的位置。例如，本发明实施例在待检测图像中仅能直接识别出车辆左前轮触地点和车辆左后轮触地点，此时根据预设的各车辆关键点之间的距离和角度，计算出车辆右前轮触地点和车辆右后轮触地点。

可选的，所述车辆关键点识别单元200可以包括：目标图像获得子单元和车辆关键点位置获得子单元。

所述目标图像获得子单元，可以用于对所述待检测图像中的车辆图像进行识别，在识别到所述待检测图像中存在所述车辆图像后，根据识别到的所述车辆图像的边界在所述待检测图像中添加车框标记，获得带有车框标记的目标图像，其中，所述车辆图像位于所述车框标记内。

所述目标图像获得子单元，可以具体用于将所述待检测图像输入至车框检测模型中，获得所述车框检测模型输出的带有车框标记的目标图像，其中，所述目标图像为所述车框检测模型在所述待检测图像中添加车框标记后获得的图像。

所述车辆关键点位置获得子单元，可以用于对所述车框标记上的车辆关键点进行识别，获得识别到的所述车辆关键点在所述目标图像中的位置。

所述车辆关键点位置获得子单元，可以具体用于将所述目标图像输入至车辆关键点识别模型中对所述车辆关键点进行识别，获得识别到的所述车辆关键点在所述目标图像中的位置。

所述车辆定位单元300，用于将所述车辆关键点在所述待检测图像中的位置投影到与预设投影矩阵对应的三维坐标系以获得所述位置在所述三维坐标系中的三维坐标，根据所述三维坐标对车辆进行定位，获得车辆定位结果。

本发明实施例可以预先定义三维坐标系，接着在该三维坐标系中确定实际应用场景的位置以及该实际应用场景的边界，并根据待检测图像在该实际应用场景中对应的图像角度，设置该待检测图像投影到该三维坐标系中的三维坐标的投影矩阵。实际应用场景可以为停车场、4S店以及洗车店等，本发明实施例不对实际应用场景进行限定。

可选的，投影矩阵可以由待检测图像对应的外参和内参组成。可选的，外参可以包括待检测图像在三维坐标系中对应的位置和朝向。可选的，内参可以是获得待检测图像的装置或设备的物理特性的近似参数。例如：P＝K[R|t]，其中，P为投影矩阵，K为获得待检测图像的装置或设备的物理特性的近似参数，R为待检测图像在三维坐标系中对应的位置，t为待检测图像在三维坐标系中对应的朝向。

本发明实施例可以通过棋盘格标定法对投影矩阵的内参进行标定。具体的，本发明实施例可以在获得待检测图像的装置或设备的采集视野中放置已知固定尺寸的棋盘，通过检测该棋盘在二维图像中的角点位置，计算出该装置或设备的映射矩阵，该映射矩阵即为该图像采集装置的内参。

本发明实施例可以通过点云匹配法对投影矩阵的外参进行标定。具体的，本发明实施例可以对在实际应用场景中安装位置相邻的两个装置或设备的采集视野中，对这两个装置或设备所采集的重叠区域点云对应的点位进行标定，从而确定这两个装置或设备之间的相对位置，进而确定该实际应用场景中所有装置或设备之间的相对位置。因此，在确定该实际应用场景所在的三维坐标系之后，可以确定各获得待检测图像的装置或设备在该三维坐标系中的位置和朝向。

可以理解的是，本发明实施例在确定各车辆关键点的三维坐标后，可以按照各车辆关键点对应的车辆部位，通过多边形对车辆所占区域进行反应。

本发明实施例提供的一种车辆定位装置，可以获得待检测图像；对所述待检测图像的车辆关键点进行识别，获得识别到的所述车辆关键点在所述待检测图像中的位置；将所述车辆关键点在所述待检测图像中的位置投影到与预设投影矩阵对应的三维坐标系以获得所述位置在所述三维坐标系中的三维坐标，根据所述三维坐标对车辆进行定位，获得车辆定位结果。本发明通过识别出图像中的车辆关键点，进而确定车辆关键点在三维坐标系中的三维坐标，从而实现对车辆的准确定位。

可选的，基于图10所示装置，如图11所示，本发明实施例提供的另一种车辆定位装置，还可以包括：车辆朝向确定单元400。

由于本发明实施例在对关键点识别模型进行训练时，可以对车辆关键点上标注的车辆部位信息进行机器学习，因此本发明实施例可以通过关键点识别模型识别车辆关键点的车辆部位信息，接着通过车辆部位信息确定车辆的朝向。本发明实施例通过车辆关键点的车辆部位信息，可以确定车辆的朝向，解决了传统车辆定位难以确定车辆朝向的问题。

所述车辆朝向确定单元400，用于根据所述车辆关键点确定车辆的朝向。

可选的，基于图10所示装置，如图12所示，本发明实施例提供的另一种车辆定位装置，还可以包括：聚类处理单元500和融合处理单元600。

所述聚类处理单元500，用于将多个待检测图像对应的车辆定位结果进行聚类，获得至少一个车辆簇。

所述融合处理单元600，用于对位于同一车辆簇内的车辆定位结果进行融合处理，确定车辆融合结果。

本发明实施例可以预先对各待检测图像分配预设权重，所述融合处理单元600可以根据各车辆定位结果对应的图待检测图像的权重，对同一车辆簇内的车辆定位结果进行加权求和，将加权求和的结果作为车辆融合结果。本发明实施例通过对同一车辆在不同待检测图像对应的车辆定位结果进行融合处理，相对于单一车辆定位结果对应的三维坐标而言，车辆融合结果对应的三维坐标更加准确地反应了车辆在该三维坐标系中的位置。

所述车辆定位装置包括处理器和存储器，上述待检测图像获得单元100、车辆关键点识别单元200和车辆定位单元300等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来实现对车辆的准确定位。

本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述车辆定位方法。

本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述车辆定位方法。

本发明实施例提供了一种设备，设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线；其中，处理器、存储器通过总线完成相互间的通信；处理器用于调用存储器中的程序指令，以执行上述的车辆定位方法。本文中的设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有所述车辆定位方法步骤的程序。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

在一个典型的配置中，设备包括一个或多个处理器(CPU)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种车辆定位方法，其特征在于，包括：

获得待检测图像；

对所述待检测图像中的车辆关键点进行识别，获得识别到的所述车辆关键点在所述待检测图像中的位置；

将所述车辆关键点在所述待检测图像中的位置投影到与预设投影矩阵对应的三维坐标系以获得所述位置在所述三维坐标系中的三维坐标，根据所述三维坐标对车辆进行定位，获得车辆定位结果。

2.根据权利要求1所述的方法，其特征在于，所述对所述待检测图像中的车辆关键点进行识别，获得识别到的所述车辆关键点在所述待检测图像中的位置，包括：

对所述待检测图像中的车辆图像进行识别，在识别到所述待检测图像中存在所述车辆图像后，根据识别到的所述车辆图像的边界在所述待检测图像中添加车框标记，获得带有车框标记的目标图像，其中，所述车辆图像位于所述车框标记内；

对所述车框标记上的车辆关键点进行识别，获得识别到的所述车辆关键点在所述目标图像中的位置。

3.根据权利要求1所述的方法，其特征在于，所述车辆关键点包括：车辆左前轮触地点、车辆右前轮触地点、车辆左后轮触地点和车辆右后轮触地点中的至少一个。

4.根据权利要求1所述的方法，其特征在于，还包括：

根据所述车辆关键点确定车辆的朝向。

5.根据权利要求1所述的方法，其特征在于，在所述根据所述三维坐标对车辆进行定位，获得车辆定位结果之后，所述方法还包括：

将多个待检测图像对应的车辆定位结果进行聚类，获得至少一个车辆簇；

对位于同一车辆簇内的车辆定位结果进行融合处理，确定车辆融合结果。

6.根据权利要求2所述的方法，其特征在于，所述对所述待检测图像中的车辆图像进行识别，在识别到所述待检测图像中存在所述车辆图像后，根据识别到的所述车辆图像的边界在所述待检测图像中添加车框标记，获得带有车框标记的目标图像，包括：

将所述待检测图像输入至车框检测模型中，获得所述车框检测模型输出的带有车框标记的目标图像，其中，所述目标图像为所述车框检测模型在所述待检测图像中添加车框标记后获得的图像；

所述车框检测模型的训练过程包括：

获得标注有车框标记的车框训练图像；

将所述车框训练图像输入至第一预设卷积神经网络模型中，获得所述车框训练图像的全图特征图；

使用预设的目标检测算法在所述车框训练图像中确定至少一个参考图像；

确定所述至少一个参考图像与所述车框标记的目标重叠度，将所述目标重叠度大于预设阈值的参考图像作为正样本，将所述目标重叠度小于所述预设阈值的参考图像作为负样本；

在所述全图特征图中确定所述正样本的图像特征和所述负样本的图像特征；

对所述正样本的图像特征和所述负样本的图像特征进行机器学习，获得车框检测模型。

7.根据权利要求2所述的方法，其特征在于，所述对所述车框标记上的车辆关键点进行识别，获得识别到的所述车辆关键点在所述目标图像中的位置，包括：

将所述目标图像输入至车辆关键点识别模型中对车辆关键点进行识别，获得识别到的所述车辆关键点在所述目标图像中的位置；

所述关键点识别模型的训练过程包括：

获得标注有车辆关键点的关键点训练图像；

将所述关键点训练图像输入至第二预设卷积神经网络模型中，获得所述关键点训练图像的全图特征图；

根据所述关键点训练图像中标注的所述车辆关键点的坐标，生成预设热图尺寸的关键点热图；

对所述全图特征图中所述车辆关键点对应的图像特征和所述关键点热图进行机器学习，获得关键点识别模型。

8.根据权利要求7所述的方法，其特征在于，所述关键点训练图像中的所述车辆关键点上标注有车辆部位信息。

9.根据权利要求8所述的方法，其特征在于，所述车辆部位信息包括：车辆左前轮、车辆右前轮、车辆左后轮和车辆右后轮中的其中一种。

10.一种车辆定位装置，其特征在于，包括：待检测图像获得单元、车辆关键点识别单元和车辆定位单元，

所述待检测图像获得单元，用于获得待检测图像；

所述车辆关键点识别单元，用于对所述待检测图像中的车辆关键点进行识别，获得识别到的所述车辆关键点在所述待检测图像中的位置；

所述车辆定位单元，用于将所述车辆关键点在所述待检测图像中的位置投影到与预设投影矩阵对应的三维坐标系以获得所述位置在所述三维坐标系中的三维坐标，根据所述三维坐标对车辆进行定位，获得车辆定位结果。

Images