CN112132013B - 一种车辆关键点检测方法 - Google Patents

Abstract

本发明涉及一种车辆关键点检测方法及系统，所述方法包括图像预处理、车辆关键点标记、车辆关键点检测网络构建、车辆关键点检测网络训练与使用，本发明将车辆的关键点分为简单关键点和困难关键点，先检测简单关键点，后检测困难关键点。为了更加精准定位车辆的困难关键点，充分地利用浅层特征与深层特征的信息，本发明采用自下而上的方式进行特征融合。最后，为了对定位偏差较大的关键点进行校正，使关键点的检测效果更加精准，本发明还增加了关键点偏移预测分支来预测关键点到车辆中心点的偏移。

Description

一种车辆关键点检测方法

技术领域

本发明涉及计算机视觉和智能交通技术领域，特别涉及一种车辆关键点检测方法。

背景技术

随着深度学习的快速发展，智能交通体系也得到了快速的发展，而车辆关键点检测技术在智能交通体系中发挥着基础而重要的作用。如车辆3D shape估计需要先准确检测出车辆的2D关键点再进行shape估计。车辆重识别可以根据车辆关键点对每辆车赋予一个ID。车辆方向识别根据车辆关键点的相对位置判断车辆的行驶方向。目前主流的目标检测也利用到了车辆关键点检测技术，不同于以往的直接检测，它们利用检测出的关键点来构成目标的矩形框，跟传统检测方法相比能能够达到更好的检测效果。

车辆关键点检测的主要任务是给定一个车辆实例图片，定位出预先定义的关键点在图片中的位置。当前的车辆关键点检测方法主要是利用人体姿态估计的方法直接检测，但是车辆关键点跟人体关键点存在一定的差距，人体关键点充满灵活性，车辆关键点相比人体关键点更加固定。此外，车辆关键点比人体关键点的遮挡情况更加严重，主要原因有：1)摄像机只能照到物体的一边(左边或右边，前面或后面)，导致无论是什么姿态的车辆都会有自身遮挡，正常姿态的一辆车中大约有一半的关键点是处于不可见的状态，这相对于人体关键点遮挡来说是很严重的遮挡问题。2)一幅图片中可能包含多辆车，他们彼此相互遮挡，这是一种更复杂的遮挡情况，跟人体姿态估计中遮挡问题类似。3)数据集中包含大量车辆的一部分车身处于画面外，也给车辆关键点检测带来了难度。除了上述遮挡问题外，车辆关键点检测还面临着光照、复杂背景等问题，使得车辆关键点检测技术成为计算机视觉领域一个值得挑战的任务，因此需要设计一个专门用来检测车辆关键点的方法。

现有的技术只有人体姿态估计方法，如MaskRCNN(文献《Mask R-CNN for ObjectDetection and Segmentation》提出先检测物体的矩形框，再用矩形框提取特征上对应位置上的特征来检测关键点。尽管已经取得了很大的进步，但是仍然存在很多具有挑战性的情况，如关键点被遮挡，关键点不可见以及背景拥挤，无法很好地定位。本发明融合了更丰富的上下文信息，对于推断关键点的位置发挥了重要的作用，并且针对检测难度特别大的关键点，本发明使用关键点偏移来约束关键点的预测。

MSPN(文献《Rethinkingon Multi-Stage Networks for HumanPoseEstimation》)提出一个多级网络，将前阶段的信息传播到后阶段与后阶段特征进行融合。本发明提出的方法不用级联多个模块就能准确高效的定位关键点。

还有方法比如文献《Does Learning Specific Features for Related PartsHelp Human Pose Estimation？》提出将关键点分组，先共享参数，再分别预测每组的关键点，网络分别预测每组关键点消除了关键点之间的消极影响，但是同时关键点之间的积极影响也削弱了，对于关键点的定位其他关键点的信息是非常重要的，本发明虽然将关键点进行分组，但是每组之间并不是完全独立的，比如困难关键点是在简单关键点检测的基础上检测的，且困难关键点并不是简单关键点以外的关键点，它包括全部关键点中的检测困难的关键点。

在人工预先定义关键点方面，像车辆重识别等任务只需检测出车辆的可见关键点，对于车辆的结构信息不能很好的表征，本发明考虑到车辆是一个刚体，具有很强的结构性，并且为了给后续3D shape估计等任务提供足够信息，定义车辆的关键点为12个，包括前后四个车轮的中心点、前后四个车灯的中心点和车顶四个角点。本方法考虑到由于遮挡等问题，每个关键点的检测难度不一样，将车辆关键点分为两类，一类是简单关键点，另一类是困难关键点。本方法遵循由易到难的准则，先检测简单关键点，再检测困难关键点，并且在困难关键点检测阶段添加特征融合模块和辅助任务，对于车辆关键点的检测特别是困难关键点的检测具有很好的效果，同时最小化其运营成本。

总之，目前现有背景技术的技术不足总结为以下几点：现有技术一般是同时检测所有的车辆关键点，没有考虑到不同关键点差异，并且现有技术一般是级联多个类似encoder-decoder的结构，网络规模较大，检测速度会因此降低；现有技术的特征融合一般是同一阶段的特征自上而下融合或不同阶段同一level特征融合，而没有考虑到浅层特征对定位的作用；现有技术没有针对检测误差特别大的困难关键点做更多的处理，使遮挡或不可见的关键点检测效果还不是很理想。

发明内容

本发明所解决的技术问题：为了解决现有车辆关键点检测技术的实时性受限、精度有待提高、鲁棒性不好等问题，本发明公开了一种车辆关键点检测方法。首先，本发明将车辆的关键点分为简单关键点和困难关键点，先检测简单关键点，后检测困难关键点；其次，为了更加精准定位车辆的困难关键点，充分地利用浅层特征的空间信息和深层特征的语义信息，本发明采用自下而上的特征融合方式融合浅层特征。最后，为了对定位偏差较大的关键点进行校正，使关键点的检测效果更加精准，本发明在网络上增加了一个偏移预测分支来预测关键点到车辆中心点的偏移。

本发明所采用的技术方案：

本发明提供了一种车辆关键点检测方法，包括以下步骤：

步骤1)图像预处理，获取车辆实例图像，并对所述实例图像进行预处理，每张所述实例图像包含单个车辆；

步骤2)车辆关键点标记，对已预处理的实例图像标记车辆N个关键点，得到实例图像对应的关键点标记信息，所述关键点标记信息包括关键点标签与关键点位置，所述关键点标签包括可见与不可见，定义简单关键点与困难关键点，所述简单关键点为可见的若干关键点，所述困难关键点为根据基于预测误差的设定条件所筛选的若干关键点；

步骤3)车辆关键点检测网络构建，所述关键点检测网络包括特征提取模块、简单关键点检测模块和困难关键点模块，其中所述特征提取模块用于提取不同分辨率的K个特征图，所述简单关键点检测模块用于预测简单关键点位置，所述困难关键点检测模块用于对K个特征图进行特征融合并预测关键点位置与关键点到车辆中心的偏移量，所述困难关键点检测模块包括特征融合子模块、关键点检测分支与关键点偏移预测分支；

步骤4)车辆关键点检测网络训练，定义所述关键点检测网络的损失函数，使用已预处理的实例图像与对应的关键点标记信息对所述关键点检测网络的参数进行训练，得到已训练的车辆关键点检测网络；

步骤5)车辆关键点检测网络使用，对待检测图像进行预处理，并输入已训练的车辆关键点检测网络进行检测，最后输出待检测图像的关键点检测结果，所述关键点检测结果包括所述检测网络中所述困难关键点检测模块所预测的关键点位置与关键点到车辆中心的偏移量。

进一步地，所述步骤2)中，所述关键点分为3组，分别为4个车轮关键点、4个车灯关键点与4个车顶关键点，所述困难关键点为选择每组关键点中预测误差最大的2个关键点所组成的6个关键点。

进一步地，所述步骤3)中，所述特征提取模块的结构包括1个ResNet与K个1×1卷积层，ResNet接收预处理后的实例图像，提取不同分辨率的K个特征图，对每个特征图使用1个1×1卷积层进行卷积操作使K个特征图的通道数相同，并发送至所述简单关键点检测模块。

进一步地，所述步骤3)中，所述简单关键点检测模块的结构包括K个1×1卷积层与K个输出层，所述简单关键点检测模块接收K个特征图并发送至所述困难检测点模块中的特征融合子模块，同时对每个特征图使用1个1×1卷积层进行卷积操作生成对应的热图，并发送至对应的输出层输出，进而得到K个热图，所述热图的通道数等于关键点数N且每个通道代表对应的关键点的预测概率分布。

进一步地，所述步骤3)中，所述困难关键点检测模块中，所述特征融合子模块接收K个特征图进行特征融合得到融合特征图，并将融合特征图分别发送至关键点检测分支与关键点偏移预测分支，所述关键点检测分支与所述关键点偏移预测分支并行，所述关键点检测分支预测关键点位置并输出，所述关键点偏移预测分支预测关键点到车辆中心的偏移量并输出。

所述特征融合子模块的结构包括K个采样层、一个由浅层特征图到深层特征图的信息传播路径与一个concat层，所述特征融合子模块接收所述简单关键点检测模块所发送的K个特征图后，首先通过K个采样层进行上采样操作将K个特征图处理为相同的分辨率，然后通过所述信息传播路径生成生成K个对应的中间融合特征图，然后通过concat层对K个中间融合特征图进行concat操作生成1个融合特征图，并通过一个bottleneck模块将通道数减小为K分之一，最后分别发送至所述关键点预测分支与关键点偏移预测分支。

进一步地，所述步骤3)中，所述关键点检测分支的结构包括2个3×3卷积层和一个输出层,第1个3×3卷积层对所接收的特征图进行卷积操作分辨率和通道数保持不变，第2个3×3卷积对第1个3×3卷积层的结果进行卷积操作生成对应的热图，所述热图的通道数等于关键点数N且每个通道代表对应的关键点的预测概率分布。

进一步地，所述步骤3)中，所述关键点偏移预测分支的结构2个3×3卷积层和一个输出层,第1个3×3卷积层对所接收的特征图进行卷积操作分辨率和通道数保持不变，第2个3×3卷积对第1个3×3卷积层的结果进行卷积操作生成对应的预测结果，所述预测结果包括对应的关键点到车辆中的x偏移量与y偏移量。

进一步地，所述步骤3)中，所述由浅层特征图到深层特征图的信息传播路径为依次将K个特征图中的浅层特征图与相邻的深层特征图进行concat操作后生成1个中间融合特征图，连接一个1×1卷积层进行卷积操作使中间融合特征图的通道数减半，然后将所述中间融合特征图与下一个深层特征图进行concat操作并进行卷积操作再生成1个中间融合特征图，迭代进行直到最后K个特征图融合完成生成K个对应的中间融合特征图发送并至concat层。

进一步地，所述步骤4)中，所述关键点检测网络的损失函数

loss＝loss1+loss2+loss3，

其中，loss1为表示所述简单关键点检测模块针对简单关键点位置所预测生成的热图与真实关键点标签的高斯热图之间误差的L2损失函数，loss2为表示所述困难关键点检测模块针对困难关键点位置所预测生成的热图与真实关键点标签的高斯热图之间误差的L2损失函数，loss3为表示所述困难关键点检测模块针对困难关键点偏移的预测结果与真实关键点偏移之间误差的smooth L1损失函数。

另外，本发明还对应提供了一种车辆关键点检测系统，所述系统包括图像预处理模块、关键点检测模块与结果输出模块；所述图像预处理模块，用于输入和预处理包含单个车辆的待检测图像并进行预处理，得到已预处理的图像，并发送至所述车辆关键点检测模块；所述车辆关键点检测模块用于检测图像上的关键点，并将关键点检测结果发送至结果输出模块，所述车辆关键点检测模块包括已训练的车辆关键点检测网络，所述关键点检测网络包括特征提取模块、简单关键点检测模块和困难关键点模块，其中所述特征提取模块用于提取不同分辨率的K个特征图，所述简单关键点检测模块用于预测简单关键点位置，所述困难关键点检测模块用于对K个特征图进行特征融合并预测关键点位置与关键点到车辆中心的偏移量，所述困难关键点检测模块包括特征融合子模块、关键点检测分支与关键点偏移预测分支；所述结果输出模块，用于输出呈现关键点检测结果，所述关键点检测结果为图像中所预测的关键点位置与关键点到车辆中心的偏移量。

本发明相较于现有技术所具备的技术优点：

本发明针对车辆遮挡情况严重、场景复杂等问题公开了一种专门用于车辆关键点检测的方法，相较于现有技术的缺点不足而言具有以下多个技术优点：

(1)本发明将车辆关键点分为简单关键点和困难关键点，网络级联了两级检测模块，即简单关键点检测模块和困难关键点检测模块，网络结构简单，网络的检测速度也是可观的，因此本发明在实现精度的同时兼顾了速度，实现了一个简单有效的车辆关键点检测网络；

(2)本发明提出了自下而上的特征融合，构建了一个从浅层到深层信息传播路径，使得深层的信息得到丰富，浅层特征的空间信息使得整个车辆关键点的定位更加精准；

(3)本发明提出了关键点偏移预测分支，对预测偏差大的关键点具有明显的矫正作用，在复杂场景下，本发明具有很好的鲁棒性，特别是对于遮挡的关键点具有明显的效果提升，能够很好地应用于智能交通领域。

附图说明

图1车辆关键点检测总体处理流程图；

图2车辆关键点标记，浅色为可见关键点，深色为不可见关键点；

图3车辆关键点检测网络的结构图；

图4车辆关键点检测结果示意图；

图5简单关键点检测模块效果示意图；

图6困难关键点检测模块效果示意图。

具体实施方式

以下部分将结合附图以及具体的工作流程来进一步说明本发明的具体实施方式。

为了解决遮挡、复杂背景等问题，本发明提供了一种基于深度学习的车辆关键点检测方法，包括车辆关键点标记、车辆关键点检测网络、检测网络的模型训练与使用。

实施例的总体处理流程如图1所示，首先获取单个车辆实例图像，然后将总体流程分为训练过程和使用过程，在训练过程中将图像进行预处理后定义车辆关键点，然后搭建车辆关键点检测网络并训练网络。使用过程预处理单个车辆实例后使用训练过程得到的车辆关键点检测网络直接得到最后的检测结果。

车辆实例图像，作为示例，本发明采用的数据集是来自CMU的carfusion数据集，该数据集包括53000张图片，共100000个车辆实例，每辆车标注了14个关键点和每辆车定位的矩形框，关键点除标注了坐标外还标注了它是否可见(0表示不在图片内，1表示不可见，2表示可见)，其中在数据集中第14个关键点的标注全为0，第9个关键点标注不明确，因此，本发明在训练过程和使用过程中虽然都是预测14个关键点，实际上真正有检测效果的只有前后四个车灯、车灯四个角点和四个车轮中心点共12个关键点。

数据集中每张图片中可能包含多辆车，为了获取单个车辆实例，本发明用每辆车标注的矩形框将车辆剪裁出来，大小为256×196，其中剪裁方式为仿射变换，仿射变换可使剪裁出来的车辆不变形，不影响后面的车辆检测。

图像预处理，将得到的单个车辆实例图像归一化处理，并使用在线随机增强的方式进行数据增强，增强方式包括水平翻转和随机旋转。

车辆关键点标记根据车辆关键点的检测难度将车辆关键点分为简单关键点和困难关键点，使检测网络能够由易到难学习，克服一些关键点难以检测的问题，其中简单关键点为可见关键点，如图2中浅色关键点。将所有车辆关键点划分为三组关键点，分别是车轮关键点G1、车灯关键点G2和车顶关键点G3，分别取三组关键点中预测误差最大的两个关键点组成困难关键点，共六个困难关键，所有关键点中的可见关键点为简单关键点。

车辆关键点检测网络如图3所示，由特征提取模块、简单关键点检测模块和困难关键点模块构成。

1)特征提取模块是指从输入图像提取多分辨率特征，为关键点检测提供足够的上下文信息。作为示例本发明将resnet作为特征提取模块，输入图像通过特征提取模块后获得4个不同分辨率的特征图，对四个特征图进行通道处理，即通过一个1×1卷积将特征的通道数变成256，最后得到图2中的f0,f1,f2,f3，分辨率分别为8×6,16×12,32×24,64×48。

2)简单关键点检测模块利用特征提取模块所提取的特征来预测简单关键点，在特征提取模块提取的f0,f1,f2,f3特征上分别预测所有的简单关键点。具体地，在每个特征上通过一个1×1卷积生成一个14(每辆车的关键点个数)通道的特征(热图)，一个通道对应一个关键点，每个通道上的每个位置数值代表该关键点位于该位置的概率，生成的热图如图5所示。

3)困难关键点检测主要包括自下而上特征融合模块和多任务学习两部分：

a)自下而上特征融合利用浅层特征的空间信息来丰富深层信息，以提高困难关键点的检测精度。具体地，将简单关键点检测模块的4个特征上采样到一样的分辨率后构建一个由浅到深的信息传播路径，如图2所示，将浅层特征F3和深层特征F2 concat后连接一个1×1卷积使通道减半，再将此特征与下一个深层特征F1 concat后连接一个1×1卷积使通道减半，以此方式融合直到4个特征全部融合完成，最后将融合完成的特征concat成一个特征用于后续困难关键点检测，concat后的特征通道为原先的四倍，分辨率不变。然后用一个bottleneck模块来实现将通道数减小为原来的四分之一，即通道数变成256。

多任务学习是在特征融合完成之后，指在预测困难关键点时并行连接一个关键点偏移预测分，以提高困难关键点检测精度。具体地，先在自下而上特征融合模块得到的特征图上进行关键点检测和关键点偏移预测，关键点位置检测网络分支如图3所示，结构上连接两个3×3卷积，特征通过第一个卷积后通道数和分辨率均保持不变，第二个卷积生成最后的14通道的热图，其中一个通道对应一个关键点，每个通道上的每个位置的数值代表该关键点位于该位置的概率，生成的热图如图6所示，关键点偏移分支是指预测每个关键点到车辆中心的偏移矢量，其中车辆中心定义为车辆关键点最左边、最右边、最上边和最下边四个关键点形成的矩形框的中心点，每个关键点到中心点的偏移定义为中心点坐标减去关键点坐标的二维矢量。网络结构上关键点偏移分支也是连接两个3×3卷积,特征通过第一个卷积后通道数和分辨率均保持不变，第二个卷积生成最后的2通道特征，其中两个通道分别代表x和y，关键点i对应的(x,y)为以关键点i的groundtruth作为索引在两个通道上对应的值。

网络模型训练，首先在简单关键点检测模块的特征图f0,f1,f2,f3上分别预测一个关键点热图，遵循由粗到细的准则，f0,f1,f2,f3对应的真实标签的kernel size分别为7，9，11，15,其中真实标签为以关键点为中心点生成的高斯热图，将四张热图与其对应的真实标签对比形成中间监督，其中只对可见关键点的loss进行回传，其次在困难关键点检测模块的关键点检测分支，如简单关键点检测模块所示计算预测的热图与标签的高斯热图的误差，根据车辆关键点的定义选取每组关键点中loss最大的2个关键点进行学习，使网络注重学习各组中误差较大的困难关键点。在偏移预测分支中，计算每个关键点的预测偏移矢量与真实标签的误差。训练过程loss主要由三部分构成，即loss＝loss1+loss2+loss3。loss1为L2 loss,是简单关键点检测部分的损失，loss2也为L2 loss,是困难关键点检测部分的损失，loss3为Smooth l1 loss，是关键点偏移预测部分的损失。

车辆关键点预测，使用过程将单个车辆实例经过归一化的预处理后输入由训练阶段得到的网络模型，简单关键点检测模块不再进行关键点预测而是直接在困难关键点模块的关键点检测分支得到所有关键点的热图，一个通道对应一个关键点，最后每个关键点对应的热图上响应最大的点的索引即为该关键点的位置。最后检测结果如图4所示，图4中的车辆包括正常视角的车辆、截断的车辆和被遮挡的车辆，对于正常视角的车辆本发明能准确的定位车辆关键点，对于截断和被遮挡的两类检测难度比较大的车辆，本发明虽然能提高检测精度，但是相比正常视角车辆的检测效果还需设计更有效的方法来结合更多的上下文信息以提高它们的检测效果。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (8)

1.一种车辆关键点检测方法，其特征在于，所述方法包括以下步骤：

步骤1)图像预处理，获取车辆实例图像，并对所述实例图像进行预处理，每张所述实例图像包含单个车辆；

步骤2)车辆关键点标记，对已预处理的实例图像标记车辆N个关键点，得到实例图像对应的关键点标记信息，所述关键点标记信息包括关键点标签与关键点位置，所述关键点标签包括可见与不可见，定义简单关键点与困难关键点，所述简单关键点为可见的若干关键点，所述困难关键点为根据基于预测误差的设定条件所筛选的若干关键点；

步骤3)车辆关键点检测网络构建，所述关键点检测网络包括特征提取模块、简单关键点检测模块和困难关键点检测模块，其中所述特征提取模块用于提取不同分辨率的K个特征图，所述简单关键点检测模块用于预测简单关键点位置，所述困难关键点检测模块用于对K个特征图进行特征融合并预测关键点位置与关键点到车辆中心的偏移量，所述困难关键点检测模块包括特征融合子模块、关键点检测分支与关键点偏移预测分支；

步骤4)车辆关键点检测网络训练，定义所述关键点检测网络的损失函数，使用已预处理的实例图像与对应的关键点标记信息对所述关键点检测网络的参数进行训练，得到已训练的车辆关键点检测网络；

步骤5)车辆关键点检测网络使用，对待检测图像进行预处理，并输入已训练的车辆关键点检测网络进行检测，最后输出待检测图像的关键点检测结果，所述关键点检测结果包括所述检测网络中所述困难关键点检测模块所预测的关键点位置与关键点到车辆中心的偏移量。

2.根据权利要求1中所述的一种车辆关键点检测方法，其特征在于，所述步骤2)中，所述关键点分为3组，分别为4个车轮关键点、4个车灯关键点与4个车顶关键点，所述困难关键点为选择每组关键点中预测误差最大的2个关键点所组成的6个关键点。

3.根据权利要求1或2中所述的一种车辆关键点检测方法，其特征在于，所述步骤3)中，所述特征提取模块的结构包括1个ResNet与K个1×1卷积层，ResNet接收预处理后的实例图像，提取不同分辨率的K个特征图，对每个特征图使用1个1×1卷积层进行卷积操作使K个特征图的通道数相同，并发送至所述简单关键点检测模块。

4.根据权利要求3中所述的一种车辆关键点检测方法，其特征在于，所述步骤3)中，所述简单关键点检测模块的结构包括K个1×1卷积层与K个输出层，所述简单关键点检测模块接收K个特征图并发送至所述困难关键点 检测模块中的特征融合子模块，同时对每个特征图使用1个1×1卷积层进行卷积操作生成对应的热图，并发送至对应的输出层输出，进而得到K个热图，所述热图的通道数等于关键点数N且每个通道代表对应的关键点的预测概率分布。

5.根据权利要求4中所述的一种车辆关键点检测方法，其特征在于，所述步骤3)中，所述困难关键点检测模块中，所述特征融合子模块接收K个特征图进行特征融合得到融合特征图，并将融合特征图分别发送至关键点检测分支与关键点偏移预测分支，所述关键点检测分支与所述关键点偏移预测分支并行，所述关键点检测分支预测关键点位置并输出，所述关键点偏移预测分支预测关键点到车辆中心的偏移量并输出；

所述特征融合子模块的结构包括K个采样层、一个由浅层特征图到深层特征图的信息传播路径与一个concat层，所述特征融合子模块接收所述简单关键点检测模块所发送的K个特征图后，首先通过K个采样层进行上采样操作将K个特征图处理为相同的分辨率，然后通过所述信息传播路径生成K个对应的中间融合特征图，然后通过concat层对K个中间融合特征图进行concat操作生成1个融合特征图，并通过一个bottleneck模块将通道数减小为K分之一，最后分别发送至所述关键点预测分支与关键点偏移预测分支；

所述关键点检测分支的结构包括2个3×3卷积层和一个输出层,第1个3×3卷积层对所接收的特征图进行卷积操作分辨率和通道数保持不变，第2个3×3卷积对第1个3×3卷积层的结果进行卷积操作生成对应的热图，所述热图的通道数等于关键点数N且每个通道代表对应的关键点的预测概率分布；

所述关键点偏移预测分支的结构2个3×3卷积层和一个输出层,第1个3×3卷积层对所接收的特征图进行卷积操作分辨率和通道数保持不变，第2个3×3卷积对第1个3×3卷积层的结果进行卷积操作生成对应的预测结果，所述预测结果包括对应的关键点到车辆中的x偏移量与y偏移量。

6.根据权利要求5中所述的一种车辆关键点检测方法，其特征在于，所述步骤3)中，所述由浅层特征图到深层特征图的信息传播路径为依次将K个特征图中的浅层特征图与相邻的深层特征图进行concat操作后生成1个中间融合特征图，连接一个1×1卷积层进行卷积操作使中间融合特征图的通道数减半，然后将所述中间融合特征图与下一个深层特征图进行concat操作并进行卷积操作再生成1个中间融合特征图，迭代进行直到最后K个特征图融合完成生成K个对应的中间融合特征图发送并至concat层。

7.根据权利要求1所述的一种车辆关键点检测方法，其特征在于，所述步骤4)中，所述关键点检测网络的损失函数：

loss＝loss1+loss2+loss3，

其中，loss1为表示所述简单关键点检测模块针对简单关键点位置所预测生成的热图与真实关键点标签的高斯热图之间误差的L2损失函数，loss2为表示所述困难关键点检测模块针对困难关键点位置所预测生成的热图与真实关键点标签的高斯热图之间误差的L2损失函数，loss3为表示所述困难关键点检测模块针对困难关键点偏移的预测结果与真实关键点偏移之间误差的smooth L1损失函数。

8.一种车辆关键点检测系统，其特征在于，所述系统包括图像预处理模块、关键点检测模块与结果输出模块；

所述图像预处理模块，用于输入和预处理包含单个车辆的待检测图像并进行预处理，得到已预处理的图像，并发送至所述车辆关键点检测模块；

所述车辆关键点检测模块用于检测图像上的关键点，并将关键点检测结果发送至结果输出模块，所述车辆关键点检测模块包括已训练的车辆关键点检测网络，所述关键点检测网络包括特征提取模块、简单关键点检测模块和困难关键点模块，其中所述特征提取模块用于提取不同分辨率的K个特征图，所述简单关键点检测模块用于预测简单关键点位置，所述困难关键点检测模块用于对K个特征图进行特征融合并预测关键点位置与关键点到车辆中心的偏移量，所述困难关键点检测模块包括特征融合子模块、关键点检测分支与关键点偏移预测分支；

所述结果输出模块，用于输出呈现关键点检测结果，所述关键点检测结果为图像中所预测的关键点位置与关键点到车辆中心的偏移量。

Images