CN112784817A - 车辆所在车道检测方法、装置、设备及存储介质 - Google Patents

Abstract

本公开提供一种车辆所在车道检测方法、装置、设备及存储介质，其中方法包括：获取待测图像；其中，所述待测图像中包括至少一个车道区域；对所述待测图像进行检测，确定所述待测图像中的车辆；从所述待测图像中确定出所述车辆的车辆区域；其中，所述车辆区域用于表示所述车辆所占据的路面区域；根据所述车辆区域与所述待测图像中车道区域的相对位置，确定所述车辆所在的车道。

Description

车辆所在车道检测方法、装置、设备及存储介质

技术领域

本公开涉及计算机视觉技术领域，具体涉及一种车辆所在车道检测方法、装置、设备及存储介质。

背景技术

目前，车辆仍然是交通运输领域的重要参与对象，车辆的行驶行为也是交通领域的研究热点。实际生活中，部分车辆存在不按照路面标志行驶、变道不打转向灯或倒逆行驶等不符合行驶规范的行为，严重影响或危害了正常的交通秩序。而现场执法或者远程人工巡视等方法存在识别效率低和覆盖面小的问题，亟需基于视频的车辆行为自动化分析识别来辅助。其中，基于视频对车辆行为进行分析的基础是判断车辆所处的车道，即将车辆与车道相关联。

发明内容

本公开提供了一种车辆所在车道检测方法、装置、设备及存储介质。

根据本公开实施例的第一方面，提供一种车辆所在车道检测方法，所述方法包括：获取待测图像；其中，所述待测图像中包括至少一个车道区域；对所述待测图像进行检测，确定所述待测图像中的车辆；从所述待测图像中确定出所述车辆的车辆区域；其中，所述车辆区域用于表示所述车辆所占据的路面区域；根据所述车辆区域与所述待测图像中车道区域的相对位置，确定所述车辆所在的车道。

在一些可选实施例中，所述对所述待测图像进行检测，确定所述待测图像中的车辆，包括：将所述待测图像输入预先训练得到的车辆检测网络，由所述车辆检测网络检测所述待测图像中包含的车辆；所述从所述待测图像中确定出所述车辆的车辆区域之前，还包括：基于所述车辆检测网络在所述待测图像中检测到的车辆检测框，从所述待测图像中裁剪出车辆前景图。

在一些可选实施例中，所述从所述待测图像中确定出所述车辆的车辆区域，包括：将所述车辆前景图输入预先训练得到的关键点检测网络，由所述关键点检测网络检测出所述车辆前景图中所述车辆的车轮关键点；基于所述车轮关键点围成的多边形，确定所述车辆的车辆区域。

在一些可选实施例中，所述将所述车辆前景图输入预先训练得到的关键点检测网络，由所述关键点检测网络检测出所述车辆前景图中所述车辆的车轮关键点，包括：将所述车辆前景图输入所述关键点检测网络，由所述关键点检测网络输出所述车辆前景图中各像素对应车轮关键点的概率值，作为定位热力图；基于所述定位热力图中像素值最大的像素位置，确定所述车辆前景图中对应所述像素位置的像素为车轮关键点。

在一些可选实施例中，在将所述车辆前景图输入预先训练得到的关键点检测网络之前，还包括：基于待训练的关键点检测网络，获取样本车辆图的预测定位热力图与预测背景热力图；其中，所述预测定位热力图由所述样本车辆图中各像素对应车轮关键点的概率值组成，所述预测背景热力图由所述样本车辆图中各像素对应非车轮关键点的概率值组成；根据所述预测定位热力图与预先设置的标准定位热力图之间的差异，和所述预测背景热力图与预先设置的标准背景热力图之间的差异，调整所述关键点检测网络的网络参数。

在一些可选实施例中，在所述根据所述预测定位热力图与预先设置的标准定位热力图之间的差异，和所述预测背景热力图与预先设置的标准背景热力图之间的差异，调整所述关键点检测网络的网络参数之前，还包括：基于高斯模糊，将预先设置的标准定位热力图中车轮关键点对应像素的预定范围内的像素进行标注。

在一些可选实施例中，所述根据所述车辆区域与所述待测图像中车道区域的相对位置，确定所述车辆所在的车道，包括：将所述车辆区域与所述车道区域的重叠区域，确定为第一区域；将所述第一区域占所述车辆区域的比例，确定为车辆重叠度；在所述车辆重叠度大于预设阈值的情况下，确定所述车辆位于所述车道区域。

在一些可选实施例中，在所述根据所述车辆区域与所述待测图像中车道区域的相对位置，确定所述车辆所在的车道之前，还包括：在用于采集所述待测图像的图像采集设备固定的情况下，将所述待测图像中的预定区域确定为所述车道区域；或者，将所述待测图像输入预先训练得到的车道识别网络，由所述车道识别网络确定所述待测图像中的所述车道区域。

根据本公开实施例的第二方面，提供一种车辆所在车道检测装置，所述装置包括：待测图像获取模块，用于获取待测图像；其中，所述待测图像中包括至少一个车道区域；车辆区域确定模块，用于对所述待测图像进行检测，确定所述待测图像中的车辆；从所述待测图像中确定出所述车辆的车辆区域；其中，所述车辆区域用于表示所述车辆所占据的路面区域；车道确定模块，用于根据所述车辆区域与所述待测图像中车道区域的相对位置，确定所述车辆所在的车道。

在一些可选实施例中，所述装置还包括：车辆检测模块，用于将所述待测图像输入预先训练得到的车辆检测网络，由所述车辆检测网络检测所述待测图像中包含的车辆。

在一些可选实施例中，所述装置还包括：车辆前景图裁剪模块，用于基于所述车辆检测网络在所述待测图像中检测到的车辆检测框，从所述待测图像中裁剪出车辆前景图；所述车辆区域确定模块，包括：关键点检测子模块，用于将所述车辆前景图输入预先训练得到的关键点检测网络，由所述关键点检测网络检测出所述车辆前景图中所述车辆的车轮关键点；车辆区域确定子模块，用于基于所述车轮关键点围成的多边形，确定所述车辆的车辆区域。

在一些可选实施例中，所述关键点检测子模块，包括：定位热力图确定子模块，用于将所述车辆前景图输入所述关键点检测网络，由所述关键点检测网络输出所述车辆前景图中各像素对应车轮关键点的概率值，作为定位热力图；车轮关键点确定子模块，用于基于所述定位热力图中像素值最大的像素位置，确定所述车辆前景图中对应所述像素位置的像素为车轮关键点。

在一些可选实施例中，所述车辆区域确定模块，还包括：热力图预测子模块，用于基于待训练的关键点检测网络，获取样本车辆图的预测定位热力图与预测背景热力图；其中，所述预测定位热力图由所述样本车辆图中各像素对应车轮关键点的概率值组成，所述预测背景热力图由所述样本车辆图中各像素对应非车轮关键点的概率值组成；网络参数调整子模块，用于根据所述预测定位热力图与预先设置的标准定位热力图之间的差异，和所述预测背景热力图与预先设置的标准背景热力图之间的差异，调整所述关键点检测网络的网络参数。

在一些可选实施例中，所述车辆区域确定模块，还包括：标签值确定子模块，用于基于高斯模糊，将预先设置的标准定位热力图中车轮关键点对应像素的预定范围内的像素进行标注。

在一些可选实施例中，所述车道确定模块，在用于根据所述车辆区域与所述待测图像中车道区域的相对位置，确定所述车辆所在的车道时，包括：将所述车辆区域与所述车道区域的重叠区域，确定为第一区域；将所述第一区域占所述车辆区域的比例，确定为车辆重叠度；在所述车辆重叠度大于预设阈值的情况下，确定所述车辆位于所述车道区域。

在一些可选实施例中，所述装置还包括：第一车道区域确定模块，用于在用于采集所述待测图像的图像采集设备固定的情况下，将所述待测图像中的预定区域确定为所述车道区域；或者，第二车道区域确定模块，用于将所述待测图像输入预先训练得到的车道识别网络，由所述车道识别网络确定所述待测图像中的所述车道区域。

根据本公开实施例的第三方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面中任一项所述的车辆所在车道检测方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现第一方面中任一所述的车辆所在车道检测方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，所述程序被处理器执行时实现第一方面中任一所述的车辆所在车道检测方法。

本公开实施例中，可以对待测图像进行检测并确定待测图像中车辆占据的路面区域作为车辆区域，从而可以进一步根据车辆区域与车道区域的相对位置确定车辆与车道区域的关联关系。该方式中，由于从待测图像中检测出车辆占据的路面区域作为车辆区域，可以更加准确的表示出车辆的实际位置，从而可以更加准确的判断出车辆与车道区域的关联关系，更准确确定车辆所在车道。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种车辆所在车道检测方法流程图；

图2是根据一示例性实施例示出的一种待测图像示意图；

图3是根据一示例性实施例示出的一种车辆检测网络结构示意图；

图4是根据一示例性实施例示出的一种车辆前景图示意图；

图5是根据一示例性实施例示出的一种车辆区域确定方法流程图；

图6是根据一示例性实施例示出的一种关键点检测网络的网络结构示意图；

图7是根据一示例性实施例示出的一种车轮关键点检测方法流程图；

图8是根据一示例性实施例示出的一种关键点检测网络训练流程图；

图9是根据一示例性实施例示出的一种车道确定方法流程图；

图10是根据一示例性实施例示出的一种车辆所在车道检测装置示意图；

图11是根据一示例性实施例示出的又一种车辆所在车道检测装置示意图；

图12是根据一示例性实施例示出的一种关键点检测子模块示意图；

图13是根据一示例性实施例示出的一种计算机设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的具体方式并不代表与本公开相一致的所有方案。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

基于视频对车辆行为进行分析的相关技术中，在判断车辆所处车道时大多基于车辆检测框进行。由于立体的车辆投影到平面图像时，会发生位置的变化，这导致了车辆检测框相比于车辆实际尺寸会有所外扩。无论是基于车辆检测框中心点或者车辆检测框边缘点的方法，均无法有效对抗车辆外扩的影响，从而导致无法准确判断车辆所处的车道。

基于以上，本公开提供了一种车辆所在车道检测方法，可以检测出待测图像中车辆占据的路面区域并作为车辆区域，进一步根据车辆区域与车道区域的相对位置，确定车辆所在的车道。

为了使本公开提供的车辆所在车道检测方法更加清楚，下面结合附图和具体实施例对本公开提供的方案执行过程进行详细描述。

参见图1，图1是本公开提供的实施例示出的一种车辆所在车道检测方法流程图。如图1所示，该流程包括：

步骤101，获取待测图像；其中，所述待测图像中包括至少一个车道区域。

本公开实施例中，待测图像是需要检测图像中车辆所在车道的图像。并且，待测图像中包括一个或多个车道区域。需要说明的是，获取待测图像的方式可以包括多种具体实现。

在一种可能的实现方式中，可以复用已有的图像采集设备采集得到待测图像。该方式中可以复用已有的硬件设备，减少硬件成本。示例性的，可以利用高速公路上已有的监控设备，获取视频流，从视频流中抽取一帧图像，作为待测图像。

在一种可能的实现方式中，可以在预设位置处安装特定的图像采集设备，以采集符合要求的待测图像。示例性的，可以在高速公路的主要路口或路段安装高分辨率的图像采集设备，以获取高分辨率的待测图像。

步骤102，对所述待测图像进行检测，确定所述待测图像中的车辆。

获取的待测图像可能是不同情况下采集的图像，所以待测图像中可能存在车辆也可能不存在车辆，或者待测图像中可能存在多个车辆。例如，在高速公路路口安装的监控设备，采集的待测图像中可能存在车辆或不存在车辆，或者可能存在多个车辆。

本步骤可以对待测图像进行检测，确定所述待测图像中的车辆。可以理解的是，如果待测图像中存在至少一辆车辆的情况下，可以继续执行后续步骤；如果待测图像中不存在任何车辆的情况下，则不需要执行后续步骤。例如，如果待测图像中不存在车辆，则可以重新获取待测图像并检测待测图像中的车辆。

步骤103，从所述待测图像中确定出所述车辆的车辆区域；其中，所述车辆区域用于表示所述车辆所占据的路面区域。

车辆在路面上行驶的过程中，车辆所占据路面的区域最能代表车辆的位置。本步骤中，将待测图像中车辆所占据的路面区域，作为待测图像中车辆的车辆区域。

参照图2所示的待测图像，其中Box1是传统图像检测技术中确定的车辆检测框，而本步骤对待测图像进行检测确定的车辆区域是Region1。如图2所示，Region1所表示的区域可以更加贴近实际车辆所占据路面的区域，因此车辆区域可以更加准确的表示车辆的位置。

步骤104，根据所述车辆区域与所述待测图像中车道区域的相对位置，确定所述车辆所在的车道。

在确定待测图像中的车辆的车辆区域后，本步骤可以进一步根据待测图像中车道区域与车辆区域的相对位置，确定车辆与车道区域的关联关系。参照图2所示待测图像，其中包括车道区域L1和车道区域L2。以L2作为待测图像中的车道区域，以Region1作为车辆的车辆区域。本步骤可以根据Region1与L2的相对位置，确定车辆是否位于L2上。

其中，根据车辆区域与车道区域的相对位置确定车辆所在车道的具体方式，可以根据具体应用灵活实现，本实施例并不限制。示例性的，可以在车辆区域与车道区域的重叠区域足够大的情况下，确定车辆位于对应车道区域上。

本公开实施例中，可以对待测图像进行检测并确定待测图像中车辆占据的路面区域作为车辆区域，从而可以进一步根据车辆区域与车道区域的相对位置确定车辆与车道区域的关联关系。该方式中，由于从待测图像中检测出车辆占据的路面区域作为车辆区域，可以更加准确的表示出车辆的实际位置，从而可以更加准确的判断出车辆与车道区域的关联关系，更准确确定车辆所在车道。

在一些可选实施例中，所述对所述待测图像进行检测，确定所述待测图像中的车辆，包括：将所述待测图像输入预先训练得到的车辆检测网络，由所述车辆检测网络检测所述待测图像中包含的车辆。

本实施例中需要预先训练得到可检测出待测图像中车辆的车辆检测网络。其中，车辆检测网络可以基于任一可学习的机器学习模型或神经网络模型，由对应的训练样本训练后得到。本实施例中，并不限制车辆检测网络的具体形式。

在一种可能的实现方式中，可以基于Faster-RCNN网络框架构建得到车辆检测网络。示例性的，图3给出一种基于Faster-RCNN网络框架的车辆检测网络结构示意图。在第一阶段(Propose阶段)，利用深度卷积网络对待测图像进行特征提取，并通过特定卷积层(Region Proposal Layer)进一步提取特征得到至少一个候选车辆检测框。在第二阶段(Detection阶段)，可以基于第一阶段得到的至少一个候选车辆检测框，对至少一个候选车辆检测框进行类别分类和坐标回归(进行ROI Pooling)，得到各个候选车辆检测框的置信度和位置。最后，通过极大值抑制算法，合并交并比大于阈值的候选车辆检测框，最终得到确定的车辆检测框。

在训练得到可用的车辆检测网络后，本步骤可以将待测图像输入车辆检测网络，并由车辆检测网络检测出待测图像中包括的所有车辆对应的车辆检测框。由于待测图像中可能存在多辆车辆，所以车辆检测网络可以从待测图像中检测出对应的多个车辆检测框。

在一些可选实施例中，所述从所述待测图像中确定出所述车辆的车辆区域之前，还包括：基于所述车辆检测网络在所述待测图像中检测到的车辆检测框，从所述待测图像中裁剪出车辆前景图。

本实施例中，待测图像是图像采集设备采集的原尺寸图像。由于图像采集设备的差异，可能导致采集得到的待测图像的尺寸存在差异。所以，本步骤可以基于从待测图像中检测出的车辆的车辆检测框，将待测图像裁剪为预设尺寸的车辆前景图。其中，车辆前景图中仅包括一辆车辆。该方式，将待测图像裁剪为尺寸统一的车辆前景图，可以更加方便的对车辆前景图中的车辆进行进一步的检测。

示例性的，本步骤可以将如图2所示的待测图像进行裁剪，得到如图4所示的车辆前景图。其中，图4所示的车辆前景图可以是预设尺寸大小的图像，并且该车辆前景图中仅包括一辆车辆。

在得到尺寸统一的车辆前景图后，可以进一步对车辆前景图进行检测，并确定车辆前景图中车辆的车辆区域。

本公开实施例中，通过检测出待测图像中车辆的车辆检测框，从而可以根据车辆的车辆检测框将待测图像裁剪为预设尺寸的车辆前景图。该方式，可以得到统一尺寸的车辆前景图，从而可以更加方便、准确的确定车辆的车辆区域，以便于更加准确确定车辆与车道区域的关联关系，确定车辆所在车道。

在一些可选实施例中，步骤303的具体实现，如图5所示，可以包括以下步骤：

步骤501，将所述车辆前景图输入预先训练得到的关键点检测网络，由所述关键点检测网络检测出所述车辆前景图中所述车辆的车轮关键点。

本实施例中，需要预先训练得到可以检测出车辆前景图中车辆的车轮关键点的关键点检测网络。其中，关键点检测网络可以基于任一可学习的机器学习模型或神经网络模型进行训练得到。本实施例中，并不限制关键点检测网络的具体形式。

示例性的，如图6给出一种关键点检测网络的网络结构示意图。其中，使用ResNet作为提取图片特征的骨干网络。其中，骨干网络的输入可以是一张车辆前景图，经过骨干网络的卷积操作以后特征的空间分辨率逐步降低，语义特征愈发明显。可以理解的是，骨干网络除ResNet之外还可以包括更多其他形式的骨干网络，例如可以是GoogLeNet、VGGNet或ShuffleNet等其他类型的通用卷积神经网络结构。

进一步，可以使用特征金字塔网络(FPN)提取多尺度的特征。具体的，可以将低分辨率的特征图通过逆卷积和元素级别相加的操作进行分辨率复原，FPN的输出是分辨率相当于原图四分之一大小的32*32的特征图。

再进一步，可以对FPN的输出进一步卷积运算后，用于预测5个定位热力图。其中，5个定位热力图分别对应为车辆的左前轮、左后轮、右后轮、右前轮和背景。根据定位热力图可以进一步确定车辆前景图中的车轮关键点。

在一种可能的实现方式中，车轮关键点包括车轮与路面直接接触的位置点，或者包括车轮中心点。其中，车轮关键点用于表示车轮的位置。可以理解的是，不同车辆具有不同数量的车轮，所以车轮关键点的数量也可以根据车辆的不同而改变。

例如，可以得到4个车轮关键点的位置坐标。示例性的，所述车轮关键点包括：左前轮关键点、左后轮关键点、右后轮关键点和右前轮关键点。如图4所示，车辆的车轮关键点可以包括左前轮关键点S1、左后轮关键点S2、右后轮关键点S3和右前轮关键点S4。

步骤502，基于所述车轮关键点围成的多边形，确定所述车辆的车辆区域。

由于车辆在路面上行驶过程中，车轮是与路面直接接触的具体位置，所以由车轮关键点构成的车辆区域可以更加准确的表示出车辆占据的路面区域。本步骤，可以根据车辆前景图中检测出的车轮关键点，确定车辆的车辆区域。其中，根据车轮关键点确定车辆区域的具体方式，可包括多种实现，本实施例并不限制。

在一种可能的实现方式中，可以将多个车轮关键点构成的多边形区域作为车辆区域。以图4所示，车辆包括4个车轮关键点的情况下，可以将4个车轮关键点构成的四边形区域作为车辆的车辆区域，即四边形S1S2S3S4作为车辆的车辆区域。

本公开实施例中，通过检测车辆的车轮关键点，可以根据车轮关键点确定车辆的车辆区域，更加准确的表示出车辆所占据的路面区域，进而可以根据车辆区域与车道区域的先对位置，准确确定车辆与车道区域的关联关系，确定车辆所在车道。

另一方面，本实施例中是通过车辆检测网络先对待测图像进行检测，基于车辆检测框得到车辆前景图后，再利用关键点检测网络得到车辆的车轮关键点。其中，车辆检测网络与关键点检测网络以级联的方式进行连接，解耦性强。可以更加灵活的对其中某一个检测网络单独进行更新或升级，适合算法落地的快速升级迭代。可以在算法落地过程中，针对特殊场景定制关键点检测网络，快速达到预期性能。

在一些可选实施例中，步骤501的具体实现，如图7所示，可以包括以下步骤：

步骤701，将所述车辆前景图输入所述关键点检测网络，由所述关键点检测网络输出所述车辆前景图中各像素对应车轮关键点的概率值，作为定位热力图。

将车辆前景图输入关键点检测网络后，关键点检测网络可以检测出车辆前景图中各个像素对应车轮关键点的概率值。示例性的，以车辆左前轮关键点为例，可以将32*32像素大小的车辆前景图输入关键点检测网络，由关键点检测网络输出车辆前景图中各个(32*32个)像素对应车辆左前轮关键点的32*32个概率值，即得到可以定位车辆左前轮关键点的定位热力图。

基于相同原理，还可以得到可以定位车辆左后轮关键点的定位热力图、可以定位车辆右后轮关键点的定位热力图、可以定位车辆后前轮关键点的定位热力图。

步骤702，基于所述定位热力图中像素值最大的像素位置，确定所述车辆前景图中对应所述像素位置的像素为车轮关键点。

定位热力图中不同像素值表示车辆前景图中不同像素对应关键点的概率值。本步骤可以从定位热力图中确定出像素值最大的像素位置，该像素位置对应的车辆前景图中的像素即为车辆关键点。

上述实施例中，关键点检测网络可以检测出车辆前景图中各个像素对应车轮关键点的概率值，作为定位热图，从而可以根据定位热图中最大的像素值确定出车辆前景图中的车辆关键点。

在将车辆前景图输入预先训练得到的关键点检测网络之前，可以预先对关键点检测网络进行训练，关键点检测网络的训练过程，如图8所示，可以包括以下步骤：

步骤801，基于待训练的关键点检测网络，获取样本车辆图的预测定位热力图与预测背景热力图；其中，所述预测定位热力图由所述样本车辆图中各像素对应车轮关键点的概率值组成，所述预测背景热力图由所述样本车辆图中各像素对应非车轮关键点的概率值组成。

本实施例中可以预先收集大量样本车辆图作为待训练的关键点检测网络的训练样本。在训练过程中，可以将样本车辆图输入待训练的关键点检测网络，由关键点检测网络预测样本车辆图中各个像素对应车轮关键点的概率值，即得到预测定位热力图。其中，根据不同车轮关键点可以得到多个不同的预测定位热力图。例如，可以得到样本车辆图中各个像素分别对应车辆的左前轮关键点、左后轮关键点、右后轮关键点和右前轮关键点的预测定位热力图。

样本车辆图中的任一像素点可以是车轮关键点，或者可以是除车轮关键点之外的背景像素点。由于样本车辆图中的像素点有车轮关键点和背景像素点两种分类结果，所以在训练过程中关键点检测网络需要预测样本车辆图中各个像素点是背景像素的概率值，即可以得到预测背景热力图。

样本车辆图中的任一像素点可以是车轮关键点或背景像素点，即样本车辆图中的同一个像素点只有两种不同的分类结果。在一种可能的实现方式中，对于同一张样本车辆图中的同一个像素点，关键点检测网络预测的该像素点是车轮关键点的概率值，与预测的该像素点是背景像素点的概率值之和为1。

而在关键点检测网络的应用阶段，由于并不关心车辆前景图中除车轮关键点之外的像素的概率，所以在应用阶段关键点检测网络可以不用输出车辆前景图中各个像素对应背景的概率值，即不用输出背景热力图。

步骤802，根据所述预测定位热力图与预先设置的标准定位热力图之间的差异，和所述预测背景热力图与预先设置的标准背景热力图之间的差异，调整所述关键点检测网络的网络参数。

在训练关键点检测网络之前，可以预先设置标准定位热力图和标准背景热力图。其中，标准定位热力图中不同像素的像素值表示样本车辆图中不同像素对应车轮关键点的概率值。标准背景热力图中不同像素的像素值表示样本车辆图中不同像素对应背景的概率值。

例如，可以将标准定位热力图中对应车轮关键点的像素的像素值设置为“1”，其他像素的像素值设置为“0”。例如，可以将标准背景热力图中对应车轮关键点的像素的像素值设置为“0”，其他像素的像素值设置为“1”，即对应除车轮关键点之外的背景部分的像素的像素值设置为“1”。

在一种可能的实现方式中，可以将预先设置的标准定位热力图中车轮关键点对应像素的预定范围内的像素进行标注。

由于车辆与路面的接触区域往往不是一个接触点，而是对应一个接触区域。所以，如果将标准定位热力图中的某一个像素确定为对应的车轮关键点，并不符合实际应用场景，可能混淆关键点检测网络的学习。

本实施例中，可以将标准定位热力图中车轮关键点对应的像素周围预定范围的像素均进行标注。例如，可以将关键点对应的像素的像素值设置为“1”，将与关键点对应的像素相邻的像素的像素值设置为“0.9”。其中，预定范围可以根据高斯模糊的方式，确定出以车轮关键点对应的像素为中心的一个范围区域。

该方式中，训练关键点检测网络的过程中，车轮关键点的标注更接近实际图像中车轮关键点的情况，从而训练得到的关键点检测网络可以更加准确检测出图像中的车辆关键点。

预先设置的标准定位热力图和标准背景热力图，作为待训练的关键点检测网络的学习目标。在关键点检测网络输出预测定位热力图和预测背景热力图之后，可以根据与预先设置的学习目标的差异调整关键点检测网络的网络参数。

样本车辆图中的任一像素点可以是车轮关键点，或者可以是除车轮关键点之外的背景像素点。即样本车辆图中的像素点有车轮关键点和背景像素点两种分类结果。上述实施例中，在对关键点检测网络的实际训练过程中，考虑了输入图像的像素的所有分类结果，从而训练得到的关键点检测模型可以更加准确检测出图像中的车轮关键点。

在一些可选实施例中，步骤104的具体实现，如图9所示，可以包括以下步骤：

步骤901，将所述车辆区域与所述车道区域的重叠区域，确定为第一区域；

步骤902，将所述第一区域占所述车辆区域的比例，确定为车辆重叠度。

以图2为例进行说明，其中包括车辆区域Region1、车道区域L2，其中车辆区域Region1与车道区域L2的重叠区域为R1。该重叠区域R1可以称为第一区域。本实施例可以将R1占车辆区域Region1的比例，确定为车辆重叠度，即车辆重叠度的计算方式为：R1/Region1。

在一种可能的实现方式中，在得到车辆区域与车道区域的重叠区域即确定第一区域后，可以进一步计算第一区域的面积，并在第一区域的面积大于预设的面积阈值的情况下，确定车辆位于对应的车道区域。其中，预设的面积阈值可以根据车辆区域的总面积确定。示例性的，可以预先规定预设的面积阈值为车辆区域的总面积的一半，所以面积阈值可以根据车辆区域总面积的不同而不同。

步骤903，在所述车辆重叠度大于预设阈值的情况下，确定所述车辆位于所述车道区域。

本实施例可以预先设置预设阈值，作为车辆重叠度的对比值，以判断车辆是否处于对应车道区域。例如可以将预设阈值设置为0.5，在车辆重叠度R1/Region1大于0.5的情况下，则可以确定车辆位于车道区域L2。

本公开实施例中，可以将车辆区域与车道区域的重叠区域占车辆区域的比例定义为车辆重叠度，将车辆重叠度与预设阈值进行比较，并在车辆重叠度大于预设阈值的情况下，可以确定车辆位于对应的车辆区域。该确定车辆与车道区域的关联关系的方式中，由于车辆区域本身是车辆占据的路面区域，以重叠区域占据车辆区域的比例作为判断基础，可以更加准确判断出车辆所处的车道区域。

从待测图像中检测出车辆的车辆区域后，在根据车辆区域与车道区域确定关联关系之前，需要预先确定待测图像中的车道区域。在一些可选实施例中，可以在用于采集所述待测图像的图像采集设备固定的情况下，将所述待测图像中的预定区域确定为所述车道区域。

实际应用中，采集待测图像的图像采集设备大多固定于某一个位置，所以采集得到的待测图像中的车道区域是固定不变的。例如，高速公路上的监控设备往往安装于某一固定路口或路段上，采集得到的待测图像中对应路口或路段在图像中的位置是固定不变的。因此，可以将待测图像中与实际道路中车道对应的预定区域确定为车道区域。由于图像采集设备固定不动，所以每张待测图像中车道区域的位置保持不变，所以待测图像中车道区域可以通过一次设置确定所有待测图像中的车道区域。

在一些可选实施例中，将所述待测图像输入预先训练得到的车道识别网络，由所述车道识别网络确定所述待测图像中的所述车道区域。

上述可选实施例中，可以预先利用训练样本进行训练，得到可以检测出待测图像中车道区域的车道识别网络。其中，车道识别网络可以基于任一可学习的机器学习模型或神经网络模型进行训练得到，本实施例并不限制车道识别网络的具体形式。

在训练得到车道识别网络后，可以将待测图像输入该车道识别网络，由该车道识别网络确定待测图像中的车道区域。该方式可以利用车道识别网络对待测图像进行检测，并不限制采集待测图像的图像采集设备是否固定或移动。例如，高速路口可安装“可移动监控设备”，该设备可以通过自身的移动或旋转采集不同区域的图像作为待测图像。这样采集得到的待测图像中车道区域并非位于固定区域，所以可以借助本实施例的车道识别网络确定不同待测图像中的车道区域。

本公开实施例中的车道识别网络，并不依赖车辆检测网络或关键点检测网络，可以通过级联的方式检测出待测图像中的车道区域，解耦性更强。可以更加灵活的更新车道识别网络，并且能够识别出待测图像中位于不同区域的车道区域，适用于固定或不固定的图像采集设备采集得到的待测图像。在准确确定待测图像中车道区域的基础上，从而可以根据车道区域与车辆区域的相对位置更加准确的确定车辆所处的车道区域。

图10所示，本公开提供了一种车辆所在车道检测装置，该装置可以执行本公开任一实施例的车辆所在车道检测方法。该装置可以包括待测图像获取模块1001、车辆区域确定模块1002和车道确定模块1003。其中：

待测图像获取模块1001，用于获取待测图像；其中，所述待测图像中包括至少一个车道区域；

车辆区域确定模块1002，用于对所述待测图像进行检测，确定所述待测图像中的车辆；从所述待测图像中确定出所述车辆的车辆区域；其中，所述车辆区域用于表示所述车辆所占据的路面区域；

车道确定模块1003，用于根据所述车辆区域与所述待测图像中车道区域的相对位置，确定所述车辆所在的车道。

可选的，如图11所示，所述装置还包括：车辆检测模块1101，用于将所述待测图像输入预先训练得到的车辆检测网络，由所述车辆检测网络检测所述待测图像中包含的车辆。

可选的，如图11所示，所述装置还包括：车辆前景图裁剪模块1102，用于基于所述车辆检测网络在所述待测图像中检测到的车辆检测框，从所述待测图像中裁剪出车辆前景图；

所述车辆区域确定模块1002，包括：关键点检测子模块1103，用于将所述车辆前景图输入预先训练得到的关键点检测网络，由所述关键点检测网络检测出所述车辆前景图中所述车辆的车轮关键点；车辆区域确定子模块1104，用于基于所述车轮关键点围成的多边形，确定所述车辆的车辆区域。

可选的，如图12所示，所述关键点检测子模块1103，包括：定位热力图确定子模块1201，用于将所述车辆前景图输入所述关键点检测网络，由所述关键点检测网络输出所述车辆前景图中各像素对应车轮关键点的概率值，作为定位热力图；车轮关键点确定子模块1202，用于基于所述定位热力图中像素值最大的像素位置，确定所述车辆前景图中对应所述像素位置的像素为车轮关键点。

可选的，如图11所示，所述车辆区域确定模块1002，还包括：热力图预测子模块1105，用于基于待训练的关键点检测网络，获取样本车辆图的预测定位热力图与预测背景热力图；其中，所述预测定位热力图由所述样本车辆图中各像素对应车轮关键点的概率值组成，所述预测背景热力图由所述样本车辆图中各像素对应非车轮关键点的概率值组成；网络参数调整子模块1106，用于根据所述预测定位热力图与预先设置的标准定位热力图之间的差异，和所述预测背景热力图与预先设置的标准背景热力图之间的差异，调整所述关键点检测网络的网络参数。

可选的，如图11所示，所述车辆区域确定模块1002，还包括：标签值确定子模块1107，用于基于高斯模糊，将预先设置的标准定位热力图中车轮关键点对应像素的预定范围内的像素进行标注。

可选的，所述车道确定模块1003，在用于根据所述车辆区域与所述待测图像中车道区域的相对位置，确定所述车辆所在的车道时，包括：将所述车辆区域与所述车道区域的重叠区域，确定为第一区域；将所述第一区域占所述车辆区域的比例，确定为车辆重叠度；在所述车辆重叠度大于预设阈值的情况下，确定所述车辆位于所述车道区域。

可选的，如图11所示，所述装置还包括：第一车道区域确定模块1108，用于在用于采集所述待测图像的图像采集设备固定的情况下，将所述待测图像中的预定区域确定为所述车道区域；或者，第二车道区域确定模块1109，用于将所述待测图像输入预先训练得到的车道识别网络，由所述车道识别网络确定所述待测图像中的所述车道区域。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开至少一个实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本公开还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时能够实现本公开任一实施例的车辆所在车道检测方法。

图13示出了本公开实施例所提供的一种更为具体的计算机设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。

处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。

输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

本公开还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时能够实现本公开任一实施例的车辆所在车道检测方法。

其中，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等，本公开并不对此进行限制。

在一些可选实施例中，本公开实施例提供了一种计算机程序产品，包括计算机可读代码，当计算机可读代码在设备上运行时，设备中的处理器执行用于实现如上任一实施例提供的车辆所在车道检测方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。

本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

以上所述仅为本公开的较佳实施例而已，并不用于限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。

Claims (11)

1.一种车辆所在车道检测方法，其特征在于，所述方法包括：

获取待测图像；其中，所述待测图像中包括至少一个车道区域；

对所述待测图像进行检测，确定所述待测图像中的车辆；

从所述待测图像中确定出所述车辆的车辆区域；其中，所述车辆区域用于表示所述车辆所占据的路面区域；

根据所述车辆区域与所述待测图像中车道区域的相对位置，确定所述车辆所在的车道。

2.根据权利要求1所述的方法，其特征在于，所述对所述待测图像进行检测，确定所述待测图像中的车辆，包括：

将所述待测图像输入预先训练得到的车辆检测网络，由所述车辆检测网络检测所述待测图像中包含的车辆；

所述从所述待测图像中确定出所述车辆的车辆区域之前，还包括：

基于所述车辆检测网络在所述待测图像中检测到的车辆检测框，从所述待测图像中裁剪出车辆前景图。

3.根据权利要求2所述的方法，其特征在于，所述从所述待测图像中确定出所述车辆的车辆区域，包括：

将所述车辆前景图输入预先训练得到的关键点检测网络，由所述关键点检测网络检测出所述车辆前景图中所述车辆的车轮关键点；

基于所述车轮关键点围成的多边形，确定所述车辆的车辆区域。

4.根据权利要求3所述的方法，其特征在于，所述将所述车辆前景图输入预先训练得到的关键点检测网络，由所述关键点检测网络检测出所述车辆前景图中所述车辆的车轮关键点，包括：

将所述车辆前景图输入所述关键点检测网络，由所述关键点检测网络输出所述车辆前景图中各像素对应车轮关键点的概率值，作为定位热力图；

基于所述定位热力图中像素值最大的像素位置，确定所述车辆前景图中对应所述像素位置的像素为车轮关键点。

5.根据权利要求3或4所述的方法，其特征在于，在将所述车辆前景图输入预先训练得到的关键点检测网络之前，还包括：

基于待训练的关键点检测网络，获取样本车辆图的预测定位热力图与预测背景热力图；其中，所述预测定位热力图由所述样本车辆图中各像素对应车轮关键点的概率值组成，所述预测背景热力图由所述样本车辆图中各像素对应非车轮关键点的概率值组成；

根据所述预测定位热力图与预先设置的标准定位热力图之间的差异，和所述预测背景热力图与预先设置的标准背景热力图之间的差异，调整所述关键点检测网络的网络参数。

6.根据权利要求5所述的方法，其特征在于，在所述根据所述预测定位热力图与预先设置的标准定位热力图之间的差异，和所述预测背景热力图与预先设置的标准背景热力图之间的差异，调整所述关键点检测网络的网络参数之前，还包括：

基于高斯模糊，将预先设置的标准定位热力图中车轮关键点对应像素的预定范围内的像素进行标注。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述根据所述车辆区域与所述待测图像中车道区域的相对位置，确定所述车辆所在的车道，包括：

将所述车辆区域与所述车道区域的重叠区域，确定为第一区域；

将所述第一区域占所述车辆区域的比例，确定为车辆重叠度；

在所述车辆重叠度大于预设阈值的情况下，确定所述车辆位于所述车道区域。

8.根据权利要求1至7中任一项所述的方法，其特征在于，在所述根据所述车辆区域与所述待测图像中车道区域的相对位置，确定所述车辆所在的车道之前，还包括：

在用于采集所述待测图像的图像采集设备固定的情况下，将所述待测图像中的预定区域确定为所述车道区域；或者，

将所述待测图像输入预先训练得到的车道识别网络，由所述车道识别网络确定所述待测图像中的所述车道区域。

9.一种车辆所在车道检测装置，其特征在于，所述装置包括：

待测图像获取模块，用于获取待测图像；其中，所述待测图像中包括至少一个车道区域；

车辆区域确定模块，用于对所述待测图像进行检测，确定所述待测图像中的车辆；从所述待测图像中确定出所述车辆的车辆区域；其中，所述车辆区域用于表示所述车辆所占据的路面区域；

车道确定模块，用于根据所述车辆区域与所述待测图像中车道区域的相对位置，确定所述车辆所在的车道。

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至8中任一项所述的方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至8中任一项所述的方法。

Images