CN110796230A

CN110796230A - 卷积神经网络的训练及使用方法、设备及存储介质

Info

Publication number: CN110796230A
Application number: CN201810869507.9A
Authority: CN
Inventors: 赵颖
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2018-08-02
Filing date: 2018-08-02
Publication date: 2020-02-14

Abstract

一种卷积神经网络的训练方法及使用方法、设备及存储介质。该训练方法包括：利用卷积神经网络对训练图像进行处理，以确定所述训练图像是否包含道路目标以及所述训练图像中覆盖道路目标的至少一个感兴趣区域，并预测道路目标的分类及其位置；在卷积神经网络中设置滤波器层，以对所述至少一个感兴趣区域进行滤波处理，预测道路目标的多个关键点；在卷积神经网络中设置关键点关系编码层，以计算所述多个关键点之间的位置关系；以及利用所预测的道路目标的分类及其位置与真实值之间的损失以及所计算的多个关键点之间的位置关系与真实值之间的损失，调整所述卷积神经网络的各参数，以对所述卷积神经网络进行训练。

Description

卷积神经网络的训练及使用方法、设备及存储介质

技术领域

本公开涉及图像处理，更具体地，涉及用于道路目标检测的卷积神经网络的训练及使用方法、设备以及存储介质。

背景技术

辅助及自动驾驶技术可以显著提高交通系统的效率和出行的安全性，因此已成为汽车领域发展的一种趋势。道路目标检测及其关键点定位能够为辅助及自动驾驶提供重要的控制信息，决定了辅助及自动驾驶的准确率和安全性，因此是辅助及自动驾驶中的一项关键技术。

现有的道路目标检测及其关键点定位方法通常包括目标区域检测和关键点定位两个阶段。例如，在传统检测方法中，首先对车载相机拍摄的图像进行图像处理以识别包含道路目标的区域，并进一步对得到的区域进行图像处理以提取道路目标的关键点的位置。然而，区域检测的阶段往往受到相机、路面状况、光照等条件的影响，进而严重影响后续关键点定位的准确度。

另一方面，基于深度学习的物体检测方法目前已有较为深入的研究。基于深度学习的方法可以用于道路目标检测领域中，其在一定程度上降低了相机、路面状况、光照等条件对检测结果的影响。然而，现有的基于深度学习的物体检测方法仅仅能够识别包含道路目标的区域，但仍然需要额外的步骤来对道路目标的关键点进行定位。

因此，需要一种端到端的道路目标检测方法，其可以同时检测道路目标并定位其关键点，并且具有良好的目标检测准确度。

发明内容

根据本公开的一个方面，提供了一种用于道路目标检测的卷积神经网络的训练方法，包括：利用卷积神经网络对训练图像进行处理，以确定所述训练图像是否包含道路目标以及所述训练图像中覆盖道路目标的至少一个感兴趣区域，并预测道路目标的分类及其位置；在卷积神经网络中设置滤波器层，以对所述至少一个感兴趣区域进行滤波处理，预测道路目标的多个关键点；在卷积神经网络中设置关键点关系编码层，以计算所述多个关键点之间的位置关系；以及利用所预测的道路目标的分类及其位置与真实值之间的损失以及所计算的多个关键点之间的位置关系与真实值之间的损失，调整所述卷积神经网络的各参数，以对所述卷积神经网络进行训练。

根据本公开的另一个方面，提供了一种道路目标检测方法，包括：获取待检测图像；利用经训练的卷积神经网络对待检测图像进行处理，以确定所述待检测图像是否包含道路目标、所述待检测图像中覆盖道路目标的至少一个感兴趣区域、以及道路目标的分类及其位置；以及利用经训练的卷积神经网络的滤波器层对所述至少一个感兴趣区域进行滤波处理，以确定道路目标的多个关键点。

根据本公开的另一个方面，提供了一种用于道路目标检测的卷积神经网络的训练设备，包括：处理器；以及存储器，在所述存储器中存储有计算机程序指令，其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：利用卷积神经网络对训练图像进行处理，以确定所述训练图像是否包含道路目标以及所述训练图像中覆盖道路目标的至少一个感兴趣区域，并预测道路目标的分类及其位置；在卷积神经网络中设置滤波器层，以对所述至少一个感兴趣区域进行滤波处理，预测道路目标的多个关键点；在卷积神经网络中设置关键点关系编码层，以计算所述多个关键点之间的位置关系；以及利用所预测的道路目标的分类及其位置与真实值之间的损失以及所计算的多个关键点之间的位置关系与真实值之间的损失，调整所述卷积神经网络的各参数，以对所述卷积神经网络进行训练。

根据本公开的另一个方面，提供了一种道路目标检测设备，包括：处理器；以及存储器，在所述存储器中存储有计算机程序指令，其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：获取待检测图像；利用经训练的卷积神经网络对待检测图像进行处理，以确定所述待检测图像是否包含道路目标、所述待检测图像中覆盖道路目标的至少一个感兴趣区域、以及道路目标的分类及其位置；以及利用经训练的卷积神经网络的滤波器层对所述至少一个感兴趣区域进行滤波处理，以确定道路目标的多个关键点。

根据本公开的另一个方面，提供了一种道路目标检测设备，包括：获取单元，被配置为获取包含路面标识的待检测图像；感兴趣区域提取单元，被配置为利用经训练的卷积神经网络对包含道路目标的待检测图像进行处理，以确定所述待检测图像是否包含道路目标、所述待检测图像中覆盖道路目标的至少一个感兴趣区域、以及道路目标的分类及其位置；以及关键点提取单元，被配置为利用经训练的卷积神经网络的滤波器层对所述至少一个感兴趣区域进行滤波处理，以确定道路目标的多个关键点。

根据本公开的另一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现以下步骤：利用卷积神经网络对训练图像进行处理，以确定所述训练图像是否包含道路目标以及所述训练图像中覆盖道路目标的至少一个感兴趣区域，并预测道路目标的分类及其位置；在卷积神经网络中设置滤波器层，以对所述至少一个感兴趣区域进行滤波处理，预测道路目标的多个关键点；在卷积神经网络中设置关键点关系编码层，以计算所述多个关键点之间的位置关系；以及利用所预测的道路目标的分类及其位置与真实值之间的损失以及所计算的多个关键点之间的位置关系与真实值之间的损失，调整所述卷积神经网络的各参数，以对所述卷积神经网络进行训练。

根据本公开的另一个方面，提供了一种计算机可读存储介质，其中，所述计算机程序指令被处理器执行时实现以下步骤：获取待检测图像；利用经训练的卷积神经网络对待检测图像进行处理，以确定所述待检测图像是否包含道路目标、所述待检测图像中覆盖道路目标的至少一个感兴趣区域、以及道路目标的分类及其位置；以及利用经训练的卷积神经网络的滤波器层对所述至少一个感兴趣区域进行滤波处理，以确定道路目标的多个关键点。

根据本公开的另一个方面，提供了一种用于道路目标检测的卷积神经网络的构建方法，包括：构建至少包含卷积层、分类器和滤波器层的卷积神经网络；将所述卷积层和分类器配置为在利用所述卷积神经网络进行道路目标检测时确定输入图像是否包含道路目标以及输入图像中覆盖道路目标的至少一个感兴趣区域，并确定道路目标的分类及其位置；以及将所述滤波器层配置为在利用所述卷积神经网络进行道路目标检测时对所述至少一个感兴趣区域进行滤波处理，以确定道路目标的多个关键点。

附图说明

从下面结合附图对本公开实施例的详细描述中，本公开的这些和/或其它方面和优点将变得更加清楚并更容易理解，其中：

图1示出了可应用本公开实施例的道路目标检测技术的示意性场景。

图2示出了存在遮挡、阴影、曝光条件的各种影响时相机所拍摄的两张示例性道路图像。

图3示出了根据本公开实施例的用于道路目标检测的卷积神经网络的结构示意图。

图4示出了根据本公开实施例的用于道路目标检测的卷积神经网络的训练方法的流程图。

图5示出了根据本公开实施例的用于道路目标检测的卷积神经网络的训练方法的从训练图像得到感兴趣区域的一种示例性方法的流程图。

图6示出了根据本公开实施例的用于道路目标检测的卷积神经网络的训练方法中基于第一特征图确定训练图像中的感兴趣区域的一种示例性方法的流程图。

图7示出了根据本公开实施例的用于道路目标检测的卷积神经网络的训练方法中采用主成份分析法从感兴趣区域预测路面标识的多个关键点的一种示例性方法的流程图。

图8示出了根据本公开实施例的用于道路目标检测的卷积神经网络的训练方法中将感兴趣区域划分成感兴趣块的方法的流程图。

图9示出了根据本公开实施例的用于道路目标检测的卷积神经网络的训练方法中将感兴趣区域划分成感兴趣块的方法的示意图。

图10示出了根据本公开实施例的用于道路目标检测的卷积神经网络的训练方法中从感兴趣块中确定关键点的示例性方法的流程图。

图11示出了根据本公开实施例的用于道路目标检测的卷积神经网络的训练方法中从感兴趣块中确定关键点的示例性方法的示意图。

图12示出了根据本公开实施例的用于道路目标检测的卷积神经网络的训练方法中基于预测到的关键点来计算各个关键点之间的位置关系的示意图。

图13示出了根据本公开实施例的道路目标检测方法所使用的卷积神经网络的结构示意图。

图14示出了根据本公开实施例的使用卷积神经网络的道路目标检测方法的流程图。

图15示出了根据本公开实施例的道路目标检测方法中采用主成份分析法从感兴趣区域预测路面标识的多个关键点的一种示例性方法的流程图。

图16示出了根据本公开实施例的道路目标检测方法中将感兴趣区域划分成感兴趣块的方法的流程图。

图17示出了根据本公开实施例的道路目标检测方法中从感兴趣块中确定关键点的示例性方法的流程图。

图18示出了根据本公开实施例的用于道路目标检测的训练设备的示意性框图。

图19示出了根据本公开实施例的道路目标检测设备的示意性框图。

图20示出了根据本公开实施例的道路目标检测设备的示意性框图。

具体实施方式

为了使本领域技术人员更好地理解本公开，下面结合附图和具体实施方式对本公开作进一步详细说明。

首先参照图1来描述可应用本公开实施例的道路目标检测技术的示意性场景。道路目标可以是诸如道路标志、路面标识、行人、车辆等道路上的各种目标对象。此处以及下文中为了便于说明，以待检测道路目标是路面标识为例对本公开进行详细描述，应当理解，这仅仅是一种示例性说明，而并非是对本发明的限制。

如图1所示，道路上存在各种路面标识，例如，车道线、斑马线、停止线、人行横道预告标线等等。在车辆的行驶过程中，可以通过相机捕获驾驶员视线范围内的道路图像，然后基于对道路图像的分析做出正确的导航控制。根据本公开的道路目标检测技术，通过分析捕获的道路图像，可以判断道路前方是否有路面标识以及该路面标识是何种标识，并检测出路面标识的关键点的位置。通过将检测结果反馈给车辆控制系统，可以实现辅助或者自动驾驶功能。例如，以菱形形状的人行横道预告标线为例，如图1所示，可以检测到菱形路面标识并定位作为端点的至少三个关键点。

如先前所讨论的，传统的道路目标检测技术通常包括目标区域检测和关键点定位两个阶段，目标区域检测的阶段往往受到相机、路面状况、光照等条件的影响，进而严重影响后续关键点定位的准确度。例如，图2示出了当存在遮挡、阴影、曝光条件的各种影响时相机所拍摄的两张示例性道路图像。在上述各种条件影响下，在区域检测阶段无法得到准确的路面标识的分类及区域检测结果，由于关键点定位对于区域检测结果的严重依赖性，进一步导致无法得到关键点的准确定位。

有鉴于此，为了同时检测道路目标并定位其关键点并且提供准确的道路目标检测结果，本公开提出了基于深度学习思想的道路目标检测技术：一方面，利用道路图像训练样本对卷积神经网络进行学习和训练，基于损失函数不断更新卷积神经网络的参数，从而提供一种可应用于高准确度道路目标检测的经训练的卷积神经网络；另一方面，通过使用经训练的卷积神经网络对待检测的图像进行检测，不仅可以检测道路目标的分类及其位置，而且还可以同时定位其关键点。通过这种基于深度学习的方法，可以同时检测道路目标并定位其关键点，提供一种端到端的高准确度的道路目标检测方法。以下主要从训练卷积神经网络和使用经训练的卷积神经网络两方面来介绍本公开的道路目标检测技术。

卷积神经网络的训练方法

图3示出了根据本公开实施例的所训练的用于道路目标检测的卷积神经网络的示意图，图4示出了根据本公开实施例的用于道路目标检测的卷积神经网络的训练方法的流程图。以下结合图3和图4描述该训练方法。

首先结合图3对本公开实施例的卷积神经网络的训练方法的思想进行简单描述。在本公开的实施例中，所训练的卷积神经网络的参数可以是初始设定的，或者是经过了一定程度学习得到的。为了使得该卷积神经网络具有道路目标检测方面的更强性能，需要不断对该卷积神经网络进行训练和学习。如图3中示意性所示，一方面，通过对训练图像进行处理和分析，可以得到道路目标的分类及其位置、以及关键点的位置关系等预测结果；另一方面，可以从训练图像中获知有关道路目标的真实值，据此可以计算预测值与真实值之间的损失。进一步，基于该损失来更新卷积神经网络的各个参数，可以增强卷积神经网络的性能表现。以下结合图4详细描述卷积神经网络的训练方法。

如图4所示，在步骤S101，利用卷积神经网络对训练图像进行处理，以确定所述训练图像是否包含道路目标以及所述训练图像中覆盖道路目标的至少一个感兴趣区域，并预测道路目标的分类及其位置。在本公开实施例中，训练图像是预先得到的道路图像的集合。所获取的训练图像中包括含有道路目标的图像以及不含有道路目标的图像，以供后续作为卷积神经网络对道路目标进行深度学习的正样本数据和负样本数据。需说明的是，尽管以下主要从正样本数据方面对卷积神经网络的训练进行了描述，但本公开不限于此，利用训练样本中设置的负样本数据同样可以使卷积神经网络不断进行训练和学习。例如，所获取的训练图像可以是由车辆配备的拍摄单元获取的静态图像，还可以是视频图像中的一帧视频帧。另外，所获取的训练图像可以是灰度图或彩色图，在此不做限定。可以采用各种方法从训练图像确定感兴趣区域，仅为了说明的完整性，以下将结合图5描述从训练图像中确定感兴趣区域的一种示例性方法。

如图5所示，在步骤S1011，利用卷积神经网络的第一卷积层中的不同卷积核对所述训练图像进行卷积操作，确定第一特征图。具体地，在该步骤中，可以分别使用具有不同参数值的卷积核(例如，定义不同权值的多个卷积核)对训练图像的像素值进行多次卷积操作，得到卷积后的多个特征图，从而获得更丰富的多尺度特征，以保留原始训练图像中蕴含的信息。

在步骤S1011之后，可以将卷积后的多个特征图直接作为第一特征图以供后续感兴趣区域的检测。可选地，在步骤S1011中通过卷积操作得到第一特征图之后，还可以进一步对所确定的第一特征图进行优化，并将优化后的特征图用于后续感兴趣区域的检测。以下结合步骤S1012至步骤S1013描述本公开实施例中可选的特征优化处理。

在步骤S1012，利用卷积神经网络的归一化层对所述第一特征图进行归一化操作，确定归一化的卷积特征图。例如，该步骤中可以采用线形校正单元(Rectified LinearUnit)、局部响应归一化方法等对第一特征图进行归一化操作，从而得到归一化的卷积特征图。通过对特征图进行归一化处理，可以避免训练数据中存在奇异样本数据导致卷积神经网络收敛过慢的问题，从而加快卷积神经网络的学习速度。

在步骤S1013，利用卷积神经网络的池化层对所述归一化的卷积特征图进行池化操作，确定池化的特征图，并将所述池化的特征图作为所述第一特征图。例如，该步骤中可以采用最大池化处理或平均池化处理，从而得到池化后的特征图。通过对特征进行池化操作，能够在不损失特征信息的同时降低数据处理的维度，防止在卷积神经网络学习过程中出现过拟合的问题。

在步骤S1014，基于所述第一特征图，确定所述训练图像是否包含道路目标以及所述训练图像中覆盖道路目标的至少一个感兴趣区域。可以采用各种现有方法确定训练图像中的至少一个感兴趣区域，仅为了说明的完整性，以下将结合图6描述基于第一特征图确定感兴趣区域的一种示例性方法。

如图6所示，在步骤S1014-A，利用卷积神经网络的另一卷积层中的不同卷积核对所述第一特征图进行卷积操作，确定第二特征图。经过另一卷积层对第一特征图再次进行卷积操作，可以进一步从中抽取特征并对特征图进行更新。

在步骤S1014-B，对所述第二特征图进行划分，确定不同尺度的多个候选区域。例如，考虑到路面标识在照片上的相对大小并不固定，需要将第二特征图划分成不同尺度的多个区域。在该步骤中，可以通过网格划分或者滑动窗口划分可以生成不同尺度的多个候选区域，以便后续分类器从中检测到不同大小的路面标识。

在步骤S1014-C，利用卷积神经网络的分类器对所述多个候选区域进行分类操作，确定所述训练图像是否包含道路目标并且从所述多个候选区域中确定所述至少一个感兴趣区域。在获得了不同尺度的多个候选区域之后，通过采用分类器对多个候选区域进一步分析，可以从中确定是否包含路面标识以及可能包含路面标识的感兴趣区域。可以采用多种方法来实现上述分类的过程，作为一种可能的实现方式，可以参考文献“Ren,Shaoqing,et al."Faster R-CNN:towards real-time object detection with region proposalnetworks."International Conference on Neural Information Processing SystemsMIT Press,2015:91-99”，在此不予赘述。

返回图4，如上所述，在步骤S101中，可以预测道路目标的分类及其位置。例如，可以借助于分类器对所述多个候选区域的分类结果，确定道路目标的分类及其位置坐标，该分类可以指示该感兴趣区域所对应的道路目标是何种标识，该位置坐标可以指示各个感兴趣区域的矩形顶点坐标。

可选的，在该步骤S101中预测道路目标的分类及其位置的同时可以得到该道路目标的分类得分。例如，该分类得分可以指示该道路目标为一特定道路目标的概率值得分，或者该分类得分可以指示该道路目标分别可能为多种道路目标的各个概率值得分，在此不做限制。在同时得到道路目标的分类得分的情况下，可以将该分类得分用于预测值与真实值之间的损失的计算，以供卷积神经网络通过对该损失进行学习来更新其各个参数。

需说明的是，以上描述了利用该卷积神经网络本身对训练图像进行处理从而得到感兴趣区域，相应地，在该卷积神经网络更新的过程中，可以对感兴趣区域提取过程所涉及的参数进行更新。不限于此，本公开的实施例还可以采用与该卷积神经网络独立的另一卷积神经网络和/或任何分类网络，对训练图像进行处理以得到感兴趣区域，并且将该另一卷积神经网络和/或分类网络的检测结果输入到该卷积神经网络中，相应地，基于该卷积神经网络的整体损失，可以选择对该另一卷积神经网络和/或分类网络进行更新或者选择不对其进行更新。另外，假设采用了与该卷积神经网络独立的另一卷积神经网络和/或任何分类网络进行感兴趣区域的检测，则该另一卷积神经网络和/或分类网络还可以基于其自身的预测值与真实值之间的损失进行更新。

以上描述了直接利用分类器所得到的感兴趣区域所对应的目标分类的结果作为所预测到的道路目标的分类和位置。考虑到分类器所输出的结果的准确度可能并不高，优选地，本公开的实施例还可以不采用分类器的结果而对特征进一步进行处理以对道路目标的分类和位置进行预测。例如，在上述特征提取阶段中得到了第二特征之后，可以再次对该第二特征进行卷积操作(并且可选地进行归一化和池化操作)以对所提取的特征再次进行更新，并且将更新后的特征输入到全连接层中进行全连接操作，进而基于全连接操作及后续分类提供关于道路目标的分类和位置的预测结果。可以理解，在卷积神经网络的训练阶段，上述处理中所涉及的卷积层参数和全连接层参数是可以被更新的，从而能够保证卷积神经网络在道路目标的分类和位置的预测上具有更佳的性能表现。

返回图4，在步骤S102，在卷积神经网络中设置滤波器层，以对所述至少一个感兴趣区域进行滤波处理，预测道路目标的多个关键点。如先前所讨论的，现有的基于深度学习的物体检测方法仅仅能够识别包含道路目标的区域，本公开的实施例在卷积神经网络中额外设置滤波器层，从而除了能够对道路目标分类和定位之外，还能够对道路目标的关键点进行定位。可以理解，该步骤S102在训练过程中是可选的，例如，对于正样本训练图像，可以在确定训练图像包含道路目标之后，进行该步骤S102；而对于负样本训练图像，可以不进行该步骤S102。以下以菱形路面标识为例，结合图7-图11描述采用主成份分析法从感兴趣区域预测路面标识的多个关键点的一种示例性方法。

如图7所示，对于所述至少一个感兴趣区域中的每个感兴趣区域，通过进行滤波处理，可以确定每个感兴趣区域中的多个关键点。

在步骤S1021，将该感兴趣区域划分成包含道路目标的关键点的多个感兴趣块。考虑到关键点的分布情况，感兴趣区域的很大部分区域中不存在关键点，对这些不含有关键点的区域进行处理会浪费大量的计算资源，不利于卷积神经网络的快速收敛。因此，该示例性方法首先对感兴趣区域进行划分操作，以获得包含道路目标的关键点的感兴趣块，后续对这些感兴趣块处理就可以得到关键点的位置，而无需耗费计算资源对整个感兴趣区域进行处理。以下将结合图8和图9进行描述。

如图8所示，在步骤S1021-A，获得所述至少一个感兴趣区域的平均尺寸。如图9中示意性所示，各个矩形框表示所获得的感兴趣区域。由于检测结果中存在误差，所得到的感兴趣区域可能无法恰好将菱形标识包含在其中，例如某些感兴趣区域完全地覆盖了菱形路面标识，而某些感兴趣区域部分地覆盖了菱形路面标识。考虑到获得的感兴趣区域是大量的且大小并不一致，因此在进行感兴趣块的划分时需要考虑这些感兴趣区域的平均大小，以供后续从感兴趣区域中适当地收集各个块，使得所收集的块中恰好能够包含关键点且其面积不至于过大。如图9中示意性示出的，可以计算得到全部感兴趣区域的平均尺寸。

在步骤S1021-B，基于所述平均尺寸，确定水平方向块收集器和垂直方向块收集器的尺寸。作为感兴趣块的划分的一种示例性实现方法，可以首先确定水平方向块收集器和垂直方向块收集器的尺寸，进而使用该尺寸的水平方向块收集器和垂直方向块收集器从感兴趣块进行收集操作，以得到相应尺寸的水平感兴趣块和垂直感兴趣块。例如，如图9中示意性示出的，可以将全部感兴趣区域的平均尺寸的长度作为水平方向块收集器的长度，将平均尺寸的宽度的一半作为水平方向块收集器的宽度；将全部感兴趣区域的平均尺寸的长度的一半作为垂直方向块收集器的长度，将平均尺寸的宽度作为垂直方向块收集器的宽度。当然，图9中所示的长宽比例和上述“一半”的相对尺寸关系仅为一种示例性举例，还可以基于所确定的平均尺寸，采用不同的长度/宽度系数来确定不同尺寸的水平方向块收集器和垂直方向块收集器，以用于后续进行感兴趣块的收集。另外，所采用的收集器也不限于图中示出中垂直方向和水平方向，例如，可以对水平方向块收集器和垂直方向块收集器进行角度旋转操作，以得到不同方向的块收集器以供后续感兴趣块提取，本公开不对此加以限制。

在步骤S1021-C，利用所述水平方向块收集器和垂直方向块收集器从该感兴趣区域中提取块，作为所述多个感兴趣块。例如，可以分别将上述各个块收集器的中心与感兴趣区域的边缘的中心对齐，将对齐后的各个块收集器内与原始图像的重叠区域提取出来作为感兴趣块。图9中示意性地示出了对于三个感兴趣区域进行划分后，分别得到的感兴趣块的结果。以感兴趣区域1为例：将一个水平方向块收集器的中心与感兴趣区域的底边的中点对齐，将重叠区域作为底端感兴趣块，该底端感兴趣块中包含了菱形标识的一个端点；将一个垂直方向块收集器的中心与感兴趣区域的左侧边的中点对齐，将重叠区域作为左端感兴趣块，该左端感兴趣块中同样包含了菱形标识的一个端点；将一个垂直方向块收集器的中心与感兴趣区域的右侧边的中点对齐，将重叠区域作为右端感兴趣块，该右端感兴趣块中同样包含了菱形标识的一个端点。从而，对于每个感兴趣区域，得到了相应的三个感兴趣块，其中每个感兴趣块中均包含了相应的一个关键点。

需说明的是，如先前所讨论的，由于误差的存在，原来的感兴趣区域中可能并不能全部地覆盖道路目标，例如，感兴趣区域1中的左端点、右端点和底端点均未落入感兴趣区域1中，在该步骤中，通过如上设置水平方向块收集器和垂直方向块收集器，可以使得所收集到的感兴趣块能够包含各个相应的端点，从而实现关键点的准确定位。另外，本实施例中虽然描述了采用一个水平方向块收集器和两个垂直方向块收集器，但本公开实施例方法不对块收集器的数量进行限制，可以采用更多或更少数量的块收集器从感兴趣区域中获得感兴趣块。比如，假设希望获得菱形图形的全部四个顶点，则可以在图9的基础上再增加一个水平块收集器。

返回图7，在步骤S1022，利用一组主成份分析滤波器对每个感兴趣块进行滤波操作，预测道路目标的候选关键点的位置。以下结合图10和图11进行描述。

如图10所示，在步骤S1022-A，利用一组主成份分析滤波器对每个感兴趣块进行滤波操作，生成与每个感兴趣块对应的多个响应图。如图11中所示意性示出的，以从感兴趣区域中得到的包含了左端点的感兴趣块为例，可以分别利用一组主成份分析滤波器中的各个滤波器U₁～U_k对该感兴趣块进行滤波操作，进而得到与该感兴趣块对应的K个响应图。主成份分析滤波器的滤波操作是本领域中公知的，在此不予赘述。所述K个响应图的分布反映出了左端点的可能位置，进而对这些可能的位置进行加权便可以得到左端点的位置。

此外，该组主成份分析滤波器可以是预先得到的，以下将描述获得该组主成份分析滤波器的示例性方法。与以上结合图8和图9讨论的类似的，可以从训练图像中提取多个感兴趣区域，并且从这些感兴趣区域中划分包含道路目标的关键点的多个感兴趣块，在此不予赘述。之后，可以将对应于同一端点的感兴趣块进行分组，对于各组分别获得相应的主成份滤波器。以菱形路面标识为例，假设提取到M个感兴趣区域，并且对这M个感兴趣区域中的每个感兴趣区域划分出对应左端点的一个感兴趣块、对应于右端点的一个感兴趣块、以及对应于底端点的一个感兴趣块。进一步，可以分别将这M个感兴趣区域的对应于左端点的M个感兴趣块、对应于右端点的M个感兴趣块、对应于底端点的M个感兴趣块作为相应的三个集合，并且分别获得与各个集合对应的一组主成份滤波器。主成份分析滤波器的获得方法是公知的，为了说明的完整性，以下简要对其进行描述。

对于任一集合：

首先，计算M个感兴趣块Γ_i的平均值，得到一个平均图ψ

然后，分别将平均图ψ从上述M个感兴趣块Γ_i中去除后，得到矩阵Φ

Φ_i＝Γ_i-ψ (公式2)

Φ＝[Φ_i,Φ₂,Φ₃,…,Φ_M] (公式3)

进一步，根据所得到的矩阵Φ，构建协方差矩阵ΦΦ^T。

主成份分析方法已经有了较为深入的研究，其旨在利用降维的思想，把多指标转化为少数几个综合指标(即，主成份)，其中每个主成份都能够反映原始变量的大部分信息，且所含信息互不重复。主成份分析方法在引进多方面变量的同时将复杂因素归结为几个主成份，使问题简单化，同时得到的结果更加科学有效的数据信息。主成份分析方法的目标即为构建一组正交滤波器V，使重构误差最小化，即：

该问题的求解过程实际上即为求解协方差矩阵ΦΦ^T的前K个主成份特征向量。通过对协方差矩阵ΦΦ^T进行求解，可以将主成份分析滤波器表示为U_l。

U_l＝mat(q_l(ΦΦ^T)),l＝1,...,K (公式5)

以上描述了对于任一集合获得其相应的一组主成份分析滤波器的过程。对于另外端点的其他集合，获得相应的各组主成份滤波器的过程与之类似。在对上述每个集合均获得相应一组主成份滤波器之后，便可以使用各组滤波器分别对其相应集合中的感兴趣块进行滤波处理，以从中提取关键点。

返回图10，在步骤S1022-B，根据所述多个响应图的分布以及该组主成份分析滤波器中的各个滤波器的权值，确定所述道路目标的候选关键点的位置。例如，在获得了与各个滤波器对应的响应图之后，可以基于响应图的分布情况，通过全连接操作将响应图中的响应最高的位置映射为相应的位置p_k。进一步，在得到各个位置之后，可以根据各个权值参数w_k及对应的位置p_k计算出关键点的位置P。

以上描述了通过对一个感兴趣区域的一个感兴趣块进行处理，从而确定了菱形标识的左端点。可以理解，对于该感兴趣区域的其余感兴趣块，可以采用类似的方法，分别确定菱形标识的右端点和底端点。进而，对于其余的每个感兴趣区域，可以采用相同的方法，得到每个感兴趣区域的左端点、右端点和底端点。

此外，虽然以上描述了将感兴趣区域划分为感兴趣块之后进行滤波处理，得到关键点的位置，不限于此，在不考虑对整个感兴趣区域大量计算量的情况下，也可以不对感兴趣区域进行划分而对整个感兴趣区域进行滤波处理，进而得到各个关键点的位置。

可选的，该步骤S102中在预测多个关键点的位置的同时可以得到其对应的得分。例如，每个感兴趣区域均对应于一组关键点(例如，左端点、右端点、底端点)，因此可以采用该感兴趣区域的分类得分作为该组候选点的得分。或者，可以通过对所确定的关键点进一步提取特征后进行评价来获得该组候选点的得分，例如，通过对所确定的关键点提取有关位置关系的特征并进行全连接操作以得到各组候选点的得分。在同时得到多个关键点的得分的情况下，可以将该得分用于预测值与真实值之间的损失的计算，来反映出卷积神经网络的性能表现，以供卷积神经网络通过对该损失进行学习来更新其各个参数。

返回图4，在步骤S103，在卷积神经网络中设置关键点关系编码层，以计算所述多个关键点之间的位置关系。为了使卷积神经网络能够学习到路面标识的结构及视角特性，本公开实施例在卷积神经网络中设置关键点关系编码层，从而可以计算多个关键点之间的位置关系，进而将位置关系的损失用于卷积神经网络的学习，使得学习后的卷积神经网络的输出结果更贴近于关键点之间的位置关系，以便准确反映出关键点的位置。关键点之间的位置关系可以包括局部关系和全局关系。例如，可以对任意两个关键点计算局部关系，并对所有的关键点计算全局关系。仍然以菱形为例，可以计算关键点之间的两两相对位置关系及所有关键点的分布情况。如下结合图12介绍基于多个关键点的预测值来计算各个关键点之间的位置关系。

如图12所示，预测到的关键点为P1、P2和P3：

左关键点:P1(X1,Y1)

底关键点:P2(X2,Y2)

右关键点:P3(X3,Y3)

可以计算关键点之间的如下位置关系：

P1和P3两点之间的斜率:K1＝(Y1-Y3)/(X1-X3)

P2和P3两点之间的斜率:K2＝(Y2-Y3)/(X2-X3)

P1和P2两点之间的斜率:K3＝(Y2-Y1)/(X2-X1)

P1、P2和P3三点X坐标的平均值:AvgX＝(X1+X2+X3)/3

P1、P2和P3三点Y坐标的平均值:AvgY＝(Y1+Y2+Y3)/3

P1和P3两点之间的距离：Len＝||P1-P3||

在计算上述各种位置关系之后，可以将计算结果输出给损失计算层，以便其计算预测值与真实值之间的损失。

在步骤S104，利用所预测的道路目标的分类及其位置与真实值之间的损失以及所计算的多个候选关键点之间的位置关系与真实值之间的损失，调整所述卷积神经网络的各参数，以对所述卷积神经网络进行训练。该步骤中，为了使得卷积神经网络在检测道路目标的位置及分类以及路面标识的关键点的位置等各个方面上均有良好的表现，对路面标识的分类及其位置以及关键点之间的位置关系的损失计算，得到卷积神经网络的整体损失，以此反映出当前训练阶段的参数性能。进而，将所得到的损失反传回卷积神经网络的各个层，可以更新相关各层的参数。

在该步骤S104之后，还可以判断是否满足预定条件，来确定是否完成了训练过程。例如，该预定条件为卷积神经网络的预测值与真实值之间的损失，例如，当确定所述损失之和小于预定阈值时，确定卷积神经网络完成了训练，将此时各参数的值作为训练好的神经网络的各参数的值。或者，该预定条件为卷积神经网络的训练次数或训练周期，当所述卷积神经网络的训练次数达到预定阈值时，将此时的各参数作为训练好的神经网络的各参数的值。相应地，通过不断利用训练图像集中的图像对卷积神经网络的参数进行更新，可以使得预测值与真实值之间的损失不断降低。如果在某一轮训练中计算得到的损失满足预定条件时，则可以停止训练，并且得到训练好的卷积神经网络。

换言之，卷积神经网络的学习目标即为使得网络的整体损失不断降低，以得到性能表现良好的卷积神经网络。以下以关键点之间的位置关系的损失为例，描述卷积神经网络的学习目标。

通过对训练图像进行分析，可以确定关键点的真实值：

左关键点:P’1(X’1,Y’1)

底关键点:P’2(X’2,Y’2)

右关键点:P’3(X’3,Y’3)

关键点之间的位置关系的真实值为：

P’1和P’3两点之间的斜率:K’1＝(Y’1-Y’3)/(X’1-X’3)

P’2和P’3两点之间的斜率:K’2＝(Y’2-Y’3)/(X’2-X’3)

P’1和P’2两点之间的斜率:K’3＝(Y’2-Y’1)/(X’2-X’1)

P’1、P’2和P’3三点X坐标的平均值:AvgX’＝(X’1+X’2+X’3)/3

P’1、P’2和P’3三点Y坐标的平均值:AvgY’＝(Y’1+Y’2+Y’3)/3

P’1和P’3两点之间的距离：Len’＝||P’1-P’3||

其中预测值与真实值之间的损失为：

T_k1＝K1-K’1

T_k2＝K2-K’2

T_k3＝K3-K’3

T_AvgX＝AvgX-AvgX’

T_AvgY＝AvgY-AvgY’

T_Len＝Len-Len’

通过卷积神经网络的不断学习，可以实现预测值与真实值之间的损失

不断降低。

以上描述了基于所述道路目标的分类及其位置的预测值与真实值之间的损失以及所述多个关键点之间的位置关系的预测值与真实值之间的损失，来更新所述卷积神经网络的参数的示例性实施例。本公开不限于此，例如，在如上所讨论的在步骤S101中预测道路目标的分类及其位置的同时得到该道路目标的分类得分以及在步骤S102中预测多个关键点的位置的同时得到其对应的得分的情况下，在损失计算层计算损失的过程中，还可以同时计算分类得分的预测值与真实值之间的损失(例如，得分为80％的预测概率值与100％的真实值之间的损失)，并将其用于卷积神经网络的学习，使得所学习的性能更加良好。

需说明的是，在卷积神经网络的学习过程中，所更新的参数包括卷积神经网络内的各个卷积层的参数以及滤波器层的参数。例如，所更新的参数可以包括第一卷积层中的不同卷积核的参数、第二卷积层中的不同卷积核的参数、该组主成份分析滤波器中的各个滤波器的权值、另外的一个或多个卷积层的参数等等。通过学习，可以使得卷积神经网络在道路目标的分类和定位以及关键点定位上的性能不断优化，以供后续将其用来检测道路目标。

本领域技术人员可以理解，虽然以上仅以一种道路目标为例描述了卷积神经网络的训练方法，在实际的训练过程中，为了增强卷积神经网络的泛化能力，可以将多种不同的道路目标输入到卷积神经网络中进行学习，来更新相应的各个层的参数，使得经训练的卷积神经网络能够检测出多种道路目标并且可选地提供相应的得分。

根据本公开的卷积神经网络的训练方法，通过额外设置滤波器层以及关键点关系编码层，可以使卷积神经网络对所预测的道路目标的分类及其位置与真实值之间的损失以及所计算的多个候选关键点之间的位置关系与真实值之间的损失进行学习和训练，来不断更新卷积神经网络的参数，从而提供一种可应用于高准确度道路目标检测的经训练的卷积神经网络。通过这种基于深度学习的方法，能够提供一种同时检测道路目标并定位其关键点的端到端的道路目标检测方法。

道路目标检测方法

以上描述了卷积神经网络的训练方法，下面将结合图13和图14描述使用卷积神经网络的道路目标检测方法。

图13示出了根据本公开实施例的用于道路目标检测的卷积神经网络的示意图，图14示出了根据本公开实施例的道路目标检测方法的流程图。以下结合图13和图14描述该训练方法。

首先结合图13对本公开实施例的道路目标检测方法的思想进行简单描述。在本公开的实施例中，该卷积神经网络是预先学习过的，并且具有一定的道路目标检测能力。如图13中示意性所示，通过对待检测图像进行处理，可以检测待检测图像是否包含道路目标以及道路目标的分类及其位置，而且还可以同时定位其关键点，从而提供一种端到端的道路目标检测方法。以下结合图14详细进行描述。

如图14所示，在步骤S201，获取待检测图像。在本公开实施例中，待检测图像是车辆实时拍摄的道路图像。所获取的待检测图像中有可能会含有路面标识，对其进行有无检测及位置与分类检测能够使车辆控制系统进行更准确的导航控制。例如，所获取的待检测图像可以是由车辆配备的拍摄单元获取的静态图像，还可以是视频图像中的一帧视频帧。另外，所获取的待检测图像可以是灰度图或彩色图，在此不做限定。

在步骤S202，利用经训练的卷积神经网络对待检测图像进行处理，以确定所述待检测图像是否包含道路目标、所述待检测图像中覆盖道路目标的至少一个感兴趣区域、以及道路目标的分类及其位置。待检测图像是否包含道路目标、该至少一个感兴趣区域以及道路目标的分类及其位置的确定过程与上述卷积神经网络训练过程中所讨论的处理是类似的，在此不予赘述。例如，可以通过卷积神经网络的分类器来确定该待检测图像是否包含道路目标。可选的，该步骤S202中在确定待检测图像包含道路目标并确定了道路目标的分类及其位置的同时可以得到道路目标的分类得分，可以将该分类得分提供给车辆控制系统，以供车辆控制系统基于这些得分评价对应的分类结果的置信程度，以做出正确的导航动作。

在步骤S203，利用经训练的卷积神经网络的滤波器层对所述至少一个感兴趣区域进行滤波处理，以确定道路目标的多个关键点。可以理解，该步骤S203是可选的，例如，在确定待检测图像中包含道路目标的情况下，可以进行该步骤S203中确定道路目标的多个候选关键点的处理；如果待检测图像中不包含道路目标，则可以不进行步骤S203，而结束对待检测图像的处理。以下仍以菱形路面标识为例，结合图15-图17描述采用主成份分析法从感兴趣区域确定路面标识的多个关键点的示例性方法。

如图15所示，对于所述至少一个感兴趣区域中的每个感兴趣区域，通过进行滤波处理，可以确定每个感兴趣区域中的多个关键点。

在步骤S2041，将该感兴趣区域划分成包含道路目标的关键点的多个感兴趣块。考虑到关键点的分布情况，感兴趣区域的很大部分区域中不存在关键点，对这些不含有关键点的区域进行处理会浪费大量的计算资源。因此，该示例性方法首先对感兴趣区域进行划分操作，以获得包含道路目标的关键点的感兴趣块，后续对这些感兴趣块处理就可以得到关键点的位置，而无需耗费计算资源对整个感兴趣区域进行处理。以下将结合图16描述将感兴趣区域划分成感兴趣块的方法。

如图16所示，在步骤S2041-A，获得所述至少一个感兴趣区域的平均尺寸。如图9中所示相类似的，获得的感兴趣区域是大量的且大小并不一致，因此在进行感兴趣块的划分时需要考虑这些感兴趣区域的平均大小，以供后续从感兴趣区域中适当地收集各个块，使得所收集的块中恰好能够包含关键点且其面积不至于过大。

在步骤S2041-B，基于所述平均尺寸，确定水平方向块收集器和垂直方向块收集器的尺寸。作为感兴趣块的划分的一种示例性实现方法，可以首先确定水平方向块收集器和垂直方向块收集器的尺寸，进而使用该尺寸的水平方向块收集器和垂直方向块收集器从感兴趣块进行收集操作，以得到相应尺寸的水平感兴趣块和垂直感兴趣块。另外，所采用的收集器也不限于垂直方向和水平方向，例如，可以对水平方向块收集器和垂直方向块收集器进行角度旋转操作，以得到不同方向的块收集器以供后续感兴趣块提取，本公开不对此加以限制。

在步骤S2041-C，利用所述水平方向块收集器和垂直方向块收集器从该感兴趣区域中提取块，作为所述多个感兴趣块。例如，可以分别将上述各个块收集器的中心与感兴趣区域的边缘的中心对齐，将对齐后的各个块收集器内与原始图像的重叠区域提取出来作为感兴趣块。本实施例中，对于感兴趣区域进行划分后得到的感兴趣块的结果与图9中示意性所示的相类似，在此不予赘述。另外，本实施例中虽然描述了采用一个水平方向块收集器和两个垂直方向块收集器，但本公开实施例方法不对块收集器的数量进行限制，可以采用更多或更少数量的块收集器从感兴趣区域中获得感兴趣块。

返回图15，在步骤S2042，利用一组主成份分析滤波器对每个感兴趣块进行滤波操作，确定道路目标的候选关键点的位置。以下结合图17进行描述。

如图17所示，在步骤S2042-A，利用一组主成份分析滤波器对每个感兴趣块进行滤波操作，生成与每个感兴趣块对应的多个响应图。与图11中所示意性示出的相类似，以从感兴趣区域中得到的包含了左端点的感兴趣块为例，可以分别利用一组主成份分析滤波器中的各个滤波器U₁～U_k对该感兴趣块进行滤波操作，进而得到与该感兴趣块对应的K个响应图。另外，如先前所讨论的，该组主成份分析滤波器可以是预先学习的，在此不予赘述。

在步骤S2042-B，根据所述多个响应图的分布以及该组主成份分析滤波器中的各个滤波器的权值，确定所述道路目标的候选关键点的位置。例如，在获得了与各个滤波器对应的响应图之后，可以基于响应图的分布情况，通过全连接操作将响应图中响应最高的位置映射为相应的位置p_k。进一步，在得到各个位置之后，可以根据各个权值参数w_k及对应的位置p_k计算出关键点的位置P。

可选的，该步骤S203中在确定多个关键点的位置的同时可以得到其对应的得分。例如，每个感兴趣区域均对应于一组关键点(例如，左端点、右端点、底端点)，因此可以采用该感兴趣区域的分类得分作为该组候选点的得分。或者，可以通过对所确定的关键点进一步提取特征后进行评价来获得该组候选点的得分，例如，通过对所确定的关键点提取有关位置关系的特征并进行全连接操作以得到各组候选点的得分。在同时得到多个关键点的得分的情况下，可以将该得分提供给车辆控制系统，以供车辆控制系统基于这些得分评价对应的关键点的置信程度，以做出正确的导航动作。

根据本公开的道路目标检测方法，通过使用经训练的卷积神经网络对待检测的图像进行检测，不仅可以检测是否包含道路目标以及道路目标的分类及其位置，而且还可以同时定位其关键点，从而提供一种端到端的高准确度的道路目标检测方法。

卷积神经网络训练设备

根据本公开的另一方面，提供一种卷积神经网络训练设备，以下结合图18详细描述该训练设备1800。

图18示出了根据本公开实施例的训练设备的框图。如图18所示，训练设备1800包括处理器U1801和存储器U1802。存储器U1802中存储有计算机程序指令，并且处理器U1801可以运行存储器U1802中存储的指令。在所述计算机程序指令被所述处理器运行时，使得所述处理器执行本公开实施例的卷积神经网络的训练方法。关于卷积神经网络的训练方法与上文中针对图3-12描述的基本相同，因此为了避免重复，不再赘述。作为训练设备的示例，可以包括计算机、服务器、工作站等等。在训练之后，该训练设备可以将训练好的卷积神经网络发送给其他装置，以供其他装置使用该网络进行路面标识的检测；或者该训练装置本身可以利用该网络进行路面标识的检测。

道路目标检测设备

根据本公开的另一方面，提供一种道路目标检测设备，以下结合图19详细描述该道路目标检测设备1900。

图19示出了根据本公开实施例的道路目标检测设备的框图。如图19所示，道路目标检测设1900包括处理器U1901和存储器U1902。存储器U1902中存储有计算机程序指令，并且处理器U1901可以运行存储器U1902中存储的指令。在所述计算机程序指令被所述处理器运行时，使得所述处理器执行本公开实施例的道路目标检测方法。关于道路目标检测方法与上文中针对图13-17描述的基本相同，因此为了避免重复，不再赘述。作为该道路目标检测设备的示例，可以包括车载计算机、车载处理器、后台服务器等。在道路目标检测过程中，可以在车辆中实时地对其获得的图像进行分析，得到路面标识的至少一个关键点以及路面标识的分类及其位置的结果；或者，车辆可以将其获得的照片发送给后台服务器，并且在后台服务器利用训练好的神经网络进行分析之后，将结果返回给车辆以供其进行导航控制。

根据本公开的又一方面，提供一种道路目标检测设备，以下结合图20详细描述该道路目标检测设备2000。

图20示出了根据本公开实施例的道路目标检测设备的框图。如图20所示，道路目标检测设备2000包括获取单元U2001、感兴趣区域提取单元U2002、关键点提取单元U2003。所述各部件的具体功能和操作与上文中针对图13-17描述的基本相同，因此为了避免重复，在下文中仅对所述设备进行简要的描述，而省略对相同细节的详细描述。

获取单元U2001获取待检测图像。感兴趣区域提取单元U2002利用经训练的卷积神经网络对待检测图像进行处理，以确定所述待检测图像是否包含道路目标、所述待检测图像中覆盖道路目标的至少一个感兴趣区域、以及道路目标的分类及其位置。关键点提取单元U2003利用经训练的卷积神经网络的滤波器层对所述至少一个感兴趣区域进行滤波处理，以确定道路目标的多个关键点。

计算机可读存储介质

下面，描述根据本公开实施例的计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现以下步骤：利用卷积神经网络对训练图像进行处理，以确定所述训练图像是否包含道路目标以及所述训练图像中覆盖道路目标的至少一个感兴趣区域，并预测道路目标的分类及其位置；在卷积神经网络中设置滤波器层，以对所述至少一个感兴趣区域进行滤波处理，预测道路目标的多个关键点；在卷积神经网络中设置关键点关系编码层，以计算所述多个关键点之间的位置关系；以及利用所预测的道路目标的分类及其位置与真实值之间的损失以及所计算的多个关键点之间的位置关系与真实值之间的损失，调整所述卷积神经网络的各参数，以对所述卷积神经网络进行训练。

根据本公开另一实施例的计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现以下步骤：获取待检测图像；利用经训练的卷积神经网络对待检测图像进行处理，以确定所述待检测图像是否包含道路目标、所述待检测图像中覆盖道路目标的至少一个感兴趣区域、以及道路目标的分类及其位置；以及利用经训练的卷积神经网络的滤波器层对所述至少一个感兴趣区域进行滤波处理，以确定道路目标的多个关键点。

用于道路目标检测的卷积神经网络的构建方法

根据本公开的另一方面，提供一种用于道路目标检测的卷积神经网络的构建方法。

该构建方法包括构建至少包含卷积层、分类器和滤波器层的卷积神经网络。该方法还包括将所述卷积层和分类器配置为在利用所述卷积神经网络进行道路目标检测时确定输入图像是否包含道路目标以及输入图像中覆盖道路目标的至少一个感兴趣区域，并确定道路目标的分类及其位置。该方法还包括将所述滤波器层配置为在利用所述卷积神经网络进行道路目标检测时对所述至少一个感兴趣区域进行滤波处理，以确定道路目标的多个关键点。关于该构建方法的具体细节与以上所讨论的卷积神经网络的训练方法和使用方法相类似，在此不予赘述。

当然，上述的具体实施例仅是例子而非限制，且本领域技术人员可以根据本发明的构思从上述分开描述的各个实施例中合并和组合一些步骤和装置来实现本发明的效果，这种合并和组合而成的实施例也被包括在本发明中，在此不一一描述这种合并和组合。

注意，在本发明中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本发明的各个实施例必须具备的。另外，上述发明的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本发明为必须采用上述具体的细节来实现。

本发明中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

本发明中的步骤流程图以及以上方法描述仅作为例示性的例子并且不意图要求或暗示必须按照给出的顺序进行各个实施例的步骤。如本领域技术人员将认识到的，可以按任意顺序进行以上实施例中的步骤的顺序。诸如“其后”、“然后”、“接下来”等等的词语不意图限制步骤的顺序；这些词语仅用于引导读者通读这些方法的描述。此外，例如使用冠词“一个”、“一”或者“该”对于单数的要素的任何引用不被解释为将该要素限制为单数。

另外，本文中的各个实施例中的步骤和装置并非仅限定于某个实施例中实行，事实上，可以根据本发明的概念来结合本文中的各个实施例中相关的部分步骤和部分装置以构思新的实施例，而这些新的实施例也包括在本发明的范围内。

以上所述的方法的各个操作可以通过能够进行相应的功能的任何适当的手段而进行。该手段可以包括各种硬件和/或软件组件和/或模块，包括但不限于电路、专用集成电路(ASIC)或处理器。

可以利用被设计用于进行在此所述的功能的通用处理器、数字信号处理器(DSP)、ASIC、场可编程门阵列信号(FPGA)或其他可编程逻辑器件(PLD)、离散门或晶体管逻辑、离散的硬件组件或者其任意组合而实现或进行所述的各个例示的逻辑块、模块和电路。通用处理器可以是微处理器，但是作为替换，该处理器可以是任何商业上可获得的处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合，例如DSP和微处理器的组合，多个微处理器、与DSP核协作的一个或多个微处理器或任何其他这样的配置。

结合本发明描述的方法或算法的步骤可以直接嵌入在硬件中、处理器执行的软件模块中或者这两种的组合中。软件模块可以存在于任何形式的有形存储介质中。可以使用的存储介质的一些例子包括随机存取存储器(RAM)、只读存储器(ROM)、快闪存储器、EPROM存储器、EEPROM存储器、寄存器、硬碟、可移动碟、CD-ROM等。存储介质可以耦接到处理器以便该处理器可以从该存储介质读取信息以及向该存储介质写信息。在替换方式中，存储介质可以与处理器是整体的。软件模块可以是单个指令或者许多指令，并且可以分布在几个不同的代码段上、不同的程序之间以及跨过多个存储介质。

在此发明的方法包括用于实现所述的方法的一个或多个动作。方法和/或动作可以彼此互换而不脱离权利要求的范围。换句话说，除非指定了动作的具体顺序，否则可以修改具体动作的顺序和/或使用而不脱离权利要求的范围。

所述的功能可以按硬件、软件、固件或其任意组合而实现。如果以软件实现，功能可以作为一个或多个指令存储在切实的计算机可读介质上。存储介质可以是可以由计算机访问的任何可用的切实介质。通过例子而不是限制，这样的计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光碟存储、磁碟存储或其他磁存储器件或者可以用于携带或存储指令或数据结构形式的期望的程序代码并且可以由计算机访问的任何其他切实介质。如在此使用的，碟(disk)和盘(disc)包括紧凑盘(CD)、激光盘、光盘、数字通用盘(DVD)、软碟和蓝光盘，其中碟通常磁地再现数据，而盘利用激光光学地再现数据。

因此，计算机程序产品可以进行在此给出的操作。例如，这样的计算机程序产品可以是具有有形存储(和/或编码)在其上的指令的计算机可读的有形介质，该指令可由一个或多个处理器执行以进行在此所述的操作。计算机程序产品可以包括包装的材料。

软件或指令也可以通过传输介质而传输。例如，可以使用诸如同轴电缆、光纤光缆、双绞线、数字订户线(DSL)或诸如红外、无线电或微波的无线技术的传输介质从网站、服务器或者其他远程源传输软件。

此外，用于进行在此所述的方法和技术的模块和/或其他适当的手段可以在适当时由用户终端和/或基站下载和/或其他方式获得。例如，这样的设备可以耦接到服务器以促进用于进行在此所述的方法的手段的传送。或者，在此所述的各种方法可以经由存储部件(例如RAM、ROM、诸如CD或软碟等的物理存储介质)提供，以便用户终端和/或基站可以在耦接到该设备或者向该设备提供存储部件时获得各种方法。此外，可以利用用于将在此所述的方法和技术提供给设备的任何其他适当的技术。

其他例子和实现方式在本发明和所附权利要求的范围和精神内。例如，由于软件的本质，以上所述的功能可以使用由处理器、硬件、固件、硬连线或这些的任意的组合执行的软件实现。实现功能的特征也可以物理地位于各个位置，包括被分发以便功能的部分在不同的物理位置处实现。而且，如在此使用的，包括在权利要求中使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。

可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本发明的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。

提供所发明的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不意图被限制到在此示出的方面，而是按照与在此发明的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本发明的实施例限制到在此发明的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims

1.一种用于道路目标检测的卷积神经网络的训练方法，包括：

利用卷积神经网络对训练图像进行处理，以确定所述训练图像是否包含道路目标以及所述训练图像中覆盖道路目标的至少一个感兴趣区域，并预测道路目标的分类及其位置；

在卷积神经网络中设置滤波器层，以对所述至少一个感兴趣区域进行滤波处理，预测道路目标的多个关键点；

在卷积神经网络中设置关键点关系编码层，以计算所述多个关键点之间的位置关系；以及

利用所预测的道路目标的分类及其位置与真实值之间的损失以及所计算的多个关键点之间的位置关系与真实值之间的损失，调整所述卷积神经网络的各参数，以对所述卷积神经网络进行训练。

2.如权利要求1所述的卷积神经网络的训练方法，其中利用所预测的道路目标的分类及其位置与真实值之间的损失以及所计算的多个关键点之间的位置关系与真实值之间的损失，调整所述卷积神经网络的各参数，以对所述卷积神经网络进行训练包括：

确定当所述损失之和小于预定阈值时各参数的值，作为训练好的神经网络的各参数的值；或者确定当所述卷积神经网络的训练次数达到预定阈值时各参数的值，作为训练好的神经网络的各参数的值。

3.如权利要求1所述的卷积神经网络的训练方法，其中，利用卷积神经网络对包含道路目标的训练图像进行处理，以确定所述训练图像中覆盖道路目标的至少一个感兴趣区域包括：

利用卷积神经网络的第一卷积层中的不同卷积核对所述训练图像进行卷积操作，确定第一特征图；以及

基于所述第一特征图，确定所述训练图像是否包含道路目标以及所述训练图像中覆盖道路目标的至少一个感兴趣区域。

4.如权利要求3所述的卷积神经网络的训练方法，其中在利用卷积神经网络的第一卷积层中的不同卷积核对所述训练图像进行卷积操作，确定第一特征图之后进一步包括：

利用卷积神经网络的归一化层对所述第一特征图进行归一化操作，确定归一化的卷积特征图；以及

利用卷积神经网络的池化层对所述归一化的卷积特征图进行池化操作，确定池化的特征图，并将所述池化的特征图作为所述第一特征图。

5.如权利要求3所述的卷积神经网络的训练方法，其中，所述基于所述第一特征图，确定所述训练图像中覆盖道路目标的至少一个感兴趣区域包括：

利用卷积神经网络的另一卷积层中的不同卷积核对所述第一特征图进行卷积操作，确定第二特征图；

对所述第二特征图进行划分，确定不同尺度的多个候选区域；以及

利用卷积神经网络的分类器对所述多个候选区域进行分类操作，确定所述训练图像是否包含道路目标并且从所述多个候选区域确定所述至少一个感兴趣区域。

6.如权利要求1-5中任一项所述的卷积神经网络的训练方法，其中，所述在卷积神经网络中设置滤波器层，以对所述至少一个感兴趣区域进行滤波处理，预测道路目标的多个关键点包括对于每个所述感兴趣区域：

将该感兴趣区域划分成包含道路目标的关键点的多个感兴趣块；以及

利用一组主成份分析滤波器对每个感兴趣块进行滤波操作，预测道路目标的关键点的位置。

7.如权利要求6所述的卷积神经网络的训练方法，其中，所述将该感兴趣区域划分成包含道路目标的关键点的多个感兴趣块包括：

获得所述至少一个感兴趣区域的平均尺寸；

基于所述平均尺寸，确定水平方向块收集器和垂直方向块收集器的尺寸；以及

利用所述水平方向块收集器和垂直方向块收集器从该感兴趣区域中提取块，作为所述多个感兴趣块。

8.如权利要求6所述的卷积神经网络的训练方法，其中，所述利用一组主成份分析滤波器对每个感兴趣块进行滤波操作，预测道路目标的关键点的位置包括：

利用一组主成份分析滤波器对每个感兴趣块进行滤波操作，生成与每个感兴趣块对应的多个响应图；以及

根据所述多个响应图的分布以及该组主成份分析滤波器中的各个滤波器的权值，确定所述道路目标的关键点的位置。

9.如权利要求8所述的卷积神经网络的训练方法，其中所述卷积神经网络的各参数包括：所述第一卷积层中不同卷积核的参数、该组主成份分析滤波器中各个滤波器的权值。

10.一种道路目标检测方法，包括：

获取待检测图像；

利用经训练的卷积神经网络对待检测图像进行处理，以确定所述待检测图像是否包含道路目标、所述待检测图像中覆盖道路目标的至少一个感兴趣区域、以及道路目标的分类及其位置；以及

利用经训练的卷积神经网络的滤波器层对所述至少一个感兴趣区域进行滤波处理，以确定道路目标的多个关键点。

11.如权利要求10所述的道路目标检测方法，其中，所述利用经训练的卷积神经网络的滤波器层对所述至少一个感兴趣区域进行滤波处理，以确定道路目标的多个关键点包括对于所述每个所述感兴趣区域：

利用一组主成份分析滤波器对每个感兴趣块进行滤波操作，确定道路目标的关键点的位置。

12.如权利要求11所述的道路目标检测方法，其中，所述将该感兴趣区域划分成包含道路目标的关键点的多个感兴趣块包括：

获得所述至少一个感兴趣区域的平均尺寸；

13.如权利要求11所述的道路目标检测方法，其中，所述利用一组主成份分析滤波器对每个感兴趣块进行滤波操作，确定道路目标的关键点的位置包括：

14.一种用于道路目标检测的卷积神经网络的训练设备，包括：

处理器；以及

存储器，在所述存储器中存储有计算机程序指令，

其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：

15.一种道路目标检测设备，包括：

处理器；以及

存储器，在所述存储器中存储有计算机程序指令，

获取待检测图像；

16.一种道路目标检测设备，包括：

获取单元，被配置为获取待检测图像；

感兴趣区域提取单元，被配置为利用经训练的卷积神经网络对待检测图像进行处理，以确定所述待检测图像是否包含道路目标、所述待检测图像中覆盖道路目标的至少一个感兴趣区域、以及道路目标的分类及其位置；以及

关键点提取单元，被配置为利用经训练的卷积神经网络的滤波器层对所述至少一个感兴趣区域进行滤波处理，以确定道路目标的多个关键点。

17.一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现以下步骤：

18.一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现以下步骤：

获取待检测图像；

19.一种用于道路目标检测的卷积神经网络的构建方法，包括：

构建至少包含卷积层、分类器和滤波器层的卷积神经网络；

将所述卷积层和分类器配置为在利用所述卷积神经网络进行道路目标检测时确定输入图像是否包含道路目标以及输入图像中覆盖道路目标的至少一个感兴趣区域，并确定道路目标的分类及其位置；以及

将所述滤波器层配置为在利用所述卷积神经网络进行道路目标检测时对所述至少一个感兴趣区域进行滤波处理，以确定道路目标的多个关键点。