CN111507203B - 可变车道检测模型的构建方法、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种可变车道检测模型的构建方法、电子设备及存储介质，涉及人工智能领域。具体实现方案为：从预设的深度残差神经网络模型中抽取预设比例的网络结构，生成可变车道检测模型的特征提取模块，以提取采集到的可变车道图片中的全局特征；采用至少两层全连接层生成预测模块，以基于所述全局特征预测所述可变车道图片中的可变车道框的位置信息；采用至少两层全连接层生成识别模块，以基于所述全局特征和所述预测模块预测的所述可变车道框的位置信息，识别所述可变车道框中的可变车道类别。本申请能够有效地简化可变车道检测模型的结构，进而加快可变车道检测模型对可变车道的检测速度，提高可变车道的检测效率。

Description

可变车道检测模型的构建方法、电子设备及存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及人工智能领域，具体涉及一种可变车道检测模型的构建及训练方法、装置、电子设备及存储介质。

背景技术

自动驾驶车辆是依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作，让计算机可以在没有任何人类主动的操作下，自动安全地操作机动车辆。

自动驾驶车辆的自动驾驶过程中，可以依赖视频摄像头、雷达传感器以及激光测距器来感知周围的交通状况，并通过一个详尽的地图对前方的道路进行导航。所以，自动驾驶车辆在行驶过程中，需要快速、准确地识别道路中的红绿灯、障碍物、还要识别各种可变车道以及限速牌等等各种交通标识，以准确、及时地做出决策。其中，现有的可变车道的识别采用红绿灯识别算法的网络架构来识别。

但是红绿灯识别算法的网络架构非常复杂，用于进行可变车道的检测时，导致可变车道的检测速度较慢，检测效率较低。

发明内容

为了解决上述技术问题，本申请提供了一种用于可变车道检测模型的构建及训练方法、装置、电子设备及存储介质。

根据第一方面，提供了一种可变车道检测模型的构建方法，包括：

从预设的深度残差神经网络模型中抽取预设比例的网络结构，生成可变车道检测模型的特征提取模块，以提取采集到的可变车道图片中的全局特征；

采用至少两层全连接层生成预测模块，以基于所述全局特征预测所述可变车道图片中的可变车道框的位置信息；

采用至少两层全连接层生成识别模块，以基于所述全局特征和所述预测模块预测的所述可变车道框的位置信息，识别所述可变车道框中的可变车道类别。

根据第二方面，提供了一种可变车道检测模型的训练方法，包括：

采集可变车道检测模型的原始训练数据集；

基于物体随机游走的方式，对所述原始训练数据集的每条原始训练数据中的训练图片中的可变车道框进行随机游走，生成扩充训练数据集；

采用所述原始训练数据集和所述扩充训练数据集，一起对所述可变车道检测模型进行训练。

根据第三方面，提供了一种可变车道检测模型的构建装置，包括：

特征提取模块的生成单元，用于从预设的深度残差神经网络模型中抽取预设比例的网络结构，生成可变车道检测模型的特征提取模块，以提取采集到的可变车道图片中的全局特征；

预测模块的生成单元，用于采用至少两层全连接层生成预测模块，以基于所述全局特征预测所述可变车道图片中的可变车道框的位置信息；

识别模块的生成单元，用于采用至少两层全连接层生成识别模块，以基于所述全局特征和所述预测模块预测的所述可变车道框的位置信息，识别所述可变车道框中的可变车道类别。

根据第四方面，提供了一种可变车道检测模型的训练装置，包括：

采集单元，用于采集可变车道检测模型的原始训练数据集；

生成单元，用于基于物体随机游走的方式，对所述原始训练数据集的每条原始训练数据中的训练图片中的可变车道框进行随机游走，生成扩充训练数据集；

训练单元，用于采用所述原始训练数据集和所述扩充训练数据集，一起对所述可变车道检测模型进行训练。

根据第五方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。

根据第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上所述的方法。

根据本申请的技术，通过从预设的深度残差神经网络模型中抽取预设比例的网络结构，生成可变车道检测模型的特征提取模块，以提取采集到的可变车道图片中的全局特征，能够有效地简化可变车道检测模型的结构，进而加快可变车道检测模型对可变车道的检测速度，提高可变车道的检测效率。

根据本申请的技术，能够基于原始训练数据集，采用随机游走的方式，生成扩充训练数据集，丰富训练数据的背景，使得可变车道检测模型可以学习到复杂背景下的检测，进而能够提高可变车道检测模型的训练效果，从而提高可变车道检测模型的检测效率。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是根据本申请第一实施例的示意图；

图2是本申请提供的一种潮汐车道示意图；

图3是本申请提供的一种可变导向车道示意图；

图4是根据本申请第二实施例的示意图；

图5是本申请提供的可变车道模型的工作流程示意图；

图6是根据本申请第三实施例的示意图；

图7是根据本申请第四实施例的示意图；

图8是根据本申请第五实施例的示意图；

图9是根据本申请第六实施例的示意图；

图10是根据本申请第七实施例的示意图；

图11是根据本申请第八实施例的示意图；

图12是用来实现本申请实施例的可变车道检测模型的构建方法或者训练方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本申请第一实施例的示意图；如图1所示，本实施例提供一种可变车道检测模型的构建方法，如图1所示，具体可以包括如下步骤：

S101、从预设的深度残差神经网络模型中抽取预设比例的网络结构，生成可变车道检测模型的特征提取模块，以提取采集到的可变车道图片中的全局特征；

本实施例的可变车道检测模型的构建方法的执行主体为可变车道检测模型的构建装置，该可变车道检测模型的构建装置可以为一计算机设备，用于实现对可变车道检测模型的构建。

本实施例的可变车道可以包括潮汐车道、可变导向车道等等。例如图2是本申请提供的一种潮汐车道示意图。城市内部根据早晚交通流量不同情况，对有条件的道路设置一个或多个车辆行驶方向规定随不同时段变化的车道，即为潮汐车道。如图2所示的框中为一个符号“×”，可以采用红色标识。从镜头所示方向看过去，该车道标识为红色“×”，即表示该条车道在当前时段是不允许按照镜头方向行驶的。而在其他时段，允许行驶时，该潮汐车道标识可以为绿色“√”。图3是本申请提供的一种可变导向车道示意图。如图3所示的框中的符号表示直行左转。实际应用中，可变导向车道的标识还可以为直行、直行右转。

本实施例的深度残差神经网络模型即为resnet网络模型，传统的resnet网络模型可以包括有很多层，如18、34、108层甚至更多的层，层数越多，网络结构中包括的信息越丰富，实现可变车道的检测越准确，但是检测耗时会越长。为了保证检测性能，提高检测效率，考虑到层数过少会导致检测的准确性较差，本实施例中，可以优选预设的深度残差神经网络模型为resnet34，即包括34层的resnet网络结构，该结构包括丰富的特征信息，例如，红绿灯算法的网络架构可以采用该网络结构来实现。

本实施例的可变车道检测模型的特征提取模块，是用于提取采集到的可变车道图片中的全局特征，该特征提取模型的提取速度快慢，直接决定了后续可变车道检测的速度快慢。本实施例中，在构建可变车道检测模型的特征提取模块时，可以从预设的深度残差神经网络模型如resnet34中，抽取预设比例的网络结构，生成可变车道检测模型的特征提取模块。本实施例的预设比例为大于0，小于1的比例值。考虑到可变车道检测更为简单，采用本实施例的简化的网络结构，便可以实现，而且，经过简化的网络结构，可以加快可变车道图片中的全局特征的提取速度，进而可以加快可变车道检测的速度，提高检测效率。

S102、采用至少两层全连接层生成预测模块，以基于全局特征预测可变车道图片中的可变车道框的位置信息；

S103、采用至少两层全连接层生成识别模块，以基于全局特征和预测模块预测的可变车道框的位置信息，识别可变车道框中的可变车道类别。

本实施例的预测模块和识别模块均可以采用至少两层全连接层即可实现。具体地，预测模块用于实现预测可变车道图片中的可变车道框的位置信息。识别模块用于根据可变车道拖的全局特征和可变车道框的位置信息，识别可变车道框中的可变车道类别。例如，本实施例的可变车道类别可以为潮汐车道的红色的“×”或者绿色的“√”的车道标识信息，或者还可以为可变导向车道的直行、直行左拐、直行右拐之类的车道标识信息，以供自动驾驶车辆根据可变车道类别，迅速做出决策。

本实施例的可变车道检测模型的构建方法，通过从预设的深度残差神经网络模型中抽取预设比例的网络结构，生成可变车道检测模型的特征提取模块，以提取采集到的可变车道图片中的全局特征；采用至少两层全连接层生成预测模块，以基于全局特征预测可变车道图片中的可变车道框的位置信息；采用至少两层全连接层生成识别模块，以基于全局特征和预测模块预测的可变车道框的位置信息，识别可变车道框中的可变车道类别，能够有效地简化可变车道检测模型的结构，进而加快可变车道检测模型对可变车道的检测速度，提高可变车道的检测效率。

图4是根据本申请第二实施例的示意图；如图4所示，本实施例的可变车道检测模型的构建方法，在上述图1所示实施例的技术方案的基础上，进一步更加详细地描述本申请的技术方案，如图4所示，具体可以包括如下步骤：

S401、对于预设的深度残差神经网络模型的各卷积层，计算对应的卷积层的多个卷积核中两两之间的相似度；

S402、根据每个卷积层中的多个卷积核中两两之间的相似度，删除多个卷积核中的重复卷积核，使得各卷积层中包括的卷积核精简为原来的1/M，得到可变车道检测模型的特征提取模块，以提取采集到的可变车道图片中的全局特征；

该步骤S401和步骤S402为上述图1所示实施例的步骤S101的一种具体实现方式。

下面以预设的深度残差神经网络模型为resnet34、每层卷积层中包括有128个通道，即128个卷积核为例，生成可变车道检测模型的特征提取模块。该resnet34的原始网络是一个非常庞大、复杂、但特征信息非常丰富的网络。

首先，在该resnet34中的每个卷积层中，计算128个卷积核两两之间的相似度。然后基于计算的卷积核对之间的相似度，删除相似度较高的卷积核对之中的一个，以去除冗余的卷积核，达到精简卷积核的目的。具体去除时，可以按照相似度由高到低的顺序依次删除，直至使得精简后的卷积核为resnet34中的每层卷积层中原来的1/M，该M可以根据实际经验来选择，例如可以为2、3、3.5、4等等，但不能太大，由于M太大时，导致得到的可变车道检测模型的特征提取模块结构太少，无法保证提取特征的准确性。例如，优选地，M可以为4，即可以按照上述方式从resnet34中精简出1/4的网络结构，作为可变车道检测模型的特征提取模块。

实际应用中，若预设的深度残差神经网络模型为其他resnet网络，M为其他值，均可以按照上述实施例的方式获取到可变车道检测模型的特征提取模块。

按照上述方式获取的可变车道检测模型的特征提取模块在保证提取的特征准确的前提下，结构足够简单，可以有效地加快特征提取模块提取特征的速度，进而能够有效地加快车道检测的速度。

S403、采用至少两层卷积层生成聚合处理模块，以对特征提取单元提取的全局特征进行聚合处理；

本实施例的聚合处理模块具体可以采用至少两层卷积神经网络层(Convolutional Neural Networks；CNN)构成，该聚合处理模块，用于对提取的全局特征进行聚合处理，使得聚合处理后的全局特征的纹理特征更加清晰，整体的宏观表象更加明显，方便后续识别可变车道框中的可变车道类别。

S404、采用至少两层反卷积层生成特征放大处理模块，以对特征提取单元提取的全局特征进行放大处理，得到放大全局特征；

本实施例的特征放大处理模块，具体可以采用至少两层反卷积层(简称deconv)构成，用于对全局特征放大处理。本实施例的反卷积层的结构为卷积层的结构，因为其功能是用于实现反卷积处理，所以称之为反卷积层。

S405、采用至少两层全连接层生成预测模块，以基于放大全局特征预测可变车道图片中的可变车道框的位置信息；

该预测模块为一个粗糙的位置信息的预测。经过上述特征放大处理模块的处理，预测模块可以基于放大后的放大全局特征进行预测，从而能够提高预测模块预测可变车道图片中的可变车道位置信息的准确性。

S406、采用至少两层全连接层生成识别模块，以基于聚合处理后的全局特征和可变车道框的位置信息，识别可变车道框中的可变车道类别。

本实施例的识别模块具体可以通过cascaded层级的全连接层堆叠而成。通过之前的一系列网络运算处理，可以得到一个非常精细的可变车道框特征，之后对其进行分类和回归，得到最终的回归框，至此，整个检测的流程就全部完成，得到了一个可变车道框在图片中的位置以及类别。其中的类别可以为训练时设置的所有类别中的某一类。本实施例的所以可变车道的类别可以包括潮汐车道的红灯不可通行标绿灯可通行以及可变导向车道的直行、直行左拐、直行右拐。

经过上述聚合处理模块的处理，可以使得聚合处理后的全局特征的纹理信息更加清晰，进而可以提高识别模根据聚合处理后的全局特征和可变车道框的位置信息，识别可变车道框中的可变车道类别的准确性。

图5是本申请提供的可变车道模型的工作流程示意图。根据上述图4所构建的可变车道模型的各个模块，根据上述各模块的功能，按照图5所示的流程，实现对采集到的可变车道图片中的可变车道的类别进行识别，详细可以参考上述实施例的相关记载，在此不再赘述。

本实施例的可变车道检测模型的构建方法，通过从预设的深度残差神经网络模型中抽取各卷积层中仅包括原来的1/M的结构，生成可变车道检测模型的特征提取模块，能够有效地精简特征提取模块的结构，进而有效地加快特征提取模块提取特征的速度，从而能够有效地加快车道检测的速度。

进一步地，通过采用至少两层卷积层生成聚合处理模块，可以使得聚合处理后的全局特征的纹理特征更加清晰，整体的宏观表象更加明显，方便后续识别可变车道框中的可变车道类别。而且还可以提高识别模根据聚合处理后的全局特征和可变车道框的位置信息，识别可变车道框中的可变车道类别的准确性。

进一步地，通过采用至少两层反卷积层生成特征放大处理模块，可以使得预测模块可以基于放大后的放大全局特征进行预测，从而能够提高预测模块预测可变车道图片中的可变车道位置信息的准确性。

图6是根据本申请第三实施例的示意图；如图6所示，本实施例提供一种可变车道检测模型的训练方法，具体可以包括如下步骤：

S601、采集可变车道检测模型的原始训练数据集；

本实施例的可变车道检测模型的训练方法的执行主体可变车道检测模型的训练装置，该可变车道检测模型的训练装置可以为计算机设备，用于实现可变车道检测模型的训练。

本实施例采集的原始训练数据集中可以包括数条原始训练数据，每条原始训练数据中包括有训练图片，并在训练图片中标注有可变车道框，在可变车道框中标识有可变车道类别。

S602、基于物体随机游走(object random shifting)的方式，对原始训练数据集的每条训练数据中的训练图片中的可变车道框进行随机游走，生成扩充训练数据集；

S603、采用原始训练数据集和扩充训练数据集，一起对可变车道检测模型进行训练。

考虑到神经网络的训练是一种数据驱动特别明显的训练方式，如何处理好数据，选择怎样的数据来进行训练对最后的训练效果会有非常大的影响。传统的神经网络模型的训练，直接采用采集的训练数据对神经网络模型进行训练，这样会导致过拟合的问题的出现。例如，对于本实施例的可变车道检测模型，若按照采集的训练图片直接进行训练，由于大部分训练图片的背景单一、重复冗余度高，会出现过拟合的情况，因此当背景比较复杂的情况发生时，实际的可变车道类别的检测效果会比较差。

为了提高可变车道检测模型的训练效果，本实施例中，设计了一种数据增强的手段，在有限量训练数据的情况下，会得到一定程度的检测效果的提升。如步骤S602所示，本实施例中基于物体随机游走的方式，对原始训练数据集的每条训练数据中的训练图片中的可变车道框进行随机游走，生成扩充训练数据集。并采用原始训练数据集和扩充训练数据集，一起对可变车道检测模型进行训练。

本实施例的可变车道检测模型的训练方法，通过采集可变车道检测模型的原始训练数据集；基于物体随机游走的方式，对原始训练数据集的每条训练数据中的训练图片中的可变车道框进行随机游走，生成扩充训练数据集；并采用原始训练数据集和扩充训练数据集，一起对可变车道检测模型进行训练，能够基于原始训练数据集，采用随机游走的方式，生成扩充训练数据集，丰富训练数据的背景，使得可变车道检测模型可以学习到复杂背景下的检测，进而能够提高可变车道检测模型的训练效果，从而提高可变车道检测模型的检测效率。

本实施例的可变车道检测模型的训练方法，可以用于实现训练上述图1和图4所示实施例所构建的可变车道检测模型。上述图1和图4所示实施例所构建的可变车道检测模型最明显的特征为：从预设的深度残差神经网络模型中抽取预设比例的网络结构，生成该可变车道检测模型的特征提取模块，以提取采集到的可变车道图片中的全局特征。该可变车道检测模型的其他模块的结构可以参考上述实施例的相关记载，在此不再赘述。

图7是根据本申请第四实施例的示意图；如图7所示，本实施例在上述图6所示实施例的技术方案的基础上，详细介绍步骤S602基于物体随机游走(object random shifting)的方式，对原始训练数据集的每条训练数据中的训练图片中的可变车道框进行随机游走，生成扩充训练数据集的一种具体实现方式，具体可以包括如下步骤：

S701、对于原始训练数据集的每条原始训练数据，保留对应的原始训练数据中的训练图片中的原始位置的可变车道框及包括的可变车道类别的前提下，将训练图片中的可变车道框及包括的可变车道类别进行N次、位置不重叠的随机游走，并在随机游走到的位置复制一份可变车道框及包括的可变车道类别；

S702、将随机游走后得到的、包括增加的可变车道框及包括的可变车道类别的训练图片，作为扩充训练图片；

S703、将原始训练集的每条训练数据对应的扩充训练图片集合在一起，构成扩充训练数据集。

为了便于描述清楚本实施例的技术方案，假设原始训练数据集的每条原始训练数据的训练图片中包括一个可变车道框，该可变车道框中包括有可变车道的类别如潮汐车道的红灯不可通行、绿灯可通行、可变导向车道的直行、直行左拐、或者直行右拐。

扩充训练数据时，保持每一张训练图片中的可变车道框及其包括的可变车道类别在原始位置不变，然后，采用随机游走的方式，将可变车道框及其包括的可变车道类别在训练图片中随机游走，每游走到一个位置，检测该位置与已有可变车道框的位置是否有重叠，如有重叠，该位置失效，重新进行随机游走，若游走到的位置与已有可变车道框的位置没有重叠，则在游走到的位置上复制一份卡变车道框及包括的可变车道类别，这样，便在训练图片上增加了一个可变车道框及包括的可变车道类别，此时生成的训练图片作为扩充训练图片。对于每一张训练图片，可以根据所需的扩充的训练图片的数量，进行N次有效地、与原始位置不重叠的随机游走，这样，对于一张训练图片，共可以得到N张扩充训练图片，其中每张扩充训练图片中除了包括原始位置的可变车道框及包括的可变车道类别，还包括随机游走后增加的可变车道框及包括的可变车道类别，能够极大地丰富可变车道的训练图片的背景的复杂度，便于提高可变车道模型的学些能力。

需要说明的是，对于每张训练图片，随机游走N次得到的N张扩充训练图片增加的可变车道框的数量可以均相同，也可以随着随机游走的次数逐渐增加，或者为了丰富训练图片的背景，也可以两种扩充训练图片都保留。例如，随机游走1次，扩充训练图片中的可变车道框加1，继续随机游走，即第二次随机游走，扩充训练图片中的可变车道框可以再加1，或者删除第一步随机游走到的位置处增加的可变车道框，而仅保留最后一步随机游走增加的可变车道框，依次类推，可以执行多次随机游走，得到较多数量的扩充训练图片。最后将原始训练集的每条训练数据对应的扩充训练图片集合在一起，构成扩充训练数据集。

本实施例中，根据实际需求，可以扩充想要的数量的扩充训练数据集。例如，原始训练集中仅包括100w条原始训练数据时，若需要300w的扩充训练数据集，可以将每条原始训练数据扩充3条扩充训练数据，该3条扩充训练数据可以根据实际需求，均扩充一倍的可变车道框，或者分别扩充一倍、两倍和三倍的可变车道框，或者分别扩充两个一倍和一个两倍的可变车道框，或者分别扩充一个两倍和两个一倍的可变车道框，在此不做限定。对于需要扩充其他倍数的扩充训练数据集，原理类似，在此不再赘述。

可选地，在上述图6所示实施例的步骤S603采用原始训练数据集和扩充训练数据集，一起对可变车道检测模型进行训练之前，还可以包括：采用ImageNet数据集对可变车道检测模型进行预训练。

其中ImageNet数据集是当前图像处理界最有名的数据集之一，是用于视觉对象识别软件研究的大型可视化数据库。基于该ImageNet数据集对可变车道检测模型进行预训练，可以使得可变车道检测模型能够达到基本的训练效果。然后再采用本实施例的训练方式进行训练，可以节省训练数据，使用较少的训练数据，便可以达到很好的训练效果。

本实施例的可变车道检测模型的训练方法，通过采用上述随机游走的方式扩充训练数据集，能够有效地丰富扩充训练图片的背景的复杂度。采用本实施例的扩充训练数据集和原始训练数据集，一起对可变车道检测模型进行训练时，可以避免训练的可变车道检测模型出现过拟合的问题，能够有效地提高可变车道检测模型的学习能力，增强可变车道检测模型的训练效果、以及可变车道检测模型的检测准确性。

图8是根据本申请第五实施例的示意图；如图8所示，本实施例提供一种可变车道检测模型的构建装置800，包括：

特征提取模块的生成单元801，用于从预设的深度残差神经网络模型中抽取预设比例的网络结构，生成可变车道检测模型的特征提取模块，以提取采集到的可变车道图片中的全局特征；

预测模块的生成单元802，用于采用至少两层全连接层生成预测模块，以基于全局特征预测可变车道图片中的可变车道框的位置信息；

识别模块的生成单元803，用于采用至少两层全连接层生成识别模块，以基于全局特征和预测模块预测的可变车道框的位置信息，识别可变车道框中的可变车道类别。

本实施例的可变车道检测模型的构建装置800，通过采用上述单元实现可变车道检测模型的构建的实现原理以及技术效果，与上述相关方法实施例的实现相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。

图9是根据本申请第六实施例的示意图；如图9所示，本实施例的可变车道检测模型的构建装置800，在上述图8所示实施例的技术方案的基础上，进一步更加详细地描述本申请的技术方案。

如图9所示，本实施例的可变车道检测模型的构建装置800中，还包括：

聚合处理模块的生成单元804，用于采用至少两层卷积层生成特征聚合处理模块，以对特征提取单元提取的全局特征进行聚合处理，以供识别模块基于聚合处理后的全局特征和可变车道框的位置信息，识别可变车道框中的可变车道类别。

进一步可选地，如图9所示，本实施例的可变车道检测模型的构建装置800中，还包括：

特征放大处理模块的生成单元805，用于采用至少两层反卷积层生成特征放大处理模块，以对特征提取单元提取的全局特征进行放大处理，得到放大全局特征，以供预测模块基于放大全局特征预测可变车道图片中的可变车道框的位置信息。

进一步可选地，如图9所示，本实施例的可变车道检测模型的构建装置800中，特征提取模块的生成单元801，包括：

计算子单元8011，用于对于预设的深度残差神经网络模型的各卷积层，计算对应的卷积层的多个卷积核中两两之间的相似度；

删除子单元8012，用于根据每个卷积层的多个卷积核中两两之间的相似度，删除多个卷积核中的重复卷积核，使得各卷积层中包括的卷积核精简为原来的1/M，得到可变车道检测模型的特征提取模块。

本实施例的可变车道检测模型的构建装置800，通过采用上述单元实现可变车道检测模型的构建的实现原理以及技术效果，与上述相关方法实施例的实现相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。

图10是根据本申请第七实施例的示意图；如图10所示，本实施例的可变车道检测模型的训练装置1000，包括：

采集单元1001，用于采集可变车道检测模型的原始训练数据集；

生成单元1002，用于基于物体随机游走的方式，对原始训练数据集的每条原始训练数据中的训练图片中的可变车道框进行随机游走，生成扩充训练数据集；

训练单元1003，用于采用原始训练数据集和扩充训练数据集，一起对可变车道检测模型进行训练。

本实施例的可变车道检测模型的训练装置1000，通过采用上述单元实现可变车道检测模型的训练的实现原理以及技术效果，与上述相关方法实施例的实现相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。

图11是根据本申请第八实施例的示意图；如图11所示，本实施例的可变车道检测模型的训练装置1000，在上述图10所示实施例的技术方案的基础上，进一步更加详细地介绍本发明的技术方案。

如图11所示，本实施例的可变车道检测模型的训练装置1000中，生成单元1002，包括：

游走处理子单元10021，用于对于原始训练数据集的每条原始训练数据，保留对应的原始训练数据中的训练图片中的原始位置的可变车道框及包括的可变车道类别的前提下，将训练图片中的可变车道框及包括的可变车道类别进行N次、位置不重叠的随机游走，并在随机游走到的位置复制一份可变车道框及包括的可变车道类别；

获取子单元10022用于将随机游走后得到的、包括增加的可变车道框及包括的可变车道类别的训练图片，作为扩充训练图片；

集合子单元10023，用于将原始训练集的每条训练数据对应的扩充训练图片集合在一起，构成扩充训练数据集。

进一步地，本实施例的可变车道检测模型的训练装置1000中的训练单元1003还用于采用ImageNet数据集对可变车道检测模型进行预训练。

进一步可选地，本实施例的可变车道检测模型的训练装置1000中，还可以包括上述图8或者图9所示的可变车道检测模型的构建装置中的模块，用于在训练之前，创建该可变车道检测模型。

本实施例的可变车道检测模型的训练装置1000，通过采用上述单元实现可变车道检测模型的训练的实现原理以及技术效果，与上述相关方法实施例的实现相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图12所示，是根据本申请实施例的实现可变车道检测模型的构建方法或者训练方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图12所示，该电子设备包括：一个或多个处理器1201、存储器1202，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图12中以一个处理器1201为例。

存储器1202即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的可变车道检测模型的构建方法或者训练方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的可变车道检测模型的构建方法或者训练方法。

存储器1202作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的可变车道检测模型的构建方法或者训练方法对应的程序指令/模块(例如，附图8、附图9、附图10以及附图11所示的相关单元)。处理器1201通过运行存储在存储器1202中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的可变车道检测模型的构建方法或者训练方法。

存储器1202可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储实现可变车道检测模型的构建方法或者训练方法的电子设备的使用所创建的数据等。此外，存储器1202可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器1202可选包括相对于处理器1201远程设置的存储器，这些远程存储器可以通过网络连接至实现可变车道检测模型的构建方法或者训练方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实现可变车道检测模型的构建方法或者训练方法的电子设备还可以包括：输入装置1203和输出装置1204。处理器1201、存储器1202、输入装置1203和输出装置1204可以通过总线或者其他方式连接，图12中以通过总线连接为例。

输入装置1203可接收输入的数字或字符信息，以及产生与实现可变车道检测模型的构建方法或者训练方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1204可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的技术方案，通过从预设的深度残差神经网络模型中抽取预设比例的网络结构，生成可变车道检测模型的特征提取模块，以提取采集到的可变车道图片中的全局特征；采用至少两层全连接层生成预测模块，以基于全局特征预测可变车道图片中的可变车道框的位置信息；采用至少两层全连接层生成识别模块，以基于全局特征和预测模块预测的可变车道框的位置信息，识别可变车道框中的可变车道类别，能够有效地简化可变车道检测模型的结构，进而加快可变车道检测模型对可变车道的检测速度，提高可变车道的检测效率。

根据本申请实施例的技术方案，通过从预设的深度残差神经网络模型中抽取各卷积层中仅包括原来的1/M的结构，生成可变车道检测模型的特征提取模块，能够有效地精简特征提取模块的结构，进而有效地加快特征提取模块提取特征的速度，从而能够有效地加快车道检测的速度。

根据本申请实施例的技术方案，通过采用至少两层卷积层生成聚合处理模块，可以使得聚合处理后的全局特征的纹理特征更加清晰，整体的宏观表象更加明显，方便后续识别可变车道框中的可变车道类别。而且还可以提高识别模根据聚合处理后的全局特征和可变车道框的位置信息，识别可变车道框中的可变车道类别的准确性。

根据本申请实施例的技术方案，通过采用至少两层反卷积层生成特征放大处理模块，可以使得预测模块可以基于放大后的放大全局特征进行预测，从而能够提高预测模块预测可变车道图片中的可变车道位置信息的准确性。

根据本申请实施例的技术方案，通过采集可变车道检测模型的原始训练数据集；基于物体随机游走的方式，对原始训练数据集的每条训练数据中的训练图片中的可变车道框进行随机游走，生成扩充训练数据集；并采用原始训练数据集和扩充训练数据集，一起对可变车道检测模型进行训练，能够基于原始训练数据集，采用随机游走的方式，生成扩充训练数据集，丰富训练数据的背景，使得可变车道检测模型可以学习到复杂背景下的检测，进而能够提高可变车道检测模型的训练效果，从而提高可变车道检测模型的检测效率。

根据本申请实施例的技术方案，通过采用上述随机游走的方式扩充训练数据集，能够有效地丰富扩充训练图片的背景的复杂度。采用本实施例的扩充训练数据集和原始训练数据集，一起对可变车道检测模型进行训练时，可以避免训练的可变车道检测模型出现过拟合的问题，能够有效地提高可变车道检测模型的学习能力，增强可变车道检测模型的训练效果、以及可变车道检测模型的检测准确性。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (12)

1.一种可变车道检测模型的训练方法，其特征在于，包括：

采集可变车道检测模型的原始训练数据集；

基于物体随机游走的方式，对所述原始训练数据集的每条原始训练数据中的训练图片中的可变车道框进行随机游走，生成扩充训练数据集；

采用所述原始训练数据集和所述扩充训练数据集，一起对所述可变车道检测模型进行训练；

基于物体随机游走的方式，对所述原始训练数据集的每条训练数据中的训练图片中的可变车道框进行随机游走，生成扩充训练数据集，包括：

对于所述原始训练数据集的每条原始训练数据，保留对应的所述原始训练数据中的训练图片中的原始位置的可变车道框及包括的可变车道类别的前提下，将所述训练图片中的可变车道框及包括的可变车道类别进行N次、位置不重叠的随机游走，并在随机游走到的位置复制一份所述可变车道框及包括的可变车道类别；

将随机游走后得到的、包括增加的可变车道框及包括的可变车道类别的训练图片，作为扩充训练图片；

将所述原始训练集的每条所述训练数据对应的所述扩充训练图片集合在一起，构成所述扩充训练数据集。

2.一种可变车道检测模型的构建方法，其特征在于，所述可变车道检测模型采用如上权利要求1所述的方法训练得到；包括：

从预设的深度残差神经网络模型中抽取预设比例的网络结构，生成可变车道检测模型的特征提取模块，以提取采集到的可变车道图片中的全局特征；

采用至少两层全连接层生成预测模块，以基于所述全局特征预测所述可变车道图片中的可变车道框的位置信息；

采用至少两层全连接层生成识别模块，以基于所述全局特征和所述预测模块预测的所述可变车道框的位置信息，识别所述可变车道框中的可变车道类别。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

采用至少两层卷积层生成特征聚合处理模块，以对所述特征提取模块提取的所述全局特征进行聚合处理，以供所述识别模块基于聚合处理后的所述全局特征和所述可变车道框的位置信息，识别所述可变车道框中的可变车道类别。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

采用至少两层反卷积层生成特征放大处理模块，以对所述特征提取模块提取的所述全局特征进行放大处理，得到放大全局特征，以供所述预测模块基于所述放大全局特征预测所述可变车道图片中的所述可变车道框的位置信息。

5.根据权利要求2-4任一所述的方法，其特征在于，从预设的深度残差神经网络模型中抽取预设比例的网络结构，生成可变车道检测模型的特征提取模块，包括：

对于所述预设的深度残差神经网络模型的各卷积层，计算对应的所述卷积层的多个卷积核中两两之间的相似度；

根据每个所述卷积层的多个卷积核中两两之间的相似度，删除所述多个卷积核中的重复卷积核，使得各所述卷积层中包括的卷积核精简为原来的1/M，得到所述可变车道检测模型的特征提取模块。

6.一种可变车道检测模型的训练装置，其特征在于，包括：

采集单元，用于采集可变车道检测模型的原始训练数据集；

生成单元，用于基于物体随机游走的方式，对所述原始训练数据集的每条原始训练数据中的训练图片中的可变车道框进行随机游走，生成扩充训练数据集；

训练单元，用于采用所述原始训练数据集和所述扩充训练数据集，一起对所述可变车道检测模型进行训练；

所述生成单元，包括：

游走处理子单元，用于对于所述原始训练数据集的每条原始训练数据，保留对应的所述原始训练数据中的训练图片中的原始位置的可变车道框及包括的可变车道类别的前提下，将所述训练图片中的可变车道框及包括的可变车道类别进行N次、位置不重叠的随机游走，并在随机游走到的位置复制一份所述可变车道框及包括的可变车道类别；

获取子单元，用于将随机游走后得到的、包括增加的可变车道框及包括的可变车道类别的训练图片，作为扩充训练图片；

集合子单元，用于将所述原始训练集的每条所述训练数据对应的所述扩充训练图片集合在一起，构成所述扩充训练数据集。

7.一种可变车道检测模型的构建装置，其特征在于，所述可变车道检测模型采用如上权利要求6所述的装置训练得到；包括：

特征提取模块的生成单元，用于从预设的深度残差神经网络模型中抽取预设比例的网络结构，生成可变车道检测模型的特征提取模块，以提取采集到的可变车道图片中的全局特征；

预测模块的生成单元，用于采用至少两层全连接层生成预测模块，以基于所述全局特征预测所述可变车道图片中的可变车道框的位置信息；

识别模块的生成单元，用于采用至少两层全连接层生成识别模块，以基于所述全局特征和所述预测模块预测的所述可变车道框的位置信息，识别所述可变车道框中的可变车道类别。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

聚合处理模块的生成单元，用于采用至少两层卷积层生成特征聚合处理模块，以对所述特征提取模块提取的所述全局特征进行聚合处理，以供所述识别模块基于聚合处理后的所述全局特征和所述可变车道框的位置信息，识别所述可变车道框中的可变车道类别。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

特征放大处理模块的生成单元，用于采用至少两层反卷积层生成特征放大处理模块，以对所述特征提取模块提取的所述全局特征进行放大处理，得到放大全局特征，以供所述预测模块基于所述放大全局特征预测所述可变车道图片中的所述可变车道框的位置信息。

10.根据权利要求7-9任一所述的装置，其特征在于，所述特征提取模块的生成单元，包括：

计算子单元，用于对于所述预设的深度残差神经网络模型的各卷积层，计算对应的所述卷积层的多个卷积核中两两之间的相似度；

删除子单元，用于根据每个所述卷积层的多个卷积核中两两之间的相似度，删除所述多个卷积核中的重复卷积核，使得各所述卷积层中包括的卷积核精简为原来的1/M，得到所述可变车道检测模型的特征提取模块。

11.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1或者2-5中任一项所述的方法。

12.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1或者2-5中任一项所述的方法。