CN117011821A - 一种基于多任务学习的自动驾驶视觉感知方法和系统 - Google Patents
一种基于多任务学习的自动驾驶视觉感知方法和系统 Download PDFInfo
- Publication number
- CN117011821A CN117011821A CN202311288130.5A CN202311288130A CN117011821A CN 117011821 A CN117011821 A CN 117011821A CN 202311288130 A CN202311288130 A CN 202311288130A CN 117011821 A CN117011821 A CN 117011821A
- Authority
- CN
- China
- Prior art keywords
- task
- data
- loss
- network
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 230000016776 visual perception Effects 0.000 title claims abstract description 19
- 230000006870 function Effects 0.000 claims abstract description 71
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000035772 mutation Effects 0.000 claims abstract description 17
- 230000000694 effects Effects 0.000 claims abstract description 15
- 230000008447 perception Effects 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims description 51
- 230000008569 process Effects 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 9
- 230000004438 eyesight Effects 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000002829 reductive effect Effects 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 6
- 230000036961 partial effect Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000006978 adaptation Effects 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明属于自动驾驶技术领域，具体涉及一种基于多任务学习的自动驾驶视觉感知方法和系统，方法首先通过摄像头、雷达进行环境感知，采集驾驶环境图像数据；多任务数据处理模块对采集的图像数据做预处理；所述多任务数据处理模块设计一种基于增量学习的数据增强方法，用于减少不同任务之间的数据差异造成的网络参数突变效应；设置多任务网络模型模块，所述多任务网络模型模块结合yolov5和ufld两个算法进行改进；设置多任务模型训练模块，所述多任务模型训练模块对损失函数反向传播进行优化；自适应分配不同损失函数的权重系数，提高网络收敛识别准确率。
Description
技术领域
本发明属于自动驾驶技术领域，具体涉及一种基于多任务学习的自动驾驶视觉感知方法和系统。
背景技术
在自动驾驶系统中，感知系统对当前位置周边环境障碍物目标和车道线进行检测并提供给决策层进行规划控制，其中目标检测和车道线检测的精度在整个自动驾驶系统至关重要，目前行业已有提出将目标检测和车道线检测等任务进行联合，减少多个模型的资源消耗，使用一个模型输出多个任务的结果，但是因为不同任务的模型结构融合会带来多个分支的网络参数，增加了模型的计算量，仍然会影响自动驾驶过程中的行车效率，在多任务模型训练的过程中，不同任务的数据有差异，网络对数据集的关注变化大，以及引入的多个损失函数，造成模型收敛困难，影响检测精度，目前已有提出使用不同的权重系数平衡不同损失的重要程度，用于减缓多任务模型训练过程中带来的负面影响，如何自适应损失函数权重系数，直接影响最终的检测精度，决定自动驾驶方案的可执行性。
类似的现有技术如中国专利CN115273005A，该发明专利提供一种基于改进YOLO算法的视觉导航车环境感知方法，包括以下步骤，步骤一：将YOLOv5目标检测算法的Head结构改进为三任务头分支结构，并增加多头自注意力机制抑制不同任务之间的权重参数干扰；步骤二：在自动驾驶公开数据集BDD100K训练，完成目标检测、车道线分割和可行驶区域分割三个任务；步骤三：检测图像或视频中车辆行驶前方的道路消失点，计算当前相机的姿态角变化，对步骤一检测到的目标进行测距。该方案是典型的目标检测算法，对目标检测的头部结构分支进行解耦，新增的车道线的分支增大了模型的计算量，不利于自动驾驶过程中的实时性检测，该方案主要技术内容为自动驾驶视觉感知的多任务模型，车道线分支额外增加损失函数数量，破坏网络训练过程中的平衡性，没有对多任务训练学习策略进行优化，降低了总的检测精度。
类似的现有技术还有如中国专利CN114842440A，该发明公开一种自动驾驶环境感知方法、装置、车辆及可读存储介质，该方法包括：能够从初始车端感知多任务网络结构中获取待训练任务，初始车端感知多任务网络结构包括多个任务，对待训练任务进行训练得到权重文件，将权重文件添加至历史权重池中，以更新历史权重池，从更新后的历史权重池中加载历史权重文件以更新初始车端感知多任务网络结构的权重，得到车端感知多任务网络结构，通过车端感知多任务网络结构识别车辆周围的环境因素。该方案是典型的多任务学习权重更新策略，通过权重文件添加至历史权重池中，以更新历史权重池，然后加载历史权重作为初始化多任务网络结构，但是该方案未对不同任务的影响程度进行详细说明，另外，该方案中没有说明如何搭建高效的多任务模型结构，所述方法对特定的感知模型并不一定适用，该方案与本发明专利所要解决的问题关联性不大。
针对上述问题，本发明从多任务模型的而网络结构以及多任务学习训练策略出发，致力于在不增加耗时的情况下保持各任务的精度，提出了一种基于多任务学习的自动驾驶视觉感知方法和系统。
发明内容
本发明通过通过摄像头、雷达进行环境感知，采集驾驶环境图像数据，多任务数据处理模块对采集的图像数据做预处理，所述多任务数据处理模块设计一种基于增量学习的数据增强方法，用于减少不同任务之间的数据差异造成的网络参数突变效应，设置多任务网络模型模块，所述多任务网络模型模块结合yolov5和ufld两个算法进行改进，设计一种新的多任务模型，有效减少多任务带来的模型参数，提高运行效率，设置多任务模型训练模块，所述多任务模型训练模块对损失函数反向传播进行优化，通过设计的损失函数权重分配计算方式，自适应权衡不同损失函数之间的权重，有利于多任务模型的收敛速度和提高检测精度。
为了达到上述的发明目的，本发明给出如下所述的一种基于多任务学习的自动驾驶视觉感知方法，主要包括以下的步骤：
S1、自动驾驶汽车通过摄像头、雷达进行环境感知，采集驾驶环境图像数据；
S2、多任务数据处理模块对采集的图像数据做预处理；
S3、所述多任务数据处理模块设计一种基于增量学习的数据增强方法，在每个新批次的数据形成是添加上一个批次的为样本数据，用于减少不同任务之间的数据差异造成的网络参数突变效应；
S4、设置多任务网络模型模块，所述多任务网络模型模块结合yolov5和ufld两个算法进行改进，所述yolov5是一种目标检测算法，所述ufld是一种车道检测算法；
S5、设置多任务模型训练模块，所述多任务模型训练模块对损失函数反向传播进行优化；
S6、预测多目标检测和车道线检测结果。
作为本发明的一种优选技术方案，所述采集驾驶环境图像数据，是采集可行驶区域、边界线、人体、车辆、车道线、边缘线、交通标志和人脸。
作为本发明的一种优选技术方案，所述对采集的图像数据做预处理，是将无效的场景图象去除，并采用图像水平反转、图像暗化、随机阴影和偏转图像的方式对进行图片增强。
作为本发明的一种优选技术方案，所述增量学习的数据增强方法，其特征在于，包括如下步骤：
S31、使用基于增量学习的数据采样方法，对每个批次采样的各任务数据生成部分伪样本数据；
S32、在下一个新批次的数据形成时添加上一个批次的所述伪样本数据以减轻遗忘，从而降低模型训练过程参数跳变带来的突变影响。
作为本发明的一种优选技术方案，所述多任务网络模型结合yolov5和ufld两个算法进行改进的过程，其特征在于，包括如下的步骤：
S41、所述多任务网络模型包括骨干网络、车道线检测网络和目标检测网络，在所述骨干网络中使用多层网络层数来消化输入图像，提高图像特征提取能力，做好初级特征提取工作，所述骨干网络保持所述yolov5的网络结构，使用基于anchor free的方式替换原始的正负样本分配方法，减少人为设计的超参数以及巨大的anchor生成计算量，样本分配策略采用STMOTA样本分配方法，检测任务其他部分与所述yolov5结构一致，所述anchor是指目标检测算法中用于匹配正负样本的锚框；
S42、基于ufld，添加全连接层，将所述骨干网络的第4、6、8层的输出的特征图送入车道线检测的部分，其中车道线分割辅助头用于车道线二值图标签学习，仅用于对车道线的辅助训练，不参与推理过程。
作为本发明的一种优选技术方案，所述多任务模型训练模块对损失函数反向传播进行优化，其特征在于，包括如下的步骤：
S51、多任务模型训练模块设计一种自适应调整权重系数的策略；
S52、联合损失函数的量级和下降速度，自适应为不同损失函数分配权重，加快多任务模型的收敛；
作为本发明的一种优选技术方案，所述自适应为不同损失函数分配权重，其特征在于，包括如下的步骤：
S521、T1时各损失值生成后，保存各损失值；
S522、T2时各损失值生成后，结合所述T1时各损失值计算不同损失权重；
S523、为T2分配权重反向传播，第k个损失函数的权重计算公式为：
，
其中，表示该损失函数的下降速度，wk代表第k个损失函数的loss比率，wi代表每一个损失函数的loss比率，其中i=1,2,3...，T用于平滑loss权重，T越大，loss的权重分布越均匀,Lk表示第k个损失函数的数量级程度，Li,表示第i个损失函数的数量级程度，其中i=1,2,3,...，/>表示第k个损失函数占所有损失函数的比率。
本发明还提供基于多任务学习自动驾驶视觉感知系统，包括如下的模块：
多任务数据处理模块，用于设计一种基于增量学习的数据增强方法，减少不同任务之间的数据差异造成的网络参数突变效应；
多任务网络模型模块，用于结合yolov5和ufld两个算法进行改进，消化输入图像，提高图像特征提取能力；
多任务模型训练模块，用于设计一种自适应调整权重系数的策略，联合损失函数的量级和下降速度，自适应为不同损失函数分配权重，加快多任务模型的收敛。
本发明还提供一种存储介质，所述存储介质存储有程序指令，其中，在所述程序指令运行时控制所述存储介质所在设备执行上述中任意一项所述的方法。
本发明还提供一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述任意一项的基于多任务学习的自动驾驶视觉感知方法。
与现有技术相比，本发明的有益效果至少如下所述：
针对港口自动驾驶视觉感知系统中，障碍物目标检测和车道线检测多个单任务模型计算量大，计算资源浪费等问题，设计一种新的多任务模型，有效减少多任务带来的模型参数，提高运行效率；针对多任务模型引入不同的损失函数造成的训练过程难以收敛等问题，提出基于增量学习的数据集加载方式以及基于损失函数量级及速度级的权重分配策略，通过增量学习的方式减缓多任务数据之间的突变效应，通过设计的损失函数权重分配计算方式，自适应权衡不同损失函数之间的权重，有利于多任务模型的收敛速度和提高检测精度。
附图说明
图1为本发明的一种基于多任务学习的自动驾驶视觉感知方法的步骤流程图；
图2为本发明的一种基于多任务学习的自动驾驶视觉感知系统的组成结构图；
图3为本发明的基于增量学习的数据增强的流程图；
图4为本发明的自适应为不同损失函数分配权重的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一xx脚本称为第二xx脚本，且类似地，可将第二xx脚本称为第一xx脚本。
本发明提供了如图1所示的基于多任务学习自动驾驶视觉感知系统，主要通过执行如下的步骤过程进行实现：
S1、自动驾驶汽车通过摄像头、雷达进行环境感知，采集驾驶环境图像数据；
S2、多任务数据处理模块对采集的图像数据做预处理；
S3、多任务数据处理模块设计一种基于增量学习的数据增强方法，在每个新批次的数据形成是添加上一个批次的为样本数据，用于减少不同任务之间的数据差异造成的网络参数突变效应；
S4、设置多任务网络模型模块，多任务网络模型模块结合yolov5和ufld两个算法进行改进，yolov5是一种目标检测算法，ufld是一种车道检测算法；
S5、设置多任务模型训练模块，多任务模型训练模块对损失函数反向传播进行优化；
S6、预测多目标检测和车道线检测结果。
具体的，首先自动驾驶汽车通过摄像头、雷达进行环境感知，采集驾驶环境图像数据，多任务数据处理模块对采集的图像数据做预处理，任务数据处理模块设计一种基于增量学习的数据增强方法，在每个新批次的数据形成是添加上一个批次的为样本数据，用于减少不同任务之间的数据差异造成的网络参数突变效应，设置多任务网络模型模块，多任务网络模型模块结合yolov5和ufld两个算法进行改进，设置多任务模型训练模块，多任务模型训练模块对损失函数反向传播进行优化，预测多目标检测和车道线检测结果从多任务模型的网络结构以及多任务学习训练策略出发降低多任务模型复杂度，减缓不同任务数据的突变效应以及自适应分配不同损失函数的权重系数，提高网络收敛识别准确率。
具体的，上述采集驾驶环境图像数据，是对可行驶区域、边界线、人体、车辆、车道线、边缘线、交通标志和人脸。
具体的，上述对采集的图像数据做预处理，是将无效的场景图象去除，并采用图像水平反转、图像暗化、随机阴影和偏转图像的方式对进行图片增强。
进一步的，上述增量学习的数据增强方法，其特征在于，包括如下步骤
S31、使用基于增量学习的数据采样方法，对每个批次采样的各任务数据生成部分伪样本数据；
S32、在下一个新批次的数据形成时添加上一个批次的伪样本数据以减轻遗忘，从而降低模型训练过程参数跳变带来的突变影响。
具体的，上述多任务数据处理模块设计一种基于增量学习的数据增强方法，用于减少不同任务之间的数据差异造成的网络参数突变效应，由于不同任务标注的数据有时并不完全同源，如车道线的数据可能障碍物目标较少，障碍物数据可见车道线较少，上述多任务数据处理模块使用基于增量学习的数据采样方法，如图3所示，对每个批次采样的各任务数据生成部分伪样本数据，在下一个新批次的数据形成时添加上一个批次的伪样本数据以减轻遗忘，从而降低模型训练过程参数跳变带来的突变影响。
进一步的，上述多任务网络模型结合yolov5和ufld两个算法进行改进的过程，其特征在于，包括如下的步骤：
S41、多任务网络模型包括骨干网络、车道线检测网络和目标检测网络，在骨干网络中使用多层网络层数来消化输入图像，提高图像特征提取能力，做好初级特征提取工作，骨干网络保持yolov5的网络结构，使用基于anchor free的方式替换原始的正负样本分配方法，减少人为设计的超参数以及巨大的anchor生成计算量，样本分配策略采用STMOTA样本分配方法，检测任务其他部分与yolov5结构一致，anchor是指目标检测算法中用于匹配正负样本的锚框；
S42、基于ufld，添加全连接层，将骨干网络的第4、6、8层的输出的特征图送入车道线检测的部分，其中车道线分割辅助头用于车道线二值图标签学习，仅用于对车道线的辅助训练，不参与推理过程。
具体的，上述多任务模型结合yolov5和ufld两个算法进行改进，骨干网络保持原来的yolov5的网络结构，使用基于anchor free的方式替换原始的正负样本分配方法，减少人为设计的超参数以及巨大的anchor生成计算量，对应的样本分配策略采用SIMOTA的方法，检测任务其他部分与原始的yolov5结构一致；对于ufld的改进，具体为基于ufld，将网络的第4、6、8层的输出的特征图送入车道线检测的部分，其中车道线分割辅助头用于车道线二值图标签学习，仅用于对车道线的辅助训练，不参与推理过程，相当于仅添加一层全连接层的网络结构实现了车道线的检测，极大的减少多任务网络模型带来的计算量。
进一步的，多任务模型训练模块对损失函数反向传播进行优化，其特征在于，包括如下的步骤：
S51、多任务模型训练模块设计一种自适应调整权重系数的策略；
S52、联合损失函数的量级和下降速度，自适应为不同损失函数分配权重，加快多任务模型的收敛；
具体的，随着损失函数的数量增加，造成模型的学习方向不确定而难以收敛，常用的解决方法使用不同的权重系数对损失函数约束，尽可能的达到平衡的状态，但是此方法过于依赖人工经验且考虑的影响因子单一，因此通过设计一种自适应调整权重系数的策略，联合损失函数的量级和下降速度，自适应为不同损失函数分配权重，有利于加快多任务模型的收敛。
进一步的，自适应为不同损失函数分配权重，其特征在于，包括如下的步骤：
S521、T1时各损失值生成后，保存各损失值；
S522、T2时各损失值生成后，结合所述T1时各损失值计算不同损失权重；
S523、为T2分配权重反向传播，第k个损失函数的权重计算公式为：
，
其中，表示该损失函数的下降速度，wk代表第k个损失函数的loss比率，wi代表每一个损失函数的loss比率，其中i=1,2,3...,T用于平滑loss权重，T越大，loss的权重分布越均匀,Lk表示第k个损失函数的数量级程度，/>表示第k个损失函数占所有损失函数的比率。
具体的，如图4所示，T1时各损失值生成后，保存各损失值，T2时各损失值生成后，结合上述T1时各损失值计算不同损失权重，为T2分配权重反向传播，第i个损失函数的权重计算公式为：
，
通过设计上述自适应调整权重系数的策略，联合损失函数的量级和下降速度，自适应为不同损失函数分配权重，可以加快多任务模型的收敛，提高检测精度。
根据本发明实施例的另一个方面，参考如图2所示，还提供一种基于多任务学习的自动驾驶视觉感知系统，包括多任务数据处理模块、多任务网络模型模块和多任务模型训练模块，用来实现如以上内容所描述的基于多任务学习自动驾驶视觉感知方法，各个模块的具体功能如下：
多任务数据处理模块，用于设计一种基于增量学习的数据增强方法，减少不同任务之间的数据差异造成的网络参数突变效应；
多任务网络模型模块，用于结合yolov5和ufld两个算法进行改进，消化输入图像，提高图像特征提取能力；
多任务模型训练模块，用于设计一种自适应调整权重系数的策略，联合损失函数的量级和下降速度，自适应为不同损失函数分配权重，加快多任务模型的收敛。
根据本发明实施例的另一个方面，还提供一种存储介质，存储介质存储有程序指令，其中，在程序指令运行时控制存储介质所在设备执行上述中任意一项基于多任务自动驾驶视觉感知的方法。
根据本发明实施例的另一个方面，还提供一种处理器，处理器用于运行程序，其中，程序运行时执行上述任意一项的基于多任务学习的自动驾驶视觉感知方法。
综上所述，本发明的一种基于多任务学习的自动驾驶视觉感知方法和系统，方法包括首先通过摄像头、雷达进行环境感知，采集驾驶环境图像数据；多任务数据处理模块对采集的图像数据做预处理；多任务数据处理模块设计一种基于增量学习的数据增强方法，用于减少不同任务之间的数据差异造成的网络参数突变效应；设置多任务网络模型模块，多任务网络模型模块结合yolov5和ufld两个算法进行改进；设置多任务模型训练模块，多任务模型训练模块对损失函数反向传播进行优化，针对港口自动驾驶视觉感知系统中，障碍物目标检测和车道线检测多个单任务模型计算量大，计算资源浪费等问题，设计一种新的多任务模型，有效减少多任务带来的模型参数，提高运行效率，针对多任务模型引入不同的损失函数造成的训练过程难以收敛等问题，提出基于增量学习的数据集加载方式以及基于损失函数量级及速度级的权重分配策略，通过增量学习的方式减缓多任务数据之间的突变效应，通过设计的损失函数权重分配计算方式，自适应权衡不同损失函数之间的权重，有利于多任务模型的收敛速度和提高检测精度。
应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的程序可存储于一个非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink）DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上上述的实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上上述的实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
以上上述的仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于多任务学习的自动驾驶视觉感知方法，其特征在于，包括如下的步骤：
S1、自动驾驶汽车通过摄像头、雷达进行环境感知，采集驾驶环境图像数据；
S2、多任务数据处理模块对采集的图像数据做预处理；
S3、所述多任务数据处理模块设计一种基于增量学习的数据增强方法，在每个新批次的数据形成时添加上一个批次的伪样本数据，用于减少不同任务之间的数据差异造成的网络参数突变效应；
S4、设置多任务网络模型模块，所述多任务网络模型模块结合yolov5和ufld两个算法进行改进，所述yolov5是一种目标检测算法，所述ufld是一种车道检测算法；
S5、设置多任务模型训练模块，所述多任务模型训练模块对损失函数反向传播进行优化；
S6、预测多目标检测和车道线检测结果。
2.根据权利要求1所述的一种基于多任务学习的自动驾驶视觉感知方法，其特征在于，所述采集驾驶环境图像数据，是采集可行驶区域、边界线、人体、车辆、车道线、边缘线、交通标志和人脸。
3.根据权利要求1所述的一种基于多任务学习的自动驾驶视觉感知方法，其特征在于，所述对采集的图像数据做预处理，是将无效的场景图象去除，并采用图像水平反转、图像暗化、随机阴影和偏转图像的方式对进行图片增强。
4.根据权利要求1所述的一种基于多任务学习的自动驾驶视觉感知方法，在所述S1中，所述增量学习的数据增强方法，其特征在于，包括如下步骤
S31、使用基于增量学习的数据采样方法，对每个批次采样的各任务数据生成部分伪样本数据；
S32、在下一个新批次的数据形成时添加上一个批次的所述伪样本数据以减轻遗忘，从而降低模型训练过程参数跳变带来的突变影响。
5.根据权利要求1所述的一种基于多任务学习的自动驾驶视觉感知方法，所述多任务网络模型结合yolov5和ufld两个算法进行改进的过程，其特征在于，包括如下的步骤：
S41、所述多任务网络模型包括骨干网络、车道线检测网络和目标检测网络，在所述骨干网络中使用多层网络层数来消化输入图像，提高图像特征提取能力，做好初级特征提取工作，所述骨干网络保持所述yolov5的网络结构，使用基于anchor free的方式替换原始的正负样本分配方法，减少人为设计的超参数以及巨大的anchor生成计算量，样本分配策略采用STMOTA样本分配方法，检测任务其他部分与所述yolov5结构一致，所述anchor是指目标检测算法中用于匹配正负样本的锚框；
S42、基于ufld，添加全连接层，将所述骨干网络的第4、6、8层的输出的特征图送入车道线检测的部分，其中车道线分割辅助头用于车道线二值图标签学习，仅用于对车道线的辅助训练，不参与推理过程。
6.根据权利要求1所述的一种基于多任务学习的自动驾驶视觉感知方法，所述多任务模型训练模块对损失函数反向传播进行优化，其特征在于，包括如下的步骤：
S51、多任务模型训练模块设计一种自适应调整权重系数的策略；
S52、联合损失函数的量级和下降速度，自适应为不同损失函数分配权重，加快多任务模型的收敛。
7.根据权利要求6所述的一种基于多任务学习的自动驾驶视觉感知方法，在所述S52中，所述自适应为不同损失函数分配权重，其特征在于，包括如下的步骤：
S521、T1时各损失值生成后，保存各损失值；
S522、T2时各损失值生成后，结合所述T1时各损失值计算不同损失权重；
S523、为T2分配权重反向传播，第k个损失函数的权重计算公式为：
，
其中，表示该损失函数的下降速度，wk代表第k个损失函数的loss比率，wi代表每一个损失函数的loss比率，其中i=1,2,3...,T用于平滑loss权重，T越大，loss的权重分布越均匀,Lk表示第k个损失函数的数量级程度，/>表示第k个损失函数占所有损失函数的比率。
8.一种基于多任务学习的自动驾驶视觉感知系统，用于实现如权利要求1-4任意一项所述的方法，其特征在于，包括如下的模块：
多任务数据处理模块，用于设计一种基于增量学习的数据增强方法，减少不同任务之间的数据差异造成的网络参数突变效应；
多任务网络模型模块，用于结合yolov5和ufld两个算法进行改进，消化输入图像，提高图像特征提取能力；
多任务模型训练模块，用于设计一种自适应调整权重系数的策略，联合损失函数的量级和下降速度，自适应为不同损失函数分配权重，加快多任务模型的收敛。
9.一种存储介质，其特征在于，所述存储介质存储有程序指令，其中，在所述程序指令运行时控制所述存储介质所在设备执行权利要求1至7中任意一项所述的方法。
10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至7中任意一项所述的一种基于多任务学习的自动驾驶视觉感知方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311288130.5A CN117011821A (zh) | 2023-10-08 | 2023-10-08 | 一种基于多任务学习的自动驾驶视觉感知方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311288130.5A CN117011821A (zh) | 2023-10-08 | 2023-10-08 | 一种基于多任务学习的自动驾驶视觉感知方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117011821A true CN117011821A (zh) | 2023-11-07 |
Family
ID=88574753
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311288130.5A Pending CN117011821A (zh) | 2023-10-08 | 2023-10-08 | 一种基于多任务学习的自动驾驶视觉感知方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117011821A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021114625A1 (zh) * | 2020-05-28 | 2021-06-17 | 平安科技（深圳）有限公司 | 用于多任务场景的网络结构构建方法和装置 |
| CN114067564A (zh) * | 2021-11-15 | 2022-02-18 | 武汉理工大学 | 一种基于yolo的交通状况综合监测方法 |
| CN115222684A (zh) * | 2022-07-06 | 2022-10-21 | 中北大学 | 一种基于多任务增量学习的表面缺陷检测方法 |
| CN115294550A (zh) * | 2022-08-05 | 2022-11-04 | 厦门大学 | 一种基于多任务学习的自动驾驶汽车道路场景理解方法 |
| CN116843022A (zh) * | 2023-05-31 | 2023-10-03 | 华为技术有限公司 | 一种数据处理方法及相关装置 |
-
2023
- 2023-10-08 CN CN202311288130.5A patent/CN117011821A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021114625A1 (zh) * | 2020-05-28 | 2021-06-17 | 平安科技（深圳）有限公司 | 用于多任务场景的网络结构构建方法和装置 |
| CN114067564A (zh) * | 2021-11-15 | 2022-02-18 | 武汉理工大学 | 一种基于yolo的交通状况综合监测方法 |
| CN115222684A (zh) * | 2022-07-06 | 2022-10-21 | 中北大学 | 一种基于多任务增量学习的表面缺陷检测方法 |
| CN115294550A (zh) * | 2022-08-05 | 2022-11-04 | 厦门大学 | 一种基于多任务学习的自动驾驶汽车道路场景理解方法 |
| CN116843022A (zh) * | 2023-05-31 | 2023-10-03 | 华为技术有限公司 | 一种数据处理方法及相关装置 |
Non-Patent Citations (1)
| Title |
|---|
| 亦一: "多目标 | 样本权重：GradNorm和DWA利用学习速度调权", pages 1 - 5, Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/542296680> * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110335290B (zh) | 基于注意力机制的孪生候选区域生成网络目标跟踪方法 | |
| CN113221905B (zh) | 基于均匀聚类的语义分割的无监督域适应方法、装置、系统和存储介质 | |
| CN110874578B (zh) | 一种基于强化学习的无人机视角车辆识别追踪方法 | |
| CN113076871B (zh) | 一种基于目标遮挡补偿的鱼群自动检测方法 | |
| CN111860255B (zh) | 驾驶检测模型的训练、使用方法、装置、设备及介质 | |
| US20220051058A1 (en) | Unmanned driving behavior decision-making and model training | |
| CN112541508A (zh) | 果实分割识别方法及系统、果实采摘机器人 | |
| CN114399683B (zh) | 一种基于改进yolov5的端到端半监督目标检测方法 | |
| Kim et al. | Improved center and scale prediction-based pedestrian detection using convolutional block | |
| CN111027505A (zh) | 一种基于显著性检测的分层多目标跟踪方法 | |
| CN115358413A (zh) | 一种点云多任务模型的训练方法、装置及电子设备 | |
| CN117093009B (zh) | 一种基于机器视觉的物流agv小车导航控制方法及系统 | |
| CN114639122A (zh) | 一种基于卷积生成对抗网络的姿态修正行人再识别方法 | |
| CN112857379B (zh) | 一种基于改进的Gmapping-SLAM地图更新方法及系统 | |
| CN113064422B (zh) | 基于双神经网络强化学习的自主水下航行器路径规划方法 | |
| CN117011821A (zh) | 一种基于多任务学习的自动驾驶视觉感知方法和系统 | |
| CN115542912B (zh) | 一种基于改进Q-learning算法的移动机器人路径规划方法 | |
| KR102421289B1 (ko) | 패러렐 디시전 보팅 알고리즘에 따른 영상기반 시정 탐지 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치 | |
| CN114387484B (zh) | 一种基于yolov4改进的口罩佩戴检测方法及系统 | |
| CN111562740B (zh) | 基于利用梯度的多目标强化学习算法的自动控制方法 | |
| CN114299113A (zh) | 一种基于孪生网络的目标跟踪方法及装置 | |
| CN116630373B (zh) | 基于风格重校准和改进孪生网络的红外弱小目标跟踪方法 | |
| CN117808808B (zh) | 一种矿石粒度检测方法、系统、电子设备及存储介质 | |
| CN117671647B (zh) | 一种多任务道路场景感知方法 | |
| CN116048106B (zh) | 一种多水下机器人自适应采样的海洋观测控制方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |