CN110941995A - 基于轻量级网络的实时目标检测与语义分割的多任务学习方法 - Google Patents
基于轻量级网络的实时目标检测与语义分割的多任务学习方法 Download PDFInfo
- Publication number
- CN110941995A CN110941995A CN201911060977.1A CN201911060977A CN110941995A CN 110941995 A CN110941995 A CN 110941995A CN 201911060977 A CN201911060977 A CN 201911060977A CN 110941995 A CN110941995 A CN 110941995A
- Authority
- CN
- China
- Prior art keywords
- module
- loss
- semantic segmentation
- target detection
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 76
- 230000011218 segmentation Effects 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000006870 function Effects 0.000 claims abstract description 27
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 10
- 238000010586 diagram Methods 0.000 claims abstract description 6
- 239000000284 extract Substances 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 40
- 238000012795 verification Methods 0.000 claims description 19
- 238000012360 testing method Methods 0.000 claims description 18
- 230000000694 effects Effects 0.000 claims description 11
- 230000008447 perception Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及一种基于轻量级网络的实时目标检测与语义分割的多任务学习方法。包括特征提取模块、语义分割模块、目标检测模块以及多尺度感受野模块；特征提取模块选择轻量级卷积神经网络MobileNet，通过MobileNet网络提取特征，送入语义分割模块去完成道路可行驶区域与可选择行驶区域的分割问题，同时将特征送入目标检测模块去完成道路场景下出现的物体检测；通过多尺度感受野模块增加特征图的感受域，用不同尺度的卷积解决多尺度难题，最终损失函数通过语义分割模块的损失函数与目标检测模块的损失函数进行加权求和，对总模块进行优化。本发明提供的方法相比现有技术做到了更快速，更准确地完成道路物体检测以及道路行驶区域分割这两种常见的无人驾驶感知任务。
Description
技术领域
本发明属于计算机视觉技术领域，更具体地，涉及一种基于轻量级网络的实时目标检测与语义分割的多任务学习方法。
背景技术
计算机视觉在自动驾驶中越来越流行，这主要是由于基于神经网络的深度学习技术的兴起。越来越多的公共数据集和发达的硬件资源的出现促进了相关的研究成果，并进一步推动了计算机视觉技术的发展。自动驾驶汽车中使用了许多计算机视觉任务，例如目标检测和道路分割，这对于感知驾驶环境至关重要。当前的趋势是持续提高这些任务的准确性，同时将推理时间保持在尽可能短的时间内。仅仅满足模型感知的准确性，没有一个快的模型预测速度，会给无人驾驶车辆决策带来极大的危险，遇到突发事故时无法及时决策处理，所以需要让模型有快速的预测速度，保证车辆有足够的时间来做出决策。此外，自动驾驶汽车的硬件资源受到限制，充分利用这些硬件资源也是一项重要任务。而且道路场景下的物体存在尺度大小差异过大的问题，常规模型无法准确完成同时对大物体与小物体的感知问题，如此会爆发出很多潜在问题。
发明内容
本发明为克服上述现有技术中的缺陷，提供一种基于轻量级网络的实时目标检测与语义分割的多任务学习方法，更快速、更准确地完成道路物体检测以及道路行驶区域分割这两种常见的无人驾驶感知任务。
为解决上述技术问题，本发明采用的技术方案是：一种基于轻量级网络的实时目标检测与语义分割的多任务学习方法，包括特征提取模块、语义分割模块、目标检测模块以及多尺度感受野模块；所述的特征提取模块选择轻量级卷积神经网络MobileNet，通过MobileNet网络提取特征，送入上层的语义分割模块去完成道路可行驶区域与可选择行驶区域的分割问题，同时将特征送入下层的目标检测模块去完成道路场景下出现的物体检测；通过多尺度感受野模块增加特征图的感受域，用不同尺度的卷积解决多尺度难题，最终损失函数通过语义分割模块的损失函数与目标检测模块的损失函数进行加权求和，对总模块进行优化。
进一步的，所述的特征提取模块通过轻量级卷积神经网络MobileNet对RGB图像进行特征提取；MobileNet采用深度可分离卷积代替常规卷积来减小模型参数量。MobileNet网络拥有更小的体积，更少的计算量，更高的精度，在轻量级神经网络中拥有极大的优势。MobileNet在提取特征的过程中，越往后得到的特征图尺寸越小，感受野越大，语义信息更加丰富。MobileNet采用深度可分离卷积代替常规卷积来减小模型参数量，从而缩短模型预测时间，对硬件资源要求变低。
进一步的，以SSD检测算法作为检测基线模型，在目标检测模块中加入多尺度感受野模块；所述的多尺度感受野模块由不同比例的空洞卷积组成，这些不同尺度的空洞卷积在不改变尺度大小的情况下去增加多尺度的感受野来解决多尺度问题。SSD是一个典型的单阶段检测器，引入不同阶段的特征图对物体检测画框，能够有效缓解物体检测中多尺度的问题，除此之外，在目标检测模块中加入多尺度感受野模块，多尺度感受野模块由不同比例的空洞卷积组成，这些不同尺度的空洞卷积在不改变尺度大小的情况下去增加多尺度的感受野来解决多尺度问题。分别用比率为5和7的空洞卷积去增加大尺度物体的感受野，用比率为3的空洞卷积增加小物体的感受野，同时采用不同大小的卷积层最后合并在一起，很好地解决了道路场景下普遍存在的多尺度问题。
进一步的，骨干网络MobileNet提取的特征送入上层的语义分割模块完成道路可行驶区域和可选择行驶区域的分割，对前两层特征图采取合并操作，同样在语义分割模块中加入多尺度感受野模块，对第二层特征图采取不同比率的空洞卷积。骨干网络MobileNet提取的特征送入上层的语义分割模块完成道路可行驶区域和可选择行驶区域的分割，对前两层特征图采取合并操作，这样能够保证特征图尺度的情况下，增加语义信息。同样在语义分割模块中也加入了多尺度感受野模块，对第二层特征图采取不同比率的空洞卷积，分别选择比率为1，3，6的膨胀卷积去解决多尺度问题，最终特征图合并在一起后进行解码操作，完成对道路行驶区域的分割。
进一步的，所述的目标检测模块中加入的多尺度感受野模块，分别用比率为5和7的空洞卷积去增加大尺度物体的感受野，用比率为3的空洞卷积增加小物体的感受野，同时采用不同大小的卷积层最后合并在一起。
进一步的，所述的语义分割模块中加入的多尺度感受野模块，分别选择比率为1，3，6的膨胀卷积去解决多尺度问题，最终特征图合并在一起后进行解码操作，完成对道路行驶区域的分割。
进一步的，多任务学习的损失函数由各支路的损失函数加权求和得到，检测支路的损失函数为分类损失加上回归损失，Loss检测＝Loss分类+Loss回归；分割支路的损失函数为Loss分割＝weight[class]*CrossEntorpyLoss(x,class)；最终损失函数Loss总＝Loss检测+Loss分割；通过对这个总的loss进行优化，进行迭代训练，反向传播，最终完成Loss收敛，模型训练完成。加入weight[class]为了平衡可行驶区域与可选择行驶区域这两个标签的loss，通过实验发现weight[label＝可选择行驶区域]＝3时，能够得到最好的分割结果。
进一步的，模型的训练步骤包括：
S1.以Berkeley公开的数据集BDD100K为训练数据，道路对象检测任务的数据包含10个类别的2D边界框，可驾驶区域分割任务包含两个不同类别：“可直接驾驶”区域”和“其他可驾驶区域”；将数据按照8：1：1划分为相对应的训练数据，验证数据和测试数据；BDD100K是用于道路物体检测，实例分割，可行驶区域分割和车道标记检测的标注良好的数据集。
S2.过轻量级卷积神经网络MobileNet提取特征，对骨干网络MobileNet参数以及检测支路，分割支路的参数进行训练；
S3.模型训练每迭代十轮，就通过验证集进行一次验证，取验证集上效果最好的模型作为最终的模型；
S4.将最终模型在测试集上测试，测试效果和在验证集上的效果一致即可。
模型训练完成，测试没有问题后，即可进行模型压缩，将其布置在无人驾驶车辆上，此模型不压缩大小仅为34M，很好的节省了硬件资源。
与现有技术相比，有益效果是：
1.基于MobileNet的目标检测和语义分割联合训练的多任务学习方法，将提取后的特征统一送入检测支路和分割支路，使用单模型同时解决道路物体检测与道路可行驶区域的分割问题，相比两个模型分别解决单个问题，节省了模型大小，便于在硬件资源受限的无人驾驶车辆上部署；
2.道路环境物体感知时，物体检测相对耗时。本方法采用单阶段检测器，针对道路场景下物体尺度差异大的问题，选用SSD检测方法作为基准方法，做到了快速准确地进行道路物体检测；
3.进行目标检测与语义分割之前，都引入了多尺度感受野模块，由不同大小的卷积层和相对应不同比例的空洞卷积组成，进行多尺度的特征融合，很好地解决了多尺度问题，例如道路上行人和公交车这种尺度大小差别大的物体无法同时做到准确检测这种难题；
4.综上所述，本发明提供的方法相比现有技术做到了更快速，更准确地完成道路物体检测以及道路行驶区域分割这两种常见的无人驾驶感知任务。
附图说明
图1是本发明的方法流程示意图。
图2是本发明多尺度感受野模块示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本发明的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本发明的限制。
如图1和图2所示，一种基于轻量级网络的实时目标检测与语义分割的多任务学习方法，包括特征提取模块、语义分割模块、目标检测模块以及多尺度感受野模块；所述的特征提取模块选择轻量级卷积神经网络MobileNet，通过MobileNet网络提取特征，送入上层的语义分割模块去完成道路可行驶区域与可选择行驶区域的分割问题，同时将特征送入下层的目标检测模块去完成道路场景下出现的物体检测；通过多尺度感受野模块增加特征图的感受域，用不同尺度的卷积解决多尺度难题，最终损失函数通过语义分割模块的损失函数与目标检测模块的损失函数进行加权求和，对总模块进行优化。
具体的，所述的特征提取模块通过轻量级卷积神经网络MobileNet对RGB图像进行特征提取；MobileNet采用深度可分离卷积代替常规卷积来减小模型参数量。MobileNet网络拥有更小的体积，更少的计算量，更高的精度，在轻量级神经网络中拥有极大的优势。MobileNet在提取特征的过程中，越往后得到的特征图尺寸越小，感受野越大，语义信息更加丰富。MobileNet采用深度可分离卷积代替常规卷积来减小模型参数量，从而缩短模型预测时间，对硬件资源要求变低。
其中，以SSD检测算法作为检测基线模型，在目标检测模块中加入多尺度感受野模块；所述的多尺度感受野模块由不同比例的空洞卷积组成，这些不同尺度的空洞卷积在不改变尺度大小的情况下去增加多尺度的感受野来解决多尺度问题。SSD是一个典型的单阶段检测器，引入不同阶段的特征图对物体检测画框，能够有效缓解物体检测中多尺度的问题，除此之外，在目标检测模块中加入多尺度感受野模块，如图2所示，多尺度感受野模块由不同比例的空洞卷积组成，这些不同尺度的空洞卷积在不改变尺度大小的情况下去增加多尺度的感受野来解决多尺度问题。分别用比率为5和7的空洞卷积去增加大尺度物体的感受野，用比率为3的空洞卷积增加小物体的感受野，同时采用不同大小的卷积层最后合并在一起，很好地解决了道路场景下普遍存在的多尺度问题。
另外，骨干网络MobileNet提取的特征送入上层的语义分割模块完成道路可行驶区域和可选择行驶区域的分割，如图1所示，对前两层特征图采取合并操作，同样在语义分割模块中加入多尺度感受野模块，对第二层特征图采取不同比率的空洞卷积。骨干网络MobileNet提取的特征送入上层的语义分割模块完成道路可行驶区域和可选择行驶区域的分割，对前两层特征图采取合并操作，这样能够保证特征图尺度的情况下，增加语义信息。同样在语义分割模块中也加入了多尺度感受野模块，对第二层特征图采取不同比率的空洞卷积，分别选择比率为1，3，6的膨胀卷积去解决多尺度问题，最终特征图合并在一起后进行解码操作，完成对道路行驶区域的分割。
其中，多任务学习的损失函数由各支路的损失函数加权求和得到，检测支路的损失函数为分类损失加上回归损失，Loss检测＝Loss分类+Loss回归；分割支路的损失函数为Loss分割＝weight[class]*CrossEntorpyLoss(x,class)；最终损失函数Loss总＝Loss检测+Loss分割；通过对这个总的loss进行优化，进行迭代训练，反向传播，最终完成Loss收敛，模型训练完成。加入weight[class]为了平衡可行驶区域与可选择行驶区域这两个标签的loss，通过实验发现weight[label＝可选择行驶区域]＝3时，能够得到最好的分割结果。
在本实施例中，模型的训练步骤包括：
S1.以Berkeley公开的数据集BDD100K为训练数据，道路对象检测任务的数据包含10个类别的2D边界框，可驾驶区域分割任务包含两个不同类别：“可直接驾驶”区域”和“其他可驾驶区域”；将数据按照8：1：1划分为相对应的训练数据，验证数据和测试数据；BDD100K是用于道路物体检测，实例分割，可行驶区域分割和车道标记检测的标注良好的数据集。
S2.过轻量级卷积神经网络MobileNet提取特征，对骨干网络MobileNet参数以及检测支路，分割支路的参数进行训练；
S3.模型训练每迭代十轮，就通过验证集进行一次验证，取验证集上效果最好的模型作为最终的模型；
S4.将最终模型在测试集上测试，测试效果和在验证集上的效果一致即可。
模型训练完成，测试没有问题后，即可进行模型压缩，将其布置在无人驾驶车辆上，此模型不压缩大小仅为34M，很好的节省了硬件资源。
实施例1
在实施基于实时目标检测与语义分割的多任务学习方法的时候，首先要准备好训练数据，验证数据以及测试数据，然后进行模型训练以及测试，最终将其部署在无人驾驶车辆上。
1)训练数据，验证数据，测试数据的准备与处理；
步骤1.按照比例8：1：1划分BDD100K数据集，得到相对应的训练集，验证集以及测试集；
步骤2.统计训练集中各图片检测物体的尺度大小，方便后续进行验证；
步骤3.对训练数据进行数据增强，图片翻转，图片裁剪，亮度饱和度变化以及归一化处理，做到充分利用数据。
2)模型训练的详细过程：
步骤11.使用pytorch作为深度学习框架，在ImageNet1K上预先训练MobileNet，选取效果最好的MobileNet模型作为我们的预训练模型；
步骤2.训练设备选取4块Titan Xp作为实验GPU，每块显卡显存为12GB，GPU数量越多，batch_size会越来越大，训练后的模型效果会更好；
步骤3.模型训练参数主要是通过MobileNet骨干网络的迁移学习，对MobileNet参数微调，将检测支路和分割支路的参数按照高斯分布随机初始化，从参数随机初始化进行训练；
步骤4.使用SGD进行梯度下降，每张GPU的batch_size设置为28，权重衰减为0.0005，学习率为0.004进行30轮的训练；模型损失函数为检测损失函数与分割损失函数加权求和，多次实验结果验证将分割损失函数系数设置为3得到最好的模型结果；
步骤5.选取在验证集上结果最好的模型作为最终模型，如需压缩，继续进行模型压缩进一步降低硬件需求；
3)将处理后的模型部署在无人驾驶车辆上，进行道路场景的验证，通过调试观察模型在各个物体类别上检测与分割的指标，对指标差的物体类别进行进一步优化，调试好后即可通过摄像头完成对道路物体的检测以及前方道路可行驶区域与可选择行驶区域的分割.
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (8)
1.一种基于轻量级网络的实时目标检测与语义分割的多任务学习方法，其特征在于，包括特征提取模块、语义分割模块、目标检测模块以及多尺度感受野模块；所述的特征提取模块选择轻量级卷积神经网络MobileNet，通过MobileNet网络提取特征，送入上层的语义分割模块去完成道路可行驶区域与可选择行驶区域的分割问题，同时将特征送入下层的目标检测模块去完成道路场景下出现的物体检测；通过多尺度感受野模块增加特征图的感受域，用不同尺度的卷积解决多尺度难题，最终损失函数通过语义分割模块的损失函数与目标检测模块的损失函数进行加权求和，对总模块进行优化。
2.根据权利要求1所述的基于轻量级网络的实时目标检测与语义分割的多任务学习方法，其特征在于，所述的特征提取模块通过轻量级卷积神经网络MobileNet对RGB图像进行特征提取；MobileNet采用深度可分离卷积代替常规卷积来减小模型参数量。
3.根据权利要求1所述的基于轻量级网络的实时目标检测与语义分割的多任务学习方法，其特征在于，以SSD检测算法作为检测基线模型，在目标检测模块中加入多尺度感受野模块；所述的多尺度感受野模块由不同比例的空洞卷积组成，这些不同尺度的空洞卷积在不改变尺度大小的情况下去增加多尺度的感受野来解决多尺度问题。
4.根据权利要求3所述的基于轻量级网络的实时目标检测与语义分割的多任务学习方法，其特征在于，骨干网络MobileNet提取的特征送入上层的语义分割模块完成道路可行驶区域和可选择行驶区域的分割，对前两层特征图采取合并操作，同样在语义分割模块中加入多尺度感受野模块，对第二层特征图采取不同比率的空洞卷积。
5.根据权利要求3所述的基于轻量级网络的实时目标检测与语义分割的多任务学习方法，其特征在于，所述的目标检测模块中加入的多尺度感受野模块，分别用比率为5和7的空洞卷积去增加大尺度物体的感受野，用比率为3的空洞卷积增加小物体的感受野，同时采用不同大小的卷积层最后合并在一起。
6.根据权利要求4所述的基于轻量级网络的实时目标检测与语义分割的多任务学习方法，其特征在于，所述的语义分割模块中加入的多尺度感受野模块，分别选择比率为1，3，6的膨胀卷积去解决多尺度问题，最终特征图合并在一起后进行解码操作，完成对道路行驶区域的分割。
7.根据权利要求2至6任一项所述的基于轻量级网络的实时目标检测与语义分割的多任务学习方法，其特征在于，多任务学习的损失函数由各支路的损失函数加权求和得到，检测支路的损失函数为分类损失加上回归损失，Loss检测＝Loss分类+Loss回归；分割支路的损失函数为Loss分割＝weight[class]*
CrossEntorpyLoss(x,class)；最终损失函数Loss总＝Loss检测+Loss分割；通过对这个总的loss进行优化，进行迭代训练，反向传播，最终完成Loss收敛，模型训练完成。
8.根据权利要求7所述的基于轻量级网络的实时目标检测与语义分割的多任务学习方法，其特征在于，模型的训练步骤包括：
S1.以Berkeley公开的数据集BDD100K为训练数据，道路对象检测任务的数据包含10个类别的2D边界框，可驾驶区域分割任务包含两个不同类别：“可直接驾驶”区域”和“其他可驾驶区域”；将数据按照8：1：1划分为相对应的训练数据，验证数据和测试数据；
S2.过轻量级卷积神经网络MobileNet提取特征，对骨干网络MobileNet参数以及检测支路，分割支路的参数进行训练；
S3.模型训练每迭代十轮，就通过验证集进行一次验证，取验证集上效果最好的模型作为最终的模型；
S4.将最终模型在测试集上测试，测试效果和在验证集上的效果一致即可。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911060977.1A CN110941995A (zh) | 2019-11-01 | 2019-11-01 | 基于轻量级网络的实时目标检测与语义分割的多任务学习方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911060977.1A CN110941995A (zh) | 2019-11-01 | 2019-11-01 | 基于轻量级网络的实时目标检测与语义分割的多任务学习方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110941995A true CN110941995A (zh) | 2020-03-31 |
Family
ID=69907282
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911060977.1A Pending CN110941995A (zh) | 2019-11-01 | 2019-11-01 | 基于轻量级网络的实时目标检测与语义分割的多任务学习方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110941995A (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111695494A (zh) * | 2020-06-10 | 2020-09-22 | 上海理工大学 | 一种基于多视角卷积池化的三维点云数据分类方法 |
| CN111783784A (zh) * | 2020-06-30 | 2020-10-16 | 创新奇智(合肥)科技有限公司 | 建筑的空洞检测方法及装置、电子设备、存储介质 |
| CN111797717A (zh) * | 2020-06-17 | 2020-10-20 | 电子科技大学 | 一种高速高精度的sar图像船只检测方法 |
| CN111882620A (zh) * | 2020-06-19 | 2020-11-03 | 江苏大学 | 一种基于多尺度信息道路可行驶区域分割方法 |
| CN111898439A (zh) * | 2020-06-29 | 2020-11-06 | 西安交通大学 | 基于深度学习的交通场景联合目标检测和语义分割方法 |
| CN112084864A (zh) * | 2020-08-06 | 2020-12-15 | 中国科学院空天信息创新研究院 | 模型优化方法、装置、电子设备和存储介质 |
| CN112183395A (zh) * | 2020-09-30 | 2021-01-05 | 深兰人工智能(深圳)有限公司 | 基于多任务学习神经网络的道路场景识别方法和系统 |
| CN112257794A (zh) * | 2020-10-27 | 2021-01-22 | 东南大学 | 一种基于yolo的轻量级的目标检测方法 |
| CN112528982A (zh) * | 2020-11-18 | 2021-03-19 | 燕山大学 | 一种用于检测船舶水尺线的方法、装置及系统 |
| CN112634276A (zh) * | 2020-12-08 | 2021-04-09 | 西安理工大学 | 一种基于多尺度视觉特征提取的轻量级语义分割方法 |
| CN112633086A (zh) * | 2020-12-09 | 2021-04-09 | 西安电子科技大学 | 基于多任务EfficientDet的近红外行人监测方法、系统、介质、设备 |
| CN112733662A (zh) * | 2020-12-31 | 2021-04-30 | 上海智臻智能网络科技股份有限公司 | 一种特征检测方法及其装置 |
| CN113486718A (zh) * | 2021-06-08 | 2021-10-08 | 天津大学 | 一种基于深度多任务学习的指尖检测方法 |
| CN113554156A (zh) * | 2021-09-22 | 2021-10-26 | 中国海洋大学 | 基于注意力机制与可变形卷积的多任务学习模型构建方法 |
| CN116012953A (zh) * | 2023-03-22 | 2023-04-25 | 南京邮电大学 | 一种基于csi的轻量级双任务感知方法 |
| CN116612122A (zh) * | 2023-07-20 | 2023-08-18 | 湖南快乐阳光互动娱乐传媒有限公司 | 图像显著性区域的检测方法及装置、存储介质及电子设备 |
| CN117746264A (zh) * | 2023-12-07 | 2024-03-22 | 河北翔拓航空科技有限公司 | 无人机航拍车辆检测与道路分割的多任务实现方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106709568A (zh) * | 2016-12-16 | 2017-05-24 | 北京工业大学 | 基于深层卷积网络的rgb‑d图像的物体检测和语义分割方法 |
| CN107133616A (zh) * | 2017-04-02 | 2017-09-05 | 南京汇川图像视觉技术有限公司 | 一种基于深度学习的无分割字符定位与识别方法 |
| CN107564034A (zh) * | 2017-07-27 | 2018-01-09 | 华南理工大学 | 一种监控视频中多目标的行人检测与跟踪方法 |
| CN108875595A (zh) * | 2018-05-29 | 2018-11-23 | 重庆大学 | 一种基于深度学习和多层特征融合的驾驶场景目标检测方法 |
| CN109145769A (zh) * | 2018-08-01 | 2019-01-04 | 辽宁工业大学 | 融合图像分割特征的目标检测网络设计方法 |
| CN109325534A (zh) * | 2018-09-22 | 2019-02-12 | 天津大学 | 一种基于双向多尺度金字塔的语义分割方法 |
| CN109635694A (zh) * | 2018-12-03 | 2019-04-16 | 广东工业大学 | 一种行人检测方法、装置、设备及计算机可读存储介质 |
| CN109685017A (zh) * | 2018-12-26 | 2019-04-26 | 中山大学 | 一种基于轻量神经网络的超高速实时目标检测系统及检测方法 |
| CN109741318A (zh) * | 2018-12-30 | 2019-05-10 | 北京工业大学 | 基于有效感受野的单阶段多尺度特定目标的实时检测方法 |
| CN110222593A (zh) * | 2019-05-18 | 2019-09-10 | 四川弘和通讯有限公司 | 一种基于小规模神经网络的车辆实时检测方法 |
-
2019
- 2019-11-01 CN CN201911060977.1A patent/CN110941995A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106709568A (zh) * | 2016-12-16 | 2017-05-24 | 北京工业大学 | 基于深层卷积网络的rgb‑d图像的物体检测和语义分割方法 |
| CN107133616A (zh) * | 2017-04-02 | 2017-09-05 | 南京汇川图像视觉技术有限公司 | 一种基于深度学习的无分割字符定位与识别方法 |
| CN107564034A (zh) * | 2017-07-27 | 2018-01-09 | 华南理工大学 | 一种监控视频中多目标的行人检测与跟踪方法 |
| CN108875595A (zh) * | 2018-05-29 | 2018-11-23 | 重庆大学 | 一种基于深度学习和多层特征融合的驾驶场景目标检测方法 |
| CN109145769A (zh) * | 2018-08-01 | 2019-01-04 | 辽宁工业大学 | 融合图像分割特征的目标检测网络设计方法 |
| CN109325534A (zh) * | 2018-09-22 | 2019-02-12 | 天津大学 | 一种基于双向多尺度金字塔的语义分割方法 |
| CN109635694A (zh) * | 2018-12-03 | 2019-04-16 | 广东工业大学 | 一种行人检测方法、装置、设备及计算机可读存储介质 |
| CN109685017A (zh) * | 2018-12-26 | 2019-04-26 | 中山大学 | 一种基于轻量神经网络的超高速实时目标检测系统及检测方法 |
| CN109741318A (zh) * | 2018-12-30 | 2019-05-10 | 北京工业大学 | 基于有效感受野的单阶段多尺度特定目标的实时检测方法 |
| CN110222593A (zh) * | 2019-05-18 | 2019-09-10 | 四川弘和通讯有限公司 | 一种基于小规模神经网络的车辆实时检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 白傑 等: "用轻量化卷积神经网络图像语义分割的交通场景理解", 《汽车安全与节能学报》 * |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111695494A (zh) * | 2020-06-10 | 2020-09-22 | 上海理工大学 | 一种基于多视角卷积池化的三维点云数据分类方法 |
| CN111797717B (zh) * | 2020-06-17 | 2022-03-15 | 电子科技大学 | 一种高速高精度的sar图像船只检测方法 |
| CN111797717A (zh) * | 2020-06-17 | 2020-10-20 | 电子科技大学 | 一种高速高精度的sar图像船只检测方法 |
| CN111882620A (zh) * | 2020-06-19 | 2020-11-03 | 江苏大学 | 一种基于多尺度信息道路可行驶区域分割方法 |
| CN111898439A (zh) * | 2020-06-29 | 2020-11-06 | 西安交通大学 | 基于深度学习的交通场景联合目标检测和语义分割方法 |
| CN111783784A (zh) * | 2020-06-30 | 2020-10-16 | 创新奇智(合肥)科技有限公司 | 建筑的空洞检测方法及装置、电子设备、存储介质 |
| CN112084864A (zh) * | 2020-08-06 | 2020-12-15 | 中国科学院空天信息创新研究院 | 模型优化方法、装置、电子设备和存储介质 |
| CN112183395A (zh) * | 2020-09-30 | 2021-01-05 | 深兰人工智能(深圳)有限公司 | 基于多任务学习神经网络的道路场景识别方法和系统 |
| CN112257794A (zh) * | 2020-10-27 | 2021-01-22 | 东南大学 | 一种基于yolo的轻量级的目标检测方法 |
| CN112528982A (zh) * | 2020-11-18 | 2021-03-19 | 燕山大学 | 一种用于检测船舶水尺线的方法、装置及系统 |
| CN112634276B (zh) * | 2020-12-08 | 2023-04-07 | 西安理工大学 | 一种基于多尺度视觉特征提取的轻量级语义分割方法 |
| CN112634276A (zh) * | 2020-12-08 | 2021-04-09 | 西安理工大学 | 一种基于多尺度视觉特征提取的轻量级语义分割方法 |
| CN112633086A (zh) * | 2020-12-09 | 2021-04-09 | 西安电子科技大学 | 基于多任务EfficientDet的近红外行人监测方法、系统、介质、设备 |
| CN112633086B (zh) * | 2020-12-09 | 2024-01-26 | 西安电子科技大学 | 基于多任务EfficientDet的近红外行人监测方法、系统、介质、设备 |
| CN112733662A (zh) * | 2020-12-31 | 2021-04-30 | 上海智臻智能网络科技股份有限公司 | 一种特征检测方法及其装置 |
| CN113486718A (zh) * | 2021-06-08 | 2021-10-08 | 天津大学 | 一种基于深度多任务学习的指尖检测方法 |
| CN113554156A (zh) * | 2021-09-22 | 2021-10-26 | 中国海洋大学 | 基于注意力机制与可变形卷积的多任务学习模型构建方法 |
| CN116012953A (zh) * | 2023-03-22 | 2023-04-25 | 南京邮电大学 | 一种基于csi的轻量级双任务感知方法 |
| CN116612122A (zh) * | 2023-07-20 | 2023-08-18 | 湖南快乐阳光互动娱乐传媒有限公司 | 图像显著性区域的检测方法及装置、存储介质及电子设备 |
| CN116612122B (zh) * | 2023-07-20 | 2023-10-10 | 湖南快乐阳光互动娱乐传媒有限公司 | 图像显著性区域的检测方法及装置、存储介质及电子设备 |
| CN117746264A (zh) * | 2023-12-07 | 2024-03-22 | 河北翔拓航空科技有限公司 | 无人机航拍车辆检测与道路分割的多任务实现方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110941995A (zh) | 基于轻量级网络的实时目标检测与语义分割的多任务学习方法 | |
| CN109118467B (zh) | 基于生成对抗网络的红外与可见光图像融合方法 | |
| CN108764065B (zh) | 一种行人重识别特征融合辅助学习的方法 | |
| CN108230291B (zh) | 物体识别系统训练方法、物体识别方法、装置和电子设备 | |
| CN110059586B (zh) | 一种基于空洞残差注意力结构的虹膜定位分割系统 | |
| CN110555387B (zh) | 骨架序列中基于局部关节点轨迹时空卷的行为识别方法 | |
| CN110516536A (zh) | 一种基于时序类别激活图互补的弱监督视频行为检测方法 | |
| CN107832835A (zh) | 一种卷积神经网络的轻量化方法及装置 | |
| CN110097029B (zh) | 基于Highway网络多视角步态识别的身份认证方法 | |
| CN110232361B (zh) | 基于三维残差稠密网络的人体行为意图识别方法与系统 | |
| CN109903339B (zh) | 一种基于多维融合特征的视频群体人物定位检测方法 | |
| CN110070029A (zh) | 一种步态识别方法及装置 | |
| CN113177464B (zh) | 基于深度学习的端到端的多模态步态识别方法 | |
| CN110569780A (zh) | 一种基于深度迁移学习的高精度人脸识别方法 | |
| CN113963170A (zh) | 一种基于交互式特征融合的rgbd图像显著性检测方法 | |
| CN109919246A (zh) | 基于自适应特征聚类和多重损失融合的行人重识别方法 | |
| CN110210550A (zh) | 基于集成学习策略的图像细粒度识别方法 | |
| CN112364791A (zh) | 一种基于生成对抗网络的行人重识别方法和系统 | |
| CN111401116B (zh) | 基于增强卷积和空时lstm网络的双模态情感识别方法 | |
| CN112669343A (zh) | 一种基于深度学习的壮族少数民族服饰分割方法 | |
| CN117011883A (zh) | 一种基于金字塔卷积和Transformer双分支的行人重识别方法 | |
| CN110458215A (zh) | 基于多时态注意力模型的行人属性识别方法 | |
| CN113762166A (zh) | 一种基于可穿戴式装备的小目标检测改善方法及系统 | |
| CN117036770A (zh) | 基于级联注意力的检测模型训练和目标检测方法、系统 | |
| CN112052829A (zh) | 一种基于深度学习的飞行员行为监控方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200331 |