CN117372983A - 一种低算力的自动驾驶实时多任务感知方法及装置 - Google Patents

一种低算力的自动驾驶实时多任务感知方法及装置 Download PDF

Info

Publication number
CN117372983A
CN117372983A CN202311352976.0A CN202311352976A CN117372983A CN 117372983 A CN117372983 A CN 117372983A CN 202311352976 A CN202311352976 A CN 202311352976A CN 117372983 A CN117372983 A CN 117372983A
Authority
CN
China
Prior art keywords
feature map
feature
processing
map
branch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311352976.0A
Other languages
English (en)
Other versions
CN117372983B (zh
Inventor
李志伟
施晓强
潘郑
王坤峰
谢晓明
张智禹
王景微
刘景硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Chemical Technology
Original Assignee
Beijing University of Chemical Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Chemical Technology filed Critical Beijing University of Chemical Technology
Priority to CN202311352976.0A priority Critical patent/CN117372983B/zh
Publication of CN117372983A publication Critical patent/CN117372983A/zh
Application granted granted Critical
Publication of CN117372983B publication Critical patent/CN117372983B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种低算力的自动驾驶实时多任务感知方法及装置，其中的方法包括：获取当前时刻的目标场景的RGB图像；利用预先训练完成的主干网络对RGB图像进行处理，得到五个尺度递减的特征图；从尺度最小的特征图开始逐层进行上采样和融合处理，得到第一分支输出的特征图；利用预先训练完成的语义分割模型对第一分支输出的特征图进行处理，得到可行驶区域与车道线分割结果；对第一分支中的部分特征图进行下采样和融合处理，得到第二分支输出的三个尺度不同的特征图；利用预先训练完成的三个检测头分别对三个尺度不同的特征图进行处理，得到三个目标检测结果。本申请在低算力条件下有效地提高自动驾驶感知的性能和准确度。

Description

一种低算力的自动驾驶实时多任务感知方法及装置
技术领域
本申请涉及自动驾驶技术领域，尤其是涉及一种低算力的自动驾驶实时多任务感知方法及装置。
背景技术
自动驾驶领域多任务学习是指让自动驾驶系统同时完成多个相关的驾驶任务，如车辆目标检测、可行驶区域分割、车道线分割等，以提高系统的性能和效率。实时自动驾驶感知要求多任务学习必须同时具备速度和精度。现有多任务学习方法基本是通过编码器提取特征，之后承接双向特征金字塔网络，其中自顶向下的单向特征金字塔网络输出分别输入到可行驶区域分割模块与车道线分割模块，自底向上的单向特征金字塔网络输出到车辆目标检测模块。总损失则由分割损失与检测损失相加得到。
现有基于自动驾驶的多任务学习方法都是采用通用的编码器提取特征，特征金字塔网络进行特征融合后分别进行语义分割与车辆目标检测任务，只是将单任务方法组合为多任务方法而已。这种方法虽然简单有效，但效果有限，且不同任务之间互相影响。具体来说，现有基于自动驾驶的多任务学习存在以下问题：
可行驶区域分割和车道线分割任务往往是作为两个任务单独进行训练与推理，如此会导致有更多的网络参数需要学习，降低了训练速度，提高了训练成本；
现有的多任务方法为了保证推理速度，都会采取较简单的网络结构，导致产生降低精度的问题；
现有的多任务学习方法，往往是通过将单任务的方法简单堆砌来组成多任务方法，没有考虑到多任务彼此之间的影响；
现有方法并没有针对实际任务的特点设计，只使用了通用的网络结构。
发明内容
有鉴于此，本申请提供了一种低算力的自动驾驶实时多任务感知方法及装置，以解决上述技术问题。
第一方面，本申请实施例提供一种低算力的自动驾驶实时多任务感知方法，包括：
获取当前时刻的目标场景的RGB图像；
利用预先训练完成的主干网络对RGB图像进行处理，得到五个尺度递减的特征图；
从尺度最小的特征图开始逐层进行上采样和融合处理，得到第一分支输出的特征图；利用预先训练完成的语义分割模型对第一分支输出的特征图进行处理，得到可行驶区域与车道线分割结果；
对第一分支中的部分特征图进行下采样和融合处理，得到第二分支输出的三个尺度不同的特征图；利用预先训练完成的三个检测头分别对三个尺度不同的特征图进行处理，得到三个目标检测结果。
进一步地，五个尺度递减的特征图包括：第一特征图、第二特征图、第三特征图、第四特征图和第五特征图；
从尺度最小的特征图开始逐层进行上采样和融合处理，得到第一分支输出的特征图；利用预先训练完成的语义分割模型对第一分支输出的特征图进行处理，得到可行驶区域与车道线分割结果；包括：
对第五特征图进行上采样再和第四特征图进行融合得到第六特征图；
对第六特征图进行上采样再和第三特征图进行融合得到第七特征图；
利用1×1卷积核的第一卷积层对第七特征图进行处理，得到第八特征图；
对第八特征图进行上采样再和第二特征图进行融合得到第十特征图；
对第十特征图进行上采样再和第一特征图进行融合，得到十一特征图；
对十一特征图进行上采样得到第十二特征图，所述第十二特征图为第一分支输出的特征图；
利用预先训练完成的语义分割模型对十二特征图进行处理，得到可行驶区域与车道线分割结果。
进一步地，对第一分支中的部分特征图进行上采样和融合处理，得到第二分支输出的三个尺度不同的特征图；利用预先训练完成的三个检测头分别对三个尺度不同的特征图进行处理，得到三个目标检测结果；包括：
利用1×1卷积核的第二卷积层对第七特征图进行处理，得到第九特征图；
利用第三卷积层对第十特征图进行下采样再和第九特征图进行融合得到第十三特征图；
利用第四卷积层对第十三特征图进行下采样再和第六特征图进行融合得到第十四特征图；
利用第五卷积层对第十四特征图进行下采样再和第五特征图进行融合得到第十五特征图；
利用预先训练完成的第一检测头对第十三特征图进行处理，得到第一目标检测结果；
利用预先训练完成的第二检测头对第十四特征图进行处理，得到第二目标检测结果；
利用预先训练完成的第三检测头对第十五特征图进行处理，得到第三目标检测结果。
进一步地，所述方法还包括：
对十五特征图进行上采样后再和第十二特征图进行融合，得到融合特征图；
利用预先训练完成的语义分割模型对融合特征图进行处理，得到可行驶区域与车道线分割结果。
进一步地，所述方法还包括：对主干网络、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、语义分割模型、第一检测头、第二检测头和第三检测头进行训练的步骤。
进一步地，对主干网络、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、语义分割模型、第一检测头、第二检测头和第三检测头进行训练的步骤；包括：
获取训练集，所述训练集包括多个样本组，每个样本组包括：RGB图像样本、可行驶区域标签图、车道线标签图和三个尺度的目标标签图；
对每个样本组的可行驶区域标签图与车道线标签图进行处理，得到RGB图像样本的边缘标签图；
利用主干网络对RGB图像样本进行处理，得到尺度递减的第一特征图样本、第二特征图样本、第三特征图样本、第四特征图样本和第五特征图样本；
对第一特征图样本进行上采样再进行分割处理，得到边缘预测图；
利用交叉熵损失函数计算边缘标签图和边缘预测图的损失值，得到第一损失函数值；
从第五特征图样本开始逐层进行上采样和融合处理，得到第一分支输出的特征图样本；利用预先训练完成的语义分割模型对第一分支输出的特征图样本进行处理，得到可行驶区域与车道线预测结果；
利用交叉熵损失函数计算可行驶区域与车道线分割预测结果和行驶区域标签图以及车道线标签图的损失值，得到第二损失函数值；
对第一分支中的部分特征图样本进行下采样和融合处理，得到第二分支输出的三个尺度不同的特征图样本；利用预先训练完成的三个检测头分别对三个尺度不同的特征图样本进行处理，得到三个目标预测结果；
分别计算三个目标预测结果和对应目标标签图的三个损失函数值，将三个损失函数值的和作为第三损失函数值；
计算第一损失函数值、第二损失函数值和第三损失函数值的和，作为总损失函数值；
利用总损失函数值更新主干网络、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、语义分割模型、第一检测头、第二检测头和第三检测头的参数。
进一步地，对每个样本组的可行驶区域标签图与车道线标签图进行处理，得到RGB图像样本的边缘标签图；包括：
将每个样本组的车道线标签图的背景的像素值设为0，车道线像素设为1；将可行驶区域标签图的背景像素的像素值设为0，可行驶区域的像素值设为2，将可行驶区域标签图与车道线标签图进行像素相加操作，并转换为单通道，得到分割的整体标签图；
对分割的整体标签图的车道线与可行驶区域的亮度值更新为三通道的RGB值；使用canny边缘检测对分割的整体标签图进行边缘提取，将边缘像素值设为1，背景像素值设为0，并转换为单通道，得到该样本组的RGB图像样本的边缘标签图。
第二方面，本申请实施例提供一种低算力的自动驾驶实时多任务感知装置，包括：
获取单元，用于获取当前时刻的目标场景的RGB图像；
特征提取单元，用于利用预先训练完成的主干网络对RGB图像进行处理，得到五个尺度递减的特征图；
第一检测单元，用于从尺度最小的特征图开始逐层进行上采样和融合处理，得到第一分支输出的特征图；利用预先训练完成的语义分割模型对第一分支输出的特征图进行处理，得到可行驶区域与车道线分割结果；
第二检测单元，用于对第一分支中的部分特征图进行下采样和融合处理，得到第二分支输出的三个尺度不同的特征图；利用预先训练完成的三个检测头分别对三个尺度不同的特征图进行处理，得到三个目标检测结果。
第三方面，本申请实施例提供一种电子设备，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例的低算力的自动驾驶实时多任务感知方法。
第四方面，本申请实施例提供一种计算机可读存储介质，第三方面，本申请实施例提供所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现本申请实施例的低算力的自动驾驶实时多任务感知方法。
本申请在低算力条件下有效地提高自动驾驶感知的性能和准确度。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的低算力的自动驾驶实时多任务感知方法的流程图；
图2为本申请实施例提供的主干网络的示意图；
图3为本申请实施例提供的用于可行驶区域与车道线分割的第一分支的示意图；
图4为本申请实施例提供的用于目标检测的第二分支的示意图；
图5为本申请实施例提供的模型训练过程中的边缘检测的示意图；
图6为本申请实施例提供的低算力的自动驾驶实时多任务感知装置的功能结构图；
图7为本申请实施例提供的电子设备的功能结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
首先对本申请实施例的设计思想进行简单介绍。
自动驾驶感知是指通过传感器，如摄像头或激光雷达等，实时地获取车辆周围的环境信息，多任务指是指同时处理多个相关或不相关的任务，从而提高网络的泛化能力和效率，自动驾驶多任务包括车辆目标检测任务、可行驶区域检测任务和车道线检测任务等，并对这些信息进行分析和处理，从而为车辆提供安全和高效的导航服务。实时指能够快速检测与定位物体。本申请提供一种以较低运算成本并利用多任务学习技术来实现全景驾驶感知的方法，该方法可以有效地提高自动驾驶感知的性能和准确度。
本申请的技术优势在于：
1、降低运算成本并保证预测精度；通过合并车道线分割任务标签与可行驶区域分割任务标签，将两个任务的分割模块合并为一个，从而使基于自动驾驶场景的多任务学习由三个任务简化为分割与检测两个任务；
2、多任务特征融合；不同任务会“提醒”彼此对目标的识别，例如对于车辆检测任务而言，会加强对车辆特征的提取，识别车辆目标能力强。因此将检测任务的特征与分割任务特征融合，有助于分割任务对非车辆特征的识别。同理，将分割任务特征与检测任务特征融合，也能有助于检测任务对车辆特征的识别。
3、优化边缘分割；针对分割任务，提出通过构建边缘标签来优化边缘识别。即将车道线任务标签与可行驶区域任务标签合并后，通过边缘检测技术提取二者边缘。将主干网络的第一层特征图上采样输出，与边缘标签进行损失计算，优化网络对边缘特征的提取，之后将此特征图与网络最后输出的分割特征图进行合并，生成最后的预测图，与语义标签进行损失计算；
4、平衡多任务的训练差异；针对分割任务与车辆目标检测任务的差异，构造了一种新的针对自动驾驶多任务学习的损失函数，基于不同任务的学习速度、当前训练轮次损失与历史训练轮次损失，通过构建各任务之间梯度差异的损失，限制各任务的训练速度保持一致。
本申请可以以较低算力提升预测精度的同时，加快网络的推理速度，并且平衡多任务之间的训练差异。
在介绍了本申请实施例的应用场景和设计思想之后，下面对本申请实施例提供的技术方案进行说明。
如图1所示，本申请实施提供一种低算力的自动驾驶实时多任务感知方法，包括：
步骤101：获取当前时刻的目标场景的RGB图像；
步骤102：利用预先训练完成的主干网络对RGB图像进行处理，得到五个尺度递减的特征图；
步骤103：从尺度最小的特征图开始逐层进行上采样和融合处理，得到第一分支输出的特征图；利用预先训练完成的语义分割模型对第一分支输出的特征图进行处理，得到可行驶区域与车道线分割结果；
步骤104：对第一分支中的部分特征图进行下采样和融合处理，得到第二分支输出的三个尺度不同的特征图；利用预先训练完成的三个检测头分别对三个尺度不同的特征图进行处理，得到三个目标检测结果。
如图2所示，五个尺度递减的特征图包括：第一特征图、第二特征图、第三特征图、第四特征图和第五特征图；
在本申请实施例中，如图3所示，从尺度最小的特征图开始逐层进行上采样和融合处理，得到第一分支输出的特征图；利用预先训练完成的语义分割模型对第一分支输出的特征图进行处理，得到可行驶区域与车道线分割结果；包括：
对第五特征图进行上采样再和第四特征图进行融合得到第六特征图；
对第六特征图进行上采样再和第三特征图进行融合得到第七特征图；
利用1×1卷积核的第一卷积层对第七特征图进行处理，得到第八特征图；其中，第七特征图的尺度和第八特征图的尺度相同；
对第八特征图进行上采样再和第二特征图进行融合得到第十特征图；
对第十特征图进行上采样再和第一特征图进行融合，得到十一特征图；
对十一特征图进行上采样得到第十二特征图，所述第十二特征图为第一分支输出的特征图；
利用预先训练完成的语义分割模型对十二特征图进行处理，得到可行驶区域与车道线分割结果。
在本申请实施例中，上采样通过插值算法实现。
在本申请实施例中，如图4所示，对第一分支中的部分特征图进行上采样和融合处理，得到第二分支输出的三个尺度不同的特征图；利用预先训练完成的三个检测头分别对三个尺度不同的特征图进行处理，得到三个目标检测结果；包括：
利用1×1卷积核的第二卷积层对第七特征图进行处理，得到第九特征图；
利用第三卷积层对第十特征图进行下采样再和第九特征图进行融合得到第十三特征图；
利用第四卷积层对第十三特征图进行下采样再和第六特征图进行融合得到第十四特征图；
利用第五卷积层对第十四特征图进行下采样再和第五特征图进行融合得到第十五特征图；
利用预先训练完成的第一检测头对第十三特征图进行处理，得到第一目标检测结果；
利用预先训练完成的第二检测头对第十四特征图进行处理，得到第二目标检测结果；
利用预先训练完成的第三检测头对第十五特征图进行处理，得到第三目标检测结果。
在本申请实施例中，所述方法还包括：
对十五特征图进行上采样后再和第十二特征图进行融合，得到融合特征图；
利用预先训练完成的语义分割模型对融合特征图进行处理，得到可行驶区域与车道线分割结果。
此外，所述方法还包括：对主干网络、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、语义分割模型、第一检测头、第二检测头和第三检测头进行训练的步骤。
具体的，对主干网络、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、语义分割模型、第一检测头、第二检测头和第三检测头进行训练的步骤；包括：
获取训练集，所述训练集包括多个样本组，每个样本组包括：RGB图像样本、可行驶区域标签图、车道线标签图和三个尺度的目标标签图；
对每个样本组的可行驶区域标签图与车道线标签图进行处理，得到RGB图像样本的边缘标签图；
利用主干网络对RGB图像样本进行处理，得到尺度递减的第一特征图样本、第二特征图样本、第三特征图样本、第四特征图样本和第五特征图样本；
对第一特征图样本进行上采样再进行分割处理，得到边缘预测图；如图5所示；
利用交叉熵损失函数计算边缘标签图和边缘预测图的损失值，得到第一损失函数值；
从第五特征图样本开始逐层进行上采样和融合处理，得到第一分支输出的特征图样本；利用预先训练完成的语义分割模型对第一分支输出的特征图样本进行处理，得到可行驶区域与车道线预测结果；
利用交叉熵损失函数计算可行驶区域与车道线分割预测结果和行驶区域标签图以及车道线标签图的损失值，得到第二损失函数值；
对第一分支中的部分特征图样本进行下采样和融合处理，得到第二分支输出的三个尺度不同的特征图样本；利用预先训练完成的三个检测头分别对三个尺度不同的特征图样本进行处理，得到三个目标预测结果；
分别计算三个目标预测结果和对应目标标签图的三个损失函数值，将三个损失函数值的和作为第三损失函数值；
计算第一损失函数值、第二损失函数值和第三损失函数值的和，作为总损失函数值；
利用总损失函数值更新主干网络、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、语义分割模型、第一检测头、第二检测头和第三检测头的参数。
在本申请实施例中，对每个样本组的可行驶区域标签图与车道线标签图进行处理，得到RGB图像样本的边缘标签图；包括：
将每个样本组的车道线标签图的背景的像素值设为0，车道线像素设为1；将可行驶区域标签图的背景像素的像素值设为0，可行驶区域的像素值设为2，将可行驶区域标签图与车道线标签图进行像素相加操作，并转换为单通道，得到分割的整体标签图；
对分割的整体标签图的车道线与可行驶区域的亮度值更新为三通道的RGB值；使用canny边缘检测对分割的整体标签图进行边缘提取，将边缘像素值设为1，背景像素值设为0，并转换为单通道，得到得到该样本组的RGB图像样本的边缘标签图。在边缘标签图中，车道线的边缘像素值为1，其它像素值为0。
在本申请实施例中，从第五特征图样本开始逐层进行上采样和融合处理，得到第一分支输出的特征图样本；利用预先训练完成的语义分割模型对第一分支输出的特征图样本进行处理，得到可行驶区域与车道线预测结果；
对第五特征图样本进行上采样再和第四特征图样本进行融合得到第六特征图样本；
对第六特征图样本进行上采样再和第三特征图样本进行融合得到第七特征图样本；
利用1×1卷积核的第一卷积层对第七特征图样本进行处理，得到第八特征图样本；
对第八特征图样本进行上采样再和第二特征图样本进行融合得到第十特征图样本；
对第十特征图样本进行上采样再和第一特征图样本进行融合，得到十一特征图样本；
对十一特征图样本进行上采样得到第十二特征图样本，所述第十二特征图样本为第一分支输出的特征图样本；
利用语义分割模型对十二特征图样本进行处理，得到可行驶区域与车道线预测结果。
在本申请实施例中，对第一分支中的部分特征图样本进行下采样和融合处理，得到第二分支输出的三个尺度不同的特征图样本；利用预先训练完成的三个检测头分别对三个尺度不同的特征图样本进行处理，得到三个目标预测结果；包括：
利用1×1卷积核的第二卷积层对第七特征图样本进行处理，得到第九特征图样本；
利用第三卷积层对第十特征图样本进行下采样再和第九特征图样本进行融合得到第十三特征图样本；
利用第四卷积层对第十三特征图样本进行下采样再和第六特征图样本进行融合得到第十四特征图样本；
利用第五卷积层对第十四特征图样本进行下采样再和第五特征图样本进行融合得到第十五特征图样本；
利用第一检测头对第十三特征图样本进行处理，得到第一目标预测结果；
利用第二检测头对第十四特征图样本进行处理，得到第二目标预测结果；
利用第三检测头对第十五特征图进行样本处理，得到第三目标预测结果。
本申请实施例中，三个目标预测结果中的预测框采用三个不同纵横比的边界框。边界框损失函数采用GIoU，置信度使用IoU来度量，类别损失则使用交叉熵损失函数。
此外，可以自适应加权第一损失函数值、第二损失函数值和第三损失函数值，具体为基于各损失函数值的学习速度调整任务权重，通过计算各任务相较于历史迭代的方差与均值，动态调整每个任务的梯度值。具体过程如下：
前向传播损失值L为：
其中，L1为第一损失函数值，L2为第二损失函数值，L3为第三损失函数值，权重的初始值为w1＝w2＝w3＝1。
对第i个任务的参数wi计算梯度，并计算L2范数
其中，表示第t轮训练时损失与历史轮次平均损失的差异，值越小，表示训练速度越快。
使用表示第i个任务与第j个任务在第t轮训练时的学习速度差异，值越小，表示两个任务学习速度越接近。
希望理想情况下各任务梯度相等，构造梯度损失函数Lgrad(t；wi(t))：
由此让训练快的任务降低更新速度，训练慢的任务增高梯度，加快更新速度。然后根据梯度损失函数反向更新各任务权重，根据前向传播损失函数反向更新网络参数权重即可。
本申请采取结合各任务当前损失与历史损失的均值，来调整各任务梯度之间的差异，从而平衡分割任务与检测任务的训练速度。
本申请实施例基于工具PyTorch实现自动驾驶多任务学习神经网络，设定网络的编码器和解码器的尺寸大小、批处理数量、训练轮次数(第一次训练轮次数应较大，以保证多任务学习网络收敛，如240轮)等超参数后,从训练集中随机抽取RGB图像样本，输入主干网络提取特征，将主干网络第一层特征图进行插值上采样后，输出与边缘标签图进行损失计算，之后将尺度最小的特征图进行自顶向下的特征融合，一个分支将融合后的特征输入到可行驶区域与车道线分割模型，得到分割结果(result)和损失(loss),一个分支采取自底向上进行特征融合，将融合后的特征输入到检测头得到相应检测结果和损失。以p轮训练和验证为一个周期，确定最佳的thred、offset等超参数。最后当验证模型在验证集表现最好时说明模型训练完成。
示例性地，第一次可训练240轮，之后以训练10轮为一个周期，调整一次超参数，直到选出最优的超参数。
基于上述实施例，本申请实施例提供了一种基于低算力的自动驾驶实时多任务感知装置，参阅图6所示，本申请实施例提供的低算力的自动驾驶实时多任务感知装置200至少包括：
获取单元201，用于获取当前时刻的目标场景的RGB图像；
特征提取单元202，用于利用预先训练完成的主干网络对RGB图像进行处理，得到五个尺度递减的特征图；
第一检测单元203，用于从尺度最小的特征图开始逐层进行上采样和融合处理，得到第一分支输出的特征图；利用预先训练完成的语义分割模型对第一分支输出的特征图进行处理，得到可行驶区域与车道线分割结果；
第二检测单元204，用于对第一分支中的部分特征图进行下采样和融合处理，得到第二分支输出的三个尺度不同的特征图；利用预先训练完成的三个检测头分别对三个尺度不同的特征图进行处理，得到三个目标检测结果。
需要说明的是，本申请实施例提供的低算力的自动驾驶实时多任务感知装置200解决技术问题的原理与本申请实施例提供的方法相似，因此，本申请实施例提供的低算力的自动驾驶实时多任务感知装置200的实施可以参见本申请实施例提供的方法的实施，重复之处不再赘述。
基于上述实施例，本申请实施例还提供了一种电子设备，参阅图7所示，本申请实施例提供的电子设备300至少包括：处理器301、存储器302和存储在存储器302上并可在处理器301上运行的计算机程序，处理器301执行计算机程序时实现本申请实施例提供的低算力的自动驾驶实时多任务感知方法。
本申请实施例提供的电子设备300还可以包括连接不同组件(包括处理器301和存储器302)的总线303。其中，总线303表示几类总线结构中的一种或多种，包括存储器总线、外围总线、局域总线等。
存储器302可以包括易失性存储器形式的可读介质，例如随机存储器(RandomAccess Memory，RAM)3021和/或高速缓存存储器3022，还可以进一步包括只读存储器(ReadOnly Memory，ROM)3023。
存储器302还可以包括具有一组(至少一个)程序模块3024的程序工具3025，程序模块3024包括但不限于：操作子系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
电子设备300也可以与一个或多个外部设备304(例如键盘、遥控器等)通信，还可以与一个或者多个使得用户能与电子设备300交互的设备通信(例如手机、电脑等)，和/或，与使得电子设备300与一个或多个其它电子设备300进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入/输出(Input/Output，I/O)接口305进行。并且，电子设备300还可以通过网络适配器306与一个或者多个网络(例如局域网(Local AreaNetwork，LAN)，广域网(Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图7所示，网络适配器306通过总线303与电子设备300的其它模块通信。应当理解，尽管图7中未示出，可以结合电子设备300使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of IndependentDisks，RAID)子系统、磁带驱动器以及数据备份存储子系统等。
需要说明的是，图7所示的电子设备300仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，该计算机指令被处理器执行时实现本申请实施例提供的车辆重识别方法。具体地，该可执行程序可以内置或者安装在电子设备300中，这样，电子设备300就可以通过执行内置或者安装的可执行程序实现本申请实施例提供的低算力的自动驾驶实时多任务感知方法。
本申请实施例提供的方法还可以实现为一种程序产品，该程序产品包括程序代码，当该程序产品可以在电子设备300上运行时，该程序代码用于使电子设备300执行本申请实施例提供的低算力的自动驾驶实时多任务感知方法。
本申请实施例提供的程序产品可以采用一个或多个可读介质的任意组合，其中，可读介质可以是可读信号介质或者可读存储介质，而可读存储介质可以是但不限于是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合，具体地，可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、RAM、ROM、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、光纤、便携式紧凑盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请实施例提供的程序产品可以采用CD-ROM并包括程序代码，还可以在计算设备上运行。然而，本申请实施例提供的程序产品不限于此，在本申请实施例中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
最后所应说明的是，以上实施例仅用以说明本申请的技术方案而非限制。尽管参照实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，对本申请的技术方案进行修改或者等同替换，都不脱离本申请技术方案的精神和范围，其均应涵盖在本申请的权利要求范围当中。

Claims (10)

1.一种低算力的自动驾驶实时多任务感知方法，其特征在于，包括：
获取当前时刻的目标场景的RGB图像；
利用预先训练完成的主干网络对RGB图像进行处理，得到五个尺度递减的特征图；
从尺度最小的特征图开始逐层进行上采样和融合处理，得到第一分支输出的特征图；利用预先训练完成的语义分割模型对第一分支输出的特征图进行处理，得到可行驶区域与车道线分割结果；
对第一分支中的部分特征图进行下采样和融合处理，得到第二分支输出的三个尺度不同的特征图；利用预先训练完成的三个检测头分别对三个尺度不同的特征图进行处理，得到三个目标检测结果。
2.根据权利要求1所述的方法，其特征在于，五个尺度递减的特征图包括：第一特征图、第二特征图、第三特征图、第四特征图和第五特征图；
从尺度最小的特征图开始逐层进行上采样和融合处理，得到第一分支输出的特征图；利用预先训练完成的语义分割模型对第一分支输出的特征图进行处理，得到可行驶区域与车道线分割结果；包括：
对第五特征图进行上采样再和第四特征图进行融合得到第六特征图；
对第六特征图进行上采样再和第三特征图进行融合得到第七特征图；
利用1×1卷积核的第一卷积层对第七特征图进行处理，得到第八特征图；
对第八特征图进行上采样再和第二特征图进行融合得到第十特征图；
对第十特征图进行上采样再和第一特征图进行融合，得到十一特征图；
对十一特征图进行上采样得到第十二特征图，所述第十二特征图为第一分支输出的特征图；
利用预先训练完成的语义分割模型对十二特征图进行处理，得到可行驶区域与车道线分割结果。
3.根据权利要求1所述的方法，其特征在于，对第一分支中的部分特征图进行上采样和融合处理，得到第二分支输出的三个尺度不同的特征图；利用预先训练完成的三个检测头分别对三个尺度不同的特征图进行处理，得到三个目标检测结果；包括：
利用1×1卷积核的第二卷积层对第七特征图进行处理，得到第九特征图；
利用第三卷积层对第十特征图进行下采样再和第九特征图进行融合得到第十三特征图；
利用第四卷积层对第十三特征图进行下采样再和第六特征图进行融合得到第十四特征图；
利用第五卷积层对第十四特征图进行下采样再和第五特征图进行融合得到第十五特征图；
利用预先训练完成的第一检测头对第十三特征图进行处理，得到第一目标检测结果；
利用预先训练完成的第二检测头对第十四特征图进行处理，得到第二目标检测结果；
利用预先训练完成的第三检测头对第十五特征图进行处理，得到第三目标检测结果。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
对十五特征图进行上采样后再和第十二特征图进行融合，得到融合特征图；
利用预先训练完成的语义分割模型对融合特征图进行处理，得到可行驶区域与车道线分割结果。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：对主干网络、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、语义分割模型、第一检测头、第二检测头和第三检测头进行训练的步骤。
6.根据权利要求5所述的方法，其特征在于，对主干网络、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、语义分割模型、第一检测头、第二检测头和第三检测头进行训练的步骤；包括：
获取训练集，所述训练集包括多个样本组，每个样本组包括：RGB图像样本、可行驶区域标签图、车道线标签图和三个尺度的目标标签图；
对每个样本组的可行驶区域标签图与车道线标签图进行处理，得到RGB图像样本的边缘标签图；
利用主干网络对RGB图像样本进行处理，得到尺度递减的第一特征图样本、第二特征图样本、第三特征图样本、第四特征图样本和第五特征图样本；
对第一特征图样本进行上采样再进行分割处理，得到边缘预测图；
利用交叉熵损失函数计算边缘标签图和边缘预测图的损失值，得到第一损失函数值；
从第五特征图样本开始逐层进行上采样和融合处理，得到第一分支输出的特征图样本；利用预先训练完成的语义分割模型对第一分支输出的特征图样本进行处理，得到可行驶区域与车道线预测结果；
利用交叉熵损失函数计算可行驶区域与车道线分割预测结果和行驶区域标签图以及车道线标签图的损失值，得到第二损失函数值；
对第一分支中的部分特征图样本进行下采样和融合处理，得到第二分支输出的三个尺度不同的特征图样本；利用预先训练完成的三个检测头分别对三个尺度不同的特征图样本进行处理，得到三个目标预测结果；
分别计算三个目标预测结果和对应目标标签图的三个损失函数值，将三个损失函数值的和作为第三损失函数值；
计算第一损失函数值、第二损失函数值和第三损失函数值的和，作为总损失函数值；
利用总损失函数值更新主干网络、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、语义分割模型、第一检测头、第二检测头和第三检测头的参数。
7.根据权利要求6所述的方法，其特征在于，对每个样本组的可行驶区域标签图与车道线标签图进行处理，得到RGB图像样本的边缘标签图；包括：
将每个样本组的车道线标签图的背景的像素值设为0，车道线像素设为1；将可行驶区域标签图的背景像素的像素值设为0，可行驶区域的像素值设为2，将可行驶区域标签图与车道线标签图进行像素相加操作，并转换为单通道，得到分割的整体标签图；
对分割的整体标签图的车道线与可行驶区域的亮度值更新为三通道的RGB值；使用canny边缘检测对分割的整体标签图进行边缘提取，将边缘像素值设为1，背景像素值设为0，并转换为单通道，得到该样本组的RGB图像样本的边缘标签图。
8.一种低算力的自动驾驶实时多任务感知装置，其特征在于，包括：
获取单元，用于获取当前时刻的目标场景的RGB图像；
特征提取单元，用于利用预先训练完成的主干网络对RGB图像进行处理，得到五个尺度递减的特征图；
第一检测单元，用于从尺度最小的特征图开始逐层进行上采样和融合处理，得到第一分支输出的特征图；利用预先训练完成的语义分割模型对第一分支输出的特征图进行处理，得到可行驶区域与车道线分割结果；
第二检测单元，用于对第一分支中的部分特征图进行下采样和融合处理，得到第二分支输出的三个尺度不同的特征图；利用预先训练完成的三个检测头分别对三个尺度不同的特征图进行处理，得到三个目标检测结果。
9.一种电子设备，其特征在于，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述的低算力的自动驾驶实时多任务感知方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现如权利要求1-7任一项低算力的自动驾驶实时多任务感知方法。
CN202311352976.0A 2023-10-18 2023-10-18 一种低算力的自动驾驶实时多任务感知方法及装置 Active CN117372983B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311352976.0A CN117372983B (zh) 2023-10-18 2023-10-18 一种低算力的自动驾驶实时多任务感知方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311352976.0A CN117372983B (zh) 2023-10-18 2023-10-18 一种低算力的自动驾驶实时多任务感知方法及装置

Publications (2)

Publication Number Publication Date
CN117372983A true CN117372983A (zh) 2024-01-09
CN117372983B CN117372983B (zh) 2024-06-25

Family

ID=89397818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311352976.0A Active CN117372983B (zh) 2023-10-18 2023-10-18 一种低算力的自动驾驶实时多任务感知方法及装置

Country Status (1)

Country Link
CN (1) CN117372983B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118115969A (zh) * 2024-03-04 2024-05-31 北京化工大学 基于大语言模型的自动驾驶多模态感知决策方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160205A (zh) * 2019-12-24 2020-05-15 江苏大学 一种交通场景嵌入式多类目标端对端统一检测方法
CN112418236A (zh) * 2020-11-24 2021-02-26 重庆邮电大学 一种基于多任务神经网络的汽车可行驶区域规划方法
CN114037834A (zh) * 2021-12-01 2022-02-11 清华大学 一种基于振动信号和rgb图像融合的语义分割方法及装置
WO2022126377A1 (zh) * 2020-12-15 2022-06-23 中国科学院深圳先进技术研究院 检测车道线的方法、装置、终端设备及可读存储介质
CN115223130A (zh) * 2022-09-20 2022-10-21 南京理工大学 基于改进YOLOv5的多任务全景驾驶感知方法与系统
CN115497069A (zh) * 2022-09-01 2022-12-20 中国科学院合肥物质科学研究院 基于双向分离注意力的车道线检测与分类方法及系统
WO2023077816A1 (zh) * 2021-11-03 2023-05-11 中国华能集团清洁能源技术研究院有限公司 边界优化的遥感图像语义分割方法、装置、设备及介质
CN116580382A (zh) * 2023-05-12 2023-08-11 武汉理工大学 一种多任务联合检测方法、系统、电子设备及存储介质
CN116665176A (zh) * 2023-07-21 2023-08-29 石家庄铁道大学 一种面向车辆自动驾驶的多任务网络道路目标检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160205A (zh) * 2019-12-24 2020-05-15 江苏大学 一种交通场景嵌入式多类目标端对端统一检测方法
CN112418236A (zh) * 2020-11-24 2021-02-26 重庆邮电大学 一种基于多任务神经网络的汽车可行驶区域规划方法
WO2022126377A1 (zh) * 2020-12-15 2022-06-23 中国科学院深圳先进技术研究院 检测车道线的方法、装置、终端设备及可读存储介质
WO2023077816A1 (zh) * 2021-11-03 2023-05-11 中国华能集团清洁能源技术研究院有限公司 边界优化的遥感图像语义分割方法、装置、设备及介质
CN114037834A (zh) * 2021-12-01 2022-02-11 清华大学 一种基于振动信号和rgb图像融合的语义分割方法及装置
CN115497069A (zh) * 2022-09-01 2022-12-20 中国科学院合肥物质科学研究院 基于双向分离注意力的车道线检测与分类方法及系统
CN115223130A (zh) * 2022-09-20 2022-10-21 南京理工大学 基于改进YOLOv5的多任务全景驾驶感知方法与系统
CN116580382A (zh) * 2023-05-12 2023-08-11 武汉理工大学 一种多任务联合检测方法、系统、电子设备及存储介质
CN116665176A (zh) * 2023-07-21 2023-08-29 石家庄铁道大学 一种面向车辆自动驾驶的多任务网络道路目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
卫星;刘邵凡;杨国强;陆阳;魏臻;: "基于改进双边分割网络的井下轨道检测算法", 计算机应用研究, no. 1, 30 June 2020 (2020-06-30) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118115969A (zh) * 2024-03-04 2024-05-31 北京化工大学 基于大语言模型的自动驾驶多模态感知决策方法及装置
CN118115969B (zh) * 2024-03-04 2024-09-13 北京化工大学 基于大语言模型的自动驾驶多模态感知决策方法及装置

Also Published As

Publication number Publication date
CN117372983B (zh) 2024-06-25

Similar Documents

Publication Publication Date Title
CN110458095B (zh) 一种有效手势的识别方法、控制方法、装置和电子设备
CN115861632B (zh) 一种基于图卷积的视觉激光融合的三维目标检测方法
CN111563502A (zh) 图像的文本识别方法、装置、电子设备及计算机存储介质
CN117372983B (zh) 一种低算力的自动驾驶实时多任务感知方法及装置
CN115457395A (zh) 基于通道注意力与多尺度特征融合的轻量级遥感目标检测方法
CN113326851B (zh) 图像特征提取方法、装置、电子设备及存储介质
CN116363037B (zh) 一种多模态图像融合方法、装置及设备
CN115358413A (zh) 一种点云多任务模型的训练方法、装置及电子设备
CN115861462B (zh) 图像生成模型的训练方法、装置、电子设备及存储介质
KR102434969B1 (ko) 얼굴 영역 딕셔너리의 적대적 증류를 이용한 얼굴 초해상화 방법 및 장치
CN115187530A (zh) 超声自动乳腺全容积图像的识别方法、装置、终端及介质
CN110472673B (zh) 参数调整方法、眼底图像处理方法、装置、介质及设备
CN111753736A (zh) 基于分组卷积的人体姿态识别方法、装置、设备和介质
CN114120208A (zh) 一种火焰检测方法、装置、设备和存储介质
CN115841605A (zh) 目标检测网络训练与目标检测方法、电子设备、存储介质
CN115731530A (zh) 一种模型训练方法及其装置
CN116977820B (zh) 一种基于自注意力的轻量化三维目标实时检测方法及装置
CN117058402B (zh) 一种基于3d稀疏卷积的实时点云分割方法及装置
CN118298169B (zh) 一种基于大模型引导的图像分割方法
CN118096785B (zh) 基于级联注意力和多尺度特征融合的图像分割方法及系统
CN116311077B (zh) 一种基于显著性图的多光谱融合的行人检测方法及装置
CN113963027B (zh) 不确定性检测模型的训练、不确定性的检测方法及装置
Li et al. UFO RPN: A Region Proposal Network for Ultra Fast Object Detection
US20230316569A1 (en) Apparatus and method for detecting a 3d object
CN113674346A (zh) 图像检测方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant