CN113255445A - 多任务模型训练及图像处理方法、装置、设备及存储介质 - Google Patents

多任务模型训练及图像处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113255445A
CN113255445A CN202110424514.XA CN202110424514A CN113255445A CN 113255445 A CN113255445 A CN 113255445A CN 202110424514 A CN202110424514 A CN 202110424514A CN 113255445 A CN113255445 A CN 113255445A
Authority
CN
China
Prior art keywords
recognition
image
training
subtasks
subtask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110424514.XA
Other languages
English (en)
Inventor
韩佳陆
姚璐
钱炜
杨政
何晓飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Fabu Technology Co Ltd
Original Assignee
Hangzhou Fabu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Fabu Technology Co Ltd filed Critical Hangzhou Fabu Technology Co Ltd
Priority to CN202110424514.XA priority Critical patent/CN113255445A/zh
Publication of CN113255445A publication Critical patent/CN113255445A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种多任务模型训练及图像处理方法、装置、设备及存储介质。方法包括：获取集装箱卡车行驶时周围环境的样本图像集；样本图像集包括图像识别多任务模型中各识别子任务的图像子集。每个图像子集中的样本图像存在至少一个标注信息。该标注信息包括训练该识别子任务所需的标注信息。使用样本图像集对图像识别多任务模型进行多轮训练，得到训练好的图像识别多任务模型。图像识别多任务模型的损失函数为各识别子任务的子损失函数的加权和；在第i轮训练过程中，识别子任务过拟合时所使用的子损失函数的权重小于识别子任务未过拟合时所使用的子损失函数的权重。本申请提高了集装箱卡车对周围环境图像进行处理的效率。

Description

多任务模型训练及图像处理方法、装置、设备及存储介质
技术领域
本申请涉及计算机视觉技术，尤其涉及一种多任务模型训练及图像处理方法、装置、设备及存储介质。
背景技术
集装箱卡车(简称集卡)主要在大型码头用于运输集装箱。集卡驾驶员通常作业时间较长，容易出现疲劳驾驶的风险。因此，人们提出了一种无人驾驶的智能集卡。上述智能集卡在工作中需要实现目标检测(例如检测障碍物)、图像分割(例如获取车辆的可行驶区域和不可行驶区域)、场景识别(例如识别车辆所处环境是码头还是集装箱箱区)等识别任务。然后，智能集卡可以将识别结果作为集卡路径规划、速度控制等进行驾驶控制的数据支撑。
目前，主要通过神经网络模型实现上述识别任务，且不同识别任务对应的神经网络模型不同。也就是说，现有的智能集卡实现多种识别任务时，需要在车辆的电子控制单元中部署相应的多个神经网络模型。然而，神经网络模型大多结构复杂，多个神经网络模型需要占用较多的计算资源且计算速度较慢，进而可能导致集装箱卡车对行驶时周围环境的图像的处理效率较慢。
发明内容
本申请提供一种多任务模型训练及图像处理方法、装置、设备及存储介质，以提高集装箱卡车对行驶时周围环境的图像进行处理的效率。
第一方面，本申请提供一种多任务模型的训练方法，所述方法包括：
获取集装箱卡车行驶时周围环境的样本图像集；所述样本图像集包括图像识别多任务模型中各识别子任务的图像子集，每个识别子任务的图像子集包括至少一个样本图像，以及，所述样本图像的至少一个标注信息；所述至少一个标注信息包括训练所述识别子任务所需的标注信息；
使用所述样本图像集对所述图像识别多任务模型进行多轮训练，得到训练好的图像识别多任务模型；所述图像识别多任务模型的损失函数为各识别子任务的子损失函数的加权和；在第i轮训练过程中，所述识别子任务过拟合时所使用的子损失函数的权重小于所述识别子任务未过拟合时所使用的子损失函数的权重，所述i为大于或等于2的整数；所述图像识别多任务模型用于基于所述集装箱卡车行驶过程中采集的图像，获取所述图像的各识别子任务的识别结果。
可选的，若所述子任务过拟合，则所述在第i轮训练过程中，所述识别子任务的子损失函数的权重为：
第i-1轮训练时所采用的子损失函数的权重与第一目标系数的乘积，所述第一目标系数为小于1的常数；所述第一目标系数为第一预设系数，或者，所述第一目标系数与i负相关。
可选的，在第i轮训练过程中，所述识别子任务过拟合时所使用的学习率小于所述识别子任务未过拟合时所使用的学习率。
可选的，所述使用所述样本图像集对所述图像识别多任务模型进行多轮训练，得到训练好的图像识别多任务模型，包括：
针对第i轮训练，从所述样本数据集的各识别子任务的图像子集中随机抽取预设数量的样本图像，得到第i轮训练的初始训练样本图像集；
确定所述初始训练样本图像集中是否存在缺失训练其他识别子任务所需的标注信息的目标样本图像；
若存在所述目标样本图像，则对所述目标样本图像缺失的标注信息进行标注填补，得到第i轮训练的训练样本图像集；所述训练样本图像集中每个样本图像均包括训练所有识别子任务所需的标注信息；其中，进行标注填补的样本图像不用于更新所述图像识别多任务模型在第i轮训练过程中标注填补对应的识别子任务的参数。
可选的，在所述使用所述样本图像集对所述图像识别多任务模型进行多轮训练之前，还包括：
使用图像分类模型训练数据库中的样本图像对初始多任务模型进行训练，得到图像识别多任务模型。
第二方面，本申请提供一种图像处理方法，所述方法包括：
采集待识别图像，所述待识别图像为集装箱卡车行驶时周围环境的图像；
将所述待识别图像输入至训练好的图像识别多任务模型，得到所述待识别图像的各识别子任务的识别结果；其中，所述图像识别多任务模型为采用如第一方面任一项所述的方法训练得到的；
基于所述各识别子任务的识别结果，对所述集装箱卡车进行驾驶控制。
第三方面，本申请提供一种多任务模型的训练装置，所述装置包括：
获取模块，用于获取集装箱卡车行驶时周围环境的样本图像集；所述样本图像集包括多任务模型中各识别子任务的图像子集，每个识别子任务的图像子集包括至少一个样本图像，以及，所述样本图像的至少一个标注信息；所述至少一个标注信息包括训练所述识别子任务所需的标注信息；
训练模块，用于使用所述样本图像集对所述图像识别多任务模型进行多轮训练，得到训练好的图像识别多任务模型；所述图像识别多任务模型的损失函数为各识别子任务的子损失函数的加权和；在第i轮训练过程中，所述识别子任务过拟合时所使用的子损失函数的权重小于所述识别子任务未过拟合时所使用的子损失函数的权重，所述i为大于或等于2的整数；所述图像识别多任务模型用于基于所述集装箱卡车行驶过程中采集的图像，获取所述图像的各识别子任务的识别结果。
第四方面，本申请提供一种图像处理装置，所述装置包括：
采集模块，用于采集待识别图像，所述待识别图像为集装箱卡车行驶时周围环境的图像；
处理模块，用于将所述待识别图像输入至训练好的图像识别多任务模型，得到所述待识别图像的各识别子任务的识别结果；其中，所述图像识别多任务模型为采用如第一方面任一项所述的方法训练得到的；
控制模块，用于基于所述各识别子任务的识别结果，对所述集装箱卡车进行驾驶控制。
第五方面，本申请提供一种电子设备，包括：至少一个处理器、存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述电子设备执行第一方面或第二方面所述的方法。
第六方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机执行指令，当所述计算机执行指令被处理器执行时，实现第一方面或第二方面所述的方法。
本申请提供的多任务模型训练及图像处理方法、装置、设备及存储介质，使用存在至少一个标注信息的样本图像对图像识别多任务模型进行训练，使得通过一个图像识别多任务模型即可实现多种识别任务。相比通过多个神经网络模型，实现多任务图像识别而言，本申请提供的多任务模型训练方法得到的训练好的图像识别多任务模型占用的计算资源较少。在后续集装箱卡车使用该训练好的图像识别多任务模型时，提高了集装箱卡车获取行驶时周围环境的图像的各识别子任务的识别结果的效率。此外，电子设备根据图像识别多任务模型的识别子任务是否过拟合，确定各识别子任务的子损失函数的权重。当识别子任务过拟合时，减小该识别子任务的子损失函数的权重，进而减小对该识别子任务的训练程度，减慢更新该识别子任务对应的参数，避免过度训练该识别子任务导致该识别子任务的识别精度降低，进而提高对该图像识别多任务模型训练的准确性。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为一种集装箱卡车的结构示意图；
图2为本申请提供的一种多任务模型的训练方法的流程示意图；
图3为本申请提供的一种使用样本图像集对图像识别多任务模型进行训练的方法的流程示意图；
图4为本申情提供的另一种图像处理方法的流程示意图；
图5为本申请提供的一种图像处理方法的流程示意图；
图6为本申情提供的另一种多任务模型的训练方法的流程示意图；
图7为本申请提供的一种多任务模型的训练装置的结构示意图；
图8为本申请提供的一种图像处理装置的结构示意图；
图9为本申请提供的一种电子设备结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
集装箱卡车指的是用于运输集装箱的卡车，是集装箱运输作业中不可或缺的一部分。对于运输作业较繁重的大型集装箱码头而言，往往需要大量的集卡驾驶人员长时间工作，以保障运输作业正常进行。而长时间的工作，可能导致集卡驾驶人员出现疲劳驾驶，进而可能带来众多安全隐患。因此，人们提出了一种无人驾驶的智能集装箱卡车，以提高集装箱运输作业的安全性和工作效率。
图1为一种集装箱卡车的结构示意图。如图1所示，该集装箱卡车包括车载传感器，以及，电子控制单元。其中，
车载传感器与电子控制单元连接，用于采集集装箱卡车周围环境的图像，并将采集到的图像传输给电子控制单元。示例性的，该车载传感器例如可以包括视觉传感器(例如摄像头)。应理解，本申请对集装箱卡车上车载传感器的数量，以及，类型、设置的位置不进行限定，图1仅是示例性的展示了一个车载传感器。
电子控制单元用于对接收到的集装箱卡车周围环境的图像进行识别，并根据识别结果对集装箱卡车进行驾驶控制。其中，上述对集装箱卡车周围环境的图像进行识别的任务例如可以包括障碍物检测、集装箱卡车可行驶区域检测、车道线检测、海面检测、集装箱卡车所处场景识别等子任务，具体可以根据集装箱卡车的工作环境确定。
应理解，图1仅是示例性的给出了集装箱卡车中与本申请相关的部分结构，本申请对于该集装箱卡车是否还包括其他组成部分和其他类型的车载传感器等不进行限定。
目前，可以通过多个不同的神经网络模型实现上述不同识别任务。以上述电子控制单元需要实现障碍物检测、集装箱卡车可行驶区域检测、车道线检测、海面检测、集装箱卡车所处场景识别等5个子任务为例，该电子控制单元中需要部署的神经网络模型可以如下表1所示：
表1
序号 识别任务 神经网络模型
1 障碍物检测 神经网络模型1
2 集装箱卡车可行驶区域检测 神经网络模型2
3 车道线检测 神经网络模型3
4 海面检测 神经网络模型4
5 集装箱卡车所处场景识别 神经网络模型5
也就是说，现有的智能集卡实现多种识别任务时，需要在车辆的电子控制单元中部署相应的多个神经网络模型。然而，神经网络模型大多结构复杂，多个神经网络模型需要占用较多的计算资源且计算速度较慢，进而可能导致集装箱卡车对行驶时周围环境的图像的处理效率较慢。
考虑到现有的多任务识别存在上述问题，本申请提出了一种对图像识别多任务模型的训练方法，通过一个图像识别多任务模型可以实现多种识别任务。相比于现有的多个神经网络模型，通过本申请提供的方法训练得到的图像识别多任务模型占用的计算资源较少，提高了集装箱卡车对行驶时周围环境的图像进行处理的效率。具体实现时，该训练图像识别多任务模型的方法的执行主体例如可以是终端，或者，服务器等具有处理功能的电子设备。
下面结合具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图2为本申请提供的一种多任务模型的训练方法的流程示意图。如图2所示，该方法包括以下步骤：
S101、获取集装箱卡车行驶时周围环境的样本图像集。
其中，上述样本图像集包括图像识别多任务模型中各识别子任务的图像子集。每个识别子任务的图像子集包括至少一个样本图像，以及，样本图像的至少一个标注信息。该至少一个标注信息包括训练识别子任务所需的标注信息。
示例性的，上述图像识别多任务模型例如可以是深度残差网络(Deep residualnetwork，ResNet)，或者，高分辨率网络(High-Resolution，HRNet)等神经网络。上述识别子任务例如可以是障碍物检测、集装箱卡车可行驶区域检测、车道线检测、海面检测、集装箱卡车所处场景识别中的至少两项。
应理解，本申请对各识别子任务的图像子集包括的样本图像的数量，以及，各样本图像的标注信息的数量不进行限定。不同识别子任务的图像子集包括的样本图像的数量可以相同，也可以不同。各识别子任务的图像子集包括的样本图像的标注信息包括训练该识别子任务所需的标注信息，此外，还可以包括训练其他识别子任务所需的标注信息。
示例性的，以上述图像识别多任务模型可以实现6个识别子任务为例，对于任意一个识别子任务，该识别子任务的图像子集中的样本图像的标注信息例如可以如下表2所示：
表2
Figure BDA0003029312870000071
其中，k为大于或等于1的正整数。该识别子任务的图像子集中的每个样本图像均存在标注1。标注1为训练该识别子任务所需的标注信息。标注2、标注3、标注4、标注5，以及，标注6均为训练其他识别子任务所需的标注信息。
应理解，表2为以样本图像集中部分样本图像缺失训练其他识别子任务所需的标注信息为例进行的示例，实际上针对该样本图像集，也可以是所有的样本图像均存在训练所有识别子任务所需的标注信息。
可选的，电子设备可以通过应用程序接口(application program interface，API)或者图形用户界面(graphical user interface，GUI)获取用户输入的集装箱卡车行驶时周围环境的样本图像集。或者，上述样本图像集例如还可以是用户预先存储在电子设备中的。电子设备可以通过读取该预先存储在电子设备中的样本图像集，获取集装箱卡车行驶时周围环境的样本图像集。
S102、使用样本图像集对图像识别多任务模型进行多轮训练，得到训练好的图像识别多任务模型。
其中，上述图像识别多任务模型用于基于集装箱卡车行驶过程中采集的图像，获取图像的各识别子任务的识别结果。该图像识别多任务模型的损失函数为各识别子任务的子损失函数的加权和。
示例性的，以上述图像识别多任务模型可以基于集装箱卡车行驶过程中采集的图像，获取图像的n个识别子任务的识别结果为例，该图像识别多任务模型的损失函数例如可以如下述公式(1)所示：
L＝ω1×L1+ω2×L2+…+ωn×Ln (1)
其中，n为大于1的正整数，L1到Ln表示各识别子任务的子损失函数，L表示图像识别多任务模型的损失函数。ω1到ωn表示各识别子任务的子损失函数的权重。
可选的，上述识别子任务的子损失函数例如可以是Smooth L1损失函数、SmoothL2损失函数、交叉熵损失函数、均方误差损失函数等，具体可以根据实际需求设置。应理解，不同识别子任务的子损失函数可以不同，也可以相同。
在对该图像识别多任务模型进行第i轮训练过程中，识别子任务过拟合时所使用的子损失函数的权重小于识别子任务未过拟合时所使用的子损失函数的权重。其中，i为大于或等于2的整数。
识别子任务过拟合指的是若继续对该图像识别多任务模型进行训练，持续更新该识别子任务对应的参数，可能导致该识别子任务的识别精度降低。因此，电子设备可以减小过拟合的识别子任务的子损失函数的权重，进而减小对该识别子任务的训练程度，减慢更新该识别子任务对应的参数，避免过度训练该识别子任务导致该识别子任务的识别精度降低，进而提高对该图像识别多任务模型训练的准确性。
若识别子任务过拟合，作为一种可能的实现方式，在第i轮训练过程中，识别子任务的子损失函数的权重可以为第i-1轮训练时所采用的子损失函数的权重与第一目标系数的乘积。其中，该第一目标系数为小于1的常数。应理解，针对不同识别子任务，上述第一目标系数的大小可以相同，也可以不同。
在该实现方式下，该第一目标系数例如可以为第一预设系数。可选的，该第一预设系数例如可以是用户预先存储在电子设备中的。或者，该第一目标系数还可以是与i负相关的常数。即，在电子设备确定该识别子任务过拟合之后，随着对该图像识别多任务模型训练轮数的增加，该第一目标系数逐渐减小。
示例性的，以n个识别子任务中的其中一个子任务过拟合为例，电子设备可以通过下述公式(2)，获取图像识别多任务模型的损失函数：
L＝ω1×L1+…+ωm(i-1)×Km×Lm+…+ωn×Ln (2)
其中，ωn(i-1)表示该出现过拟合的识别子任务在第i-1轮训练时所采用的子损失函数的权重。Km表示第一目标系数。Lm表示该识别子任务的子损失函数。其中m为大于1的正整数。
在另一种可能的实现方式中，在电子设备确定识别子任务过拟合之后的各轮训练过程中，该识别子任务的子损失函数的权重还可以为预设权重。其中，该预设权重小于“电子设备确定识别子任务过拟合之前的各轮训练过程中”该识别子任务的子损失函数的权重。可选的，该预设权重例如可以是预先存储在电子设备中的。或者，电子设备还可以将该识别子任务的子损失函数的权重与第二预设系数的乘积作为预设权重。其中，该第二预设系数为小于1的常数。
若识别子任务未过拟合，说明该识别子任务的识别精度还可以进一步提高，则电子设备还可以继续持续更新该识别子任务对应的参数，以使该识别子任务具有更高的识别精度。可选的，若识别子任务未过拟合，电子设备可以保持该识别子任务的子损失函数的权重不变。也就是说，电子设备可以只在识别子任务过拟合时，对该识别子任务的子损失函数的权重进行调整。在识别子任务未过拟合时，可以保持该识别子任务的子损失函数的权重不变。
应理解，本申请对电子设备如何确定识别子任务是否过拟合不进行限定。电子设备可以通过现有的任意一种可能的实现方式，确定识别子任务是否过拟合。示例性的，电子设备例如可以根据对图像识别多任务模型的验证结果，确定识别子任务是否过拟合。例如，若识别子任务在连续预设轮数的训练过程中的验证结果为识别精度小于或等于预设精度，则电子设备可以确定该识别子任务过拟合。其中，上述预设轮数例如可以是用户预先设定并存储在电子设备中的。上述预设精度例如可以是在上述“连续预设轮数”之前的训练过程中，该识别子任务能够达到的最高的识别精度。
在本实施例中，使用存在至少一个标注信息的样本图像对图像识别多任务模型进行训练，使得通过一个图像识别多任务模型即可实现多种识别任务。相比通过多个神经网络模型，实现多任务图像识别而言，本申请提供的多任务模型训练方法得到的训练好的图像识别多任务模型占用的计算资源较少。在后续集装箱卡车使用该训练好的图像识别多任务模型时，提高了集装箱卡车获取行驶时周围环境的图像的各识别子任务的识别结果的效率。此外，电子设备根据图像识别多任务模型的识别子任务是否过拟合，确定各识别子任务的子损失函数的权重。当识别子任务过拟合时，减小该识别子任务的子损失函数的权重，进而减小对该识别子任务的训练程度，减慢更新该识别子任务对应的参数，避免过度训练该识别子任务导致该识别子任务的识别精度降低，进而提高对该图像识别多任务模型训练的准确性。
作为一种可能的实现方式，在第i轮训练过程中，训练识别子任务的学习率可以与识别子任务在第i-1轮训练过程中是否过拟合相关。其中，若识别子任务在第i-1轮训练过程中过拟合，则电子设备还可以在第i轮训练过程中，减小该训练识别子任务的学习率，以进一步减小对该识别子任务的训练，进而进一步提高对图像识别多任务模型训练的准确性。
若识别子任务在第i-1轮训练过程中过拟合，可选的，在第i轮训练过程中，电子设备可以将训练识别子任务的学习率乘以第二目标系数(该第二目标系数为小于1的常数)的乘积作为第i轮训练过程中，训练识别子任务的学习率，以进一步减小对该识别子任务的训练。应理解，针对不同识别子任务，上述第二目标系数的大小可以相同，也可以不同。
可选的，该第二目标系数例如可以为第三预设系数。示例性的，该第三预设系数例如可以是用户预先存储在电子设备中的。或者，该第二目标系数还可以是与i负相关的常数。即，在电子设备确定该识别子任务过拟合之后，随着对该图像识别多任务模型训练轮数的增加，该第二目标系数逐渐减小。
若识别子任务在第i-1轮训练过程中未过拟合，可选的，在第i轮训练过程中，电子设备可以保持训练识别子任务的学习率不变。或者，电子设备还可以使训练识别子任务的学习率按照预设规律变化，以控制图像识别多任务模型的收敛速度。
下面对电子设备如何使用样本图像集对图像识别多任务模型进行多轮训练进行详细说明。图3为本申请提供的一种使用样本图像集对图像识别多任务模型进行训练的方法的流程示意图。如图3所示，作为一种可能的实现方式，上述步骤S102可以包括以下步骤：
S201、针对第i轮训练，从样本数据集的各识别子任务的图像子集中随机抽取预设数量的样本图像，得到第i轮训练的初始训练样本图像集。
其中，上述预设数量例如可以是用户根据电子设备的硬件配置，或者，各识别子任务的图像子集中的样本图像的数量等确定，并预先存储在电子设备中。
示例性的，以识别子任务包括障碍物检测、车道线检测、集装箱卡车可行驶区域检测为例，上述各识别子任务的图像子集中的样本图像的数量例如可以下述表3所示：
表3
Figure BDA0003029312870000111
假设上述预设数量为64，则电子设备可以从障碍物检测识别子任务的图像子集、车道线检测识别子任务的图像子集、集装箱卡车可行驶区域检测识别子任务的图像子集中分别随机抽取64个样本图像，得到192个样本图像作为第i轮训练的初始训练样本图像集。
S202、判断初始训练样本图像集中是否存在缺失训练其他识别子任务所需的标注信息的目标样本图像。
若存在，则执行步骤S203。若不存在，可选的，电子设备可以执行步骤S204。
可选的，电子设备例如可以通过读取初始训练样本图像集中的样本图像的标注信息，判断初始训练样本图像集中是否存在缺失训练其他识别子任务所需的标注信息的目标样本图像。
示例性的，仍然以识别子任务包括障碍物检测、车道线检测、集装箱卡车可行驶区域检测为例，训练上述各识别子任务所需的标注信息例如可以如下表4所示：
表4
序号 识别子任务 识别子任务所需的标注信息
1 障碍物检测 label1、label2、label3
2 车道线检测 label4、label5
3 集装箱卡车可行驶区域检测 label6、label7
针对初始训练样本图像集中的任一样本图像，电子设备可以读取该样本图像的标注信息。假设电子设备读取到该样本图像的标注信息为label1和label5，则电子设备可以确定该样本图像存在训练障碍物检测和车道线检测的所需的标注信息，缺失训练集装箱卡车可行驶区域检测所需的标注信息，即该样本图像为目标样本图像。若电子设备读取到该样本图像的标注信息为label1、label4，以及，label6，说明该样本图像包括训练所有识别子任务所需的标注信息，则电子设备可以确定该样本图像不是目标样本图像。
S203、对目标样本图像缺失的标注信息进行标注填补，得到第i轮训练的训练样本图像集。
其中，上述训练样本图像集中每个样本图像均包括训练所有识别子任务所需的标注信息。进行标注填补的样本图像不用于更新图像识别多任务模型在第i轮训练过程中标注填补对应的识别子任务的参数。
示例性的，以识别子任务包括障碍物检测、车道线检测、集装箱卡车可行驶区域检测为例，假设该目标样本图像仅缺失训练集装箱卡车可行驶区域检测所需的标注信息，则电子设备可以对该目标样本图像进行标注填补，使得该目标样本图像具有训练集装箱卡车可行驶区域检测所需的标注信息。在对上述图像识别多任务模型的第i轮训练过程中，该目标样本对象用于更新障碍物检测和车道线检测识别子任务对应的参数，但是不更新集装箱卡车可行驶区域检测识别子任务对应的参数。
应理解，本申请对如何对目标样本图像缺失的标注信息进行标注填补不进行限定。具体实现时，针对不同的识别子任务，标注填补的方式可以相同，也可以不同，具体的可以根据目标样本图像缺失的标注信息对应的识别子任务确定。
示例性的，假设一个目标样本图像样本仅存在训练车道线检测所需的标注信息。则电子设备对其余识别子任务的标注信息进行标注填补。
以对海面区域检测识别子任务的标注信息进行标注填补为例，电子设备例如可以对该目标样本图像的标注信息添加一张与该目标样本图像尺寸相同的单通道图像。其中，该单通道图像所有的像素点的取值均为能使海面区域检测识别子任务的子损失函数的值为0的数值。该数值可以是预先存储在电子设备中的。示例性的，该数值例如可以为255。可选的，对集装箱卡车可行驶区域检测的标注信息进行标注填补的方式，以及，对集装箱卡车所处场景识别的标注信息进行标注填补的方式，可以与上述“对海面区域检测识别子任务的标注信息进行标注填补的方式”相同，本申请在此不再赘述。
应理解，本申请对电子设备如何使“进行标注填补的样本图像不用于更新图像识别多任务模型在第i轮训练过程中标注填补对应的识别子任务的参数”不进行限定。示例性的，在第i轮训练过程中，电子设备例如可以在“根据图像识别多任务模型的预测结果和实际结果的误差，对图像识别多任务模型进行参数更新(即反向传播)”的过程中，将根据标注填补的样本图像获取的子损失函数的值设置为0，使得电子设备根据该子损失函数的取值计算图像识别多任务模型中所有参数的梯度时，该子损失函数的值不对参数的梯度产生影响。
S204、将初始训练样本图像集作为第i轮训练的训练样本图像集。
若初始训练样本图像集中不存在缺失训练其他识别子任务所需的标注信息的目标样本图像，说明该初始训练样本图像集中的样本图像均存在训练所有识别子任务所需的标注信息，也就是说该初始训练样本图像集中的所有的样本图像均可以用于训练任一识别子任务，则电子设备可以将初始训练样本图像集作为第i轮训练的训练样本图像集。
在本实施例中，通过对存在缺失训练其他识别子任务所需的标注信息的目标样本图像进行标注填补，使得训练图像识别多任务模型所用的样本图像集中所有的样本图像均包括训练所有识别子任务所需的标注信息。通过该方法，消除了图像识别多任务模型训练中对样本图像标注信息完整性要求较高的限制，使得即便标注信息不完整的样本图像也能够用于训练图像识别多任务模型，避免了耗费大量的人力物力对样本图像进行标注，提高了对图像识别多任务模型进行训练效率，降低了对样本图像进行标注的成本。
作为一种可能的实现方式，在使用样本图像集对图像识别多任务模型进行多轮训练之前，电子设备还可以使用图像分类模型训练数据库中的样本图像对初始多任务模型进行训练，得到图像识别多任务模型。
使用图像分类模型训练数据库中的样本图像对初始多任务模型进行训练时，使该初始多任务模型不断执行图像分类任务，达到对初始多任务模型的参数进行初始化的效果。在该训练过程中，该初始多任务模型在执行的分类任务时，需要进行对图像分类模型训练数据库中的样本图像进行特征提取，而本申请的图像识别多任务模型在执行图像识别任务时，也需要对样本图像进行特征提取。因此，通过使用图像分类模型训练数据库中的样本图像对初始多任务模型进行训练，得到图像识别多任务模型，可以提高图像识别多任务模型对样本图像进行特征提取的能力，进而提高使用训练好的图像识别多任务模型获取图像的各识别子任务的识别结果的准确性。
示例性的，上述图像分类模型训练数据库可以是任意一种现有的公开的数据库，例如ImageNet、Cityscapes、Coco(前述三个单词均为图像识别数据库的名称)等。上述初始多任务模型例如可以是ResNet、HRNet等神经网络。
基于上述各实施例，以上述识别子任务包括障碍物检测、车道线检测、集装箱卡车可行驶区域检测、海面区域检测，以及，集装箱卡车所处场景识别为例，图4为本申情提供的另一种图像处理方法的流程示意图。如图4所示，该方法包括以下步骤：
步骤1：电子设备使用图像分类模型训练数据库中的样本图像对初始多任务模型进行训练，得到图像识别多任务模型。
其中，该图像分类模型训练数据库例如可以是ImageNet数据库。不同识别子任务在该图像识别多任务模型中的结构可以相同，也可以不同。示例性的，障碍物检测识别子任务例如可以包括中心网络(CenterNet)等检测算法。车道线检测、集装箱卡车可行驶区域检测、海面区域检测识别子任务例如可以包括上采样和卷积。集装箱卡车所处场景识别子任务例如可以包括卷积和下采样。
步骤2：针对第i轮训练，电子设备从样本数据集的各识别子任务的图像子集中随机抽取预设数量的样本图像，得到第i轮训练的初始训练样本图像集。
步骤3：电子设备判断初始训练样本图像集中是否存在缺失训练其他识别子任务所需的标注信息的目标样本图像。
步骤4：若存在，则电子设备对目标样本图像缺失的标注信息进行标注填补，得到第i轮训练的训练样本图像集。
具体实现时，如何对目标样本图像缺失的标注信息进行标注填补可以参照前述实施例提供的方法，本申请在此不再赘述。
示例性的，在对障碍物检测识别子任务的标注信息进行标注填补时，电子设备例如可以对该目标样本图像的标注信息添加预设张数与该目标样本图像尺寸一致的图像。以该预设张数为3为例，该3张的图像例如可以分别为该目标样本图像中障碍物的热点图(Heat map)、障碍物的长宽图(Width and height map)，以及，障碍物的检测框图的矫正图(Offset map)。其中，障碍物的热点图的通道数可以为障碍物的类别数。障碍物的检测框图，以及，障碍物的检测框图的矫正图的通道数均可以为2通道。针对上述预设张数的图像，该图像的张量(Tensor)均为0，以使进行标注填补的样本图像不用于更新图像识别多任务模型在第i轮训练过程中标注填补对应的识别子任务的参数。
步骤5：电子设备使用该样本图像集对图像识别多任务模型进行多轮训练，得到训练好的图像识别多任务模型。
在采用前述任一方式得到训练好的图像识别多任务模型之后，集装箱卡车可以使用该训练好的图像识别多任务模型，得到各识别子任务的识别结果。示例性的，前述训练好的图像识别多任务模型可以预先存储在集装箱卡车的电子控制单元中，以使集装箱卡车能够实时对集装箱卡车行驶时周围环境的图像进行识别。
图5为本申请提供的一种图像处理方法的流程示意图。如图5所示，该方法包括以下步骤：
S301、采集待识别图像。
其中，上述待识别图像为集装箱卡车行驶时周围环境的图像。示例性的，集装箱卡车可以通过车载传感器采集待识别图像，并将采集到的待识别图像传输到集装箱卡车的电子控制单元。
S302、将待识别图像输入至训练好的图像识别多任务模型，得到待识别图像的各识别子任务的识别结果。
其中，该图像识别多任务模型为采用前述任一实施例所述的方法训练得到的。
示例性的，以上述识别子任务包括障碍物检测、车道线检测、集装箱卡车可行驶区域检测、海面区域检测，以及，集装箱卡车所处场景识别为例，相应的，将待识别图像输入至训练好的图像识别多任务模型，得到的待识别图像的各识别子任务可能出现的识别结果例如可以如下表5所示：
表5
Figure BDA0003029312870000161
在该示例下，该待识别图像的各识别子任务的识别结果例如可以是存在障碍物人(包括人在待识别图像中的位置)、检测到第二车道线、检测到可行行驶区域、前方为非海面区域、集装箱卡车所处场景为集装箱箱区。
S303、基于各识别子任务的识别结果，对集装箱卡车进行驾驶控制。
示例性的，上述对集装箱卡车进行驾驶控制例如可以包括对集装箱卡车行驶路径规划、行驶速度控制等。例如，可以根据障碍物检测、车道线检测等识别子任务的识别结果，对集装箱卡车的行驶路径进行规划。和/或，根据集装箱卡车所处场景等识别子任务的识别结果，对集装箱卡车的行驶速度进行控制等。
在本实施例中，通过将待识别图像输入至前述训练好的图像识别多任务模型，以获取待识别图像的各识别子任务的识别结果。该训练好的图像识别多任务模型为通过一个神经网络建立的模型，相比于通过多个神经网络获取待识别图像的各识别子任务的识别结果，本申请提供的方法提高了集装箱卡车对行驶时周围环境的图像进行识别的速度，保障了集装箱卡车获取周围环境信息的实时性，提高了无人驾驶的安全性。
仍然以上述识别子任务包括障碍物检测、车道线检测、集装箱卡车可行驶区域检测、海面区域检测，以及，集装箱卡车所处场景识别为例，图6为本申情提供的另一种多任务模型的训练方法的流程示意图。如图6所示，该方法包括以下步骤：
步骤1：集装箱卡车通过车载传感器采集待识别图像，并传输给电子控制单元。
其中，该待识别图像为集装箱卡车行驶时周围环境的图像。
步骤2：集装箱卡车的电子控制单元将待识别图像输入至训练好的图像识别多任务模型，得到待识别图像的各识别子任务的识别结果。
具体的，集装箱卡车首先使用训练好的图像识别多任务模型对待识别图像继续宁特征提取，然后输出该待识别图像的各识别子任务的识别结果。
步骤3：集装箱卡车的电子控制单元基于各识别子任务的识别结果，对集装箱卡车进行驾驶控制。
在获取各识别子任务的识别结果之后，示例性的，集装箱卡车可以根据障碍物检测识别子任务的识别结果、集装箱卡车可行驶区域检测识别子任务的识别结果，以及，海面区域检测识别子任务的识别结果，通过相机标定的方式，分别获取障碍物空间位置、可行使区域空间位置，以及，海面区域空间位置。其中，上述障碍物检测识别子任务的识别结果例如可以是能够包围障碍物的最小矩形框(bounding box)的中心位置和长宽尺寸。该矩形框的中心位置表示障碍物在待识别图像中的位置。
集装箱卡车还可以根据车道线检测识别子任务的识别结果，通过最小二乘法对每一类车道线进行拟合，以获取车道线位置。集装箱卡车还可以根据集装箱卡车所处场景识别子任务的识别结果，确定集装箱卡车所处场景。
图7为本申请提供的一种多任务模型的训练装置的结构示意图。如图7所示，该装置包括：获取模块41，训练模块42。其中，
获取模块41，用于获取集装箱卡车行驶时周围环境的样本图像集。其中，所述样本图像集包括多任务模型中各识别子任务的图像子集，每个识别子任务的图像子集包括至少一个样本图像，以及，所述样本图像的至少一个标注信息；所述至少一个标注信息包括训练所述识别子任务所需的标注信息。
训练模块42，用于使用所述样本图像集对所述图像识别多任务模型进行多轮训练，得到训练好的图像识别多任务模型。所述图像识别多任务模型的损失函数为各识别子任务的子损失函数的加权和；在第i轮训练过程中，所述识别子任务过拟合时所使用的子损失函数的权重小于所述识别子任务未过拟合时所使用的子损失函数的权重，所述i为大于或等于2的整数；所述图像识别多任务模型用于基于所述集装箱卡车行驶过程中采集的图像，获取所述图像的各识别子任务的识别结果。
可选的，当识别子任务过拟合时，则所述在第i轮训练过程中，所述识别子任务的子损失函数的权重为：第i-1轮训练时所采用的子损失函数的权重与第一目标系数的乘积。其中，所述第一目标系数为小于1的常数；所述第一目标系数为第一预设系数，或者，所述第一目标系数与i负相关。
可选的，在第i轮训练过程中，所述识别子任务过拟合时所使用的学习率小于所述识别子任务未过拟合时所使用的学习率。
可选的，针对第i轮训练，训练模块42具体用于从所述样本数据集的各识别子任务的图像子集中随机抽取预设数量的样本图像，得到第i轮训练的初始训练样本图像集；确定所述初始训练样本图像集中是否存在缺失训练其他识别子任务所需的标注信息的目标样本图像；在存在所述目标样本图像时，对所述目标样本图像缺失的标注信息进行标注填补，得到第i轮训练的训练样本图像集。其中，所述训练样本图像集中每个样本图像均包括训练所有识别子任务所需的标注信息。进行标注填补的样本图像不用于更新所述图像识别多任务模型在第i轮训练过程中标注填补对应的识别子任务的参数。
可选的，在使用所述样本图像集对所述图像识别多任务模型进行多轮训练之前，训练模块42还用于使用图像分类模型训练数据库中的样本图像对初始多任务模型进行训练，得到图像识别多任务模型。
本申请提供的多任务模型的训练装置，用于执行前述多任务模型的训练方法实施例，其实现原理与技术效果类似，对此不再赘述。
图8为本申请提供的一种图像处理装置的结构示意图。如图8所示，该装置包括：采集模块51，处理模块52，控制模块53。其中，
采集模块51，用于采集待识别图像。其中，所述待识别图像为集装箱卡车行驶时周围环境的图像。
处理模块52，用于将所述待识别图像输入至训练好的图像识别多任务模型，得到所述待识别图像的各识别子任务的识别结果。其中，所述图像识别多任务模型为采用前述任一实施例所述的多任务模型的训练方法训练得到的。
控制模块53，用于基于所述各识别子任务的识别结果，对所述集装箱卡车进行驾驶控制。
本申请提供的图像处理装置，用于执行前述图像处理方法实施例，其实现原理与技术效果类似，对此不再赘述。
图9为本申请提供的一种电子设备结构示意图。如图9所示，该电子设备600可以包括：至少一个处理器601和存储器602。
存储器602，用于存放程序。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。
存储器602可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
处理器601用于执行存储器602存储的计算机执行指令，以实现前述方法实施例所描述的多任务模型的训练方法或图像处理方法。其中，处理器601可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application SpecificIntegrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。具体的，在实现前述方法实施例所描述的多任务模型的训练方法时，该电子设备例如可以是终端、服务器等具有处理功能的电子设备。在实现前述方法实施例所描述的图像处理方法时，该电子设备例如可以是集装箱卡车的电子控制单元。
可选的，该电子设备600还可以包括通信接口603。在具体实现上，如果通信接口603、存储器602和处理器601独立实现，则通信接口603、存储器602和处理器601可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry StandardArchitecture，简称为ISA)总线、外部设备互连(Peripheral Component，简称为PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果通信接口603、存储器602和处理器601集成在一块芯片上实现，则通信接口603、存储器602和处理器601可以通过内部接口完成通信。
本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或者光盘等各种可以存储程序代码的介质，具体的，该计算机可读存储介质中存储有程序指令，程序指令用于上述实施例中的方法。
本申请还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在可读存储介质中。电子设备的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得电子设备实施上述的各种实施方式提供的多任务模型的训练方法或图像处理方法。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种多任务模型的训练方法，其特征在于，所述方法包括：
获取集装箱卡车行驶时周围环境的样本图像集；所述样本图像集包括图像识别多任务模型中各识别子任务的图像子集，每个识别子任务的图像子集包括至少一个样本图像，以及，所述样本图像的至少一个标注信息；所述至少一个标注信息包括训练所述识别子任务所需的标注信息；
使用所述样本图像集对所述图像识别多任务模型进行多轮训练，得到训练好的图像识别多任务模型；所述图像识别多任务模型的损失函数为各识别子任务的子损失函数的加权和；在第i轮训练过程中，所述识别子任务过拟合时所使用的子损失函数的权重小于所述识别子任务未过拟合时所使用的子损失函数的权重，所述i为大于或等于2的整数；所述图像识别多任务模型用于基于所述集装箱卡车行驶过程中采集的图像，获取所述图像的各识别子任务的识别结果。
2.根据权利要求1所述的方法，其特征在于，若所述子任务过拟合，则所述在第i轮训练过程中，所述识别子任务的子损失函数的权重为：
第i-1轮训练时所采用的子损失函数的权重与第一目标系数的乘积，所述第一目标系数为小于1的常数；所述第一目标系数为第一预设系数，或者，所述第一目标系数与i负相关。
3.根据权利要求1或2所述的方法，其特征在于，在第i轮训练过程中，所述识别子任务过拟合时所使用的学习率小于所述识别子任务未过拟合时所使用的学习率。
4.根据权利要求1或2所述的方法，其特征在于，所述使用所述样本图像集对所述图像识别多任务模型进行多轮训练，得到训练好的图像识别多任务模型，包括：
针对第i轮训练，从所述样本数据集的各识别子任务的图像子集中随机抽取预设数量的样本图像，得到第i轮训练的初始训练样本图像集；
确定所述初始训练样本图像集中是否存在缺失训练其他识别子任务所需的标注信息的目标样本图像；
若存在所述目标样本图像，则对所述目标样本图像缺失的标注信息进行标注填补，得到第i轮训练的训练样本图像集；所述训练样本图像集中每个样本图像均包括训练所有识别子任务所需的标注信息；其中，进行标注填补的样本图像不用于更新所述图像识别多任务模型在第i轮训练过程中标注填补对应的识别子任务的参数。
5.根据权利要求1或2所述的方法，其特征在于，在所述使用所述样本图像集对所述图像识别多任务模型进行多轮训练之前，还包括：
使用图像分类模型训练数据库中的样本图像对初始多任务模型进行训练，得到图像识别多任务模型。
6.一种图像处理方法，其特征在于，所述方法包括：
采集待识别图像，所述待识别图像为集装箱卡车行驶时周围环境的图像；
将所述待识别图像输入至训练好的图像识别多任务模型，得到所述待识别图像的各识别子任务的识别结果；其中，所述图像识别多任务模型为采用如权利要求1-5任一项所述的方法训练得到的；
基于所述各识别子任务的识别结果，对所述集装箱卡车进行驾驶控制。
7.一种多任务模型的训练装置，其特征在于，所述装置包括：
获取模块，用于获取集装箱卡车行驶时周围环境的样本图像集；所述样本图像集包括多任务模型中各识别子任务的图像子集，每个识别子任务的图像子集包括至少一个样本图像，以及，所述样本图像的至少一个标注信息；所述至少一个标注信息包括训练所述识别子任务所需的标注信息；
训练模块，用于使用所述样本图像集对所述图像识别多任务模型进行多轮训练，得到训练好的图像识别多任务模型；所述图像识别多任务模型的损失函数为各识别子任务的子损失函数的加权和；在第i轮训练过程中，所述识别子任务过拟合时所使用的子损失函数的权重小于所述识别子任务未过拟合时所使用的子损失函数的权重，所述i为大于或等于2的整数；所述图像识别多任务模型用于基于所述集装箱卡车行驶过程中采集的图像，获取所述图像的各识别子任务的识别结果。
8.一种图像处理装置，其特征在于，所述装置包括：
采集模块，用于采集待识别图像，所述待识别图像为集装箱卡车行驶时周围环境的图像；
处理模块，用于将所述待识别图像输入至训练好的图像识别多任务模型，得到所述待识别图像的各识别子任务的识别结果；其中，所述图像识别多任务模型为采用如权利要求1-5任一项所述的方法训练得到的；
控制模块，用于基于所述各识别子任务的识别结果，对所述集装箱卡车进行驾驶控制。
9.一种电子设备，其特征在于，包括：至少一个处理器、存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述电子设备执行权利要求1-6任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机执行指令，当所述计算机执行指令被处理器执行时，实现权利要求1-6任一项所述的方法。
CN202110424514.XA 2021-04-20 2021-04-20 多任务模型训练及图像处理方法、装置、设备及存储介质 Pending CN113255445A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110424514.XA CN113255445A (zh) 2021-04-20 2021-04-20 多任务模型训练及图像处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110424514.XA CN113255445A (zh) 2021-04-20 2021-04-20 多任务模型训练及图像处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113255445A true CN113255445A (zh) 2021-08-13

Family

ID=77221171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110424514.XA Pending CN113255445A (zh) 2021-04-20 2021-04-20 多任务模型训练及图像处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113255445A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882464A (zh) * 2022-05-31 2022-08-09 小米汽车科技有限公司 多任务模型训练方法、多任务处理方法、装置及车辆
CN114972928A (zh) * 2022-07-26 2022-08-30 深圳比特微电子科技有限公司 一种图像识别模型训练方法及装置
CN115203457A (zh) * 2022-07-15 2022-10-18 小米汽车科技有限公司 图像检索方法、装置、车辆、存储介质及芯片

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109523532A (zh) * 2018-11-13 2019-03-26 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读介质及电子设备
CN110298262A (zh) * 2019-06-06 2019-10-01 华为技术有限公司 物体识别方法及装置
CN110728298A (zh) * 2019-09-05 2020-01-24 北京三快在线科技有限公司 多任务分类模型训练方法、多任务分类方法及装置
CN110738263A (zh) * 2019-10-17 2020-01-31 腾讯科技（深圳）有限公司 一种图像识别模型训练的方法、图像识别的方法及装置
CN111222522A (zh) * 2018-11-23 2020-06-02 北京市商汤科技开发有限公司 神经网络训练、路面检测、智能驾驶控制方法和装置
US20200349464A1 (en) * 2019-05-02 2020-11-05 Adobe Inc. Multi-module and multi-task machine learning system based on an ensemble of datasets

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109523532A (zh) * 2018-11-13 2019-03-26 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读介质及电子设备
CN111222522A (zh) * 2018-11-23 2020-06-02 北京市商汤科技开发有限公司 神经网络训练、路面检测、智能驾驶控制方法和装置
US20200349464A1 (en) * 2019-05-02 2020-11-05 Adobe Inc. Multi-module and multi-task machine learning system based on an ensemble of datasets
CN110298262A (zh) * 2019-06-06 2019-10-01 华为技术有限公司 物体识别方法及装置
CN110728298A (zh) * 2019-09-05 2020-01-24 北京三快在线科技有限公司 多任务分类模型训练方法、多任务分类方法及装置
CN110738263A (zh) * 2019-10-17 2020-01-31 腾讯科技（深圳）有限公司 一种图像识别模型训练的方法、图像识别的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHAO CHEN, VIJAY BADRINARAYANAN, CHEN-YU LEE, ET.AL.: "GradNorm: Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Networks", 《PROCEEDINGS OF THE 35TH INTERNATIONAL CONFERENCE ON MACHINE LEARNING》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882464A (zh) * 2022-05-31 2022-08-09 小米汽车科技有限公司 多任务模型训练方法、多任务处理方法、装置及车辆
CN115203457A (zh) * 2022-07-15 2022-10-18 小米汽车科技有限公司 图像检索方法、装置、车辆、存储介质及芯片
CN115203457B (zh) * 2022-07-15 2023-11-14 小米汽车科技有限公司 图像检索方法、装置、车辆、存储介质及芯片
CN114972928A (zh) * 2022-07-26 2022-08-30 深圳比特微电子科技有限公司 一种图像识别模型训练方法及装置
CN114972928B (zh) * 2022-07-26 2022-11-11 深圳比特微电子科技有限公司 一种图像识别模型训练方法及装置

Similar Documents

Publication Publication Date Title
JP7016943B2 (ja) 物体検出のための方法、装置および機器
CN108216229B (zh) 交通工具、道路线检测和驾驶控制方法及装置
CN113255445A (zh) 多任务模型训练及图像处理方法、装置、设备及存储介质
US20220343657A1 (en) Occupancy prediction neural networks
US11727668B2 (en) Using captured video data to identify pose of a vehicle
CN111527013B (zh) 车辆变道预测
US11120280B2 (en) Geometry-aware instance segmentation in stereo image capture processes
CN113366486A (zh) 使用区域外上下文的对象分类
CN111860227A (zh) 训练轨迹规划模型的方法、装置和计算机存储介质
CN116783620A (zh) 根据点云的高效三维对象检测
CN111091038A (zh) 训练方法、计算机可读介质和检测消失点的方法及装置
CN113071524B (zh) 决策控制方法、装置、自动驾驶车辆及存储介质
CN112654998B (zh) 一种车道线检测方法和装置
CN108154119B (zh) 基于自适应跟踪框分割的自动驾驶处理方法及装置
CN115083199A (zh) 一种车位信息确定方法及其相关设备
CN111144361A (zh) 一种基于二值化cgan网络的公路车道检测方法
CN115965831A (zh) 一种车辆检测模型训练方法和车辆检测方法
CN108022250B (zh) 基于自适应阈值分割的自动驾驶处理方法及装置
CN113625718A (zh) 车辆的行驶路径规划方法
CN114407916B (zh) 车辆控制及模型训练方法、装置、车辆、设备和存储介质
KR102405472B1 (ko) 난잡한 환경에서 시맨틱 차선을 결정하기 위한 방법 및 장치
CN112308105B (zh) 目标检测方法、目标检测器及相关设备
CN116541715B (zh) 目标检测方法、模型的训练方法、目标检测系统及装置
CN116740682B (zh) 车辆泊入路线信息生成方法、装置、电子设备和可读介质
CN112434591B (zh) 车道线确定方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210813

RJ01 Rejection of invention patent application after publication