CN117648171B - 多任务处理方法、装置、计算机设备及存储介质 - Google Patents
多任务处理方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN117648171B CN117648171B CN202410111093.9A CN202410111093A CN117648171B CN 117648171 B CN117648171 B CN 117648171B CN 202410111093 A CN202410111093 A CN 202410111093A CN 117648171 B CN117648171 B CN 117648171B
- Authority
- CN
- China
- Prior art keywords
- task
- tasks
- combination
- super
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000012549 training Methods 0.000 claims abstract description 113
- 230000008569 process Effects 0.000 claims abstract description 31
- 238000001514 detection method Methods 0.000 claims description 60
- 238000004590 computer program Methods 0.000 claims description 24
- 230000006399 behavior Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 abstract description 5
- 238000004364 calculation method Methods 0.000 abstract description 3
- 230000000875 corresponding effect Effects 0.000 description 32
- 238000010586 diagram Methods 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 230000002195 synergetic effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000002860 competitive effect Effects 0.000 description 2
- 230000002079 cooperative effect Effects 0.000 description 2
- 238000010219 correlation analysis Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000003646 Spearman's rank correlation coefficient Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Landscapes
- Feedback Control In General (AREA)
Abstract
本申请涉及一种多任务处理方法、装置、计算机设备及存储介质。该方法包括：在多个任务的训练过程中，记录每个任务的性能指标数据；根据每个任务的性能指标数据，确定多个任务构成的至少一个任务组合的相关度；针对每个任务组合，根据任务组合的相关度确定对应的超参数调整策略；根据超参数调整策略，对任务组合中各个任务的超参数进行调整；基于每个任务的调整后的超参数，对多个任务进行训练，得到多任务训练结果。采用本方法能够根据多个任务性能的实时变化，自动调整任务训练的超参数，提升了系统的自适应性和灵活性，使得系统能够平衡多个任务的性能；相较于手动试错和调整，能够提升模型学习的效率和准确性、且节省计算资源和计算时间。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种多任务处理方法、装置、计算机设备及存储介质。
背景技术
在多任务学习领域，在任务具有不同的优化目标的情况下，需要平衡不同任务之间的学习目标和资源分配，以提高学习效率和泛化能力并减少存储空间。传统的学习系统在处理多个任务时通常采用固定的超参数设置，或者依赖于经验进行手动调整。这种方式没有考虑到多任务间的动态关系和相互影响，无法适应各个任务的特定需求和环境变化，由于无法找到最优的超参数组合，往往难以达到最优性能，在任务数量增加时将显著影响系统的计算资源和计算时间。
发明内容
基于此，有必要针对上述技术问题，提供一种多任务处理方法、装置、计算机设备及计算机可读存储介质，能够平衡多个任务的性能，提升模型学习的效率和准确性。
第一方面，本申请提供了一种多任务处理方法。所述方法包括：
在多个任务的训练过程中，记录每个任务的性能指标数据；
根据每个任务的性能指标数据，确定所述多个任务构成的至少一个任务组合的相关度；
针对每个任务组合，根据所针对的任务组合的相关度确定对应的超参数调整策略；根据所述超参数调整策略，对所针对的任务组合中各个任务的超参数进行调整；
基于每个任务的调整后的超参数，对所述多个任务进行训练，得到多任务训练结果。
在其中一个实施例中，所述根据所针对的任务组合的相关度确定对应的超参数调整策略；根据所述超参数调整策略，对所针对的任务组合中各个任务的超参数进行调整，包括：
在所针对的任务组合的相关度小于预设负相关阈值的情况下，确定对应的超参数调整策略为负相关调整策略；
根据所述负相关调整策略，确定所针对的任务组合中性能指标数据最低的目标任务，增加所述目标任务的损失权重，并减少所针对的任务组合中各个任务的学习率。
在其中一个实施例中，所述根据所针对的任务组合的相关度确定对应的超参数调整策略；根据所述超参数调整策略，对所针对的任务组合中各个任务的超参数进行调整，包括：
在所针对的任务组合的相关度大于预设正相关阈值的情况下，确定对应的超参数调整策略为正相关调整策略；
根据所述正相关调整策略，增加所针对的任务组合中各个任务的学习率。
在其中一个实施例中，所述根据每个任务的性能指标数据，确定所述多个任务构成的至少一个任务组合的相关度之前，所述方法还包括：
判断是否达到训练终止条件；
在未达到训练终止条件的情况下，执行所述根据每个任务的性能指标数据，确定所述多个任务构成的至少一个任务组合的相关度的步骤；
所述基于每个任务的调整后的超参数，对所述多个任务进行训练之后，所述方法还包括：
返回执行所述在多个任务的训练过程中，记录每个任务的性能指标数据的步骤。
在其中一个实施例中，每个任务组合由所述多个任务中的两个任务构成，所述根据每个任务的性能指标数据，确定所述多个任务构成的至少一个任务组合的相关度，包括：
针对每个任务组合，获取所针对的任务组合中各个任务的性能指标数据；利用皮尔逊相关系数确定所针对的任务组合中、各个任务的性能指标数据之间的相关性，得到所针对的任务组合的相关度。
在其中一个实施例中，所述在多个任务的训练过程中，记录每个任务的性能指标数据之前，所述方法还包括：
载入多个任务，获取每个任务的初始超参数和指标项；
基于每个任务的初始超参数，对所述多个任务进行训练；
所述记录每个任务的性能指标数据，包括：
根据每个任务的指标项记录每个任务的性能指标数据。
在其中一个实施例中，所述多个任务包括机动车检测任务、行人检测任务、标志牌检测任务、车道线检测任务、信号灯状态检测任务、驾驶行为检测任务、路面状况检测任务、车辆类型检测任务中的至少两种任务。
第二方面，本申请还提供了一种多任务处理装置。所述装置包括：
记录模块，用于在多个任务的训练过程中，记录每个任务的性能指标数据；
确定模块，用于根据每个任务的性能指标数据，确定所述多个任务构成的至少一个任务组合的相关度；
调整模块，用于针对每个任务组合，根据所针对的任务组合的相关度确定对应的超参数调整策略；根据所述超参数调整策略，对所针对的任务组合中各个任务的超参数进行调整；
训练模块，用于基于每个任务的调整后的超参数，对所述多个任务进行训练，得到多任务训练结果。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
在多个任务的训练过程中，记录每个任务的性能指标数据；
根据每个任务的性能指标数据，确定所述多个任务构成的至少一个任务组合的相关度；
针对每个任务组合，根据所针对的任务组合的相关度确定对应的超参数调整策略；根据所述超参数调整策略，对所针对的任务组合中各个任务的超参数进行调整；
基于每个任务的调整后的超参数，对所述多个任务进行训练，得到多任务训练结果。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
在多个任务的训练过程中，记录每个任务的性能指标数据；
根据每个任务的性能指标数据，确定所述多个任务构成的至少一个任务组合的相关度；
针对每个任务组合，根据所针对的任务组合的相关度确定对应的超参数调整策略；根据所述超参数调整策略，对所针对的任务组合中各个任务的超参数进行调整；
基于每个任务的调整后的超参数，对所述多个任务进行训练，得到多任务训练结果。
上述多任务处理方法、装置、计算机设备及存储介质，在多个任务的训练过程中，记录每个任务的性能指标数据；根据每个任务的性能指标数据，确定多个任务构成的至少一个任务组合的相关度；针对每个任务组合，根据所针对的任务组合的相关度确定对应的超参数调整策略；根据超参数调整策略，对所针对的任务组合中各个任务的超参数进行调整；基于每个任务的调整后的超参数，对多个任务进行训练，得到多任务训练结果。通过上述方式，实时分析多个任务的性能指标，根据多个任务性能的实时变化，自动调整任务训练的超参数，能够有效地适应环境的变化，提升了系统的自适应性和灵活性；通过自适应超参数调整，同步优化多个任务的学习过程，相较于手动试错和调整，能够提升模型学习的效率和准确性、且节省计算资源和计算时间；能够识别不同任务间的相关性，使得系统能够确定满足所有任务需求的最佳超参数平衡点，增强多任务间的协同效果，从而优化系统整体性能。
附图说明
图1为一个实施例中多任务处理方法的流程示意图；
图2为一个实施例中的任务组合示例图；
图3为另一个实施例中多任务处理方法的流程示意图；
图4为一个实施例中的多任务学习流程示意图；
图5为一个实施例中多任务处理装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种多任务处理方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。该方法包括以下步骤：
步骤102，在多个任务的训练过程中，记录每个任务的性能指标数据。
其中，多任务学习旨在通过共享表示同时训练不同的任务，以提高学习效率和泛化能力并减少存储空间。可选地，本实施例中多个任务为智能驾驶场景中的多个深度学习任务，通过安装于车辆上的摄像头采集的图像对多个任务进行训练。
通过记录每个任务的性能指标数据来感知每个任务的性能变化。在一种实现方式中，设置有预设指标项，在多个任务的每一次迭代训练后，记录每个任务在预设指标项的性能指标，记录多次迭代训练的性能指标得到每个任务的性能指标数据。
在一种实现方式中，每个任务的指标项不同，设置有实时性能监测模块持续追踪和评估每个任务的性能指标，实时性能监测模块在每一次迭代训练后，根据每个任务的指标项，记录每个任务的性能指标，记录多次迭代训练的性能指标得到每个任务的性能指标数据。
在一种实现方式中，设置有迭代次数N，通过调整前的超参数对多个任务进行训练，在训练迭代N次的过程中，记录每个任务的性能指标数据，若当前迭代次数大于N，且未达到训练终止条件，则执行步骤104。
步骤104，根据每个任务的性能指标数据，确定所述多个任务构成的至少一个任务组合的相关度。
其中，任务组合中包括至少两个任务，假设总共设置有M个任务，任务组合的尺寸为p，则从M个任务中，取p个不重复的任务，构成一个任务组合，任务组合的个数为：。
在一种实现方式中，参照图2，总共设置有3个任务，任务组合的尺寸为2，根据3个任务构成了三个任务组合，任务A和任务B构成任务组合1，任务B和任务C构成任务组合2，任务A和任务C构成任务组合3。针对每个任务组合，根据该任务组合中两个任务的性能指标数据，确定两个任务之间相关性大小，例如针对任务组合1，根据任务A的性能指标数据和任务B的性能指标数据，确定任务A和任务B之间相关性大小，根据两个任务之间的相关性大小确定该任务组合的相关度。
在一种实现方式中，任务组合的尺寸大于2，针对每个任务组合中的任意两个任务，根据该任务的性能指标数据确定该任务组合中任意两个任务之间相关性大小，针对每个任务组合，根据该任务组合中每两个任务之间的相关性大小计算平均值，将计算得到的平均值作为该任务组合的相关度。
在一种实现方式中，利用皮尔逊相关系数、斯皮尔曼秩相关系数等方式，计算性能指标数据之间的相似性，从而确定两两任务之间的相关性大小。
步骤106，针对每个任务组合，根据所针对的任务组合的相关度确定对应的超参数调整策略；根据所述超参数调整策略，对所针对的任务组合中各个任务的超参数进行调整。
其中，提前预设有多个相关度区间、以及每个相关度区间对应的超参数调整策略，针对每个任务组合，确定该任务组合的相关度所在的相关度区间，并获取与该相关度区间对应的超参数调整策略，执行获取到的超参数调整策略，对该任务组合中各个任务的超参数进行调整。任务的超参数包括学习率、损失权重、优化器等。
在一种实现方式中，随机对多个任务构成的至少一个任务组合进行排序，按照顺序依次确定任务组合的超参数调整策略，在针对第k个任务组合，执行对应的超参数调整策略时，若第k个任务组合中某一任务的超参数已在前k-1个任务组合中进行更新，则无需对第k个任务组合中该任务的超参数进行调整，通过这种方式，使得每个任务的超参数只进行一次调整，避免了超参数调整跨度过大造成系统整体性能降低。在一种实现方式中，按照任务的优先级对多个任务构成的至少一个任务组合进行排序。
步骤108，基于每个任务的调整后的超参数，对所述多个任务进行训练，得到多任务训练结果。
其中，应用调整后的超参数，继续对多个任务进行训练，并监测调整超参数后，每个任务的性能指标数据。设置有迭代次数N，使用调整后的超参数，对多个任务进行N次迭代训练，得到多任务训练结果，根据多任务训练结果确定当前训练情况是否达到训练终止条件，若未达到训练终止条件，则继续根据性能指标数据自适应调整任务的超参数，直到达到训练终止条件，输出训练好的每个任务对应的模型。
上述多任务处理方法中，在多个任务的训练过程中，记录每个任务的性能指标数据；根据每个任务的性能指标数据，确定多个任务构成的至少一个任务组合的相关度；针对每个任务组合，根据所针对的任务组合的相关度确定对应的超参数调整策略；根据超参数调整策略，对所针对的任务组合中各个任务的超参数进行调整；基于每个任务的调整后的超参数，对多个任务进行训练，得到多任务训练结果。通过上述方式，实时分析多个任务的性能指标，根据多个任务性能的实时变化，自动调整任务训练的超参数，能够有效地适应环境的变化，提升了系统的自适应性和灵活性；通过自适应超参数调整，同步优化多个任务的学习过程，相较于手动试错和调整，能够提升模型学习的效率和准确性、且节省计算资源和计算时间；能够识别不同任务间的相关性，使得系统能够确定满足所有任务需求的最佳超参数平衡点，增强多任务间的协同效果，从而优化系统整体性能。
在一个实施例中根据所针对的任务组合的相关度确定对应的超参数调整策略；根据所述超参数调整策略，对所针对的任务组合中各个任务的超参数进行调整，包括：在所针对的任务组合的相关度小于预设负相关阈值的情况下，确定对应的超参数调整策略为负相关调整策略；根据所述负相关调整策略，确定所针对的任务组合中性能指标数据最低的目标任务，增加所述目标任务的损失权重，并减少所针对的任务组合中各个任务的学习率。
传统的基于机器学习的超参数优化方式中使用更复杂的机器学习模型来学习和预测最佳超参数配置，这种方式可能需要大量的训练数据、计算成本较高，且无法对多任务间潜在的协同或竞争关系进行针对性优化。另外，使用进化算法（如遗传算法）来优化超参数的方式中，通过模拟自然选择的过程来逐渐找到最优解，这种方式通常需要较长的时间来收敛到最优解，也无法对多任务间潜在的协同或竞争关系进行针对性优化。本实施例中跨任务性能指标的相关性分析能够识别不同任务间的协同或冲突关系，通过智能化的超参数调整策略，增强多任务间的协同优化效果。
其中，预设负相关阈值为提前设置的用于评估任务间冲突效应的临界值，假设预设负相关阈值为θ_neg，若任务组合的相关度小于θ_neg，则确定任务组合中各任务负相关，即存在任务间冲突效应，此时选择负相关调整策略，并执行负相关调整策略。负相关调整策略的调整逻辑为：增加任务组合中性能指标数据最低的目标任务的损失权重，并减少任务组合中每个任务的学习率。在一种实现方式中，预设有损失权重调整比例，按照该损失权重调整比例，增加任务组合中性能指标数据最低的目标任务的损失权重；预设有学习率调整比例，按照该学习率调整比例，减少任务组合中各个任务的学习率。
以任务组合中包括任务i和任务j为例进行说明：如果任务i的性能高于任务j，则按照以下公式增加j的损失权重w、以及减少任务i和任务j的学习率：
；
；
式中，γ为损失权重调整比例，β为学习率调整比例。
在一个实施例中，根据所针对的任务组合的相关度确定对应的超参数调整策略；根据所述超参数调整策略，对所针对的任务组合中各个任务的超参数进行调整，包括：在所针对的任务组合的相关度大于预设正相关阈值的情况下，确定对应的超参数调整策略为正相关调整策略；根据所述正相关调整策略，增加所针对的任务组合中各个任务的学习率。
其中，预设正相关阈值为提前设置的用于评估任务间协同效应的临界值，假设预设正相关阈值为θ_pos，若任务组合的相关度大于θ_pos，则确定任务组合中各任务正相关，即存在任务间协同效应，此时选择正相关调整策略，并执行正相关调整策略。正相关调整策略的调整逻辑为：增加任务组合中每个任务的学习率。在一种实现方式中，预设有损失权重调整比例，按照该损失权重调整比例，增加任务组合中性能指标数据最低的目标任务的损失权重；预设有学习率调整比例，按照该学习率调整比例，减少任务组合中各个任务的学习率。
以任务组合中包括任务i和任务j为例进行说明：如果任务i的性能高于任务j，则按照以下公式增加任务i和任务j的学习率：
；
式中，α为学习率调整比例。
在一种实现方式中，若任务组合的相关度大于θ_neg、且小于θ_pos，则确定任务组合中各任务不相关，此时保持任务组合中各任务的学习率和损失权重不变。
在一个实施例中，如图3所示，步骤104之前，所述方法还包括：
步骤302，判断是否达到训练终止条件。
在未达到训练终止条件的情况下，执行步骤104。
其中，训练终止条件可以为任务组合中每个任务的损失值均小于设定阈值，训练终止条件还可以为系统总性能指标达到设定指标值，系统总性能指标可以为精确率、召回率、F1值（精确率和召回率的调和平均数）、训练时间与收敛速度等等，本实施例对此不加以限制。在达到训练终止条件时，输出训练好的每个任务对应的模型。在未达到训练终止条件时，执行步骤104，根据性能指标数据自适应调整任务的超参数，根据调整后的超参数进行新一轮的训练。
所述基于每个任务的调整后的超参数，对所述多个任务进行训练之后，所述方法还包括：返回步骤102。
其中，应用调整后的超参数，继续对多个任务进行训练，并监测调整超参数后，每个任务的性能指标数据。
本实施例中，设置实时闭环反馈机制，确保系统能够持续学习和自我优化，使得系统能够适应不断变化的任务需求，从而优化整体学习过程，突破了传统模型在应对动态任务环境时的局限性，提升了多任务学习系统的灵活性、响应能力、以及在面对动态和复杂学习环境时的性能和效率。
在一个实施例中，每个任务组合由所述多个任务中的两个任务构成，步骤104，包括：针对每个任务组合，获取所针对的任务组合中各个任务的性能指标数据；利用皮尔逊相关系数确定所针对的任务组合中、各个任务的性能指标数据之间的相关性，得到所针对的任务组合的相关度。
其中，假设总共设置有M个任务，任务组合的尺寸为2，则从M个任务中，取2个不重复的任务，构成一个任务组合，任务组合的个数为：。假设所针对的任务组合包括第一任务和第二任务，利用皮尔逊相关系数确定第一任务的性能指标数据与第二任务的性能指标数据之间的相关性，将确定的任务间的相关性作为所针对的任务组合的相关度。
在一个实施例中，步骤102之前，所述方法还包括：载入多个任务，获取每个任务的初始超参数和指标项；基于每个任务的初始超参数，对所述多个任务进行训练；所述记录每个任务的性能指标数据，包括：根据每个任务的指标项记录每个任务的性能指标数据。
其中，载入多个待训练的任务，为每个任务配置初始超参数，包括学习率、损失权重、优化器等，并为每个任务配置性能监测的指标项，在多个任务每一轮的训练过程中，监测每个任务在对应指标项下的性能指标数据。每个任务的指标项不同，例如，机动车检测任务、标志牌检测任务设置mAP:50（平均精度指标，mean Average Precision at IoU 0.5）作为指标项，车道线检测任务设置F1值（精确率和召回率的调和平均数）为性能指标。通过这种方式，在多个任务具有不同的性能指标和优化目标的情况下，能够将不同性能指标进行相关性分析，识别不同任务间的协作和竞争关系，以适应多任务环境中的不断变化的学习需求和目标，为系统整体性能优化提供数据支持，进而提升了模型学习的效率和准确性。
在一个实施例中，所述多个任务包括机动车检测任务、行人检测任务、标志牌检测任务、车道线检测任务、信号灯状态检测任务、驾驶行为检测任务、路面状况检测任务、车辆类型检测任务中的至少两种任务。
其中，本实施例中多个任务为智能驾驶场景中的多个深度学习任务，载入动车检测任务、行人检测任务、标志牌检测任务、车道线检测任务、信号灯状态检测任务、驾驶行为检测任务、路面状况检测任务、车辆类型检测任务中的至少两种任务，进行多任务学习，能够优化智能驾驶场景中深度学习任务的学习过程。本实施例中的机动车检测任务、行人检测任务、标志牌检测任务、车道线检测任务、信号灯状态检测任务、驾驶行为检测任务、路面状况检测任务、车辆类型检测任务，分别用于通过深度学习，让模型学习从图像中识别检测出车辆、行人、交通标志牌、车道线、信号灯状态、驾驶行为、路面状况和车辆类型，可以用于自动驾驶系统中的车辆检测和跟踪、车辆避障、安全驾驶等等。
参照图4，图4中示出了一种多任务学习流程示意图，预设多个任务的初始超参数，使用初始超参数对多个任务进行训练，在训练过程中通过性能监测模块记录每个任务的性能指标数据，判断是否达到终止条件，若未达到终止条件，则经过多任务性能分析模块确定多个任务性能指标之间的相关性，输出两两任务之间的相关性大小，根据相关性大小评估任务间的潜在冲突和协同效应，确定与相关性大小相匹配的超参数调整策略，通过超参调整模块对多个任务的超参数进行调整，根据调整后的超参数对多个任务进行训练，在训练过程中继续监测每个任务的性能指标数据，并在新一轮训练未达到终止条件的情况下，继续通过多任务性能分析模块、超参调整模块进行超参数调整，直到最终训练达到终止条件。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的多任务处理方法的多任务处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个多任务处理装置实施例中的具体限定可以参见上文中对于多任务处理方法的限定，在此不再赘述。
在一个实施例中，如图5所示，提供了一种多任务处理装置，包括：
记录模块10，用于在多个任务的训练过程中，记录每个任务的性能指标数据。
确定模块20，用于根据每个任务的性能指标数据，确定所述多个任务构成的至少一个任务组合的相关度。
调整模块30，用于针对每个任务组合，根据所针对的任务组合的相关度确定对应的超参数调整策略；根据所述超参数调整策略，对所针对的任务组合中各个任务的超参数进行调整。
训练模块40，用于基于每个任务的调整后的超参数，对所述多个任务进行训练，得到多任务训练结果。
上述多任务处理装置中，在多个任务的训练过程中，记录每个任务的性能指标数据；根据每个任务的性能指标数据，确定多个任务构成的至少一个任务组合的相关度；针对每个任务组合，根据所针对的任务组合的相关度确定对应的超参数调整策略；根据超参数调整策略，对所针对的任务组合中各个任务的超参数进行调整；基于每个任务的调整后的超参数，对多个任务进行训练，得到多任务训练结果。通过上述方式，实时分析多个任务的性能指标，根据多个任务性能的实时变化，自动调整任务训练的超参数，能够有效地适应环境的变化，提升了系统的自适应性和灵活性；通过自适应超参数调整，同步优化多个任务的学习过程，相较于手动试错和调整，能够提升模型学习的效率和准确性、且节省计算资源和计算时间；能够识别不同任务间的相关性，使得系统能够确定满足所有任务需求的最佳超参数平衡点，增强多任务间的协同效果，从而优化系统整体性能。
在一个实施例中，所述调整模块30，还用于在所针对的任务组合的相关度小于预设负相关阈值的情况下，确定对应的超参数调整策略为负相关调整策略；根据所述负相关调整策略，确定所针对的任务组合中性能指标数据最低的目标任务，增加所述目标任务的损失权重，并减少所针对的任务组合中各个任务的学习率。
在一个实施例中，所述调整模块30，还用于在所针对的任务组合的相关度大于预设正相关阈值的情况下，确定对应的超参数调整策略为正相关调整策略；根据所述正相关调整策略，增加所针对的任务组合中各个任务的学习率。
在一个实施例中，所述确定模块20，还用于判断是否达到训练终止条件；在未达到训练终止条件的情况下，执行所述根据每个任务的性能指标数据，确定所述多个任务构成的至少一个任务组合的相关度的步骤；
所述训练模块40，还用于返回执行所述在多个任务的训练过程中，记录每个任务的性能指标数据的步骤。
在一个实施例中，所述确定模块20，还用于针对每个任务组合，获取所针对的任务组合中各个任务的性能指标数据；利用皮尔逊相关系数确定所针对的任务组合中、各个任务的性能指标数据之间的相关性，得到所针对的任务组合的相关度。
在一个实施例中，所述所述训练模块40，还用于载入多个任务，获取每个任务的初始超参数和指标项；基于每个任务的初始超参数，对所述多个任务进行训练；
所述记录模块10，还用于根据每个任务的指标项记录每个任务的性能指标数据。
在一个实施例中，所述多个任务包括机动车检测任务、行人检测任务、标志牌检测任务、车道线检测任务、信号灯状态检测任务、驾驶行为检测任务、路面状况检测任务、车辆类型检测任务中的至少两种任务。
上述多任务处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种多任务处理方法。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：在多个任务的训练过程中，记录每个任务的性能指标数据；根据每个任务的性能指标数据，确定多个任务构成的至少一个任务组合的相关度；针对每个任务组合，根据所针对的任务组合的相关度确定对应的超参数调整策略；根据超参数调整策略，对所针对的任务组合中各个任务的超参数进行调整；基于每个任务的调整后的超参数，对多个任务进行训练，得到多任务训练结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：在所针对的任务组合的相关度小于预设负相关阈值的情况下，确定对应的超参数调整策略为负相关调整策略；根据负相关调整策略，确定所针对的任务组合中性能指标数据最低的目标任务，增加目标任务的损失权重，并减少所针对的任务组合中各个任务的学习率。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：在所针对的任务组合的相关度大于预设正相关阈值的情况下，确定对应的超参数调整策略为正相关调整策略；根据正相关调整策略，增加所针对的任务组合中各个任务的学习率。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：判断是否达到训练终止条件；在未达到训练终止条件的情况下，执行根据每个任务的性能指标数据，确定多个任务构成的至少一个任务组合的相关度的步骤；在基于每个任务的调整后的超参数，对多个任务进行训练之后，返回执行在多个任务的训练过程中，记录每个任务的性能指标数据的步骤。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：针对每个任务组合，获取所针对的任务组合中各个任务的性能指标数据；利用皮尔逊相关系数确定所针对的任务组合中、各个任务的性能指标数据之间的相关性，得到所针对的任务组合的相关度。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：载入多个任务，获取每个任务的初始超参数和指标项；基于每个任务的初始超参数，对多个任务进行训练；根据每个任务的指标项记录每个任务的性能指标数据。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：在多个任务的训练过程中，记录每个任务的性能指标数据；根据每个任务的性能指标数据，确定多个任务构成的至少一个任务组合的相关度；针对每个任务组合，根据所针对的任务组合的相关度确定对应的超参数调整策略；根据超参数调整策略，对所针对的任务组合中各个任务的超参数进行调整；基于每个任务的调整后的超参数，对多个任务进行训练，得到多任务训练结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：在所针对的任务组合的相关度小于预设负相关阈值的情况下，确定对应的超参数调整策略为负相关调整策略；根据负相关调整策略，确定所针对的任务组合中性能指标数据最低的目标任务，增加目标任务的损失权重，并减少所针对的任务组合中各个任务的学习率。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：在所针对的任务组合的相关度大于预设正相关阈值的情况下，确定对应的超参数调整策略为正相关调整策略；根据正相关调整策略，增加所针对的任务组合中各个任务的学习率。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：判断是否达到训练终止条件；在未达到训练终止条件的情况下，执行根据每个任务的性能指标数据，确定多个任务构成的至少一个任务组合的相关度的步骤；在基于每个任务的调整后的超参数，对多个任务进行训练之后，返回执行在多个任务的训练过程中，记录每个任务的性能指标数据的步骤。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：针对每个任务组合，获取所针对的任务组合中各个任务的性能指标数据；利用皮尔逊相关系数确定所针对的任务组合中、各个任务的性能指标数据之间的相关性，得到所针对的任务组合的相关度。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：载入多个任务，获取每个任务的初始超参数和指标项；基于每个任务的初始超参数，对多个任务进行训练；根据每个任务的指标项记录每个任务的性能指标数据。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要符合相关规定。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种多任务处理方法，其特征在于，所述方法包括：
在多个任务的训练过程中，记录每个任务的性能指标数据；
根据每个任务的性能指标数据，确定所述多个任务构成的至少一个任务组合的相关度；
针对每个任务组合，根据所针对的任务组合的相关度确定对应的超参数调整策略；根据所述超参数调整策略，对所针对的任务组合中各个任务的超参数进行调整；
基于每个任务的调整后的超参数，对所述多个任务进行训练，得到多任务训练结果；
其中，所述根据所针对的任务组合的相关度确定对应的超参数调整策略；根据所述超参数调整策略，对所针对的任务组合中各个任务的超参数进行调整，包括：
在所针对的任务组合的相关度小于预设负相关阈值的情况下，确定对应的超参数调整策略为负相关调整策略；
根据所述负相关调整策略，确定所针对的任务组合中性能指标数据最低的目标任务，增加所述目标任务的损失权重，并减少所针对的任务组合中各个任务的学习率；
其中，所述根据所针对的任务组合的相关度确定对应的超参数调整策略；根据所述超参数调整策略，对所针对的任务组合中各个任务的超参数进行调整，包括：
在所针对的任务组合的相关度大于预设正相关阈值的情况下，确定对应的超参数调整策略为正相关调整策略；
根据所述正相关调整策略，增加所针对的任务组合中各个任务的学习率；
其中，每个任务组合由所述多个任务中的两个任务构成，所述根据每个任务的性能指标数据，确定所述多个任务构成的至少一个任务组合的相关度，包括：
针对每个任务组合，获取所针对的任务组合中各个任务的性能指标数据；利用皮尔逊相关系数确定所针对的任务组合中、各个任务的性能指标数据之间的相关性，得到所针对的任务组合的相关度。
2.根据权利要求1所述的方法，其特征在于，所述根据每个任务的性能指标数据，确定所述多个任务构成的至少一个任务组合的相关度之前，所述方法还包括：
判断是否达到训练终止条件；
在未达到训练终止条件的情况下，执行所述根据每个任务的性能指标数据，确定所述多个任务构成的至少一个任务组合的相关度的步骤；
所述基于每个任务的调整后的超参数，对所述多个任务进行训练之后，所述方法还包括：
返回执行所述在多个任务的训练过程中，记录每个任务的性能指标数据的步骤。
3.根据权利要求1或2所述的方法，其特征在于，所述在多个任务的训练过程中，记录每个任务的性能指标数据之前，所述方法还包括：
载入多个任务，获取每个任务的初始超参数和指标项；
基于每个任务的初始超参数，对所述多个任务进行训练；
所述记录每个任务的性能指标数据，包括：
根据每个任务的指标项记录每个任务的性能指标数据。
4.根据权利要求1或2所述的方法，其特征在于，所述多个任务包括机动车检测任务、行人检测任务、标志牌检测任务、车道线检测任务、信号灯状态检测任务、驾驶行为检测任务、路面状况检测任务、车辆类型检测任务中的至少两种任务。
5.一种多任务处理装置，其特征在于，所述装置包括：
记录模块，用于在多个任务的训练过程中，记录每个任务的性能指标数据；
确定模块，用于根据每个任务的性能指标数据，确定所述多个任务构成的至少一个任务组合的相关度；
调整模块，用于针对每个任务组合，根据所针对的任务组合的相关度确定对应的超参数调整策略；根据所述超参数调整策略，对所针对的任务组合中各个任务的超参数进行调整；
训练模块，用于基于每个任务的调整后的超参数，对所述多个任务进行训练，得到多任务训练结果；
其中，所述调整模块，还用于在所针对的任务组合的相关度小于预设负相关阈值的情况下，确定对应的超参数调整策略为负相关调整策略；根据所述负相关调整策略，确定所针对的任务组合中性能指标数据最低的目标任务，增加所述目标任务的损失权重，并减少所针对的任务组合中各个任务的学习率；
其中，所述调整模块，还用于在所针对的任务组合的相关度大于预设正相关阈值的情况下，确定对应的超参数调整策略为正相关调整策略；根据所述正相关调整策略，增加所针对的任务组合中各个任务的学习率；
其中，每个任务组合由所述多个任务中的两个任务构成，所述确定模块，还用于针对每个任务组合，获取所针对的任务组合中各个任务的性能指标数据；利用皮尔逊相关系数确定所针对的任务组合中、各个任务的性能指标数据之间的相关性，得到所针对的任务组合的相关度。
6.根据权利要求5所述的装置，其特征在于，所述确定模块，还用于判断是否达到训练终止条件；在未达到训练终止条件的情况下，执行所述根据每个任务的性能指标数据，确定所述多个任务构成的至少一个任务组合的相关度的步骤；
所述训练模块，还用于返回执行所述在多个任务的训练过程中，记录每个任务的性能指标数据的步骤。
7.根据权利要求5或6所述的装置，其特征在于，所述训练模块，还用于载入多个任务，获取每个任务的初始超参数和指标项；基于每个任务的初始超参数，对所述多个任务进行训练；所述记录模块，还用于根据每个任务的指标项记录每个任务的性能指标数据。
8.根据权利要求5或6所述的装置，其特征在于，所述多个任务包括机动车检测任务、行人检测任务、标志牌检测任务、车道线检测任务、信号灯状态检测任务、驾驶行为检测任务、路面状况检测任务、车辆类型检测任务中的至少两种任务。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410111093.9A CN117648171B (zh) | 2024-01-26 | 2024-01-26 | 多任务处理方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410111093.9A CN117648171B (zh) | 2024-01-26 | 2024-01-26 | 多任务处理方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117648171A CN117648171A (zh) | 2024-03-05 |
| CN117648171B true CN117648171B (zh) | 2024-05-07 |
Family
ID=90049801
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410111093.9A Active CN117648171B (zh) | 2024-01-26 | 2024-01-26 | 多任务处理方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117648171B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111310848A (zh) * | 2020-02-28 | 2020-06-19 | 支付宝(杭州)信息技术有限公司 | 多任务模型的训练方法及装置 |
| CN114860411A (zh) * | 2022-05-17 | 2022-08-05 | 北京百度网讯科技有限公司 | 多任务学习方法、装置、电子设备和存储介质 |
| CN114882464A (zh) * | 2022-05-31 | 2022-08-09 | 小米汽车科技有限公司 | 多任务模型训练方法、多任务处理方法、装置及车辆 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11727301B2 (en) * | 2017-07-21 | 2023-08-15 | Sap Se | Exploiting local inter-task relationships in adaptive multi-task learning |
-
2024
- 2024-01-26 CN CN202410111093.9A patent/CN117648171B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111310848A (zh) * | 2020-02-28 | 2020-06-19 | 支付宝(杭州)信息技术有限公司 | 多任务模型的训练方法及装置 |
| CN114860411A (zh) * | 2022-05-17 | 2022-08-05 | 北京百度网讯科技有限公司 | 多任务学习方法、装置、电子设备和存储介质 |
| CN114882464A (zh) * | 2022-05-31 | 2022-08-09 | 小米汽车科技有限公司 | 多任务模型训练方法、多任务处理方法、装置及车辆 |
Non-Patent Citations (2)
| Title |
|---|
| Efficiently Identifying Task Groupings for Multi-Task Learning;Christopher Fifty et al;arXiv:2109.04617v2 [cs.LG] 25 Oct 2021;20211025;第1-22页 * |
| 基于多任务学习的炼钢终点预测方法;程进 等;《计算机应用》;20170310;第37卷(第3期);第889-895页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117648171A (zh) | 2024-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3289529B1 (en) | Reducing image resolution in deep convolutional networks | |
| US20200151573A1 (en) | Dynamic precision scaling at epoch granularity in neural networks | |
| US11645512B2 (en) | Memory layouts and conversion to improve neural network inference performance | |
| JP2022547460A (ja) | コンピュートインメモリアレイの列しきい値を調整することによってｘｎｏｒ等価演算を実施すること | |
| CN109992210A (zh) | 数据存储方法、装置及电子设备 | |
| WO2020158058A1 (ja) | 演算装置 | |
| JP2022502747A (ja) | 畳み込みニューラルネットワークの畳み込み処理方法、装置及び記憶媒体 | |
| CN112926570A (zh) | 一种自适应比特网络量化方法、系统及图像处理方法 | |
| US20200372361A1 (en) | Channel Gating For Conditional Computation | |
| CN113609784A (zh) | 一种交通极限场景生成方法、系统、设备和存储介质 | |
| TW201921997A (zh) | 行動設備的功率狀態控制 | |
| CN117648171B (zh) | 多任务处理方法、装置、计算机设备及存储介质 | |
| CN114168318A (zh) | 存储释放模型的训练方法、存储释放方法及设备 | |
| WO2018182878A1 (en) | Tracking axes during model conversion | |
| CN115759979B (zh) | 基于rpa和流程挖掘的流程智能处理方法和系统 | |
| CN114008636A (zh) | 优化机器学习模型性能 | |
| US20230229899A1 (en) | Neural network processing method and device therefor | |
| CN114611592A (zh) | 一种半监督特征选择方法、系统、介质、设备及终端 | |
| CN110533158B (zh) | 模型建构方法、系统及非易失性电脑可读取记录介质 | |
| US20240005160A1 (en) | Methods and systems for optimizing a peak memory usage of an artificial neural network graph | |
| CN110413313B (zh) | 一种Spark应用的参数优选方法及装置 | |
| KR102408966B1 (ko) | 뉴로모픽 메모리 관리 시스템 및 관리 방법 | |
| US11823027B1 (en) | System, network and method for selective activation of a computing network | |
| CN110796234B (zh) | 一种用于预测计算机状态的方法和装置 | |
| TWI684920B (zh) | 車燈狀態分析方法、車燈狀態分析系統及非暫態電腦可讀取媒體 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |