CN116594748A - 针对任务的模型定制处理方法、装置、设备和介质 - Google Patents

针对任务的模型定制处理方法、装置、设备和介质 Download PDF

Info

Publication number
CN116594748A
CN116594748A CN202310572668.2A CN202310572668A CN116594748A CN 116594748 A CN116594748 A CN 116594748A CN 202310572668 A CN202310572668 A CN 202310572668A CN 116594748 A CN116594748 A CN 116594748A
Authority
CN
China
Prior art keywords
model
task
subtasks
subtask
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310572668.2A
Other languages
English (en)
Inventor
苏永恒
马海波
刘晓昌
管占磊
胡举
沈磊
刘晓晨
陈成
吴泓江
王頔
吴长枝
齐晓飞
朱永兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Hongtu Information Technology Co Ltd
Original Assignee
Aerospace Hongtu Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Hongtu Information Technology Co Ltd filed Critical Aerospace Hongtu Information Technology Co Ltd
Priority to CN202310572668.2A priority Critical patent/CN116594748A/zh
Publication of CN116594748A publication Critical patent/CN116594748A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请提供了一种针对任务的模型定制处理方法、装置、设备和介质，涉及任务处理技术领域，该方法包括：基于预先构建的意图理解集成模型将待处理任务分解为多个子任务，并基于不同子任务之间的关联性进行时序编码，确定子任务的执行顺序；针对每个子任务，根据模型粒度在模型库中搜索匹配相应的子任务模型；响应针对子任务模型的调参请求，对子任务模型进行定制处理，得到针对待处理任务的定制模型，以通过定制模型按照子任务的执行顺序对待处理任务进行处理。本申请在处理任务体量大、任务种类多的情况下，降低任务处理复杂度、简化神经网络参数，降低训练样本需求量，提升任务处理的效率同时降低计算时的内存消耗，提升了任务处理的准确性。

Description

针对任务的模型定制处理方法、装置、设备和介质
技术领域
本申请涉及任务处理技术领域，尤其是涉及一种针对任务的模型定制处理方法、装置、设备和介质。
背景技术
随着从信息化向智能化的发展，以及云计算、大数据、人工智能等信息技术的快速推进，不同任务需要调用多个模型、基于多种知识数据进行分析处理。相关技术中，基于人工流程的编排方式，往往需要针对特定的任务进行相应的模型构建，当系统中处理的任务较多、任务复杂度较高时，导致通过深度学习模型进行处理时，神经网络参数复杂，训练样本量需求大，占用大量的内存消耗，且任务处理的效率较低。
发明内容
本申请的目的在于提供一种针对任务的模型定制处理方法、装置、设备和介质，以缓解了现有技术中任务量大、任务复杂度高时存在的神经网络参数复杂，训练样本量需求大，占用大量的内存消耗，且任务处理的效率较低的技术问题。
第一方面，本发明提供一种针对任务的模型定制处理方法，包括：基于预先构建的意图理解集成模型将待处理任务分解为多个子任务，并基于不同子任务之间的关联性进行时序编码，确定子任务的执行顺序；针对每个子任务，根据模型粒度在模型库中搜索匹配相应的子任务模型；响应针对子任务模型的调参请求，对子任务模型进行定制处理，得到针对待处理任务的定制模型，以通过定制模型按照子任务的执行顺序对待处理任务进行处理。
在可选的实施方式中，预先构建的意图理解集成模型包括依次连接的：基于词向量特征构建的模型增强模块、基于长短期记忆网络和门控循环单元的深度双向循环神经网络构建的基本分类器，和多层感知机框架构建的组合输出模块。
在可选的实施方式中，基于预先构建的意图理解集成模型将待处理任务分解为多个子任务，包括：基于预先构建的意图理解集成模型、目标知识图谱和预设的分层规则将待处理任务分解为多个子任务；其中，目标知识图谱包括与待处理任务对应领域的知识图谱、与待处理任务相关领域的知识图谱。
在可选的实施方式中，当多个子任务中至少两个子任务包括同种类型的子需求时，方法还包括：对包括同种类型的子需求的子任务基于模型粒度进行细粒度任务提取，得到细粒度任务；基于与子需求对应的细粒度模型对包括同种类型的子需求的子任务对应的细粒度任务进行统一处理。
在可选的实施方式中，针对每个子任务，根据模型粒度在模型库中搜索匹配相应的子任务模型，包括：针对每个子任务，通过网络架构搜索模块根据模型粒度在模型库中搜索匹配相应的子任务模型；其中，网络架构搜索模块包括第一搜索单元和第二搜索单元，第一搜索单元用于通过排列组合的方式直接将输入特征图合并后搜索，第二搜索单元用于采用参数化搜索的方式将特征图确定为相应的候选操作由网络自动选取；其中，特征图为输入至网络架构搜索模块的子任务所对应的特征图。
在可选的实施方式中，方法还包括：若未在模型库中搜索到匹配模型，则基于跨模态数据样本库，通过知识匹配样本选择、神经网络结构搜索、超参调整训练新的算法模型，以实现模型库的在线更新；基于更新后的模型库进行模型的搜索匹配。
在可选的实施方式中，通过定制模型按照子任务的执行顺序对待处理任务进行处理，包括：基于目标并行策略的排列组合结果查询目标计算资源；目标并行策略至少包括算子级别模型并行、管道模型并行、重计算模型并行或数据并行；将定制模型的不同层分配到不同的目标计算资源，按照子任务的执行顺序对待处理任务进行处理，或者，将定制同一层的不同参数分配到不同的目标计算资源，按照子任务的执行顺序对待处理任务进行处理。
第二方面，本发明提供一种针对任务的模型定制处理装置，包括：任务分解模块，用于基于预先构建的意图理解集成模型将待处理任务分解为多个子任务，并基于不同子任务之间的关联性进行时序编码，确定子任务的执行顺序；模型搜索模块，用于针对每个子任务，根据模型粒度在模型库中搜索匹配相应的子任务模型；模型定制处理模块，用于响应针对子任务模型的调参请求，对子任务模型进行定制处理，得到针对待处理任务的定制模型，以通过定制模型按照子任务的执行顺序对待处理任务进行处理。
第三方面，本发明提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现前述实施方式任一项的针对任务的模型定制处理方法。
第四方面，本发明提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现前述实施方式任一项的针对任务的模型定制处理方法。
本申请提供的针对任务的模型定制处理方法、装置、设备和介质，该方法首先基于预先构建的意图理解集成模型将待处理任务分解为多个子任务，并基于不同子任务之间的关联性进行时序编码，确定子任务的执行顺序，针对每个子任务，根据模型粒度在模型库中搜索匹配相应的子任务模型，响应针对子任务模型的调参请求，对子任务模型进行定制处理，得到针对待处理任务的定制模型，以通过定制模型按照子任务的执行顺序对待处理任务进行处理。通过这种方式可以针对任务中的意图需求对任务进行细化划分，并针对划分后的子任务采用相应的子任务模型进行处理，从而使得任务体量大、任务种类多的情况下，降低任务处理复杂度、简化神经网络参数，降低训练样本需求量，提升任务处理的效率同时降低计算时的内存消耗；通过对子任务模型进行定制处理，可以通过调参后的定制模型进行更加准确的任务处理，提升了任务处理的准确性。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种针对任务的模型定制处理方法的流程图；
图2为本申请实施例提供的一种意图理解集成模型的结构图；
图3为本申请实施例提供的一种卷积神经网络用于搜索匹配时的结构图；
图4为本申请实施例提供的一种网络架构搜索模块的结构图；
图5为本申请实施例提供的一种多GPU上的模型并行训练示意图；
图6为本申请实施例提供的一种异构模型聚合的示意图；
图7为本申请实施例提供的深度学习算法在资源编排的容器中运行流程；
图8为本申请实施例提供的一种迁移学习的具体过程图；
图9为本申请实施例提供的一种模型迭代优化闭环的示意图；
图10为本申请实施例提供的一种总体方案路线图；
图11为本申请实施例提供的一种针对任务的模型定制处理装置的结构图；
图12为本申请实施例提供的一种电子设备的结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
随着从信息化向智能化的发展，以及云计算、大数据、人工智能等信息技术的快速推进，不同任务需要调用多个模型、基于多种知识数据进行分析处理。传统基于人工流程的编排方式已经不能满足高自主性和高时效性的环境数据处理要求，需要重点解决，意图的自主理解、任务的自动分解、模型的匹配调优和计算的高效执行等难题，实现系统快速、自主、智能的业务响应，以满足不同场景下、不同处理任务的业务处理需求。
深度学习算法模型已经在各种业务场景下广泛应用。由于深度学习神经网络参数复杂、训练样本量需求大、计算资源要求高等特点，生产一个高质量专业模型时间周期长、模型优化迭代人力成本高、模型泛化能力弱是目前模型生产的通病。
基于此，本申请实施例提供了一种针对任务的模型定制处理方法、装置、设备和介质，在处理任务体量大、任务种类多的情况下，降低任务处理复杂度、简化神经网络参数，降低训练样本需求量，提升任务处理的效率同时降低计算时的内存消耗，提升了任务处理的准确性。
本申请实施例提供了一种针对任务的模型定制处理方法，参见图1所示，该方法主要包括以下步骤：
步骤S110，基于预先构建的意图理解集成模型将待处理任务分解为多个子任务，并基于不同子任务之间的关联性进行时序编码，确定子任务的执行顺序；
步骤S120，针对每个子任务，根据模型粒度在模型库中搜索匹配相应的子任务模型；
步骤S130，响应针对子任务模型的调参请求，对子任务模型进行定制处理，得到针对待处理任务的定制模型，以通过定制模型按照子任务的执行顺序对待处理任务进行处理。
以下对本申请实施例提供的针对任务的模型定制处理方法进行详细说明。
在可选的实施方式中，上述预先构建的意图理解集成模型包括依次连接的：①基于词向量特征构建的模型增强模块、②基于长短期记忆网络和门控循环单元的深度双向循环神经网络构建的基本分类器、③多层感知机框架构建的组合输出模块。
在一种示例中，参见图2所示，该模型结构用于在接到一个输入任务，首先进行意图理解，通过自然语言理解识别目的要素，以指导后台系统生成响应或执行对应措施满足用户需求。意图理解采用具有长短期记忆(LSTM)结构和门控循环单元(GRU)的深度双向循环神经网络作为基本分类器，多层感知机(MLP)框架用于组合输出，并基于词向量特征对模型进行增强。
在可选的实施方式中，上述基于预先构建的意图理解集成模型将待处理任务分解为多个子任务，包括：
基于预先构建的意图理解集成模型、目标知识图谱和预设的分层规则将待处理任务分解为多个子任务；
其中，目标知识图谱包括与待处理任务对应领域的知识图谱、与待处理任务相关领域的知识图谱。此外，也可以适应性选择其他不相关领域的知识图谱，在实际应用时，可以根据实际需求进行选择处理。
也即，当获取针对任务的原始文本时，预先构建的意图理解集成模型可以对原始文本进行词向量和磁性特征提取，通过双向LSTM和双向GRU对词向量进行分类处理，并将分类处理后的结果和上述提取得到的磁性特征输入至两个多层感知机进行输出，以进行意图理解。其中，两个多层感知机分别为将双向LSTM输出和词性特征输入至第一多层感知机，将词性特征和双向GRU输出输入至第二多层感知机。
通过上述意图理解处理，系统可以自动地将业务需求分类和分层级处理，通过分层任务分解将高级任务分解成一系列可由模型执行的低级子任务。例如，当待处理任务为环境保障类的任务时，则分解过程基于环境保障领域知识图谱，以及相应的规则知识。
当将待处理任务划分为多个子任务后，基于智能任务分解后的每一个子任务，可优先从模型库中自动搜索匹配相应的算法模型来执行。基于匹配到的子任务，将自适应地拆分为模型粒度进行智能处理。不同模型自适应组合为不同子任务，减轻对硬件的需求。将子任务打散为自适应模型，由子任务匹配模型，有助于组合出更复杂的任务处理能力，以降低耦合性，能够为环境中的新需求快速组合出所需的子任务。自适应模型应用于实际任务中，对于突发的紧急情况，也可实现某一子任务的快速匹配，不会影响全局策略。
在一种实施方式中，当多个子任务中至少两个子任务包括同种类型的子需求时，还可以对包括同种类型的子需求的子任务基于模型粒度进行细粒度任务提取，得到细粒度任务；基于与子需求对应的细粒度模型对包括同种类型的子需求的子任务对应的细粒度任务进行统一处理。
例如，以子任务为目标检测为例，不同用于进行目标检测的子任务的检测目标不同(例如，有通过遥感影像检测广告牌的敏感词汇的，也有通过遥感影像检测车辆行驶状态的)，但目标检测的共同之处是都需要智能去噪等模型方法，以增强信噪比，提高子任务成功率。因此，此时的子需求为智能去噪，通过对检测敏感词汇的子任务和检测车辆行驶状态的子任务进一步进行细粒度任务(也即智能去噪)的提取，通过与该细粒度任务对应的细粒度模型(也即智能去噪模型)对包括该需求的子任务(检测敏感词汇、车辆状态)对应的细粒度任务(智能去噪)进行统一处理。
通过这种方式将任务拆分为自适应模型后，在多个子任务具备相同的更小粒度的处理需求时，根据模型粒度运行，避免重复运行整个子任务，以降低硬件需求。
在一种实施方式中，以卷积神经网络为例进行说明，在进行模型搜索匹配时，基于卷积神经网络的算法自动匹配模型的整体架构由6个卷积层、6个归一化层、1个池化层、1个输出层(Dropout)和1个全连接层组成，总体框架参见图3所示。
首先，在每个卷积操作之后添加ReLU作为激活函数，也在每一个卷积层后采用了批处理归一化(BN)操作。批处理归一化操作通过规范化使得每一个层的网络输入数据的均值和方差都在一定的范围内，允许每一个层进行独立的学习，提高整个神经网络的学习速度。当学习率参数更新过大时，使用批处理归一化操作就不会受到参数值大小的影响。另外还能够有效缓解梯度消失等问题。
其次，添加了Dropout层、L2归一化方法和最大池化层。池化层用于减少输出特征图的大小和加快模型训练的速度，而Dropout层能够让一维卷积神经网络模型避免出现过度拟合的情况。
最后，利用Softmax函数将分类问题输出。Softmax层的输出数目等于分类个数，例如，如果是从3个算法组成的算法集中为给定的问题推荐一个合适的算法，那么该任务中Softmax层的输出数应该是3。Softmax层采用交叉熵损失对分类误差进行评估，交叉熵损失公式为：
其中，pi是第i个实例的实际概率分布，是第i个实例的预测概率分布，N为每个训练步骤使用的实例数，采用CNN架构是为了最小化损失值损失。
进一步，若未在模型库中搜索到匹配模型，则基于跨模态数据样本库，通过知识匹配样本选择、神经网络结构搜索(Neural ArchitectureSearch,NAS)、超参调整训练新的算法模型，以实现模型库的在线更新；基于更新后的模型库进行模型的搜索匹配。通过这种方式，可以高效完成每一项子任务的算法模型匹配。
可选的，上述针对每个子任务，根据模型粒度在模型库中搜索匹配相应的子任务模型，还可以通过网络架构搜索模块根据模型粒度在模型库中搜索匹配相应的子任务模型；其中，网络架构搜索模块包括第一搜索单元和第二搜索单元，第一搜索单元用于通过排列组合的方式直接将输入特征图合并后搜索，第二搜索单元用于采用参数化搜索的方式将特征图确定为相应的候选操作由网络自动选取；其中，特征图为输入至网络架构搜索模块的子任务所对应的特征图。
图4示出了网络架构搜索模块的结构，箭头表示候选操作组，其中虚线表示尺寸变化操作，包括池化、滑动步长为2的卷积、转置卷积等；实线表示无尺寸变化操作，包括常规卷积、空洞卷积、跳跃连接等。对于卷积层的搜索一般包括通道数和卷积核尺寸两个变量。当任意一个变量发生改变时，便会出现一个新候选单元，这样会导致大量存储资源的占用。设计是采用多路与单路相结合处理方式，即将通道数与卷积核尺寸不同的多路卷积层候选操作尽可能的合并为单路，搜索时将通道数与卷积核尺寸进行参数化。
网络架构搜索模块分为左右两部分(也即第一搜索单元和第二搜索单元)。两部分的主要区别是特征图的处理方式：左半部分(第一搜索单元)采用排列组合的方式，即直接将输入特征图合并；右半部分(第二搜索单元)采用参数化搜索的方式，即将其视为一个候选操作由网络自动选取。这样既可保证不同尺度特征能够有效融合，又可保证网络结构的简洁性。除性能之外，实时性也是非常重要的指标。
进一步，经过模型自适应拆分后，模型将送入计算设备中进行并行计算。并行计算可以提升划分子任务模型后的运行效率，可以并行化跨不同节点的计算工作量，以扩展参与计算资源的规模。
在一种实施方式中，上述通过定制模型按照子任务的执行顺序对待处理任务进行处理，可以基于目标并行策略(至少包括算子级别模型并行、管道模型并行、重计算模型并行或数据并行)的排列组合结果查询目标计算资源，然后将定制模型的不同层分配到不同的目标计算资源，按照子任务的执行顺序对待处理任务进行处理，或者，将定制同一层的不同参数分配到不同的目标计算资源，按照子任务的执行顺序对待处理任务进行处理。
上述通过探索算子级别模型并行、管道模型并行、重计算模型并行、数据并行等方式的排列组合，找到最优的服务器计算资源，在降低任务时延的同时，提升系统的资源利用效率。
模型并行(model parallelism)表现形式为分布式系统中的不同机器(或同机器不同GPU)负责网络模型的不同部分。即把复杂的神经网络拆分，分布在计算单元或者GPU里面进行计算，让每个GPU并行进行计算。这个方法通常用在模型比较复杂的情况下。例如，神经网络模型的不同网络层被分配到不同的机器，或者同一层内部的不同参数被分配到不同机器。
在一种示例中，以神经网络采用Piplelined BP算法为例，Piplelined BP算法主要基于训练层划分的，在这个算法中，GPU定义了prebuf、curbef和resbuf三个缓存空；其中curbuf主要存放网络层中当前训练所需要的数据，prebuf存放下次迭代网络层需要的输入，在前迭代计算层经过GPU计算之后会将其计算结果存放在resbuf中，同时将其计算结果传递给下一个相邻的设备。因此在这里可以将大的模型拆分，分别存储在多个GPU上，从而使这些模型能够并行训练；从单GPU到多GPU，在训练过程中最大的区别就是单GPU上模型不能被拆分，只能作为一个计算整体进行训练；但是多GPU上，就可以对模型拆分然后分别存储进行训练。多GPU上的模型并行训练参见图5所示。
进一步，为了能够高效快速地返回结果，在执行模型推理计算时，可以进行模型轻量化处理和异构模型聚合处理，从而实现模型的动态切分和聚合能力，以便于对时延需求严格的任务进行不断优化。模型聚合是指结合多个不同的模型，来获得更好的泛化性能。该方法主要运用了bagging思想，将剪枝后的模型权重聚合，生成一个集合预测器，比在原始数据上生成的单个预测器更好。模型聚合主要分为两个步骤：首先，每组样本传递给基础模型进行训练并进行模型轻量化处理，其次，对多个模型权重进行聚合生成集合预测器。模型预测器的推理结果可能会有所不同，最终采用大多数投票策略生成聚合推理的结果。图6示出了一种异构模型聚合的示例。
本申请实施例通过基于终生学习的智能算法模型快速构建与迭代优化技术，可以解决基于深度学习的智能算法模型迭代周期长、模型泛化能力不足等瓶颈，以Tensorflow、Pytorch、PaddlePaddle等主流深度学习框架为基础，建立一套从样本到训练、模型自动发布的一体化自主训练解译云服务平台，通过样本数据自主选择，训练环境自动配置，模型参数智能适配，网络模型自主训练，并对训练结果不断迭代优化，从而实现算法自动调参优化、模型自主训练和迭代回馈等功能，支持不同数据源经过调参即可得到适应不同场景的定制模型。
本申请实施例针对全生命周期的深度学习业务容器化自主训练，包括AutoDL交互式深度学习模型自主训练和全生命周期深度学习业务容器化管理：
(1)AutoDL交互式深度学习模型自主训练
根据模型需求，在图形化前端界面设置训练参数，参数配置如下表1所示。平台可以自动拉取深度学习框架、依赖环境、不必关注底层实现细节，算法模块高度封装集成化，一键启动深度学习训练。将深度学习底层开发底层隐藏，注重业务逻辑应用。通过参数面板，人机交互式完成整个深度学习训练任务。
表1界面设置训练参数
(2)全生命周期深度学习业务容器化管理
支持容器环境镜像安装和发布模型，模型训练实现环境版本自由选择，镜像一键调用。支持跨平台移植，快速部署。支持用户上传自有镜像，镜像的生成与打包。可以直接将这个镜像一键上传到云端运行即可。实现了本地与云端的环境完全一致，做到了一次开发随处运行。
通过容器化业务管理一键部署深度学习环境，缩短深度学习环境部署时间。整体实现平台自动训练的且模型训练效果显著。用户启动一个Pytorch训练任务在集群管理器编排的容器中运行流程参见图7所示。
上述在响应针对子任务模型的调参请求，对子任务模型进行定制处理时，可以根据用户反馈信息实现算法自动调参优化，具体可包括：1)超参数优化；2)网络架构优化。通过自动调参优化来简化和改进超参选择和调整的过程，自动获取泛化能力强，效率高的网络架构，整个过程可由用户操作完成，能够极大的提升算法模型的更新、优化效率。
在一种实施方式中，可以采用基于贝叶斯优化的超参数自动优化方法，利用已有的先验信息去找到使目标函数达到全局最优的超参数：
贝叶斯优化通过基于目标函数的过去评估结果建立替代函数，来找到最大化目标函数的值，使用不断更新的概率模型，通过推断过去的结果来“集中”期望的超参数。在具体实施时，贝叶斯调参包括构造黑盒函数、确定域空间、实例化对象、确定迭代次数和搜索最优结果。
进一步，本申请实施例还可以基于迁移学习的模型迭代回馈，通过将已知的有价值的知识迁移到未知的目标任务上，使得网络模型能够广泛应用于不同的目标域中，解决样本数据集小的问题。迁移学习解决方案包括使用一个预先训练的网络，使用训练集从头推断最后一个分类层的参数。迁移学习主要流程描述如下：
首先需要确定基础网络，使用预先训练好的CNN模型分配网络权值(w1、w2、…、wn)，该模型在ImageNet等大型标记数据集上进行训练。通过替换层、插入层和从底层网络中删除层来建立一个新的神经网络，可以对网络进行修改以生成一个新的网络体系结构，用于实现特定的任务或目标。模型训练或微调深度神经网络通常是基于预测损失最小化的训练[4]。对于目标数据集X和对应的标签Y，模型训练的目标是迭代最小化公式下式中定义的平均损失E：
N代表在每个迭代中数据实例的数量，W表示神经网络的权重矩阵，L()表示损失函数，f()表示预测神经网络的输出，R()表示正则化项或权重伴随拉格朗日乘子λ的减少。
通常，随机梯度下降(SGD)算法通过最小化目标数据集上的损失函数E来计算最优W，公式如下：
其中a为学习率，k为分类指标。
与通过随机初始化权值来从头开始训练不同，迁移学习可以使用预先训练好的网络或应用微调方法来初始化权值。图8描述了迁移学习的具体过程。
基于预训练模型的迁移学习，前期预训练是一个抽取通用特征参数的过程，目标训练是针对道路提取任务特化的过程。本系统提供百万级大型数据库Imagenet上预训练的模型VGG16、ResNet18、ResNet34、RseNet50等以及目标识别类公开大型数据库VOC预训练模型。
基于实例的迁移学习不局限于原始提供的网络结构，数据利用可持续化。遥感卫星数据接收量大，为适应不同场景充分利用已有数据模型参数，节省计算资源，支撑平台提供迭代训练的能力。
可选的，可以进行智能回馈机制形成模型迭代优化闭环。整个迭代优化过程包含6步：在模型初次训练时，默认数据集导入次数等于1，步骤2按照工程任务，手动设置超参数实现模型一键自动启动训练。步骤3-4在可视化训练的基础上，判断每批次训练损失函数是否无下降。结果与算法库，按堆栈进行比较，综合性能最低的出库。步骤5-6为模型发布应用阶段，业务人员可将模型应用信息反馈给样本库，触发系统模型智能优化机制，继续更新样本库，此时导入次数累加，模型训练参数推荐启动模型训练，智能化反馈机制会自动推出预训练模型，触发模型进行迭代优化训练，如此形成整个模型迭代优化闭环，解决基于样本反馈机制更新模型持续迭代优化问题。参见图9所示。
综上，本申请实施例面向复杂的环境和不同业务的保障需求，提出基于知识+模型双驱动的环境业务智能分析与任务自动编排技术。基于领域知识、规则知识、模型自适应规则知识等跨模态知识和模型规则，通过任务智能分解、算法自动匹配、模型动态切分聚合以及云原生任务流程编排调度引擎等技术，实现对环境业务的快速智能分析和自动编排。总体方案路线图参见图10所示。
基于上述方法实施例，本申请实施例还提供一种针对任务的模型定制处理装置，参加图11所示，该装置主要包括以下部分：
任务分解模块112，用于基于预先构建的意图理解集成模型将待处理任务分解为多个子任务，并基于不同子任务之间的关联性进行时序编码，确定子任务的执行顺序；
模型搜索模块114，用于针对每个子任务，根据模型粒度在模型库中搜索匹配相应的子任务模型；
模型定制处理模块116，用于响应针对子任务模型的调参请求，对子任务模型进行定制处理，得到针对待处理任务的定制模型，以通过定制模型按照子任务的执行顺序对待处理任务进行处理。
在一可行的实施方式中，预先构建的意图理解集成模型包括依次连接的：基于词向量特征构建的模型增强模块、基于长短期记忆网络和门控循环单元的深度双向循环神经网络构建的基本分类器，和多层感知机框架构建的组合输出模块。
在一可行的实施方式中，上述任务分解模块112，还用于：
基于预先构建的意图理解集成模型、目标知识图谱和预设的分层规则将待处理任务分解为多个子任务；
其中，目标知识图谱包括与待处理任务对应领域的知识图谱、与待处理任务相关领域的知识图谱。
在一可行的实施方式中，当多个子任务中至少两个子任务包括同种类型的子需求时，上述装置还包括，细粒度划分模块，用于：
对包括同种类型的子需求的子任务基于模型粒度进行细粒度任务提取，得到细粒度任务；
基于与子需求对应的细粒度模型对包括同种类型的子需求的子任务对应的细粒度任务进行统一处理。
在一可行的实施方式中，上述模型搜索模块114，还用于：
针对每个子任务，通过网络架构搜索模块根据模型粒度在模型库中搜索匹配相应的子任务模型；
其中，网络架构搜索模块包括第一搜索单元和第二搜索单元，第一搜索单元用于通过排列组合的方式直接将输入特征图合并后搜索，第二搜索单元用于采用参数化搜索的方式将特征图确定为相应的候选操作由网络自动选取；其中，特征图为输入至网络架构搜索模块的子任务所对应的特征图。
在一可行的实施方式中，上述装置还包括，模型库更新模块，用于：
若未在模型库中搜索到匹配模型，则基于跨模态数据样本库，通过知识匹配样本选择、神经网络结构搜索、超参调整训练新的算法模型，以实现模型库的在线更新；
基于更新后的模型库进行模型的搜索匹配。
在一可行的实施方式中，上述模型定制处理模块116，还用于：
基于目标并行策略的排列组合结果查询目标计算资源；目标并行策略至少包括算子级别模型并行、管道模型并行、重计算模型并行或数据并行；
将定制模型的不同层分配到不同的目标计算资源，按照子任务的执行顺序对待处理任务进行处理，或者，将定制同一层的不同参数分配到不同的目标计算资源，按照子任务的执行顺序对待处理任务进行处理。
本申请实施例还提供了一种电子设备，如图12所示，为该电子设备的结构示意图，其中，该电子设备100包括处理器121和存储器120，该存储器120存储有能够被该处理器121执行的计算机可执行指令，该处理器121执行该计算机可执行指令以实现上述任一项针对任务的模型定制处理方法。
在图12示出的实施方式中，该电子设备还包括总线122和通信接口123，其中，处理器121、通信接口123和存储器120通过总线122连接。
其中，存储器120可能包含高速随机存取存储器(RAM，Random AccessMemory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口123(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线122可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线122可以分为地址总线、数据总线、控制总线等。为便于表示，图12中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器121可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器121中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器121可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器121读取存储器中的信息，结合其硬件完成前述实施例的针对任务的模型定制处理方法的步骤。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，该计算机可执行指令促使处理器实现上述针对任务的模型定制处理方法，具体实现可参见前述方法实施例，在此不再赘述。
本申请实施例所提供的针对任务的模型定制处理方法、装置、设备和介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请的描述中，需要说明的是，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种针对任务的模型定制处理方法，其特征在于，包括：
基于预先构建的意图理解集成模型将待处理任务分解为多个子任务，并基于不同子任务之间的关联性进行时序编码，确定子任务的执行顺序；
针对每个子任务，根据模型粒度在模型库中搜索匹配相应的子任务模型；
响应针对子任务模型的调参请求，对所述子任务模型进行定制处理，得到针对待处理任务的定制模型，以通过所述定制模型按照子任务的执行顺序对待处理任务进行处理。
2.根据权利要求1所述的针对任务的模型定制处理方法，其特征在于，所述预先构建的意图理解集成模型包括依次连接的：基于词向量特征构建的模型增强模块、基于长短期记忆网络和门控循环单元的深度双向循环神经网络构建的基本分类器，和多层感知机框架构建的组合输出模块。
3.根据权利要求1或2所述的针对任务的模型定制处理方法，其特征在于，基于预先构建的意图理解集成模型将待处理任务分解为多个子任务，包括：
基于预先构建的意图理解集成模型、目标知识图谱和预设的分层规则将待处理任务分解为多个子任务；
其中，所述目标知识图谱包括与待处理任务对应领域的知识图谱、与待处理任务相关领域的知识图谱。
4.根据权利要求1所述的针对任务的模型定制处理方法，其特征在于，当多个子任务中至少两个子任务包括同种类型的子需求时，所述方法还包括：
对包括同种类型的子需求的子任务基于模型粒度进行细粒度任务提取，得到细粒度任务；
基于与子需求对应的细粒度模型对包括同种类型的子需求的子任务对应的细粒度任务进行统一处理。
5.根据权利要求1所述的针对任务的模型定制处理方法，其特征在于，针对每个子任务，根据模型粒度在模型库中搜索匹配相应的子任务模型，包括：
针对每个子任务，通过网络架构搜索模块根据模型粒度在模型库中搜索匹配相应的子任务模型；
其中，所述网络架构搜索模块包括第一搜索单元和第二搜索单元，第一搜索单元用于通过排列组合的方式直接将输入特征图合并后搜索，第二搜索单元用于采用参数化搜索的方式将特征图确定为相应的候选操作由网络自动选取；其中，所述特征图为输入至所述网络架构搜索模块的子任务所对应的特征图。
6.根据权利要求1或5所述的针对任务的模型定制处理方法，其特征在于，所述方法还包括：
若未在模型库中搜索到匹配模型，则基于跨模态数据样本库，通过知识匹配样本选择、神经网络结构搜索、超参调整训练新的算法模型，以实现模型库的在线更新；
基于更新后的模型库进行模型的搜索匹配。
7.根据权利要求1所述的针对任务的模型定制处理方法，其特征在于，通过所述定制模型按照子任务的执行顺序对待处理任务进行处理，包括：
基于目标并行策略的排列组合结果查询目标计算资源；所述目标并行策略至少包括算子级别模型并行、管道模型并行、重计算模型并行或数据并行；
将定制模型的不同层分配到不同的目标计算资源，按照子任务的执行顺序对待处理任务进行处理，或者，将定制同一层的不同参数分配到不同的目标计算资源，按照子任务的执行顺序对待处理任务进行处理。
8.一种针对任务的模型定制处理装置，其特征在于，包括：
任务分解模块，用于基于预先构建的意图理解集成模型将待处理任务分解为多个子任务，并基于不同子任务之间的关联性进行时序编码，确定子任务的执行顺序；
模型搜索模块，用于针对每个子任务，根据模型粒度在模型库中搜索匹配相应的子任务模型；
模型定制处理模块，用于响应针对子任务模型的调参请求，对所述子任务模型进行定制处理，得到针对待处理任务的定制模型，以通过所述定制模型按照子任务的执行顺序对待处理任务进行处理。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至7任一项所述的针对任务的模型定制处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至7任一项所述的针对任务的模型定制处理方法。
CN202310572668.2A 2023-05-19 2023-05-19 针对任务的模型定制处理方法、装置、设备和介质 Pending CN116594748A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310572668.2A CN116594748A (zh) 2023-05-19 2023-05-19 针对任务的模型定制处理方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310572668.2A CN116594748A (zh) 2023-05-19 2023-05-19 针对任务的模型定制处理方法、装置、设备和介质

Publications (1)

Publication Number Publication Date
CN116594748A true CN116594748A (zh) 2023-08-15

Family

ID=87598788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310572668.2A Pending CN116594748A (zh) 2023-05-19 2023-05-19 针对任务的模型定制处理方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN116594748A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117217201A (zh) * 2023-10-12 2023-12-12 北京声智科技有限公司 基于预训练语言模型的任务处理方法、装置、设备及介质
CN117472478A (zh) * 2023-12-22 2024-01-30 科大讯飞股份有限公司 自动化流程生成方法及相关装置和系统、设备和存储介质
CN117519996A (zh) * 2024-01-08 2024-02-06 长春吉大正元信息技术股份有限公司 一种数据处理方法、装置、设备以及存储介质
CN117791877A (zh) * 2024-02-23 2024-03-29 北京智芯微电子科技有限公司 配电物联网控制方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797862A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 任务处理方法、装置、存储介质和电子设备
CN114757307A (zh) * 2022-06-14 2022-07-15 中国电力科学研究院有限公司 一种人工智能自动训练方法、系统、装置及存储介质
CN115099793A (zh) * 2022-08-25 2022-09-23 中国电子科技集团公司第十五研究所 面向任务场景的模型动态组装方法、服务器及存储介质
CN115202848A (zh) * 2022-08-12 2022-10-18 吉林大学 卷积神经网络的任务调度方法、系统、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797862A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 任务处理方法、装置、存储介质和电子设备
CN114757307A (zh) * 2022-06-14 2022-07-15 中国电力科学研究院有限公司 一种人工智能自动训练方法、系统、装置及存储介质
CN115202848A (zh) * 2022-08-12 2022-10-18 吉林大学 卷积神经网络的任务调度方法、系统、设备及存储介质
CN115099793A (zh) * 2022-08-25 2022-09-23 中国电子科技集团公司第十五研究所 面向任务场景的模型动态组装方法、服务器及存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117217201A (zh) * 2023-10-12 2023-12-12 北京声智科技有限公司 基于预训练语言模型的任务处理方法、装置、设备及介质
CN117217201B (zh) * 2023-10-12 2024-02-02 北京声智科技有限公司 基于预训练语言模型的任务处理方法、装置、设备及介质
CN117472478A (zh) * 2023-12-22 2024-01-30 科大讯飞股份有限公司 自动化流程生成方法及相关装置和系统、设备和存储介质
CN117472478B (zh) * 2023-12-22 2024-04-26 科大讯飞股份有限公司 自动化流程生成方法及相关装置和系统、设备和存储介质
CN117519996A (zh) * 2024-01-08 2024-02-06 长春吉大正元信息技术股份有限公司 一种数据处理方法、装置、设备以及存储介质
CN117519996B (zh) * 2024-01-08 2024-03-15 长春吉大正元信息技术股份有限公司 一种数据处理方法、装置、设备以及存储介质
CN117791877A (zh) * 2024-02-23 2024-03-29 北京智芯微电子科技有限公司 配电物联网控制方法、装置、设备及介质
CN117791877B (zh) * 2024-02-23 2024-05-24 北京智芯微电子科技有限公司 配电物联网控制方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
US11544630B2 (en) Automatic feature subset selection using feature ranking and scalable automatic search
US11631029B2 (en) Generating combined feature embedding for minority class upsampling in training machine learning models with imbalanced samples
EP3711000B1 (en) Regularized neural network architecture search
WO2021063171A1 (zh) 决策树模型的训练方法、系统、存储介质及预测方法
US11410044B2 (en) Application development platform and software development kits that provide comprehensive machine learning services
US11544536B2 (en) Hybrid neural architecture search
US20220035878A1 (en) Framework for optimization of machine learning architectures
US20200265301A1 (en) Incremental training of machine learning tools
US10332028B2 (en) Method for improving performance of a trained machine learning model
CN116594748A (zh) 针对任务的模型定制处理方法、装置、设备和介质
CN111406267A (zh) 使用性能预测神经网络的神经架构搜索
US20200050936A1 (en) Automatic dataset creation using software tags
AU2017101803A4 (en) Deep learning based image classification of dangerous goods of gun type
US20220027792A1 (en) Deep neural network model design enhanced by real-time proxy evaluation feedback
US20190228297A1 (en) Artificial Intelligence Modelling Engine
WO2023160290A1 (zh) 神经网络推理加速方法、目标检测方法、设备及存储介质
CN113609337A (zh) 图神经网络的预训练方法、训练方法、装置、设备及介质
KR20200063041A (ko) 아키텍처 변이 기반 비지도 학습 및 선택적 오류 전파 기반 지도 학습을 이용한 신경망 학습 방법 및 장치
CN111259673A (zh) 一种基于反馈序列多任务学习的法律判决预测方法及系统
CN116415175A (zh) 用于大规模多标签分类的方法和系统
CN115905293A (zh) 作业执行引擎的切换方法及装置
US20230214629A1 (en) Transformer-based autoregressive language model selection
US20230281510A1 (en) Machine learning model architecture combining mixture of experts and model ensembling
US20240211312A1 (en) Node symmetry in machine learning compiler optimization
Borgaro Combining coarse-and fine-grained DNAS for TinyML

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination