CN108027889A - 一种用于增量式学习云系统的训练、调度方法及相关设备 - Google Patents

一种用于增量式学习云系统的训练、调度方法及相关设备 Download PDF

Info

Publication number
CN108027889A
CN108027889A CN201680018168.2A CN201680018168A CN108027889A CN 108027889 A CN108027889 A CN 108027889A CN 201680018168 A CN201680018168 A CN 201680018168A CN 108027889 A CN108027889 A CN 108027889A
Authority
CN
China
Prior art keywords
training
cloud
identification
priority
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680018168.2A
Other languages
English (en)
Other versions
CN108027889B (zh
Inventor
邵云峰
姚骏
薛希俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN108027889A publication Critical patent/CN108027889A/zh
Application granted granted Critical
Publication of CN108027889B publication Critical patent/CN108027889B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种用于增量式学习云系统的训练、调度方法及相关设备，涉及数据处理领域。该训练方法可包括训练云接收识别云发送模型训练请求；根据所述识别信息和所述识别模型的类型生成对应的训练任务(302)；通过所述识别信息计算所述训练任务的优先数(303)，所述训练任务的优先数对应所述训练任务的执行优先级别；根据所述优先数为所述训练任务分配训练资源，并按所述执行优先级别执行对应的训练任务(304)。通过计算训练任务的优先数来确定训练任务的优先级别，根据计算出的优先数对训练云中得训练任务进行调度，使得训练资源能够被多个训练任务合理共享，提高训练效率。

Description

PCT国内申请，说明书已公开。

Claims (32)

  1. PCT国内申请，权利要求书已公开。
CN201680018168.2A 2016-01-25 2016-01-25 一种用于增量式学习云系统的训练、调度方法及相关设备 Active CN108027889B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/071970 WO2017127976A1 (zh) 2016-01-25 2016-01-25 一种用于增量式学习云系统的训练、调度方法及相关设备

Publications (2)

Publication Number Publication Date
CN108027889A true CN108027889A (zh) 2018-05-11
CN108027889B CN108027889B (zh) 2020-07-28

Family

ID=59396828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680018168.2A Active CN108027889B (zh) 2016-01-25 2016-01-25 一种用于增量式学习云系统的训练、调度方法及相关设备

Country Status (2)

Country Link
CN (1) CN108027889B (zh)
WO (1) WO2017127976A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110175677A (zh) * 2019-04-16 2019-08-27 平安普惠企业管理有限公司 自动更新方法、装置、计算机设备及存储介质
CN111064746A (zh) * 2019-12-30 2020-04-24 深信服科技股份有限公司 一种资源分配方法、装置、设备及存储介质
CN111176852A (zh) * 2020-01-15 2020-05-19 上海依图网络科技有限公司 资源分配方法、装置、芯片及计算机可读存储介质
CN111553379A (zh) * 2020-03-16 2020-08-18 平安科技（深圳）有限公司 基于异步训练的图像数据处理方法和系统
CN111738404A (zh) * 2020-05-08 2020-10-02 深圳市万普拉斯科技有限公司 模型训练任务处理方法、装置、电子设备和存储介质
CN111783968A (zh) * 2020-06-30 2020-10-16 山东信通电子股份有限公司 一种基于云边协同的输电线路监测方法及系统
CN112084017A (zh) * 2020-07-30 2020-12-15 北京聚云科技有限公司 一种内存管理方法、装置、电子设备及存储介质
CN112529204A (zh) * 2019-09-17 2021-03-19 华为技术有限公司 模型训练方法、装置及系统
CN114844901A (zh) * 2022-05-23 2022-08-02 青岛慧海高科信息技术有限公司 基于人工智能的大数据清洗任务处理方法及云计算系统

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112400160A (zh) * 2018-09-30 2021-02-23 华为技术有限公司 训练神经网络的方法和装置
CN111105006B (zh) * 2018-10-26 2023-08-04 杭州海康威视数字技术股份有限公司 一种深度学习网络训练系统及方法
WO2021035724A1 (zh) * 2019-08-30 2021-03-04 Oppo广东移动通信有限公司 无线信号的类型确定方法、装置及系统
CN111104222B (zh) * 2019-12-16 2023-06-30 上海众源网络有限公司 任务处理方法、装置、计算机设备和存储介质
CN111813523A (zh) * 2020-07-09 2020-10-23 北京奇艺世纪科技有限公司 时长预估模型生成方法、系统资源调度方法、装置、电子设备和存储介质
CN112686387A (zh) * 2020-11-24 2021-04-20 中国电子科技集团公司电子科学研究院 一种共性技术模型训练调度方法、装置及可读存储介质
CN112559147B (zh) * 2020-12-08 2024-04-19 和美（深圳）信息技术股份有限公司 基于gpu占用资源特点的动态匹配方法、系统和设备
CN113205177B (zh) * 2021-04-25 2022-03-25 广西大学 一种基于增量协同注意力移动卷积的电力终端识别方法
CN115220899A (zh) * 2022-08-20 2022-10-21 抖音视界有限公司 模型训练任务的调度方法、装置及电子设备
CN116089883B (zh) * 2023-01-30 2023-12-19 北京邮电大学 用于提高已有类别增量学习新旧类别区分度的训练方法
CN116155750B (zh) * 2023-04-19 2023-08-01 之江实验室 深度学习作业资源放置方法、系统、设备和存储介质
CN117527807B (zh) * 2023-11-21 2024-05-31 扬州万方科技股份有限公司 一种多微云任务调度方法、装置及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100088138A1 (en) * 2008-10-07 2010-04-08 International Business Machines Corporation Method and system for integrated short-term activity resource staffing levels and long-term resource action planning for a portfolio of services projects
CN103489033A (zh) * 2013-09-27 2014-01-01 南京理工大学 融合自组织映射与概率神经网络的增量式学习方法
CN103593680A (zh) * 2013-11-19 2014-02-19 南京大学 一种基于隐马尔科夫模型自增量学习的动态手势识别方法
CN104331421A (zh) * 2014-10-14 2015-02-04 安徽四创电子股份有限公司 一种大数据的高效处理方法及系统
CN104361311A (zh) * 2014-09-25 2015-02-18 南京大学 多模态在线增量式来访识别系统及其识别方法
CN104965763A (zh) * 2015-07-21 2015-10-07 国家计算机网络与信息安全管理中心 一种老化感知的任务调度系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103442076B (zh) * 2013-09-04 2016-09-07 上海海事大学 一种云存储系统的可用性保障方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100088138A1 (en) * 2008-10-07 2010-04-08 International Business Machines Corporation Method and system for integrated short-term activity resource staffing levels and long-term resource action planning for a portfolio of services projects
CN103489033A (zh) * 2013-09-27 2014-01-01 南京理工大学 融合自组织映射与概率神经网络的增量式学习方法
CN103593680A (zh) * 2013-11-19 2014-02-19 南京大学 一种基于隐马尔科夫模型自增量学习的动态手势识别方法
CN104361311A (zh) * 2014-09-25 2015-02-18 南京大学 多模态在线增量式来访识别系统及其识别方法
CN104331421A (zh) * 2014-10-14 2015-02-04 安徽四创电子股份有限公司 一种大数据的高效处理方法及系统
CN104965763A (zh) * 2015-07-21 2015-10-07 国家计算机网络与信息安全管理中心 一种老化感知的任务调度系统

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110175677A (zh) * 2019-04-16 2019-08-27 平安普惠企业管理有限公司 自动更新方法、装置、计算机设备及存储介质
CN112529204A (zh) * 2019-09-17 2021-03-19 华为技术有限公司 模型训练方法、装置及系统
CN111064746A (zh) * 2019-12-30 2020-04-24 深信服科技股份有限公司 一种资源分配方法、装置、设备及存储介质
CN111176852A (zh) * 2020-01-15 2020-05-19 上海依图网络科技有限公司 资源分配方法、装置、芯片及计算机可读存储介质
CN111176852B (zh) * 2020-01-15 2024-04-16 上海依图网络科技有限公司 资源分配方法、装置、芯片及计算机可读存储介质
CN111553379A (zh) * 2020-03-16 2020-08-18 平安科技（深圳）有限公司 基于异步训练的图像数据处理方法和系统
CN111553379B (zh) * 2020-03-16 2024-06-28 平安科技（深圳）有限公司 基于异步训练的图像数据处理方法和系统
CN111738404B (zh) * 2020-05-08 2024-01-12 深圳市万普拉斯科技有限公司 模型训练任务处理方法、装置、电子设备和存储介质
CN111738404A (zh) * 2020-05-08 2020-10-02 深圳市万普拉斯科技有限公司 模型训练任务处理方法、装置、电子设备和存储介质
CN111783968A (zh) * 2020-06-30 2020-10-16 山东信通电子股份有限公司 一种基于云边协同的输电线路监测方法及系统
CN111783968B (zh) * 2020-06-30 2024-05-31 山东信通电子股份有限公司 一种基于云边协同的输电线路监测方法及系统
CN112084017A (zh) * 2020-07-30 2020-12-15 北京聚云科技有限公司 一种内存管理方法、装置、电子设备及存储介质
CN112084017B (zh) * 2020-07-30 2024-04-19 北京聚云科技有限公司 一种内存管理方法、装置、电子设备及存储介质
CN114844901A (zh) * 2022-05-23 2022-08-02 青岛慧海高科信息技术有限公司 基于人工智能的大数据清洗任务处理方法及云计算系统

Also Published As

Publication number Publication date
CN108027889B (zh) 2020-07-28
WO2017127976A1 (zh) 2017-08-03

Similar Documents

Publication Publication Date Title
CN108027889A (zh) 一种用于增量式学习云系统的训练、调度方法及相关设备
CN111176852B (zh) 资源分配方法、装置、芯片及计算机可读存储介质
US10452441B1 (en) Determining an allocation of computing resources for a job
WO2020024442A1 (zh) 资源分配方法、装置、计算机设备及计算机可读存储介质
CN105900064B (zh) 调度数据流任务的方法和装置
CN110096345B (zh) 智能任务调度方法、装置、设备及存储介质
CN112416585B (zh) 面向深度学习的gpu资源管理与智能化调度方法
CN109559734B (zh) 声学模型训练的加速方法和装置
CN105808328B (zh) 任务调度的方法、装置和系统
CN107193652B (zh) 容器云环境中流数据处理系统的弹性资源调度方法及系统
US8756209B2 (en) Computing resource allocation based on query response analysis in a networked computing environment
CN110389816B (zh) 用于资源调度的方法、装置以及计算机可读介质
CN104765640B (zh) 一种智能服务调度方法
CN111971694A (zh) 用于深度神经网络的训练数据的协同异构处理
CN112148468B (zh) 一种资源调度方法、装置、电子设备及存储介质
CN110502321A (zh) 一种资源调度方法及系统
CN109727376B (zh) 生成配置文件的方法、装置及售货设备
CN109062683B (zh) 主机资源分配的方法、装置及计算机可读存储介质
CN102184124B (zh) 任务调度方法及系统
CN109189581B (zh) 一种作业调度方法和装置
CN116915869A (zh) 基于云边协同的时延敏感型智能服务快速响应方法
US20140047454A1 (en) Load balancing in an sap system
CN106506594B (zh) 一种并行计算资源分配方法及装置
CN114691324A (zh) 任务处理并行度的弹性调整方法及装置
CN112101717A (zh) 调整产线的生产任务的方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant