CN114185657A - 一种云平台的任务调度方法、装置、存储介质及电子设备 - Google Patents

一种云平台的任务调度方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN114185657A
CN114185657A CN202111493910.4A CN202111493910A CN114185657A CN 114185657 A CN114185657 A CN 114185657A CN 202111493910 A CN202111493910 A CN 202111493910A CN 114185657 A CN114185657 A CN 114185657A
Authority
CN
China
Prior art keywords
data
prototype
processed
model
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111493910.4A
Other languages
English (en)
Inventor
于朋鑫
王少康
陈宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infervision Medical Technology Co Ltd
Original Assignee
Infervision Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infervision Medical Technology Co Ltd filed Critical Infervision Medical Technology Co Ltd
Priority to CN202111493910.4A priority Critical patent/CN114185657A/zh
Publication of CN114185657A publication Critical patent/CN114185657A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种云平台的任务调度方法、装置、存储介质及电子设备。其中方法包括：获取待处理数据，分别确定所述待处理数据和多个原型数据的相似度；基于所述相似度在云平台上预设的多个学生网络模型中确定至少一个目标模型，其中，所述每一学生网络模型分别基于对应原型数据的相似数据集训练得到；基于所述至少一个目标模型对所述待处理数据进行处理，得到所述待处理数据的处理结果。在云平台上通过存储空间小、算力消耗小的多个学生网络模型替代存储空间大、算力消耗大的处理模型，减少了模型在云平台的存储占用，以及在对数据处理过程中消耗的算力，同时由于学生网络模型中网络参数少，计算速度快，提高了待处理数据的处理效率。

Description

一种云平台的任务调度方法、装置、存储介质及电子设备
技术领域
本发明实施例涉及数据处理技术领域，尤其涉及一种云平台的任务调度方法、装置、存储介质及电子设备。
背景技术
云平台对人工智能应用的推广具有重要价值，一方面，人工智能应用通常具有较高的计算硬件依赖，其成本对于欠发达地区来说是难以承受的，而云平台可以极大降低对本地设备的要求，使人工智能应用更容易推广；另一方面，借助通信技术的发展，云平台可以更简便的实现多中心间的联合工作，助力产业发展。
但是由于人工智能算法开发与云平台开发通常属于两个工作团队，云平台开发团队只能将封装好的模型作为一个黑盒预测模型部署在云平台的整体流程中，而没有对模型的修改权限，导致云平台计算资源的浪费和效率的降低。
发明内容
本发明实施例提供一种云平台的任务调度方法、装置、存储介质及电子设备，以实现提高云平台的高效计算。
第一方面，本发明实施例提供了一种云平台的任务调度方法，包括：
获取待处理数据，分别确定所述待处理数据和多个原型数据的相似度；
基于所述相似度在云平台上预设的多个学生网络模型中确定至少一个目标模型，其中，所述每一学生网络模型分别基于对应原型数据的相似数据集训练得到；
基于所述至少一个目标模型对所述待处理数据进行处理，得到所述待处理数据的处理结果。
第二方面，本发明实施例还提供了一种云平台的任务调度装置，包括：
数据相似度确定模块，用于获取待处理数据，分别确定所述待处理数据和多个原型数据的相似度；
目标模型确定模块，用于基于所述相似度在云平台上预设的多个学生网络模型中确定至少一个目标模型，其中，所述每一学生网络模型分别基于对应原型数据的相似数据集训练得到；
第一数据处理模块，用于基于所述至少一个目标模型对所述待处理数据进行处理，得到所述待处理数据的处理结果。
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任一实施例提供的云平台的任务调度方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例提供的云平台的任务调度方法。
本实施例提供的技术方案，在云平台上通过存储空间小、算力消耗小的多个学生网络模型替代存储空间大、算力消耗大的处理模型，减少了模型在云平台的存储占用，以及在对数据处理过程中消耗的算力，同时由于学生网络模型中网络参数少，计算速度快，提高了待处理数据的处理效率。对于每一待处理处理，通过待处理数据与各学生网络模型对应的原型数据的相似度，调用一个或多个的学生网络模型作为目标模型，对待处理数据进行处理，在保证了对待处理数据的处理精度的基础上，提高了处理效率，并减少了对云平台的存储压力和算力压力。
附图说明
图1为本发明实施例提供的一种云平台的任务调度方法的流程示意图；
图2是本发明实施例提供的一种自编码网络模型的结构示意图；
图3是本发明实施例提供的学生网络模型的训练过程示意图；
图4是本发明实施例提供的一种待处理数据的处理流程示意图；
图5为本发明实施例提供的一种云平台的任务调度装置的结构示意图；
图6是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
对于任一项处理任务，云平台可以是通过配置一处理模型，对于待执行处理任务的数据，调用该处理模型，对该数据进行处理，得到处理数据。其中，处理任务可以包括但不限于图像处理模型、文本处理模型和音频处理模型等，相应的，处理模型可以是图像处理模型、文本处理模型和音频处理模型等。在一些实施例中，图像处理任务可以是包括但不限于图像分类任务、图像识别任务、图像分割任务、图像超分辨任务、图像风格迁移任务、图像压缩任务等，相应的，图像处理模型包括但不限于图像分类模型、图像识别模型、图像分割模型、图像超分辨模型、图像风格迁移模型、图像压缩模型等。文本处理任务可以包括但不限于文本分类任务、摘要提取任务、文本翻译任务、文本关键词提取任务等，相应的，文本处理模型包括但不限于文本分类模型、摘要提取模型、文本翻译模型、文本关键词提取模型等。音频处理任务包括但不限于语音识别任务、音频降噪任务、音频合成任务等，相应的，音频处理模型包括但不限于语音识别模型、音频降噪模型、音频合成模型等。
上述任一处理模型经样本数据迭代训练得到，用于对执行对应处理任务的每一数据均具有处理能力。以处理模型为人脸识别模型为例，对于人脸识别模型的训练样本，包括男性人脸图像、女性人脸图像、青年人脸图像、中年人脸图像、老年人脸图像、少年人脸图像、婴儿人脸图像等，经上述样本图像训练得到的人脸识别模型，具有对男性人脸图像、女性人脸图像、青年人脸图像、中年人脸图像、老年人脸图像、少年人脸图像、婴儿人脸图像进行人脸识别的能力。相应的，在训练过程中，为了提高人脸识别模型的识别精度和识别范围，通过大量不同类型的人脸样本图像进行训练，得到的人脸识别模型中网络参数多，占用存储资源大，训练完成的人脸识别模型对任一人脸图像的识别过程的算力消耗大。同理，其他图像处理模型、文本处理模型和音频处理模型均基于上述方式训练得到。相应的，在上述任意处理模型设置在云平台上应用的情况下，处理模型占用存储资源大，且每一次处理过程算力消耗大，运算时间长。
针对上述技术问题，本发明实施例提供的一种云平台的任务调度方法，参见图1，图1为本发明实施例提供的一种云平台的任务调度方法的流程示意图，本实施例可适用于对云平台任务进行分配的情况，该方法可以由本发明实施例提供的云平台的任务调度装置来执行，该布控装置可以由软件和/或硬件来实现，该布控装置可以配置在电子计算设备上，具体包括如下步骤：
S110、获取待处理数据，分别确定所述待处理数据和多个原型数据的相似度。
S120、基于所述相似度在云平台上预设的多个学生网络模型中确定至少一个目标模型，其中，所述每一学生网络模型分别基于对应原型数据的相似数据集训练得到。
S130、基于所述至少一个目标模型对所述待处理数据进行处理，得到所述待处理数据的处理结果。
本实施例中，云平台上存储有任一处理任务对应的多个学生网络模型，其中，学生网络模型的数量为至少两个，均用于执行同一处理任务。以处理任务为乳腺病灶识别为例，对应至少两个学生网络模型，均用于对乳腺图像进行病灶识别。上述每一学生网络模型分别基于一原型数据的相似数据训练得到，不同学生网络模型对应的样本数据不同，相应的，每一学生网络模型用于对相应的原型数据的相似数据进行处理。
通过将一种处理任务的样本数据划分为多个类型，分别基于每一类型的样本数据分别训练一学生网络模型，样本数据的相似度高，样本数据量小，便于对学生网络模型的训练过程快速收敛，训练速度快，同时，上述快速收敛的训练过程导致学生网络模型的网络参数少，相应的，学生网络模型在每一次处理过程中的算力消耗小。
预先存储每一学生网络模型对应的原型数据，该原型数据与学生网络模型的处理任务确定，示例性的，学生网络模型的处理任务为人脸识别，则原型数据为不同类型的人脸图像；学生网络模型的处理任务为乳腺病灶识别，则原型数据为不同类型的乳腺图像，并以此类推。需要说明的是，不同学生网络模型的样本数据可存在部分重叠样本，但不完全相同。
对于待处理数据，分别确定待处理数据和每一原型数据的相似度，以确定该待处理数据对应的原型数据。可选的，可以是通过计算待处理数据与每一原型数据的距离信息，例如可以是计算待处理数据与每一原型数据的欧式距离，通过距离信息表征待处理数据与每一原型数据的相似度，待处理数据与原型数据的距离信息越小，表明待处理数据与原型数据的相似度越高；可选的，待处理数据和原型数据为图像数据的情况下，可基于图像的图像内容计算相似度，或者，基于图像中各像素点的像素点计算相似度。在待处理数据和原型数据为文本数据的情况下，可以基于文本数据中的关键信息计算相似度；在待处理数据和原型数据为音频数据的情况下，可提取音频数据中的文本信息计算相似度，或者基于音频数据的音调、音色、声纹等特征信息计算相似度。
在一些可选的实施例中，分别确定所述待处理数据和多个原型数据的相似度，包括：基于预设编码器提取得到待处理数据的特征信息；对提取的特征信息与原型存储器中的多个原型数据分别计算相似度。
本实施例中，原型数据可以是经过预设编码器提取的特征信息，该原型数据的确定方式可以是：将大量样本数据进行特征提取，得到的特征信息，将该特征信息转换至特征空间，每一特征信息在特征空间中分别对应一位置信息，对各特征信息的位置信息进行聚类处理，实现对特征空间中大量特征信息的分类处理，在聚类处理得到的每一类对应的特征信息中，将类中心对应的特征信息确定为该类对应的原型数据，每一个类分别对应设置一学生网络模型，用于处理对应类的数据。
预先存储多个原型数据，每一原型数据表征一个类。对于待处理数据，基于预设编码器对该待处理数据进行特征提取，得到待处理数据对应的特征信息，分别计算该特征信息分别与每一原型数据的相似度，基于相似度确定待处理数据所属的类。其中，特征信息与原型数据的相似度，可以是通过特征信息与原型数据的欧式距离确定，还可以是通过特征信息与原型数据在特征空间中的距离确定。具体的，在待处理数据的特征信息与任一原型数据的相似度大于相似度阈值时，确定待处理数据属于所述原型数据所在的类。其中，相似度阈值可以是预先确定的，例如可以是50％，对此不作限定。需要说明的是，待处理数据可以是与一个或多个原型数据的相似度满足相似度阈值，即待处理数据可同时属于一个或多个类。
基于满足相似度条件的原型数据，确定用于对待处理数据进行处理的至少一个目标模型，具体的，调用每一满足相似度条件的原型数据对应的学生网络模型，作为目标模型。将待处理数据分别输出至目标模型中，得到各个目标模型输出的处理结果。
在目标模型为一个的情况下，将该目标模型的处理结果确定为待处理数据的处理结果；在目标结果为两个或两个以上的情况下，基于多个目标模型的处理结果确定待处理数据的处理结果，示例性的，可以是将多个目标模型的处理结果进行均值处理，得到待处理数据的处理结果，还可以是对多个目标模型的处理结果进行加权处理，得到待处理数据的处理结果，还可以是基于预设的结果处理规则对多个目标模型的处理结果进行处理，得到待处理数据的处理结果，对此不作限定，其中，预设的结果处理规则可以是基于处理结果的类型确定。
本实施例提供的技术方案，在云平台上通过存储空间小、算力消耗小的多个学生网络模型替代存储空间大、算力消耗大的处理模型，减少了模型在云平台的存储占用，以及在对数据处理过程中消耗的算力，同时由于学生网络模型中网络参数少，计算速度快，提高了待处理数据的处理效率。对于每一待处理处理，通过待处理数据与各学生网络模型对应的原型数据的相似度，调用一个或多个的学生网络模型作为目标模型，对待处理数据进行处理，在保证了对待处理数据的处理精度的基础上，提高了处理效率，并减少了对云平台的存储压力和算力压力。
在上述实施例的基础上，编码器与原型存储器是预先经过训练得到，具体的，该编码器与原型存储器的样本数据可以是各学生网络模型的样本数据的集合。
可选的，编码器与原型存储器的确定方法包括：构建一自编码网络模型，基于预设的样本数据对所述自编码网络模型进行训练，在所述自编码网络模型满足训练条件时，得到所述编码器与所述原型存储器。其中，所述自编码网络结构包括编码器、原型寻址模块、解码器和原型存储器，所述编码器用于提取输入数据的特征信息，所述原型存储器用于存储原型数据，所述原型寻址模块用于基于与所述输入数据的相似原型数据进行特征重组，所述解码器用于基于重组后的特征信息进行数据重建。
示例性的，参见图2，图2是本发明实施例提供的一种自编码网络模型的结构示意图。该自编码网络模型中的编码器和解码器可以分别为神经网络模块，可分别包括一个或多个卷积块，每一卷积块中可包括多个卷积层。在一些实施例中，卷积块可以是残差块。在一些实施例中，卷积块中还包括设置在各卷积层之后的池化层、激活函数层等。需要说明的是，编码器和解码器的结构不作限定，可根据用户需求设置。
基于样本数据对自编码网络模型进行自监督的迭代训练，将样本数据输入至自编码网络模型中，具体的，编码器对输入的样本数据提取特征，得到特征信息，将特征信息输入至原型存储器，原型存储器将特征信息转换至特征空间，并确定该特征信息与已存储的特征信息的进行聚类处理，确定该特征信息与各类的原型数据的距离信息，通过距离信息确定特征信息所属的类，以及特征信息与各原型数据的相似度。其中，原型存储器为一个外部存储模块，具有K个原型位置，用于保存训练数据中的K个原型数据。可选的，K个原型数据可以是训练过程中样本数据的特征信息经聚类处理得到的K个类中，每一类的类中心位置处的特征信息。需要说明书的是，原型存储器中存储的原型数据的数量可以是小于或等于K，且在训练过程中，原型存储器中存储的原型数据随训练过程更新，以优化原型数据。其中，对原型数据的优化包括优化各类的类中心对应的原型数据，以及优化原型数据的数量。
原型寻址模块基于特征信息与各原型数据的相似度确定相似原型数据，示例性的，相似原型数据可以是预设数量(例如可以是三个)的原型数据，例如基于特征信息与各原型数据的相似度对各原型数据进行排序，基于排序筛选预设数量的原型数据作为相似原型数据，对各相似原型数据进行数据融合，得到重组后的特征信息，其中，对各相似原型数据进行数据融合可以是基于各原型数据与特性信息的相似度，确定对应原型数据的权重，基于权重对各相似原型数据进行特融合。示例性的，对各原型数据与特性信息的相似度进行归一化处理，得到对应原型数据的权重。在一些可选实施例中，特征信息与原型数据可以是矩阵或者向量的形式，对此不作限定。
解码器对重组后的特征进行数据重建，示例性的，以样本数据为图像数据为例，解码器用于将重组后的特征信息重建为输出图像，以样本数据为文本数据为例，解码器用于将重组后的特征信息重建为文本数据。
自编码网络模型的输入数据作为输出数据的监督数据，实现对自编码网络模型自监督训练，无需手动设置监督数据，减少了对数据的预处理过程，简化了训练过程。生成损失函数，基于损失函数调节自编码网络模型的网络参数，以实现对自编码网络模型的训练。
其中，自编码网络模型训练过程中的损失函数包括：基于输入数据和输出数据的重建损失函数，以及，在输入数据与任意两原型数据的距离差值小于预设值的情况下，生成原型分离损失函数。重建损失函数为输入数据和输出数据的一致性损失函数，基于输入数据和输出数据确定。可选的，重建损失函数可以包括但不限于平方损失函数、绝对值损失函数、交叉熵代价函数、均方根误差、均方误差、平均绝对误差，对此不作限定。
对于输入数据，确定该输入数据的特征信息与原型存储器中已存储的原型数据的距离，并确定输入数据与任意两原型数据的距离差值。原型存储器中各原型数据之间的距离越远，表明原型数据越具有代表性，不会与其他原型数据的类区域冲突。本实施例中，通过原型分离损失函数控制上述原型数据之间的距离。在输入数据与任意两原型数据的距离差值小于预设值的情况下，对自编码网络模型施加惩罚，以拉远原型数据之间的距离。相应的，原型分离损失函数基于上述任意两原型数据的距离差值与标准距离差值确定，该原型分离损失函数可以包括但不限于平方损失函数、Hinge loss、均方误差等等。
参见图2，重建损失函数从解码器的输出端反向输入至自编码网络模型，原型分离损失函数从原型存储器的输出端反向输入至自编码网络模型，从而对自编码网络模型进行网络参数的调节。在一些可选的实施例中，对自编码网络模型的网络参数调节可以是基于梯度下降法实现。
迭代执行上述训练过程，在满足训练条件的情况下，确定自编码网络模型训练完成，并将训练完成的自编码网络模型中的编码器和原型存储器确定为训练完成的编码器和原型存储器，用于对待处理数据进行分类。其中，训练条件可以是预设训练次数、预设训练精度或者训练过程实现收敛的一项或多项。
在上述实施例的基础上，基于训练得到的编码器和原型存储器，对样本数据进行分类处理，并基于各类型的样本数据训练学生网络模型。示例性的，参见图3，图3是本发明实施例提供的学生网络模型的训练过程示意图。
可选的，学生网络模型的训练方法，包括：获取样本数据集，基于所述样本数据集中的各样本数据与各原型数据的相似度，将所述样本数据划分为多个样本子集；对于每一样本子集中的样本数据，基于原始模型确定所述样本数据的伪标签，并基于所述样本子集中的样本数据和对应的伪标签对一初始网络模型训练得到一学生网络模型。
对于原始数据，即样本数据集中的样本数据，通过编码器对原始数据提取特征，并将提取的特征信息在原型存储器中确定与各原型数据的相似度，在满足与任一原型数据的相似度大于相似度阈值的情况下，将该原型数据划分至该原型数据对应的样本子集中。需要说明的是，在任一原始数据与多个原型数据的相似度大于相似度阈值的情况下，该原始数据可划分至多个样本子集中，示例性的，参见图3中K个数据组。通过原型数据对原始数据进行划分，形成多个类对应的样本子集，用于分别对不同的学生网络模型进行训练，降低了每一学生网络模型的样本数据的多样性，便于对学生网络模型进行快速训练，已达到收敛。
预先训练的原始模型作为教师网络模型，该原始模型可用于处理任务的所有类型数据均可进行处理，例如可以是预先封装好的处理模型。对于每一样本子集中的各个样本数据，将样本数据输入至原始模型中，将原始模型的输出结果作为该样本数据的伪标签。基于样本子集中的样本数据以及对应的伪标签，训练一学生网络模型，相应的，每一样本子集的样本数据分别可训练得到对应的学生网络模型。不同的学生网络模型可并行训练，加快的学生网络模型的训练效率。
上述训练完成的各学生网络模型用于对所属类型的待处理数据进行处理，以得到处理结果。参见图4，图4是本发明实施例提供的一种待处理数据的处理流程示意图。图4中，对于待处理数据，即新数据，通过编码器提取特征信息，并在原型存储器中分别计算与各原型数据的相似度，在仅有一个超过相似度阈值的原型数据的情况下，将该匹配得到的原型数据对应的学生网络模型作为目标模型，对待处理数据处理得到处理结果，即预测结果。在有多个超过相似度阈值的原型数据的情况下，将每一个超过相似度阈值的原型数据的对应的学生网络模型确定为分别确定目标模型，将待处理数据输入至各个目标模型中，得到预测结果集合，基于各个目标模型的预测结果确定最终的预测结果。在没有超过相似度阈值的原型数据的情况下，即待处理数据和多个原型数据的相似度均不满足各学生网络模型的匹配条件，则基于所述原始模型对所述待处理数据进行处理，得到处理结果。其中，原始模型可以是配置在云平台上，可直接调用。原始模型还可以是配置在服务器中，基于待处理数据生成处理请求，将处理请求发送至服务器，以使服务器调用原始模型对待处理数据进行处理，并反馈处理结果。
通过设置原始模型，用于处理各学生网络模型能力之外的数据，避免学生网络模型的局限性，提高了对数据的处理精度。
在上述实施例的基础上，所述方法还包括：将所述原始模型处理的待处理数据存储在独立数据集中，在所述独立数据集中数据满足训练条件的情况下，基于所述独立数据集确定新增原型数据，以及训练新增学生网络模型。其中，训练条件可以是预设的训练周期，或者预设的数据量。其中，预设的训练周期可以是学生网络模型的更新训练周期，例如可以是1天、1星期或者一个月等。预设的数据量可以是独立数据集中的累计数据量，例如可以是1000或者2000等，对此不作限定。
通过独立数据集中新增数据，对自编码网络模型进行优化信息，以更新原型存储器中的原型数据，例如可以是新增原型数据，或者，对已存储的原型数据进行更新等。基于更新后的编码器和原型存储器，对样本数据进行划分，并基于划分后的数据优化学生网络模型，示例性的，在存在新增原型数据的情况下，基于该新增原型数据所属类的样本数据，训练一新增学生网络模型；在已存储的原型数据变更的情况下，基于变更的原型数据所属类的样本数据，对对应的学生网络模型进行优化训练。
通过对新增类型的数据进行独立存储，并优化学生网络模型，提高学生网络模型的涵盖范围，提高学生网络模型的学习能力和处理能力，提高对数据的处理精度。
图5是本发明实施例提供的一种云平台的任务调度装置的结构示意图，该装置包括：
数据相似度确定模块210，用于获取待处理数据，分别确定所述待处理数据和多个原型数据的相似度；
目标模型确定模块220，用于基于所述相似度在云平台上预设的多个学生网络模型中确定至少一个目标模型，其中，所述每一学生网络模型分别基于对应原型数据的相似数据集训练得到；
第一数据处理模块230，用于基于所述至少一个目标模型对所述待处理数据进行处理，得到所述待处理数据的处理结果。
可选的，数据相似度确定模块210用于：
基于预设编码器提取得到待处理数据的特征信息；
对提取的特征信息与原型存储器中的多个原型数据分别计算相似度。
可选的，所述编码器与所述原型存储器的确定方法包括：
构建一自编码网络模型，其中，所述自编码网络结构包括编码器、原型寻址模块、解码器和原型存储器，所述编码器用于提取输入数据的特征信息，所述原型存储器用于存储原型数据，所述原型寻址模块用于基于与所述输入数据的相似原型数据进行特征重组，所述解码器用于基于重组后的特征信息进行数据重建；
基于预设的样本数据对所述自编码网络模型进行训练，在所述自编码网络模型满足训练条件时，得到所述编码器与所述原型存储器。
可选的，所述自编码网络模型训练过程中的损失函数包括：基于输入数据和输出数据的重建损失函数，以及，在输入数据与任意两原型数据的距离差值小于预设值的情况下，生成原型分离损失函数。
可选的，所述学生网络模型的训练方法，包括：
获取样本数据集，基于所述样本数据集中的各样本数据与各原型数据的相似度，将所述样本数据划分为多个样本子集；
对于每一样本子集中的样本数据，基于原始模型确定所述样本数据的伪标签，并基于所述样本子集中的样本数据和对应的伪标签对一初始网络模型训练得到一学生网络模型。
可选的，所述云平台上还设置有原始模型；
该装置还包括：
第二数据处理模块，用于若所述待处理数据和多个原型数据的相似度，均不满足各学生网络模型的匹配条件，则基于所述原始模型对所述待处理数据进行处理，得到处理结果。
可选的，该装置还包括：
模型更新模块，用于将所述原始模型处理的待处理数据存储在独立数据集中，在所述独立数据集中数据满足训练条件的情况下，基于所述独立数据集确定新增原型数据，以及训练新增学生网络模型。
本发明实施例所提供的云平台的任务调度装置可执行本发明任意实施例所提供的云平台的任务调度方法，具备执行云平台的任务调度方法相应的功能模块和有益效果。
图6为本发明实施例提供的一种电子设备的结构示意图。图6示出了适于用来实现本发明实施方式的电子设备12的框图。图6显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。设备12典型的是承担图像分类功能的电子设备。
如图6所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器16，存储装置28，连接不同系统组件(包括存储装置28和处理器16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，ISA)总线，微通道体系结构(Micro Channel Architecture，MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如只读光盘(Compact Disc-Read Only Memory，CD-ROM)、数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储装置28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块26的程序36，可以存储在例如存储装置28中，这样的程序模块26包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网关环境的实现。程序模块26通常执行本发明所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、摄像头、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网关适配器20与一个或者多个网关(例如局域网(Local Area Network，LAN)，广域网Wide Area Network，WAN)和/或公共网关，例如因特网)通信。如图所示，网关适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器16通过运行存储在存储装置28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明上述实施例所提供的云平台的任务调度方法。
本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的云平台的任务调度方法。
当然，本发明实施例所提供的一种计算机可读存储介质，其上存储的计算机程序不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的云平台的任务调度方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的源代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的源代码可以用任何适当的介质传输，包括——但不限于否线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机源代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。源代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网关——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种云平台的任务调度方法，其特征在于，包括：
获取待处理数据，分别确定所述待处理数据和多个原型数据的相似度；
基于所述相似度在云平台上预设的多个学生网络模型中确定至少一个目标模型，其中，所述每一学生网络模型分别基于对应原型数据的相似数据集训练得到；
基于所述至少一个目标模型对所述待处理数据进行处理，得到所述待处理数据的处理结果。
2.根据权利要求1所述的方法，其特征在于，所述分别确定所述待处理数据和多个原型数据的相似度，包括：
基于预设编码器提取得到待处理数据的特征信息；
对提取的特征信息与原型存储器中的多个原型数据分别计算相似度。
3.根据权利要求2所述的方法，其特征在于，所述编码器与所述原型存储器的确定方法包括：
构建一自编码网络模型，其中，所述自编码网络结构包括编码器、原型寻址模块、解码器和原型存储器，所述编码器用于提取输入数据的特征信息，所述原型存储器用于存储原型数据，所述原型寻址模块用于基于与所述输入数据的相似原型数据进行特征重组，所述解码器用于基于重组后的特征信息进行数据重建；
基于预设的样本数据对所述自编码网络模型进行训练，在所述自编码网络模型满足训练条件时，得到所述编码器与所述原型存储器。
4.根据权利要求3所述的方法，其特征在于，所述自编码网络模型训练过程中的损失函数包括：基于输入数据和输出数据的重建损失函数，以及，在输入数据与任意两原型数据的距离差值小于预设值的情况下，生成原型分离损失函数。
5.根据权利要求1所述的方法，其特征在于，所述学生网络模型的训练方法，包括：
获取样本数据集，基于所述样本数据集中的各样本数据与各原型数据的相似度，将所述样本数据划分为多个样本子集；
对于每一样本子集中的样本数据，基于原始模型确定所述样本数据的伪标签，并基于所述样本子集中的样本数据和对应的伪标签对一初始网络模型训练得到一学生网络模型。
6.根据权利要求1所述的方法，其特征在于，所述云平台上还设置有原始模型；
所述方法还包括：
若所述待处理数据和多个原型数据的相似度，均不满足各学生网络模型的匹配条件，则基于所述原始模型对所述待处理数据进行处理，得到处理结果。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
将所述原始模型处理的待处理数据存储在独立数据集中，在所述独立数据集中数据满足训练条件的情况下，基于所述独立数据集确定新增原型数据，以及训练新增学生网络模型。
8.一种云平台的任务调度装置，其特征在于，包括：
数据相似度确定模块，用于获取待处理数据，分别确定所述待处理数据和多个原型数据的相似度；
目标模型确定模块，用于基于所述相似度在云平台上预设的多个学生网络模型中确定至少一个目标模型，其中，所述每一学生网络模型分别基于对应原型数据的相似数据集训练得到；
第一数据处理模块，用于基于所述至少一个目标模型对所述待处理数据进行处理，得到所述待处理数据的处理结果。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的云平台的任务调度方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的云平台的任务调度方法。
CN202111493910.4A 2021-12-08 2021-12-08 一种云平台的任务调度方法、装置、存储介质及电子设备 Pending CN114185657A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111493910.4A CN114185657A (zh) 2021-12-08 2021-12-08 一种云平台的任务调度方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111493910.4A CN114185657A (zh) 2021-12-08 2021-12-08 一种云平台的任务调度方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN114185657A true CN114185657A (zh) 2022-03-15

Family

ID=80603883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111493910.4A Pending CN114185657A (zh) 2021-12-08 2021-12-08 一种云平台的任务调度方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN114185657A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115766489A (zh) * 2022-12-23 2023-03-07 中国联合网络通信集团有限公司 数据处理设备、方法及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115766489A (zh) * 2022-12-23 2023-03-07 中国联合网络通信集团有限公司 数据处理设备、方法及存储介质

Similar Documents

Publication Publication Date Title
AU2019200270B2 (en) Concept mask: large-scale segmentation from semantic concepts
EP3940591A1 (en) Image generating method, neural network compression method, and related apparatus and device
US11100399B2 (en) Feature extraction using multi-task learning
EP3467723B1 (en) Machine learning based network model construction method and apparatus
CN111523640B (zh) 神经网络模型的训练方法和装置
WO2023160472A1 (zh) 一种模型训练方法及相关设备
US11373117B1 (en) Artificial intelligence service for scalable classification using features of unlabeled data and class descriptors
US11003910B2 (en) Data labeling for deep-learning models
CN113434683B (zh) 文本分类方法、装置、介质及电子设备
KR20210076691A (ko) 프레임워크 간 뉴럴 네트워크의 학습을 검증하는 방법 및 장치
CN112668690B (zh) 神经网络模型压缩的方法和计算机系统
CN115512005A (zh) 一种数据处理方法及其装置
CN113128478A (zh) 模型训练方法、行人分析方法、装置、设备及存储介质
CN112418320A (zh) 一种企业关联关系识别方法、装置及存储介质
US20200019618A1 (en) Vectorization of documents
CN113011531A (zh) 分类模型训练方法、装置、终端设备及存储介质
CN116737895A (zh) 一种数据处理方法及相关设备
CN117296064A (zh) 计算环境中的可解释人工智能
CN114065915A (zh) 网络模型的构建方法、数据处理方法、装置、介质及设备
CN110781849A (zh) 一种图像处理方法、装置、设备及存储介质
CN114185657A (zh) 一种云平台的任务调度方法、装置、存储介质及电子设备
US11935271B2 (en) Neural network model compression with selective structured weight unification
CN111445545B (zh) 一种文本转贴图方法、装置、存储介质及电子设备
WO2024001653A1 (zh) 特征提取方法、装置、存储介质及电子设备
US20230214695A1 (en) Counterfactual inference management device, counterfactual inference management method, and counterfactual inference management computer program product

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination