CN105550746A - 机器学习模型的训练方法和训练装置 - Google Patents

机器学习模型的训练方法和训练装置 Download PDF

Info

Publication number
CN105550746A
CN105550746A CN201510897584.1A CN201510897584A CN105550746A CN 105550746 A CN105550746 A CN 105550746A CN 201510897584 A CN201510897584 A CN 201510897584A CN 105550746 A CN105550746 A CN 105550746A
Authority
CN
China
Prior art keywords
model
attribute
data
training
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510897584.1A
Other languages
English (en)
Other versions
CN105550746B (zh
Inventor
周舒畅
姚聪
周昕宇
吴文昊
倪泽堃
曹志敏
印奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Beijing Aperture Science and Technology Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Beijing Aperture Science and Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd, Beijing Aperture Science and Technology Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201510897584.1A priority Critical patent/CN105550746B/zh
Publication of CN105550746A publication Critical patent/CN105550746A/zh
Application granted granted Critical
Publication of CN105550746B publication Critical patent/CN105550746B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/082Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种机器学习模型的训练方法和训练装置。该方法包括:步骤S110,接收训练数据和机器学习模型的属性指标;步骤S130,根据属性指标中的至少一部分、利用模型数据库确定训练模型,其中模型数据库包括机器学习模型及其属性数据;步骤S150,利用训练数据对训练模型进行训练,以获得经训练的模型及其属性数据;步骤S170,根据经训练的模型的属性数据确定经训练的模型是否满足属性指标,对于经训练的模型不满足属性指标的情况,转步骤S130,直至获得满足属性指标的模型。上述方法和装置,在训练过程中无需用户修改模型,不要求用户具有模型调优的相关经验。从而,节约了用户的时间和精力,并且显著地扩大了机器学习模型的可能用户群。

Description

机器学习模型的训练方法和训练装置
技术领域
本发明涉及机器学习领域,具体涉及一种机器学习模型的训练方法和训练装置。
背景技术
机器学习是一门研究机器获取新知识和新技能,并识别现有知识的学问。这里所说的“机器”包括计算机,例如:电子计算机、中子计算机、光子计算机或神经计算机等等。随着科学技术的进步,很多机器学习模型应运而生,例如:遗传算法、进化算法、神经网络、支持向量机等。
目前的机器学习模型一般按如下方式进行训练。首先,接收用户预先准备好的训练数据和系统目标。然后,利用训练数据对一种可能的机器学习模型进行训练。训练产生新的模型后,用户评估该新的模型是否满足系统目标。如不满足则由用户修改模型,基于用户所修改的模型再次进行训练。直至最后用户获得满意的机器学习模型。
在以上训练过程中,假设训练数据不变,则修改模型的操作对用户要求最高。这需要用户有根据系统目标修改模型的能力,即要求用户熟知模型的各种变体并有丰富的模型调优经验。这样增加了用户负担并且产生了只有少数专家才能有效进行机器学习模型训练的问题。
发明内容
鉴于上述问题,提出了本发明以便提供一种至少部分地解决上述问题的机器学习模型的训练方法和训练装置。
根据本发明一个方面,提供了一种机器学习模型的训练方法,包括:
步骤S110,接收训练数据和机器学习模型的属性指标;
步骤S130,根据所述属性指标中的至少一部分、利用模型数据库确定训练模型,其中所述模型数据库包括机器学习模型及其属性数据;
步骤S150,利用所述训练数据对所述训练模型进行训练,以获得经训练的模型及其属性数据;
步骤S170,根据所述经训练的模型的属性数据确定所述经训练的模型是否满足所述属性指标,对于所述经训练的模型不满足所述属性指标的情况,转所述步骤S130,直至获得满足所述属性指标的模型。
根据本发明另一个方面,还提供了一种机器学习模型的训练装置,包括:
输入模块,用于接收训练数据和机器学习模型的属性指标;
初定模块,用于根据所述属性指标中的至少一部分、利用模型数据库确定训练模型,其中所述模型数据库包括机器学习模型及其属性数据;
训练模块,用于利用所述训练数据对所述训练模型进行训练,以获得经训练的模型及其属性数据;以及
确定模块,用于根据所述经训练的模型的属性数据确定所述经训练的模型是否满足所述属性指标,对于所述经训练的模型不满足所述属性指标的情况,启动所述初定模块,直至获得满足所述属性指标的模型。
本发明所提供的上述机器学习模型的训练方法和训练装置,在训练过程中无需用户修改模型,不要求用户具有模型调优的相关经验。从而,节约了用户的时间和精力,并且显著地扩大了机器学习模型的可能用户群。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中
图1示出了根据本发明一个实施例的机器学习模型的训练方法的流程
图2示出了根据本发明另一个实施例的机器学习模型的训练方法的流程
图3示出了根据本发明一个实施例的机器学习模型的训练装置的示意性框;以及
图4示出了根据本发明另一个实施例的机器学习模型的训练装置的示意性框
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
为了避免机器学习模型的训练过程必须由用户参与,导致浪费用户时间和精力并且仅可由相关领域专家才能完成的问题,本发明提供了一种机器学习模型的训练方法。如上所述,机器学习模型可以包括神经网络、支持向量机、遗传算法等任何能够通过经验学习改善运行性能的模型。在以下实施例中,以神经网络为例来进行说明,神经网络仅为示例而非对本发明的限制。
图1示出了根据本发明一个实施例的机器学习模型的训练方法100的流程如图1所示,该方法100包括步骤S110、步骤S130、步骤S150和步骤S170。
在步骤S110中,接收训练数据和机器学习模型的属性指标。
机器学习模型可以应用到各种场景中,例如分类场景、问题求解场景等。训练数据与机器学习模型在应用中的输入数据类型一致。假设机器学习模型用于对图像中的前景进行人脸识别,那么训练数据可以包括多个图像,这些图像已经标记了是否具有人脸,甚至标记了人脸的位置。本领域普通技术人员可以理解,训练数据可以包括各种类型的数据,例如:图像数据、语音数据、文本数据等等。
机器学习模型可能划分为很多不同的构型。每个构型可以包括很多具体的模型。同一构型的机器学习模型是具有相同拓扑结构的模型。例如,对于神经网络来说,构型相同意味着神经网络的神经元(节点)类型以及神经元之间的连接关系均相同。模型是指已经确定了全部参数的值的构型。形象地说,构型决定了神经网络的结构,例如几层,每层有多少节点,都是哪种类型的节点以及节点之间如何连接。模型是具体的某一个特定的神经网络。对于训练过程来说,训练不改变神经网络的构型,仅改变神经网络的模型。
模型的属性指标是模型的属性数据的用户所期待的指标。每个模型有其独有的属性数据。属性指标限定了模型的属性数据的范围,也就一定程度上限定了模型。
可选地,模型的属性数据包括以下项中的至少一项:模型的输入数据的属性、模型的参数的个数、模型针对输入数据和运行平台的计算速度以及模型针对输入数据和运行平台的计算精度。
输入数据的属性包括模型的输入数据的类型和维度数。每个模型对于输入数据可能有限制,特别是输入数据的属性。例如,某特定神经网络可能要求输入数据是40*40像素的图像。如果输入数据是1280*720像素的图像,那么该神经网络可能无法计算处理。在模型的属性指标中对输入数据的属性进行限制,可以迅速定位到适合的神经网络,避免对于不适合的神经网络的无谓训练。
模型的参数的个数是模型的一个重要属性数据,其标识了存储模型所需的物理空间的大小,例如100M,1G等。参数个数越少,那么模型越小。
模型还有些属性数据表征了模型完成运算的结果,这通常是用户非常关心和关注的。例如:模型针对输入数据和运行平台的计算速度和计算精度。计算速度值可以是模型从接收输入数据的时刻到输出输出结果的时刻之间的时间。例如,某特定神经网络对1024*720像素的图像进行人脸识别的速度为25秒/次。计算精度可以用模型对经标记的输入数据进行运算而获得的输出结果的准确性来表示。例如,某特定神经网络对1024*720像素的图像集合进行人脸识别的计算精度为75%。
可以理解,对于同一个模型来说,计算速度和计算精度可能因为接收输入数据的不同而不同。例如,对于较小的图像,神经网络的计算速度会较快,对于较大的图像则相反。此外,对于同一个模型来说,计算速度和计算精度还可能因为运行平台的不同而不同。运行平台例如各体系结构的CPU和GPU等。所以,模型的属性数据可以包括针对不同输入数据的、不同运行平台的计算速度和计算精度。
通过属性指标对计算速度和计算精度进行限制,可以帮助用户训练得到其期望的模型,提高了用户体验。
在步骤S130中,根据属性指标中的至少一部分、利用模型数据库确定训练模型。
模型数据库包括机器学习模型及其属性数据。模型数据库中的模型可以包括同一构型的不同模型和/或不同构型的模型。模型数据库中还包括其中每个模型的属性数据。如上所述,属性数据可以包括:模型的输入数据的属性、模型的参数的个数、模型针对输入数据和运行平台的计算速度和/或模型针对输入数据和运行平台的计算精度。
模型数据库可以由用户,例如具有模型调优经验的专家,添加模型,由此可以直接增强训练方法的推荐模型能力。模型数据库中的部分模型以及相应的属性数据可以是用户私有的,从而可以有效保护用户的知识产权
当进行机器学习模型的训练时,可以根据属性指标中的一部分或者其全部来确定训练模型。例如,根据模型的输入数据的属性和参数个数从模型数据库中选择训练模型。当某模型的上述两属性数据均与属性指标匹配时,那么就将其作为训练模型。如果用户非常在意模型的计算精度,那么可以忽略其他部分属性数据,例如模型的计算速度,仅根据计算精度来确定训练模型。
在步骤S150中,利用训练数据对训练模型进行训练,以获得经训练的模型及其属性数据。整个训练过程不会改变模型的构型,仅改变模型的参数。通过训练可以获得经训练的模型,与此同时可以获得模型的属性数据。有些属性数据与模型的运行无关,其是模型的本身属性,例如模型的输入数据的属性和参数的个数。这类属性数据的指标可以称为硬指标。相反,有些属性数据与模型的运行有关,例如模型针对输入数据和运行平台的计算速度和计算精度。在利用训练数据对训练模型进行训练后,可以获得模型的这些属性数据。
在步骤S170中,根据经训练的模型的属性数据确定经训练的模型是否满足属性指标。具体地,在这里,可以进行如下判断:
1.经训练的模型的计算速度是否高于属性指标中的速度指标;
2.经训练的模型的计算精度是否高于属性指标中的精度指标。
根据上述判断结果可以确定经训练的模型是否满足属性指标。
可选地,对于经训练的模型满足属性指标的情况,那么经训练的模型即为期望的结果。可以输出该模型。对于经训练的模型不满足属性指标的情况,转步骤S130,根据属性指标中的至少一部分、利用模型数据库重新确定训练模型。接着针对所重新确定的训练模型,进行步骤S150和步骤S170。重复上述过程,直至获得满足属性指标的模型。
上述机器学习模型的训练方法的执行过程中无需用户修改模型,因此该方法不要求用户具有模型调优的相关经验。一方面,该方法节约了用户的时间和精力;另一方面,显著地扩大了机器学习模型的可能用户群。
可选地,上述步骤S130可以进一步包括以下子步骤。
步骤S131,根据属性指标中的至少一部分,从模型数据库中选择多个模型。在此步骤中,可以根据所接收的属性指标,如速度指标和输入数据的属性指标,粗筛出一组可能适用的模型。可以理解,硬指标所限定的属性数据可以精确确定。但是,软指标所限定的属性数据需要估计,例如模型的速度根据参数个数估计。
步骤S132,组合步骤S131中所选择的多个模型,以生成训练模型。可选地,该组合操作利用所选择的多个模型对输入数据投票的方法来获得训练模型。又可选地,可以从所选择的每个模型中选择一部分,然后,将所选的部分组合起来,以生成训练模型。例如从多个神经网络中,每个选择一层或多层,然后将所选择的层组合在一起,生成训练模型。
步骤S131和步骤S132使得训练模型不再局限于模型数据库中的模型,提高了训练得到理想模型的可能性。
可选地,上述步骤S130进一步包括步骤S131’:根据属性指标中的至少一部分,从模型数据库中选择模型以作为训练模型。具体地,可以先从模型数据库中粗筛出一组确定符合硬指标和估计符合软指标的模型M1、M2、…、Mn。然后利用启发式排序方法,从M1、M2、…、Mn中选择一个模型Mk(其中0<k<n+1)作为训练模型。启发式排序算法依据的分数可以是估计速度和估计精度的加权和。即,速度越高则模型越好,精度越高则模型越好。
直接从模型数据库中选择训练模型操作简单,实现容易。此外,启发式排序方法在一个寻求最优解的过程中能够根据个体或者全局的经验来改变其搜索路径。特别适合于这里难于确定训练模型的情况,对于本发明,启发式策略是一个更高效的获得训练模型的方法。
可选地,上述属性指标指定了目标运行平台以及与运行平台有关的相应属性指标。如上所述,对于同一个模型而言,有些属性数据因运行平台不同而不同,例如:模型针对输入数据和运行平台的计算速度和/或计算精度。这两个属性数据通常是用户非常关注的。模型数据库中可能包括用于多个运行平台的属性数据。如果模型数据库中的属性数据有针对目标运行平台的,那么上述步骤S130中可以直接根据该属性数据确定训练模型。对于模型数据库中的属性数据没有针对目标运行平台的属性数据的情况,上述步骤S130可以进一步包括以下子步骤:首先,根据目标运行平台与其他运行平台之间的相似度以及模型在其他运行平台上的属性数据,计算模型数据库中的模型在目标运行平台上的属性数据。然后,根据在目标运行平台上的属性数据和与运行平台有关的属性指标,确定训练模型。
这里,通过运行平台之间相似度的联系,使得即使模型数据库中缺乏目标运行平台的相关数据时,也能更合理地确定训练模型。
可选地,上述在目标运行平台p上的属性数据d的计算是根据以下公式:
d = S ( p 1 , p ) d 1 + S ( p 2 , p ) d 2 + ... + S ( p n , p ) d n S ( p 1 , p ) + S ( p 2 , p ) + ... + S ( p n , p ) ,
其中,p1,p2,…,pn表示其他运行平台。n为其他运行平台的个数,其为大于0的整数。dk表示在对应的运行平台pk上的属性数据,k为索引。函数S表示两个平台之间的相似度。具体例如,如果平台A和平台B指令集不同,可以视为二者相似度为0。如果平台A和平台B指令集相同,例如均为X86CPU,则可以将每个平台的特征组成特征向量并计算两个特征向量的余弦相似度,以作为平台之间的相似度。平台的特征可以包括以下特征中的至少两个:平台的主频、每拍乘法指令发射数和高速缓存大小等。
本领域普通技术人员可以理解,除了利用上述方式计算目标运行平台上的属性数据。也可以采用其他方式。例如直接选择与目标运行平台的相似度最大的一个运行平台的属性数据作为目标运行平台上的属性数据。与这种方式相比,上述利用公式计算的属性数据更具合理性。由此,可以使训练方法获得更理想的模型。
图2示出了根据本发明另一个实施例的机器学习模型的训练方法200的流程如图2所示,该方法200包括步骤S210、步骤S230、步骤S250、步骤S260、步骤S270和步骤S280。其中步骤S210、步骤S230、步骤S250和步骤S270分别与上述方法100中的相应步骤类似,为了简洁,在此不再赘述。
如图2所示,在步骤S250之后,方法200进一步包括步骤S260,将经训练的模型以及经训练的模型的属性数据存入模型数据库。该步骤更新了模型数据库,使其数据更充实。通过步骤S260,模型数据库可以随着训练次数的增加而增大。相应地,训练方法的模型推荐能力也得以逐渐增强。
可选地,在步骤S230之前,方法200进一步包括步骤S280:调整属性指标,以用于下一次确定训练模型。该调整可以根据用户的实时输入指令进行。也可以根据预先设定的规则自动进行。
该调整属性指标的步骤使得方法200更具灵活性,能够更好地提高用户体验。
本领域普通技术人员可以理解,方法200中的步骤以及其中的执行顺序仅为示例,而非限制。例如步骤S260可以在步骤S270之后执行,而非如图2所示,紧随步骤S250执行。
根据本发明另一方面,还提供了一种机器学习模型的训练装置。图3示出了根据本发明一个实施例的机器学习模型的训练装置300。如图3所示,该训练装置300包括输入模块310、初定模块330、训练模块350和确定模块370。
输入模块310用于接收训练数据和机器学习模型的属性指标。初定模块330用于根据属性指标中的至少一部分、利用模型数据库确定训练模型。其中模型数据库包括机器学习模型及其属性数据。训练模块350用于利用训练数据对训练模型进行训练,以获得经训练的模型及其属性数据。确定模块370用于根据经训练的模型的属性数据确定经训练的模型是否满足属性指标,对于经训练的模型不满足属性指标的情况,启动初定模块330,直至获得满足属性指标的模型。
属性数据可以包括以下项中的至少一项:模型的输入数据的属性、模型的参数的个数、模型针对输入数据和运行平台的计算速度以及计算精度。
根据本发明一个示例,属性指标包括目标运行平台以及与运行平台有关的属性指标。初定模块330进一步包括平台属性数据计算单元和训练模型确定单元。
平台属性数据计算单元用于根据目标运行平台与其他运行平台之间的相似度以及模型在其他运行平台上的属性数据,计算模型数据库中的机器学习模型在目标运行平台上的属性数据。训练模型确定单元用于根据在目标运行平台上的属性数据和与运行平台有关的属性指标,确定训练模型。
可选地,平台属性数据计算单元是根据以下公式计算模型在目标运行平台p上的属性数据d。
d = S ( p 1 , p ) d 1 + S ( p 2 , p ) d 2 + ... + S ( p n , p ) d n S ( p 1 , p ) + S ( p 2 , p ) + ... + S ( p n , p ) ,
其中,p1,p2,…,pn表示其他运行平台,n为其他运行平台的个数,函数S表示两个平台之间的相似度,dk表示在对应的运行平台pk上的属性数据,k为索引。
根据本发明一个示例,初定模块330进一步包括选择单元和组合单元。该选择单元用于根据属性指标中的至少一部分,从模型数据库中选择多个模型。该组合单元用于组合选择单元所选择的多个模型,以生成训练模型。
根据本发明另一个示例,初定模块330根据属性指标中的至少一部分,从模型数据库中选择模型以作为训练模型。可选地,从模型数据库中选择模型利用启发式排序方法。
图4示出了根据本发明另一个实施例的机器学习模型的训练装置400的示意性框如图4所示,该装置400包括输入模块410、初定模块430、训练模块450和确定模块470,其分别与上述装置400中的相应模块类似,为了简洁,在此不再赘述。
如图4所示,该装置400还可以包括存储模块460,用于将经训练的模型以及经训练的模型的属性数据存入模型数据库。
可选地,该装置400还包括调整模块480,用于调整属性指标,以用于初定模块430确定训练模型。
本领域普通技术人员通过阅读上文关于机器学习模型的训练方法的详细描述,能够理解上述机器学习模型的训练装置的结构、实现以及优点,因此这里不再赘述。
在此提供的方法和装置不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者装置的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的机器学习模型的训练装置中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种机器学习模型的训练方法,包括:
步骤S110,接收训练数据和机器学习模型的属性指标;
步骤S130,根据所述属性指标中的至少一部分、利用模型数据库确定训练模型,其中所述模型数据库包括机器学习模型及其属性数据;
步骤S150,利用所述训练数据对所述训练模型进行训练,以获得经训练的模型及其属性数据;以及
步骤S170,根据所述经训练的模型的属性数据确定所述经训练的模型是否满足所述属性指标,对于所述经训练的模型不满足所述属性指标的情况,转所述步骤S130,直至获得满足所述属性指标的模型。
2.如权利要求1所述的方法,其中,所述属性指标包括目标运行平台以及与运行平台有关的属性指标,所述步骤S130进一步包括:
根据所述目标运行平台与其他运行平台之间的相似度以及模型在所述其他运行平台上的属性数据,计算所述模型数据库中的机器学习模型在所述目标运行平台上的属性数据;
根据所述在所述目标运行平台上的属性数据和所述与运行平台有关的属性指标,确定所述训练模型。
3.如权利要求2所述的方法,其中,所述计算是根据以下公式:
d = S ( p 1 , p ) d 1 + S ( p 2 , p ) d 2 + ... + S ( p n , p ) d n S ( p 1 , p ) + S ( p 2 , p ) + ... + S ( p n , p ) ,
其中,p表示目标运行平台,d表示在目标运行平台上的属性数据,p1,p2,…,pn表示所述其他运行平台,n为所述其他运行平台的个数,函数S表示两个平台之间的相似度,dk表示在对应的运行平台pk上的属性数据,k为索引。
4.如权利要求1至3任一项所述的方法,其中,所述步骤S130进一步包括:
根据所述属性指标中的至少一部分,从所述模型数据库中选择多个模型;以及
组合所述多个模型,以生成所述训练模型。
5.如权利要求1至3任一项所述的方法,其中,所述步骤S130进一步包括:
根据所述属性指标中的至少一部分,从所述模型数据库中选择模型以作为所述训练模型。
6.如权利要求5所述的方法,其中,所述从所述模型数据库中选择模型利用启发式排序方法。
7.如权利要求1至3任一项所述的方法,其中,在所述步骤S150之后,所述方法进一步包括:
将所述经训练的模型以及所述经训练的模型的属性数据存入所述模型数据库。
8.如权利要求1至3任一项所述的方法,其中,在所述步骤S170之后,所述步骤S130之前,所述方法进一步包括:
调整所述属性指标。
9.如权利要求1所述的方法,其中,所述属性数据包括以下项中的至少一项:
模型的输入数据的属性;
模型的参数的个数;
模型针对输入数据和运行平台的计算速度;以及
模型针对输入数据和运行平台的计算精度。
10.一种机器学习模型的训练装置,包括:
输入模块,用于接收训练数据和机器学习模型的属性指标;
初定模块,用于根据所述属性指标中的至少一部分、利用模型数据库确定训练模型,其中所述模型数据库包括机器学习模型及其属性数据;
训练模块,用于利用所述训练数据对所述训练模型进行训练,以获得经训练的模型及其属性数据;以及
确定模块,用于根据所述经训练的模型的属性数据确定所述经训练的模型是否满足所述属性指标,对于所述经训练的模型不满足所述属性指标的情况,启动所述初定模块,直至获得满足所述属性指标的模型。
CN201510897584.1A 2015-12-08 2015-12-08 机器学习模型的训练方法和训练装置 Active CN105550746B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510897584.1A CN105550746B (zh) 2015-12-08 2015-12-08 机器学习模型的训练方法和训练装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510897584.1A CN105550746B (zh) 2015-12-08 2015-12-08 机器学习模型的训练方法和训练装置

Publications (2)

Publication Number Publication Date
CN105550746A true CN105550746A (zh) 2016-05-04
CN105550746B CN105550746B (zh) 2018-02-02

Family

ID=55829927

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510897584.1A Active CN105550746B (zh) 2015-12-08 2015-12-08 机器学习模型的训练方法和训练装置

Country Status (1)

Country Link
CN (1) CN105550746B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447046A (zh) * 2016-10-17 2017-02-22 深圳市彬讯科技有限公司 一种基于机器学习的户型设计方案评测方法
CN107659595A (zh) * 2016-07-25 2018-02-02 阿里巴巴集团控股有限公司 一种评估分布式集群处理指定业务的能力的方法和装置
CN108154222A (zh) * 2016-12-02 2018-06-12 北京市商汤科技开发有限公司 深度神经网络训练方法和系统、电子设备
CN108733722A (zh) * 2017-04-24 2018-11-02 北京京东尚科信息技术有限公司 一种对话机器人自动生成方法及装置
CN109107159A (zh) * 2018-08-13 2019-01-01 深圳市腾讯网络信息技术有限公司 一种应用对象属性的配置方法、装置、设备及介质
CN109165654A (zh) * 2018-08-23 2019-01-08 北京九狐时代智能科技有限公司 一种目标定位模型的训练方法和目标定位方法及装置
CN109165249A (zh) * 2018-08-07 2019-01-08 阿里巴巴集团控股有限公司 数据处理模型构建方法、装置、服务器和用户端
CN109427334A (zh) * 2017-09-01 2019-03-05 王阅 一种基于人工智能的人机交互方法及系统
CN110050240A (zh) * 2016-12-14 2019-07-23 Abb 瑞士有限公司 用于监视技术系统的状态的计算机系统和方法
CN110210624A (zh) * 2018-07-05 2019-09-06 第四范式(北京)技术有限公司 执行机器学习过程的方法、装置、设备以及存储介质
CN110689133A (zh) * 2018-06-20 2020-01-14 深信服科技股份有限公司 一种训练机器学习引擎的方法、系统及相关装置
CN110895718A (zh) * 2018-09-07 2020-03-20 第四范式(北京)技术有限公司 用于训练机器学习模型的方法及系统
CN111241745A (zh) * 2020-01-09 2020-06-05 深圳前海微众银行股份有限公司 逐步模型选择方法、设备及可读存储介质
CN111796925A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 算法模型的筛选方法、装置、存储介质和电子设备
CN112149836A (zh) * 2019-06-28 2020-12-29 杭州海康威视数字技术股份有限公司 一种机器学习程序更新方法、装置及设备
US11062453B2 (en) 2016-12-02 2021-07-13 Beijing Sensetime Technology Development Co., Ltd. Method and system for scene parsing and storage medium
TWI780382B (zh) * 2019-12-05 2022-10-11 新唐科技股份有限公司 微控制器更新系統和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101375221A (zh) * 2005-12-20 2009-02-25 费希尔-罗斯蒙德系统公司 用于根源诊断的规则集
CN101782743A (zh) * 2010-02-11 2010-07-21 浙江大学 神经网络建模方法及系统
CN103026204A (zh) * 2010-07-22 2013-04-03 克拉-坦科股份有限公司 用于自动确定最优参数化的散射测量模型的方法
CN103809438A (zh) * 2012-11-05 2014-05-21 洛克威尔自动控制技术股份有限公司 用于基于模型的控制和优化的安全模型

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101375221A (zh) * 2005-12-20 2009-02-25 费希尔-罗斯蒙德系统公司 用于根源诊断的规则集
CN101782743A (zh) * 2010-02-11 2010-07-21 浙江大学 神经网络建模方法及系统
CN103026204A (zh) * 2010-07-22 2013-04-03 克拉-坦科股份有限公司 用于自动确定最优参数化的散射测量模型的方法
CN103809438A (zh) * 2012-11-05 2014-05-21 洛克威尔自动控制技术股份有限公司 用于基于模型的控制和优化的安全模型

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107659595A (zh) * 2016-07-25 2018-02-02 阿里巴巴集团控股有限公司 一种评估分布式集群处理指定业务的能力的方法和装置
CN107659595B (zh) * 2016-07-25 2021-06-25 阿里巴巴集团控股有限公司 一种评估分布式集群处理指定业务的能力的方法和装置
CN106447046A (zh) * 2016-10-17 2017-02-22 深圳市彬讯科技有限公司 一种基于机器学习的户型设计方案评测方法
CN106447046B (zh) * 2016-10-17 2019-04-19 深圳市彬讯科技有限公司 一种基于机器学习的户型设计方案评测方法
CN108154222A (zh) * 2016-12-02 2018-06-12 北京市商汤科技开发有限公司 深度神经网络训练方法和系统、电子设备
US11062453B2 (en) 2016-12-02 2021-07-13 Beijing Sensetime Technology Development Co., Ltd. Method and system for scene parsing and storage medium
CN108154222B (zh) * 2016-12-02 2020-08-11 北京市商汤科技开发有限公司 深度神经网络训练方法和系统、电子设备
CN110050240A (zh) * 2016-12-14 2019-07-23 Abb 瑞士有限公司 用于监视技术系统的状态的计算机系统和方法
CN108733722B (zh) * 2017-04-24 2020-07-31 北京京东尚科信息技术有限公司 一种对话机器人自动生成方法及装置
CN108733722A (zh) * 2017-04-24 2018-11-02 北京京东尚科信息技术有限公司 一种对话机器人自动生成方法及装置
CN109427334A (zh) * 2017-09-01 2019-03-05 王阅 一种基于人工智能的人机交互方法及系统
CN110689133A (zh) * 2018-06-20 2020-01-14 深信服科技股份有限公司 一种训练机器学习引擎的方法、系统及相关装置
CN110689133B (zh) * 2018-06-20 2023-09-05 深信服科技股份有限公司 一种训练机器学习引擎的方法、系统及相关装置
CN110210624A (zh) * 2018-07-05 2019-09-06 第四范式(北京)技术有限公司 执行机器学习过程的方法、装置、设备以及存储介质
WO2020029689A1 (zh) * 2018-08-07 2020-02-13 阿里巴巴集团控股有限公司 数据处理模型构建方法、装置、服务器和用户端
CN109165249B (zh) * 2018-08-07 2020-08-04 阿里巴巴集团控股有限公司 数据处理模型构建方法、装置、服务器和用户端
CN109165249A (zh) * 2018-08-07 2019-01-08 阿里巴巴集团控股有限公司 数据处理模型构建方法、装置、服务器和用户端
US11210569B2 (en) 2018-08-07 2021-12-28 Advanced New Technologies Co., Ltd. Method, apparatus, server, and user terminal for constructing data processing model
CN109107159B (zh) * 2018-08-13 2019-12-10 深圳市腾讯网络信息技术有限公司 一种应用对象属性的配置方法、装置、设备及介质
CN109107159A (zh) * 2018-08-13 2019-01-01 深圳市腾讯网络信息技术有限公司 一种应用对象属性的配置方法、装置、设备及介质
CN109165654A (zh) * 2018-08-23 2019-01-08 北京九狐时代智能科技有限公司 一种目标定位模型的训练方法和目标定位方法及装置
CN110895718A (zh) * 2018-09-07 2020-03-20 第四范式(北京)技术有限公司 用于训练机器学习模型的方法及系统
CN111796925A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 算法模型的筛选方法、装置、存储介质和电子设备
CN112149836A (zh) * 2019-06-28 2020-12-29 杭州海康威视数字技术股份有限公司 一种机器学习程序更新方法、装置及设备
CN112149836B (zh) * 2019-06-28 2024-05-24 杭州海康威视数字技术股份有限公司 一种机器学习程序更新方法、装置及设备
TWI780382B (zh) * 2019-12-05 2022-10-11 新唐科技股份有限公司 微控制器更新系統和方法
CN111241745A (zh) * 2020-01-09 2020-06-05 深圳前海微众银行股份有限公司 逐步模型选择方法、设备及可读存储介质
CN111241745B (zh) * 2020-01-09 2024-05-24 深圳前海微众银行股份有限公司 逐步模型选择方法、设备及可读存储介质
WO2021139462A1 (zh) * 2020-01-09 2021-07-15 深圳前海微众银行股份有限公司 逐步模型选择方法、设备及可读存储介质

Also Published As

Publication number Publication date
CN105550746B (zh) 2018-02-02

Similar Documents

Publication Publication Date Title
CN105550746A (zh) 机器学习模型的训练方法和训练装置
US11861474B2 (en) Dynamic placement of computation sub-graphs
US6031984A (en) Method and apparatus for optimizing constraint models
Kumar et al. A hybrid multi-agent based particle swarm optimization algorithm for economic power dispatch
JP2005527034A (ja) 大規模離散及び連続最適化問題解法の動的方法
CN108287864A (zh) 一种兴趣群组划分方法、装置、介质及计算设备
US11835928B2 (en) Adaptive mixed integer nonlinear programming for process management
Kebriaei et al. Model-based and learning-based decision making in incomplete information cournot games: a state estimation approach
Palombarini et al. SmartGantt–An intelligent system for real time rescheduling based on relational reinforcement learning
CN111723910A (zh) 构建多任务学习模型的方法、装置、电子设备及存储介质
CN113435606A (zh) 强化学习模型的优化方法、装置、存储介质及电子设备
Dutta et al. Aggregating interrelated attributes in multi-attribute decision-making with ELICIT information based on Bonferroni mean and its variants
CN105138802A (zh) 一种枪管智能设计系统及设计方法
CN109993205A (zh) 时间序列预测方法、装置、可读存储介质及电子设备
CN114511042A (zh) 一种模型的训练方法、装置、存储介质及电子装置
Kumar et al. Hybrid NSGA-II based decision-making in fuzzy multi-objective reliability optimization problem
CN115001978B (zh) 一种基于强化学习模型的云租户虚拟网络智能映射方法
Cui et al. Improved multi-objective artificial bee colony algorithm-based path planning for mobile robots
Thathachar et al. Parallel algorithms for modules of learning automata
Xin et al. Relevance feedback for content-based image retrieval using Bayesian network
Zhang Hesitant fuzzy linguistic information aggregation in decision making
CN105022798A (zh) 一种基于预测关系的离散贝叶斯网络分类数据挖掘方法
CN117829242B (zh) 模型处理方法及相关设备
CN117829149B (zh) 一种语言模型混合训练方法、装置、电子设备和存储介质
Brookhouse et al. Monotonicity in ant colony classification algorithms

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100190 Beijing, Haidian District Academy of Sciences, South Road, No. 2, block A, No. 313

Applicant after: MEGVII INC.

Applicant after: Beijing maigewei Technology Co., Ltd.

Address before: 100190 Beijing, Haidian District Academy of Sciences, South Road, No. 2, block A, No. 313

Applicant before: MEGVII INC.

Applicant before: Beijing aperture Science and Technology Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant