CN105912500B - 机器学习模型生成方法和装置 - Google Patents

机器学习模型生成方法和装置 Download PDF

Info

Publication number
CN105912500B
CN105912500B CN201610192139.XA CN201610192139A CN105912500B CN 105912500 B CN105912500 B CN 105912500B CN 201610192139 A CN201610192139 A CN 201610192139A CN 105912500 B CN105912500 B CN 105912500B
Authority
CN
China
Prior art keywords
machine learning
data
model
learning model
checking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610192139.XA
Other languages
English (en)
Other versions
CN105912500A (zh
Inventor
詹志征
刘志强
沈志勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201610192139.XA priority Critical patent/CN105912500B/zh
Priority to PCT/CN2016/086413 priority patent/WO2017166449A1/zh
Priority to US15/751,008 priority patent/US11531926B2/en
Publication of CN105912500A publication Critical patent/CN105912500A/zh
Application granted granted Critical
Publication of CN105912500B publication Critical patent/CN105912500B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Feedback Control In General (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了机器学习模型生成方法和装置。该方法的一具体实施方式包括：通过生成模型参数组合，以及生成对应于每一个模型参数组合的机器学习模型；将预设机器学习用数据划分为训练数据和验证数据；并行地分别基于训练数据对每一个机器学习模型进行训练；分别基于验证数据对每一个训练后的机器学习模型学习的准确率进行验证，得到验证分数；基于验证分数，确定待生成的机器学习模型对应的最优模型参数组合，以及生成对应于最优模型参数组合的机器学习模型。实现了以并行方式对所有模型参数组合对应的机器学习模型进行训练和验证，提升了整个参数寻优的过程，从而快速生成理想的机器学习模型。

Description

机器学习模型生成方法和装置
技术领域
本申请涉及计算机领域，具体涉及机器学习领域，尤其涉及机器学习模型生成方法和装置。
背景技术
机器学习是被广泛应用的人工智能技术。在生成机器学习模型时，由于配置有不同的参数组合导致机器学习模型的学习效果的不同，因此，需要对模型参数进行寻优。目前，通常在一定范围内按一定步长搜索，查找出所有该范围内的模型参数组合，按照顺序对模型参数组合对应的机器学习模型进行训练和验证，即以串行方式进行训练和验证，根据验证的结果确定最优的模型参数组合。
然而，当采用方式确定机器学习模型的最优的模型参数组合时，采用串行的方式对每一个参数组合对应的机器学习模型进行训练和验证，由于训练和验证数据通常是海量级别，每一次训练和验证过程的开销较大，影响后续模型参数组合的训练和验证过程执行进度，进而导致整个模型参数寻优过程速度慢，无法在较短的时间内得到理想的机器学习模型。
发明内容
本申请提供了机器学习模型生成方法和装置，用于解决上述背景技术部分存在的技术问题。
第一方面，本申请提供了机器学习模型生成方法，该方法包括：生成模型参数组合，以及生成对应于每一个模型参数组合的机器学习模型，其中，模型参数指示机器学习模型的输入向量与输出向量之间的关联关系；执行划分操作：将预设机器学习用数据划分为训练数据和验证数据；执行训练与验证操作：并行地分别基于训练数据对每一个机器学习模型进行训练；分别基于验证数据对每一个训练后的机器学习模型学习的准确率进行验证，得到验证分数，验证分数指示机器学习模型基于验证数据而输出的输出向量对应的数据类型与验证数据的数据类型一致的比率；执行模型生成操作：基于验证分数，确定待生成的机器学习模型对应的最优模型参数组合，以及生成对应于最优模型参数组合的机器学习模型。
第二方面，本申请提供了机器学习模型生成装置，该装置包括：生成单元，配置用于生成模型参数组合，以及生成对应于每一个模型参数组合的机器学习模型，其中，模型参数指示机器学习模型的输入向量与输出向量之间的关联关系；划分单元，配置用于执行划分操作：将预设机器学习用数据划分为训练数据和验证数据；处理单元，配置用于执行训练与验证操作：并行地分别基于训练数据对每一个机器学习模型进行训练；分别基于验证数据对每一个训练后的机器学习模型学习的准确率进行验证，得到验证分数，验证分数指示机器学习模型基于验证数据而输出的输出向量对应的数据类型与验证数据的数据类型一致的比率；执行单元，配置用于执行模型生成操作：基于验证分数，确定待生成的机器学习模型对应的最优模型参数组合，以及生成对应于最优模型参数组合的机器学习模型。
本申请提供的机器学习模型生成方法和装置，通过生成模型参数组合，以及生成对应于每一个模型参数组合的机器学习模型；将预设机器学习用数据划分为训练数据和验证数据；并行地分别基于训练数据对每一个机器学习模型进行训练；分别基于验证数据对每一个训练后的机器学习模型学习的准确率进行验证，得到验证分数；基于验证分数，确定待生成的机器学习模型对应的最优模型参数组合，以及生成对应于最优模型参数组合的机器学习模型。实现了以并行方式对所有模型参数组合对应的机器学习模型进行训练和验证，提升了整个参数寻优的速度，从而快速生成理想的机器学习模型。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请可以应用于其中的示例性系统架构图；
图2示出了根据本申请的机器学习模型生成方法的一个实施例的流程图；
图3示出了本申请中的机器学习模型方法的一个示例性原理图；
图4示出了根据本申请的机器学习模型生成装置的一个实施例的结构示意图；
图5是适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的机器学习模型生成方法或装置的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供传输链路的介质。网络104可以包括各种连接类型，例如有线、无线传输链路或者光纤电缆等等。
终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯应用，例如、即时通讯类应用、浏览器类应用、搜索类应用、文字处理类应用等。
终端设备101、102、103可以是具有显示屏并且支持网络通信的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以接收终端设备101、102、103上的机器学习模型生成请求，对模型参数组合对应的机器学习模型进行训练和验证之后，得到验证分数，然后，将验证分数反馈给终端设备，以供用户选择最佳的验证分数对应的机器学习模型。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
请参考图2，其示出了根据本申请的机器学习模型生成方法的一个实施例的流程200。需要说明的是，本申请实施例所提供的机器学习模型生成方法一般由图1中的服务器105执行。该方法包括以下步骤：
步骤201，生成模型参数组合，以及生成对应于每一个模型参数组合的机器学习模型。
在本实施例中，模型参数指示机器学习模型的输入向量与输出向量之间的关联关系。在本实施例中，可以生成多个模型参数组合。例如，通过调整模型参数的参数值的大小的方式来生成多个模型参数组合。以机器学习模型LDA模型(Latent DirichletAllocation，文档主题生成模型)为例，模型参数包含α参数，β参数、迭代轮数n、topic数K。可以调整α参数，β参数的数值的大小、从而生成多个模型参数组合。例如，增大α参数可以使得每个文档接近同一个主题，增大β参数可以使得每个主题更集中在几个词汇上。
步骤202，执行划分操作：将预设机器学习用数据划分为训练数据和验证数据。
在本实施例中，预设机器学习用数据可以为对机器学习模型进行训练的数据。可以预设机器学习用数据划分为训练数据和验证数据。利用训练数据对机器学习模型进行训练，然后，利用验证数据对训练后的机器学习模型的学习效果进行验证。
在本实施例的一些可选的实现方式中，将预设机器学习用数据划分为训练数据和验证数据包括：从多个预设子集中选取一个子集的预设机器学习用数据作为验证数据，以及将其他子集中的预设机器学习用数据作为训练数据，其中，预设子集为将预设机器学习用数据划分而得到的多个包含的预设机器学习用数据的个数相等的集合。
以将预设机器学习用数据划分为N个子集为例，每一个子集包含的数据量相同。可以将其中一个子集作为测试集，另外N-1个子集作为训练集。从而，可以生成N种组合，即每一种组合中，其中一个子集作为测试集，另外N-1个子集作为训练集。
步骤203，并行执行训练与验证操作。
在本实施例中，训练与验证操作包括：分别基于训练数据对每一个机器学习模型进行训练；分别基于验证数据对每一个训练后的机器学习模型学习的准确率进行验证，得到验证分数，验证分数指示机器学习模型基于验证数据而输出的输出向量对应的数据类型与验证数据的数据类型一致的比率。
在本实施例中，可以分别基于训练数据对每一个机器学习模型进行训练；分别基于验证数据对每一个训练后的机器学习模型学习的准确率进行验证，得到验证分数。换言之，以并行方式执行对机器学习模型的训练和验证。
在本实施例的一些可选的实现方式中，划分操作和训练与验证操作均被执行多次，训练数据为每一次划分操作而划分出的训练数据，验证数据为每一次划分操作而划分出的验证数据；以及并行地分别基于训练数据对每一个机器学习模型进行训练包括：基于每一次划分操作而划分出的训练数据，对机器学习模型进行训练；分别基于验证数据对每一个训练后的机器学习模型学习的准确率进行验证，得到验证分数包括：基于每一次划分操作而划分出的验证数据，对每一次训练后的机器学习模型学习的准确率进行验证，得到多个验证分数。
在本实施例中，在将机器学习用数据划分为多个子集之后，可以对模型参数对应的机器学习模型进行多次训练和验证。在每一次对对模型参数对应的机器学习模型进行训练和验证时，首先利用作为训练集的子集对模型参数对应的机器学习模型进行训练。然后，利用作为验证集的子集对模型参数对应的机器学习模型进行验证，得到验证分数。可以利用该验证分数，验证分数指示机器学习模型基于验证数据而输出的输出向量对应的数据类型与验证数据的数据类型一致的比率。
以将预设机器学习用数据平均划分为N个子集为例，一个子集作为测试集，另外N-1个子集作为训练集。从而，可以生成N种组合，即每一种组合中，一个子集作为测试集，另外N-1个子集作为训练集。针对每一个模型参数组合对应的机器学习模型，可以执行N次训练和验证操作。
以针对一个模型参数组合对应的机器学习模型为例，预设机器学习用数据平均划分为5个子集。可以对执行5次训练和验证操作，在第1次对模型参数对应的机器学习模型进行训练和验证的过程中，可以利用第1个子集作为验证集合，其余4个子集作为训练集。在第2次对模型参数对应的机器学习模型进行训练和验证的过程中，可以利用第2个子集作为验证集合，其余4个子集作为训练集。依次类推，分别对模型参数对应的机器学习模型进行5次训练和验证操作，得到5个验证分数。
步骤204，执行模型生成操作。
在本实施例中，模型生成操作包括：基于验证分数，确定待生成的机器学习模型对应的最优模型参数组合，以及生成对应于最优模型参数组合的机器学习模型。
在本实施例的一些可选的实现方式中，还包括：利用分布式计算框架Hadoop的Map-Reduce模型中的Map任务执行训练与验证操作，利用分布式计算框架Hadoop的Map-Reduce模型中的Reduce任务执行模型生成操作。
在本实施例中，可以采用分布式计算框架Hadoop的Map-Reduce模型来执行对机器学习模型的训练与验证。可以利用Hadoop中的Map任务执行训练和验证操作，利用Hadoop中的Reduce任务执行模型生成操作。
在本实施例的一些可选的实现方式中，基于验证分数，确定待生成的机器学习模型对应的最优模型参数组合包括：分别计算每一个机器学习模型对应的多个验证分数的平均参数值；将平均参数值作为参考模型参数值；基于参考模型参数值，确定待生成的机器学习模型对应的最优模型参数组合。
在本实施例中，在对每一个模型参数对应的机器模型进行多次训练和验证之后，分别计算每一个机器学习模型对应的多个验证分数的平均参数值，将平均参数值作为参考模型参数值。然后，可以基于参考模型参数值，确定待生成的机器学习模型对应的最优模型参数组合。例如，当用户通过终端向服务器发送向服务器发送机器学习模型生成请求，然后，以并行方式对机器学习模型进行训练和验证后，服务器向用户的终端返回各个参考模型参数值即模型参数组合对应的验证分数的平均值，由用户该根据参考模型参数值，确定待生成的机器学习模型对应的最优模型参数组合。
请参考图3，其示出了本申请中的模型生成方法的一个示例性原理图。
在图3中，示出了多个Map任务以及用于聚合经Map任务执行后得到的验证分数的Reduce任务。首先，当用户(例如工程师)期望得到机器学习模型例如LDA模型时，可以利用终端向服务器发送机器学习模型生成请求。机器学习模型生成请求中可以包含机器学习模型的模型参数的范围。例如，LDA模型中模型参数α参数、β参数的范围。服务器在接收机器学习模型生成请求之后，可以对用于对LDA模型进行训练和对训练后的学习效果进行验证的机器学习用数据(例如用户的消费数据)进行预处理，例如数据清洗。在对LDA模型进行训练和对训练后的学习效果进行验证的机器学习用数据进行预处理之后，可以将机器学习用数据划分为多个子集，选取其中一个子集作为验证集，其余子集作为训练集，并行地对每一个模型参数对应的机器学习模型进行验证和训练。
可以利用MAP任务对模型参数对应的机器学习模型进行训练和验证，针对每一个模型参数对应的机器学习模型，创建一个MAP任务，对模型参数对应的机器学习模型进行训练和验证。例如，可以将每一个模型参数组合作为HADOOP的输入，将训练数据作为缓存文件Cache File上传到HADOOP上，以并行方式对每一个模型参数对应的机器学习模型进行训练，从而生成训练后的各个模型参数组合对应的机器学习模型。在以并行方式对每一个模型参数对应的机器学习模型进行训练之后，可以利用验证数据以并行方式对训练后的机器学习模型进行验证，从而计算各个模型参数组合各自对应的多个验证分数。
在针对每一个模型参数组合对应的机器学习模型进行训练和验证之后，可以利用Reduce任务计算出各个模型参数组合对应的多个验证分数的平均值，将该平均参数值作为参考模型参数值。然后，可以将各个模型参数组合对应的参考模型参数值发送给用户的终端。使得用户可以根据参考模型参数值，选取出对应于选取出的参数模型参数值的模型参数组合的机器学习模型。
下面说明本申请中的机器学习模型的生成方法的特点：
首先，利用分布式系统HODOOP中Map任务和Reduce任务以并行方式对各个模型参数组合对应的机器学习模型进行训练和验证，从而快速地得到各个模型参数组合的验证分数，提供给用户，由用户选取理想的模型参数组合对应的机器学习模型，达到了完全并行化搜索模型参数组合的目的，从而提升系统的执行效率。
其次，在搜索最优的模型参数组合而生成最优参数组合对应的机器学习模型的过程中，用户只需输入机器学习用数据和模型参数的范围，从而无需人工干预自动完成参数搜索过程。
请参考图4，其示出了根据本申请的机器学习模型生成装置的一个实施例的结构示意图。装置400包括：生成单元401，划分单元402，处理单元403，执行单元404。其中，生成单元401配置用于生成模型参数组合，以及生成对应于每一个模型参数组合的机器学习模型，其中，模型参数指示机器学习模型的输入向量与输出向量之间的关联关系；划分单元402配置用于执行划分操作：将预设机器学习用数据划分为训练数据和验证数据；处理单元403配置用于执行训练与验证操作：并行地分别基于训练数据对每一个机器学习模型进行训练；分别基于验证数据对每一个训练后的机器学习模型学习的准确率进行验证，得到验证分数，验证分数指示机器学习模型基于验证数据而输出的输出向量对应的数据类型与验证数据的数据类型一致的比率；执行单元404配置用于执行模型生成操作：基于验证分数，确定待生成的机器学习模型对应的最优模型参数组合，以及生成对应于最优模型参数组合的机器学习模型。
在本实施例的一些可选的实现方式中，装置400还包括：分布式处理单元(未示出)，配置用于利用分布式计算框架Hadoop的Map-Reduce模型中的Map任务执行训练与验证操作，利用分布式计算框架Hadoop的Map-Reduce模型中的Reduce任务执行模型生成操作。
在本实施例的一些可选的实现方式中，划分单元402包括：选取子单元(未示出)，配置用于从多个预设子集中选取一个子集的预设机器学习用数据作为验证数据，以及将其他子集中的预设机器学习用数据作为训练数据，其中，预设子集为将预设机器学习用数据划分而得到的多个包含的预设机器学习用数据的个数相等的集合。
在本实施例的一些可选的实现方式中，划分操作和训练与验证操作均被执行多次，训练数据为每一次划分操作而划分出的训练数据，验证数据为每一次划分操作而划分出的验证数据，处理单元403包括：训练子单元(未示出)，配置用于基于每一次划分操作而划分出的训练数据，对机器学习模型进行训练；验证子单元(未示出)，配置用于基于每一次划分操作而划分出的验证数据，对每一次训练后的机器学习模型学习的准确率进行验证，得到多个验证分数。
在本实施例的一些可选的实现方式中，执行单元404包括：计算子单元(未示出)，配置用于分别计算每一个机器学习模型对应的多个验证分数的平均参数值；设置子单元(未示出)，配置用于将平均参数值作为参考模型参数值；参数组合确定子单元(未示出)，配置用于基于参考模型参数值，确定待生成的机器学习模型对应的最优模型参数组合。
图5示出了适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。
如图5所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统500操作所需的各种程序和数据。CPU 501、ROM502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
作为另一方面，本申请还提供了一种非易失性计算机存储介质，该非易失性计算机存储介质可以是上述实施例中所述装置中所包含的非易失性计算机存储介质；也可以是单独存在，未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序，当所述一个或者多个程序被一个设备执行时，使得所述设备：生成模型参数组合，以及生成对应于每一个模型参数组合的机器学习模型，其中，模型参数指示机器学习模型的输入向量与输出向量之间的关联关系；执行划分操作：将预设机器学习用数据划分为训练数据和验证数据；执行训练与验证操作：并行地分别基于所述训练数据对每一个机器学习模型进行训练；分别基于验证数据对每一个训练后的机器学习模型学习的准确率进行验证，得到验证分数，所述验证分数指示机器学习模型基于所述验证数据而输出的输出向量对应的数据类型与验证数据的数据类型一致的比率；执行模型生成操作：基于验证分数，确定待生成的机器学习模型对应的最优模型参数组合，以及生成对应于所述最优模型参数组合的机器学习模型。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (8)

1.一种机器学习模型生成方法，其特征在于，所述方法包括：
生成模型参数组合，以及生成对应于每一个模型参数组合的机器学习模型，其中，模型参数指示机器学习模型的输入向量与输出向量之间的关联关系；
执行划分操作：将预设机器学习用数据划分为训练数据和验证数据，将预设机器学习用数据划分为训练数据和验证数据包括：从多个预设子集中选取一个子集的预设机器学习用数据作为验证数据，以及将其他子集中的预设机器学习用数据作为训练数据，其中，所述预设子集为将预设机器学习用数据划分而得到的多个包含的预设机器学习用数据的个数相等的集合；
执行训练与验证操作：并行地分别基于所述训练数据对每一个机器学习模型进行训练；分别基于验证数据对每一个训练后的机器学习模型学习的准确率进行验证，得到验证分数，所述验证分数指示机器学习模型基于所述验证数据而输出的输出向量对应的数据类型与验证数据的数据类型一致的比率；
执行模型生成操作：基于验证分数，确定待生成的机器学习模型对应的最优模型参数组合，以及生成对应于所述最优模型参数组合的机器学习模型。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
利用分布式计算框架Hadoop的Map-Reduce模型中的Map任务执行训练与验证操作，利用分布式计算框架Hadoop的Map-Reduce模型中的Reduce任务执行模型生成操作。
3.根据权利要求1所述的方法，其特征在于，划分操作和训练与验证操作均被执行多次，所述训练数据为每一次划分操作而划分出的训练数据，所述验证数据为每一次划分操作而划分出的验证数据；以及
并行地分别基于所述训练数据对每一个机器学习模型进行训练包括：
基于每一次划分操作而划分出的训练数据，对机器学习模型进行训练；
分别基于验证数据对每一个训练后的机器学习模型学习的准确率进行验证，得到验证分数包括：
基于每一次划分操作而划分出的验证数据，对每一次训练后的所述机器学习模型学习的准确率进行验证，得到多个验证分数。
4.根据权利要求3所述的方法，其特征在于，基于验证分数，确定待生成的机器学习模型对应的最优模型参数组合包括：
分别计算每一个机器学习模型对应的多个验证分数的平均参数值；
将所述平均参数值作为参考模型参数值；
基于所述参考模型参数值，确定待生成的机器学习模型对应的最优模型参数组合。
5.一种机器学习模型生成装置，其特征在于，所述装置包括：
生成单元，配置用于生成模型参数组合，以及生成对应于每一个模型参数组合的机器学习模型，其中，模型参数指示机器学习模型的输入向量与输出向量之间的关联关系；
划分单元，配置用于执行划分操作：将预设机器学习用数据划分为训练数据和验证数据，所述划分单元包括：选取子单元，配置用于从多个预设子集中选取一个子集的预设机器学习用数据作为验证数据，以及将其他子集中的预设机器学习用数据作为训练数据，其中，所述预设子集为将预设机器学习用数据划分而得到的多个包含的预设机器学习用数据的个数相等的集合；
处理单元，配置用于执行训练与验证操作：并行地分别基于所述训练数据对每一个机器学习模型进行训练；分别基于验证数据对每一个训练后的机器学习模型学习的准确率进行验证，得到验证分数，所述验证分数指示机器学习模型基于所述验证数据而输出的输出向量对应的数据类型与验证数据的数据类型一致的比率；
执行单元，配置用于执行模型生成操作：基于验证分数，确定待生成的机器学习模型对应的最优模型参数组合，以及生成对应于所述最优模型参数组合的机器学习模型。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：
分布式处理单元，配置用于利用分布式计算框架Hadoop的Map-Reduce模型中的Map任务执行训练与验证操作，利用分布式计算框架Hadoop的Map-Reduce模型中的Reduce任务执行模型生成操作。
7.根据权利要求5所述的装置，其特征在于，划分操作和训练与验证操作均被执行多次，所述训练数据为每一次划分操作而划分出的训练数据，所述验证数据为每一次划分操作而划分出的验证数据，所述处理单元包括：
训练子单元，配置用于基于每一次划分操作而划分出的训练数据，对机器学习模型进行训练；
验证子单元，配置用于基于每一次划分操作而划分出的验证数据，对每一次训练后的所述机器学习模型学习的准确率进行验证，得到多个验证分数。
8.根据权利要求7所述的装置，其特征在于，执行单元包括：
计算子单元，配置用于分别计算每一个机器学习模型对应的多个验证分数的平均参数值；
设置子单元，配置用于将所述平均参数值作为参考模型参数值；
参数组合确定子单元，配置用于基于所述参考模型参数值，确定待生成的机器学习模型对应的最优模型参数组合。
CN201610192139.XA 2016-03-30 2016-03-30 机器学习模型生成方法和装置 Active CN105912500B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610192139.XA CN105912500B (zh) 2016-03-30 2016-03-30 机器学习模型生成方法和装置
PCT/CN2016/086413 WO2017166449A1 (zh) 2016-03-30 2016-06-20 机器学习模型生成方法和装置
US15/751,008 US11531926B2 (en) 2016-03-30 2016-06-20 Method and apparatus for generating machine learning model by using distributed computing framework

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610192139.XA CN105912500B (zh) 2016-03-30 2016-03-30 机器学习模型生成方法和装置

Publications (2)

Publication Number Publication Date
CN105912500A CN105912500A (zh) 2016-08-31
CN105912500B true CN105912500B (zh) 2017-11-14

Family

ID=56745295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610192139.XA Active CN105912500B (zh) 2016-03-30 2016-03-30 机器学习模型生成方法和装置

Country Status (3)

Country Link
US (1) US11531926B2 (zh)
CN (1) CN105912500B (zh)
WO (1) WO2017166449A1 (zh)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11288240B1 (en) 2013-03-12 2022-03-29 AdTheorent, Inc. Data learning and analytics apparatuses, methods and systems
EP3436929A4 (en) * 2016-06-17 2019-10-16 Hewlett-Packard Development Company, L.P. COMMON MACHINE LEARNING STRUCTURE
CN108241892B (zh) * 2016-12-23 2021-02-19 北京国双科技有限公司 一种数据建模方法和装置
CN108537340B (zh) * 2017-03-02 2021-04-27 北京君正集成电路股份有限公司 模型数据的读取方法和装置
EP3443508B1 (en) * 2017-03-09 2023-10-04 Huawei Technologies Co., Ltd. Computer system for distributed machine learning
CN107632995B (zh) * 2017-03-13 2018-09-11 平安科技（深圳）有限公司 随机森林模型训练的方法及模型训练控制系统
EP3605405A4 (en) * 2017-03-21 2020-12-02 Preferred Networks, Inc. SERVER DEVICE, TRAINED MODEL DELIVERY PROGRAM, TRAINED MODEL DELIVERY PROCESS, AND DRIVEN MODEL DELIVERY SYSTEM
JP6823523B2 (ja) * 2017-03-31 2021-02-03 Kddi株式会社 情報処理装置、情報処理方法、及びプログラム
CN107124365B (zh) * 2017-04-25 2020-11-24 曙光信息产业(北京)有限公司 一种基于机器学习的路由策略的获取系统
CN107169513B (zh) * 2017-05-05 2019-10-18 第四范式（北京）技术有限公司 控制数据使用顺序的分布式机器学习系统及其方法
CN107295489B (zh) * 2017-06-28 2020-06-16 百度在线网络技术（北京）有限公司 伪基站短信识别方法、装置、设备及存储介质
CN107343000A (zh) * 2017-07-04 2017-11-10 北京百度网讯科技有限公司 用于处理任务的方法和装置
US11139048B2 (en) 2017-07-18 2021-10-05 Analytics For Life Inc. Discovering novel features to use in machine learning techniques, such as machine learning techniques for diagnosing medical conditions
US11062792B2 (en) 2017-07-18 2021-07-13 Analytics For Life Inc. Discovering genomes to use in machine learning techniques
US11403540B2 (en) * 2017-08-11 2022-08-02 Google Llc On-device machine learning platform
CN107563417A (zh) * 2017-08-18 2018-01-09 北京天元创新科技有限公司 一种深度学习人工智能模型建立方法及系统
CN111079942B (zh) * 2017-08-30 2023-03-24 第四范式（北京）技术有限公司 执行机器学习的分布式系统及其方法
CN107622310B (zh) * 2017-08-30 2019-03-26 第四范式（北京）技术有限公司 用于执行机器学习的分布式系统及其方法
CN107800683A (zh) * 2017-09-08 2018-03-13 微梦创科网络科技（中国）有限公司 一种挖掘恶意ip的方法及装置
CN107659562A (zh) * 2017-09-08 2018-02-02 微梦创科网络科技（中国）有限公司 一种挖掘恶意登录账号的方法及装置
CN107633326A (zh) * 2017-09-14 2018-01-26 北京拉勾科技有限公司 一种用户投递意愿模型的构建方法和计算设备
JP6886112B2 (ja) * 2017-10-04 2021-06-16 富士通株式会社 学習プログラム、学習装置及び学習方法
CN107886503A (zh) * 2017-10-27 2018-04-06 重庆金山医疗器械有限公司 一种消化道解剖位置识别方法及装置
CN107978355A (zh) * 2017-10-30 2018-05-01 珠海格力电器股份有限公司 食谱推荐方法、装置和抽油烟机
CN107844837B (zh) * 2017-10-31 2020-04-28 第四范式（北京）技术有限公司 针对机器学习算法进行算法参数调优的方法及系统
TWI651664B (zh) * 2017-11-15 2019-02-21 財團法人資訊工業策進會 模型生成伺服器及其模型生成方法
CN107766940B (zh) * 2017-11-20 2021-07-23 北京百度网讯科技有限公司 用于生成模型的方法和装置
CN108231177A (zh) * 2017-12-28 2018-06-29 深圳开立生物医疗科技股份有限公司 一种辅助更新方法、系统及装置
CN108416363A (zh) * 2018-01-30 2018-08-17 平安科技（深圳）有限公司 机器学习模型的生成方法、装置、计算机设备及存储介质
CN109657803B (zh) * 2018-03-23 2020-04-03 新华三大数据技术有限公司 机器学习模型的构建
CN108527005A (zh) * 2018-04-18 2018-09-14 深圳市大讯永新科技有限公司 一种cnc刀具状态检测方法和系统
US20190332814A1 (en) * 2018-04-27 2019-10-31 Nxp B.V. High-throughput privacy-friendly hardware assisted machine learning on edge nodes
CN108805185B (zh) * 2018-05-29 2023-06-30 腾讯科技（深圳）有限公司 人脸识别方法、装置、存储介质及计算机设备
EP3751477A4 (en) 2018-06-08 2021-11-03 Shanghai Cambricon Information Technology Co., Ltd GENERAL AUTOMATIC LEARNING MODEL, AND MODEL FILE PRODUCTION AND ANALYSIS METHOD
CN108805091B (zh) * 2018-06-15 2021-08-10 北京字节跳动网络技术有限公司 用于生成模型的方法和装置
CN108875963A (zh) * 2018-06-28 2018-11-23 北京字节跳动网络技术有限公司 机器学习模型的优化方法、装置、终端设备和存储介质
CN109255234B (zh) * 2018-08-15 2023-03-24 腾讯科技（深圳）有限公司 机器学习模型的处理方法、装置、介质及电子设备
CN110866605A (zh) * 2018-08-27 2020-03-06 北京京东尚科信息技术有限公司 数据模型训练方法、装置、电子设备及可读介质
CN109242025B (zh) * 2018-09-14 2021-05-04 北京旷视科技有限公司 模型迭代修正方法、装置及系统
US11537934B2 (en) * 2018-09-20 2022-12-27 Bluestem Brands, Inc. Systems and methods for improving the interpretability and transparency of machine learning models
JP2020107012A (ja) * 2018-12-27 2020-07-09 ルネサスエレクトロニクス株式会社 演算処理装置および機械学習方法
CN111383721B (zh) * 2018-12-27 2020-12-15 江苏金斯瑞生物科技有限公司 预测模型的构建方法、多肽合成难度的预测方法及装置
CN111797990A (zh) * 2019-04-08 2020-10-20 北京百度网讯科技有限公司 机器学习模型的训练方法、训练装置和训练系统
CN110263938B (zh) * 2019-06-19 2021-07-23 北京百度网讯科技有限公司 用于生成信息的方法和装置
CN110347898A (zh) * 2019-06-28 2019-10-18 北京牡丹电子集团有限责任公司宁安智慧工程中心 一种网络舆情监控的应答生成方法及系统
US20210056220A1 (en) * 2019-08-22 2021-02-25 Mediatek Inc. Method for improving confidentiality protection of neural network model
CN110569984B (zh) * 2019-09-10 2023-04-14 Oppo广东移动通信有限公司 配置信息生成方法、装置、设备及存储介质
CN110753392B (zh) * 2019-10-28 2021-01-12 北京四海万联科技有限公司 基于车联网的蓝牙钥匙定位系统及方法
CN113095342A (zh) * 2019-12-23 2021-07-09 北京金山云网络技术有限公司 基于误判样本图片的审核模型优化方法、装置及服务器
US20210357788A1 (en) 2020-05-13 2021-11-18 The Nielsen Company (Us), Llc Methods and apparatus to generate computer-trained machine learning models to correct computer-generated errors in audience data
CN111723939A (zh) * 2020-05-15 2020-09-29 第四范式（北京）技术有限公司 机器学习模型的调参方法、装置、设备及系统
CN113762519A (zh) * 2020-06-03 2021-12-07 杭州海康威视数字技术股份有限公司 一种数据清洗方法、装置及设备
US11592984B2 (en) * 2020-09-11 2023-02-28 Seagate Technology Llc Onboard machine learning for storage device
CN112365002A (zh) * 2020-11-11 2021-02-12 深圳力维智联技术有限公司 基于spark的模型构建方法、装置、系统及存储介质
CN112447299A (zh) * 2020-12-01 2021-03-05 平安科技（深圳）有限公司 医护资源预测模型训练方法、装置、设备及存储介质
US11748251B2 (en) * 2021-01-08 2023-09-05 Microsoft Technology Licensing, Llc Storing tensors in memory based on depth
CN112395272B (zh) * 2021-01-20 2021-07-13 鹏城实验室 通信算法数据库构建方法、分布式机器装置和存储介质
CN113259369B (zh) * 2021-06-02 2021-09-07 华中科技大学 一种基于机器学习成员推断攻击的数据集认证方法及系统
US11392143B1 (en) * 2021-07-23 2022-07-19 Beta Air, Llc System and method for producing a control signal of an electric vertical take-off and landing (eVTOL) aircraft
CN113806584B (zh) * 2021-09-17 2022-10-14 河海大学 基于自监督跨模态感知损失的乐队指挥动作生成方法
TWI817237B (zh) * 2021-11-04 2023-10-01 關貿網路股份有限公司 風險預測方法、系統及其電腦可讀媒介
CN115585807B (zh) * 2022-12-12 2023-08-15 北京航天长城卫星导航科技有限公司 基于机器学习的gnss/ins组合导航方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7231399B1 (en) * 2003-11-14 2007-06-12 Google Inc. Ranking documents based on large data sets
US8093893B2 (en) 2004-03-18 2012-01-10 Baker Hughes Incorporated Rock and fluid properties prediction from downhole measurements using linear and nonlinear regression
CN100377145C (zh) 2005-03-01 2008-03-26 中国海洋大学 配方产品理化数据与感官指标相关性分析的方法
US7882045B1 (en) 2006-11-10 2011-02-01 Amazon Technologies, Inc. Providing ad information using machine learning selection paradigms
CN101127029A (zh) 2007-08-24 2008-02-20 复旦大学 用于在大规模数据分类问题中训练svm分类器的方法
US8296144B2 (en) 2008-06-04 2012-10-23 Robert Bosch Gmbh System and method for automated testing of complicated dialog systems
US20100325372A1 (en) 2009-06-17 2010-12-23 Housty Oswin E Parallel training of dynamic random access memory channel controllers
EP2764472A4 (en) * 2011-10-03 2015-10-14 Aol Inc SYSTEMS AND METHOD FOR CARRYING OUT A CONTEXT CLASSIFICATION WITH MONITORED AND UNWARNED TRAINING
US9569401B2 (en) * 2011-12-06 2017-02-14 Akamai Technologies, Inc. Parallel training of a support vector machine (SVM) with distributed block minimization
US9251433B2 (en) * 2012-12-10 2016-02-02 International Business Machines Corporation Techniques for spatial semantic attribute matching for location identification
CN104300087A (zh) 2013-07-18 2015-01-21 海洋王照明科技股份有限公司 有机电致发光器件及其制备方法
US10289962B2 (en) 2014-06-06 2019-05-14 Google Llc Training distilled machine learning models
US11182691B1 (en) * 2014-08-14 2021-11-23 Amazon Technologies, Inc. Category-based sampling of machine learning data
CN104536979B (zh) * 2014-12-05 2018-05-01 百度在线网络技术（北京）有限公司 主题模型的生成方法及装置、主题分布的获取方法及装置
CN105335519B (zh) * 2015-11-18 2021-08-17 百度在线网络技术（北京）有限公司 模型生成方法及装置、推荐方法及装置
US11861470B2 (en) * 2020-08-13 2024-01-02 State Farm Mutual Automobile Insurance Company Simplistic machine learning model generation tool for predictive data analytics

Also Published As

Publication number Publication date
WO2017166449A1 (zh) 2017-10-05
US11531926B2 (en) 2022-12-20
CN105912500A (zh) 2016-08-31
US20200090073A1 (en) 2020-03-19

Similar Documents

Publication Publication Date Title
CN105912500B (zh) 机器学习模型生成方法和装置
US11829874B2 (en) Neural architecture search
CN110880036B (zh) 神经网络压缩方法、装置、计算机设备及存储介质
US11900232B2 (en) Training distilled machine learning models
US10521729B2 (en) Neural architecture search for convolutional neural networks
US11669744B2 (en) Regularized neural network architecture search
US10984319B2 (en) Neural architecture search
US11636314B2 (en) Training neural networks using a clustering loss
CN107766940A (zh) 用于生成模型的方法和装置
US11347995B2 (en) Neural architecture search with weight sharing
CN107305578A (zh) 人机智能问答方法和装置
CN107229966A (zh) 一种模型数据更新方法、装置及系统
CN111079018A (zh) 习题个性化推荐方法、装置、设备、计算机可读存储介质
CN106326904A (zh) 获取特征排序模型的装置和方法以及特征排序方法
CN110263328A (zh) 一种学科能力类型标注方法、装置、存储介质及终端设备
US20240005129A1 (en) Neural architecture and hardware accelerator search
US20220019869A1 (en) Hardware-optimized neural architecture search
US20230063686A1 (en) Fine-grained stochastic neural architecture search
CN112765406B (zh) 学习资源规划方法、电子设备及计算机存储介质
CN116974739A (zh) 一种配置参数的确定方法、装置、电子设备及存储介质
CN114238613A (zh) 一种确定知识点掌握程度的方法、装置及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant