CN116057543A - 自动化机器学习方法及其装置 - Google Patents

自动化机器学习方法及其装置 Download PDF

Info

Publication number
CN116057543A
CN116057543A CN202080105033.6A CN202080105033A CN116057543A CN 116057543 A CN116057543 A CN 116057543A CN 202080105033 A CN202080105033 A CN 202080105033A CN 116057543 A CN116057543 A CN 116057543A
Authority
CN
China
Prior art keywords
learning
parameter set
parameter
machine learning
automated machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080105033.6A
Other languages
English (en)
Inventor
李在桓
林亨珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Newtech Co ltd
Original Assignee
Newtech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Newtech Co ltd filed Critical Newtech Co ltd
Publication of CN116057543A publication Critical patent/CN116057543A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Image Analysis (AREA)
  • Stored Programmes (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及一种自动化机器学习方法及其装置，根据本公开一实施例的自动化机器学习方法可以包括如下步骤：注册至少一个第一参数集，其包括影响学习模型性能的至少一个参数的不同设置数据的组合；基于输入的学习条件，从所述第一参数集中选定将用于生成所述学习模型的至少一个第二参数集；基于所述第二参数集以及预定的输入数据集学习网络函数，从而生成与各所述第二参数集对应的所述学习模型，计算各所述学习模型的验证分数(validation score)；以及基于所述验证分数，将生成的所述学习模型中的一个选择为应用模型。

Description

自动化机器学习方法及其装置
技术领域
本公开(disclosure)的技术思想涉及一种自动化机器学习方法以及装置。
背景技术
机器学习(Machine Learning)作为人工智能(AI)的一个领域，以数据为基础，是开发能够使计算机进行学习的算法和技术的领域，作为图像处理、影像识别、语音识别、网络检索等各个领域的核心技术，在预测(prediction)、对象检测(detection)、对象分类(classification)、对象分割(segmentation)和异常检测(anomaly detection)中表现出卓越的性能。
为了通过上述机器学习推导出具有目标性能的学习模型，需要适当地选择用于机器学习的神经网络(neural network)。然而，由于神经网络的选择没有绝对的标准，因此选择符合待应用的领域或输入数据的特性的神经网络不可避免地成为一个难题。
例如，根据数据集的种类，深层的网络可能具有更好的性能，但也可能存在即使没有深层也能获得足够性能的情况，尤其是生产企业，有时会非常看重推理时间(inferencetime)，因此可能不适合深度网络。
并且，学习模型的性能受用户设置的多个超参数(hyper parameter)的影响，因此设置超参数使其适合输入数据等的特性是机器学习的一个重要课题。
然而，由于机器学习的黑盒特性，为了得到适合输入数据集的超参数，需要对所有可能的情况进行非常费力的实验过程，尤其是非专业人士，还存在难以推测哪种超参数可以带来有意义的变化的问题。
发明内容
要解决的技术问题
根据本公开的技术思想的自动化机器学习方法及其装置要解决的技术问题在于，提供一种自动化机器学习方法以及装置，能够快速地自动优化网络函数及其参数以使其适合输入数据等的特性。
根据本公开的技术思想的方法及用于其的装置要解决的技术问题并不局限于以上提及的问题，本领域的技术人员可以通过下文的记载明确理解未提及的其他问题。
用于解决问题的手段
根据本公开的技术思想的一实施例，自动化机器学习方法可以包括如下步骤：注册至少一个第一参数集，其包括影响学习模型性能的至少一个参数的不同设置数据的组合；基于输入的学习条件，从所述第一参数集中选定将用于生成所述学习模型的至少一个第二参数集；基于所述第二参数集以及预定的输入数据集学习网络函数，从而生成与各所述第二参数集对应的所述学习模型，计算各所述学习模型的验证分数(validationscore)；以及基于所述验证分数，将生成的所述学习模型中的一个选择为应用模型。
根据示例性实施例，注册所述第一参数集的步骤可以包括如下步骤：对所述至少一个参数进行不同设置数据的组合，从而生成多个候选参数集；通过第一数据集分别对各所述候选参数集进行所述网络函数的学习，执行交叉验证；以及根据所述交叉验证的结果，将所述候选参数集中至少一个确定为所述第一参数集。
根据示例性实施例，可以基于与所述第一数据集不同的至少一个第二数据集，反复执行所述交叉验证的步骤和确定为所述第一参数集的步骤。
根据示例性实施例，所述交叉验证的结果包括计算的各所述候选参数集的所述交叉验证的验证分数的平均及标准偏差，在确定为所述第一参数集的步骤中，基于所述验证分数的平均及标准偏差执行统计学比较，从而将具有高于预定的基准值(baseline)的性能的所述候选参数集确定为所述第一参数集。
根据示例性实施例，所述第一参数集可以包括与网络函数种类、优化器(optimizer)、学习速度(learning rate)以及数据增强(data augmentation)中至少一个相关的参数的设置数据。
根据示例性实施例，所述学习条件可以包括与学习环境、推理速度(inferencespeed)以及检索范围中至少一个相关的条件。
根据示例性实施例，选定所述第二参数的步骤包括如下步骤：基于架构(architecture)以及所述推理速度中至少一个排列所述第一参数集；以及根据输入的所述学习条件，将排列的所述第一参数集中靠前的预定比率选定为所述第二参数集。
根据示例性实施例，基于召回率(recall)、精确率(precision)、准确率(accuracy)以及它们的组合中至少一个计算所述验证分数。
根据本公开的技术思想的一实施例，自动化机器学习装置可以包括：存储器，存储用于自动化机器学习的程序；处理器，通过运行所述程序，注册至少一个第一参数集，其中所述第一参数集包括影响学习模型性能的至少一个参数的不同设置数据的组合，然后基于输入的学习条件，从所述第一参数集中选定将用于生成所述学习模型的至少一个第二参数集，基于所述第二参数集以及预定的输入数据集学习网络函数，从而生成与各所述第二参数集对应的所述学习模型，计算各所述学习模型的验证分数，基于所述验证分数，进行控制以将生成的所述学习模型中的一个选择为应用模型。
根据示例性实施例，所述处理器可以通过对所述至少一个参数进行不同设置数据的组合，从而生成多个候选参数集，通过第一数据集对各所述候选参数集进行网络函数的学习以执行交叉验证，根据所述交叉验证的结果，进行控制以将所述候选参数集中至少一个确定为所述第一参数集。
根据示例性实施例，所述处理器可以基于与所述第一数据集不同的至少一个第二数据集，进行控制以反复执行所述交叉验证以及根据所述交叉验证的结果的所述第一参数集的确定。
根据示例性实施例，所述处理器可以计算各所述候选参数集的交叉验证的验证分数的平均及标准偏差，基于所述验证分数的平均及标准偏差执行统计学比较，从而进行控制以将具有高于预定的基准值(baseline)的性能的所述候选参数集确定为所述第一参数集。
根据示例性实施例，所述第一参数集可以包括与网络函数种类、优化器(optimizer)、学习速度(learning rate)以及数据增强(data augmentation)中至少一个相关的参数的设置数据。
根据示例性实施例，所述学习条件可以包括与学习环境、推理速度(inferencespeed)以及检索范围中至少一个相关的条件。
根据示例性实施例，所述处理器可以基于架构(architecture)及推理速度中至少一个来排列所述第一参数集，然后根据输入的所述学习条件，进行控制以将排列的所述第一参数集中靠前的预定比例选定为所述第二参数集。
根据示例性实施例，基于召回率(recall)、精确率(precision)、准确率(accuracy)以及它们的组合中至少一个计算所述验证分数。
发明效果
根据本公开的技术思想的实施例的自动化机器学习方法及用于其的装置，用户仅通过输入学习条件和输入数据等即能实现自动选择合适的网络函数和优化超参数，从而即使是非专业人员也可以轻松地生成和使用学习模型。
此外，根据本公开的技术思想的实施例的自动化机器学习方法及用于其的装置，通过对具有高于特定基准值的性能的有意义的超参数组合的预先搜索和注册，可以最小化优化超参数所需的检索范围和时间。
根据本公开的技术思想的方法及用于其的装置可以获得的效果并不局限于上述的效果，本公开所属技术领域的普通技术人员通过下面的记载可以清楚理解其他未言及的效果。
附图说明
下面提供各附图的简单说明，以更充分理解本公开中引用的附图。
图1是用于说明网络函数的参数优化的附图。
图2是用于说明根据本公开的技术思想的一实施例的自动化机器学习方法的流程图。
图3示出图2的步骤S210的一实施例。
图4示出图2的步骤S220的一实施例。
图5示例性示出在根据本公开的技术思想的一实施例的自动化机器学习方法中，将参数集注册在预设组的过程。
图6示例性示出在根据本公开的技术思想的一实施例的自动化机器学习方法中，用于输入学习条件的用户界面。
图7是概略示出根据本公开的技术思想的一实施例的自动化机器学习装置的结构的框图。
具体实施方式
本公开的技术思想可以施加各种变形并且可以具有多种实施例，附图示出特定实施例并对其进行详细说明。然而，这并不意在将本公开的技术思想限制于特定的实施形态，应当理解，包括在本公开的技术思想范围内的所有修改、等同物和替代物都包括在内。
在描述本公开的技术思想时，当认定相关的公知的功能或公知的构成的详细描述对本公开的主旨造成不必要混淆时，将省略其详细描述。此外，在说明本公开的过程中使用的数字(例如，第一、第二等)仅仅是用于区分一个技术特征与另一个技术特征的标识符号。
此外，应当理解，在本公开中，当提及一个技术特征与另一个技术特征“连接”或“相连”时，所述一个技术特征可以与所述另一个技术特征直接连接或直接相连，除非有完全相反的描述，否则也可以以中间的另一个技术特征为媒介连接或相连。
此外，本公开中描述的“～部”、“～器”、“～者”和“～模块”等术语是指用于处理至少一个功能或操作的单位，它可以通过处理器(Processor)、微处理器(Micro Processor)、微控制器(Micro Controller)、中央处理器(CPU，Central Processing Unit)、图形处理器(GPU，Graphics Processing Unit)、加速处理器(APU，Accelerate Processor Unit)、数字信号处理器(DSP，Digital Signal Processor)、专用集成电路(ASIC，ApplicationSpecific Integrated Circuit)、现场可编程逻辑门阵列(FPGA，Field ProgrammableGate Array)等硬件或软件，或硬件和软件的组合来实现。
并且要明确的是，在本公开中仅仅是按照各个部件所负责的主要功能的区分来区分多个部件。即，可以将后述的两个以上的部件组合成一个部件，也可以按照更细分化的功能将一个部件分成两个以上。另外，后述的各部件除了其所负责的主要功能外，还可以附加执行其他部件所负责的功能中的一部分或全部功能，当然各部件负责的主要功能中的一部分功能也可以由其他部件专门执行。
下面依次对本公开的实施例进行详细介绍。
在本说明书中，网络函数可以与神经网络(neural network)以相同的含义使用。其中，神经网络(神经网)通常由可以被称为节点的相互连接的计算单元的集合组成，这些节点可以称为神经元。神经网络通常包括多个节点而构成。构成神经网络的节点可以通过一个以上的链接相互连接。
构成神经网络的多个节点中一部分可以基于与初始输入节点的距离构成一个层(layer)。例如，距初始输入节点的距离为n的节点的集合可以构成n层。
本说明书中说明的神经网络可以包括深度神经网络(DNN，Deep NeuralNetwork)，其除了输入层和输出层之外还包括多个隐藏层。深度神经网络可以包括卷积神经网络(Convolutional Neural Network，CNN)、循环神经网络(Recurrent NeuralNetwork，RNN)等。
图1是用于说明网络函数的参数优化的附图。
网络函数可以通过学习不同的数据集来生成不同的学习模型。此时，通过网络函数生成的学习模型的性能(速度、品质等)可能受到至少一个参数的设置值影响。其中，参数可以由用户直接设置，可以指能够对学习模型带来有意义的变化的变量，即超参数(hyper-parameter)。例如，超参数可以包括与网络函数(或架构)种类、优化器(optimizer)、学习速度(learning rate)以及数据增强(data augmentation)等相关的变量。
如此，由于学习模型的性能根据参数的设置值而变化，因此在生成和应用学习模型时，需要预先优化参数以使其适合待学习数据集的特性。
作为用于参数优化的方法，图1概念性地示出了网格搜索(grid search)。
网格搜索是在特定搜索范围内，针对可能对学习模型的性能产生有意义的变化的参数，搜索它们的可能的所有组合的设置值，例如，基于不同组合的参数的设置值，通过预定的数据集来交叉验证网络函数，以确认学习模型的性能，通过该方法可以优化参数的设置值。
但是，因为网格搜索方法还要对可能的所有参数的设置值组合执行验证，所以搜索范围和费用不可避免的增多，因此在下文中，将说明可以最小化搜索时间和费用的根据本公开的一实施例的自动化机器学习方法和装置。
图2是用于说明根据本公开的技术思想的一实施例的自动化机器学习方法的流程图，图3示出图2的步骤S210的一实施例，图4示出图2的步骤S220的一实施例。
根据本公开的技术思想的一实施例的自动化机器学习方法可以在具有演算能力的个人计算机(Personal Computer)、工作站(work station)、用于服务器的计算机装置等中执行，或在搭载(embedded)有用于执行所述自动化机器学习方法的程序的另外的装置中执行。
根据本公开的技术思想的一实施例的自动化机器学习方法也可以在一个以上的演算装置中执行。例如，根据本公开的技术思想的一实施例的自动化机器学习方法中至少一个以上的步骤可以在客户端设备执行，其他步骤在服务器设备执行。该情况下，客户端设备与服务器设备可以通过网络连接来接收和发送演算结果。此外，根据本公开的一实施例的自动化机器学习方法也可以通过分布式计算技术执行。
在步骤S210中，机器学习装置可以注册至少一个参数集，该至少一个参数集包括影响学习模型的至少一个参数的不同设置数据的组合。
在一实施例中，参考图1，参数可以指上述的超参数，可以包括与网络函数的种类(例如，CNN的种类等)、优化器(optimizer)、学习速度(learning rate)以及数据增强(dataaugmentation)中至少一个相关的参数。例如，第一参数集可以由使学习模型发挥预定的基准值以上的性能的至少一个超参数的设置数据的组合构成。
在一实施例中，如图3所示，步骤S210可以包括步骤S211至S214。
在步骤S211中，机器学习装置可以对至少一个参数进行不同设置数据的组合，从而生成候选参数集。例如，候选参数集可以包括与网络函数的种类、优化器、学习速度以及数据增强中至少一个相关的数据，这些参数的设置数据可以按照各候选参数集具有不同的组合。
然后，在步骤S212中，机器学习装置可以通过第一数据集对生成的各候选参数集进行网络函数学习，从而执行交叉验证。例如，机器学习装置可以基于各候选参数集包含的设置数据来设置超参数，将第一数据集分割为k折之后，进行网络函数的学习及交叉验证，计算各候选参数集的验证分数(validation score)的平均及标准偏差。
然后，在步骤S213中，机器学习装置可以根据交叉验证结果，将候选参数集中至少一个注册在预设组(preset group)。例如，机器学习装置可以基于在步骤S212中计算出的验证分数的平均及标准偏差来执行统计学比较，将具有高于预定的基准值(baseline)的性能的候选参数集注册在预设组。
然后，在步骤S214中，机器学习装置可以基于与第一数据集不同的至少一个第二数据集反复执行步骤S212和S213。由此，例如，可以在与不同数据集对应的多个预设组中分别注册至少一个参数集。
在步骤S220中，机器学习装置可以在注册在至少一个预设组的第一参数集中，选定将用于生成学习模型的至少一个第二参数集。
在一实施例中，如图4所示，步骤S220可以包括步骤S221至S223。
在步骤S221中，机器学习装置可以接收对于学习条件的用户输入。例如，机器学习装置可以向用户终端或其自身的显示部提供预定的用户界面，并以此接收输入的学习条件。在一实施例中，学习条件可以包括与学习环境(PC或嵌入式装置)、推理速度(inferencespeed)及检索范围中至少一个相关的条件。其中，与检索范围相关的条件可以指用于确定要使用的注册在预设组的第一参数集的量(即，选定为第二参数集的比率)的条件。
根据实施例，在步骤S221中，机器学习装置还可以从用户终端接收输入数据集。
然后，在步骤S222中，可以以架构(architecture)及推理速度(inference speed)中至少一个为基准，排列注册在至少一个预设组的第一参数集。
例如，机器学习装置可以与用户输入的学习环境对应地，以架构为基准对第一参数集进行初次排列，然后基于通过步骤S210记录的各第一参数集的推理速度(即，以推理速度从高到低排序)，对第一参数集进行二次排列。
然后，在步骤S223中，机器学习装置可以根据用户输入的学习条件，将通过步骤S222排列的第一参数集中靠前的预定比率选择为第二参数集。
在一实施例中，机器学习装置可以基于用户输入的推理速度等级和/或检索范围等级，将第一参数集中的一定比率选择为第二参数集。例如，机器学习装置在用户输入的推理速度为等级3时，将前20％选择为第二参数集，若为等级2，则将前50％选择为第二参数集。
在一实施例中，步骤S222及S223可以按预设组分别执行。即，当存在多个预设组时，可以按照预设组组别，对预设组中包含的第一参数集进行排列，并进行第二参数集的选定。
在步骤S230中，可以基于选定的第二参数集及输入数据集进行网络函数的学习，从而生成不同的学习模型，并计算生成的各学习模型的验证分数(validation score)。
例如，可以以第二参数集的设置数据设置网络函数的超参数，将输入数据集中至少一部分作为学习数据输入至网络函数，通过学习网络函数生成学习模型。
在一实施例中，可以基于召回率(recall)、精确率(precision)、准确率(accuracy)及它们的组合中至少一个计算验证分数。例如，若机器学习装置在学习模型是用于对象检测(detection)和/或分类(classification)，则基于召回率计算验证分数，若学习模型是用于对象分割(segmentation)，则构成为基于召回率和精确率组合而成的F1分数(F1 score)计算验证分数，但不限于此。
在步骤S240中，机器学习装置可以基于在步骤S230中计算的验证分数，将生成的学习模型中的一个选择为应用模型。
在一实施例中，机器学习装置可以将计算出的验证分数最高的学习模型选择为应用模型。此外，在一实施例中，当计算出的验证分数最高的学习模型有多个时，机器学习装置可以将通过排列更靠前的第二参数集生成的学习模型选择为应用模型。
然后，确定应用模型后，机器学习装置可以通过输入数据集中的一部分，即测试组评估应用模型，并通过应用模型计算用户要求的结果。
图5示例性示出在根据本公开的技术思想的一实施例的自动化机器学习方法中，将参数集注册于预设组的过程。
如图5所示，对于包括至少一个超参数的不同组合的设置数据的候选参数集，可以利用不同的6个数据集，将具有预定的基准值以上性能的候选参数注册在预设组。
此时，机器学习装置分别生成与数据集对应的6个预设组，反复执行利用各数据集的交叉验证过程，从而可以将候选参数集注册在数据集对应的预设组。
注册为预设组的参数集的相关信息可以存储于机器学习装置或与机器学习装置通信的外部服务器等。
图6示例性示出在根据本公开的技术思想的一实施例的自动化机器学习方法中，用于输入学习条件的用户界面。
机器学习装置可以通过用户终端或其自身具有的显示部提供用于接收对于学习条件的用户输入的用户界面。
例如，用户界面可以包括用于设置学习环境的区域610、用于设置搜索空间等级的区域620及用于设置推理速度的等级的区域630。
用户可以通过这样的用户界面，对于注册在预设组的参数，设置将根据哪种环境选择参数集或按等级注册的参数中要使用的参数的百分比。
图7是概略示出根据本公开的技术思想的一实施例的自动化机器学习装置的结构的框图。
通信部710可以在处理器740的控制下向外部装置(用户终端等)或外部服务器发送和接收数据或信号。通信部710可以包括有线/无线通信部。当通信部710包括有线通信部时，通信部710可以包括通过局域网(LAN，Local Area Network)、广域网(WAN，Wide AreaNetwork)、增值网络(VAN，Value Added Network)、移动通信网络(mobile radiocommunication network)、卫星通信网和它们的组合进行通信的一个或多个的结构特征。此外，当通信部710包括无线通信部时，通信部710可以使用蜂窝通信或无线局域网(例如，无线保真(Wi-Fi))等无线发送和接收数据或信号。
输入部720可以通过外部操作接收各种用户指令。为此，输入部720可以包括或连接一个或多个输入装置。例如，输入部720可以与键盘、鼠标等各种用于输入的接口连接，来接收用户指令。为此，输入部720除了USB端口之外还可以包括雷电接口等接口。此外，输入部720可以包括触摸屏、按钮等各种输入装置，或与它们结合而接收外部的用户指令。
存储器730可以存储用于处理器740的操作的程序，并且可以临时或永久地存储输入/输出的数据。存储器730可以包括闪存(flash memory)型、硬盘(hard disk)型、多媒体卡微型(multimedia card micro)型、卡型存储器(例如，SD或XD存储器等)和随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘和光盘中至少一个类型的存储介质。
此外，存储器730可以存储各种网络函数和算法，并且可以存储用于驱动和控制装置700的各种数据、程序(一个或多个指令)、应用程序、软件、指令、代码等。
处理器740可以控制装置700的整体动作。处理器740可以运行存储在存储器730中的一个或多个程序。处理器740可以指中央处理单元(CPU，Central Processing Unit)、图形处理单元(GPU，Graphics Processing Unit)或执行根据本公开的技术思想的方法的专用处理器。
在一实施例中，处理器740可以注册至少一个第一参数集，所述至少一个第一参数集包括影响学习模型性能的至少一个参数的不同设置数据的组合。
在一实施例中，处理器740可以通过对至少一个参数进行不同设置数据的组合，来生成多个候选参数集，通过第一数据集对各候选参数集进行网络函数的学习来执行交叉验证，根据交叉验证的结果，进行控制以将候选参数集中至少一个确定为第一参数集。
在一实施例中，处理器740可以基于与第一数据集不同的至少一个第二数据集，进行控制以反复执行所述交叉验证以及根据所述交叉验证的结果的所述第一参数集的确定。
在一实施例中，处理器740计算各候选参数集的交叉验证的验证分数的平均及标准偏差，基于验证分数的平均及标准偏差执行统计学比较，从而进行控制以将具有高于预定的基准值(baseline)的性能的候选参数集确定为第一参数集。
在一实施例中，处理器740可以基于输入的学习条件，从第一参数集中选择用于生成学习模型的至少一个第二参数集。
在一实施例中，处理器740基于架构(architecture)及推理速度中至少一个来排列第一参数集，然后根据输入的所述学习条件，进行控制以将排列的第一参数集中靠前的预定比率选择为所述第二参数集。
在一实施例中，处理器740基于第二参数集及预定的输入数据集来学习网络函数，从而生成与第二参数集分别对应的学习模型，分别计算学习模型的验证分数(validationscore)，基于验证分数，进行控制以将生成的学习模型中的一个选择为应用模型。此时，可以基于召回率(recall)、精确率(precision)、准确率(accuracy)及它们的组合中至少一个计算验证分数。
此外，图7中虽未示出，机器学习装置700还可以包括输出部、显示部等。
输出部用于产生与视觉、听觉、振动等相关的输出，可以包括显示部、语音输出部、电机等。
显示部根据处理器740的控制，可以显示用于输入学习条件、输入数据组等的用户界面以及学习模型的输出等。显示部可以包括显示模块。显示模块可以包括显示面板、显示驱动器以及触摸面板。
根据如上所述的本公开的技术思想的各种实施例，用户仅通过输入学习条件和输入数据等即能实现自动选择合适的网络函数和优化超参数，从而即使是非专业人员也可以轻松地生成和使用学习模型。
此外，根据本公开的技术思想的各种实施例，通过对能够提供高于特定基准值的性能的有意义的超参数组合进行预先搜索并将其注册为预设组，从而可以最小化优化超参数所需的检索范围和时间。
根据一实施例的自动化机器学习方法可以以能够通过各种计算机手段执行并记录在计算机可读介质中的程序指令的形式来实现。所述计算机可读介质可以包括单独或组合的程序指令、数据文件、数据结构等。记录在所述介质上的程序指令可以是为本公开专门设计和配置的，也可以是计算机软件领域的技术人员已知和可用的。计算机可读记录介质的示例包括硬盘、软盘和磁带等磁介质(magnetic media)，只读光盘(CD-ROM)和数字通用光盘(DVD)等光学介质(optical media)，软盘(floptical disk)等磁光介质，以及专门配置为存储和执行程序指令的硬件装置如只读存储器(ROM)、随机存取存储器(RAM)、闪存等。程序指令的示例不仅包括诸如由编译程序生成的机器语言代码，还包括可以由计算机使用解释程序等而执行的高级语言代码。
此外，公开的实施例的自动化机器学习方法可以通过包含在计算机程序产品(computer program product)中来提供。计算机程序产品可以作为商品在买卖双方之间进行交易。
计算机程序产品可以包括软件(S/W)程序和存储有软件(S/W)程序的计算机可读存储介质。例如，计算机程序产品可以包括通过电子装置的制造商或电子市场(例如，谷歌应用商店(Google Play Store)、苹果应用商店(App Store))以电子方式分发的软件(S/W)程序形式的产品(例如，可下载的应用程序)。为了电子分发，软件(S/W)程序的至少一部分可以存储在存储介质中或者可以临时生成。此时，存储介质可以是制造商的服务器、电子市场的服务器或者临时存储软件(S/W)程序的中继服务器的存储介质。
在由服务器和客户端装置组成的系统中，计算机程序产品可以包括服务器的存储介质或客户端装置的存储介质。或者，当存在通信连接于服务器或客户端装置的第三装置(例如，智能手机)时，计算机程序产品可以包括第三装置的存储介质。或者，计算机程序产品可以包括从服务器传送到客户端装置或第三装置，或者从第三装置传送到客户端装置的软件(S/W)程序本身。
此时，服务器、客户端装置和第三装置中的一个可以执行计算机程序产品以执行所公开的实施例的方法。或者，服务器、客户端装置和第三装置中的两个以上可以执行计算机程序产品以分开执行所公开的实施例的方法。
例如，服务器(例如，云服务器或人工智能服务器)可以运行存储在服务器中的计算机程序产品，以控制与服务器通信连接的客户端装置来执行所公开的实施例的方法。
尽管上面已经详细描述了实施例，但是本发明的权利范围不限于此，本领域技术人员利用所附权利要求书所定义的本发明的基本概念进行的各种修改和改进也包括在本发明的范围内。

Claims (17)

1.一种自动化机器学习方法，其中，包括如下步骤：
注册至少一个第一参数集，其包括影响学习模型性能的至少一个参数的不同设置数据的组合；
基于输入的学习条件，从所述第一参数集中选定将用于生成所述学习模型的至少一个第二参数集；
基于所述第二参数集以及预定的输入数据集学习网络函数，从而生成与各所述第二参数集对应的所述学习模型，计算各所述学习模型的验证分数；以及
基于所述验证分数，将生成的所述学习模型中的一个选择为应用模型。
2.根据权利要求1所述的自动化机器学习方法，其中，
注册所述第一参数集的步骤包括如下步骤：
对所述至少一个参数进行不同设置数据的组合，从而生成多个候选参数集；
通过第一数据集对各所述候选参数集进行所述网络函数的学习，执行交叉验证；以及
根据所述交叉验证的结果，将所述候选参数集中至少一个确定为所述第一参数集。
3.根据权利要求2所述的自动化机器学习方法，其中，
基于与所述第一数据集不同的至少一个第二数据集，反复执行所述交叉验证的步骤和确定为所述第一参数集的步骤。
4.根据权利要求2所述的自动化机器学习方法，其中，
所述交叉验证的结果包括计算的各所述候选参数集的所述交叉验证的验证分数的平均及标准偏差，
在确定为所述第一参数集的步骤中，基于所述验证分数的平均及标准偏差执行统计学比较，从而将具有高于预定的基准值的性能的所述候选参数集确定为所述第一参数集。
5.根据权利要求1所述的自动化机器学习方法，其中，
所述第一参数集包括与网络函数种类、优化器、学习速度以及数据增强中至少一个相关的参数的设置数据。
6.根据权利要求1所述的自动化机器学习方法，其中，
所述学习条件包括与学习环境、推理速度以及检索范围中至少一个相关的条件。
7.根据权利要求6所述的自动化机器学习方法，其中，
选定所述第二参数的步骤包括如下步骤：
基于架构以及所述推理速度中至少一个排列所述第一参数集；以及
根据输入的所述学习条件，将排列的所述第一参数集中靠前的预定比率选定为所述第二参数集。
8.根据权利要求1所述的自动化机器学习方法，其中，
基于召回率、精确率、准确率以及它们的组合中至少一个计算所述验证分数。
9.一种自动化机器学习装置，其中，包括：
存储器，存储用于自动化机器学习的程序；
处理器，通过运行所述程序，注册至少一个第一参数集，其中所述第一参数集包括影响学习模型性能的至少一个参数的不同设置数据的组合，然后基于输入的学习条件，从所述第一参数集中选定将用于生成所述学习模型的至少一个第二参数集，基于所述第二参数集以及预定的输入数据集学习网络函数，从而生成与各所述第二参数集对应的所述学习模型，计算各所述学习模型的验证分数，基于所述验证分数，进行控制以将生成的所述学习模型中的一个选择为应用模型。
10.根据权利要求9所述的自动化机器学习装置，其中，
所述处理器通过对所述至少一个参数进行不同设置数据的组合，从而生成多个候选参数集，通过第一数据集对各所述候选参数集进行网络函数的学习以执行交叉验证，根据所述交叉验证的结果，进行控制以将所述候选参数集中至少一个确定为所述第一参数集。
11.根据权利要求10所述的自动化机器学习装置，其中，
所述处理器基于与所述第一数据集不同的至少一个第二数据集，进行控制以反复执行所述交叉验证以及根据所述交叉验证的结果的所述第一参数集的确定。
12.根据权利要求10所述的自动化机器学习装置，其中，
所述处理器计算各所述候选参数集的所述交叉验证的验证分数的平均及标准偏差，基于所述验证分数的平均及标准偏差执行统计学比较，从而进行控制以将具有高于预定的基准值的性能的所述候选参数集确定为所述第一参数集。
13.根据权利要求9所述的自动化机器学习装置，其中，
所述第一参数集包括与网络函数种类、优化器、学习速度以及数据增强中至少一个相关的参数的设置数据。
14.根据权利要求9所述的自动化机器学习装置，其中，
所述学习条件包括与学习环境、推理速度及检索范围中至少一个相关的条件。
15.根据权利要求9所述的自动化机器学习装置，其中，
所述处理器基于架构及所述推理速度中至少一个排列所述第一参数集，然后根据输入的所述学习条件，进行控制以将排列的所述第一参数集中靠前的预定比例选定为所述第二参数集。
16.根据权利要求9所述的自动化机器学习装置，其中，
基于召回率、精确率、准确率及它们的组合中至少一个计算所述验证分数。
17.一种计算机程序，存储于记录介质中，用于执行根据权利要求1至8中任一项所述的方法。
CN202080105033.6A 2020-09-11 2020-11-16 自动化机器学习方法及其装置 Pending CN116057543A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2020-0116989 2020-09-11
KR1020200116989A KR102271736B1 (ko) 2020-09-11 2020-09-11 자동화된 기계 학습 방법 및 그 장치
PCT/KR2020/016084 WO2022055020A1 (ko) 2020-09-11 2020-11-16 자동화된 기계 학습 방법 및 그 장치

Publications (1)

Publication Number Publication Date
CN116057543A true CN116057543A (zh) 2023-05-02

Family

ID=76896784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080105033.6A Pending CN116057543A (zh) 2020-09-11 2020-11-16 自动化机器学习方法及其装置

Country Status (5)

Country Link
US (1) US20230297830A1 (zh)
JP (1) JP2023541264A (zh)
KR (1) KR102271736B1 (zh)
CN (1) CN116057543A (zh)
WO (1) WO2022055020A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102592515B1 (ko) * 2021-12-14 2023-10-23 한국전자기술연구원 임베딩 기반 데이터 집합의 처리 장치 및 그 방법
KR102552115B1 (ko) * 2023-03-27 2023-07-06 유비즈정보기술(주) 범용성을 가지는 기계 학습 프로그램 기록매체

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102340258B1 (ko) * 2015-12-29 2021-12-15 삼성에스디에스 주식회사 시계열의 데이터를 예측 하는 방법 및 그 장치
KR102044205B1 (ko) * 2015-12-30 2019-11-13 주식회사 솔리드웨어 빅데이터와 기계학습을 이용한 타겟 정보 예측 시스템 및 예측 방법
KR20180079995A (ko) * 2017-01-03 2018-07-11 주식회사 데일리인텔리전스 머신러닝을 기반으로 데이터를 분석하는 프로그램을 생성하기 위한 방법
KR102107378B1 (ko) * 2017-10-31 2020-05-07 삼성에스디에스 주식회사 하이퍼파라미터 자동 최적화 방법 및 그 장치
KR102190105B1 (ko) * 2018-12-27 2020-12-11 (주)아크릴 인공 신경망의 파라미터 셋을 결정하는 방법

Also Published As

Publication number Publication date
JP2023541264A (ja) 2023-09-29
KR102271736B1 (ko) 2021-07-02
WO2022055020A1 (ko) 2022-03-17
US20230297830A1 (en) 2023-09-21

Similar Documents

Publication Publication Date Title
US20230252327A1 (en) Neural architecture search for convolutional neural networks
US11741361B2 (en) Machine learning-based network model building method and apparatus
US20180349757A1 (en) Learning service providing apparatus
KR102532749B1 (ko) 약한 지도 학습에 기초한 뉴럴 네트워크의 계층적 학습 방법 및 장치
CN111406267A (zh) 使用性能预测神经网络的神经架构搜索
CN111602148A (zh) 正则化神经网络架构搜索
CN113508378A (zh) 推荐模型的训练方法、推荐方法、装置及计算机可读介质
CN113449858A (zh) 一种神经网络模型的处理方法以及相关设备
US11704570B2 (en) Learning device, learning system, and learning method
US11829946B2 (en) Utilizing machine learning models and captured video of a vehicle to determine a valuation for the vehicle
US10732694B2 (en) Power state control of a mobile device
CN116057543A (zh) 自动化机器学习方法及其装置
US20200265307A1 (en) Apparatus and method with multi-task neural network
US20240028897A1 (en) Interpreting convolutional sequence model by learning local and resolution-controllable prototypes
US20220036232A1 (en) Technology for optimizing artificial intelligence pipelines
US11651276B2 (en) Artificial intelligence transparency
CN111144574B (zh) 使用指导者模型训练学习者模型的人工智能系统和方法
US20220092406A1 (en) Meta-feature training models for machine learning algorithms
US20230186092A1 (en) Learning device, learning method, computer program product, and learning system
WO2023050143A1 (zh) 一种推荐模型训练方法及装置
KR20210148877A (ko) 전자 장치 및 이의 제어 방법
CN114065901A (zh) 训练神经网络模型的方法和装置
US11443130B2 (en) Making a failure scenario using adversarial reinforcement learning background
US20230029320A1 (en) Methods and apparatus for optimizing hyperparameter search functionality
WO2024063807A1 (en) Machine learning classifiers using data augmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination