CN115130366A - 机器学习模型的优化、预测方法、设备及存储介质 - Google Patents

机器学习模型的优化、预测方法、设备及存储介质 Download PDF

Info

Publication number
CN115130366A
CN115130366A CN202110327817.XA CN202110327817A CN115130366A CN 115130366 A CN115130366 A CN 115130366A CN 202110327817 A CN202110327817 A CN 202110327817A CN 115130366 A CN115130366 A CN 115130366A
Authority
CN
China
Prior art keywords
data
training
training data
optimization
optimization target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110327817.XA
Other languages
English (en)
Inventor
谢悦湘
王桢
李雅亮
丁博麟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Innovation Co
Original Assignee
Alibaba Singapore Holdings Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Singapore Holdings Pte Ltd filed Critical Alibaba Singapore Holdings Pte Ltd
Priority to CN202110327817.XA priority Critical patent/CN115130366A/zh
Publication of CN115130366A publication Critical patent/CN115130366A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G06Q30/0271—Personalized advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/04—Constraint-based CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/06—Multi-objective optimisation, e.g. Pareto optimisation using simulated annealing [SA], ant colony algorithms or genetic algorithms [GA]

Abstract

本申请实施例提供一种机器学习模型的优化、预测方法、设备及存储介质。在优化方法中，采用批量训练集对机器学习模型进行训练时，批量训练集对应的优化目标由多个训练数据各自的优化目标以及多个训练数据各自的过拟合正则参数计算得到。在这种优化方式中，可基于每个训练数据的过拟合正则参数，对每个训练数据的训练过程进行约束，进而实现对批量训练集整体的优化目标进行约束。基于这种方式，可实现训练数据级别的正则化，提升机器学习模型的泛化能力，有利于有效提升机器学习模型在多种不同应用场景下的预测精度。

Description

机器学习模型的优化、预测方法、设备及存储介质
技术领域
本申请涉及机器学习技术领域，尤其涉及一种机器学习模型的优化、预测方法、设备及存储介质。
背景技术
在机器学习模型的训练过程中，根据训练损失对模型的参数进行优化时，会出现一些过度拟合现象。过度拟合会严重降低模型的泛化能力。
目前，存在一些正则化方法来防止过度拟合，例如衰减权重的方法以及提前停止迭代的方法。然而，现有的方法无法灵活地处理过拟合现象，导致训练得到的机器学习模型的泛化能力较差，进而具有较低的预测精度。因此，有待提出一种新的解决方案。
发明内容
本申请的多个方面提供一种机器学习模型的优化、预测方法、设备及存储介质，用以灵活地处理机器学习过程中的过拟合现象，提升机器学习模型的泛化能力。
本申请实施例提供一种机器学习模型的优化方法，包括：获取批量训练集，所述批量训练集包括多个训练数据；将所述多个训练数据输入机器学习模型，得到所述多个训练数据各自的预测结果；根据所述多个训练数据各自的预测结果和设定的训练监督信号，确定所述多个训练数据各自的优化目标；根据所述多个训练数据各自的优化目标以及所述多个训练数据各自的过拟合正则参数，计算所述批量训练集的优化目标；根据所述批量训练集的优化目标，对所述机器学习模型的参数进行优化。
本申请实施例还提供一种机器学习模型的优化方法，包括：响应客户端对第一接口的调用请求，获取批量训练集，所述批量训练集包括多个训练数据；将所述多个训练数据输入机器学习模型，得到所述多个训练数据各自的预测结果；根据所述多个训练数据各自的预测结果和设定的训练监督信号，确定所述多个训练数据各自的优化目标；根据所述多个训练数据各自的优化目标以及所述多个训练数据各自的过拟合正则参数，计算所述批量训练集的优化目标；根据所述批量训练集的优化目标，对所述机器学习模型的参数进行优化。
本申请实施例还提供一种数据预测方法，包括：获取待预测数据；将所述待预测数据输入机器学习模型，得到所述待预测数据的预测结果；其中，所述机器学习模型，基于多个训练数据和所述机器学习模型的优化目标训练得到，所述机器学习的优化目标，由所述多个训练数据各自的优化目标以及所述多个训练数据各自的过拟合正则参数确定。
本申请实施例还提供一种图像识别方法，包括：获取待识别的图像；将所述图像输入图像识别模型，得到所述图像中的目标对象的检测结果；其中，所述图像识别模型，基于多个样本图像以及所述图像识别模型的优化目标训练得到；所述图像识别模型的优化目标，由所述多个样本图像各自的优化目标以及所述多个样本图像各自的过拟合正则参数确定。
本申请实施例还提供一种问答匹配方法，包括：获取待匹配的用户问题；将所述用户问题输入问答匹配模型，得到所述用户问题的预测答案；其中，所述问答匹配模型，基于多个问答语料数据以及所述问答匹配模型的优化目标训练得到；所述问答匹配模型的优化目标，由所述多个问答语料数据各自的优化目标以及所述多个问答语料数据各自的过拟合正则参数确定。
本申请实施例还提供一种行为识别方法，包括：获取待识别的行为数据；将所述行为数据输入行为识别模型，得到所述行为数据的行为识别结果；其中，所述行为识别模型，基于多个行为数据样本以及所述行为识别模型的优化目标训练得到；所述行为识别模型的优化目标，由多个行为数据样本各自的优化目标以及所述多个行为数据样本各自的过拟合正则参数确定。
本申请实施例还提供一种服务器，包括：存储器和处理器；所述存储器用于存储一条或多条计算机指令；所述处理器用于执行所述一条或多条计算机指令以用于：执行本申请实施例提供的方法中的步骤。
本申请实施例还提供一种终端设备，包括：存储器和处理器；所述存储器用于存储一条或多条计算机指令；所述处理器用于执行所述一条或多条计算机指令以用于：获取待预测数据；将所述待预测数据输入机器学习模型，得到所述待预测数据的预测结果；其中，所述机器学习模型，基于多个训练数据和所述机器学习模型的优化目标训练得到，所述机器学习的优化目标，由所述多个训练数据各自的优化目标以及所述多个训练数据各自的过拟合正则参数确定。
本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现本申请实施例提供的方法中的步骤。
本申请实施例还提供一种计算机程序产品，包括计算机程序/指令，当计算机程序被处理器执行时，致使处理器实现本申请实施例提供的方法中的步骤。
本申请实施例提供的基于深度度量学习的模型优化方法中，采用批量训练集对机器学习模型进行训练时，批量训练集对应的优化目标由多个训练数据各自的优化目标以及多个训练数据各自的过拟合正则参数计算得到。在这种优化方式中，可基于每个训练数据的过拟合正则参数，对每个训练数据的训练过程进行约束，进而实现对批量训练集整体的优化目标进行约束。基于这种方式，可实现训练数据级别的正则化，提升机器学习模型的泛化能力，有利于有效提升机器学习模型在多种不同应用场景下的预测精度。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请一示例性实施例提供的机器学习模型的优化系统的结构示意图；
图2为本申请一示例性实施例提供的机器学习模型的优化方法的流程示意图；
图3为本申请另一示例性实施例提供的机器学习模型的优化方法的流程示意图；
图4为本申请又一示例性实施例提供的机器学习模型的优化方法的流程示意图；
图5为本申请一示例性实施例提供的终端设备的结构示意图；
图6为本申请一示例性实施例提供的服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在机器学习模型的训练过程中，根据训练损失对模型的参数进行优化时，会出现一些过度拟合现象。过拟合的机器学习模型有能力通过达到零训练误差来对训练数据的特征进行记忆。而记忆训练数据之后，会使得训练损失逼近零，从而使得模型的泛化能力下降，在测试集上表现很差。现有的正则化方法不能直接定位到避免零化训练损失这一点上。
目前，存在一些正则化方法来防止过度拟合，例如衰减权重的方法以及提前停止迭代的方法。然而，现有的方法无法灵活地处理过拟合现象。
在一种较为直接的过拟合正则化解决方案中，可对模型的整体优化目标进行过拟合修正，进而防止训练损失的进一步减少。这种方法可以让模型的训练损失先梯度下降到一个底线附近，该训练损失的底线，是一个超参数，可以被形象地描述为“flooding level(洪水位)”，如以下公式1所示：
Figure BDA0002995282930000051
公式1中，i表示训练样本的序号，N表示批量训练集包含的训练样本的总数，
Figure BDA0002995282930000052
表示批量训练集(batch)正则化后的优化目标，J(θ)i表示第i个训练样本的优化目标，b表示机器学习模型的损失底线，即flooding level。当训练损失低于这个底线时，再进行梯度上升。这种方法使得模型参数最终会浮动在一个使得损失函数较为平坦的区域，从而使模型达到更好的泛化性能。
但是，这种方式也存在一定的缺陷。首先，这种正则化约束应用于一批数据的平均训练损失，这很使难得使每个训练数据实例的损失保持在“flooding level”附近，因此导致模型的性能有所损失。其次，这种将批量数据的平均训练损失控制在某一区域的方式，将消耗较长的训练时间。
针对上述技术问题，在本申请一些实施例中，提供了一种解决方案，以下结合附图，详细说明本申请各实施例提供的技术方案。
图1为本申请一示例性实施例提供的机器学习模型的优化系统的结构示意图，如图1所示，该系统100包括：终端设备10以及服务器20。
其中，终端设备10是指能够与用户进行交互，并且具有通信功能的设备。在不同的应用场景下，终端设备10的实现形态也会有所不同。例如，在一些场景下，终端设备10可表现为用户侧的手机、平板电脑、计算机设备等，用户可通过上述终端设备10提供的插件、应用程序或者浏览器等发起训练机器学习模型的触发操作。
其中，服务器20是能够提供数据支持以及计算支持的设备。在一些实施例中，服务器20可实现为常规服务器、云服务器、云主机、虚拟中心等服务器等设备，本实施例对此不做限制。其中，服务器设备的构成主要包括处理器、硬盘、内存、系统总线等，和通用的计算机架构类似，不再赘述。
在一些示例性实施方式中，终端设备10和服务器20之间可采用有线通信方式无线通信方式进行通信。其中，无线通信方式包括蓝牙、ZigBee、红外线、WiFi(WIreless-Fidelity，无线保真技术)等短距离通信方式，也包括LORA等远距离无线通信方式，还可包括基于移动网络的无线通信方式。其中，当通过移动网络通信连接时，移动网络的网络制式可以为2G(GSM)、2.5G(GPRS)、3G(WCDMA、TD-SCDMA、CDMA2000、UTMS)、4G(LTE)、4G+(LTE+)、5G、WiMax等中的任意一种。
在一些实施例中，服务器20可向终端设备10开放一些指定的接口，以供终端设备10基于该指定的接口访问服务器20提供的服务。在本实施例中，为方便描述区分，将服务器20提供可调用模型训练服务的接口描述为第一接口。
在本实施例中，终端设备10主要用于：响应用户的模型训练触发操作，通过该第一接口向服务器20发送模型训练请求。其中，该模型训练请求可通过指定的接口发送。
在一些可选的实施例中，终端设备10可包括一电子显示屏，用户可通过该显示屏发起模型训练触发操作。其中，电子显示屏可包括液晶显示器(LCD)和触摸面板(TP)。如果电子显示屏包括触摸面板，电子显示屏可以被实现为触摸屏，该触摸屏可接收来自用户的输入信号，以获取用户的模型训练触发操作。当然，在其他可选的实施例中，终端设备10可包括用于向用户提供模型训练触发操作的物理按键或者语音输入装置等，此处不赘述。
其中，服务器20主要用于：响应终端设备10对第一接口的调用请求，获取批量训练集，该批量训练集包括多个训练数据；将该多个训练数据输入机器学习模型，得到该多个训练数据各自的预测结果；根据该多个训练数据各自的预测结果和设定的训练监督信号，确定该多个训练数据各自的优化目标；根据该多个训练数据各自的优化目标以及该多个训练数据各自的过拟合正则参数，计算该批量训练集的优化目标；根据该批量训练集的优化目标，对该机器学习模型的参数进行优化。
在本实施例中，批量训练集由多个训练数据组成，每个训练数据可称为一个训练所需的样本实例。其中，当机器学习模型应用于不同的数据预测场景时，训练数据可实现为不同类型的数据。
在基于图像的机器视觉应用场景中，训练数据可实现为训练采用的多张样本图像。在自然语言处理场景中，训练数据可实现为训练采用的预料数据，例如多个文本预料或者多个音频预料。在行为分析场景中，训练数据可实现为训练采用的多个行为数据。例如，在商品偏好分析场景中，训练数据可实现为不同商品的点击量统计数据、销售量统计数据等等，不再一一进行列举。
在本实施例中，机器学习模型，可实现为多种不同的深度学习模型，例如神经网络(Artificial Neural Networks)模型、深度神经网络(Deep Neural Networks)、循环神经网络(Recurrent Neural Networks)模型、递归神经网络(Recursive Neural Networks)、卷积神经网络(Convolutional Neural Networks)、图卷积神经网络(GraphConvolutional Network,GCN)以及深度生成模型(Deep Generative Models)中的任意一种，或者上述一种或者多种深度学习模型变形得到的模型，本实施例不做限制。
其中，优化目标，也称为机器学习的学习目标(learning objective)，通常用于表示机器学习模型输出的预测值与参考值的差。在机器学习模型的训练过程中，可将不断收敛优化目标使其稳定在一定范围内作为模型的训练目的。
优化目标通常基于损失函数实现。在训练机器学习模型时，将批量训练集中的多个训练数据输入机器学习模型之后，可得到机器学习模型对每个训练数据输出的结果。以下为描述方便，将机器学习模型针对训练数据输出的结果，描述为训练数据对应的预测结果。
在有监督学习中，随着训练数据集输入及其学习模型的还包括训练所需的监督信号。其中，该监督信号可实现为训练数据上标注的数据标签，该数据标签可以是分类标签、真实数据值的标签等等。机器学习模型可在训练数据上标注的标签的监督下，学习训练数据的特性，并对训练数据的特性进行记忆，以实现对具有相同或者相似特征的数据进行识别分析。
在本实施例中，针对每个训练数据而言，可根据该训练数据上标注的数据标签，以及机器学习模型针对该训练数据输出的预测值，计算该训练数据的优化目标。
在获取到多个训练数据各自的优化目标之后，可根据该多个训练数据各自的优化目标以及该多个训练数据各自的过拟合正则参数，计算批量训练集的优化目标。
其中，过拟合正则参数，是一种超参数(hyperparameter)，该参数需要预先定义，不能直接从模型训练过程中根据训练数据进行学习。
在本实施例中，每个训练数据各自对应有过拟合正则参数。例如，一个批量训练集包含200个训练数据，每个训练数据对应一个过拟合正则参数，200个训练数据对应200个过拟合正则参数。其中，训练集中，多个训练数据各自对应的过拟合正则参数可以完全相同、可以部分相同，也可以完全不同，本实施例不做限制。
基于过拟合正则参数，可对每个训练数据的优化目标进行更新，并基于更新后的训练数据的优化目标，计算得到批量训练集的优化目标。基于批量训练集的优化目标，可对机器学习模型的参数进行优化。
应当理解，机器学习的训练过程是迭代进行的。在每一次迭代训练的过程中，可基于本实施例提供的方法，获取批量训练集在本轮训练过程对应的优化目标，并基于该优化目标，计算下一轮迭代训练所需的模型参数。当批量训练集的优化目标收敛至指定的范围，或者迭代次数达到指定的次数阈值，则结束迭代训练过程，并输出训练完成的机器学习模型。
其中，每一轮迭代结束后，若迭代次数未达到指定的次数阈值，则服务器20可判断本轮迭代训练后批量训练集的优化目标是否收敛到指定范围。该指定的范围可根据实际训练需求进行设置，本实施例不做限制。
需要说明的是，在一些可选的实施例中，在根据批量训练集的优化目标，对机器学习模型的参数进行优化时，可根据批量训练集的优化目标的值，判断采用何种参数更新方法。可选地，若批量训练集的优化目标的值大于设定阈值，则采用梯度下降法更新机器学习模型的参数。可选地，若批量训练集的优化目标的值小于或者等于该设定阈值，则采用梯度上升法更新机器学习模型的模型参数，不再赘述。
可选的，若该批量训练集的优化目标收敛至指定范围，则服务器20可输出优化得到的结果模型，并将结果模型返回至终端设备10。终端设备10接收到该结果模型后，可本地运行该结果模型。在获取到待预测数据后，终端设备10可将待预测数据输入本地运行的结果模型，并获得该结果模型的预测结果。
可选地，若批量训练集的优化目标收敛至指定范围，则服务器20可输出优化得到的结果模型，并将结果模型保存在本地。同时，服务器20可向用户开放指定的接口，以供用户利用该结果模型实现数据预测。其中，为方便描述区分，将服务器20提供可使用训练得到结果模型的接口描述为第二接口。响应终端设备10对第二接口的调用请求，服务器20可根据该调用请求获取待预测数据，将该待预测数据输入本地的结果模型，得到结果模型对该待预测数据输出的预测结果，并将将该预测结果返回至终端设备10，如图1中的虚线部分所示。
其中，终端设备10调用第二接口时，可在接口参数中携带该待预测数据，或者，终端设备10可将待预测数据的地址(例如统一资源定位符URL)发送至服务器20，或者，终端设备10可采用其他可选的方式将待预测数据发送至服务器20，本实施例不做限制。
在本实施例中，采用批量训练集对机器学习模型进行训练时，批量训练集对应的优化目标由多个训练数据各自的优化目标以及多个训练数据各自的过拟合正则参数计算得到。在这种优化方式中，可基于每个训练数据的过拟合正则参数，对每个训练数据的训练过程进行约束，进而实现对批量训练集整体的优化目标进行约束。基于这种方式，可实现训练数据级别的正则化，提升机器学习模型的泛化能力，有利于有效提升机器学习模型在多种不同应用场景下的预测精度。
前述实施例记载了根据批量训练集中的多个训练数据各自的优化目标，以及该多个训练数据各自的过拟合正则参数，计算批量训练集的优化目标技术方案，以下将进一步示例性说明。
可选地，针对该多个训练数据中的任一训练数据，可采用该训练数据对应的过拟合正则参数对该训练数据的优化目标进行修正，得到该训练数据的正则化优化目标。在获取到多个数据各自的正则化优化目标后，可计算该多个训练数据各自的正则化优化目标的平均值，作为该批量训练集的优化目标。
在一些可选的实施方式A中，针对任一训练数据而言，采用该训练数据对应的过拟合正则参数对该训练数据的优化目标进行修正时，可将该训练数据的过拟合正则参数作为乘法系数，并基于乘法运算对训练数据的优化目标进行修正。
例如，以J(θ)i表示第i个训练数据的优化目标，bi表示第i个训练数据的过拟合正则参数时，则第i个训练数据的修正后得到的正则化优化目标
Figure BDA0002995282930000101
可以表示为：
Figure BDA0002995282930000102
进而，计算批量训练集的优化目标的过程，可如以下公式3所示：
Figure BDA0002995282930000103
在另一些可选的实施方式B中，针对任一训练数据而言，采用该训练数据对应的过拟合正则参数对该训练数据的优化目标进行修正时，可将该训练数据的过拟合正则参数作为补偿值，并基于加/减法运算对训练数据的优化目标进行修正。
例如，以J(θ)i表示第i个训练数据的优化目标，bi表示第i个训练数据的过拟合正则参数时，则第i个训练数据的修正后得到的正则化优化目标
Figure BDA0002995282930000104
可以表示为：
Figure BDA0002995282930000105
进而，计算批量训练集的优化目标的过程，可如以下公式4所示：
Figure BDA0002995282930000111
其中，N表示批量训练集中的训练数据的个数，N为正整数。i表示训练数据的序号，i＝1,2,3…N。J(θ)i表示第i个训练数据的优化目标，bi表示第i个训练数据的过拟合正则参数，
Figure BDA0002995282930000112
表示批量训练集的优化目标。
在公式2、公式3、公式4以及公式5所示的计算优化目标的过程中，根据每个训练数据的优化目标以及过拟合正则参数，可对该训练数据进行正则化。批量训练集的优化目标，由训练数据的正则化后的优化目标的绝对值的平均值构成，进而可将每个训练数据的正则化之后的优化目标，对批量训练集的整体损失进行正则化，从而改善机器学习模型的过拟合现象，提升机器学习模型的泛化性能。
本申请提供的机器学习模型的优化方法中，可根据不同的训练场景，对每个训练数据的过拟合正则参数进行灵活调整。
在一些可能的场景下，当批量训练集中的训练数据的标签存在噪声时，可通过为训练数据设置合适的过拟合正则参数，来修正这种噪声对模型训练过程的影响。其中，标签的噪声产生原因可能为：训练数据的标注难度大，标注错误率高；或者，人工标注训练数据时，初期阶段由于对标签不熟悉而导致标注准确率较低。
可选地，当批量训练集中的训练数据存在噪声时，服务器20可获取批量训练集的每种数据标签各自的噪声比例；接下来，服务器20可根据每种数据标签的各自的噪声比例，设置每种标签各自的对应的样本实例的过拟合正则参数的值；其中，噪声比例与过拟合正则参数的值成正相关关系。也就是说，数据标签的噪声比例越高，则过拟合正则参数的值越大。
例如，在训练商品识别模型时，批量训练集中包含两种商品的样本图像。其中，商品P1的外包装形态较为多样，因此，在对商品P1的样本图像进行标注时，标签的错误率较高。商品P2的外包装形态较为单一，因此，在对商品P2的样本图像进行标注时，标签的错误率较低。设置样本图像的过拟合正则参数时，可设置标签为商品P1的样本图像的过拟合正则参数，大于标签为商品P2的样本图像的过拟合正则参数。
在一些可能的情况下，在采集训练数据时，存在采样偏差，即在一些因素的影响下，采样得到的训练数据的分布，与数据的实际分布不符。影响训练数据的分布的因素，可描述为分布影响因子。
例如，在分析商品偏好时，受广告推广因素的影响，购物平台上的某一商品P1被展示在广告推广位上，曝光量较高，因而用户的点击量较高。另一商品P2被展示在较为偏僻的位置上，曝光量较低，因而用户的点击量较低。但实际上，这种点击量分布受广告因素以及展示位置的影响，并不能真实反映用户对商品的偏好程度。在这种情况下，当采样到上述两种商品的点击量数据时，可认为该点击量数据的分布受到了广告因素以及展示位置因素的影响，出现了采样偏差。若采用受干扰的点击量分布数据训练用于预测商品偏好的机器学习模型，则无法提升训练得到的模型的泛化能力。
因此，可选地，当批量训练集存在采样偏差时，服务器20可根据该采样偏差，设置批量训练集中的多个训练数据各自对应的过拟合正则参数；其中，采样偏差与过拟合正则参数的值成正相关关系。也就是说，批量训练集的采样偏差越大，则过拟合正则参数的值越大。承接上述例子，批量训练集包含对商品P1以及商品P2的点击量数据进行采样得到的训练数据时，可分别为商品P1以及商品P2对应的训练数据设置过拟合正则参数，以修正广告因素以及展示位置因素对训练数据的分布的干扰，提升最终训练得到的模型的性能。
其中，每个训练数据的过拟合参数，除了可由服务器20按照上述实施例记载的方式进行设置之外，在另一些可选的实施例中，每个训练数据的过拟合正则参数可由用户设定，用户可通过终端设备10为每个训练数据设置过拟合正则参数，并由终端设备10将过拟合正则参数发送至服务器20，不再赘述。在又一些可选的实施例中，服务器20可为每个训练数据的过拟合正则参数b设置一个大致的选择范围，并通过迭代训练，在这个范围内不断为每个训练数据寻找较优的b的值，不再赘述。
除前述实施例记载的机器学习模型的优化系统之外，本申请实施例还提供一种机器学习模型的优化方法，以下将结合附图进行示例性说明。
图2为本申请一示例性实施例提供的机器学习模型的优化方法的流程示意图，如图2所示，该方法包括：
步骤201、获取批量训练集，所述批量训练集包括多个训练数据。
步骤202、将所述多个训练数据输入机器学习模型，得到所述多个训练数据各自的预测结果。
步骤203、根据所述多个训练数据各自的预测结果以及训练监督信号，确定所述多个训练数据各自的优化目标。
步骤204、根据所述多个训练数据各自的优化目标以及所述多个训练数据各自的过拟合正则参数，计算所述批量训练集的优化目标。
步骤205、根据所述批量训练集的优化目标，对所述机器学习模型的参数进行优化。
进一步可选地，根据所述多个训练数据各自的优化目标，以及所述多个训练数据各自的过拟合正则参数，计算所述批量训练集的优化目标的一种方式，可包括：针对所述多个训练数据中的任一训练数据，采用所述训练数据对应的过拟合正则参数对所述训练数据的优化目标进行修正，得到所述训练数据的正则化优化目标；计算所述多个训练数据各自的正则化优化目标的平均值，作为所述批量训练集的优化目标。
进一步可选地，该方法还包括：获取所述批量训练集的多种数据标签各自的噪声比例；根据所述多种数据标签的各自的噪声比例，设置所述多种数据标签各自的对应的训练数据的过拟合正则参数；其中，噪声比例与过拟合正则参数的值成正相关关系。
进一步可选地，该方法还包括：获取所述批量训练集的采样偏差，所述采样偏差根据所述批量训练集所属的训练数据的分布影响因子确定；根据所述采样偏差，设置所述批量训练集中的多个训练数据各自对应的过拟合正则参数；其中，采样偏差与过拟合正则参数的值成正相关关系。
进一步可选地，根据所述批量训练集的优化目标，对所述机器学习模型的参数进行优化的一种方式，可包括：若所述批量训练集的优化目标的值大于设定阈值，则采用梯度下降法更新所述机器学习模型的参数；若所述批量训练集的优化目标的值小于或者等于所述设定阈值，则采用梯度上升法更新所述机器学习模型的模型参数。
进一步可选地，所述批量训练集包括：多张样本图像、多个文本语料、多个音频语料或者多个行为数据。
本实施例中，采用批量训练集对机器学习模型进行训练时，批量训练集对应的优化目标由多个训练数据各自的优化目标以及多个训练数据各自的过拟合正则参数计算得到。在这种优化方式中，可基于每个训练数据的过拟合正则参数，对每个训练数据的训练过程进行约束，进而实现对批量训练集整体的优化目标进行约束。基于这种方式，可实现训练数据级别的正则化，提升机器学习模型的泛化能力，有利于有效提升机器学习模型在多种不同应用场景下的预测精度。
图3为本申请另一示例性实施例提供的机器学习模型的优化方法的流程示意图，如图3所示，该方法在服务器一侧执行时，可包括：
步骤301、响应客户端对第一接口的调用请求，获取批量训练集，所述批量训练集包括多个训练数据。
步骤302、将所述多个训练数据输入机器学习模型，得到所述多个训练数据各自的预测结果。
步骤303、根据所述多个训练数据各自的预测结果和设定的训练监督信号，确定所述多个训练数据各自的优化目标。
步骤304、根据所述多个训练数据各自的优化目标以及所述多个训练数据各自的过拟合正则参数，计算所述批量训练集的优化目标。
步骤305、根据所述批量训练集的优化目标，对所述机器学习模型的参数进行优化。
进一步可选地，该方法还包括：若所述批量训练集的优化目标收敛至指定范围，则输出优化得到的结果模型；将所述结果模型返回至所述客户端，以供所述客户端基于所述结果模型进行预测。
进一步可选地，该方法还包括：若所述批量训练集的优化目标收敛至指定范围，则输出优化得到的结果模型；响应所述客户端对第二接口的调用请求，获取待预测数据；将所述待预测数据输入所述结果模型，得到所述结果模型对所述待预测数据输出的预测结果；将所述预测结果返回至所述客户端。
进一步可选地，根据所述多个训练数据各自的优化目标，以及所述多个训练数据各自的过拟合正则参数，计算所述批量训练集的优化目标的一种方式，可包括：针对所述多个训练数据中的任一训练数据，采用所述训练数据对应的过拟合正则参数对所述训练数据的优化目标进行修正，得到所述训练数据的正则化优化目标；计算所述多个训练数据各自的正则化优化目标的平均值，作为所述批量训练集的优化目标。
本实施例中，服务器可向客户端提供模型训练服务器，客户端可基于第一接口访问并使用该服务。服务器采用批量训练集对机器学习模型进行训练时，批量训练集对应的优化目标由多个训练数据各自的优化目标以及多个训练数据各自的过拟合正则参数计算得到。在这种优化方式中，可基于每个训练数据的过拟合正则参数，对每个训练数据的训练过程进行约束，进而实现对批量训练集整体的优化目标进行约束。基于这种方式，可实现训练数据级别的正则化，提升机器学习模型的泛化能力。
图4为本申请又一示例性实施例提供的机器学习模型的优化方法的流程示意图，如图3所示，该方法在终端设备一侧执行时，刻包括：
步骤401、获取待预测数据。
步骤402、将所述待预测数据输入机器学习模型，得到所述待预测数据的预测结果；其中，所述机器学习模型，基于多个训练数据和所述机器学习模型的优化目标训练得到，所述机器学习的优化目标，由所述多个训练数据各自的优化目标以及所述多个训练数据各自的过拟合正则参数确定。
其中，基于多个训练数据各自的优化目标以及所述多个训练数据各自的过拟合正则参数确定机器学习的优化目标，并基于机器学习的优化目标对机器学习模型进行优化的可选实施方式，可参考前述实施例的记载，此处不赘述。
在一些示例性的实施例中，上述机器学习模型，实现为图像识别模型。
在训练图像识别模型时，可获取大量图像样本，对每个图像样本进行标注，并确定每个图像样本的过拟合正则参数。其中，在确定每个图像样本的过拟合正则参数时，若某一图像样本的标注准确率较低，则可设置较大的过拟合正则参数；若某一图像样本的标注准确率较高，则可设置较小的过拟合正则参数。例如，图像样本为商品图像时，若该商品图像上展示的商品外形具有明显的商品类别信息，则可为该商品图像设置较小的过拟合正则参数；该商品图像上展示的商品外形无法分辨出商品的真实类别，则可为该商品图像设置较大的过拟合正则参数。
将多个图像样本输入图像识别模型后，可得到图像识别模型对每个样本图像的预测结果，基于该预测结果以及图像样本上的标注值，可构造该图像样本的优化目标。确定多个图像样本各自的优化目标后，可基于多个图像样本各自的优化目标以及多个图像样本各自的过拟合正则参数，计算图像识别模型整体的优化目标。基于该整体的优化目标，可对图像识别模型进行迭代训练，直至该整体的优化目标收敛至指定范围时，输出训练完成的图像识别模型。
在图像识别模型的使用阶段，当获取到待识别的图像后，将该待识别的图像输入图像识别模型，即可得到该待识别图像中的目标对象的检测结果。例如，可从待识别的商品图像中，检测出商品的类别；从待识别的人脸图像中，检测出用户的身份信息；从待识别的道路图像中，检测出车辆的标识；从待识别的遥感图像中，检测出发生变化的地物等等，不再赘述。
在另一些示例性的实施例中，上述机器学习模型，实现为问答匹配模型。
在训练问答匹配模型时，可获取大量问答语料数据，对每个问答语料数据进行标注，并确定每个问答语料数据的过拟合正则参数。其中，在确定每个问答语料数据的过拟合正则参数时，若某一问答语料数据的标注准确率较低，则可设置较大的过拟合正则参数；若某一问答语料数据的标注准确率较高，则可设置较小的过拟合正则参数。将多个问答语料数据输入问答匹配模型后，可得到问答匹配模型对每个问答语料数据的预测结果，基于该预测结果以及问答语料数据上的标注值，可构造该问答语料数据的优化目标。确定多个问答语料数据各自的优化目标后，可基于多个问答语料数据各自的优化目标以及多个问答语料数据各自的过拟合正则参数，计算问答匹配模型整体的优化目标。基于该整体的优化目标，可对问答匹配模型进行迭代训练，直至该整体的优化目标收敛至指定范围时，输出训练完成的问答匹配模型。
在问答匹配模型的使用阶段，当获取到用户问题后，将该用户问题输入问答匹配模型，即可得到该用户问题的预测答案。
在又一些示例性的实施例中，上述机器学习模型，实现为行为识别模型。
在训练行为识别模型时，可获取大量行为数据样本，对每个行为数据样本进行标注，并确定每个行为数据样本的过拟合正则参数。其中，在确定每个行为数据样本的过拟合正则参数时，若某一行为数据样本的标注准确率较低，则可设置较大的过拟合正则参数；若某一行为数据样本的标注准确率较高，则可设置较小的过拟合正则参数。例如，数据样本为商品点击率时，可为展示在广告推广位上的商品设置较大的过拟合正则参数，为展示在非广告位的商品设置较小的过拟合正则参数。
将多个行为数据样本输入行为识别模型后，可得到行为识别模型对每个行为数据样本的预测结果，基于该预测结果以及行为数据样本上的标注值，可构造该行为数据样本的优化目标。确定多个行为数据样本各自的优化目标后，可基于多个行为数据样本各自的优化目标以及多个行为数据样本各自的过拟合正则参数，计算行为识别模型整体的优化目标。基于该整体的优化目标，可对行为识别模型进行迭代训练，直至该整体的优化目标收敛至指定范围时，输出训练完成的行为识别模型。
在行为识别模型的使用阶段，当获取到待识别的行为数据后，将该待识别的行为数据输入行为识别模型，即可得到该待识别行为数据的行为识别结果。例如，可从待识别的商品点击量数据中，识别出用户对商品的偏好信息；从待识别的商品退货率数据中，识别出店铺服务质量；从待识别的车辆违章行为数据中，识别出较为合理的地图导航播报位置，等等，不再赘述。
在本实施例中，终端设备上运行的用于数据预测的机器学习模型，基于机器学习模型的优化目标训练得到，该机器学习的优化目标，由所述多个训练数据各自的优化目标以及所述多个训练数据各自的过拟合正则参数确定。在这种优化方式中，可基于每个训练数据的过拟合正则参数，对每个训练数据的训练过程进行约束，进而实现对批量训练集整体的优化目标进行约束。基于这种方式，可实现训练数据级别的正则化，提升机器学习模型的泛化能力。
需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤201至步骤204的执行主体可以为设备A；又比如，步骤201和202的执行主体可以为设备A，步骤203的执行主体可以为设备B；等等。
另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如201、202等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
图5是本申请一示例性实施例提供的终端设备的结构示意图，如图5所示，该终端设备包括：存储器501以及处理器502。
存储器501，用于存储计算机程序，并可被配置为存储其它各种数据以支持在终端设备上的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。
其中，存储器501可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
在本实施例中，终端设备侧运行有机器学习模型，该机器学习模型可以是服务器训练完成后下发到终端设备的。在这种实施例中，处理器502，与存储器501耦合，用于执行存储器501中的计算机程序，以用于：获取待预测数据；将所述待预测数据输入机器学习模型，得到所述待预测数据的预测结果；其中，所述机器学习模型，基于多个训练数据和所述机器学习模型的优化目标训练得到，所述机器学习的优化目标，由所述多个训练数据各自的优化目标以及所述多个训练数据各自的过拟合正则参数确定。
进一步，如图5所示，该终端设备还包括：通信组件503、显示组件504、电源组件505、音频组件506等其它组件。图5中仅示意性给出部分组件，并不意味着终端设备只包括图5所示组件。
其中，显示组件504包括屏幕，其屏幕可以包括液晶显示组件(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
其中，音频组件46，可被配置为输出和/或输入音频信号。例如，音频组件包括一个麦克风(MIC)，当音频组件所在设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中，音频组件还包括一个扬声器，用于输出音频信号。
本实施例中，终端设备上运行的用于数据预测的机器学习模型，基于机器学习模型的优化目标训练得到，该机器学习的优化目标，由所述多个训练数据各自的优化目标以及所述多个训练数据各自的过拟合正则参数确定。在这种优化方式中，可基于每个训练数据的过拟合正则参数，对每个训练数据的训练过程进行约束，进而实现对批量训练集整体的优化目标进行约束。基于这种方式，可实现训练数据级别的正则化，提升机器学习模型的泛化能力。
除前述实施例之外，图5示意的终端设备还可执行如下的图像识别逻辑：处理器502获取待识别的图像；将所述图像输入图像识别模型，得到所述图像中的目标对象的检测结果；其中，所述图像识别模型，基于多个样本图像以及所述图像识别模型的优化目标训练得到；所述图像识别模型的优化目标，由所述多个样本图像各自的优化目标以及所述多个样本图像各自的过拟合正则参数确定。
除前述实施例之外，图5示意的终端设备还可执行如下的问答匹配逻辑：处理器502获取待匹配的用户问题；将所述用户问题输入问答匹配模型，得到所述用户问题的预测答案；其中，所述问答匹配模型，基于多个问答语料数据以及所述问答匹配模型的优化目标训练得到；所述问答匹配模型的优化目标，由所述多个问答语料数据各自的优化目标以及所述多个问答语料数据各自的过拟合正则参数确定。
除前述实施例之外，图5示意的终端设备还可执行如下的行为识别逻辑：处理器502获取待识别的行为数据；将所述行为数据输入行为识别模型，得到所述行为数据的行为识别结果；其中，所述行为识别模型，基于多个行为数据样本以及所述行为识别模型的优化目标训练得到；所述行为识别模型的优化目标，由多个行为数据样本各自的优化目标以及所述多个行为数据样本各自的过拟合正则参数确定。相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现上述方法实施例中可由服务器执行的各步骤。
相应地，本申请实施例还提供一种计算机程序产品，包括计算机程序/指令，其中，当计算机程序被处理器执行时，致使处理器实现本申请可由服务器执行的各步骤。
图6是本申请一示例性实施例提供的服务器的结构示意图，如图6所示，该服务器包括：存储器601以及处理器602。
存储器601，用于存储计算机程序，并可被配置为存储其它各种数据以支持在服务器上的操作。这些数据的示例包括用于在服务器上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。
其中，存储器601可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
处理器602，与存储器601耦合，用于执行存储器601中的计算机程序，以用于：获取批量训练集，所述批量训练集包括多个训练数据；将所述多个训练数据输入机器学习模型，得到所述多个训练数据各自的预测结果；根据所述多个训练数据各自的预测结果和设定的训练监督信号，确定所述多个训练数据各自的优化目标；根据所述多个训练数据各自的优化目标以及所述多个训练数据各自的过拟合正则参数，计算所述批量训练集的优化目标；根据所述批量训练集的优化目标，对所述机器学习模型的参数进行优化。
进一步可选地，处理器602在根据所述多个训练数据各自的优化目标，以及所述多个训练数据各自的过拟合正则参数，计算所述批量训练集的优化目标时，具体用于：针对所述多个训练数据中的任一训练数据，采用所述训练数据对应的过拟合正则参数对所述训练数据的优化目标进行修正，得到所述训练数据的正则化优化目标；计算所述多个训练数据各自的正则化优化目标的平均值，作为所述批量训练集的优化目标。
进一步可选地，处理器602还用于获取所述批量训练集的多种数据标签各自的噪声比例；根据所述多种数据标签的各自的噪声比例，设置所述多种数据标签各自的对应的训练数据的过拟合正则参数；其中，噪声比例与过拟合正则参数的值成正相关关系。
进一步可选地，处理器602还用于：获取所述批量训练集的采样偏差，所述采样偏差根据所述批量训练集所属的训练数据的分布影响因子确定；根据所述采样偏差，设置所述批量训练集中的多个训练数据各自对应的过拟合正则参数；其中，采样偏差与过拟合正则参数的值成正相关关系。
进一步可选地，处理器602在根据所述批量训练集的优化目标，对所述机器学习模型的参数进行优化时，具体用于：若所述批量训练集的优化目标的值大于设定阈值，则采用梯度下降法更新所述机器学习模型的参数；若所述批量训练集的优化目标的值小于或者等于所述设定阈值，则采用梯度上升法更新所述机器学习模型的模型参数。
进一步可选地，所述批量训练集包括：多张样本图像、多个文本语料、多个音频语料或者多个行为数据。
进一步，如图6所示，该服务器还包括：通信组件603、电源组件605、等其它组件。图6中仅示意性给出部分组件，并不意味着服务器只包括图6所示组件。
除前述实施例之外，图6示意的服务器还可与终端设备进行交互，向终端设备提供机器学习模型的优化服务。以下将进行示例性说明。
其中，处理器602可用于：响应客户端对第一接口的调用请求，获取批量训练集，所述批量训练集包括多个训练数据；将所述多个训练数据输入机器学习模型，得到所述多个训练数据各自的预测结果；根据所述多个训练数据各自的预测结果和设定的训练监督信号，确定所述多个训练数据各自的优化目标；根据所述多个训练数据各自的优化目标以及所述多个训练数据各自的过拟合正则参数，计算所述批量训练集的优化目标；根据所述批量训练集的优化目标，对所述机器学习模型的参数进行优化。
进一步可选地，处理器602还用于：若所述批量训练集的优化目标收敛至指定范围，则输出优化得到的结果模型；通过通信组件603将所述结果模型返回至所述客户端，以供所述客户端基于所述结果模型进行预测。
进一步可选地，处理器602还用于：若所述批量训练集的优化目标收敛至指定范围，则输出优化得到的结果模型；响应所述客户端对第二接口的调用请求，获取待预测数据；将所述待预测数据输入所述结果模型，得到所述结果模型对所述待预测数据输出的预测结果；通过通信组件603将所述预测结果返回至所述客户端。
本实施例中，采用批量训练集对机器学习模型进行训练时，批量训练集对应的优化目标由多个训练数据各自的优化目标以及多个训练数据各自的过拟合正则参数计算得到。在这种优化方式中，可基于每个训练数据的过拟合正则参数，对每个训练数据的训练过程进行约束，进而实现对批量训练集整体的优化目标进行约束。基于这种方式，可实现训练数据级别的正则化，提升机器学习模型的泛化能力。
在图5以及图6中，通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如WiFi，2G、3G、4G或5G，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件可基于近场通信(NFC)技术、射频识别(RFID)技术、红外数据协会(IrDA)技术、超宽带(UWB)技术、蓝牙(BT)技术和其他技术来实现。
在图5以及图6中，电源组件，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现上述方法实施例中可由服务器执行的各步骤。
相应地，本申请实施例还提供一种计算机程序产品，包括计算机程序/指令，其中，当计算机程序被处理器执行时，致使处理器实现本申请可由服务器执行的各步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程基于深度度量学习的模型优化设备的处理器以产生一个机器，使得通过计算机或其他可编程基于深度度量学习的模型优化设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程基于深度度量学习的模型优化设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程基于深度度量学习的模型优化设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (18)

1.一种机器学习模型的优化方法，其特征在于，包括：
获取批量训练集，所述批量训练集包括多个训练数据；
将所述多个训练数据输入机器学习模型，得到所述多个训练数据各自的预测结果；
根据所述多个训练数据各自的预测结果和设定的训练监督信号，确定所述多个训练数据各自的优化目标；
根据所述多个训练数据各自的优化目标以及所述多个训练数据各自的过拟合正则参数，计算所述批量训练集的优化目标；
根据所述批量训练集的优化目标，对所述机器学习模型的参数进行优化。
2.根据权利要求1所述的方法，其特征在于，根据所述多个训练数据各自的优化目标，以及所述多个训练数据各自的过拟合正则参数，计算所述批量训练集的优化目标，包括：
针对所述多个训练数据中的任一训练数据，采用所述训练数据对应的过拟合正则参数对所述训练数据的优化目标进行修正，得到所述训练数据的正则化优化目标；
计算所述多个训练数据各自的正则化优化目标的平均值，作为所述批量训练集的优化目标。
3.根据权利要求1所述的方法，其特征在于，还包括：
获取所述批量训练集的多种数据标签各自的噪声比例；
根据所述多种数据标签的各自的噪声比例，设置所述多种数据标签各自的对应的训练数据的过拟合正则参数；其中，噪声比例与过拟合正则参数的值成正相关关系。
4.根据权利要求1所述的方法，其特征在于，还包括：
获取所述批量训练集的采样偏差，所述采样偏差根据所述批量训练集所属的训练数据的分布影响因子确定；
根据所述采样偏差，设置所述批量训练集中的多个训练数据各自对应的过拟合正则参数；其中，采样偏差与过拟合正则参数的值成正相关关系。
5.根据权利要求3所述的方法，其特征在于，根据所述批量训练集的优化目标，对所述机器学习模型的参数进行优化，包括：
若所述批量训练集的优化目标的值大于设定阈值，则采用梯度下降法更新所述机器学习模型的参数；
若所述批量训练集的优化目标的值小于或者等于所述设定阈值，则采用梯度上升法更新所述机器学习模型的模型参数。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述批量训练集包括：多张样本图像、多个文本语料、多个音频语料或者多个行为数据。
7.一种机器学习模型的优化方法，其特征在于，包括：
响应客户端对第一接口的调用请求，获取批量训练集，所述批量训练集包括多个训练数据；
将所述多个训练数据输入机器学习模型，得到所述多个训练数据各自的预测结果；
根据所述多个训练数据各自的预测结果和设定的训练监督信号，确定所述多个训练数据各自的优化目标；
根据所述多个训练数据各自的优化目标以及所述多个训练数据各自的过拟合正则参数，计算所述批量训练集的优化目标；
根据所述批量训练集的优化目标，对所述机器学习模型的参数进行优化。
8.根据权利要求7所述的方法，其特征在于，还包括：
若所述批量训练集的优化目标收敛至指定范围，则输出优化得到的结果模型；
将所述结果模型返回至所述客户端，以供所述客户端基于所述结果模型进行预测。
9.根据权利要求7所述的方法，其特征在于，还包括：
若所述批量训练集的优化目标收敛至指定范围，则输出优化得到的结果模型；
响应所述客户端对第二接口的调用请求，获取待预测数据；
将所述待预测数据输入所述结果模型，得到所述结果模型对所述待预测数据输出的预测结果；
将所述预测结果返回至所述客户端。
10.根据权利要求7-9任一项所述的方法，其特征在于，根据所述多个训练数据各自的优化目标，以及所述多个训练数据各自的过拟合正则参数，计算所述批量训练集的优化目标，包括：
针对所述多个训练数据中的任一训练数据，采用所述训练数据对应的过拟合正则参数对所述训练数据的优化目标进行修正，得到所述训练数据的正则化优化目标；
计算所述多个训练数据各自的正则化优化目标的平均值，作为所述批量训练集的优化目标。
11.一种数据预测方法，其特征在于，包括：
获取待预测数据；
将所述待预测数据输入机器学习模型，得到所述待预测数据的预测结果；
其中，所述机器学习模型，基于多个训练数据和所述机器学习模型的优化目标训练得到，所述机器学习的优化目标，由所述多个训练数据各自的优化目标以及所述多个训练数据各自的过拟合正则参数确定。
12.一种图像识别方法，其特征在于，包括：
获取待识别的图像；
将所述图像输入图像识别模型，得到所述图像中的目标对象的检测结果；
其中，所述图像识别模型，基于多个样本图像以及所述图像识别模型的优化目标训练得到；所述图像识别模型的优化目标，由所述多个样本图像各自的优化目标以及所述多个样本图像各自的过拟合正则参数确定。
13.一种问答匹配方法，其特征在于，包括：
获取待匹配的用户问题；
将所述用户问题输入问答匹配模型，得到所述用户问题的预测答案；
其中，所述问答匹配模型，基于多个问答语料数据以及所述问答匹配模型的优化目标训练得到；所述问答匹配模型的优化目标，由所述多个问答语料数据各自的优化目标以及所述多个问答语料数据各自的过拟合正则参数确定。
14.一种行为识别方法，其特征在于，包括：
获取待识别的行为数据；
将所述行为数据输入行为识别模型，得到所述行为数据的行为识别结果；
其中，所述行为识别模型，基于多个行为数据样本以及所述行为识别模型的优化目标训练得到；所述行为识别模型的优化目标，由多个行为数据样本各自的优化目标以及所述多个行为数据样本各自的过拟合正则参数确定。
15.一种服务器，其特征在于，包括：存储器和处理器；
所述存储器用于存储一条或多条计算机指令；
所述处理器用于执行所述一条或多条计算机指令以用于：执行权利要求1-11任一项所述方法中的步骤。
16.一种终端设备，其特征在于，包括：存储器和处理器；
所述存储器用于存储一条或多条计算机指令；
所述处理器用于执行所述一条或多条计算机指令以用于：执行权利要求12-14任一项所述方法中的步骤。
17.一种存储有计算机程序的计算机可读存储介质，其特征在于，计算机程序被执行时能够实现权利要求1-14任一项所述的方法中的步骤。
18.一种计算机程序产品，包括计算机程序/指令，其特征在于，当计算机程序被处理器执行时，致使处理器实现权利要求1-14任一项所述方法中的步骤。
CN202110327817.XA 2021-03-26 2021-03-26 机器学习模型的优化、预测方法、设备及存储介质 Pending CN115130366A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110327817.XA CN115130366A (zh) 2021-03-26 2021-03-26 机器学习模型的优化、预测方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110327817.XA CN115130366A (zh) 2021-03-26 2021-03-26 机器学习模型的优化、预测方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115130366A true CN115130366A (zh) 2022-09-30

Family

ID=83374913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110327817.XA Pending CN115130366A (zh) 2021-03-26 2021-03-26 机器学习模型的优化、预测方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115130366A (zh)

Similar Documents

Publication Publication Date Title
US20200134648A1 (en) Methods and systems for preventing user churn
US10997752B1 (en) Utilizing a colorization neural network to generate colorized images based on interactive color edges
CN111681051B (zh) 购买意向度预测方法、装置、存储介质及终端
CN112487278A (zh) 推荐模型的训练方法、预测选择概率的方法及装置
US10783549B2 (en) Determining persuasiveness of user-authored digital content items
CN112287994A (zh) 伪标签处理方法、装置、设备及计算机可读存储介质
CN107735766A (zh) 用于向计算设备的用户前摄性地提供推荐的系统和方法
US20210124967A1 (en) Method and apparatus for sample labeling, and method and apparatus for identifying damage classification
US20230351409A1 (en) Intelligent merchant onboarding
US20230035366A1 (en) Image classification model training method and apparatus, computer device, and storage medium
CN117115571B (zh) 一种细粒度智能商品识别方法、装置、设备及介质
CN111667024B (zh) 内容推送方法、装置、计算机设备和存储介质
CN111047048B (zh) 赋能模型训练及商户赋能方法、装置、电子设备
CN114881711A (zh) 基于请求行为进行异常分析的方法及电子设备
CN113159355A (zh) 数据预测方法、装置、物流货量预测方法、介质、设备
CN112381236A (zh) 联邦迁移学习的数据处理方法、装置、设备及存储介质
US11107099B2 (en) Brand penetration determination system using image semantic content
CN115130366A (zh) 机器学习模型的优化、预测方法、设备及存储介质
CN116964588A (zh) 一种目标检测方法、目标检测模型训练方法及装置
US11776035B2 (en) Transaction and receipt based alert and notification system and techniques
CN111428121B (zh) 搜索信息的方法和装置
CN114265948A (zh) 图像推送方法和装置
CN113792952A (zh) 用于生成模型的方法和装置
CN113112308B (zh) 设备标注方法、系统和定向信息推送的方法和系统
EP3200141A1 (en) Method for managing device replacements

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240320

Address after: # 03-06, Lai Zan Da Building 1, 51 Belarusian Road, Singapore

Applicant after: Alibaba Innovation Co.

Country or region after: Singapore

Address before: Room 01, 45th Floor, AXA Building, 8 Shanton Road, Singapore

Applicant before: Alibaba Singapore Holdings Ltd.

Country or region before: Singapore

TA01 Transfer of patent application right