CN109754105B - 一种预测方法及终端、服务器 - Google Patents

一种预测方法及终端、服务器 Download PDF

Info

Publication number
CN109754105B
CN109754105B CN201711084325.2A CN201711084325A CN109754105B CN 109754105 B CN109754105 B CN 109754105B CN 201711084325 A CN201711084325 A CN 201711084325A CN 109754105 B CN109754105 B CN 109754105B
Authority
CN
China
Prior art keywords
model
prediction
terminal
updated
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711084325.2A
Other languages
English (en)
Other versions
CN109754105A (zh
Inventor
陈飞
董振华
李震国
何秀强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201711084325.2A priority Critical patent/CN109754105B/zh
Priority to EP17931484.4A priority patent/EP3693912A1/en
Priority to PCT/CN2017/120294 priority patent/WO2019090954A1/zh
Priority to CN201780095993.7A priority patent/CN111226238B/zh
Publication of CN109754105A publication Critical patent/CN109754105A/zh
Priority to US16/863,110 priority patent/US11580457B2/en
Application granted granted Critical
Publication of CN109754105B publication Critical patent/CN109754105B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0255Targeted advertisements based on user history
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00Subject matter not provided for in other groups of this subclass
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0254Targeted advertisements based on statistics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0267Wireless devices

Abstract

本发明实施例公开了一种预测方法及终端、服务器。其方法包括服务器向多个终端发送第一模型参数和第二模型参数,第一模型参数和第二模型参数适配于终端的预测模型;服务器接收多个终端中至少一个终端发送的第一预测损失,至少一个终端中每个终端发送的第一预测损失为每个终端根据采用第一模型参数和第二模型参数的预测模型计算的;服务器根据至少一个终端发送的第一预测损失对第一模型参数进行更新,以获得更新后的第一模型参数,以及根据至少一个终端发送的第一预测损失对第二模型参数进行更新,以获得更新后的第二模型参数。采用本发明实施例,可以实现通过利用大量用户数据进行训练而得到体现用户差异性的预测模型。

Description

一种预测方法及终端、服务器
技术领域
本发明涉及预测模型领域,尤其涉及一种预测方法及终端、服务器。
背景技术
基于机器学习的预测系统通常分为模型训练和预测两部分,(1)模型训练:利用训练集数据训练一个适用于该任务的预测模型;其中,训练集通常包含大量的数据;(2)预测:使用训练出的模型对测试集数据进行预测。传统机器学习在解决终端预测任务时,一种方式是在终端本地单独进行模型训练,只能利用单一终端用户的样本,无法利用其它大量用户的信息(如相似的手机使用习惯),导致预测效果不佳;另一种方式是在云侧服务器训练一个统一的预测模型,但模型规模较大也影响到对单一用户的预测效果。
在保护用户隐私的前提下,如何利用大量用户数据训练可以体现用户差异性的预测模型是需要解决的问题。
发明内容
本发明实施例提供一种预测方法及终端、服务器,可以实现通过利用大量用户数据进行训练而得到体现用户差异性的预测模型。
第一方面,本发明实施例提供了一种预测方法,包括:
服务器向多个终端发送第一模型参数和第二模型参数,第一模型参数和第二模型参数适配于终端的预测模型;接收多个终端中至少一个终端发送的第一预测损失,至少一个终端中每个终端发送的第一预测损失为每个终端根据采用第一模型参数和第二模型参数的预测模型计算的;根据至少一个终端发送的第一预测损失对第一模型参数进行更新,以获得更新后的第一模型参数,以及根据至少一个终端发送的第一预测损失对第二模型参数进行更新,以获得更新后的第二模型参数。
在第一方面中,预测模型的训练可以在各个终端进行,这样能够起到保护各个终端的用户隐私的作用,以及终端将计算获得的预测损失反馈至服务器,以使服务器根据大量终端反馈的数据,再次进行模型参数的更新,这样可以利用大量用户的信息来准确地更新模型参数。
在一种可选的实施例中,服务器根据至少一个终端发送的第一预测损失对第一模型参数进行更新,以获得更新后的第一模型参数,以及根据至少一个终端发送的第一预测损失对第二模型参数进行更新,以获得更新后的第二模型参数具体是:服务器根据至少一个终端发送的第一预测损失,计算第二预测损失;服务器根据第二预测损失,按照参数更新规则对第一模型参数进行更新,以获得更新后的第一模型参数,以及按照参数更新规则对第二模型参数进行更新,以获得更新后的第二模型参数。
在一种可选的实施例中,服务器还可以向多个终端发送更新后的第一模型参数和更新后的第二模型参数,多个终端中的任一终端根据采用更新后的第一模型参数和更新后的第二模型参数的预测模型进行预测。
在一种可选的实施例中,多个终端属于同一群组;同一群组的终端具备共同特征。可选的,共同特征包括至少两个终端位于预设的地理区域内。由于属于同一群组的终端用户之间具有更多的共性,相应的元学习器可以更有针对性地学习一种适用于该群组的机制,这样能够训练得到更适合该群组中的终端的预测模型,以达到更好的预测效果。
第二方面,本发明实施例提供了一种预测方法,包括:
终端接收服务器发送的第一模型参数和第二模型参数,第一模型参数和第二模型参数适配于终端的预测模型;根据训练集和预测模型对第一模型参数进行更新,以获得更新后的第一模型参数,训练集包括多个第一样本数据,第一样本数据包括第一特征向量和与第一特征向量对应的第一样本标签;获取测试集,并根据采用更新后的第一模型参数和第二模型参数的预测模型计算测试集的第一预测损失,测试集包括多个第二样本数据,第二样本数据包括第二特征向量和与第二特征向量对应的第二样本标签;向服务器发送第一预测损失,以使服务器根据第一预测损失更新第一模型参数和第二模型参数。
在第二方面中,预测模型的训练可以在多个终端进行,这样终端无需将自身的数据上传至服务器,能够起到保护各个终端的用户隐私的作用,以及终端将计算获得的预测损失反馈至服务器,以使服务器根据大量终端反馈的数据,再次进行模型参数的更新,这样可以利用大量用户的信息来准确地更新模型参数。
在一种可选的实施例中,终端在执行根据训练集和预测模型对第一模型参数进行更新,以获得更新后的第一模型参数方面具体是执行:根据预测模型计算训练集的第二预测损失,预测模型采用第一模型参数和第二模型参数;根据第二预测损失和第二模型参数,按照参数更新规则对第一模型参数进行更新,以获得更新后的第一模型参数。
可选的,终端在执行根据预测模型计算训练集的第二预测损失方面具体是执行:根据预测模型计算多个第一样本数据中每个第一样本数据对应的预测损失;根据每个第一样本数据对应的预测损失,计算多个第一样本数据的第二预测损失。
可选的,终端在执行根据预测模型计算多个第一样本数据中每个第一样本数据对应的预测损失方面具体是执行:将每个第一样本数据的第一特征向量输入至预测模型中,以获取每个第一样本数据的第一特征向量与第一样本标签相对应的概率,其中,预测模型采用第一模型参数和第二模型参数;根据第一特征向量与第一样本标签相对应的概率,按照损失计算规则计算每个第一样本数据的预测损失。
可选的,终端在执行将每个第一样本数据的第一特征向量输入至预测模型中,以获取每个第一样本数据的第一特征向量与第一样本标签相对应的概率方面具体是执行:获取预测模型包括的多个参考样本标签,多个参考样本标签包括每个第一样本标签;将每个第一样本数据的第一特征向量输入至预测模型中,以获取第一特征向量与各个参考样本标签相对应的概率;将参考样本标签为第一样本标签对应的概率确定为第一特征向量与第一样本标签相对应的概率。
在一种可选的实施例中,终端在执行根据采用更新后的第一模型参数和第二模型参数的预测模型计算测试集的第一预测损失方面具体是执行:根据模型参数更新后的预测模型计算测试集包括的多个第二样本数据中每个第二样本数据对应的预测损失,模型参数更新后的预测模型采用更新后的第一模型参数和第二模型参数;根据每个第二样本数据对应的预测损失,计算测试集的第一预测损失。
可选的,终端在执行根据模型参数更新后的预测模型计算测试集包括的多个第二样本数据中每个第二样本数据对应的预测损失方面具体是执行:将每个第二样本数据的第二特征向量输入至模型参数更新后的预测模型中,以获取每个第二样本数据的第二特征向量与第二样本标签相对应的概率;根据第二特征向量与第二样本标签相对应的概率,按照损失计算规则计算每个第二样本数据的预测损失。
可选的,终端在执行将每个第二样本数据的第二特征向量输入至模型参数更新后的预测模型中,以获取每个第二样本数据的第二特征向量与第二样本标签相对应的概率方面具体是执行:获取模型参数更新后的预测模型包括的多个参考样本标签,多个参考样本标签包括每个第二样本标签;将每个第二样本数据的第二特征向量输入至模型参数更新后的预测模型中,以获取第二特征向量与各个参考样本标签相对应的概率;将参考样本标签为第二样本标签对应的概率确定为第二特征向量与第二样本标签相对应的概率。
第三方面,本发明实施例提供了一种预测方法,包括:
终端接收服务器发送的第一模型参数和第二模型参数,第一模型参数和第二模型参数适配于终端的预测模型;根据训练集和预测模型对第一模型参数进行更新,以获得更新后的第一模型参数,训练集包括多个样本数据,每个样本数据包括特征向量和与特征向量对应的样本标签;将待预测的目标特征向量输入至采用更新后的第一模型参数和第二模型参数的预测模型中,获取与目标特征向量对应的目标样本标签。
在第三方面中,在终端接收到服务器发送的第一模型参数和第二模型参数之后,首先根据训练集和预测模型对第一模型参数进行更新,以获得更新后的第一模型参数,在待预测的目标特征向量输入至采用更新后的第一模型参数的预测模型中,获取与目标特征向量对应的目标样本标签。这样终端在预测阶段也能够体现该终端与其他终端的差异性,达到更为准确的预测效果。
在一种可选的实施例中,终端在执行根据训练集和预测模型对第一模型参数进行更新,以获得更新后的第一模型参数方面具体是执行:根据预测模型计算训练集的中间预测损失,预测模型采用第一模型参数和第二模型参数;终端根据中间预测损失和第二模型参数,按照参数更新规则对第一模型参数进行更新,以获得更新后的第一模型参数。其中,中间预测损失可以体现出根据第一训练集的真实结果和预测结果之间的偏差,通过这一偏差来更新第一模型参数,提高预测模型的准确性。
可选的,终端在执行根据预测模型计算训练集的中间预测损失方面具体是执行:终端根据预测模型计算多个样本数据中每个样本数据对应的预测损失;终端根据每个样本数据对应的预测损失,计算多个样本数据的中间预测损失。
可选的,终端在执行根据预测模型计算多个样本数据中每个样本数据的预测损失方面具体是执行:终端将每个样本数据的特征向量输入至预测模型中,以获取每个样本数据的特征向量与样本标签相对应的概率;根据特征向量与样本标签相对应的概率,按照损失计算规则计算每个样本数据的预测损失。
可选的,终端在执行将每个样本数据的特征向量输入至预测模型中,以获取每个样本数据的特征向量与样本标签相对应的概率方面具体是执行:终端获取预测模型包括的多个参考样本标签,多个参考样本标签包括每个样本标签;终端将每个样本数据的特征向量输入至预测模型中,以获取特征向量与各个参考样本标签相对应的概率;终端将参考样本标签为样本标签对应的概率确定为特征向量与样本标签相对应的概率。
在一种可选的实施例中,终端在执行将待预测的目标特征向量输入至采用更新后的第一模型参数和第二模型参数的预测模型中,获取与目标特征向量对应的目标样本标签方面具体是执行:终端获取模型参数更新后的预测模型包括的多个参考样本标签,模型参数更新后的预测模型采用更新后的第一模型参数和第二模型参数;终端将待预测的目标特征向量输入至模型参数更新后的预测模型中,以获取待预测的目标特征向量与各个参考样本标签相对应的参考概率;终端将多个参考概率中参考概率的最大值对应的参考样本标签确定为目标样本标签。
第四方面,本发明实施例提供了一种服务器,包括:
发送模块,用于向多个终端发送第一模型参数和第二模型参数,第一模型参数和第二模型参数适配于终端的预测模型;
接收模块,用于接收多个终端中至少一个终端发送的第一预测损失,至少一个终端中每个终端发送的第一预测损失为每个终端根据采用第一模型参数和第二模型参数的预测模型计算的;
处理模块,用于根据至少一个终端发送的第一预测损失对第一模型参数进行更新,以获得更新后的第一模型参数,以及根据至少一个终端发送的第一预测损失对第二模型参数进行更新,以获得更新后的第二模型参数。
可选的,该服务器还可以实现第一方面的部分或全部的可选的实现方式。
第五方面,本发明实施例提供了一种服务器。该服务器包括:存储器,用于存储计算机可执行程序代码;收发器,以及处理器,处理器与存储器、收发器耦合。其中存储器所存储的程序代码包括指令,当处理器执行指令时,使服务器执行上述第一方面中服务器所执行的方法。
第五方面,本发明实施例提供了一种终端,包括:
接收模块,用于接收服务器发送的第一模型参数和第二模型参数,第一模型参数和第二模型参数适配于终端的预测模型;
处理模块,用于根据训练集和预测模型对第一模型参数进行更新,以获得更新后的第一模型参数,训练集包括多个第一样本数据,第一样本数据包括第一特征向量和与第一特征向量对应的第一样本标签;
处理模块,具体用于获取测试集,并根据采用更新后的第一模型参数的预测模型计算测试集的第一预测损失,测试集包括多个第二样本数据,第二样本数据包括第二特征向量和与第二特征向量对应的第二样本标签;
发送模块,用于向服务器发送第一预测损失,以使服务器根据第一预测损失更新第一模型参数和第二模型参数。
可选的,该终端还可以实现第二方面的部分或全部的可选的实现方式。
第六方面,本发明实施例提供了另一种终端,包括:
接收模块,用于接收服务器发送的第一模型参数和第二模型参数,第一模型参数和第二模型参数适配于终端的预测模型;
处理模块,用于根据训练集和预测模型对第一模型参数进行更新,以获得更新后的第一模型参数,训练集包括多个样本数据,每个样本数据包括特征向量和与特征向量对应的样本标签;
处理模块,还用于将待预测的目标特征向量输入至采用更新后的第一模型参数和第二模型参数的预测模型中,获取与目标特征向量对应的目标样本标签。
可选的,该终端还可以实现第三方面的部分或全部的可选的实现方式。
第七方面,本发明实施例提供了一种终端。该终端包括:存储器,用于存储计算机可执行程序代码;收发器,以及处理器,处理器与存储器、收发器耦合。其中存储器所存储的程序代码包括指令,当处理器执行指令时,使终端执行上述第二方面或第三方面中终端所执行的方法。
第八方面,提供了一种计算机程序产品,计算机程序产品包括:计算机程序代码,当计算机程序代码在计算机上运行时,使得计算机执行上述第一方面至第三方面及其任意可能的实现方式中的方法。
第九方面,提供了一种计算机可读介质,计算机可读介质存储有程序代码,当计算机程序代码在计算机上运行时,使得计算机执行上述第一方面至第三方面及其任意可能的实现方式中的方法。
附图说明
为了更清楚地说明本发明实施例或背景技术中的技术方案,下面将对本发明实施例或背景技术中所需要使用的附图进行说明。
图1为本发明实施例提供了一种可能的预测系统架构图;
图2为本发明实施例提供了一种预测方法;
图3为本发明实施例提供了另一种预测方法;
图4提供了为用户推荐应用软件的预测系统的示例图;
图5为本发明实施例提供了一种预测方法的示例图;
图6是本发明实施例提供的一种终端的结构示意图;
图7是本发明实施例提供的一种终端的结构示意图。
图8是本发明实施例提供的一种终端的结构示意图;
图9是本发明实施例提供的一种服务器的结构示意图;
图10是本发明实施例提供的一种服务器的结构示意图。
具体实施方式
下面结合本发明实施例中的附图对本发明实施例进行描述。
请参见图1,为本发明实施例提供了一种可能的预测系统架构图。如图1所示,该预测系统架构图包括服务器和终端。服务器和终端之间可以实现数据传输。需要说明的是,图1中仅仅表示了1个终端,但是这并不构成对本发明实施例的限定,本发明实施例不限定终端的数量。
基于图1的系统架构图中,服务器与终端结合起来实现预测模型的训练和使用。例如,终端可以利用各自的数据在本地进行预测模型的训练和预测,这样并不会将用户的隐私数据上传至服务器,也起到了保护用户隐私的作用。而且终端还可以将预测效果反馈至服务器,以使服务器根据多个终端反馈的预测损失更新模型参数,这样服务器也参考了多个终端的信息,起到了利用大量用户的信息来更新模型参数的作用。
在本发明实施例中,在终端接收到服务器发送的第一模型参数和第二模型参数之后,首先根据训练集和预测模型对第一模型参数进行更新,以获得更新后的第一模型参数,在待预测的目标特征向量输入至采用更新后的第一模型参数和第二模型参数的预测模型中,获取与所述目标特征向量对应的目标样本标签。这样能够体现该终端与其他终端的差异性,达到更为准确的预测效果。
在本发明实施例中的一种可选实现方案中,服务器采用元学习器来维护预测模型的模型参数,元学习是一种两层机器学习架构,会对所学习的结果进行“再学习”,试图对错误的分类进行纠正,而对正确的分类加以巩固。因此元学习器的精度较高,在本发明实施例中采用元学习器的模式来实现模型参数的更新。举例来说,在这一预测系统架构图中,服务器用于存储以及更新适配于预测模型的模型参数,而终端中存储有与该模型参数相对应的预测模型,终端的预测模型可以采用服务器中的模型参数进行预测模型的训练和预测。
需要说明的是,本发明实施例中所涉及的第一训练集或第二训练集是用于训练预测模型的标签数据集合,测试集是用来测试模型预测能力的标签数据集合。其中,标签数据是包含正确标签的数据。在本发明实施例中,样本数据的预测损失可以理解为:预测结果与真实结果之间的偏差,这里的预测结果是指特征向量通过预测模型得到的预测样本标签,真实结果是该特征向量原本应该对应的样本标签。
本发明实施例中所涉及的终端可以是具备通信功能的设备,例如可以是手持终端设备、笔记本电脑、用户单元(subscriber unit)、蜂窝电话(cellular phone)、智能电话(smart phone)、无线数据卡、个人数字助理(personal digital assistant,PDA)电脑、平板型电脑、无线调制解调器(modem)、手持设备(handheld)、膝上型电脑(laptopcomputer)、无绳电话(cordless phone)或者无线本地环路(wireless local loop,WLL)台、机器类型通信(machine type communication,MTC)终端等,例如,终端设备还可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置。本发明实施例中所涉及的服务器可以是具备处理和通信功能的后台服务设备。本发明实施例对终端和服务器均不做限定。
请参见图2,为本发明实施例提供了一种预测方法。该方法是由终端执行的,如图2所示,该预测方法包括步骤201至步骤203,请参见以下具体介绍。
201,终端接收服务器发送的第一模型参数和第二模型参数。
其中,在本发明实施例中,所述第一模型参数和第二模型参数适配于所述终端的预测模型。预测模型会包含模型参数,在本发明实施例中服务器可以向终端发送模型参数,另外,在模型训练阶段或模型预测阶段均可以进行模型参数的更新,相应的预测模型也会更新为采用更新后的模型参数。
在本发明实施例中,服务器维护一个以(θ,α)为参数的元学习器,其中,θ为第一模型参数,α为第二模型参数。在这一步骤中第一模型参数用θ1表示,第二模型参数用α1表示。服务器将(θ11)数值作为预测模型的模型参数分发给多个终端,这里接收模型参数的执行主体为所分发的多个终端中的任意一个终端。
举例来说,服务器中初始化元学习器参数为(θ,α),其中θ为预测模型的初始参数,θ为向量,θ包括的每一项分量用θj表示,而每一项θj可以以如下方式随机初始化:
其中代表期望为0,方差为/>的正态分布。
α为向量,α的各分量与θ的各分量一一对应(是因为在后续举例会使用到的更新规则需要执行向量减法运算,因此这里如此设定),α包括的每一项分量用αj表示,以如下方式随机初始化:
αj~U(0,0.1)for each j
其中U(0,0.1)为区间[0,0.1]上的均匀分布。
需要说明的是,这里仅仅是对服务器中初始化元学习器参数的举例说明。另外,本发明实施例对第一模型参数、第二模型参数并不做限定。
202,终端根据训练集和所述预测模型对所述第一模型参数进行更新,以获得更新后的第一模型参数。
其中,所述训练集包括多个样本数据,每个样本数据包括特征向量和与所述特征向量对应的样本标签。为了体现各个终端的差异性,各个终端可以采用自身的数据作为样本数据。步骤202具体可以通过以下步骤A11和A12来实现。
A11、所述终端根据预测模型计算所述训练集的中间预测损失。
其中,这里的训练集包括多个样本数据,所述多个样本数据中每个样本数据包括样本标签和与所述样本标签对应的特征向量。在第一模型参数更新之后,这里的预测模型所采用的模型参数与第一模型参数和第二模型参数,即(θ1,α1)。
第一种可选的方案中,终端先计算多个样本数据中每个样本数据的预测损失,再计算多个预测损失的平均值,以得到中间预测损失,例如:
其中,表示根据预测模型确定的训练集的中间预测损失;训练集为Strain(m),m表示训练集的第m个样本数据,训练集中样本数据的数量为M;lm1)表示第m个样本数据的预测损失。
或者,第二种可选的方案中,终端先计算多个样本数据中每个样本数据的预测损失,再获取每个样本数据对应的权重,计算多个预测损失的平均值,以得到中间预测损失。例如:
其中,表示根据预测模型确定的中间预测损失;训练集为Strain(m),m表示训练集的第m个样本数据,训练集中样本数据的数量为M;lm1)表示第m个样本数据的预测损失,λm表示第m个样本数据所对应的权重。
可选的,每个样本数据对应的权重可以是终端按照样本数据的关联信息所确定的,例如,根据样本数据的生成时刻来确定,以预测模型用于为用户推荐应用软件为例进行说明,训练集是根据用户的历史使用记录生成的,样本数据的样本标签可以为应用软件W的名称,特征向量为根据使用该应用软件W的位置、时间、手机电量、网络信号强度等特征构成的,则终端可以按照历史使用记录距离当前时刻的时长由长到短进行排序,并将时长分类以及设定各类时长所相应的权重,如越靠近当前时刻的权重值较大。在本发明实施例中,由于样本数据与预测模型有关,因此对样本数据的关联信息不做限定。
A12、所述终端根据所述中间预测损失和第二模型参数,按照参数更新规则对所述第一模型参数进行更新,以获得更新后的第一模型参数。
其中,参数更新规则为预先设定的,也可以对该参数更新规则进行变更。本发明实施例对参数更新规则不做限定。
举例来说,以小样本学习算法为例,参数更新规则可以按照以下公式来实现:
其中,θ2表示更新后的第一模型参数;θ1表示更新前的第一模型参数;α1表示第二模型参数;表示由所述训练集Strain计算得到的中间预测损失;/>表示梯度;/>表示向量的分量乘法运算。运用/>运算的举例为:/>由于/>包含θ1变量,通过/>运算可以实现对/>进行θ1求导,以获得针对θ1而言,/>的变化率。按照以上更新公式可以获得更新后的第一模型参数θ2
其中,该第二模型参数可以在服务器侧是通过学习得到的,在第二模型参数通过学习更加准确之后,进一步保证了所更新的第一模型参数的准确性。
针对步骤A11和步骤A12而言,在一种可能的方案中,终端可以按照预设的迭代次数,执行步骤202。举例来说,迭代次数为100,即步骤202需要按照步骤A11和A12循环执行100次,具体如下:
θ′i←θ1//用θ1表示第一模型参数,θ′i表示迭代之前的第一模型参数;
for t=1,2,...,T do//迭代T步来优化本地预测模型,例如T=100
//for循环中执行的第一个步骤,计算中间预测损失;/>表示根据θ′i计算的训练集的中间预测损失;/>表示训练集中每个样本数据对应的预测损失。
//for循环中执行的第二个步骤,更新迭代中的第一模型参数;也就是说在下一次迭代的过程中,采用当前迭代所更新后的第一模型参数来执行。
这样通过多次迭代来使得更新后的第一模型参数更为准确。其中,这里采用预测迭代次数来实现第一模型参数多次更新,可选的方案中,可以确定相邻两次迭代中前一次中间预测损失和当前次中间预测损失之间的差距,若差距小于预设的阈值,则不再执行迭代,并采用当前次的中间预测损失计算的第一模型参数。又一可选的方案中,可以确定相邻两次迭代中前一次更新第一模型参数和当前次更新第一模型参数之间的差距,若差距小于预设的阈值,则不再执行迭代,并采用当前次的更新第一模型参数确定为更新后的第一模型参数。这里仅为举例说明,本发明实施例对步骤A11和步骤A12的迭代次数以及迭代停止的条件均不做限定。
进一步的,针对步骤A11中对每个样本数据对应的预测损失是如何计算的可以参见一下步骤B11和步骤B12的详细介绍。
B11、终端将所述每个样本数据的特征向量输入至预测模型中,以获取所述每个样本数据的所述特征向量与所述样本标签相对应的概率。
其中,由于步骤B11是在第一模型参数更新之前,因此这里的预测模型仍采用的是第一模型参数和第二模型参数。
具体实现中,预测模型包含多个参考样本标签,所述多个参考样本标签包括每个样本数据对应的样本标签。也就是说,由于训练集已经包括了与特征向量对应的样本标签,预测模型所包含的多个参考样本标签至少应该包含训练集所包含的样本标签,这样可以准确的对预测模型进行训练。
进一步的,在该预测模型中按照采用所述第一模型参数概率计算规则,可以计算得到所述特征向量与各个参考样本标签相对应的概率;并获取参考样本标签为所述样本标签所对应的概率。
举例来说,以预测模型用于为用户推荐应用软件为例进行说明,多个参考样本标签包括应用名称P1、P2、P8、P9、P10、P3、P4、P5、P6、P7;样本标签包括应用名称P1、P2、P3、P4、P5、P6;依次对应的特征向量为x1、x2、x3、x4、x5、x6;采用第一模型参数的概率计算规则为按照这一概率计算规则,输入值x为任意一个特征向量的情况下,会得到对应到多个参考样本标签概率值。
例如,为输入特征向量x3的结果,该结果中包含分别对应到P1、P2、P8、P9、P10、P3、P4、P5、P6、P7的概率值,由于特征向量x3与样本标签为P3,并在结果中查找到参考样本标签为P3的结果作为样本标签P3所对应的概率。
B12、终端根据所述特征向量与所述样本标签相对应的概率,按照损失计算规则计算所述每个样本数据的预测损失。
具体实现中,损失计算规则为其中,x为特征向量,k为与特征向量中相对应的样本标签在多个参考样本标签中是第k个,/>表示特征向量与所述样本标签相对应的概率;/>表示样本数据对应的预测损失。
为了更好理解,概率计算规则与第一模型参数的相关性,以下通过一个简单的线性模型进行举例(这里的线性模型只是举例,也可以是更复杂的模型,如深度神经网络)。假设输入特征向量为x∈Rm,其中m为特征向量维度,预测模型的第一模型参数为θ1,则该模型的输出定义为:
其中,θ=(ω,b);即ω∈RK×m和b∈RK均是预测模型的第一模型参数;σ是Softmax函数,其定义为:
模型输出是一个概率分布,其中第k个分量/>代表该样本标签是第k个APP的概率。这里K是一共输出的APP数量。
203,终端将待预测的目标特征向量输入至采用所述更新后的第一模型参数和所述第二模型参数的预测模型中,获取与所述目标特征向量对应的目标样本标签。
具体实现中,在包含更新后的第一模型参数以及第二模型参数的预测模型进行预测时,终端将待预测的目标特征向量输入该更新后的预测模型中,通过上述的描述,由于预测模型包含多个参考样本标签,因此会得到目标特征向量与各个参考样本标签相对应的参考概率;终端将多个参考概率中参考概率的最大值对应的参考样本标签确定为目标样本标签。
举例来说,以预测模型用于为用户推荐应用软件为例进行说明,为了便于理解,请参见图4,为本发明实施例提供了为用户推荐应用软件的预测模型的示例图,如图4所示,训练集中包含4个应用的图标,预测集表示待预测的下一个推荐使用的应用的图标。其中,训练集中每个应用的图标还包含了每个应用对应的特征向量,特征向量为根据使用该应用软件W的位置、时间、手机电量、网络信号强度等特征构成的。当多个参考应用名称为20个时,而对目标特征向量的预测结果是这20个APP中对应值最大所对应的一个应用名称。
在本发明实施例中,在终端接收到服务器发送的第一模型参数和第二模型参数之后,首先根据训练集和预测模型对第一模型参数进行更新,以获得更新后的第一模型参数,在待预测的目标特征向量输入至采用更新后的第一模型参数和第二模型参数的预测模型中,获取与所述目标特征向量对应的目标样本标签。这样能够体现该终端与其他终端的差异性,达到更为准确的预测效果。
基于图1所示的系统架构图,请参见图3,为本发明实施例提供了另一种预测方法。该方法是由两个或两个以上的终端和服务器共同执行的,这里只画出其中一个终端与服务器的交互过程,对于其他终端与服务器的交互过程可以参考这一终端的详细描述。如图3所示,该预测方法包括步骤301至步骤309,请参见以下具体介绍。
301,服务器向多个终端发送第一模型参数和第二模型参数。
其中,在本发明实施例中,所述第一模型参数和第二模型参数适配于所述终端的预测模型。预测模型会包含模型参数,在本发明实施例中服务器可以向终端发送模型参数,另外,在模型训练阶段或模型预测阶段均可以进行模型参数的更新,相应的预测模型也会更新为采用更新后的模型参数。
在本发明实施例中,服务器维护一个以(θ,α)为参数的元学习器,其中,θ为第一模型参数,α为第二模型参数。在这一步骤中第一模型参数用θ1表示,第二模型参数用α1表示。服务器将(θ11)数值作为预测模型的模型参数分发给多个终端,这里接收模型参数的执行主体为所分发的多个终端中的任意一个终端。
举例来说,服务器中初始化元学习器参数为(θ,α),其中θ为预测模型的初始参数,θ为向量,θ包括的每一项分量用θj表示,而每一项θj可以以如下方式随机初始化:
其中代表期望为0,方差为/>的正态分布。
α为向量,α的各分量与θ的各分量一一对应(是因为在后续举例会使用到的更新规则需要执行向量减法运算,因此这里如此设定),α包括的每一项分量用αj表示,以如下方式随机初始化:
αj~U(0,0.1)for each j
其中U(0,0.1)为区间[0,0.1]上的均匀分布。
需要说明的是,这里仅仅是对服务器中初始化元学习器参数的举例说明。另外,本发明实施例对第一模型参数、第二模型参数并不做限定。
相应地,对于多个终端中的一个终端而言,各个终端中存储有基于同一类型的预测模型。例如,各个预测模型均是基于同一算法的预测模型,且用于实现用一个预测任务的预测模型。对应各个终端接收到的服务器发送的第一模型参数和第二模型参数是适配于每个终端的预测模型的。
302,终端根据第一训练集和预测模型对所述第一模型参数进行更新,以获得更新后的第一模型参数。
其中,由于在本发明实施例中还有另一个训练集,由于处于不同阶段,因此这里采用第一训练集和第二训练集进行区分。这里的第一训练集包括多个第一样本数据,所述第一样本数据包括第一特征向量和与所述第一特征向量对应的第一样本标签。
其中,步骤302具体是通过根据预测模型计算所述训练集的第二预测损失,所述预测模型采用第一模型参数和第二模型参数,即(θ11);再根据所述第二预测损失和所述第二模型参数,按照参数更新规则对所述第一模型参数进行更新,以获得更新后的第一模型参数。具体实现可以参考图2所示实施例中步骤202的详细描述,两者的区别在于:步骤302中第二训练集,对应至步骤202中是训练集,步骤302中是第二预测损失,对应至步骤202中是中间预测损失,是因为图2所示的实施例是在采用预测模型进行预测的阶段,图3所示实施例中的步骤302是在各个终端通过自身的数据对预测模型进行训练的阶段。虽然所在的阶段不同,但实现方式是相同的,在此不再赘述。
303,所述终端获取测试集,并根据采用所述更新后的第一模型参数和第二模型参数的预测模型计算所述测试集的第一预测损失。
其中,所述测试集包括多个第二样本数据,所述第二样本数据包括第二特征向量和与所述第二特征向量对应的第二样本标签。这里的预测模型已采用更新后的第一模型参数,设定更新后的第一模型参数为θ3,则预测模型所采用的模型参数为(θ3,α1)。
其中,测试集包括多个第二样本数据,所述多个第二样本数据中每个第二样本数据包括第二样本标签和与所述第二样本标签对应的第二特征向量。
第一种可选的方案中,终端先计算多个第二样本数据中每个第二样本数据的预测损失,再计算多个预测损失的平均值,以得到第一预测损失,例如:
其中,θ3表示更新后的第一模型参数;表示终端i根据更新后的第一模型参数确定的第一预测损失;测试集为Stest(n),n表示测试集的第n个第二样本数据,测试集中第二样本数据的数量为N;ln3)表示第n个第二样本数据的预测损失。
或者,第二种可选的方案中,终端先计算多个第二样本数据中每个第二样本数据的预测损失,再获取每个第二样本数据对应的权重,计算多个预测损失的平均值,以得到第一预测损失。例如:
其中,θ3表示更新后的第一模型参数;表示终端i根据更新后的第一模型参数确定的第一预测损失;测试集为Stest(n),n表示测试集的第n个第二样本数据,测试集中第二样本数据的数量为N;ln3)表示第n个第二样本数据的预测损失,λn表示第n个第二样本数据所对应的权重。
可选的,每个第二样本数据对应的权重可以是终端按照第二样本数据的关联信息所确定的,例如,根据第二样本数据的生成时刻来确定,以预测模型用于为用户推荐应用软件为例进行说明,第二样本数据是根据用户的历史使用记录生成的,即,第二样本数据的第二样本标签可以为应用软件W的名称,特征向量为根据使用该应用软件W的位置、时间、手机电量、网络信号强度等特征构成的,则终端可以按照历史使用记录距离当前时刻的时长由长到短进行排序,并将时长分类以及设定各类时长所相应的权重,如越靠近当前时刻的权重值较大。在本发明实施例中,由于第二样本数据与预测模型有关,因此对第二样本数据的关联信息不做限定。
进一步的,针对步骤303中对每个第二样本数据对应的预测损失是如何计算的可以参见图2所示实施例中步骤B11和步骤B12的详细介绍,在此不再赘述。
304,所述终端向所述服务器发送所述第一预测损失。
其中,终端在通过步骤303确定第一预测损失之后,向服务器发送该第一预测损失,以使服务器根据该第一预测损失以及其他终端发送的第一预测损失进行预测模型的更新,以得到更新后的模型参数。
305,服务器接收所述多个终端中至少一个终端发送的第一预测损失。
其中,服务器接收多个终端中至少一个终端发送的第一预测损失。这里每个终端反馈的第一预测损失在数值上并一定是相同的,是因为在本发明实施例中每个终端发送的第一预测损失是每个终端根据第一模型参数和第二模型参数计算的。
306,服务器根据所述至少一个终端发送的第一预测损失对所述第一模型参数进行更新,以获得更新后的第一模型参数,以及根据所述至少一个终端发送的第一预测损失对所述第二模型参数进行更新,以获得更新后的第二模型参数。
其中,服务器根据至少一个终端反馈的第一预测损失对第一模型参数和第二模型参数进行更新,具体实现过程可以参考以下步骤C11和C12的详细描述。
C11、服务器根据至少一个终端发送的第一预测损失,计算第二预测损失。可选的方案中,服务器将多个第一预测损失的平均值确定为第二预测损失。又一可选的方案中,服务器可以获取各个终端的第一预测损失对应的权要,通过加权平均的运算方式,得到第二预测损失。
举例来说,服务器按照如下方式计算第二预测损失。值得注意的是,这里的第二预测损失与步骤302中所涉及的第二预测损失是不一样的,由于步骤302中的第二预测损失是由终端来确定的,这里是由服务器来确定的,且两者的计算方式也是不同的。
其中,Q表示至少一个终端的数量;表示终端i根据步骤304中的θ3计算的第一预测损失;L33)表示第二预测损失;
C12、服务器根据所述第二预测损失,按照参数更新规则对所述第一模型参数进行更新,以获得所述更新后的第一模型参数,以及按照所述参数更新规则对所述第二模型参数进行更新,以获得更新后的第二模型参数。
又一值得注意的是,这里的参数更新规则与步骤302中所涉及的参数更新规则是不同的。可选的,这里的参数更新规则可以为预先设定的,本发明实施例对参数更新规则不做限定。
举例来说,参数更新规则可以按照以下公式来实现:
其中,θ1表示第一模型参数;θ2表示更新后的第一模型参数;β表示第一预设权重;由于L33)是根据接收的第一预测损失计算的,θ3也是根据θ1更新得到的,因此L33)也可以转换为包含θ1变量的项,即L31),通过运算可以实现对L31)进行θ1求导,以获得针对θ1而言,L31)的变化率。按照以上更新公式可以获得更新后的第一模型参数θ2
第二模型参数可以按照以下方式来学习或更新。具体是:服务器根据所述第一预测损失,按照参数更新规则对所述第二模型参数进行更新,以获得更新后的第二模型参数。
举例来说,所述参数更新规则为:
其中,α1表示第二模型参数;α2表示更新后的第二模型参数;γ表示第二预设权重;L311)表示由所述每个终端发送的第一预测损失计算得到的第二预测损失,L33)是根据接收的第一预测损失计算的,θ3也是根据θ1更新得到的,而θ3的更新过程也包含α1,因此L33)也可以转换为包含θ1变量和α1变量的项,即L311);表示梯度。由于这里又增加了一个变量。
可选的,本发明实施例对β和γ不做限定,两者在数值上可以相同,也可以不同。
307,所述服务器向所述多个终端发送所述更新后的第一模型参数和所述更新后的第二模型参数。
其中,根据步骤306可以知道更新后的第一模型参数为θ2,更新后的第二模型参数为α2;因此在这一情况下,服务器所发送的适配于终端的预测模型的模型参数为(θ22)。
相应地,终端接收服务器发送的更新后的第一模型参数和所述更新后的第二模型参数,以实现根据更新后的第一模型参数和所述更新后的第二模型参数进行预测。
308,所述终端根据第二训练集对所述第一模型参数进行更新,以获得更新后的第一模型参数。
309,所述终端将待预测的目标特征向量输入至采用所述更新后的第一模型参数和所述第二模型参数的预测模型中,获取与所述目标特征向量对应的目标样本标签。
其中步骤308和步骤309可以参考图2所示实施例中步骤202和步骤203的详细描述,在此不再赘述。需要说明的是,步骤308在第一模型参数更新之前,预测模型的模型参数为(θ22);更新后的第一模型参数可以用θ4表示,具体的更新过程在此不再赘述。
在一种可选的实施例中,本发明实施例中服务器向至少两个终端发送的预测模型的模型参数可以按一定规则进行,例如,至少两个终端为E个终端,服务器可以向E个终端定时集中分发;或者,在需要更新预测模型的元学习器的情况下向E个终端发送预测模型的模型参数;或者,将E个终端进行分为F类,分批次向这F类终端来发送预测模型的信息等。本发明实施例对服务器发送预测模型的模型参数所依照的规则不做限定。
在一种可选的实施例中,本发明实施例中,终端向服务器发送的预测损失也可以是按照一定规则进行,例如服务器向至少两个终端中的每个终端发送反馈预测损失的时间,各个终端反馈预测损失的时间可以是相同的,以实现集中获取;或者,各个终端反馈预测损失的时间也可以是不同的,也实现分批次获取。又如,终端可以根据自身的模型训练情况可以反馈预测损失,例如,在终端计算得到预测损失之后,在一定时长内向服务器反馈预测损失等。本发明实施例对终端反馈预测损失所依照的规则不做限定。
在本发明实施例中,预测模型的训练可以在各个终端进行,这样能够起到保护各个终端的用户隐私问题,以及终端将计算获得的预测损失反馈至服务器,以使服务器根据大量终端反馈的数据,再次进行模型参数的更新,这样可以利用大量用户的信息来准确地更新预测模型的参数。另外,服务器可以向终端发送适配于终端的预测模型的模型参数以使终端实现预测,而在终端接收到服务器发送的模型参数之后,首先根据训练集和预测模型对第一模型参数进行更新,以获得更新后的第一模型参数,在待预测的目标特征向量输入至更新为更新后的第一模型参数的预测模型中,获取与所述目标特征向量对应的目标样本标签。这样能够体现该终端与其他终端的差异性,达到更为准确的预测效果。
接下来,对本发明实施例可以应用的另一种场景进行介绍。请参见图5,为本发明实施例提供了一种预测方法的示例图。如图5所示,包括服务器和多个群组,其中每个群组中包含至少两个终端,例如群组1中包括终端11、终端12等等。在这一场景中,服务器可以将多个终端按照一定的规则进行分组,使得每个群组所包含的至少两个终端之间具备共同特征。举例来说,至少两个终端之间具备共同特征包括这些终端的所在位置在一定的地理区域之内、这些终端中有相似的与预测模型相关的信息。举例来说,对于为用户推荐应用软件的预测系统,与预测模型相关的信息可以包括终端中所下载的应用的类型、用户使用终端的时长、用户使用习惯和用户年龄段等。可选的,对于考虑到保护用户隐私信息的情况,可以按照终端的标识来进行分组,这里的终端标识可以包括硬件标识、网络之间互连的协议(Internet Protocol,IP)等。本发明实施例对此不做限定。
在图5所示的场景中,服务器可以每个群组进行单独管理,即一个群组对应一个预测模型,例如,对群组1中的终端11、终端12等执行图3所示实施例中的步骤,且在这一过程中并不会参考其他群组的终端所反馈的信息。由于属于同一群组的终端用户之间具有更多的共性,相应的元学习器可以更有针对性地学习一种适用于该群组的机制,这样能够训练得到更适合该群组中的终端的预测模型,以达到更好的预测效果。
请参见图6,图6是本申请实施例提供的一种终端的结构示意图。在图6中包含终端600包括:
接收模块601,用于接收所述服务器发送的第一模型参数和第二模型参数,所述第一模型参数和所述第二模型参数适配于所述终端的预测模型;
处理模块602,用于根据训练集和所述预测模型对所述第一模型参数进行更新,以获得更新后的第一模型参数,所述训练集包括多个第一样本数据,所述第一样本数据包括第一特征向量和与所述第一特征向量对应的第一样本标签;
所述处理模块602,具体用于获取测试集,并根据采用所述更新后的第一模型参数的预测模型计算所述测试集的第一预测损失,所述测试集包括多个第二样本数据,所述第二样本数据包括第二特征向量和与所述第二特征向量对应的第二样本标签;
发送模块603,用于向所述服务器发送所述第一预测损失,以使服务器根据所述第一预测损失更新所述第一模型参数和所述第二模型参数;
其中,所述终端包括用于预测的预测模型;所述终端包括的预测模型与所述服务器的预测模型是同一类型的预测模型。
在一个可选的实施例中,所述处理模块602在执行根据训练集和所述预测模型对所述第一模型参数进行更新,以获得更新后的第一模型参数方面,具体是执行:
根据所述预测模型计算所述训练集的第二预测损失,所述预测模型采用所述第一模型参数和所述第二模型参数;
根据所述第二预测损失和所述第二模型参数,按照参数更新规则对所述第一模型参数进行更新,以获得更新后的第一模型参数。
在一个可选的实施例中,所述处理模块602在执行根据所述预测模型计算所述训练集的第二预测损失方面,具体是执行:
根据所述预测模型计算所述多个第一样本数据中每个第一样本数据对应的预测损失;
根据所述每个第一样本数据对应的预测损失,计算所述多个第一样本数据的第二预测损失。
在一个可选的实施例中,所述处理模块602在执行根据所述预测模型计算所述多个第一样本数据中每个第一样本数据的预测损失方面,具体是执行:
将所述每个第一样本数据的第一特征向量输入至预测模型中,以获取所述每个第一样本数据的所述第一特征向量与所述第一样本标签相对应的概率;
根据所述第一特征向量与所述第一样本标签相对应的概率,按照损失计算规则计算所述每个第一样本数据的预测损失。
在一个可选的实施例中,所述处理模块602在执行将所述每个第一样本数据的第一特征向量输入至预测模型中,以获取所述每个第一样本数据的所述第一特征向量与所述第一样本标签相对应的概率方面,具体是执行:
获取所述预测模型包括的多个参考样本标签,所述多个参考样本标签包括所述每个第一样本标签;
将所述每个第一样本数据的第一特征向量输入至所述预测模型中,以获取所述第一特征向量与各个参考样本标签相对应的概率;
将参考样本标签为所述第一样本标签对应的概率确定为所述第一特征向量与所述第一样本标签相对应的概率。
在一个可选的实施例中,所述处理模块602在执行根据采用所述更新后的第一模型参数和所述第二模型参数的预测模型计算所述测试集的第一预测损失方面,具体是执行:
根据模型参数更新后的预测模型计算所述测试集包括的多个第二样本数据中每个第二样本数据对应的预测损失,所述模型参数更新后的预测模型采用更新后的第一模型参数和所述第二模型参数;
根据所述每个第二样本数据对应的预测损失,计算所述测试集的第一预测损失。
在一个可选的实施例中,所述处理模块602在执行根据模型参数更新后的预测模型计算所述测试集包括的多个第二样本数据中每个第二样本数据对应的预测损失方面,具体是执行:
将所述每个第二样本数据的第二特征向量输入至所述模型参数更新后的预测模型中,以获取所述每个第二样本数据的所述第二特征向量与所述第二样本标签相对应的概率;
根据所述第二特征向量与所述第二样本标签相对应的概率,按照损失计算规则计算所述每个第二样本数据的预测损失。
在一个可选的实施例中,所述处理模块602在执行将所述每个第二样本数据的第二特征向量输入至所述模型参数更新后的预测模型中,以获取所述每个第二样本数据的所述第二特征向量与所述第二样本标签相对应的概率方面,具体是执行:
获取所述模型参数更新后的预测模型包括的多个参考样本标签,所述多个参考样本标签包括所述每个第二样本标签;
将所述每个第二样本数据的第二特征向量输入至模型参数更新后的预测模型中,以获取所述第二特征向量与各个参考样本标签相对应的概率;
将参考样本标签为所述第二样本标签对应的概率确定为所述第二特征向量与所述第二样本标签相对应的概率。
可以理解的,这一可行的方案下终端所包括的功能块的具体实现方式及相应的有益效果,可参考前述图2至图5所示实施例的具体介绍,这里不赘述。
请参见图7,图7是本申请实施例提供的一种终端的结构示意图。在图7中包含终端700包括:
接收模块701,用于接收服务器发送的第一模型参数和第二模型参数,所述第一模型参数和所述第二模型参数适配于所述终端的预测模型;
处理模块702,用于根据训练集和所述预测模型对所述第一模型参数进行更新,以获得更新后的第一模型参数,所述训练集包括多个样本数据,每个样本数据包括特征向量和与所述特征向量对应的样本标签;
所述处理模块702,还用于将待预测的目标特征向量输入至采用所述更新后的第一模型参数和所述第二模型参数的预测模型中,获取与所述目标特征向量对应的目标样本标签;
其中,所述终端包括的预测模型与所述服务器的预测模型是同一类型的预测模型。
在一个可选的实施例中,所述处理模块702在执行根据训练集和所述预测模型对所述第一模型参数进行更新,以获得更新后的第一模型参数方面,具体是执行:
根据所述预测模型计算所述训练集的中间预测损失,所述预测模型采用所述第一模型参数和所述第二模型参数;
根据所述中间预测损失和所述第二模型参数,按照参数更新规则对所述第一模型参数进行更新,以获得更新后的第一模型参数。
在一个可选的实施例中,所述处理模块702在执行根据所述预测模型计算所述训练集的中间预测损失方面,具体是执行:
根据所述预测模型计算所述多个样本数据中每个样本数据对应的预测损失;
根据所述每个样本数据对应的预测损失,计算所述多个样本数据的中间预测损失。
在一个可选的实施例中,所述处理模块702在执行根据所述预测模型计算所述多个样本数据中每个样本数据的预测损失方面,具体是执行:
将所述每个样本数据的特征向量输入至预测模型中,以获取所述每个样本数据的所述特征向量与所述样本标签相对应的概率,其中,所述预测模型采用所述第一模型参数和所述第二模型参数;
根据所述特征向量与所述样本标签相对应的概率,按照损失计算规则计算所述每个样本数据的预测损失。
在一个可选的实施例中,所述处理模块702在执行终端将所述每个样本数据的特征向量输入至所述预测模型中,以获取所述每个样本数据的所述特征向量与所述样本标签相对应的概率方面,具体是执行:
获取所述预测模型包括的多个参考样本标签,所述多个参考样本标签包括所述每个样本标签,其中,所述预测模型采用所述第一模型参数和所述第二模型参数;
将所述每个样本数据的特征向量输入至所述预测模型中,以获取所述特征向量与各个参考样本标签相对应的概率;
所述终端将参考样本标签为所述样本标签对应的概率确定为所述特征向量与所述样本标签相对应的概率。
在一个可选的实施例中,所述处理模块702在执行将待预测的目标特征向量输入至采用所述更新后的第一模型参数和所述第二模型参数的预测模型中,获取与所述目标特征向量对应的目标样本标签,具体是执行:
获取模型参数更新后的预测模型包括的多个参考样本标签,所述模型参数更新后的预测模型采用所述更新后的第一模型参数和所述第二模型参数;
将待预测的目标特征向量输入至模型参数更新后的预测模型中,以获取所述待预测的目标特征向量与各个参考样本标签相对应的参考概率;
将多个参考概率中参考概率的最大值对应的参考样本标签确定为目标样本标签。
可以理解的,这一可行的方案下终端所包括的功能块的具体实现方式及相应的有益效果,可参考前述图2至图5所示实施例的具体介绍,这里不赘述。
上述图6、图7所示实施例中的终端可以以图8所示的终端800实现。如图8所示,为本发明实施例提供了另一种终端的结构示意图,图8所示的终端800包括:处理器801和收发器802,所述收发器802用于支持终端800与上述实施例中涉及的服务器之间的信息传输,例如实现图6所示实施例中接收模块601和发送模块603的功能,或者,例如实现图7所示实施例中接收模块701的功能。处理器801和收发器802通信连接,例如通过总线相连。所述终端800还可以包括存储器803。存储器803用于存储供终端800执行的程序代码和数据,处理器801用于执行存储器803中存储的应用程序代码,以实现图2或图5所示任一实施例提供的终端的动作。
需要说明的是,实际应用中终端可以包括一个或者多个处理器,该终端800的结构并不构成对本申请实施例的限定。
处理器801可以是中央处理器(central processing unit,CPU),网络处理器(network processor,NP),硬件芯片或者其任意组合。上述硬件芯片可以是专用集成电路(application-specific integrated circuit,ASIC),可编程逻辑器件(programmablelogic device,PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complexprogrammable logic device,CPLD),现场可编程逻辑门阵列(field-programmable gatearray,FPGA),通用阵列逻辑(generic array logic,GAL)或其任意组合。
存储器803可以包括易失性存储器(volatile memory),例如随机存取存储器(random access memory,RAM);存储器803也可以包括非易失性存储器(non-volatilememory),例如只读存储器(read-only memory,ROM),快闪存储器(flash memory),硬盘(hard disk drive,HDD)或固态硬盘(solid-state drive,SSD);存储器803还可以包括上述种类的存储器的组合。
在本发明实施例中还提供了一种计算机存储介质,可以用于存储图8所示实施例中所述终端所用的计算机软件指令,其包含用于执行上述实施例中为终端所设计的程序。该存储介质包括但不限于快闪存储器、硬盘、固态硬盘。
在本发明实施例中还提供了一种计算机程序产品,该计算机产品被计算设备运行时,可以执行上述图8实施例中为终端所设计的预测方法。
请参见图9,图9是本申请实施例提供的一种服务器的结构示意图。图9所示的服务器900包括:
发送模块901,用于向多个终端发送第一模型参数和第二模型参数,所述第一模型参数和所述第二模型参数适配于所述终端的预测模型;
接收模块902,用于接收所述多个终端中至少一个终端发送的第一预测损失,所述至少一个终端中每个终端发送的第一预测损失为所述每个终端根据采用所述第一模型参数和所述第二模型参数的预测模型计算的;
处理模块903,用于根据所述至少一个终端发送的第一预测损失对所述第一模型参数进行更新,以获得更新后的第一模型参数,以及根据所述至少一个终端发送的第一预测损失对所述第二模型参数进行更新,以获得更新后的第二模型参数;
其中,所述终端包括用于预测的预测模型;所述终端包括的预测模型与所述服务器的预测模型是同一类型的预测模型。
在一个可选的实施例中,所述处理模块903在执行根据所述至少一个终端发送的第一预测损失对所述第一模型参数进行更新,以获得更新后的第一模型参数,以及根据所述至少一个终端发送的第一预测损失对所述第二模型参数进行更新,以获得更新后的第二模型参数方面,具体是执行:
所述服务器根据所述至少一个终端发送的第一预测损失,计算第二预测损失;
所述服务器根据所述第二预测损失,按照参数更新规则对所述第一模型参数进行更新,以获得所述更新后的第一模型参数,以及按照所述参数更新规则对所述第二模型参数进行更新,以获得更新后的第二模型参数。
在一个可选的实施例中,所述发送模块901,还用于向所述多个终端发送所述更新后的第一模型参数和所述更新后的第二模型参数,以使所述多个终端中的任一终端根据采用所述更新后的第一模型参数和所述更新后的第二模型参数的预测模型进行预测。
在一个可选的实施例中,所述多个终端属于同一群组;同一群组的终端具备共同特征。
在一个可选的实施例中,所述共同特征包括所述至少两个终端位于预设的地理区域内。
可以理解的,关于图9的服务器包括的功能块的具体实现方式及相应的有益效果,可参考前述图3至图5的实施例的具体介绍,这里不赘述。
上述图9所示的服务器可以以图10所示的服务器1000实现。如图10所示,为本发明实施例提供了另一种服务器的结构示意图,图10所示的服务器1000包括:处理器1001和收发器1002,所述收发器1002用于支持服务器1000与上述实施例中涉及的终端之间的信息传输,例如实现图9所示实施例中发送模块901和接收模块902的功能。处理器1001和收发器1002通信连接,例如通过总线相连。所述服务器1000还可以包括存储器1003。存储器1003用于存储供服务器1000执行的程序代码和数据,处理器1001用于执行存储器1003中存储的应用程序代码,以实现图3至图5所示任一实施例提供的服务器的动作。
需要说明的是,实际应用中服务器可以包括一个或者多个处理器,该服务器1000的结构并不构成对本申请实施例的限定。
处理器1001可以是CPU,NP,硬件芯片或者其任意组合。上述硬件芯片可以是ASIC,PLD或其组合。上述PLD可以是CPLD,FPGA,GAL或其任意组合。
存储器1003可以包括易失性存储器,例如RAM;存储器1003也可以包括非易失性存储器,例如ROM,快闪存储器,硬盘或固态硬盘;存储器1003还可以包括上述种类的存储器的组合。
在本发明实施例中还提供了一种计算机存储介质,可以用于存储图9所示实施例中所述服务器所用的计算机软件指令,其包含用于执行上述实施例中为服务器所设计的程序。该存储介质包括但不限于快闪存储器、硬盘、固态硬盘。
在本发明实施例中还提供了一种计算机程序产品,该计算机产品被计算设备运行时,可以执行上述图9所示实施例中为服务器所设计的预测方法。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选的还包括没有列出的步骤或单元,或可选的还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本领域普通技术人员可以理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (23)

1.一种预测方法,其特征在于,包括:
服务器向多个终端发送第一模型参数和第二模型参数,所述第一模型参数和所述第二模型参数适配于所述终端的预测模型;
所述服务器接收所述多个终端中至少一个终端发送的第一预测损失,所述至少一个终端中每个终端发送的第一预测损失为所述每个终端根据训练集包括的自身的多个样本数据和所述预测模型对所述第一模型参数进行更新以获得更新后的第一模型参数,并根据采用所述更新后的第一模型参数和所述第二模型参数的预测模型计算得到的测试集的第一预测损失;
所述服务器根据所述至少一个终端发送的第一预测损失对所述第一模型参数进行更新,以获得更新后的第一模型参数,以及根据所述至少一个终端发送的第一预测损失对所述第二模型参数进行更新,以获得更新后的第二模型参数。
2.如权利要求1所述的方法,其特征在于,所述服务器根据所述至少一个终端发送的第一预测损失对所述第一模型参数进行更新,以获得更新后的第一模型参数,以及根据所述至少一个终端发送的第一预测损失对所述第二模型参数进行更新,以获得更新后的第二模型参数包括:
所述服务器根据所述至少一个终端发送的第一预测损失,计算第二预测损失;
所述服务器根据所述第二预测损失,按照参数更新规则对所述第一模型参数进行更新,以获得所述更新后的第一模型参数,以及按照所述参数更新规则对所述第二模型参数进行更新,以获得更新后的第二模型参数。
3.如权利要求1或2所述的方法,其特征在于,所述方法还包括:
所述服务器向所述多个终端发送所述更新后的第一模型参数和所述更新后的第二模型参数,以使所述多个终端中的任一终端根据采用所述更新后的第一模型参数和所述更新后的第二模型参数的预测模型进行预测。
4.如权利要求1-3任一项所述的方法,其特征在于,所述多个终端属于同一群组;同一群组的终端具备共同特征。
5.如权利要求4所述的方法,其特征在于,所述共同特征包括所述至少两个终端位于预设的地理区域内。
6.一种预测方法,其特征在于,包括:
终端接收服务器发送的第一模型参数和第二模型参数,所述第一模型参数和所述第二模型参数适配于所述终端的预测模型;
所述终端根据训练集和所述预测模型对所述第一模型参数进行更新,以获得更新后的第一模型参数,所述训练集包括多个第一样本数据,所述第一样本数据包括第一特征向量和与所述第一特征向量对应的第一样本标签;
所述终端获取测试集,并根据采用所述更新后的第一模型参数和所述第二模型参数的预测模型计算所述测试集的第一预测损失,所述测试集包括多个第二样本数据,所述第二样本数据包括第二特征向量和与所述第二特征向量对应的第二样本标签;
所述终端向所述服务器发送所述第一预测损失,以使所述服务器根据所述第一预测损失更新所述第一模型参数和所述第二模型参数。
7.如权利要求6所述的方法,其特征在于,所述终端根据训练集和所述预测模型对所述第一模型参数进行更新,以获得更新后的第一模型参数,包括:
所述终端根据所述预测模型计算所述训练集的第二预测损失,所述预测模型采用所述第一模型参数和所述第二模型参数;
所述终端根据所述第二预测损失和所述第二模型参数,按照参数更新规则对所述第一模型参数进行更新,以获得更新后的第一模型参数。
8.如权利要求7所述的方法,其特征在于,所述终端根据所述预测模型计算所述训练集的第二预测损失,包括:
所述终端根据所述预测模型计算所述多个第一样本数据中每个第一样本数据对应的预测损失;
所述终端根据所述每个第一样本数据对应的预测损失,计算所述多个第一样本数据的第二预测损失。
9.如权利要求8所述的方法,其特征在于,所述终端根据所述预测模型计算所述多个第一样本数据中每个第一样本数据对应的预测损失,包括:
所述终端将所述每个第一样本数据的第一特征向量输入至所述预测模型中,以获取所述每个第一样本数据的所述第一特征向量与所述第一样本标签相对应的概率;
所述终端根据所述第一特征向量与所述第一样本标签相对应的概率,按照损失计算规则计算所述每个第一样本数据的预测损失。
10.如权利要求9所述的方法,其特征在于,所述终端将所述每个第一样本数据的第一特征向量输入至所述预测模型中,以获取所述每个第一样本数据的所述第一特征向量与所述第一样本标签相对应的概率,包括:
所述终端获取所述预测模型包括的多个参考样本标签,所述多个参考样本标签包括所述每个第一样本标签;
所述终端将所述每个第一样本数据的第一特征向量输入至所述预测模型中,以获取所述第一特征向量与各个参考样本标签相对应的概率;
所述终端将参考样本标签为所述第一样本标签对应的概率确定为所述第一特征向量与所述第一样本标签相对应的概率。
11.如权利要求6-10任一项所述的方法,其特征在于,所述终端根据采用所述更新后的第一模型参数和所述第二模型参数的预测模型计算所述测试集的第一预测损失,包括:
所述终端根据模型参数更新后的预测模型计算所述测试集包括的多个第二样本数据中每个第二样本数据对应的预测损失,所述模型参数更新后的预测模型采用更新后的第一模型参数和所述第二模型参数;
所述终端根据所述每个第二样本数据对应的预测损失,计算所述测试集的第一预测损失。
12.如权利要求11所述的方法,其特征在于,所述终端根据模型参数更新后的预测模型计算所述测试集包括的多个第二样本数据中每个第二样本数据对应的预测损失,包括:
所述终端将所述每个第二样本数据的第二特征向量输入至所述模型参数更新后的预测模型中,以获取所述每个第二样本数据的所述第二特征向量与所述第二样本标签相对应的概率;
所述终端根据所述第二特征向量与所述第二样本标签相对应的概率,按照损失计算规则计算所述每个第二样本数据的预测损失。
13.如权利要求12所述的方法,其特征在于,所述终端将所述每个第二样本数据的第二特征向量输入至所述模型参数更新后的预测模型中,以获取所述每个第二样本数据的所述第二特征向量与所述第二样本标签相对应的概率,包括:
所述终端获取所述模型参数更新后的预测模型包括的多个参考样本标签,所述多个参考样本标签包括所述每个第二样本标签;
所述终端将所述每个第二样本数据的第二特征向量输入至所述模型参数更新后的预测模型中,以获取所述第二特征向量与各个参考样本标签相对应的概率;
所述终端将参考样本标签为所述第二样本标签对应的概率确定为所述第二特征向量与所述第二样本标签相对应的概率。
14.一种预测方法,其特征在于,包括:
终端接收服务器发送的第一模型参数和第二模型参数,所述第一模型参数和所述第二模型参数适配于所述终端的预测模型;
所述终端根据训练集和所述预测模型对所述第一模型参数进行更新,以获得更新后的第一模型参数,所述训练集包括多个样本数据,每个样本数据包括特征向量和与所述特征向量对应的样本标签;
所述终端将待预测的目标特征向量输入至采用所述更新后的第一模型参数和所述第二模型参数的预测模型中,获取与所述目标特征向量对应的目标样本标签。
15.如权利要求14所述的方法,其特征在于,所述终端根据训练集和所述预测模型对所述第一模型参数进行更新,以获得更新后的第一模型参数,包括:
所述终端根据所述预测模型计算所述训练集的中间预测损失,所述预测模型采用所述第一模型参数和所述第二模型参数;
所述终端根据所述中间预测损失和所述第二模型参数,按照参数更新规则对所述第一模型参数进行更新,以获得更新后的第一模型参数。
16.如权利要求15所述的方法,其特征在于,所述终端根据所述预测模型计算所述训练集的中间预测损失,包括:
所述终端根据所述预测模型计算所述多个样本数据中每个样本数据对应的预测损失;
所述终端根据所述每个样本数据对应的预测损失,计算所述多个样本数据的中间预测损失。
17.如权利要求16所述的方法,其特征在于,所述终端根据所述预测模型计算所述多个样本数据中每个样本数据的预测损失,包括:
所述终端将所述每个样本数据的特征向量输入至所述预测模型中,以获取所述每个样本数据的所述特征向量与所述样本标签相对应的概率;
所述终端根据所述特征向量与所述样本标签相对应的概率,按照损失计算规则计算所述每个样本数据的预测损失。
18.如权利要求17所述的方法,其特征在于,所述终端将所述每个样本数据的特征向量输入至所述预测模型中,以获取所述每个样本数据的所述特征向量与所述样本标签相对应的概率,包括:
所述终端获取所述预测模型包括的多个参考样本标签,所述多个参考样本标签包括所述每个样本标签;
所述终端将所述每个样本数据的特征向量输入至所述预测模型中,以获取所述特征向量与各个参考样本标签相对应的概率;
所述终端将参考样本标签为所述样本标签对应的概率确定为所述特征向量与所述样本标签相对应的概率。
19.如权利要求14-17任一项所述的方法,其特征在于,所述终端将待预测的目标特征向量输入至采用所述更新后的第一模型参数和所述第二模型参数的预测模型中,获取与所述目标特征向量对应的目标样本标签,包括:
所述终端获取模型参数更新后的预测模型包括的多个参考样本标签,所述模型参数更新后的预测模型采用所述更新后的第一模型参数和所述第二模型参数;
所述终端将待预测的目标特征向量输入至所述模型参数更新后的预测模型中,以获取所述待预测的目标特征向量与各个参考样本标签相对应的参考概率;
所述终端将多个参考概率中参考概率的最大值对应的参考样本标签确定为目标样本标签。
20.一种服务器,其特征在于,包括收发器、处理器和存储器;所述收发器用于进行消息的接收和发送;所述存储器用于存储指令;所述处理器用于执行所述存储器存储的指令,当处理器执行所述存储器存储的指令时,所述服务器置用于执行权利要求1-5任一项所述的预测方法。
21.一种终端,其特征在于,包括收发器、处理器和存储器;所述收发器用于进行消息的接收和发送;所述存储器用于存储指令;所述处理器用于执行所述存储器存储的指令,当处理器执行所述存储器存储的指令时,所述终端用于执行权利要求6-13任一项所述的预测方法。
22.一种终端,其特征在于,包括收发器、处理器和存储器;所述收发器用于进行消息的接收和发送;所述存储器用于存储指令;所述处理器用于执行所述存储器存储的指令,当处理器执行所述存储器存储的指令时,所述终端用于执行权利要求14-19任一项所述的预测方法。
23.一种计算机可读存储介质,其特征在于,包括指令,该存储介质中存储了程序代码;当该程序代码被计算设备运行时,使得计算机执行如权利要求1-5任一项所述的预测方法;或者,当该程序代码被计算设备运行时,使得计算机执行如权利要求6-13任一项所述的预测方法;或者,当该程序代码被计算设备运行时,使得计算机执行如权利要求14-19任一项所述的预测方法。
CN201711084325.2A 2017-11-07 2017-11-07 一种预测方法及终端、服务器 Active CN109754105B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201711084325.2A CN109754105B (zh) 2017-11-07 2017-11-07 一种预测方法及终端、服务器
EP17931484.4A EP3693912A1 (en) 2017-11-07 2017-12-29 Prediction method, and terminal and server
PCT/CN2017/120294 WO2019090954A1 (zh) 2017-11-07 2017-12-29 一种预测方法及终端、服务器
CN201780095993.7A CN111226238B (zh) 2017-11-07 2017-12-29 一种预测方法及终端、服务器
US16/863,110 US11580457B2 (en) 2017-11-07 2020-04-30 Prediction method, terminal, and server

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711084325.2A CN109754105B (zh) 2017-11-07 2017-11-07 一种预测方法及终端、服务器

Publications (2)

Publication Number Publication Date
CN109754105A CN109754105A (zh) 2019-05-14
CN109754105B true CN109754105B (zh) 2024-01-05

Family

ID=66400884

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201711084325.2A Active CN109754105B (zh) 2017-11-07 2017-11-07 一种预测方法及终端、服务器
CN201780095993.7A Active CN111226238B (zh) 2017-11-07 2017-12-29 一种预测方法及终端、服务器

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201780095993.7A Active CN111226238B (zh) 2017-11-07 2017-12-29 一种预测方法及终端、服务器

Country Status (4)

Country Link
US (1) US11580457B2 (zh)
EP (1) EP3693912A1 (zh)
CN (2) CN109754105B (zh)
WO (1) WO2019090954A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3502978A1 (en) * 2017-12-22 2019-06-26 Siemens Healthcare GmbH Meta-learning system
CN112039934A (zh) * 2019-06-03 2020-12-04 大唐移动通信设备有限公司 一种信息反馈、反馈信息处理方法及装置
CN110298185A (zh) * 2019-06-28 2019-10-01 北京金山安全软件有限公司 一种模型训练方法、装置、电子设备及存储介质
CN110287934B (zh) * 2019-07-02 2022-12-02 北京搜狐互联网信息服务有限公司 一种对象检测方法、装置、客户端及服务器
CN110309923B (zh) * 2019-07-03 2024-04-26 深圳前海微众银行股份有限公司 横向联邦学习方法、装置、设备及计算机存储介质
CN110689137B (zh) * 2019-09-24 2022-11-25 网易传媒科技(北京)有限公司 参数确定方法、系统、介质和电子设备
CN110727494B (zh) * 2019-09-30 2023-06-23 Oppo广东移动通信有限公司 应用图标控制方法及相关装置
CN112884159A (zh) * 2019-11-30 2021-06-01 华为技术有限公司 模型更新系统、模型更新方法及相关设备
JP7442550B2 (ja) * 2019-12-20 2024-03-04 京東方科技集團股▲ふん▼有限公司 推論演算装置、モデル訓練装置、及び推論演算システム
CN111079022B (zh) * 2019-12-20 2023-10-03 深圳前海微众银行股份有限公司 基于联邦学习的个性化推荐方法、装置、设备及介质
CN111476403A (zh) * 2020-03-17 2020-07-31 华为技术有限公司 预测模型构建方法和相关装置
CN111898740B (zh) * 2020-07-31 2021-07-20 北京达佳互联信息技术有限公司 预测模型的模型参数更新方法及装置
CN111709409B (zh) * 2020-08-20 2020-11-20 腾讯科技(深圳)有限公司 人脸活体检测方法、装置、设备及介质
CN112000215A (zh) * 2020-08-25 2020-11-27 北京字节跳动网络技术有限公司 终端控制方法、装置和电子设备
CN111915023B (zh) * 2020-08-28 2021-09-07 支付宝(杭州)信息技术有限公司 一种基于联邦学习的超参数确定方法及装置
CN112257774B (zh) * 2020-10-20 2024-03-15 平安科技(深圳)有限公司 基于联邦学习的目标检测方法、装置、设备及存储介质
US11977602B2 (en) * 2020-11-10 2024-05-07 Nec Corporation Domain generalized margin via meta-learning for deep face recognition
CN112863175B (zh) * 2020-12-31 2022-11-22 平安科技(深圳)有限公司 汽车道路监测数据处理方法、装置、设备及存储介质
CN112767028B (zh) * 2021-01-20 2022-08-26 每日互动股份有限公司 一种活跃用户数量的预测方法、计算机设备及存储介质
CN112766388A (zh) * 2021-01-25 2021-05-07 深圳中兴网信科技有限公司 模型获取方法、电子设备和可读存储介质
CN112990478B (zh) * 2021-02-22 2022-08-26 上海嗨普智能信息科技股份有限公司 联邦学习数据处理系统
CN113011603A (zh) * 2021-03-17 2021-06-22 深圳前海微众银行股份有限公司 模型参数更新方法、装置、设备、存储介质及程序产品
CN113240461B (zh) * 2021-05-07 2022-08-16 广州银行股份有限公司 基于纵向联邦学习的潜在客户的识别方法、系统及介质
US20230056742A1 (en) * 2021-08-17 2023-02-23 Shopper Scientist Llc In-store computerized product promotion system with product prediction model that outputs a target product message based on products selected in a current shopping session
CN113849665A (zh) * 2021-09-02 2021-12-28 中科创达软件股份有限公司 多媒体数据识别方法、装置、设备及存储介质
CN113835964B (zh) * 2021-09-26 2023-07-18 湘潭大学 基于小样本学习的云数据中心服务器能耗预测方法
CN113891338B (zh) * 2021-09-29 2023-08-29 广东电网有限责任公司广州供电局 一种电力施工现场LoRa终端发送速率的自适应调节方法
CN116264712A (zh) * 2021-12-15 2023-06-16 维沃移动通信有限公司 数据收集方法及装置、第一设备、第二设备
CN114792173B (zh) * 2022-06-20 2022-10-04 支付宝(杭州)信息技术有限公司 预测模型训练方法和装置
CN115600512B (zh) * 2022-12-01 2023-04-14 深圳先进技术研究院 一种基于分布式学习的刀具寿命预测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548210A (zh) * 2016-10-31 2017-03-29 腾讯科技(深圳)有限公司 机器学习模型训练方法及装置
WO2017143921A1 (zh) * 2016-02-26 2017-08-31 阿里巴巴集团控股有限公司 一种多重抽样模型训练方法及装置
CN107153630A (zh) * 2016-03-04 2017-09-12 阿里巴巴集团控股有限公司 一种机器学习系统的训练方法和训练系统
CN107229966A (zh) * 2016-03-25 2017-10-03 阿里巴巴集团控股有限公司 一种模型数据更新方法、装置及系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7689419B2 (en) * 2005-09-22 2010-03-30 Microsoft Corporation Updating hidden conditional random field model parameters after processing individual training samples
CN102508907B (zh) 2011-11-11 2013-11-20 北京航空航天大学 一种基于训练集优化的推荐系统的动态推荐方法
US20140344343A1 (en) * 2011-11-15 2014-11-20 Icelero Llc Method and system for private distributed collaborative filtering
JP2015184823A (ja) * 2014-03-20 2015-10-22 株式会社東芝 モデルパラメータ算出装置、モデルパラメータ算出方法およびコンピュータプログラム
US9721024B2 (en) * 2014-12-19 2017-08-01 Facebook, Inc. Searching for ideograms in an online social network
CN105989441A (zh) * 2015-02-11 2016-10-05 阿里巴巴集团控股有限公司 模型参数调整方法和装置
CN106156810B (zh) * 2015-04-26 2019-12-03 阿里巴巴集团控股有限公司 通用机器学习算法模型训练方法、系统和计算节点
CN105528652A (zh) * 2015-12-03 2016-04-27 北京金山安全软件有限公司 一种预测模型的建立方法及终端
CN107025205B (zh) * 2016-01-30 2021-06-22 华为技术有限公司 一种分布式系统中的训练模型的方法及设备
CN107229518B (zh) * 2016-03-26 2020-06-30 阿里巴巴集团控股有限公司 一种分布式集群训练方法和装置
CN107292326A (zh) * 2016-03-31 2017-10-24 阿里巴巴集团控股有限公司 一种模型的训练方法和装置
US10380503B2 (en) * 2016-04-08 2019-08-13 Here Global B.V. Distributed online learning for privacy-preserving personal predictive models
JP6703264B2 (ja) * 2016-06-22 2020-06-03 富士通株式会社 機械学習管理プログラム、機械学習管理方法および機械学習管理装置
CN113570064A (zh) * 2017-05-05 2021-10-29 第四范式(北京)技术有限公司 利用复合机器学习模型来执行预测的方法及系统
US11158418B2 (en) * 2018-08-21 2021-10-26 4medica, Inc. Systems and methods for integrating communications in a healthcare network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017143921A1 (zh) * 2016-02-26 2017-08-31 阿里巴巴集团控股有限公司 一种多重抽样模型训练方法及装置
CN107153630A (zh) * 2016-03-04 2017-09-12 阿里巴巴集团控股有限公司 一种机器学习系统的训练方法和训练系统
CN107229966A (zh) * 2016-03-25 2017-10-03 阿里巴巴集团控股有限公司 一种模型数据更新方法、装置及系统
CN106548210A (zh) * 2016-10-31 2017-03-29 腾讯科技(深圳)有限公司 机器学习模型训练方法及装置

Also Published As

Publication number Publication date
WO2019090954A1 (zh) 2019-05-16
EP3693912A4 (en) 2020-08-12
EP3693912A1 (en) 2020-08-12
CN109754105A (zh) 2019-05-14
CN111226238A (zh) 2020-06-02
US11580457B2 (en) 2023-02-14
US20200258006A1 (en) 2020-08-13
CN111226238B (zh) 2023-10-24

Similar Documents

Publication Publication Date Title
CN109754105B (zh) 一种预测方法及终端、服务器
US11710035B2 (en) Distributed labeling for supervised learning
US9990558B2 (en) Generating image features based on robust feature-learning
CN108959370B (zh) 一种基于知识图谱中实体相似度的社区发现方法及装置
CN108304354B (zh) 一种预测模型训练方法及装置、存储介质、电子设备
US20210174222A1 (en) Bias scoring of machine learning project data
US20170262898A1 (en) Automated Selection Of User/Message Combinations
US11334758B2 (en) Method and apparatus of data processing using multiple types of non-linear combination processing
US20140317034A1 (en) Data classification
CN110750658A (zh) 一种媒体资源的推荐方法、服务器及计算机可读存储介质
CN110766166B (zh) 一种由用户终端执行的推送模型优化方法和装置
WO2022162677A1 (en) Distributed machine learning with new labels using heterogeneous label distribution
CN107918922A (zh) 业务推荐方法及业务推荐装置
US11100454B1 (en) CDD with heuristics for automated variable use-case based constrained logistics route optimization
CN114662580A (zh) 数据分类模型的训练方法、分类方法、装置、设备和介质
CN114492849A (zh) 一种基于联邦学习的模型更新方法及装置
CN113780328A (zh) 信息推送方法、装置及存储介质
CN113360745A (zh) 一种数据对象推荐方法、装置及电子设备
CN116501993B (zh) 房源数据推荐方法及装置
CN116662672B (zh) 价值对象信息发送方法、装置、设备和计算机可读介质
US20230359781A1 (en) Feature selection method and system for regression analysis / model construction
CN112860999B (zh) 信息推荐方法、装置、设备和存储介质
CN116663677A (zh) 模型训练方法、装置、电子设备及存储介质
CN116011553A (zh) 一种数据处理方法、装置、设备和存储介质
CN116432776A (zh) 目标模型的训练方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant