CN112907309A

CN112907309A - 模型更新方法、资源推荐方法、装置、设备及系统

Info

Publication number: CN112907309A
Application number: CN201911135124.XA
Authority: CN
Inventors: 谢淼; 李楠
Original assignee: Alibaba Group Holding Ltd
Current assignee: Alibaba Group Holding Ltd
Priority date: 2019-11-19
Filing date: 2019-11-19
Publication date: 2021-06-04

Abstract

本申请实施例提供一种模型更新方法、资源推荐方法、装置、设备及系统，该方法包括如下的步骤：根据网络设备的决策问题的服务器侧模型，更新本地的所述决策问题的终端侧模型；根据用户的用户数据对所述终端侧模型进行训练，获得训练后的终端侧模型；根据所述训练后的终端侧模型，向所述网络设备发送模型信息，所述模型信息用于指示所述训练后的终端侧模型的模型参数，以使所述网络设备根据所述模型信息进行模型融合以更新所述决策问题的服务器侧模型。本申请提高了用户数据的隐私性，维护了用户的隐私，并且降低了网络设备的负荷。

Description

模型更新方法、资源推荐方法、装置、设备及系统

技术领域

本申请涉及计算机技术领域，尤其涉及一种模型更新方法、资源推荐方法、装置、设备及系统。

背景技术

近年来，随着智能终端的不断发展，从候选集合中进行决策选择的场景越来越多。例如，从候选商品集合中选择一个或多个商品，以向用户推荐。

现有技术中，通常由服务器使用推荐模型，从候选集合中进行决策选择。并且，为了使得服务器侧的决策模型能够捕捉用户兴趣的变化、所处环境的变化，终端需要将用户数据，例如用户的年龄、地理位置、是否点击、是否购买等回传给服务器，由服务器根据用户数据对推荐模型进行更新。

但是，上述推荐方法中存在用户数据隐私性较差的问题。

发明内容

本申请实施例提供一种模型更新方法、资源推荐方法、装置、设备及系统，用以解决现有技术中用户数据隐私性较差的问题。

第一方面，本申请实施例提供一种模型更新方法，应用于终端，所述方法包括：

根据网络设备的决策问题的服务器侧模型，更新本地的所述决策问题的终端侧模型；根据用户的用户数据对所述终端侧模型进行训练，获得训练后的终端侧模型；根据所述训练后的终端侧模型，向所述网络设备发送模型信息，所述模型信息用于指示所述训练后的终端侧模型的模型参数，以使所述网络设备根据所述模型信息进行模型融合以更新所述决策问题的服务器侧模型。

第二方面，本申请实施例提供一种模型更新方法，应用于网络设备，所述方法包括：

接收多个终端分别发送的决策问题的模型信息，所述模型信息用于指示所述终端根据用户数据训练得到的终端侧模型的模型参数；根据所述模型信息，对所述终端训练得到的终端侧模型进行模型融合，以更新所述决策问题的服务器侧模型；将所述服务器侧模型发送给目标设备，以使所述目标设备根据所述服务器侧模型更新所述决策问题的终端侧模型，所述目标设备包括所述多个终端。

第三方面，本申请实施例提供一种资源推荐方法，应用于终端，包括：

获取用户的访问请求，所述访问请求用于请求决策问题对应的资源；采用所述决策问题的终端侧模型，确定与所述访问请求对应的目标资源；所述终端侧模型是根据所述决策问题的服务器侧模型更新得到，所述服务器侧模型是网络设备对终端基于服务器侧模型训练获得的终端侧模型进行融合得到；向所述用户推荐所述目标资源。

第四方面，本申请实施例提供一种模型更新装置，包括：

更新模块，用于根据网络设备的决策问题的服务器侧模型，更新本地的所述决策问题的终端侧模型；

训练模块，用于根据用户的用户数据对所述终端侧模型进行训练，获得训练后的终端侧模型；

发送模块，用于根据所述训练后的终端侧模型，向所述网络设备发送模型信息，所述模型信息用于指示所述训练后的终端侧模型的模型参数，以使所述网络设备根据所述模型信息进行模型融合以更新所述决策问题的服务器侧模型。

第五方面，本申请实施例提供一种模型更新装置，包括：

接收模块，用于接收多个终端分别发送的决策问题的模型信息，所述模型信息用于指示所述终端根据用户数据训练得到的终端侧模型的模型参数；

融合模块，用于根据所述模型信息，对所述终端训练得到的终端侧模型进行模型融合，以更新所述决策问题的服务器侧模型；

发送模块，用于将所述服务器侧模型发送给目标设备，以使所述目标设备根据所述服务器侧模型更新所述决策问题的终端侧模型，所述目标设备包括所述多个终端。

第六方面，本申请实施例提供一种资源推荐装置，应用于终端，包括：

获取模块，用于获取用户的访问请求，所述访问请求用于请求决策问题对应的资源；

确定模块，用于采用所述决策问题的终端侧模型，确定与所述访问请求对应的目标资源；所述终端侧模型是根据所述决策问题的服务器侧模型更新得到，所述服务器侧模型是网络设备对终端基于服务器侧模型训练获得的终端侧模型进行融合得到；

推荐模块，用于向所述用户推荐所述目标资源。

第七方面，本申请实施例提供一种终端，包括：存储器、处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现如第一方面任一项所述的方法。

第八方面，本申请实施例提供一种网络设备，包括：存储器、处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现如第二方面任一项所述的方法。

第九方面，本申请实施例提供一种终端，包括：存储器、处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现如第三方面任一项所述的方法。

第十方面，本申请实施例提供一种模型推荐系统，包括第七方面所述的终端，以及第八方面所述的网络设备。

本申请实施例还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包含至少一段代码，所述至少一段代码可由计算机执行，以控制所述计算机执行如第一方面任一项所述的方法。

本申请实施例还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包含至少一段代码，所述至少一段代码可由计算机执行，以控制所述计算机执行如第二方面任一项所述的方法。

本申请实施例还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包含至少一段代码，所述至少一段代码可由计算机执行，以控制所述计算机执行如第三方面任一项所述的方法。

本申请实施例还提供一种计算机程序，其特征在于，当所述计算机程序被计算机执行时，用于实现如第一方面任一项所述的方法。

本申请实施例还提供一种计算机程序，其特征在于，当所述计算机程序被计算机执行时，用于实现如第二方面任一项所述的方法。

本申请实施例还提供一种计算机程序，其特征在于，当所述计算机程序被计算机执行时，用于实现如第三方面任一项所述的方法。

本申请实施例提供的模型更新方法、资源推荐方法、装置、设备及系统，通过根据决策问题的服务器侧模型更新本地的决策问题的终端侧模型，根据用户的用户数据对终端侧模型进行训练，获得训练后的终端侧模型，并根据训练后的终端侧模型向网络设备发送用于指示训练后的终端侧模型的模型参数的模型信息，以使网络设备根据模型信息进行模型融合以更新决策问题的服务器侧模型，实现了由终端根据其用户数据对基于服务器侧模型更新得到的终端侧模型进行训练，由网络设备对终端训练好的模型进行融合以更新服务器侧模型的模型更新方法，提高了用户数据的隐私性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例的应用场景示意图；

图2为本申请一实施例提供的模型更新方法的流程示意图；

图3为本申请另一实施例提供的模型更新方法的流程示意图；

图4为本申请又一实施例提供的模型更新方法的流程示意图；

图5为本申请一实施例提供的资源推荐方法的流程示意图；

图6为本申请一实施例提供的模型更新装置的结构示意图；

图7为本申请一实施例提供的终端的结构示意图；

图8为本申请另一实施例提供的模型更新装置的结构示意图；

图9为本申请一实施例提供的网络设备的结构示意图；

图10为本申请一实施例提供的资源推荐装置的结构示意图；

图11为本申请又一实施例提供的终端的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在…… 时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为 “当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。

本申请实施例提供的模型更新方法可以应用于图1所示的应用场景中，如图1所示，该应用场景可以包括网络设备11和多个终端12。网络设备11与终端12通讯连接。对于通讯连接的具体方式，本申请可以不做限定，例如可以基于蓝牙技术实现无线通讯连接，又例如可以基于通信接口如RS-232实现有线通讯连接等。

其中，网络设备11用于融合终端12训练后的决策问题的终端侧模型，以更新决策问题的服务器侧模型，终端12用于根据决策问题的服务器侧模型更新本地的决策问题的终端侧模型，并根据用户的用户数据对终端侧模型进行训练，得到训练后的终端侧模型。网络设备11与终端12通过模型联合训练的方式，获得针对决策问题的模型。

示例性的，终端12进行模型训练时使用的用户数据可以包括从其对应的其他终端13获得的用户数据，终端12与其对应的其他终端13的用户相同，例如图1中一个终端12与一个其他终端13的用户均为用户1，另一终端12与另一个其他终端13的用户均为用户2。需要说明的是，图1中以一个终端12对应的其他终端13的个数为一个为例，可以理解的是，一个终端12对应的其他终端 13的个数也可以为多个。

由于终端12与其对应的其他终端13的用户相同，因此终端12根据从其他终端13获得的用户数据进行模型训练，不仅可以确保用户数据的隐私性，还可以增加训练样本，有利于提高模型的训练效果。

示例性的，终端12可以使用终端侧模型向用户推荐资源，或者，终端12 可以仅用于模型训练，而不使用终端侧模型向用户推荐资源。

示例性的，可以由终端12将训练得到终端侧模型发送至其他终端13，以使其他终端13根据训练得到的终端侧模型向用户推荐资源。

示例性的，可以由终端12将根据决策问题的服务器侧模型更新得到的终端侧模型发送至其他终端13，以使他终端13根据更新得到的终端侧模型向用户推荐资源。

示例性的，可以由网络设备将决策问题的服务器侧模型发送至其他终端13，以使其他终端13根据服务器侧模型更新得到终端侧模型，并根据更新得到的终端侧模型向用户推荐资源。

需要说明的是，终端12和其他终端13均是用户能够使用的终端设备，可以根据需求灵活实现。示例性的，终端12可以是智能音响，其他终端13可以是智能手机。示例性的，终端12可以是笔记本电脑，其他终端13可以是智能手机。示例性的，终端12可以是可穿戴设备，其他终端13可以是平板电脑。示例性的，终端12可以是一个智能手机，其他终端13可以是另一个智能手机。

其中，决策问题具体可以为任意涉及从候选元素集合中选择K个元素的问题，K为大于0且小于M的整数，M为候选元素集合中元素的总数。其中，决策问题包括但不限于如下三种具体问题场景中：

第一种，素材优选问题。例如，视频应用中有很多视频，一个视频一般拥有很多海报图和视频情节截图，这些图片可作为该视频的封面图呈现给用户，由于不同用户兴趣不同，对不同类别的封面图的喜好也不同，展示出用户喜欢的封面图可以提升视频本身的点击率，甚至是观看视频的时长，那么在M张不同图片中，选择哪个作为封面图呈现给用户就是一个决策问题。

第二种，功能与服务优选问题。例如，当前主流智能手机几乎都提供应用程序(application program，APP)乃至服务的推荐功能，例如智能手机负一屏的APP推荐栏，智能手机负一屏的服务推荐栏等。但是如何选择把哪些服务或者APP放入推荐栏呢，就是一个决策问题。

此外，手机的上网方式通常有很多，比如第三代(3rd Generation，3G)，第四代(4rd Generation，4G)，无线保真(Wireless Fidelity，WiFi)等，在同一时间，通常有很多种上网方式可以进行数据传输，那么如何选择以哪种上网方式连接网络呢，这也是一个决策问题。

第三种，商品优选问题。在购物应用中，通常后台数据库中有成千上万的商品，但是商品的展示位通常很有限，一屏只能展示几个商品，展示商品的好坏会对用户的成交率产生非常大的影响，那么如何从成千上万的商品中选择对哪些商品进行展示，这还是一个决策问题。

具体的，多个终端12分别从网络设备11获得决策问题的服务器侧模型M1，根据服务器侧模型M1更新得到该决策问题的终端侧模型N1，并根据用户数据对终端侧模型N1进行训练，以获得训练后的终端侧模型N1’。网络设备根据多个终端分别训练得到的终端侧模型N1’进行模型融合，以更新获得决策问题的服务器侧模型M2，并将服务器侧模型M2发送至多个终端。多个终端可以再次根据服务器侧模型M2更新得到该决策问题的终端侧模型N2，并根据用户数据对终端侧模型N2进行训练，以获得训练后的终端侧模型N2’。网络设备可以再次根据多个终端分别训练得到的终端侧模型N2’进行模型融合，更新得到服务器侧模型M3，并将服务器侧模型M3发送至多个终端。……，如此不断迭代进行模型的训练和融合，可以依次获得终端侧模型N3’、服务器侧模型M4、终端侧模型N4’、服务器侧模型M5，……，直至服务器侧模型收敛，从而使得最终得到的服务器侧模型能够捕捉用户兴趣、所处环境等的变化。

可选的，网络设备可以包括服务器，由服务器完成该多个终端的终端侧模型的融合。或者，网络设备可以包括服务器和至少两个中间设备，可以由中间设备先进行一次模型融合，再由服务器对中间设备的融合结果进行进一步融合，有利于减小服务器的运算量。

需要说明的是，以上训练和融合过程以特定的一个决策问题为例进行说明。当决策问题的个数为多个时，可以针对多个决策问题按照上述方式，联合训练得到多个模型。

本实施例提供的模型更新方法，通过网络设备向多个终端分别发送决策问题的服务器侧模型，多个终端根据服务器侧模型更新本地的终端侧模型，根据用户数据对更新后的终端侧模型进行训练，并根据训练后的终端侧模型向网络设备发送模型信息，网络设备根据终端训练后的终端侧模型更新服务器侧模型，并将更新后的服务器侧模型发送给终端，实现了由终端根据用户数据对基于服务器侧模型更新得到的终端侧模型进行训练，由网络设备对终端训练好的模型进行融合以更新服务器侧模型的模型更新方法。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

图2为本申请一实施例提供的模型更新方法的流程示意图，本实施例的执行主体可以为图1中的终端12。如图2所示，本实施例的方法可以包括：

步骤201，根据网络设备的决策问题的服务器侧模型，更新本地的所述决策问题的终端侧模型。

本步骤中，示例性的，所述终端可以从网络设备获得决策问题的服务器侧模型，例如，所述终端可以接收网络设备发送的决策问题的服务器侧模型。或者，示例性的，所述终端可以从其对应的其他终端获得决策问题的服务器侧模型。

示例性的，步骤201具体可以包括所述终端将决策问题的服务器侧模型作为本地的决策问题的终端侧模型，此时，不同终端更新后的终端侧模型相同。或者，示例性的，所述终端根据用户特征以及决策问题的服务器侧模型，得到能够体现用户个性化的终端侧模型，使得终端侧模型能够实现个性化推荐，有利于提高推荐的准确性。

步骤202，根据用户的用户数据对所述终端侧模型进行训练，获得训练后的终端侧模型。

本步骤中，终端根据其用户的用户数据对步骤201更新后的本地的终端侧模型进行进一步训练。所述用户数据包括用户针对所述决策问题的反馈，例如决策问题是从100张图片中选择一张图片，当从该100张图片中选择了一张图片并向用户展示之后，该决策问题的反馈具体可以为用户是否点击这张照片。当所述终端使用决策问题的终端侧模型向用户推荐时，所述用户数据可以包括本地用户数据。

通过终端根据用户数据对终端侧模型进行训练，而不是将用户数据上传至网络设备进行模型训练，可以避免由于将用户数据上传至网络设备所造成的用户数据隐私性较差的问题。

步骤203，根据所述训练后的终端侧模型，向所述网络设备发送模型信息，所述模型信息用于指示所述训练后的终端侧模型的模型参数，以使所述网络设备根据所述模型信息进行模型融合以更新所述决策问题的服务器侧模型。

本步骤中，所述模型信息可以为能够用于指示训练后的终端侧模型的任意类型的信息。示例性的，所述模型信息可以包括所述训练后的终端侧模型的模型参数。

示例性的，所述模型信息可以包括服务器侧模型参数以及所述服务器侧模型参数与终端侧模型参数之间的参数差异信息，所述服务器侧模型参数为所述训练后的终端侧模型的模型参数，所述终端侧模型参数为所述决策问题的训练前的终端侧模型的模型参数。通过所述模型信息包括服务器侧模型参数以及参数差异信息，有利于减小服务器的运算量，便于服务器进行模型融合。

本实施例中，通过根据决策问题的服务器侧模型更新本地的决策问题的终端侧模型，根据用户的用户数据对终端侧模型进行训练，获得训练后的终端侧模型，并根据训练后的终端侧模型向网络设备发送用于指示训练后的终端侧模型的模型参数的模型信息，以使网络设备根据模型信息进行模型融合以更新决策问题的服务器侧模型，实现了由终端根据其用户数据对基于服务器侧模型更新得到的终端侧模型进行训练，由网络设备对终端训练好的模型进行融合以更新服务器侧模型的模型更新方法，提高了用户数据的隐私性。

图3为本申请另一实施例提供的模型更新方法的流程示意图，本实施例的执行主体可以为图1中的网络设备11。如图3所示，本实施例的方法可以包括：

步骤301，接收多个终端分别发送的决策问题的模型信息，所述模型信息用于指示所述终端根据用户数据训练得到的终端侧模型的模型参数。

本步骤中，与步骤203对应，示例性的，所述模型信息可以包括所述终端训练得到的终端侧模型的模型参数，或者，所述模型信息可以包括服务器侧模型参数以及服务器侧模型参数与终端侧模型参数之间的参数差异信息。

步骤302，根据所述模型信息，对所述终端训练得到的终端侧模型进行模型融合，以更新所述决策问题的服务器侧模型。

本步骤中，网络设备通过对终端侧模型进行融合的方式更新服务器侧模型，具体的，网络设备可以将通过模型融合获得的服务器侧模型作为决策问题当前的服务器侧模型。

示例性的，所述网络设备可以对多个终端分别训练得到的终端侧模型进行统一融合，以使终端可以将决策问题的服务器侧模型作为本地的决策问题的终端侧模型。

或者，示例性的，网络设备可以根据用户特征对多个终端分别训练得到的终端侧模型进行分类融合，以使终端可以根据用户特征以及决策问题的服务器侧模型，得到能够体现用户个性化的终端侧模型。

由于网络设备是通过对多个终端分别训练得到的终端侧模型进行融合的方式更新服务器侧模型，而该多个终端侧模型分别是终端根据用户数据训练获得，因此通过融合终端侧模型所得到的服务器侧模型能够反映多个终端分别对应的用户数据，即大量样本数据，从而使得服务器侧模型可以快速收敛，与终端单机进行模型训练相比，提高了收敛速度且降低了终端的负荷。

步骤303，将所述服务器侧模型发送给目标设备，以使所述目标设备根据所述服务器侧模型更新所述决策问题的终端侧模型，所述目标设备包括所述多个终端。

本步骤中，将通过步骤302进行模型融合所得到的服务器侧模型，发送至目标设备。所述目标设备还可以包括所述终端对应的其他终端。示例性的，所述目标设备还可以包括所述终端以及所述其他终端之外的需要针对所述决策问题向用户推荐资源的终端。

本实施例中，通过接收多个终端分别发送的决策问题的模型信息，模型信息用于指示终端根据用户数据训练得到的终端侧模型的模型参数，根据模型信息对终端训练得到的终端侧模型进行模型融合，以更新决策问题的服务器侧模型，并将服务器侧模型发送给用户设备，以使用户设备根据服务器侧模型更新终端侧模型，从而实现了由终端根据用户数据对基于服务器侧模型更新得到的终端侧模型进行训练，由网络设备对终端训练好的模型进行融合以更新服务器侧模型的模型更新方法。

图4为本申请又一实施例提供的模型更新方法的流程示意图，本实施例在前述方法实施例的基础上，主要描述了网络设备与终端之间的交互过程。如图4 所示，本实施例的方法可以包括：

步骤401，Y1个终端分别根据网络设备的决策问题的服务器侧模型，更新本地的所述决策问题的终端侧模型。

本步骤中，Y为大于2的整数。示例性的，所述服务器侧模型中不同用户特征可以对应不同的模型参数，所述根据决策问题的服务器侧模型，更新本地的所述决策问题的终端侧模型具体可以包括：从所述服务器侧模型中确定出与其用户的用户特征匹配的模型参数，以得到本地的所述决策问题的终端侧模型。

例如，假设用户特征包括性别和年龄，服务器侧模型中性别“男”对应参数1、性别“女”对应参数2，年龄“20-30”对应参数3，年龄“30-40”对应参数4，年龄“40-50”对应参数5,年龄“50以上”对应参数6，则当一个终端的用户的性别是“男”且年龄是“30-40”时可以确定出其本地的终端侧模型中性别对应的模型参数是参数1，且年龄对应的模型参数是参数4，参数1和参数 4即为与其用户的用户特征匹配的模型参数。

示例性的，终端在获得服务器侧模型之后，可以直接根据服务器侧模型更新本地的终端侧模型，或者，终端在获得服务器侧模型之后，可以先判断本地当前的所述决策问题的终端侧模型是否收敛，若本地当前的所述决策问题的终端侧模型未收敛，则根据服务器侧模型更新本地的终端侧模型。通过在本地当前的所述决策问题的终端侧模型未收敛的情况下，根据服务器侧模型更新本地的终端侧模型，有利于提高终端侧模型的用户个性化。

需要说明的是，对于确定终端侧模型是否收敛的具体方式，本申请不做限定。以终端侧模型具体对应的在线学习算法为UCB为例，可以通过置信度区间半径和平均奖赏来确定终端侧模型是否收敛。例如，如果一个终端侧模型存在一个候选元素，其平均奖赏明显高于其他候选元素且置信区间半径较小，则可以认为该终端侧模型已收敛。

步骤402，所述Y1个终端分别根据用户的用户数据，对终端侧模型进行训练，获得训练后的终端侧模型。

本步骤中，示例性的，一个终端进行终端侧模型训练所使用的用户数据可以包括从其对应的其他终端获得的用户数据，所述其他终端的用户与所述用户为同一用户。

可选的，所述用户对所述终端的使用热度，低于所述用户对所述其他终端的使用热度。使用热度可以根据需求灵活实现，示例性的，使用热度可以根据使用频率以及使用时长确定，使用频率越高、使用时长越长，则使用热度越大，使用频率越低、使用时长越短，则使用热度越小。通过对终端侧模型进行模型训练的终端的使用热度低于其他终端的使用热度，可以实现由使用热度较低的终端进行终端侧模型训练，能够减小模型训练对于用户使用的影响，有利于提高用户的使用体验。

其中，终端侧模型为基于在线学习算法(Online learning)实现的模型。示例性的，一个决策问题的实例可以被称为一个机器(machine)，而其中的候选元素称为臂(Arm)。用户会按照自身兴趣等因素对展示臂做反馈，例如在实际系统中用户点击了其中一个臂，那么称之为正向反馈，而投诉了一个臂，那么称之为负向反馈，一组上述展示与反馈过程称为一次实验。针对一个决策问题的解，通常为一个在线学习算法，该算法的算法目标在迭代顺序进行上述展示与反馈过程进行n(其中，n为大于1的整数)轮实验后，其所能达到的累计后悔度(Regret)最小化，即其与累计优化值(最大正向反馈)之间的差距最小化，以此来最大化正向反馈。在线学习算法会按照每轮实验中用户的反馈，重新训练终端侧模型，以达到算法目标，从而获得训练后的终端侧模型。

需要说明的是，对于在线学习算法的具体算法类型，本申请实施例不做限定，例如可以为信心上限算法(Upper Confidence Bounds，UCB)。本申请实施例中终端中预装的终端侧模型可以为服务器起始的冷启动服务器侧模型，以模型的算法为UCB为例，该冷启动服务器侧模型的平均奖赏为1，置信度半径为无穷大。

可选的，所述Y1个终端可以为与网络设备通信连接的部分终端或全部终端。 Y1个终端可以根据由网络设备激活其本地训练模式，以对终端侧模型进行训练。示例性的，步骤402之前还可以包括如下步骤402’。

步骤402’，网络设备向所述Y1个终端发送训练信息，所述训练信息用于指示对所述决策问题的终端侧模型进行训练。

相应的，终端根据用户的用户数据对终端侧模型进行训练，具体可以包括：在接收到所述训练信息的情况下，根据用户的用户数据对终端侧模型进行训练。

对于网络设备向Y1个终端发送训练信息的具体方式，本申请不做限定，示例性的，网络设备可以分别向所述Y1个终端发送训练信息，或者，网络设备可以通过广播的方式向所述Y1个终端发送训练信息。通过网络设备发送训练信息，使得网络设备可以对终端侧模型的训练进行控制，从而提高了训练的针对性。

可选的，步骤402’之前网络设备可以根据一定的准则选取所述Y1个终端。示例性的，网络设备可以根据随机准则选取Y1个终端，或者，网络设备可以一定活跃度准则选择Y1个终端。具体的，网络设备可以根据目标活跃度，选取目标活跃度大于活跃度阈值的所述Y1个终端。其中，所述目标活跃度具体可以为用户活跃度或终端活跃度。以活跃度为用户活跃度为例，示例性的，可以选取用户活跃度大于活跃度阈值的多个用户，并将该多个用户使用终端确定为所述Y1个终端。以活跃度为终端活跃度为例，示例性的，可以选取终端活跃度大于活跃度阈值的多个终端作为所述Y1个终端。

其中，活跃度大于活跃度阈值的终端可以认为是训练样本较多的终端备，通过选取活跃度大于活跃度阈值的Y1个终端，能够确保终端在进行终端侧模型训练时能够获得较多的训练样本，从而可以提高模型训练的准确性，并且有利于节省终端的资源。需要说明的是，对于活跃度的具体计算方式，本申请可以不做限定。例如，可以根据用户使用时长、用户使用频率等因素通过加权求和的方式，确定活跃度。

可选的，步骤402’具体可以包括：网络设备判断所述决策问题当前的服务器侧模型是否收敛，若所述决策问题当前的服务器侧模型未收敛，则向所述Y1个终端发送训练信息。通过若当前的服务器侧模型未收敛则向Y1个终端发送训练信息，可以实现针对未收敛的服务器侧模型进行重新训练，从而进一步提高了训练的针对性，有利于提升服务器侧模型的收敛速度，节省终端的资源。

需要说明的是，对于确定服务器侧模型是否收敛的具体方式，本申请不做限定。以服务器侧模型对应的在线学习算法为UCB为例，可以通过置信度区间半径来确定服务器侧模型是否收敛。

进一步的，考虑到随着时间的推移，用户的兴趣可能发生变化，因此即使在决策问题当前的服务器侧模型已收敛时，也可以通过基于一定触发机制发送训练信息。示例性的，可以通过定时机制发送训练信息，例如可以每7 天发送训练信息。

示例性的，为了提高终端存储空间的利用率，终端在网络设备激活决策问题的本地训练模式之前，可以不对捕获到的用户针对该决策问题的推荐资源的反馈进行存储，在网络设备激活该决策问题的本地训练模式之后，可以对捕获到的用户对针对该决策问题的推荐资源的反馈进行存储。

示例性的，可以将用户的用户数据存储在日志中。

示例性的，为了提高用户数据的安全性，避免日志中所存储的用户数据被不相关的程序访问，本实施例的方法还包括：终端对目标应用进行身份验证，所述目标应用为所述决策问题所属的应用；在身份验证之后，所述终端从所述日志中读取用户的用户数据，以根据用户数据对终端侧模型进行训练。例如，假设一个决策问题为视频应用中选择哪个图片作为一个视频的封面图，则可以认为该决策问题属于该视频应用。需要说明的是，对于身份验证的具体方式，本申请可以不做限定，例如可以根据应用标识进行验证。

示例性的，为了提高终端侧模型的安全性，终端可以将终端侧模型存储在其安全级别较高的安全域，示例性的，终端侧模型可以存储于比目标应用安全级别高的运行与存储域。例如，终端侧模型可以存储于可信执行环境 (Trusted Execution Environment，TEE)或linux内核(kernel)等。以终端侧模型存储于TEE为例，示例性的，具体可以使用TEE操作系统 (operating system，OS)实例存储终端侧模型，进一步的，可以通过TEE 客户端(client)应用程序编程接口(Application Programming Interface， API)予以调用，以保证终端侧模型的安全性。

示例性的，为了提高用户数据的安全性，在根据用户数据进行终端侧模型训练之后，可以删除所存储的该用户数据。

示例性的，为了提高终端对于模型训练的可控性，终端在进行模型训练之前，还可以执行如下步骤：判断是否满足训练条件；若满足训练条件，则执行根据用户的用户数据，对终端侧模型进行训练的步骤。其中，所述训练条件是指终端启动训练终端侧模型需要满足的条件，具体可以根据需求灵活实现。可选的，所述训练条件包括但不限于下述中的一种或多种：当前电量大于电量阈值、处于待机状态、负载小于负载阈值、当前时刻处于预设时间段内。

需要说明的是，上述训练信息与训练条件的关系可以为：终端可以先由网络设备发送的训练信息激活该决策问题的本地训练模式，然后进一步的可以根据训练条件确定具体在何时开始对该决策问题的终端侧模型进行训练。

步骤403，Y2个终端分别向网络设备发送模型信息。

本步骤中，Y2为大于2且小于或等于Y1的整数，Y2个终端可以为上述 Y1个终端中的部分或全部终端。例如，在一个终端进行了终端侧模型的训练但未联网的情况下，其无法向网络设备发送模型信息。

例如，假设Y2个终端包括终端1和终端2，则终端1可以向网络设备发送模型信息1，终端2可以向网络设备发送模型信息2，其中，模型信息1可以指示终端1根据用户1的用户数据训练获得的终端侧模型，模型信息2可以用于指示终端2根据用户2的用户数据训练获得的终端侧模型。进一步的，模型参数1可以包括服务器侧模型参数1以及参数差异信息1，其中，服务器侧模型参数1为终端1训练前的终端侧模型的模型参数，参数差异信息1为终端1训练前的终端侧模型的模型参数与终端1训练后的终端侧模型的模型参数的参数差异信息；模型参数2可以包括服务器侧模型参数2以及参数差异信息2，其中，服务器侧模型参数1为终端2训练前的终端侧模型的模型参数，参数差异信息2 为终端2训练前的终端侧模型的模型参数与终端2训练后的终端侧模型的模型参数的参数差异信息。

需要说明的是，上述模型参数可以与对应的在线学习算法相关，以在线学习算法为UCB为例，模型参数可以包括置信区间半径和平均奖赏。

在所述网络设备包括服务器、第一中间设备和第二中间设备的情况下，Y2 个终端中的多个第一终端可以将模型信息发送至第一中间设备，Y2个终端中的多个终端可以将模型信息发送至第二中间设备。需要说明的是，第一终端与第二终端为不同的终端。

步骤404，所述网络设备根据所述Y2个终端分别发送的模型信息，对终端的训练得到的终端侧模型进行融合，以更新所述决策问题的服务器侧模型。

本步骤中，示例性的，步骤404具体可以包括：根据所述终端用户的用户特征，按照相同用户特征对应的模型参数进行融合的融合策略，对所述终端训练得到的终端侧模型进行模型融合。

例如，假设用户特征包括性别和年龄，终端1至终端4的用户特征中性别为“男”，终端5-终端8的用户特征中性别为“女”，且终端1和终端2 的用户特征中年龄为“20-30”，终端3和终端4的用户特征中年龄为“30-40”，终端5和终端6的用户特征中年龄为“20-30”，终端7和终端8的用户特征中年龄为“30-40”，则可以将终端1和终端2的年龄和性别分别对应的参数进行融合，可以将终端3和终端4的年龄和性别分别对应的参数进行融合，可以将终端5和终端6的年龄和性别分别对应的参数进行融合，可以将终端 7和终端8的年龄和性别分别对应的参数进行融合。

示例性的，所述网络设备可以采用聚合函数或算法对终端训练得到的终端侧模型进行融合。对于聚合函数或算法的具体类型，本申请可以不做限定。以在线学习算法为UCB为例，可以根据终端发送的平均奖赏，采用取平均的聚合函数确定融合后的服务器侧模型的平均奖赏，可以根据终端发送的置信度区间半径，采用选取最小值的聚合函数确定服务器侧模型的置信度区间半径，从而得到新的服务器侧模型。

由于一个终端的模型信息中参数差异信息越大可以表征该终端上积累的用户数据越多，因此为了减小网络设备的计算量，步骤404具体可以包括：若所述模型信息的数量大于第一数量阈值，则根据所述参数差异信息按照参数差异由大至小的顺序，对所述模型信息进行排序；对前N个模型信息分别指示的训练得到的终端侧模型进行模型融合，N为大于1且小于Y2的整数。其中，前N个模型信息可以与N个终端一一对应。

若所述模型信息的数量小于第一数量阈值，则可以根据Y2个终端分别发送的模型信息进行融合。

为了进一步提高网络设备对于融合的控制性，减小运算量，可选的，步骤404之前还可以包括：判断是否满足忽略条件，若不满足忽略条件，则执行步骤404。其中，所述忽略条件是指网络设备忽略模型信息不进行模型融合需要满足的条件，具体可以根据需求灵活实现。可选的，所述忽略条件包括但不限于下述中的一个或多个：所述模型信息的数量小于第二数量阈值、所述决策问题当前的服务器侧模型已收敛，训练后的终端侧模型较训练前的终端侧模型的参数差异程度小于差异阈值。可以理解的是，所述第二数量阈值小于前述第一数量阈值。

若满足忽略条件，则结束，不执行步骤404，即不根据Y2个终端发送的模型信息更新服务器侧模型。

可选的，在所述网络设备包括第一中间设备和第二中间设备时，步骤404 具体可以包括：所述第一中间设备根据多个第一终端发送的模型信息，对所述多个第一终端训练得到的终端侧模型进行融合，获得第一融合模型；所述第二中间设备根据多个第二终端发送的模型信息，对所述多个第二终端训练得到的终端侧模型进行融合，获得第二融合模型；所述服务器对所述第一融合模型和第二融合模型进行融合。

步骤405，所述网络设备将所述服务器侧模型发送至Y个终端，所述Y 个终端包括所述Y1个终端。

本步骤中，可选的，步骤405之前还可以包括：判断所述服务器侧模型与融合前所述决策问题的历史服务器侧模型收敛程度的差异程度是否大于程度阈值；若所述服务器侧模型与所述历史服务器侧模型收敛程度的差异程度大于所述程度阈值，则执行步骤405。从而能够实现网络设备向终端发送收敛程度有显著提升的服务器侧模型，避免了对于终端中终端侧模型的无效更新，减小了对于网络设备与终端之间传输资源的占用。

若所述服务器侧模型与所述历史服务器侧模型收敛程度的差异程度小于所述程度阈值，则结束，不执行步骤405，即不将根据Y2个终端发送的模型信息进行模型融合所得到的新的服务器侧模型发送至终端。

可选的，所述Y个终端还可以包括所述Y1个终端之外的一个或多个终端，该一个或多个终端在接收到服务器侧模型之后，可以采用步骤401相同的方式，更新本地的终端侧模型。

本实施例中，通过Y1个终端分别根据用户的用户数据，本地的决策问题的终端侧模型进行训练，获得训练后的终端侧模型，Y2个终端分别向网络设备发送模型信息，网络设备根据Y2个终端分别发送的模型信息，对Y2个终端中训练获得的终端侧模型进行融合，以更新决策问题的服务器侧模型，进一步的网络设备将决策问题的服务器侧模型发送至Y个终端，以使Y个终端根据服务器侧模型更新本地的终端侧模型，使得在对模型进行更新的过程中，终端无需将用户数据回传给服务器，从而提高了用户数据的隐私性，维护了用户的隐私，并且降低了网络设备的负荷。

需要说明的是，上述实施例中以一个决策问题的模型更新为例进行说明，当决策问题的个数为多个时，对于各决策问题的模型更新均可以采用上述实施例所述的方法。

图5为本申请一实施例提供的资源推荐方法的流程示意图，本实施例的执行主体可以为图1中的终端12或其他终端13。如图5所示，本实施例的方法可以包括：

步骤501，获取用户的访问请求，所述访问请求用于请求决策问题对应的资源。

本步骤中，用户的访问请求能够触发决策问题，需要针对访问请求触发的决策问题向用户推荐。以视频应用为例，访问请求例如可以为访问视频应用首页的请求，相应的决策问题例如可以为在视频应用首页的推荐栏显示哪个或哪些视频资源。

步骤502，采用所述决策问题的终端侧模型，确定与所述访问请求对应的目标资源；所述终端侧模型是根据所述决策问题的服务器侧模型更新得到，所述服务器侧模型是网络设备对终端基于服务器侧模型训练获得的终端侧模型进行融合得到。

本步骤中，示例性的，所述终端可以采用训练得到的终端侧模型，确定与所述访问请求对应的目标资源。或者，示例性的，终端可以采用根据服务器侧模型跟新得到的终端侧模型，确定与所述访问请求对应的目标资源。

具体的，所述终端可以获取所述决策问题的候选元素集合中各候选元素的特征数据，并将各候选元素的特征数据作为所述决策问题的终端侧模型的输入，所述终端侧模型的输出可以指示所述目标资源，所述目标资源具体为所述候选元素集合中的至少一个候选元素。需要说明的是，对于特征数据的具体类型，本申请可以不做限定，例如可以为商品价格、图片亮度等。

可选的，本实施例的方法还可以包括：所述终端判断所述终端侧模型是否收敛；若所述终端侧模型收敛，则删除所述决策问题的候选集合中的部分候选元素，所述部分候选元素的元素分数小于分数阈值，所述元素分数可以用于指示用户的感兴趣程度。一个候选元素的元素分数越大可以表示用户对感兴趣的程度越大，即越感兴趣；一个候选元素的元素分数越小可以表示用户对感兴趣的程度越小，即越不感兴趣。对于确定候选元素的元素分数的具体方式，本申请可以不做限定，以在线学习算法为UCB为例，一个候选元素的元素分数例如可以为该候选元素的平均期望与该候选选择的置信度区间半径之和。

通过删除该决策问题的候选集合中的部分候选元素，可以减小终端侧模型在确定目标资源时输入的候选元素的数据量，有利于减少终端的运算量，节省终端的运算资源。另外，在终端需要对候选集合进行存储的情况下，还有利于减少对于终端存储空间的占用。

示例性的，删除部分候选元素之后的候选集合中候选元素的个数可以大于目标资源中元素的个数。从而使得在用户的兴趣发生变化时，能够降低从服务器下载候选元素的必要性，有利于提升推荐的实时性。

需要说明的是，本实施例中所述决策问题的终端侧模型的更新过程可以参见前述图2-图4所示实施例的相关描述，在此不再赘述。

步骤503，向所述用户推荐所述目标资源。

需要说明的是，对于向用户推荐所述目标资源的具体方式，可以根据需求灵活实现，示例性的，可以通过弹窗、短信提示、语音播放等方式向用户推荐目标资源。例如可以在用户界面(User Interface，UI)中将所述目标资源展示给用户。

本实施例中，通过获取用户的用于请求决策问题对应的资源的访问请求，访问请求，采用决策问题的终端侧模型确定与访问请求对应的目标资源，并向用户推荐目标资源，实现了终端采用前述实施例所述的模型更新方式得到的终端侧模型向用户推荐资源。

图6为本申请一实施例提供的模型更新装置的结构示意图；参考附图6 所示，本实施例提供了一种模型更新装置，该装置可以执行上述的模型更新方法中终端侧的方法，具体的，该模型更新装置可以包括：

更新模块61，用于根据网络设备的决策问题的服务器侧模型，更新本地的所述决策问题的终端侧模型；

训练模块62，用于根据用户的用户数据对所述终端侧模型进行训练，获得训练后的终端侧模型；

发送模块63，用于根据所述训练后的终端侧模型，向所述网络设备发送模型信息，所述模型信息用于指示所述训练后的终端侧模型的模型参数，以使所述网络设备根据所述模型信息进行模型融合以更新所述决策问题的服务器侧模型。

可选的，所述服务器侧模型中不同用户特征对应不同的模型参数；所述更新模块61，具体用于从所述服务器侧模型中确定出与所述用户的用户特征匹配的模型参数，以得到本地的所述决策问题的终端侧模型。

可选的，所述用户数据包括从其对应的其他终端获得的用户数据，所述其他终端的用户与所述用户为同一用户。

可选的，所述用户对所述终端的使用热度，低于所述用户对所述其他终端的使用热度。

可选的，更新模块61，具体用于：

判断本地当前的所述决策问题的终端侧模型是否收敛；

若本地当前的所述决策问题的终端侧模型未收敛，则根据网络设备的所述决策问题的服务器侧模型，更新本地的所述决策问题的终端侧模型。

可选的，训练模块62，具体用于：

判断是否满足训练条件；

若满足训练条件，则根据用户数据，对所述终端侧模型进行训练。

可选的，所述训练条件包括下述中的一种或多种：当前电量大于电量阈值、处于待机状态、负载小于负载阈值或当前时刻处于预设时间段内。

可选的，所述模型信息包括：服务器侧模型参数以及所述服务器侧模型参数与终端侧模型参数之间的参数差异信息，所述服务器侧模型参数为所述训练后的终端侧模型的模型参数，所述终端侧模型参数为训练前的终端侧模型的模型参数。

可选的，所述装置还包括接收模块，用于接收所述网络设备发送的训练信息，所述训练信息用于指示对所述决策问题的终端侧模型进行训练；

所述训练模块62，具体用于在接收到所述训练信息的情况下，根据用户数据对所述终端侧模型进行训练。

图5所示装置可以执行图2-图4所示实施例终端侧的方法，本实施例未详细描述的部分，可参考对图2-图4所示实施例的相关说明。该技术方案的执行过程和技术效果参见图2-图4所示实施例中的描述，在此不再赘述。

在一个可能的实现中，图6所示模型更新装置的结构可实现为一终端。如图7所示，该终端可以包括：处理器71和存储器72。其中，存储器72用于存储支持终端执行上述图2-图4所示实施例中提供的模型更新方法终端侧的程序，处理器71被配置为用于执行存储器72中存储的程序。

程序包括一条或多条计算机指令，其中，一条或多条计算机指令被处理器 61执行时能够实现如下步骤：

根据网络设备的决策问题的服务器侧模型，更新本地的所述决策问题的终端侧模型；

根据用户的用户数据对所述终端侧模型进行训练，获得训练后的终端侧模型；

根据所述训练后的终端侧模型，向所述网络设备发送模型信息，所述模型信息用于指示所述训练后的终端侧模型的模型参数，以使所述网络设备根据所述模型信息进行模型融合以更新所述决策问题的服务器侧模型。

可选的，处理器71还用于执行前述图2-图4所示实施例中终端侧的全部或部分步骤。

其中，终端的结构中还可以包括通信接口73，用于终端与其他设备或通信网络通信。

图8为本申请另一实施例提供的模型更新装置的结构示意图；参考附图 8所示，本实施例提供了一种模型更新装置，该装置可以执行上述的模型更新方法中网络设备侧的方法，具体的，该模型更新装置可以包括：

接收模块81，用于接收多个终端分别发送的决策问题的模型信息，所述模型信息用于指示所述终端根据用户数据训练得到的终端侧模型的模型参数；

融合模块82，用于根据所述模型信息，对所述终端训练得到的终端侧模型进行模型融合，以更新所述决策问题的服务器侧模型；

发送模块83，用于将所述服务器侧模型发送给目标设备，以使所述目标设备根据所述服务器侧模型更新所述决策问题的终端侧模型，所述目标设备包括所述多个终端。

可选的，融合模块82，具体用于：根据所述终端用户的用户特征，按照相同用户特征对应的模型参数进行融合的融合策略，对所述终端训练得到的终端侧模型进行模型融合。

可选的，所述模型信息包括：服务器侧模型参数以及所述服务器侧模型参数与终端侧模型参数之间的参数差异信息，所述服务器侧模型参数为训练后的终端侧模型的模型参数，所述终端侧模型参数为所述决策问题训练前的终端侧模型的模型参数。

可选的，融合模块82，具体用于：

若所述模型信息的数量大于第一数量阈值，则根据所述参数差异信息按照参数差异由大至小的顺序，对所述模型信息进行排序；

对前N个模型信息分别指示的训练得到的终端侧模型进行模型融合。

可选的，融合模块82，具体用于：

判断是否满足忽略条件；

若不满足忽略条件，则根据所述模型信息，对所述终端训练得到的终端侧模型进行模型融合。

可选的，所述忽略条件包括下述中的一个或多个：所述模型信息的数量小于第二数量阈值、所述决策问题当前的服务器侧模型已收敛，训练后的终端侧模型较训练前的终端侧模型的参数差异程度小于差异阈值。

可选的，所述发送模块，还用于向所述多个终端分别发送训练信息，所述训练信息用于指示对所述决策问题的终端侧模型进行训练。

可选的，所述装置还包括选取模块，用于根据目标活跃度，选取目标活跃度大于活跃度阈值的所述多个终端。

可选的，所述发送模块，具体用于：判断所述决策问题当前的服务器侧模型是否收敛；若所述决策问题当前的服务器侧模型未收敛，则向所述多个终端分别发送训练信息。

可选的，所述发送模块，具体用于：判断所述服务器侧模型与融合前所述决策问题的历史服务器侧模型收敛程度的差异程度是否大于程度阈值；若所述服务器侧模型与所述历史服务器侧模型收敛程度的差异程度大于所述程度阈值，则将所述服务器侧模型发送给目标设备。

可选的，所述接收模块81包括第一接收模块、第二接收模块、所述融合模块82包括第一融合模块、第二融合模块和第三融合模块；所述网络设备包括第一中间设备、第二中间设备和服务器，第一中间设备包括第一融合模块和第一接收模块，第二中间设备包括第二融合模块和第二接收模块，服务器包括第三融合模块

所述第一接收模块，用于接收所述多个终端中多个第一终端发送的服务器侧模型信息；

所述第二接收模块，用于接收所述多个终端中多个第二终端发送的终端侧模型信息；

所述第一融合模块，用于根据所述服务器侧模型信息，对所述第一终端训练后的终端侧模型进行融合，获得第一融合模型；

所述第二融合模块，用于根据所述终端侧模型信息，对所述第二终端训练后的终端侧模型进行融合，获得第二融合模型；

所述第三融合模块，用于对所述第一融合模型和第二融合模型进行融合。

图8所示装置可以执行图2-图4所示实施例网络设备侧的方法，本实施例未详细描述的部分，可参考对图2-图4所示实施例的相关说明。该技术方案的执行过程和技术效果参见图2-图4所示实施例中的描述，在此不再赘述。

在一个可能的实现中，图8所示模型更新装置的结构可实现为网络设备。如图9所示，该网络设备可以包括：处理器91和存储器92。其中，存储器92 用于存储支持网络设备执行上述图2-图4所示实施例中提供的模型更新方法网络设备侧的程序，处理器91被配置为用于执行存储器92中存储的程序。

程序包括一条或多条计算机指令，其中，一条或多条计算机指令被处理器 91执行时能够实现如下步骤：

接收多个终端分别发送的决策问题的模型信息，所述模型信息用于指示所述终端根据用户数据训练得到的终端侧模型的模型参数；

根据所述模型信息，对所述终端训练得到的终端侧模型进行模型融合，以更新所述决策问题的服务器侧模型；

将所述服务器侧模型发送给目标设备，以使所述目标设备根据所述服务器侧模型更新所述决策问题的终端侧模型，所述目标设备包括所述多个终端。

可选地，处理器91还用于执行前述图2-图4所示实施例中网络设备侧的全部或部分步骤。

其中，网络设备的结构中还可以包括通信接口93，用于网络设备与其他设备或通信网络通信。

图10为本申请一实施例提供的资源推荐装置的结构示意图；参考附图10所示，本实施例提供了一种资源推荐装置，该装置可以执行上述的资源推荐方法，具体的，该资源推荐装置可以包括：

获取模块101，用于获取用户的访问请求，所述访问请求用于请求决策问题对应的资源；

确定模块102，用于采用所述决策问题的终端侧模型，确定与所述访问请求对应的目标资源；所述终端侧模型是根据所述决策问题的服务器侧模型更新得到，所述服务器侧模型是网络设备对终端基于服务器侧模型训练获得的终端侧模型进行融合得到；

推荐模块103，用于向所述用户推荐所述目标资源。

图10所示装置可以执行图5所示实施例的方法，本实施例未详细描述的部分，可参考对图5所示实施例的相关说明。该技术方案的执行过程和技术效果参见图5所示实施例中的描述，在此不再赘述。

在一个可能的实现中，图10所示资源推荐装置的结构可实现为终端。如图 11所示，该终端可以包括：处理器111和存储器112。其中，存储器112用于存储支持终端执行上述图5所示实施例中提供的资源推荐方法的程序，处理器 111被配置为用于执行存储器112中存储的程序。

程序包括一条或多条计算机指令，其中，一条或多条计算机指令被处理器 111执行时能够实现如下步骤：

获取用户的访问请求，所述访问请求用于请求决策问题对应的资源；

采用所述决策问题的终端侧模型，确定与所述访问请求对应的目标资源；所述终端侧模型是根据所述决策问题的服务器侧模型更新得到，所述服务器侧模型是网络设备对终端基于服务器侧模型训练获得的终端侧模型进行融合得到；

向所述用户推荐所述目标资源。

可选地，处理器11还用于执行前述图5所示实施例的全部或部分步骤。

其中，终端的结构中还可以包括通信接口113，用于终端与其他设备或通信网络通信。

另外，本发明实施例提供了一种计算机存储介质，用于储存终端所用的计算机软件指令，其包含用于执行上述图2-图4所示方法实施例中模型更新方法终端侧所涉及的程序。

本发明实施例提供了一种计算机存储介质，用于储存网络设备所用的计算机软件指令，其包含用于执行上述图2-图4所示方法实施例中模型更新方法网络设备侧所涉及的程序。

本发明实施例提供了一种计算机存储介质，用于储存网络设备所用的计算机软件指令，其包含用于执行上述图5所示方法实施例所涉及的程序。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和 /或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/ 或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程设备的处理器以产生一个机器，使得通过计算机或其他可编程设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和 /或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，终端包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM) 和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被终端访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims

1.一种模型更新方法，应用于终端，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述服务器侧模型中不同用户特征对应不同的模型参数；所述根据网络设备的决策问题的服务器侧模型，更新所述本地的所述决策问题的终端侧模型，包括：

从所述服务器侧模型中确定出与所述用户的用户特征匹配的模型参数，以得到本地的所述决策问题的终端侧模型。

3.根据权利要求1所述的方法，其特征在于，所述用户数据包括从其对应的其他终端获得的用户数据，所述其他终端的用户与所述用户为同一用户。

4.根据权利要求3所述的方法，其特征在于，所述用户对所述终端的使用热度，低于所述用户对所述其他终端的使用热度。

5.根据权利要求1所述的方法，其特征在于，所述根据网络设备的决策问题的服务器侧模型，更新本地的所述决策问题的终端侧模型，包括：

判断本地当前的所述决策问题的终端侧模型是否收敛；

6.根据权利要求1所述的方法，其特征在于，所述根据用户数据，对所述终端侧模型进行训练，包括：

判断是否满足训练条件；

7.根据权利要求6所述的方法，其特征在于，所述训练条件包括下述中的一种或多种：当前电量大于电量阈值、处于待机状态、负载小于负载阈值或当前时刻处于预设时间段内。

8.根据权利要求1-7任一项所述的方法，其特征在于，所述模型信息包括：服务器侧模型参数以及所述服务器侧模型参数与终端侧模型参数之间的参数差异信息，所述服务器侧模型参数为所述训练后的终端侧模型的模型参数，所述终端侧模型参数为训练前的终端侧模型的模型参数。

9.根据权利要求1-7任一项所述的方法，其特征在于，所述方法还包括：

接收所述网络设备发送的训练信息，所述训练信息用于指示对所述决策问题的终端侧模型进行训练；

所述用户数据对所述终端侧模型进行训练，包括：在接收到所述训练信息的情况下，根据用户数据对所述终端侧模型进行训练。

10.一种模型更新方法，应用于网络设备，其特征在于，所述方法包括：

11.根据权利要求10所述的方法，其特征在于，所述根据所述模型信息，对所述终端训练得到的终端侧模型进行模型融合，包括：根据所述终端用户的用户特征，按照相同用户特征对应的模型参数进行融合的融合策略，对所述终端训练得到的终端侧模型进行模型融合。

12.根据权利要求10所述的方法，其特征在于，所述模型信息包括：服务器侧模型参数以及所述服务器侧模型参数与终端侧模型参数之间的参数差异信息，所述服务器侧模型参数为训练后的终端侧模型的模型参数，所述终端侧模型参数为所述决策问题训练前的终端侧模型的模型参数。

13.根据权利要求10所述的方法，所述根据所述模型信息，对所述终端训练得到的终端侧模型进行模型融合，包括：

14.根据权利要求10所述的方法，其特色在于，所述根据所述模型信息，对所述终端训练得到的终端侧模型进行模型融合，包括：

判断是否满足忽略条件；

15.根据权利要求14所述的方法，其特征在于，所述忽略条件包括下述中的一个或多个：所述模型信息的数量小于第二数量阈值、所述决策问题当前的服务器侧模型已收敛，训练后的终端侧模型较训练前的终端侧模型的参数差异程度小于差异阈值。

16.根据权利要求10-15任一项所述的方法，其特征在于，所述接收多个终端分别发送的决策问题的模型信息之前，还包括：向所述多个终端分别发送训练信息，所述训练信息用于指示对所述决策问题的终端侧模型进行训练。

17.根据权利要求16所述的方法，其特征在于，所述向所述多个终端分别发送训练信息之前，还包括：根据目标活跃度，选取目标活跃度大于活跃度阈值的所述多个终端。

18.根据权利要求16所述的方法，其特征在于，所述向所述多个终端分别发送训练信息，包括：

判断所述决策问题当前的服务器侧模型是否收敛；

若所述决策问题当前的服务器侧模型未收敛，则向所述多个终端分别发送训练信息。

19.根据权利要求10-15任一项所述的方法，其特征在于，所述将所述服务器侧模型发送给目标设备，包括：

判断所述服务器侧模型与融合前所述决策问题的历史服务器侧模型收敛程度的差异程度是否大于程度阈值；

若所述服务器侧模型与所述历史服务器侧模型收敛程度的差异程度大于所述程度阈值，则将所述服务器侧模型发送给目标设备。

20.根据权利要求10-15任一项所述的方法，其特征在于，所述网络设备包括第一中间设备、第二中间设备和服务器；

所述接收多个终端分别发送的决策问题的模型信息，包括：所述第一中间设备接收所述多个终端中多个第一终端发送的服务器侧模型信息，所述第二中间设备接收所述多个终端中多个第二终端发送的终端侧模型信息；

所述根据所述模型信息，对所述终端训练后的终端侧模型进行模型融合，包括：

所述第一中间设备根据所述服务器侧模型信息，对所述第一终端训练后的终端侧模型进行融合，获得第一融合模型；

所述第二中间设备根据所述终端侧模型信息，对所述第二终端训练后的终端侧模型进行融合，获得第二融合模型；

所述服务器对所述第一融合模型和第二融合模型进行融合。

21.一种资源推荐方法，应用于终端，其特征在于，包括：

向所述用户推荐所述目标资源。

22.一种模型更新装置，其特征在于，包括：

23.一种模型更新装置，其特征在于，包括：

24.一种资源推荐装置，应用于终端，其特征在于，包括：

推荐模块，用于向所述用户推荐所述目标资源。

25.一种终端，包括：存储器、处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现如权利要求1至9中任一项所述的方法。

26.一种网络设备，包括：存储器、处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现如权利要求10至20中任一项所述的方法。

27.一种终端，包括：存储器、处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现如权利要求21所述的方法。

28.一种模型更新系统，其特征在于，包括权利要求25所述的终端，以及权利要求26所述的网络设备。