CN111970335B - 一种信息推荐的方法、装置及存储介质 - Google Patents
一种信息推荐的方法、装置及存储介质 Download PDFInfo
- Publication number
- CN111970335B CN111970335B CN202010749566.XA CN202010749566A CN111970335B CN 111970335 B CN111970335 B CN 111970335B CN 202010749566 A CN202010749566 A CN 202010749566A CN 111970335 B CN111970335 B CN 111970335B
- Authority
- CN
- China
- Prior art keywords
- model
- scoring
- server
- information
- model parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/55—Push-based network services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/547—Remote procedure calls [RPC]; Web services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06316—Sequencing of tasks or work
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/133—Protocols for remote procedure calls [RPC]
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Strategic Management (AREA)
- Software Systems (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Game Theory and Decision Science (AREA)
- Computing Systems (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请提供一种信息推荐的方法、装置及存储介质,涉及云技术,涉及计算机技术领域,用以提升打分精度。在本申请中,接收到信息打分请求后,向在线参数服务器发送携带有打分服务模型标识的请求消息,以便从在线参数服务器中拉取打分服务模型的模型参数和模型网络结构,其中在线参数服务器中分布存储有已训练的打分服务模型的模型参数和模型网络结构;基于模型参数和模型网络结构,确定已训练的打分服务模型;基于已训练的打分服务模型,对信息打分请求中的待推荐信息进行打分,并将获得的打分结果返回给上游服务器,以使上游服务器根据打分结果将待推荐信息推荐给目标用户。
Description
技术领域
本申请涉及计算机技术领域,提供一种信息推荐的方法、装置及存储介质。
背景技术
对于信息推荐,是通过机器学习模型对信息进行打分,根据打分结果对信息进行排序,按照排序向用户进行信息推荐,以使用户获得感兴趣的信息。因此信息推荐的过程中需要训练各种机器学习模型用于信息推荐系统的排序环节与召回环节。其中,排序和召回这两个环节的核心是对信息进行打分,即最重要的用于信息推荐的打分服务模型。
目前,对于打分服务模型的全部参数需要加载到单机服务中,即加载到内容打分服务器中,但是当模型的全部参数达到内容打分服务器的内存上限时,打分服务模型的参数无法加载到内容打分服务器中,导致内容打分服务器无法对信息进行打分;
且每次训练生成的新的打分服务模型的模型参数和模型网络结构会发生变化,将训练生成的新的打分服务模型以模型文件的形式上传到线上服务,线上服务下载模型文件,获取模型文件中的模型参数和模型网络结构,并合并生成模型,模型文件在网络中存储以及下载都需要时间开销,因此模型的更新存在一定的延时,导致打分精度降低。
发明内容
本申请实施例提供一种信息推荐的方法、装置及存储介质,用以提升打分精度。
第一方面,本申请提供一种信息推荐的方法,该方法包括:
接收到信息打分请求后,向在线参数服务器发送携带有打分服务模型标识的请求消息,以便从在线参数服务器中拉取打分服务模型的模型参数和模型网络结构,其中在线参数服务器中分布存储有已训练的打分服务模型的模型参数和模型网络结构;
基于模型参数和模型网络结构,确定已训练的打分服务模型;
基于已训练的打分服务模型,对信息打分请求中的待推荐信息进行打分,并将获得的打分结果返回给上游服务器,以使上游服务器根据打分结果将待推荐信息推荐给目标用户。
第二方面,本申请实施例提供一种信息推荐的方法,该方法包括:
接收内容打分服务器发送的携带有打分服务模型标识的请求消息;
根据请求消息中的打分服务器模型标识,在分布存储的已训练的打分服务模型的模型参数和模型网络结构中,查找打分服务器模型标识对应的模型参数和模型网络结构;
将查找到的模型参数和模型网络结构返回给内容打分服务器,以使内容打分服务器确定已训练的打分服务模型,并基于已训练的打分服务模型对待推荐信息进行打分。
第三方面,本申请提供一种信息推荐的装置,该装置包括:请求模块,确定模块,以及打分模块;其中:
请求模块,用于接收到信息打分请求后,向在线参数服务器发送携带有打分服务模型标识的请求消息,以便从在线参数服务器中拉取打分服务模型的模型参数和模型网络结构,其中在线参数服务器中分布存储有已训练的打分服务模型的模型参数和模型网络结构;
确定模块,用于基于模型参数和模型网络结构,确定已训练的打分服务模型;
打分模块,用于基于已训练的打分服务模型,对信息打分请求中的待推荐信息进行打分,并将获得的打分结果返回给上游服务器,以使上游服务器根据打分结果将待推荐信息推荐给目标用户。
在一种可能的实现方式中,请求模块具体用于:
通过预先定义的RPC接口,从在线参数服务器中拉取打分服务模型的模型参数和模型网络结构。
在一种可能的实现方式中,打分模块具体用于:
将待推荐信息的特征向量输入到打分服务模型中,获取待推荐信息的打分结果;
其中,待推荐信息的特征向量是从在线参数服务器中存储的待推荐信息与特征向量之间的映射关系中获取的,或基于从在线参数服务器中获取的特征模型生成的。
在一种可能的实现方式中,在线参数服务器中分布存储的已训练的模型参数和模型网络结构,是根据离线参数服务器通过RPC接口推送的模型参数和模型网络结构进行更新的;
其中,离线参数服务器推送的模型参数和模型网络结构是模型离线训练的迭代过程中生成的。
在一种可能的实现方式中,当推送的模型参数和模型网络结构是更新周期对应的迭代过程中生成的全部模型参数和模型网络结构时,离线参数服务器通过RPC接口将全部模型参数和模型网络结构推送到空闲的在线参数服务器对应的进程中,并上线存储有全部模型参数和模型网络结构的空闲的在线参数服务器,下线最近一次使用的在线参数服务器。
在一种可能的实现方式中,当推送的模型参数和模型网络结构是更新周期对应的迭代过程中更新的模型参数和模型网络结构时,离线参数服务器单独存储更新的模型参数和模型网络结构,并通过RPC接口将更新的模型参数和模型网络结构推送到在线参数服务器对应的进程中。
第四方面,本申请实施例提供一种信息推荐的装置,该装置包括:接收模块、查找模块以及返回模块;其中:
接收模块,用于接收内容打分服务器发送的携带有打分服务模型标识的请求消息;
查找模块,用于根据请求消息中的打分服务器模型标识,在分布存储的已训练的打分服务模型的模型参数和模型网络结构中,查找打分服务器模型标识对应的模型参数和模型网络结构;
返回模块,用于将查找到的模型参数和模型网络结构返回给内容打分服务器,以使内容打分服务器确定已训练的打分服务模型,并基于已训练的打分服务模型对待推荐信息进行打分。
在一种可能的实现方式中,该信息推荐的装置还包括更新模块,其中:
更新模块,用于根据离线参数服务器在模型离线训练的迭代过程中通过RPC接口推送的模型参数和模型网络结构,更新分布存储的已训练的打分服务的模型参数和模型网络结构。
在一种可能的实现方式中,当推送的模型参数和模型网络结构是更新周期对应的迭代过程中生成的全部模型参数和模型网络结构时,更新模块通过如下方式更新分布存储的已训练的打分服务的模型参数和模型网络结构:
通过空闲的在线参数服务器对应的进程,存储离线参数服务器通过RPC接口推送的全部模型参数和模型网络结构,并上线存储有全部模型参数和模型网络结构的空闲的在线参数服务器,下线最近一次使用的在线参数服务器。
在一种可能的实现方式中,当推送的模型参数和模型网络结构是更新周期对应的迭代过程中更新的模型参数和模型网络结构时,更新模块通过如下方式更新分布存储的已训练的打分服务的模型参数和模型网络结构:
根据离线参数服务器通过RPC接口推送的更新的模型参数和模型网络结构,更新分布存储的已训练的打分服务的模型参数和模型网络结构;其中,推送的更新的模型参数和模型网络结构是离线参数服务器单独存储的。
第五方面,本申请实施例提供一种信息推荐的设备,该设备包括:处理器和存储器,其中存储器中存储有程序代码,处理器用于读取存储器中存储的程序代码,并执行如第一方面和第二方面中的信息推荐的方法。
第六方面,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质存储有计算机指令,计算机指令被处理器执行时实现本申请实施例提供的第一方面及第二方面中的信息推荐的方法。
本申请有益效果如下:
本申请提供一种信息推荐的方法、装置及存储介质,内容打分服务器在接收到信息打分请求后,向在线参数服务器发送请求消息,以获取在线参数服务器中分布存储的已训练的打分服务模型的模型参数和模型网络结构,并根据模型参数和模型网络结构确定已训练的打分服务模型,基于已训练的打分服务模型,对信息打分请求中的待推荐信息进行打分,并将获得的打分结果返回给上游服务器,使上游服务器根据打分结果将待推荐信息推荐给目标用户;因为模型参数和模型网络结构分布存储于在线参数服务器中,内容打分服务器可以从在线参数服务器拉取模型参数和模型网络结构,减轻了内容存储服务器的内存存储压力,且在获取模型参数和模型网络结构的过程中不需要传输模型文件,减少了模型文件的传输时间,加快打分服务模型的更新,提高打分精度。
本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种应用场景示意图;
图2为本申请实施例提供的一种信息推荐的系统结构图;
图3为本申请实施例提供的一种信息推荐的整体方法流程图;
图4为本申请实施例提供的一种信息推荐的方法流程图;
图5为本申请实施例提供的另一种信息推荐的方法流程图;
图6为本申请实施例提供的一种信息推荐的装置结构图;
图7为本申请实施例提供的另一种信息推荐的装置结构图;
图8为本申请实施例提供的一种信息推荐的设备结构图。
具体实施方式
为了使本申请的目的、技术方案及有益效果更加清楚明白,以下将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,并不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
本发明实施例中术语“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
以下对本申请实施例中的部分用于进行解释说明,以便于本领域技术人员理解。
1、云技术:
云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。
云技术(Cloud technology)基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台系统进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据皆需要强大的系统后盾支撑,只能通过云计算来实现。
2、机器学习:
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
3、上游服务器:
上游服务器是客户端直接对接的服务器,用于产生待推荐信息,并向客户端返回推荐信息的服务器。
4、RPC:
RPC(Remote Procedure Call,远程程序调用),是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。
下面对本申请实施例的设计思想进行简要介绍。
随着科技的发展,用户通过各种应用浏览信息。在用户浏览信息的过程中,各个应用都会根据用户的浏览日志为用户推荐用户感兴趣的信息。
对于信息推荐,就是通过机器学习模型对信息进行打分,然后将打分结果应用与信息的排序,并按照排列顺序为用户进行信息推荐,让用户获取到其最感兴趣的信息,其中信息可以是但不限于文章、图片、视频。
因此,信息推荐过程中需要训练各种机器学习模型用于推荐系统的排序环节与召回环节。排序与召回这两个环节最核心部分是机器学习模型打分模块。
模型打分模块一般有三个特点:
1、模型的全部参数需要加载到单机服务当中。
部署在线打分服务器内存是一定的,除去操作系统和服务本身的内存占用,所能加载模型的全部参数的内存也是有限的。当训练的模型变复杂,模型参数也是成倍的增加,导致模型的参数的大小很可能会超出当前服务器所能承受的最大值。若模型的全部参数超过内存上限,则无法加载到服务中去;
2、模型的更新需要在线上服务中实现。
每次训练生成新的模型,此时模型参数和模型网络结构发生变化,其中的运算逻辑也会有所增加和更新。打分服务除了要加载新的模型文件之外,还要重新适配运算逻辑,否则新模型无法在线上生效。
3、模型以文件的形式加载更新。
模型从训练完成到线上加载,需要进行模型导出、模型上传、模型下载、模型合并以及模型推送这五个步骤,每个步骤都有一定的计算和网络传输时间开销,这就导致模型的更新有一定的延时,影响线上模型的更新。
为了解决以上问题,提出了一种信息推荐的方法、装置及存储介质;在本申请中利用在线参数服务器存储和更新模型参数和模型网络结构,模型参数和模型网络结构分布存储于在线参数服务器的服务器节点中。
在内容打分服务器接收到信息打分服务器请求后,向在线参数服务器发送携带有打分服务模型标识的请求消息,以通过RPC接口从在线参数服务器中拉取模型参数和模型网络结构,之后根据拉取的模型参数和模型网络结构确定已训练的打分服务模型,并基于已训练的打分服务模型,对待推荐信息进行打分。
由于将模型参数和模型网络结构分布存储于在线参数服务器中,极大的减轻了在线参数服务器及内容打分服务器的内存存储压力;且模型参数和模型网络结构在各个服务器之间进行传输时,并不是通过模型文件的形式进行传输的,因此不需整个模型文件在不同服务器之间进行传输拷贝,节约了网络传输时间开销,且无需进行模型下载等过程,简化的在线参数服务器对模型参数和模型网络结构的更新,加快了打分服务模型的更新速度,提升打分精度。
在介绍完本申请实施例的设计思想之后,下面对本申请设置的应用场景进行简要说明。
如图1所示,为本申请实施例提供的一种信息推荐的方法的应用场景示意图。该应用场景中包括终端10和服务器11。
其中,终端10为支持客户端安装,并且能够运行客户端的硬件设备,可以是个人电脑(Personal Computer,PC)、平板电脑、个人数字助理(Personal DigitalAssistant,PDA)、笔记本和手机等终端设备,也可以是具有移动终端设备的计算机,包括各种便携式、袖珍式、手持式、计算机内置的或者车载的移动装置,它们能够向用户提供语音、数据或语音和数据连通性的设备,以及与无线接入网交换语音、数据或语音和数据,其中客户端是可以浏览信息的各种应用。
服务器11是用于提供信息推荐服务的服务器,可以是独立的,也可以是任何能够提供互联网服务的单个后台运行设备或者多个后台运行设备构成的集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的设备。
在实际应用中,终端10和服务器11进行通信连接,网络可以是但不限局域网、城域网或广域网等。
以视频播放场景进行举例说明:终端10为安装有视频播放应用的终端,服务器11包含有与视频播放应用对接的,用于调用浏览请求的服务的接口的上游服务器;内容打分服务器;在线参数服务器;离线参数服务器等。
用户在视频播放应用中触发浏览请求时,触发的浏览请求可以是开启视频播放应用或刷新视频播放应用等。视频播放应用将浏览请求发送给上游服务器,上游服务器可以确定出用户的浏览日志,以及当前可以浏览的信息;由于存在海量的当前可浏览的信息,需要根据用户的兴趣爱好为用户进行信息推荐。
因此,需要对当前可浏览的信息进行打分。打分过程主要使用到内容打分服务器中的打分服务模型,内容打分服务器中的打分服务模型是根据从在线参数服务器中拉取的模型参数和模型网络结构生成的。在线参数服务器中存储的模型参数和模型网络结构是离线参数服务器周期性进行推送的。
因此,内容打分服务器可以确定打分服务器模型,并基于打分服务模型对当前可以浏览的大量信息分别进行打分,最终将打分结果通过一定的策略包装返回给上游服务器,上游服务器根据打分结果对当前可以浏览的信息进行排序,并根据排序结果向视频播放应用推荐信息。
在一种可能的应用场景中,本申请可以基于云技术实现,具体涉及云技术中的云存储技术。
云存储(cloud storage)是在云计算概念上延伸和发展出来的一个新的概念,分布式云存储系统(以下简称存储系统)是指通过集群应用、网格技术以及分布存储文件系统等功能,将网络中大量各种不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用接口集合起来协同工作,共同对外提供数据存储和业务访问功能的一个存储系统。
在一种可能的实现方式中,服务器通过云存储的方式对模型参数和模型网络结构进行存储。
在一种可能的应用场景中,为了便于降低通信时延,可以在各个地区部署服务器11,或为了负载均衡,可以由不同的服务器11分别去服务各个终端10对应的地区。多个服务器11以通过区块链实现数据的共享,多个服务器11相当于多个服务器11组成的数据共享系统。例如终端10位于地点a,与服务器11之间进行通信连接,终端10位于地点b,与其他服务器11之间通信连接。
对于数据共享系统中的每个服务器11,均具有与该服务器11对应的节点标识,数据共享系统中的每个服务器11均可以存储有数据共享系统中其他服务器11的节点标识,以便后续根据其他服务器11的节点标识,将生成的区块广播至数据共享系统中的其他服务器11。每个服务器11中可维护一个如下表所示的节点标识列表,将服务器11名称和节点标识对应存储至该节点标识列表中。其中,节点标识可为IP(Internet Protocol,网络之间互联的协议)地址以及其他任一种能够用于标识该节点的信息,表1中仅以IP地址为例进行说明。
表1
服务器名称 | 节点标识 |
节点1 | 119.115.151.174 |
节点2 | 118.116.189.145 |
… | … |
节点N | 119.124.789.258 |
下面结合上述描述的应用场景,参考附图来描述本申请示例性实施方式提供的信息推荐的方法,需要注意的是,上述应用场景仅是为了便于理解本申请的精神和原理而示出,本申请的实施方式在此方面不受任何限制。
如图2所示,为本申请实施例提供的一种信息推荐的系统200,该系统中包括:离线参数服务器201、在线参数服务器202、内容打分服务器203以及上游服务器204,其中:
离线参数服务器201,用于对离线模型训练框架在模型训练过程中生成的模型参数以及模型网络结构进行更新、删除、修改等操作,并存储模型训练过程中生成的模型参数和模型网络结构。
在本申请中,打分服务模型是通过离线模型训练框架进行训练的,并将已训练的打分服务模型的模型参数及模型网络结构存储在离线参数服务器中。
在离线模型训练的过程中,为了保证模型的准确性,需要进行多轮的迭代,每轮迭代都会有模型参数和/或模型网络结构的更新与增加。因此,为了防止离线参数服务器中由于存储多次迭代过程中生成的模型参数和模型网络结构造成内存负载过大无法正常运行,离线参数服务器对存储的模型参数和模型网络结构也会进行相应的更新、删除、修改等操作。
在本申请中,为使内容打分服务器快速的获取模型参数和模型网络结构,将模型参数和模型网络结构缓存于在线参数服务器202中;因此离线参数服务器201,还用于通过RPC接口周期性的向在线参数服务器202推送模型参数以及模型网络结构。
需要说明的是,在本申请中,离线参数服务器201还用于存储已训练的特征模型和/或待推荐信息的特征向量,并将已训练的特征模型和/或特征向量推荐给在线参数服务器。
在线参数服务器202,用于分布存储已训练的打分服务模型的模型参数和模型网络结构。
在本申请中,在线参数服务器中包含有多个服务器节点,服务器节点用于分布式存储和更新已训练的模型参数和模型网络结构,减轻了在线参数服务器的内存存储压力。
在本申请中,在线参数服务器中存储的已训练的打分服务模型的模型参数和模型网络结构是离线参数服务器推送的,且根据离线参数服务器推送的模型参数和模型网络结构进行更新。
在本申请中,在线参数服务器中的模型参数和模型网络结构更新的过程中主要包括有全量更新和变量更新。
上述内容中已说明,为了保证模型的准确性,离线训练过程中需要进行多轮迭代,每轮迭代都有新的模型参数和/或模型网络结构增加或更新。因此离线参数服务器可以根据每轮迭代过程同步更新离线参数服务器中存储的模型参数和/或模型网络结构;或离线参数服务器单独存储每轮迭代过程中增加或更新的模型参数和/或模型网络结构。
在一种可能的实现方式中,当离线参数服务器根据每轮迭代过程同步更新离线参数服务器中存储的模型参数和/或模型网络结构时,离线参数服务器在确定达到在线参数服务器的更新周期时,离线参数服务器通过RPC接口将该更新周期对应的迭代过程中生成的全部模型参数和模型网络结构,推送到一个空闲的在线参数服务器对应的进程中,并上线存储有全部模型参数和模型网络结构的所述空闲的在线参数服务器,下线最近一次使用的在线参数服务器。
从图2中可知,离线参数服务器和在线参数服务器之间,每个服务进行一一对应,因此离线参数服务器的服务进程通过RPC接口将全部模型参数和模型网络结构推送到一个空闲的在线参数服务器对应的服务进程,当推送完成就可以下线旧的在线参数服务器,上线新同步的在线参数服务器提供服务。
在一种可能的实现方式中,当离线参数服务器单独存储每轮迭代过程中增加或更新的模型参数和/或模型网络结构时,离线参数服务器每次迭代更新模型参数之后,将变化的参数进行单独存储,然后周期性的将变化的参数通过RPC接口推送到在线参数服务器集群对应的进程中,这个过程中在线参数服务器不需要切换到新的集群。
需要说明的是,在线参数服务器202中还存储有待推荐信息对应的特征向量和/或确定待推荐信息的特征向量的特征模型,且待推荐信息对应的特征向量和/或特征模型也会根据离线参数服务器发送的参数进行更新。
内容打分服务器203,用于通过RPC接口从在线参数服务器中拉取模型参数和模型网络结构;根据拉取的模型参数和模型网络结构,确定已训练的打分服务模型;基于已训练的打分服务模型对上游服务器发送的待推荐信息进行打分,并将打分结果返回给上游服务器。
在本申请中,内容打分服务器203在接收到信息打分请求时,通过RPC接口从在线参数服务器中拉取模型参数和模型网络结构。
在本申请中,内容打分服务器基于已训练的打分服务模型对待推荐信息进行打分时,将待推荐信息的特征向量输入到已训练的打分服务模型中,获取待推荐信息的打分结果;
其中,待推荐信息的特征向量是从在线参数服务器中存储的待推荐信息与特征向量之间的映射关系中获取的;或基于从在线参数服务器中获取的特征模型生成的。
上游服务器204,根据内容打分服务器返回的打分结果,对待推荐信息进行排序,并按照确定的排列顺序,向客户端推荐信息,以使目标用户通过客户端获取到自身感兴趣的信息。
如图3所示,为本申请实施例提供的一种信息推荐的整体方法流程图,包括如下步骤:
步骤S300,上游服务器接收客户端发送的浏览请求。
在本申请中,当目标用户在客户端中触发浏览请求时,客户端会将浏览请求发送给上游服务器,上游服务器确定待浏览信息即待推荐信息,以及目标用户的浏览日志,并通过客户端向目标用户返回待推荐信息。
在本申请中,上游服务器根据打分结果对待推荐信息进行排序,并根据排序的待推荐信息向客户端发送信息。但是上游服务器无法对待推荐信息进行打分,因此上游服务器需要向内容打分服务器发送信息打分请求。
步骤S301,上游服务器向内容打分服务器发送信息打分请求,其中信息打分请求中携带有待推荐信息。
在本申请中,对待推荐信息进行打分是内容打分服务器基于已训练的打分服务模型进行的,因此为了保证打分结果的准确性,内容打分服务器向在线参数服务器发送请求消息,以获取最新的打分服务模型。
步骤S302,内容打分服务器向在线参数服务器发送携带有打分服务模型标识的请求消息。
由于在线参数服务器中存储有多个不同的模型参数和模型网络结构,为了获取打分服务模型,需要在请求消息中携带有打分服务模型标识,以便准确的获取打分服务模型。
步骤S303,在线参数服务器根据接收到请求消息中的打分服务模型标识,在分布存储的已训练的打分服务模型的模型参数和模型网络结构中,查找打分服务模型标识对应的模型参数和模型网络结构。
由于在线参数服务器中存储有多个不同的模型参数和模型网络结构,因此需要进行查找。
步骤S304,在线参数服务器将查找到的模型参数和模型网络结构返回给内容打分服务器。
步骤S305,内容打分服务器根据模型参数和模型网络结构,确定已训练的打分服务模型。
步骤S306,内容打分服务器将待推荐信息的特征向量,输入到已训练的打分服务模型中,获得待推荐信息的打分结果。
其中,特征向量是内容打分服务器向在线参数服务器发送请求消息时,请求消息中携带有待推荐信息,并根据在线参数服务器中存储的待推荐信息与特征向量之间的映射关系确定的;或在线参数服务器在向内容打分服务器返回打分服务模型参数和模型网络结构的同时,返回用于生成特征向量的特征模型,将待推荐信息输入特征模型中,获得待推荐信息对应的特征向量。
步骤S307,内容打分服务器将打分结果返回给上游服务器。
步骤S308,上游服务器根据打分结果对待推荐信息进行排序。
步骤S309,上游服务器按照排列顺序将待推荐信息发送给客户端。
步骤S310,离线模型训练模块针对打分服务模型进行迭代训练,得到已训练的打分服务器模型的模型参数和模型网络结构。
步骤S311,离线模型训练模块将已训练的打分服务模型的模型参数和模型网络结构上传到离线参数服务器中进行存储。
步骤S312,离线参数服务器存储已训练的模型参数和模型网络结构。
步骤S313,离线参数服务器周期性的向在线参数服务器推送已训练的模型参数和模型网络结构,以便在线参数服务器根据离线参数服务发送的模型参数和模型网络结构更新分布存储的已训练的模型参数和模型网络结构。
需要说明的是,步骤S310~步骤S313并不是在步骤S309后执行,而是限定在线参数服务器中存储的模型参数和模型网络结构是如何获取更新的步骤。
如图4所示,为本申请实施例提供的一种信息推荐的方法流程图,包括如下步骤:
步骤S400,接收到信息打分请求后,向在线参数服务器发送携带有打分服务模型标识的请求消息,以便从在线参数服务器中拉取打分服务模型的模型参数和模型网络结构,其中在线参数服务器中分布存储有已训练的打分服务模型的模型参数和模型网络结构;
步骤S401,基于模型参数和模型网络结构,确定已训练的打分服务模型;
步骤S402,基于已训练的打分服务模型,对信息打分请求中的待推荐信息进行打分,并将获得的打分结果返回给上游服务器,以使上游服务器根据打分结果将待推荐信息推荐给目标用户。
在一种可能的实现方式中,通过预先定义的RPC接口,从在线参数服务器中拉取打分服务模型的模型参数和模型网络结构。
在一种可能的实现方式中,基于已训练的打分服务模型,对信息打分请求中的待推荐信息进行打分,包括:
将待推荐信息的特征向量输入到已训练的打分服务模型中,获取待推荐信息的打分结果;
其中,待推荐信息的特征向量是从在线参数服务器中存储的待推荐信息与特征向量之间的映射关系中获取的,或基于从在线参数服务器中获取的特征模型生成的。
在一种可能的实现方式中,在线参数服务器中分布存储的已训练的模型参数和模型网络结构,是根据离线参数服务器通过RPC接口推送的模型参数和模型网络结构进行更新的;
其中,离线参数服务器推送的模型参数和模型网络结构是模型离线训练的迭代过程中生成的。
在一种可能的实现方式中,当推送的模型参数和模型网络结构是更新周期对应的迭代过程中生成的全部模型参数和模型网络结构时,离线参数服务器通过RPC接口将全部模型参数和模型网络结构推送到空闲的在线参数服务器对应的进程中,并上线存储有全部模型参数和模型网络结构的空闲的在线参数服务器,下线最近一次使用的在线参数服务器;或
当推送的模型参数和模型网络结构是更新周期对应的迭代过程中更新的模型参数和模型网络结构时,离线参数服务器单独存储更新的模型参数和模型网络结构,并通过RPC接口将更新的模型参数和模型网络结构推送到在线参数服务器对应的进程中。
如图5所示,为本申请实施例提供的另一种信息推荐的方法流程图,包括如下步骤:
步骤S500,接收内容打分服务器发送的携带有打分服务模型标识的请求消息;
步骤S501,根据请求消息中的打分服务器模型标识,在分布存储的已训练的打分服务模型的模型参数和模型网络结构中,查找打分服务器模型标识对应的模型参数和模型网络结构;
步骤S502,将查找到的模型参数和模型网络结构返回给内容打分服务器,以使内容打分服务器确定已训练的打分服务模型,并基于已训练的打分服务模型对待推荐信息进行打分。
在一种可能的实现方式中,分布存储的已训练的打分服务的模型参数和模型网络结构,根据离线参数服务器在模型离线训练的迭代过程中通过RPC接口推送的模型参数和模型网络结构进行更新。
在一种可能的实现方式中,当推送的模型参数和模型网络结构是更新周期对应的迭代过程中生成的全部模型参数和模型网络结构时,通过如下方式更新分布存储的已训练的打分服务的模型参数和模型网络结构:
通过空闲的在线参数服务器对应的进程存储离线参数服务器推送的全部模型参数和模型网络结构,并上线存储有全部模型参数和模型网络结构的空闲的在线参数服务器,下线最近一次使用的在线参数服务器。
在一种可能的实现方式中,当推送的模型参数和模型网络结构是更新周期对应的迭代过程中更新的模型参数和模型网络结构时,通过如下方式更新分布存储的已训练的打分服务的模型参数和模型网络结构:
根据离线参数服务器通过RPC接口推送的更新的模型参数和模型网络结构,更新分布存储的已训练的打分服务的模型参数和模型网络结构;其中,推送的更新的模型参数和模型网络结构是离线参数服务器单独存储的。
基于同一发明构思,本申请实施例还提供了一种信息推荐的装置600,如图6所示,该装置600包括:请求模块601、确定模块602和打分模块603,其中:
请求模块601,用于接收到信息打分请求后,向在线参数服务器发送携带有打分服务模型标识的请求消息,以便从在线参数服务器中拉取打分服务模型的模型参数和模型网络结构,其中在线参数服务器中分布存储有已训练的打分服务模型的模型参数和模型网络结构;
确定模块602,用于基于模型参数和模型网络结构,确定已训练的打分服务模型;
打分模块603,用于基于已训练的打分服务模型,对信息打分请求中的待推荐信息进行打分,并将获得的打分结果返回给上游服务器,以使上游服务器根据打分结果将待推荐信息推荐给目标用户。
在一种可能的实现方式中,请求模块601具体用于:
通过预先定义的RPC接口,从在线参数服务器中拉取打分服务模型的模型参数和模型网络结构。
在一种可能的实现方式中,打分模块603具体用于:
将待推荐信息的特征向量输入到打分服务模型中,获取待推荐信息的打分结果;
其中,待推荐信息的特征向量是从在线参数服务器中存储的待推荐信息与特征向量之间的映射关系中获取的,或基于从在线参数服务器中获取的特征模型生成的。
在一种可能的实现方式中,在线参数服务器中分布存储的已训练的模型参数和模型网络结构,是根据离线参数服务器通过RPC接口推送的模型参数和模型网络结构进行更新的;
其中,离线参数服务器推送的模型参数和模型网络结构是模型离线训练的迭代过程中生成的。
在一种可能的实现方式中,当推送的模型参数和模型网络结构是更新周期对应的迭代过程中生成的全部模型参数和模型网络结构时,离线参数服务器通过RPC接口将全部模型参数和模型网络结构推送到空闲的在线参数服务器对应的进程中,并上线存储有全部模型参数和模型网络结构的空闲的在线参数服务器,下线最近一次使用的在线参数服务器。
在一种可能的实现方式中,当推送的模型参数和模型网络结构是更新周期对应的迭代过程中更新的模型参数和模型网络结构时,离线参数服务器单独存储更新的模型参数和模型网络结构,并通过RPC接口将更新的模型参数和模型网络结构推送到在线参数服务器对应的进程中。
基于同一发明构思,本申请实施例还提供了另一种信息推荐的装置700,如图7所示,该装置700包括:接收模块701、查找模块702和返回模块703,其中:
接收模块701,用于接收内容打分服务器发送的携带有打分服务模型标识的请求消息;
查找模块702,用于根据请求消息中的打分服务器模型标识,在分布存储的已训练的打分服务模型的模型参数和模型网络结构中,查找打分服务器模型标识对应的模型参数和模型网络结构;
返回模块703,用于将查找到的模型参数和模型网络结构返回给内容打分服务器,以使内容打分服务器确定已训练的打分服务模型,并基于已训练的打分服务模型对待推荐信息进行打分。
在一种可能的实现方式中,该信息推荐的装置700还包括更新模块704,其中:
更新模块704,用于根据离线参数服务器在模型离线训练的迭代过程中通过RPC接口推送的模型参数和模型网络结构,更新分布存储的已训练的打分服务的模型参数和模型网络结构。
在一种可能的实现方式中,当推送的模型参数和模型网络结构是更新周期对应的迭代过程中生成的全部模型参数和模型网络结构时,更新模块704通过如下方式更新分布存储的已训练的打分服务的模型参数和模型网络结构:
通过空闲的在线参数服务器对应的进程存储离线参数服务器推送的全部模型参数和模型网络结构,并上线存储有全部模型参数和模型网络结构的空闲的在线参数服务器,下线最近一次使用的在线参数服务器。
在一种可能的实现方式中,当推送的模型参数和模型网络结构是更新周期对应的迭代过程中更新的模型参数和模型网络结构时,更新模块704通过如下方式更新分布存储的已训练的打分服务的模型参数和模型网络结构:
根据离线参数服务器通过RPC接口推送的更新的模型参数和模型网络结构,更新分布存储的已训练的打分服务的模型参数和模型网络结构;其中,推送的更新的模型参数和模型网络结构是离线参数服务器单独存储的。
为了描述的方便,以上各部分按照功能划分为各单元(或模块)分别描述。当然,在实施本申请时可以把各单元(或模块)的功能在同一个或多个软件或硬件中实现。
在介绍了本申请示例性实施方式信息推荐的方法和装置及对应的终端和服务器之后,接下来,介绍根据本申请的另一示例性实施方式的信息推荐的设备。
所属技术领域的技术人员能够理解,本申请的各个方面可以实现为系统、方法或程序产品。因此,本申请的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
在一种可能的实现方式中,本申请实施例提供的信息推荐的设备可以至少包括处理器和存储器。其中,存储器存储有程序代码,当程序代码被处理器执行时,使得处理器执行本申请中各种示例性实施方式的信息推荐的方法中的任一步骤。
在一些可能的实施方式中,本申请实施例还提供一种计算机可读存储介质,其包括程序代码,当程序产品在电子设备上运行时,程序代码用于使电子设备执行上述实施例中任一种信息推荐的方法的步骤。
下面参照图8来描述根据本申请的这种实施方式的信息推荐的设备800。图8的信息推荐的设备800仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图8,信息推荐的设备800以通用信息推荐的设备的形式表现。信息推荐的设备800的组件可以包括但不限于:上述至少一个处理器801、上述至少一个存储单元802、连接不同系统组件(包括存储单元802和处理器801)的总线803。
总线803表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储单元802可以包括易失性存储器形式的可读介质,例如随机存取存储器(RAM)8021和/或高速缓存存储单元8022,还可以进一步包括只读存储器(ROM)8023。
存储单元802还可以包括具有一组(至少一个)程序模块8024的程序/实用工具8025,这样的程序模块8024包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
信息推荐的设备800也可以与一个或多个外部设备804(例如键盘、指向设备等)通信,还可与一个或者多个使得用户能与信息推荐的设备800交互的设备通信,和/或与使得该信息推荐的设备800能与一个或多个其它信息推荐的设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口805进行。并且,信息推荐的设备800还可以通过网络适配器806与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器806通过总线803与用于信息推荐的设备800的其它模块通信。应当理解,尽管图中未示出,可以结合信息推荐的设备800使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在一些可能的实施方式中,本申请提供的信息推荐的方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在计算机设备上运行时,程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的信息推荐的方法中的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上参照示出根据本申请实施例的方法、装置(系统)和/或计算机程序产品的框图和/或流程图描述本申请。应理解,可以通过计算机程序指令来实现框图和/或流程图示图的一个块以及框图和/或流程图示图的块的组合。可以将这些计算机程序指令提供给通用计算机、专用计算机的处理器和/或其它可编程数据处理装置,以产生机器,使得经由计算机处理器和/或其它可编程数据处理装置执行的指令创建用于实现框图和/或流程图块中所指定的功能/动作的方法。
相应地,还可以用硬件和/或软件(包括固件、驻留软件、微码等)来实施本申请。更进一步地,本申请可以采取计算机可使用或计算机可读存储介质上的计算机程序产品的形式,其具有在介质中实现的计算机可使用或计算机可读程序代码,以由指令执行系统来使用或结合指令执行系统而使用。在本申请上下文中,计算机可使用或计算机可读介质可以是任意介质,其可以包含、存储、通信、传输、或传送程序,以由指令执行系统、装置或设备使用,或结合指令执行系统、装置或设备使用。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种信息推荐的方法,其特征在于,该方法包括:
接收到信息打分请求后,向在线参数服务器发送携带有打分服务模型标识的请求消息,以便从所述在线参数服务器中拉取所述打分服务模型的模型参数和模型网络结构,其中所述在线参数服务器中分布存储有已训练的打分服务模型的模型参数和模型网络结构;
基于所述模型参数和所述模型网络结构,确定已训练的打分服务模型;
基于所述已训练的打分服务模型,对所述信息打分请求中的待推荐信息进行打分,并将获得的打分结果返回给上游服务器,以使上游服务器根据所述打分结果将所述待推荐信息推荐给目标用户。
2.如权利要求1所述的方法,其特征在于,所述从所述在线参数服务器中拉取所述打分服务模型的模型参数和模型网络结构,包括:
通过预先定义的远程程序调用RPC接口,从所述在线参数服务器中拉取所述打分服务模型的模型参数和模型网络结构。
3.如权利要求1所述的方法,其特征在于,所述基于所述已训练的打分服务模型,对所述信息打分请求中的待推荐信息进行打分,包括:
将所述待推荐信息的特征向量输入到所述已训练的打分服务模型中,获取所述待推荐信息的打分结果;
其中,所述待推荐信息的特征向量是从所述在线参数服务器中存储的待推荐信息与特征向量之间的映射关系中获取的,或基于从所述在线参数服务器中获取的特征模型生成的。
4.如权利要求1所述的方法,其特征在于,所述在线参数服务器中分布存储的已训练的模型参数和模型网络结构,是根据离线参数服务器通过RPC接口推送的模型参数和模型网络结构进行更新的;
其中,所述离线参数服务器推送的模型参数和模型网络结构是模型离线训练的迭代过程中生成的。
5.如权利要求4所述的方法,其特征在于,当所述推送的模型参数和模型网络结构是更新周期对应的迭代过程中生成的全部模型参数和模型网络结构时,所述离线参数服务器通过RPC接口将所述全部模型参数和模型网络结构推送到空闲的在线参数服务器对应的进程中,并上线存储有全部模型参数和模型网络结构的所述空闲的在线参数服务器,下线最近一次使用的在线参数服务器;或
当所述推送的模型参数和模型网络结构是更新周期对应的迭代过程中更新的模型参数和模型网络结构时,所述离线参数服务器单独存储所述更新的模型参数和模型网络结构,并通过RPC接口将所述更新的模型参数和模型网络结构推送到在线参数服务器对应的进程中。
6.一种信息推荐的方法,其特征在于,该方法还包括:
接收内容打分服务器发送的携带有打分服务模型标识的请求消息;
根据所述请求消息中的打分服务器模型标识,在分布存储的已训练的打分服务模型的模型参数和模型网络结构中,查找所述打分服务器模型标识对应的模型参数和模型网络结构;
将查找到的模型参数和模型网络结构返回给所述内容打分服务器,以使所述内容打分服务器确定已训练的打分服务模型,并基于所述已训练的打分服务模型对待推荐信息进行打分。
7.如权利要求6所述的方法,其特征在于,所述分布存储的已训练的打分服务的模型参数和模型网络结构,根据离线参数服务器在模型离线训练的迭代过程中通过RPC接口推送的模型参数和模型网络结构进行更新。
8.如权利要求7所述的方法,其特征在于,当推送的模型参数和模型网络结构是更新周期对应的迭代过程中生成的全部模型参数和模型网络结构时,通过如下方式更新分布存储的已训练的打分服务的模型参数和模型网络结构:
通过空闲的在线参数服务器对应的进程,存储所述离线参数服务器通过RPC接口推送的全部模型参数和模型网络结构,并上线存储有全部模型参数和模型网络结构的所述空闲的在线参数服务器,下线最近一次使用的在线参数服务器;
或
当推送的模型参数和模型网络结构是更新周期对应的迭代过程中更新的模型参数和模型网络结构时,通过如下方式更新分布存储的已训练的打分服务的模型参数和模型网络结构:
根据所述离线参数服务器通过RPC接口推送的更新的模型参数和模型网络结构,更新分布存储的已训练的打分服务的模型参数和模型网络结构;其中,所述推送的更新的模型参数和模型网络结构是所述离线参数服务器单独存储的。
9.一种信息推荐的装置,其特征在于,该装置包括:请求模块,确定模块,以及打分模块;其中:
所述请求模块,用于接收到信息打分请求后,向在线参数服务器发送携带有打分服务模型标识的请求消息,以便从所述在线参数服务器中拉取所述打分服务模型的模型参数和模型网络结构,其中所述在线参数服务器中分布存储有已训练的打分服务模型的模型参数和模型网络结构;
所述确定模块,用于基于所述模型参数和所述模型网络结构,确定已训练的打分服务模型;
所述打分模块,用于基于所述已训练的打分服务模型,对所述信息打分请求中的待推荐信息进行打分,并将获得的打分结果返回给上游服务器,以使上游服务器根据所述打分结果将所述待推荐信息推荐给目标用户。
10.一种信息推荐的装置,其特征在于,该装置包括:接收模块、查找模块以及返回模块;其中:
所述接收模块,用于接收内容打分服务器发送的携带有打分服务模型标识的请求消息;
所述查找模块,用于根据所述请求消息中的打分服务器模型标识,在分布存储的已训练的打分服务模型的模型参数和模型网络结构中,查找所述打分服务器模型标识对应的模型参数和模型网络结构;
所述返回模块,用于将查找到的模型参数和模型网络结构返回给所述内容打分服务器,以使所述内容打分服务器确定已训练的打分服务模型,并基于所述已训练的打分服务模型对待推荐信息进行打分。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010749566.XA CN111970335B (zh) | 2020-07-30 | 2020-07-30 | 一种信息推荐的方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010749566.XA CN111970335B (zh) | 2020-07-30 | 2020-07-30 | 一种信息推荐的方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111970335A CN111970335A (zh) | 2020-11-20 |
CN111970335B true CN111970335B (zh) | 2021-09-07 |
Family
ID=73364088
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010749566.XA Active CN111970335B (zh) | 2020-07-30 | 2020-07-30 | 一种信息推荐的方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111970335B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112328892A (zh) * | 2020-11-24 | 2021-02-05 | 北京百度网讯科技有限公司 | 信息推荐方法、装置、设备及计算机存储介质 |
CN112738061B (zh) * | 2020-12-24 | 2022-06-21 | 四川虹微技术有限公司 | 信息处理方法、装置、管理平台、电子设备及存储介质 |
CN113554274A (zh) * | 2021-06-22 | 2021-10-26 | 未鲲(上海)科技服务有限公司 | 数据处理方法、系统与存储介质 |
CN114500642A (zh) * | 2022-02-25 | 2022-05-13 | 百度在线网络技术(北京)有限公司 | 模型应用方法、装置及电子设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108304936A (zh) * | 2017-07-12 | 2018-07-20 | 腾讯科技(深圳)有限公司 | 机器学习模型训练方法和装置、表情图像分类方法和装置 |
US10198399B1 (en) * | 2018-03-06 | 2019-02-05 | KenSci Inc. | Cryptographically secure machine learning |
CN109697978A (zh) * | 2018-12-18 | 2019-04-30 | 百度在线网络技术(北京)有限公司 | 用于生成模型的方法和装置 |
CN109947985A (zh) * | 2019-03-05 | 2019-06-28 | 腾讯科技(深圳)有限公司 | 应用于在线系统中的神经网络处理方法及装置 |
CN110807529A (zh) * | 2019-10-30 | 2020-02-18 | 腾讯科技(深圳)有限公司 | 一种机器学习模型的训练方法、装置、设备及存储介质 |
CN110825966A (zh) * | 2019-10-31 | 2020-02-21 | 广州市百果园信息技术有限公司 | 一种信息推荐的方法、装置、推荐服务器和存储介质 |
-
2020
- 2020-07-30 CN CN202010749566.XA patent/CN111970335B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108304936A (zh) * | 2017-07-12 | 2018-07-20 | 腾讯科技(深圳)有限公司 | 机器学习模型训练方法和装置、表情图像分类方法和装置 |
US10198399B1 (en) * | 2018-03-06 | 2019-02-05 | KenSci Inc. | Cryptographically secure machine learning |
CN109697978A (zh) * | 2018-12-18 | 2019-04-30 | 百度在线网络技术(北京)有限公司 | 用于生成模型的方法和装置 |
CN109947985A (zh) * | 2019-03-05 | 2019-06-28 | 腾讯科技(深圳)有限公司 | 应用于在线系统中的神经网络处理方法及装置 |
CN110807529A (zh) * | 2019-10-30 | 2020-02-18 | 腾讯科技(深圳)有限公司 | 一种机器学习模型的训练方法、装置、设备及存储介质 |
CN110825966A (zh) * | 2019-10-31 | 2020-02-21 | 广州市百果园信息技术有限公司 | 一种信息推荐的方法、装置、推荐服务器和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111970335A (zh) | 2020-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111970335B (zh) | 一种信息推荐的方法、装置及存储介质 | |
US20230281448A1 (en) | Method and apparatus for information recommendation, electronic device, computer readable storage medium and computer program product | |
CN103365865B (zh) | 数据存储方法、数据下载方法及其装置 | |
CN110134714B (zh) | 适用于大数据迭代计算的分布式计算框架缓存索引方法 | |
CN112084413B (zh) | 一种信息推荐的方法、装置及存储介质 | |
CN104601438A (zh) | 一种好友推荐方法和装置 | |
CN108452526B (zh) | 游戏故障原因的查询方法和装置、存储介质、电子装置 | |
CN105224959A (zh) | 排序模型的训练方法和装置 | |
CN111506820A (zh) | 推荐模型、方法、装置、设备及存储介质 | |
CN105447015A (zh) | 基于移动终端的职位信息推送方法、装置及系统 | |
CN114265981A (zh) | 推荐词确定方法、装置、设备及存储介质 | |
US11250080B2 (en) | Method, apparatus, storage medium and electronic device for establishing question and answer system | |
CN110399564B (zh) | 帐号分类方法和装置、存储介质及电子装置 | |
US20170011095A1 (en) | Processing search queries for open education resources | |
CN110516164B (zh) | 一种信息推荐方法、装置、设备及存储介质 | |
CN106411977B (zh) | 标签页同步方法、终端、服务器及系统 | |
CN111737449A (zh) | 相似问题的确定方法和装置、存储介质及电子装置 | |
CN114817389A (zh) | 数据处理方法、装置、存储介质及电子设备 | |
CN112182179B (zh) | 实体问答处理方法、装置、电子设备和存储介质 | |
CN112396151A (zh) | 谣言事件的分析方法、装置、设备及计算机可读存储介质 | |
CN115700548A (zh) | 用户行为预测的方法、设备和计算机程序产品 | |
CN110209829B (zh) | 信息处理方法和装置 | |
CN111183422B (zh) | 信息处理方法及相关产品 | |
CN110580342A (zh) | 公众号问答响应方法及装置 | |
GB2430506A (en) | Content management system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |