CN112070226A - 在线预测模型的训练方法、装置、设备及存储介质 - Google Patents

在线预测模型的训练方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112070226A
CN112070226A CN202010911608.5A CN202010911608A CN112070226A CN 112070226 A CN112070226 A CN 112070226A CN 202010911608 A CN202010911608 A CN 202010911608A CN 112070226 A CN112070226 A CN 112070226A
Authority
CN
China
Prior art keywords
online
offline
user
model
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010911608.5A
Other languages
English (en)
Other versions
CN112070226B (zh
Inventor
刘昊骋
李原
谢国斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010911608.5A priority Critical patent/CN112070226B/zh
Publication of CN112070226A publication Critical patent/CN112070226A/zh
Priority to US17/213,066 priority patent/US20210248513A1/en
Priority to JP2021056033A priority patent/JP7312780B2/ja
Priority to KR1020210051218A priority patent/KR20210052410A/ko
Priority to EP21174389.3A priority patent/EP3846109A3/en
Application granted granted Critical
Publication of CN112070226B publication Critical patent/CN112070226B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0255—Targeted advertisements based on user history
    • G06Q30/0256—User search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G06Q30/0271—Personalized advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0277—Online advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0282—Rating or review of business operators or products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Evolutionary Computation (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了在线预测模型的训练方法、装置、设备及存储介质，涉及机器学习技术领域。该方法的一具体实施方式包括：获取用户的离线样本特征和在线样本特征，离线样本特征包括用户画像特征；基于用户的离线样本特征和在线样本特征，离线训练得到离线推荐模型；获取用户的最新在线特征，以及基于用户的最新在线特征，在线训练得到在线学习模型，在线学习模型用于使得最新在线特征适应于作为在线样本特征输入至已经训练好的离线推荐模型；将离线推荐模型同步至线上，以及将在线学习模型输出的最新在线特征输入至离线推荐模型，生成在线预测模型，从而利用用户的线上样本数据优化在线预测模型，提升了推荐模型拟合效果和泛化效果，可应用但不限于在云计算场景中。

Description

在线预测模型的训练方法、装置、设备及存储介质
技术领域
本申请涉及计算机技术领域，具体涉及机器学习技术领域，尤其涉及在线预测模型的训练方法、装置、设备及存储介质。
背景技术
推荐系统是利用电子商务网站向用户提供物品信息和建议，帮助用户决定应该购买什么产品，模拟销售人员帮助客户完成购买过程。个性化推荐是根据用户的兴趣特点和购买行为，向用户推荐用户感兴趣的信息和商品。
传统的推荐系统基于固定推荐算法，未考虑用户线上实时行为，且对不同渠道的特征未做个性化处理，导致推荐模型泛化能力受限，进而降低了推荐系统的响应率和点击率。
发明内容
本申请实施例提供了一种在线预测模型的训练方法、装置、设备及存储介质。
根据第一方面，提供了一种在线预测模型的训练方法，包括：获取用户的离线样本特征和在线样本特征，所述离线样本特征包括用户画像特征；基于用户的离线样本特征和在线样本特征，离线训练得到离线推荐模型；获取用户的最新在线特征，以及基于用户的所述最新在线特征，在线训练得到在线学习模型，所述在线学习模型用于使得所述最新在线特征适应于作为在线样本特征输入至已经训练好的离线推荐模型；将所述离线推荐模型同步至线上，以及将所述在线学习模型输出的所述最新在线特征输入至所述离线推荐模型，生成在线预测模型。
根据第二方面，提供了一种在线预测模型的训练装置，包括：获取单元，被配置为获取用户的离线样本特征和在线样本特征，所述离线样本特征包括用户画像特征；离线训练单元，被配置为基于用户的离线样本特征和在线样本特征，离线训练得到离线推荐模型；在线训练单元，被配置为获取用户的最新在线特征，以及基于用户的所述最新在线特征，在线训练得到在线学习模型，所述在线学习模型用于使得所述最新在线特征适应于作为在线样本特征输入至已经训练好的离线推荐模型；模型生成单元，被配置为将所述离线推荐模型同步至线上，以及将所述在线学习模型输出的所述最新在线特征输入至所述离线推荐模型，生成在线预测模型。
根据第三方面，本申请实施例提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面中任一实现方式描述的方法。
根据第四方面，本申请实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面中任一实现方式描述的方法。
本申请实施例提供的在线预测模型的训练方法、装置、设备及存储介质，首先，获取用户的离线样本特征和在线样本特征，所述离线样本特征包括用户画像特征；其次，基于用户的离线样本特征和在线样本特征，离线训练得到离线推荐模型；再次，获取用户的最新在线特征，以及基于用户的所述最新在线特征，在线训练得到在线学习模型，所述在线学习模型用于使得所述最新在线特征适应于作为在线样本特征输入至已经训练好的离线推荐模型；然后，将所述离线推荐模型同步至线上，以及将所述在线学习模型输出的所述最新在线特征输入至所述离线推荐模型，生成在线预测模型，从而利用用户的线上样本数据优化在线预测模型，提升了推荐模型拟合效果和泛化效果，可应用但不限于在云计算场景中。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请可以应用于其中的示例性系统架构；
图2是根据本申请的在线预测模型的训练方法的一个实施例的流程示意图；
图3是根据XGBoost模型训练离线推荐模型的一个实施例的方法示意图；
图4是根据Wide&Deep模型训练离线推荐模型的一个实施例的方法示意图；
图5是根据本申请的在线预测模型的训练方法的应用场景示意图；
图6是根据本申请的在线预测模型的训练装置的一个实施例的结构示意图；
图7是用来实现本申请实施例的在线预测模型的训练方法的电子设备的框图；
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1示出了可以应用本申请的在线预测模型的训练方法或在线预测模型的训练装置的实施例的示例性系统架构100。
如图1所示，系统架构100中可以包括存储设备101、网络102和服务器103。网络102用以在存储设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
存储设备101可以通过网络102与服务器103交互。在网络102处于断开状态下，服务器103也可以直接执行存储设备101发出的指令。存储设备101中可以提供离线推荐模型、用户离线数据等，包括但不限于用户终端、数据库等等。在网络102处于断开状态下，服务器103可以执行训练离线推荐模型的步骤，包括：获取用户的离线样本特征和在线样本特征，所述离线样本特征包括用户画像特征；基于用户的离线样本特征和在线样本特征，离线训练得到离线推荐模型。
服务器103可以提供各种服务，例如服务器103可以通过网络102从存储设备101中获取用户的在线数据。服务器103还可以对从存储设备101中获取到的离线推荐模型以及通过网络102从存储设备101中获得的用户在线数据等进行综合分析等处理，生产处理结果(例如生成在线预测模型)。
需要说明的是，服务器103可以是硬件，也可以是软件。当服务器103为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器103为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是，本申请实施例所提供的在线预测模型的训练方法一般由服务器103执行，相应地，在线预测模型的训练装置一般设置于服务器103中。
应该理解，图1中的存储设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的存储设备、网络和服务器。在服务器103中存储有离线推荐模型、用户离线数据的情况下，系统架构100可以不设置存储设备101和网络102。
继续参考图2，其示出了根据本申请的在线预测模型的训练方法的一个实施例的流程200。该在线预测模型的训练方法包括如下步骤：
步骤201，获取用户的离线样本特征和在线样本特征。
在本实施例中，用户的离线样本特征指的是在用户与网络处于断开连接状态下，对用户的离线样本进行处理得到的特征；用户的在线样本特征指的是，将在用户与网络处于连接状态下获取到的用户在线样本同步为用户的离线样本后，在用户与网络处于断开连接状态下，对同步后的用户的离线样本进行处理得到的特征。其中，将用户在线样本同步为用户的离线样本是指基于网络或数据同步系统，使得用户的某一个在线样本在用户处于离线状态下依然可以使用。示例性地，可以将用户的在线样本复制到本地设备。其中，用户的在线样本可以是在线状态下用户的操作行为，例如用户在网络上搜索“火锅”，那么可以将用户本次搜索的关键词作为在线样本。
其中，用户的离线样本特征或在线样本特征包括但不限于用户画像特征。执行主体(例如，图1中在网络102处于断开状态下的服务器103)通过对用户离线样本进行处理，即可得到该离线样本的特征。示例性地，前述执行主体可以利用机器学习中的特征工程将用户离线样本转换成计算机可以处理的特征。其中，用户离线样本包括但不限于用户画像等，其中，用户画像包括但不限于用户性别、用户年龄、用户收入、用户上网次数、用户搜索次数、用户搜索的关键词、用户点击网站的地址、用户兴趣标签、用户的APP列表等等。
步骤202，基于用户的离线样本特征和在线样本特征，离线训练得到离线推荐模型。
在本实施例中，将获取到的用户的离线样本特征作为训练样本集合。离线推荐模型可以利用机器学习方法和训练样本集合对现有的机器学习模型进行训练得到，示例性地，可以采用“XGBoost+逻辑回归器”模型或Wide&Deep模型。极限梯度提升(ExtremeGradient Boosting，XGBoost)是提升树可扩展的机器学习系统，XGBoost模型是树集成模型。Wide&Deep模型包括Wide层/模型和Deep层/模型，Wide模型为广义线性模型(WideLinear Model)，Deep模型为深度神经网络(Deep Netural Network)。
在本实施例中，可以将离线样本特征输入至XGBoost模型或Wide&Deep模型中的Deep层进行训练，对XGBboost模型或Deep模型的参数进行调整，例如通过梯度下降法、反向传播法等调整参数。示例性地，若离线推荐模型采用“XGBoost+逻辑回归器”模型，离线推荐模型的训练过程为：将离线样本特征输入XGBoost后做特征组合编码；对在线样本特征进行特征编码；在线样本特征经特征编码后和XGBoost输出的离线样本特征的组合编码进行拼接；将拼接起来的编码输入至逻辑回归器中做预测训练。示例性地，若离线推荐模型采用Wide&Deep模型，离线推荐模型的训练过程为：将离线样本特征输入Deep层；对在线样本特征进行特征工程处理；在线样本特征经特征工程后直接输入Wide层，并将Wide层的输出和Deep层的输出拼接后输入逻辑回归器中做预测训练。
在本实施例中，离线推荐模型可以输出用户的点击率(Click-Through-Rate)或推荐排序。优选地，基于离线推荐模型输出的点击率或推荐排序和真实的点击率或推荐排序之间计算一个损失，依据该损失采用梯度下降法对离线推荐模型参数进行迭代优化，使得训练得到的离线推荐模型的输出结果更加精确。
在本实施例中，由于离线样本特征较为稳定，由离线样本特征训练出来的XGBboost模型或Deep模型也较为稳定，在使用训练好的XGBboost模型或Deep模型时，无需调整模型参数即可使用。
步骤203，获取用户的最新在线特征，以及基于用户的最新在线特征，在线训练得到在线学习模型。
在本实施例中，用户的最新在线特征指的是对在用户与网络处于连接状态下获取到的用户当前在线样本进行处理得到的特征。示例性地，用户的当前在线样本可以通过分析用户当前的实时操作行为(用户的在线实时行为数据)得到，例如，用户的当前实时操作行为包括用户当前搜索的关键词、用户当前点击网站的地址、用户对当前广告展示情况的反馈等。在线学习模型可以利用机器学习方法和最新在线特征对现有的机器学习模型进行训练得到在线学习模型。优选地，可以将最新在线特征同步至离线特征库中，该离线特征库中保存有离线样本特征。所谓同步至离线特征库是指基于网络或数据同步系统将最新在线特征复制到离线特征库中。同步后的最新在线特征可以作为在线样本特征继续离线训练离线推荐模型，从而充分利用用户实时行为数据做模型微调，提升模型泛化效果。
步骤204，将离线推荐模型同步至线上，以及将在线学习模型输出的最新在线特征输入至离线推荐模型，生成在线预测模型。
在本实施例中，将离线推荐模型同步至线上是指基于网络或数据同步系统，使训练好的离线推荐模型与线上的推荐模型保持一致，即将训练好的离线推荐模型转为在线推荐模型。然后，将在线学习模型输出的最新在线特征输入至离线推荐模型/在线推荐模型进行预测训练，生成在线预测模型。优选地，在采用“XGBoost+逻辑回归器”离线推荐模型的情形下，可以使用在线机器学习算法(FTRL)调整用户的最新在线特征，使得最新在线特征适应于作为在线样本特征进行特征编码，进而实现对用户的最新在线特征的微调；或者，在采用Wide&Deep离线推荐模型的情形下，调整Wide层参数，使得最新在线特征适应于作为在线样本特征输入至Wide层，进而实现对用户的最新在线特征的微调。在本优选的实施例中，采用“XGBoost+逻辑回归器”或Wide&Deep离线推荐模型进行在线学习时，无需调整模型既有参数，只需要对用户的最新在线特征做微调，即可完成在线预测模型的训练，从而充分利用用户实时行为数据做模型微调，提升模型泛化效果。
与现有技术相比，本申请实施例将在线预测模型的生成算法分成离线学习和线上学习两部分，将用户线上的实时行为数据用于优化在线预测模型，提升模型拟合效果。
继续参考图3，其示出了根据XGBoost模型训练离线推荐模型的一个实施例的方法示意图。
在本实施例中，采用XGBoost模型，其以决策树模型作为基分类器，使用了两个树：结构树1和结构树2，其中模型的输入为用户的离线样本特征，各个特征数据首先在第一颗树(结构树1)中进行分类，最终会落入一个叶子结点，其所得叶子结点的值就是第一颗树的输出值，然后使用第二棵树(结构树2)进行相同的操作，最后将所有树的输出值求和。用户的在线样本特征经特征编码后和所有树的输出值求和，最后将求和结果输入逻辑回归器(logic Regression)做预测训练。
采用本实施例，在使用离线推荐模型进行在线学习时，XGBoost模型已经预先训练好，无需更新模型参数，仅需对用户的最新在线特征在线上做参数微调即可，从而充分利用用户实时行为数据做模型微调，提升模型泛化效果。
继续参考图4，其示出了根据Wide&Deep模型训练离线推荐模型的一个实施例的方法示意图。
在本实施例中，采用Wide&Deep模型，其中模型的Deep层(例如DNN)输入为用户的离线样本特征，模型的Wide层输入为用户的在线样本特征。Wide层对应的是线性模型，输入特征可以是连续特征，也可以是稀疏的离散特征。Deep层对应的是DNN模型，每一个特征对应一个低维的实数向量，我们称之为特征的embedding。DNN模型通过反向传播调整隐藏层的权重，并且更新特征的embedding。Wide&Deep整个模型的输出是线性输出与DNN模型输出的叠加。Wide层和Deep层只需要分别专注于擅长的方面，Wide层通过离散特征的交叉组合进行记忆，Deep层通过特征的embedding进行泛化，这样单个模型的大小和复杂度也能得到控制，而整体模型的性能仍能得到提高。
在本实施例中，用户的离线样本特征包括连续型特征和离散型特征，对于连续型特征，不需要对其进行embedding；对于离散型离线样本特征(例如高维稀疏特征)，需要对其先做embedding。如图4所示，对于连续型离线样本特征可以直接进行横向拼接；而对于离散型离线样本特征，需要先对其进行embedding，再和连续型离线样本特征进行横向拼接。示例性地，连续型离线样本特征包括：年龄、收入、上网次数、搜索次数等；离散型离线样本特征包括：搜索关键词、点击网站ID、兴趣标签、App列表等。对连续型离线样本特征和离散型离线样本特征(经embedding后)进行横向拼接后，形成了2000维度的向量；之后将拼接的特征向量输入至三层全连接的DNN和激活函数中；最后将Deep层的输出值输入至逻辑回归器中做预测训练。用户的在线样本特征输入至Wide层，在线样本特征经特征工程后也输入至逻辑回归器中做预测训练。
采用本实施例，在使用离线推荐模型进行在线学习时，Wide&Deep模型中的Deep层已经预先训练好，无需更新Deep层参数，仅需对Wide层参数做微调，并将用户的最新在线特征输入至Wide层即可，从而充分利用用户实时行为数据做模型微调，提升模型泛化效果。
继续参考图5，其示出了根据本申请的在线预测模型的训练方法的应用场景示意图。
在本实施例中，示出了营销领域中的一种个性化推荐系统的架构。该推荐系统包括在线学习和离线学习两部分。该系统通过用户的实时行为获取到用户在线数据，其中，用户的实时行为包括用户的点击行为以及广告的展示情况。用户的在线数据包括用户的在线样本，通过对在线样本进行分析处理得到用户的在线样本特征。通过数据同步服务可将用户的在线样本特征同步至用户的离线数据，并将其作为用户的在线样本特征对离线推荐模型进行训练。用户的离线数据包括用户的离线样本，通过对离线样本进行分析处理得到用户的离线样本特征。用户的离线样本主要包括用户画像等。离线学习基于用户离线数据(包括同步至用户离线数据的用户在线样本特征)，对离线推荐模型进行训练。在线学习时，将训练好的离线推荐模型同步至线上(通过数据同步服务)；同时，系统获取用户的最新实时行为，并从最新的实时行为中抽取用户的最新在线特征，其中，该用户的最新在线特征也属于用户的在线数据，并基于用户的最新在线特征进行训练，得到在线学习模型；训练好的在线学习模型用于优化离线推荐模型，提升模型的拟合效果。优化好的离线推荐模型即为在线预测模型，该模型可以赋能与推荐系统业务流中的推荐排序和点击率预估。用户在该推荐系统中的点击行为和广告展示情况又可以作为新的用户在线样本，从而持续将用户线上实时行为数据用于优化线上模型。该推荐系统相较于传统推荐引擎在响应率和点击率上有显著提升。
进一步参考图6，作为对上述各图所示方法的实现，本申请提供了一种在线预测模型的训练装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图6所示，本实施例的在线预测模型的训练装置包括：获取单元601，被配置为获取用户的离线样本特征和在线样本特征，离线样本特征包括用户画像特征；离线训练单元602，被配置为基于用户的离线样本特征和在线样本特征，离线训练得到离线推荐模型；在线训练单元603，被配置为获取用户的最新在线特征，以及基于用户的最新在线特征，在线训练得到在线学习模型，在线学习模型用于使得最新在线特征适应于作为在线样本特征输入至已经训练好的离线推荐模型；模型生成单元604，被配置为将离线推荐模型同步至线上，以及将在线学习模型输出的最新在线特征输入至离线推荐模型，生成在线预测模型。
在本实施例中，在线预测模型的训练装置中：获取单元601、离线训练单元602、在线训练单元603、模型生成单元604的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-204的相关说明，在此不再赘述。
在本实施例的一些可选的实施方式中，所述离线推荐模型包括XGBoost模型或Wide&Deep模型。
在本实施例的一些可选的实施方式中，所述装置还包括：数据同步单元，被配置为将用户的所述最新在线特征或在线样本特征同步至离线特征库，其中，所述离线特征库存储有用户的所述离线样本特征。
在本实施例的一些可选的实施方式中，所述装置还包括：在线样本特征生成单元，被配置为根据用户在线实时行为确定用户的在线样本特征，其中，所述用户在线实时行为包括用户在线操作行为。
在本实施例的一些可选的实施方式中，所述装置还包括：结果输出单元，被配置为根据所述在线预测模型的输出确定推荐系统中的推荐排序或点击率预估。
在本实施例的一些可选的实施方式中，所述离线推荐模型为XGBoost模型，所述离线训练单元进一步被配置为：将所述离线样本特征输入至XGBoost，生成所述离线样本特征的特征编码；对所述在线样本特征进行特征编码，以及将所述在线样本特征的特征编码与离线样本特征的组合编码进行拼接；将拼接结果输入至逻辑回归器中进行预测训练，得到训练好的离线推荐模型。
在本实施例的一些可选的实施方式中，所述在线训练单元进一步被配置为：使用在线机器学习算法(FTRL)调整所述最新在线特征，使得所述最新在线特征适应于作为在线样本特征进行特征编码。
在本实施例的一些可选的实施方式中，所述离线推荐模型为Wide&Deep模型，所述离线训练单元进一步被配置为：将用户的所述离线样本特征输入至Deep层；所述在线样本特征经特征工程后输入至Wide层；将Wide层特征和Deep层特征拼接后输入至逻辑回归器中进行预测训练，得到训练好的离线推荐模型。
在本实施例的一些可选的实施方式中，所述在线训练单元进一步被配置为：调整Wide层参数，使得所述最新在线特征适应于作为在线样本特征输入至Wide层。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图7所示，是根据本申请实施例的在线预测模型的训练方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图7所示，该电子设备包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器701为例。
存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的在线预测模型的训练方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的在线预测模型的训练方法。
存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的在线预测模型的训练方法对应的程序指令/模块(例如，附图6所示的获取单元601、离线训练单元602、在线训练单元603和模型生成单元604)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的在线预测模型的训练方法。
存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据在线预测模型的训练方法的电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至在线预测模型的训练方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
在线预测模型的训练方法的电子设备还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图7中以通过总线连接为例。
输入装置703可接收输入的数字或字符信息，以及产生与在线预测模型的训练方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (20)

1.一种在线预测模型的训练方法，包括：
获取用户的离线样本特征和在线样本特征，所述离线样本特征包括用户画像特征；
基于用户的离线样本特征和在线样本特征，离线训练得到离线推荐模型；
获取用户的最新在线特征，以及基于用户的所述最新在线特征，在线训练得到在线学习模型，所述在线学习模型用于使得所述最新在线特征适应于作为在线样本特征输入至已经训练好的离线推荐模型；
将所述离线推荐模型同步至线上，以及将所述在线学习模型输出的所述最新在线特征输入至所述离线推荐模型，生成在线预测模型。
2.根据权利要求1所述的方法，所述离线推荐模型包括XGBoost模型或Wide&Deep模型。
3.根据权利要求1所述的方法，所述方法还包括:
将用户的所述最新在线特征同步至离线特征库，其中，所述离线特征库存储有用户的所述离线样本特征。
4.根据权利要求1或3所述的方法，所述方法还包括：
根据用户在线实时行为确定用户的在线样本特征，其中，所述用户在线实时行为包括用户在线操作行为。
5.根据权利要求1或4所述的方法，所述方法还包括：
根据所述在线预测模型的输出确定推荐系统中的推荐排序或点击率预估。
6.根据权利要求4所述的方法，所述离线推荐模型为XGBoost模型，所述基于用户的离线样本特征和在线样本特征，离线训练得到离线推荐模型包括：
将所述离线样本特征输入至XGBoost，生成所述离线样本特征的特征编码；
对所述在线样本特征进行特征编码，以及将所述在线样本特征的特征编码与离线样本特征的组合编码进行拼接；
将拼接结果输入至逻辑回归器中进行预测训练，得到训练好的离线推荐模型。
7.根据权利要求6所述的方法，所述基于用户的所述最新在线特征，在线训练得到在线学习模型，包括：
使用在线机器学习算法(FTRL)调整所述最新在线特征，使得所述最新在线特征适应于作为在线样本特征进行特征编码。
8.根据权利要求4所述的方法，所述离线推荐模型为Wide&Deep模型，所述基于用户的离线样本特征和在线样本特征，离线训练得到离线推荐模型包括：
将用户的所述离线样本特征输入至Deep层；
所述在线样本特征经特征工程后输入至Wide层；
将Wide层特征和Deep层特征拼接后输入至逻辑回归器中进行预测训练，得到训练好的离线推荐模型。
9.根据权利要求8所述的方法，所述基于用户的所述最新在线特征，在线训练得到在线学习模型，包括：
调整Wide层参数，使得所述最新在线特征适应于作为在线样本特征输入至Wide层。
10.一种在线预测模型的训练装置，包括：
获取单元，被配置为获取用户的离线样本特征和在线样本特征，所述离线样本特征包括用户画像特征；
离线训练单元，被配置为基于用户的离线样本特征和在线样本特征，离线训练得到离线推荐模型；
在线训练单元，被配置为获取用户的最新在线特征，以及基于用户的所述最新在线特征，在线训练得到在线学习模型，所述在线学习模型用于使得所述最新在线特征适应于作为在线样本特征输入至已经训练好的离线推荐模型；
模型生成单元，被配置为将所述离线推荐模型同步至线上，以及将所述在线学习模型输出的所述最新在线特征输入至所述离线推荐模型，生成在线预测模型。
11.根据权利要求10所述的装置，所述离线推荐模型包括XGBoost模型或Wide&Deep模型。
12.根据权利要求10所述的装置，所述装置还包括：
数据同步单元，被配置为将用户的所述最新在线特征或在线样本特征同步至离线特征库，其中，所述离线特征库存储有用户的所述离线样本特征。
13.根据权利要求10或12所述的装置，所述装置还包括：
在线样本特征生成单元，被配置为根据用户在线实时行为确定用户的在线样本特征，其中，所述用户在线实时行为包括用户在线操作行为。
14.根据权利要求10或13所述的装置，所述装置还包括：
结果输出单元，被配置为根据所述在线预测模型的输出确定推荐系统中的推荐排序或点击率预估。
15.根据权利要求13所述的装置，所述离线推荐模型为XGBoost模型，所述离线训练单元进一步被配置为：
将所述离线样本特征输入至XGBoost，生成所述离线样本特征的特征编码；
对所述在线样本特征进行特征编码，以及将所述在线样本特征的特征编码与离线样本特征的组合编码进行拼接；
将拼接结果输入至逻辑回归器中进行预测训练，得到训练好的离线推荐模型。
16.根据权利要求15所述的装置，所述在线训练单元进一步被配置为：
使用在线机器学习算法(FTRL)调整所述最新在线特征，使得所述最新在线特征适应于作为在线样本特征进行特征编码。
17.根据权利要求13所述的装置，所述离线推荐模型为Wide&Deep模型，所述离线训练单元进一步被配置为：
将用户的所述离线样本特征输入至Deep层；
所述在线样本特征经特征工程后输入至Wide层；
将Wide层特征和Deep层特征拼接后输入至逻辑回归器中进行预测训练，得到训练好的离线推荐模型。
18.根据权利要求17所述的装置，所述在线训练单元进一步被配置为：
调整Wide层参数，使得所述最新在线特征适应于作为在线样本特征输入至Wide层。
19.一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的方法。
20.一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-9中任一所述的方法。
CN202010911608.5A 2020-09-02 2020-09-02 在线预测模型的训练方法、装置、设备及存储介质 Active CN112070226B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010911608.5A CN112070226B (zh) 2020-09-02 2020-09-02 在线预测模型的训练方法、装置、设备及存储介质
US17/213,066 US20210248513A1 (en) 2020-09-02 2021-03-25 Method and apparatus for training online prediction model, device and storage medium
JP2021056033A JP7312780B2 (ja) 2020-09-02 2021-03-29 オンライン予測モデルのトレーニング方法、装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム
KR1020210051218A KR20210052410A (ko) 2020-09-02 2021-04-20 온라인 예측 모델의 트레이닝 방법, 장치, 기기 및 저장 매체
EP21174389.3A EP3846109A3 (en) 2020-09-02 2021-05-18 Method and apparatus for training online prediction model, device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010911608.5A CN112070226B (zh) 2020-09-02 2020-09-02 在线预测模型的训练方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112070226A true CN112070226A (zh) 2020-12-11
CN112070226B CN112070226B (zh) 2023-06-27

Family

ID=73665384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010911608.5A Active CN112070226B (zh) 2020-09-02 2020-09-02 在线预测模型的训练方法、装置、设备及存储介质

Country Status (5)

Country Link
US (1) US20210248513A1 (zh)
EP (1) EP3846109A3 (zh)
JP (1) JP7312780B2 (zh)
KR (1) KR20210052410A (zh)
CN (1) CN112070226B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541122A (zh) * 2020-12-23 2021-03-23 北京百度网讯科技有限公司 推荐模型的训练方法、装置、电子设备及存储介质
CN112561082A (zh) * 2020-12-22 2021-03-26 北京百度网讯科技有限公司 生成模型的方法、装置、设备以及存储介质
CN112817777A (zh) * 2021-01-21 2021-05-18 网易传媒科技（北京）有限公司 内容处理系统、方法、装置、设备及介质
CN113223705A (zh) * 2021-05-22 2021-08-06 杭州医康慧联科技股份有限公司 适用于隐私计算平台的离线预测方法
CN113378060A (zh) * 2021-07-01 2021-09-10 第四范式（北京）技术有限公司 资源推荐方法、装置、设备及介质
CN113569557A (zh) * 2021-09-26 2021-10-29 腾讯科技（深圳）有限公司 信息的质量识别方法、装置、设备、存储介质及程序产品
CN113836411A (zh) * 2021-09-22 2021-12-24 上海哔哩哔哩科技有限公司 数据处理方法、装置及计算机设备
WO2022187409A1 (en) * 2021-03-03 2022-09-09 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus for hybrid training of neural networks for video coding
US20230069999A1 (en) * 2020-11-04 2023-03-09 Tencent Technology (Shenzhen) Company Limited Method and apparatus for updating recommendation model, computer device and storage medium

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4377894A1 (en) * 2021-07-29 2024-06-05 Beijing Dajia Internet Information Technology Co., Ltd. Network based image filtering for video coding
CN113612777B (zh) * 2021-08-04 2023-07-11 百度在线网络技术（北京）有限公司 训练方法、流量分级方法、装置、电子设备以及存储介质
CN113762467B (zh) * 2021-08-12 2022-10-21 生态环境部卫星环境应用中心 基于紫外和可见高光谱获得近地面臭氧浓度的方法
CN113762621A (zh) * 2021-09-09 2021-12-07 南京领行科技股份有限公司 网约车司机离职预测方法及系统
CN114238269B (zh) * 2021-12-03 2024-01-23 中兴通讯股份有限公司 数据库参数调整方法、装置、电子设备和存储介质
CN114925279B (zh) * 2022-06-07 2024-07-23 支付宝(杭州)信息技术有限公司 推荐模型训练方法、推荐方法以及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180374138A1 (en) * 2017-06-23 2018-12-27 Vufind Inc. Leveraging delayed and partial reward in deep reinforcement learning artificial intelligence systems to provide purchase recommendations
CN110046952A (zh) * 2019-01-30 2019-07-23 阿里巴巴集团控股有限公司 一种推荐模型的训练方法及装置、一种推荐方法及装置
CN110880124A (zh) * 2019-09-29 2020-03-13 清华大学 转化率评估方法及装置
CN111080413A (zh) * 2019-12-20 2020-04-28 深圳市华宇讯科技有限公司 电商平台商品的推荐方法、装置、服务器和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10949909B2 (en) 2017-02-24 2021-03-16 Sap Se Optimized recommendation engine
CN108108821B (zh) * 2017-12-29 2022-04-22 Oppo广东移动通信有限公司 模型训练方法及装置
US11219405B2 (en) 2018-05-01 2022-01-11 International Business Machines Corporation Epilepsy seizure detection and prediction using techniques such as deep learning methods

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180374138A1 (en) * 2017-06-23 2018-12-27 Vufind Inc. Leveraging delayed and partial reward in deep reinforcement learning artificial intelligence systems to provide purchase recommendations
CN110046952A (zh) * 2019-01-30 2019-07-23 阿里巴巴集团控股有限公司 一种推荐模型的训练方法及装置、一种推荐方法及装置
CN110880124A (zh) * 2019-09-29 2020-03-13 清华大学 转化率评估方法及装置
CN111080413A (zh) * 2019-12-20 2020-04-28 深圳市华宇讯科技有限公司 电商平台商品的推荐方法、装置、服务器和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王艺平;冯旭鹏;刘利军;黄青松;: "基于改进的宽深度模型的推荐方法研究", 计算机应用与软件, no. 11, pages 55 - 60 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230069999A1 (en) * 2020-11-04 2023-03-09 Tencent Technology (Shenzhen) Company Limited Method and apparatus for updating recommendation model, computer device and storage medium
CN112561082A (zh) * 2020-12-22 2021-03-26 北京百度网讯科技有限公司 生成模型的方法、装置、设备以及存储介质
CN112541122A (zh) * 2020-12-23 2021-03-23 北京百度网讯科技有限公司 推荐模型的训练方法、装置、电子设备及存储介质
CN112817777A (zh) * 2021-01-21 2021-05-18 网易传媒科技（北京）有限公司 内容处理系统、方法、装置、设备及介质
WO2022187409A1 (en) * 2021-03-03 2022-09-09 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus for hybrid training of neural networks for video coding
CN113223705A (zh) * 2021-05-22 2021-08-06 杭州医康慧联科技股份有限公司 适用于隐私计算平台的离线预测方法
CN113223705B (zh) * 2021-05-22 2023-08-29 杭州医康慧联科技股份有限公司 适用于隐私计算平台的离线预测方法
CN113378060A (zh) * 2021-07-01 2021-09-10 第四范式（北京）技术有限公司 资源推荐方法、装置、设备及介质
CN113836411A (zh) * 2021-09-22 2021-12-24 上海哔哩哔哩科技有限公司 数据处理方法、装置及计算机设备
CN113836411B (zh) * 2021-09-22 2024-08-27 上海哔哩哔哩科技有限公司 数据处理方法、装置及计算机设备
CN113569557A (zh) * 2021-09-26 2021-10-29 腾讯科技（深圳）有限公司 信息的质量识别方法、装置、设备、存储介质及程序产品
CN113569557B (zh) * 2021-09-26 2022-01-04 腾讯科技（深圳）有限公司 信息的质量识别方法、装置、设备、存储介质及程序产品

Also Published As

Publication number Publication date
EP3846109A3 (en) 2021-11-17
EP3846109A2 (en) 2021-07-07
US20210248513A1 (en) 2021-08-12
KR20210052410A (ko) 2021-05-10
JP7312780B2 (ja) 2023-07-21
JP2022023776A (ja) 2022-02-08
CN112070226B (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
CN112070226B (zh) 在线预测模型的训练方法、装置、设备及存储介质
JP7166322B2 (ja) モデルを訓練するための方法、装置、電子機器、記憶媒体およびコンピュータプログラム
KR102476056B1 (ko) 아이템 추천방법, 시스템, 전자기기 및 기록매체
US20210216561A1 (en) Information search method and apparatus, device and storage medium
CN111539514A (zh) 用于生成神经网络的结构的方法和装置
CN111311321B (zh) 用户消费行为预测模型训练方法、装置、设备及存储介质
CN112035683A (zh) 用户交互信息处理模型生成方法和用户交互信息处理方法
CN112632403B (zh) 推荐模型的训练方法、推荐方法、装置、设备和介质
CN111582479B (zh) 神经网络模型的蒸馏方法和装置
CN110674260B (zh) 语义相似模型的训练方法、装置、电子设备和存储介质
CN111143686A (zh) 资源推荐方法及装置
CN112148975A (zh) 会话推荐方法、装置及设备
CN111950593A (zh) 一种推荐模型训练的方法及装置
CN111680517A (zh) 用于训练模型的方法、装置、设备以及存储介质
CN112288483A (zh) 用于训练模型的方法和装置、用于生成信息的方法和装置
CN111563198B (zh) 一种物料召回方法、装置、设备及存储介质
CN114036398A (zh) 内容推荐和排序模型训练方法、装置、设备以及存储介质
CN116523554A (zh) 点击率预测模型的训练方法及装置
US12062060B2 (en) Method and device for processing user interaction information
CN112541145B (zh) 一种页面展现方法、装置、设备及存储介质
CN111625710A (zh) 推荐内容的处理方法、装置、电子设备及可读存储介质
CN113656689B (zh) 模型生成方法和网络信息的推送方法
CN112579889B (zh) 物品推荐方法、装置、电子设备及存储介质
CN114610996A (zh) 一种信息推送的方法和装置
CN112598136A (zh) 数据的校准方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant