CN112966577A - 一种模型训练以及信息提供的方法及装置 - Google Patents
一种模型训练以及信息提供的方法及装置 Download PDFInfo
- Publication number
- CN112966577A CN112966577A CN202110203945.3A CN202110203945A CN112966577A CN 112966577 A CN112966577 A CN 112966577A CN 202110203945 A CN202110203945 A CN 202110203945A CN 112966577 A CN112966577 A CN 112966577A
- Authority
- CN
- China
- Prior art keywords
- click rate
- recommendation information
- model
- training
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本说明书公开了一种模型训练以及信息提供的方法及装置，可获取用户的信息以及指定推荐信息作为训练样本，确定包含指定推荐信息在内的所有推荐信息在指定推荐信息的展示位置的第一点击率，根据第一点击率以及训练样本，对待训练识别模型进行训练，由训练后的识别模型基于训练样本得到较为准确的结果，然后通过训练后的识别模型，使预估模型的第一子模型输出的样本特征中减少影响点击率的因素，从而使得预估模型的第二子模型输出的预估点击率较为准确。通过上述方法训练得到的预估模型，在确定推荐信息的预估点击率时，排除了诸如展示位置等因素的影响，得到的预估点击率更加准确。
Description
技术领域
本说明书涉及机器学习技术领域，尤其涉及一种模型训练以及信息提供的方法及装置。
背景技术
目前，在搜索、推荐等场景中，可向用户展示与用户画像、用户输入的关键词等对应的若干个信息。在向用户展示各信息时，一般按照各信息的点击通过率(Click-Through-Rate，CTR)对各信息进行排序，各信息在排序结果中的位置即为各信息的展示位置。
受用户浏览习惯等因素影响，同一种信息在不同的展示位置进行展示，其CTR也不相同，一般情况下，信息的展示位置越靠前，信息的CTR越大。此外，信息的展示位置同样受到其他因素的影响，例如，信息持有者的出价情况，通常，信息持有者的出价越高，其持有的信息的展示位置越靠前。
因此，如何在没有展示位置的影响下，较好地确定信息的真实CTR，以基于各信息的真实CTR确定向用户推荐的信息，成为亟需解决的问题。
发明内容
本说明书实施例提供一种模型训练以及信息提供的方法及装置，以部分解决现有技术存在的上述问题。
本说明书实施例采用下述技术方案：
本说明书提供的一种模型训练的方法，所述方法包括：
获取用户的信息以及指定推荐信息作为训练样本，并确定包含所述指定推荐信息在内的所有推荐信息在所述指定推荐信息的展示位置的第一点击率；
以所述第一点击率作为待训练识别模型的标注信息，根据所述训练样本，对所述待训练识别模型进行训练，所述待训练识别模型用于确定所述指定推荐信息在所述展示位置的第二点击率；
通过预估模型的第一子模型，确定所述训练样本的样本特征，将所述样本特征分别输入所述预估模型的第二子模型以及训练完成的识别模型，得到所述第二子模型输出的所述指定推荐信息在所述展示位置的预估点击率、以及所述识别模型输出的所述指定推荐信息在所述展示位置的第二点击率，其中，所述预估模型用于预估所述用户针对所述指定推荐信息在所述展示位置的点击率；
确定所述训练样本在所述展示位置的实际点击率作为所述预估模型的标注信息，根据所述样本标注、所述预估点击率、所述第一点击率以及所述第二点击率中的若干种，对所述预估模型进行训练。
可选地，以所述第一点击率作为待训练识别模型的标注信息，根据所述训练样本，对所述待训练识别模型进行训练，具体包括：
将所述训练样本输入所述第一子模型，得到所述第一子模型输出的所述样本特征；
将所述样本特征输入所述待训练识别模型，得到所述待训练识别模型输出的所述指定推荐信息在所述展示位置的待优化第二点击率；
确定所述第一点击率以及所述待优化第二点击率之间的差异作为所述待训练识别模型的损失；
根据所述待训练识别模型的损失，对所述待训练识别模型进行训练。
可选地，将所述样本特征输入所述预估模型的第二子模型，得到所述第二子模型输出的所述指定推荐信息在所述展示位置的预估点击率，具体包括：
将所述样本特征输入所述第二子模型，得到所述第二子模型输出的所述指定推荐信息在预设的包含所述展示位置在内的若干个展示位置对应的预估点击率；
根据所述样本标注、所述预估点击率、所述第一点击率以及所述第二点击率中的若干种，对所述预估模型进行训练，具体包括：
在所述第二子模型的输出结果中，确定所述指定推荐信息在所述展示位置对应的预估点击率作为指定预估点击率；
根据所述样本标注、所述指定预估点击率、所述第一点击率以及所述第二点击率中的若干种，对所述预估模型进行训练。
可选地，根据所述样本标注、所述预估点击率、所述第一点击率以及所述第二点击率中的若干种，对所述预估模型进行训练，具体包括：
根据所述样本标注以及所述预估点击率，确定第一差异，并根据所述第一点击率以及所述第二点击率，确定第二差异；
根据所述第一差异和/或所述第二差异，确定最终差异，所述最终差异与所述第一差异正相关，所述最终差异与所述第二差异正相关；
根据所述最终差异，调整所述第一子模型以及所述第二子模型的参数，对所述预估模型进行训练。
可选地，根据所述样本标注以及所述预估点击率，确定第一差异，具体包括：
确定所述样本标注以及所述预估点击率的交叉熵作为所述第一差异；
根据所述第一点击率以及所述第二点击率，确定第二差异，具体包括：
确定所述第一点击率以及所述第二点击率的协方差作为所述第二差异。
本说明书提供的一种信息提供的方法，所述方法包括：
获取用户的信息以及若干个推荐信息；
针对各推荐信息，将所述用户的信息以及该推荐信息输入预估模型，得到所述预估模型输出的该推荐信息在预设的指定数量个展示位置的点击率；
根据每个推荐信息在所述指定数量个展示位置的点击率，分别确定每个展示位置对应的推荐信息；
将每个展示位置对应的推荐信息提供给所述用户。
本说明书提供的一种模型训练的装置，所述装置包括：
第一获取模块，用于获取用户的信息以及指定推荐信息作为训练样本，并确定包含所述指定推荐信息在内的所有推荐信息在所述指定推荐信息的展示位置的第一点击率；
第一训练模块，用于以所述第一点击率作为待训练识别模型的标注信息，根据所述训练样本，对所述待训练识别模型进行训练，所述待训练识别模型用于确定所述指定推荐信息在所述展示位置的第二点击率；
输入模块，用于通过预估模型的第一子模型，确定所述训练样本的样本特征，将所述样本特征分别输入所述预估模型的第二子模型以及训练完成的识别模型，得到所述第二子模型输出的所述指定推荐信息在所述展示位置的预估点击率、以及所述识别模型输出的所述指定推荐信息在所述展示位置的第二点击率，其中，所述预估模型用于预估所述用户针对所述指定推荐信息在所述展示位置的点击率；
第二训练模块，用于确定所述训练样本在所述展示位置的实际点击率作为所述预估模型的标注信息，根据所述样本标注、所述预估点击率、所述第一点击率以及所述第二点击率中的若干种，对所述预估模型进行训练。
本说明书提供的一种信息提供的装置，所述装置包括：
第二获取模块，用于获取用户的信息以及若干个推荐信息；
预估模块，用于针对各推荐信息，将所述用户的信息以及该推荐信息输入预估模型，得到所述预估模型输出的该推荐信息在预设的指定数量个展示位置的点击率；
确定模块，用于根据每个推荐信息在所述指定数量个展示位置的点击率，分别确定每个展示位置对应的推荐信息；
提供模块，用于将每个展示位置对应的推荐信息提供给所述用户。
本说明书提供的一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述模型训练以及信息提供的方法。
本说明书提供的一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述模型训练以及信息提供的方法。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：
本说明书可获取用户的信息以及指定推荐信息作为训练样本，确定包含指定推荐信息在内的所有推荐信息在指定推荐信息的展示位置的第一点击率，以第一点击率作为待训练识别模型的标注信息，根据训练样本，对待训练识别模型进行训练，然后，通过预估模型的第一子模型，确定训练样本的样本特征，将样本特征分别输入预估模型的第二子模型以及训练完成的识别模型，得到第二子模型输出的指定推荐信息在展示位置的预估点击率、以及识别模型输出的指定推荐信息在展示位置的第二点击率，其中，预估模型用于预估用户针对指定推荐信息在展示位置的点击率，最后，确定训练样本在展示位置的实际点击率作为预估模型的标注信息，根据样本标注、预估点击率、第一点击率以及第二点击率中的若干种，对预估模型进行训练。
本说明书可首先训练识别模型，由识别模型基于训练样本得到较为准确的结果，然后通过训练后的识别模型，使预估模型的第一子模型输出的样本特征中减少影响点击率的因素，从而使得预估模型的第二子模型输出的预估点击率较为准确。通过上述方法训练得到的预估模型，在确定推荐信息的预估点击率时，排除了诸如展示位置等因素的影响，得到的预估点击率更加准确。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1为本说明书实施例提供的一种模型训练的方法流程图；
图2为本说明书实施例提供的一种模型训练的方法框图；
图3为本说明书实施例提供的一种信息提供的方法流程图；
图4为本说明书实施例提供的一种模型训练的装置的结构示意图；
图5为本说明书实施例提供的一种信息提供的装置的结构示意图；
图6为本说明书实施例提供的实现模型训练以及信息提供的方法的电子设备示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
目前，在搜索、推荐等场景中，用户在输入关键词之后，可在若干个展示位置显示与关键词对应的若干个推荐信息。在确定展示位置展示的推荐信息时，可确定用户对推荐信息实际点击情况，即推荐信息的点击率(Click-Through-Rate，CTR)，基于推荐信息的点击率，确定展示位置与推荐位置的对应关系。
现有的技术方案中，在确定推荐信息的点击率时，首先，训练机器学习模型，即，将用户的信息与推荐信息等信息输入待训练的机器学习模型，由待训练的机器学习模型确定出推荐信息在当前展示位置的预估点击率，并获取推荐信息在当前展示位置的实际点击率作为标注信息，根据标注信息以及预估点击率对待训练的机器学习模型进行有监督训练。在完成机器学习模型的训练之后，针对每个推荐信息，将该推荐信息输入机器学习模型，得到机器学习模型输出的该推荐信息在指定展示位置的点击率。根据每个推荐信息在指定展示位置的点击率，对各推荐信息进行排序，并将排序后的推荐信息提供给用户。
上述方案中，对机器学习模型进行训练时，考虑到推荐信息的当前展示位置的位置特征，而对机器学习模型进行应用时，将每个推荐信息的位置特征统一设置为指定展示位置，实际上，受用户浏览习惯、推荐信息持有者的出价情况等因素的影响，即使同一推荐信息，在不同的展示位置进行展示，其点击率也不相同，因此，上述方案中，没有考虑到展示位置对点击率的影响，从而导致基于上述方案确定的推荐信息的点击率不够精确。
因此，为了排除展示位置等因素的影响，确定出精确的推荐信息的点击率，本说明书提供一种模型训练的方法。以下结合附图，详细说明本说明书各实施例提供的技术方案。
图1为本说明书实施例提供的一种模型训练的方法流程图，具体可包括以下步骤：
S100：获取用户的信息以及指定推荐信息作为训练样本，并确定包含所述指定推荐信息在内的所有推荐信息在所述指定推荐信息的展示位置的第一点击率。
在本说明书中，推荐信息可包括广告信息，例如，商家的广告信息、产品的广告信息等，当然，推荐信息还可包括其他信息，例如，品牌信息、新闻资讯信息等。一般情况下，在搜索、推荐等场景中，可设置有若干展示位置，每个展示位置可展示一个推荐信息，例如，当用户输入搜索关键字后，可在搜索结果页面中，显示与搜索关键字对应的若干个推荐信息，又如，当用户打开指定页面时，可在指定页面中预设的每个展示位置显示推荐信息。
由于在不同的展示位置确定不同的推荐信息，是基于各推荐信息的点击率确定的，因此，可预先训练机器学习模型，由训练完成的机器学习模型确定出各推荐信息的点击率，其中，识别模型、预估模型均为机器学习模型的一种。
在训练机器学习模型时，首先可确定机器学习模型的训练样本、输入信息、输出信息等，由于本说明书是采用有监督训练的方式训练机器学习模型，因此，还可确定标注信息等。
在确定训练样本时，可获取用户的信息，用户的信息可包括用户画像、用户的行为信息等，其中，用户画像可基于现有的技术方案获取，用户的行为信息可通过诸如用户日志等方式获取此外，还可在各推荐信息中，选择推荐信息作为指定推荐信息，确定指定推荐信息的展示位置。另外，还可获取当前场景信息，例如，当前场景为搜索场景等信息。可将获取的用户的信息、指定推荐信息以及当前场景信息等作为训练样本。
由于本说明书中，机器学习模型包括识别模型以及预估模型，并且，本说明书首先训练识别模型，在识别模型训练完成之后，再基于训练完成的识别模型，训练预估模型，因此，首先来说训练识别模型所需的标注信息。
在确定指定推荐信息的展示位置(以下称展示位置，即指定推荐信息当前在页面中所展示的位置，本说明书同样可支持推荐信息的展示位置动态变化，因此，指定推荐信息的展示位置可为各展示位置中的指定展示位置)之后，可确定包含指定推荐信息在内的所有推荐信息在展示位置的第一点击率。也即，第一点击率表征所有推荐信息在指定推荐信信的展示位置的整体的点击情况。
具体的，由于各推荐信息的展示位置动态变化，因此可直接获取一段时间内每个推荐信息在展示位置的点击率，此外，还可通过仿真的方式确定各推荐信息在展示位置的点击率，即，通过仿真平台进行模拟，得到各推荐信息在展示位置的点击率。然后，可确定各推荐信息在展示位置的点击率的平均值作为第一点击率，当然，还可确定各推荐位置在展示位置的点击率的中位数等其他统计特征，作为第一点击率。
S102：以所述第一点击率作为待训练识别模型的标注信息，根据所述训练样本，对所述待训练识别模型进行训练，所述待训练识别模型用于确定所述指定推荐信息在所述展示位置的第二点击率。
在确定训练样本、各推荐信息在展示位置的第一点击率之后，可以第一点击率作为标注，对待训练识别模型进行有监督训练。
首先，可对训练样本进行预处理。
具体的，预处理可包括提取训练样本的样本特征。在本说明书中，预估模型可包括第一子模型以及第二子模型，且，第一子模型可用于提取训练样本的样本特征，因此，可将训练样本输入第一子模型，得到第一子模型输出的样本特征，需要说明的是，此时第一子模型尚未进行训练。当然，本说明书也可以支持通过其他方式来提取训练样本的样本特征，关于通过其他方式提取训练样本的样本特征的具体过程，可参考现有的技术方案。
然后，将预处理的结果输入待训练识别模型，得到由待训练识别模型输出的指定推荐信息在展示位置的待优化第二点击率。
之后，确定第一点击率以及待优化第二点击率之间的差异作为待训练识别模型的损失；
具体的，可确定第一点击率与待优化第二点击率的方差作为待训练识别模型的损失，此外，还可确定第一点击率与待优化第二点击率的差值、比值等作为待训练识别模型的损失。
最后，根据待训练识别模型的损失，对待训练识别模型进行训练。
具体的，可以待训练识别模型的损失最小化为优化目标，调节待训练识别模型的参数，对待训练识别模型进行训练。
这里需要注意的是，虽然第一点击率为所有推荐信息在展示位置的整体点击信息，而待优化第二点击率为待训练识别模型确定出的指定推荐信息在展示位置的点击信息，当二者的差异趋于稳定时，即可表明待训练识别模型完成训练，此外，还可设置训练迭代次数，即当达到训练迭代次数后，可认为待训练识别模型完成训练。
当完成对识别模型的训练后，可认为识别模型可识别出训练样本中携带的对推荐信息的点击率有影响的偏置信息，也正是由于识别模型能够识别出偏置信息，通过训练样本得到的指定推荐信息的第二点击率才接近于训练样本对应的实际的点击率。
S104：通过预估模型的第一子模型，确定所述训练样本的样本特征，将所述样本特征分别输入所述预估模型的第二子模型以及训练完成的识别模型，得到所述第二子模型输出的所述指定推荐信息在所述展示位置的预估点击率、以及所述识别模型输出的所述指定推荐信息在所述展示位置的第二点击率，其中，所述预估模型用于预估所述用户针对所述指定推荐信息在所述展示位置的点击率。
S106：确定所述训练样本在所述展示位置的实际点击率作为所述预估模型的标注信息，根据所述样本标注、所述预估点击率、所述第一点击率以及所述第二点击率中的若干种，对所述预估模型进行训练。
在完成识别模型的训练之后，可基于训练完成的识别模型，对预估模型进行训练。
参考上文中的内容，预估模型包括第一子模型以及第二子模型，第一子模型可用于提取训练样本中的样本特征，第二子模型可用于基于样本特征预估指定推荐信息在若干个展示位置的点击率，故，预估模型可用于预估用户针对指定推荐信息在若干个展示位置的点击率。
为便于理解，图2为本说明书实施例提供的一种模型训练的方法框图。如图2所示：
首先，第一子模型的输入信息为训练样本，第一子模型的输出信息为样本特征，第一子模型的参数可作为第一参数，即，将训练样本输入第一子模型中，通过第一参数，使得第一子模型输出训练样本的样本特征。
然后，将第一子模型输出的训练样本的样本特征输入识别模型中，得到识别模型输出的指定推荐信息在展示位置的第二点击率。
并且，将第一子模型输出的训练样本的样本特征输入第二子模型中，通过位于第二子模型中的第二参数，使得第二子模型输出指定信息在展示位置的预估点击率。实际上，第二子模型可输出指定推荐信息在包含展示位置在内的若干个位置的预估点击率，展示位置的数量可根据实际需求设置。
之后，可确定预估模型的损失。
具体的，由于预估模型的标注信息为指定推荐信息在展示位置的实际点击率(即，样本标注)，因此，第二子模型的输出结果中，可取指定推荐信息在展示位置的预估点击率进行损失的计算，即，在第二子模型的输出结果中，确定指定推荐信息在展示位置对应的预估点击率作为指定预估点击率，根据样本标注、指定预估点击率、第一点击率、第二点击率等信息，对预估模型进行训练。
进一步地，可根据样本标注以及预估点击率，确定第一差异，并且根据第一点击率以及第二点击率，确定第二差异，根据第一差异和/或第二差异，确定最终差异，其中，最终差异与第一差异正相关，最终差异与第二差异正相关。
在确定第一差异时，可确定样本标注以及预估点击率的交叉熵，当然，还可确定样本标注以及预估点击率的方差等作为第一差异。由于样本标注是基于包含偏置信息的训练样本的实际点击率，而预估点击率是在期望不包含偏置信息的样本特征的基础上得到的，因此，当二者的差异趋于稳定时，即可认为预估模型的训练效果较好。
在确定第二差异时，可确定第一点击率以及第二点击率的协方差。这是由于第一点击率以及第二点击率的协方差可表征第一点击率与第二点击率的相关性，当二者的协方差较大时，说明第一点击率与第二点击率相关性较高，即，第一子模型输出的样本特征中包含较多的偏置信息，当二者的协方差趋近于零时，说明第一子模型输出的样本特征中包含的偏置信息较少，从而使得第二子模型基于较少的偏置信息得到较为精确的预估点击率，则可认为预估模型的训练效果较好。
在确定第一差异以及第二差异之后，可根据第一差异和/或第二差异，确定最终差异，基于最终差异与第一差异之间的正相关关系以及最终差异与第二差异之间的正相关关系，在第一差异以及第二差异的基础上，即可确定出最终差异。
最后，根据最终差异，可调整第一子模型以及第二子模型的参数，对预估模型进行训练。
具体的，由于当最终差异趋于稳定时，预估模型的效果较好，因此，可在每次训练迭代的过程中，调整第一子模型的第一参数，以期望第一子模型输出的样本特征中尽可能地减少偏置信息，调整第二子模型的第二参数，以期望第二子模型输出的结果尽可能地准确。
此外，本说明书中还可设置训练的迭代次数，即，当对预估模型的训练达到设置的迭代次数时，即可认为完成了预估模型的训练。
在完成预估模型的训练后，本说明书中可将预估模型应用于诸如搜索、推荐等场景中，因此本说明书还提供一种信息提供的方法，图3为本说明书实施例提供的一种信息提供的方法流程图，具体可包括以下步骤：
S300：获取用户的信息以及若干个推荐信息。
S302：针对各推荐信息，将所述用户的信息以及该推荐信息输入预估模型，得到所述预估模型输出的该推荐信息在预设的指定数量个展示位置的点击率。
S304：根据每个推荐信息在所述指定数量个展示位置的点击率，分别确定每个展示位置对应的推荐信息。
S306：将每个展示位置对应的推荐信息提供给所述用户。
具体的，用户的信息、推荐信息可参考上述内容的相关描述。其中，一般情况下，推荐信息的数量不少于展示位置的个数。
针对每个推荐信息，可将用户的信息以及该推荐信息输入预估模型的第一子模型，由第一子模型输出信息特征，其中信息特征中包括用户的信息以及该推荐信息的特征。然后，将信息特征输入预估模型的第二子模型，得到由第二子模型输出的该推荐信息在预设的指定数量个展示位置的点击率。
其中，预估模型包括第一子模型以及第二子模型，本说明书可预先对预估模型进行训练，关于对预估模型进行训练的具体过程，可参考上述步骤S100-步骤S106的内容。
在得到每个推荐信息在各展示位置的点击率后，可确定由各推荐信息构成的推荐信息集合。针对每个展示位置，根据推荐信息集合中各推荐信息在该展示位置的点击率，对推荐信息集合中各推荐信息进行排序，根据排序结果，选择目标推荐信息作为该展示位置对应的推荐信息，并将目标推荐信息从推荐信息集合中删除。其中，在根据排序结果选择目标推荐信息时，可选择点击率最大的推荐信息作为目标推荐信息，也可在排序结果的前若干个推荐信息中，随机选择推荐信息作为目标推荐信息。
在确定每个展示位置对应的目标推荐信息之后，可将各展示位置对应的目标推荐信息提供给用户。即，当用户打开包含若干个展示位置的指定页面时，在指定页面中显示每个展示位置对应的目标推荐信息，或者，当用户输入搜索关键词进行搜索后，在搜索结果的页面中，向用户显示每个展示位置对应的目标推荐信息。
基于图1所示的模型训练的方法，本说明书实施例还对应提供一种模型训练的装置的结构示意图，如图4所示。
图4为本说明书实施例提供的一种模型训练的装置的结构示意图，所述装置包括：
第一获取模块400，用于获取用户的信息以及指定推荐信息作为训练样本，并确定包含所述指定推荐信息在内的所有推荐信息在所述指定推荐信息的展示位置的第一点击率；
第一训练模块402，用于以所述第一点击率作为待训练识别模型的标注信息，根据所述训练样本，对所述待训练识别模型进行训练，所述待训练识别模型用于确定所述指定推荐信息在所述展示位置的第二点击率；
输入模块404，用于通过预估模型的第一子模型，确定所述训练样本的样本特征，将所述样本特征分别输入所述预估模型的第二子模型以及训练完成的识别模型，得到所述第二子模型输出的所述指定推荐信息在所述展示位置的预估点击率、以及所述识别模型输出的所述指定推荐信息在所述展示位置的第二点击率，其中，所述预估模型用于预估所述用户针对所述指定推荐信息在所述展示位置的点击率；
第二训练模块406，用于确定所述训练样本在所述展示位置的实际点击率作为所述预估模型的标注信息，根据所述样本标注、所述预估点击率、所述第一点击率以及所述第二点击率中的若干种，对所述预估模型进行训练。
可选地，所述第一训练模块402具体用于，将所述训练样本输入所述第一子模型，得到所述第一子模型输出的所述样本特征；将所述样本特征输入所述待训练识别模型，得到所述待训练识别模型输出的所述指定推荐信息在所述展示位置的待优化第二点击率；确定所述第一点击率以及所述待优化第二点击率之间的差异作为所述待训练识别模型的损失；根据所述待训练识别模型的损失，对所述待训练识别模型进行训练。
可选地，所述输入模块404具体用于，将所述样本特征输入所述第二子模型，得到所述第二子模型输出的所述指定推荐信息在预设的包含所述展示位置在内的若干个展示位置对应的预估点击率；
所述第二训练模块406具体用于，在所述第二子模型的输出结果中，确定所述指定推荐信息在所述展示位置对应的预估点击率作为指定预估点击率；根据所述样本标注、所述指定预估点击率、所述第一点击率以及所述第二点击率中的若干种，对所述预估模型进行训练。
可选地，所述第二训练模块406具体用于，根据所述样本标注以及所述预估点击率，确定第一差异，并根据所述第一点击率以及所述第二点击率，确定第二差异；根据所述第一差异和/或所述第二差异，确定最终差异，所述最终差异与所述第一差异正相关，所述最终差异与所述第二差异正相关；根据所述最终差异，调整所述第一子模型以及所述第二子模型的参数，对所述预估模型进行训练。
可选地，所述第二训练模块406具体用于，确定所述样本标注以及所述预估点击率的交叉熵作为所述第一差异；确定所述第一点击率以及所述第二点击率的协方差作为所述第二差异。
基于图3所示的信息提供的方法，本说明书实施例还对应提供一种信息提供的装置的结构示意图，如图5所示。
图5为本说明书实施例提供的一种模型训练的装置的结构示意图，所述装置包括：
第二获取模块500，用于获取用户的信息以及若干个推荐信息；
预估模块502，用于针对各推荐信息，将所述用户的信息以及该推荐信息输入预估模型，得到所述预估模型输出的该推荐信息在预设的指定数量个展示位置的点击率；
确定模块504，用于根据每个推荐信息在所述指定数量个展示位置的点击率，分别确定每个展示位置对应的推荐信息；
提供模块506，用于将每个展示位置对应的推荐信息提供给所述用户。
本说明书实施例还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述内容提供的模型训练以及信息提供的方法。
基于上述内容提供的模型训练以及信息提供的方法，本说明书实施例还提出了图6所示的电子设备的示意结构图。如图6，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述内容提供的模型训练以及信息提供的方法。
当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。
Claims (10)
1.一种模型训练的方法，其特征在于，所述方法包括：
获取用户的信息以及指定推荐信息作为训练样本，并确定包含所述指定推荐信息在内的所有推荐信息在所述指定推荐信息的展示位置的第一点击率；
以所述第一点击率作为待训练识别模型的标注信息，根据所述训练样本，对所述待训练识别模型进行训练，所述待训练识别模型用于确定所述指定推荐信息在所述展示位置的第二点击率；
通过预估模型的第一子模型，确定所述训练样本的样本特征，将所述样本特征分别输入所述预估模型的第二子模型以及训练完成的识别模型，得到所述第二子模型输出的所述指定推荐信息在所述展示位置的预估点击率、以及所述识别模型输出的所述指定推荐信息在所述展示位置的第二点击率，其中，所述预估模型用于预估所述用户针对所述指定推荐信息在所述展示位置的点击率；
确定所述训练样本在所述展示位置的实际点击率作为所述预估模型的标注信息，根据所述样本标注、所述预估点击率、所述第一点击率以及所述第二点击率中的若干种，对所述预估模型进行训练。
2.如权利要求1所述的方法，其特征在于，以所述第一点击率作为待训练识别模型的标注信息，根据所述训练样本，对所述待训练识别模型进行训练，具体包括：
将所述训练样本输入所述第一子模型，得到所述第一子模型输出的所述样本特征；
将所述样本特征输入所述待训练识别模型，得到所述待训练识别模型输出的所述指定推荐信息在所述展示位置的待优化第二点击率；
确定所述第一点击率以及所述待优化第二点击率之间的差异作为所述待训练识别模型的损失；
根据所述待训练识别模型的损失，对所述待训练识别模型进行训练。
3.如权利要求1所述的方法，其特征在于，将所述样本特征输入所述预估模型的第二子模型，得到所述第二子模型输出的所述指定推荐信息在所述展示位置的预估点击率，具体包括：
将所述样本特征输入所述第二子模型，得到所述第二子模型输出的所述指定推荐信息在预设的包含所述展示位置在内的若干个展示位置对应的预估点击率；
根据所述样本标注、所述预估点击率、所述第一点击率以及所述第二点击率中的若干种，对所述预估模型进行训练，具体包括：
在所述第二子模型的输出结果中，确定所述指定推荐信息在所述展示位置对应的预估点击率作为指定预估点击率；
根据所述样本标注、所述指定预估点击率、所述第一点击率以及所述第二点击率中的若干种，对所述预估模型进行训练。
4.如权利要求1所述的方法，其特征在于，根据所述样本标注、所述预估点击率、所述第一点击率以及所述第二点击率中的若干种，对所述预估模型进行训练，具体包括：
根据所述样本标注以及所述预估点击率，确定第一差异，并根据所述第一点击率以及所述第二点击率，确定第二差异；
根据所述第一差异和/或所述第二差异，确定最终差异，所述最终差异与所述第一差异正相关，所述最终差异与所述第二差异正相关；
根据所述最终差异，调整所述第一子模型以及所述第二子模型的参数，对所述预估模型进行训练。
5.如权利要求4所述的方法，其特征在于，根据所述样本标注以及所述预估点击率，确定第一差异，具体包括：
确定所述样本标注以及所述预估点击率的交叉熵作为所述第一差异；
根据所述第一点击率以及所述第二点击率，确定第二差异，具体包括：
确定所述第一点击率以及所述第二点击率的协方差作为所述第二差异。
6.一种信息提供的方法，其特征在于，所述方法包括：
获取用户的信息以及若干个推荐信息；
针对各推荐信息，将所述用户的信息以及该推荐信息输入预估模型，得到所述预估模型输出的该推荐信息在预设的指定数量个展示位置的点击率；
根据每个推荐信息在所述指定数量个展示位置的点击率，分别确定每个展示位置对应的推荐信息；
将每个展示位置对应的推荐信息提供给所述用户。
7.一种模型训练的装置，其特征在于，所述装置包括：
第一获取模块，用于获取用户的信息以及指定推荐信息作为训练样本，并确定包含所述指定推荐信息在内的所有推荐信息在所述指定推荐信息的展示位置的第一点击率；
第一训练模块，用于以所述第一点击率作为待训练识别模型的标注信息，根据所述训练样本，对所述待训练识别模型进行训练，所述待训练识别模型用于确定所述指定推荐信息在所述展示位置的第二点击率；
输入模块，用于通过预估模型的第一子模型，确定所述训练样本的样本特征，将所述样本特征分别输入所述预估模型的第二子模型以及训练完成的识别模型，得到所述第二子模型输出的所述指定推荐信息在所述展示位置的预估点击率、以及所述识别模型输出的所述指定推荐信息在所述展示位置的第二点击率，其中，所述预估模型用于预估所述用户针对所述指定推荐信息在所述展示位置的点击率；
第二训练模块，用于确定所述训练样本在所述展示位置的实际点击率作为所述预估模型的标注信息，根据所述样本标注、所述预估点击率、所述第一点击率以及所述第二点击率中的若干种，对所述预估模型进行训练。
8.一种信息提供的装置，其特征在于，所述装置包括：
第二获取模块，用于获取用户的信息以及若干个推荐信息；
预估模块，用于针对各推荐信息，将所述用户的信息以及该推荐信息输入预估模型，得到所述预估模型输出的该推荐信息在预设的指定数量个展示位置的点击率；
确定模块，用于根据每个推荐信息在所述指定数量个展示位置的点击率，分别确定每个展示位置对应的推荐信息；
提供模块，用于将每个展示位置对应的推荐信息提供给所述用户。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-5或6任一所述的方法。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1-5或6任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110203945.3A CN112966577B (zh) | 2021-02-23 | 2021-02-23 | 一种模型训练以及信息提供的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110203945.3A CN112966577B (zh) | 2021-02-23 | 2021-02-23 | 一种模型训练以及信息提供的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112966577A true CN112966577A (zh) | 2021-06-15 |
| CN112966577B CN112966577B (zh) | 2022-04-01 |
Family
ID=76285827
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110203945.3A Active CN112966577B (zh) | 2021-02-23 | 2021-02-23 | 一种模型训练以及信息提供的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112966577B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113919866A (zh) * | 2021-09-27 | 2022-01-11 | 北京字节跳动网络技术有限公司 | 模型训练方法、广告投放方法、装置、设备及存储介质 |
| CN114140723A (zh) * | 2021-12-01 | 2022-03-04 | 北京有竹居网络技术有限公司 | 多媒体数据的识别方法、装置、可读介质及电子设备 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100082421A1 (en) * | 2008-09-30 | 2010-04-01 | Yahoo! Inc. | Click through rate prediction system and method |
| CN103514178A (zh) * | 2012-06-18 | 2014-01-15 | 阿里巴巴集团控股有限公司 | 一种基于点击率的搜索排序方法及装置 |
| WO2015058558A1 (zh) * | 2013-10-23 | 2015-04-30 | 腾讯科技（深圳）有限公司 | 问题推荐方法、装置及系统 |
| CN107767174A (zh) * | 2017-10-19 | 2018-03-06 | 厦门美柚信息科技有限公司 | 一种广告点击率的预测方法及装置 |
| CN108122122A (zh) * | 2016-11-29 | 2018-06-05 | 腾讯科技（深圳）有限公司 | 广告投放方法和系统 |
| CN109582903A (zh) * | 2018-11-29 | 2019-04-05 | 广州市百果园信息技术有限公司 | 一种信息展示的方法、装置、设备和存储介质 |
| CN109992710A (zh) * | 2019-02-13 | 2019-07-09 | 网易传媒科技（北京）有限公司 | 点击率预估方法、系统、介质和计算设备 |
| CN110020173A (zh) * | 2017-12-29 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 用于优化搜索排序的方法、装置及电子设备 |
| CN110619095A (zh) * | 2019-09-23 | 2019-12-27 | 北京字节跳动网络技术有限公司 | 排序方法及装置 |
| CN110674399A (zh) * | 2019-09-10 | 2020-01-10 | 北京字节跳动网络技术有限公司 | 确定搜索项目的顺序的方法和装置 |
| CN111242690A (zh) * | 2020-01-14 | 2020-06-05 | 苏宁云计算有限公司 | 广告图片的测评方法、装置、存储介质及计算机设备 |
| CN111695037A (zh) * | 2020-06-11 | 2020-09-22 | 腾讯科技（北京）有限公司 | 基于人工智能的信息推荐方法、装置及电子设备 |
| CN111967899A (zh) * | 2020-07-31 | 2020-11-20 | 深圳市彬讯科技有限公司 | 商家线上广告投放方法、装置、计算机设备及存储介质 |
-
2021
- 2021-02-23 CN CN202110203945.3A patent/CN112966577B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100082421A1 (en) * | 2008-09-30 | 2010-04-01 | Yahoo! Inc. | Click through rate prediction system and method |
| CN103514178A (zh) * | 2012-06-18 | 2014-01-15 | 阿里巴巴集团控股有限公司 | 一种基于点击率的搜索排序方法及装置 |
| WO2015058558A1 (zh) * | 2013-10-23 | 2015-04-30 | 腾讯科技（深圳）有限公司 | 问题推荐方法、装置及系统 |
| CN108122122A (zh) * | 2016-11-29 | 2018-06-05 | 腾讯科技（深圳）有限公司 | 广告投放方法和系统 |
| CN107767174A (zh) * | 2017-10-19 | 2018-03-06 | 厦门美柚信息科技有限公司 | 一种广告点击率的预测方法及装置 |
| CN110020173A (zh) * | 2017-12-29 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 用于优化搜索排序的方法、装置及电子设备 |
| CN109582903A (zh) * | 2018-11-29 | 2019-04-05 | 广州市百果园信息技术有限公司 | 一种信息展示的方法、装置、设备和存储介质 |
| CN109992710A (zh) * | 2019-02-13 | 2019-07-09 | 网易传媒科技（北京）有限公司 | 点击率预估方法、系统、介质和计算设备 |
| CN110674399A (zh) * | 2019-09-10 | 2020-01-10 | 北京字节跳动网络技术有限公司 | 确定搜索项目的顺序的方法和装置 |
| CN110619095A (zh) * | 2019-09-23 | 2019-12-27 | 北京字节跳动网络技术有限公司 | 排序方法及装置 |
| CN111242690A (zh) * | 2020-01-14 | 2020-06-05 | 苏宁云计算有限公司 | 广告图片的测评方法、装置、存储介质及计算机设备 |
| CN111695037A (zh) * | 2020-06-11 | 2020-09-22 | 腾讯科技（北京）有限公司 | 基于人工智能的信息推荐方法、装置及电子设备 |
| CN111967899A (zh) * | 2020-07-31 | 2020-11-20 | 深圳市彬讯科技有限公司 | 商家线上广告投放方法、装置、计算机设备及存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113919866A (zh) * | 2021-09-27 | 2022-01-11 | 北京字节跳动网络技术有限公司 | 模型训练方法、广告投放方法、装置、设备及存储介质 |
| CN113919866B (zh) * | 2021-09-27 | 2024-02-13 | 抖音视界有限公司 | 模型训练方法、广告投放方法、装置、设备及存储介质 |
| CN114140723A (zh) * | 2021-12-01 | 2022-03-04 | 北京有竹居网络技术有限公司 | 多媒体数据的识别方法、装置、可读介质及电子设备 |
| CN114140723B (zh) * | 2021-12-01 | 2023-07-04 | 北京有竹居网络技术有限公司 | 多媒体数据的识别方法、装置、可读介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112966577B (zh) | 2022-04-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110674408B (zh) | 业务平台、训练样本的实时生成方法及装置 | |
| CN111144126A (zh) | 一种语义分析模型的训练方法、语义分析方法及装置 | |
| CN112966577B (zh) | 一种模型训练以及信息提供的方法及装置 | |
| CN113688313A (zh) | 一种预测模型的训练方法、信息推送的方法及装置 | |
| CN112966186A (zh) | 一种模型训练和信息推荐的方法及装置 | |
| CN112308113A (zh) | 一种基于半监督的目标识别方法、设备及介质 | |
| CN114332873A (zh) | 一种识别模型的训练方法及装置 | |
| CN115238826B (zh) | 一种模型训练的方法、装置、存储介质及电子设备 | |
| CN112733024A (zh) | 一种信息推荐的方法及装置 | |
| CN111191132B (zh) | 一种信息推荐方法、装置及电子设备 | |
| CN110033092B (zh) | 数据标签生成、模型训练、事件识别方法和装置 | |
| CN111368902A (zh) | 一种数据标注的方法及装置 | |
| CN107577660B (zh) | 类目信息识别方法、装置及服务器 | |
| CN113988162A (zh) | 模型训练及图像识别方法、装置、存储介质及电子设备 | |
| CN113641894A (zh) | 一种信息推荐的方法及装置 | |
| CN113886033A (zh) | 一种任务处理的方法及装置 | |
| CN116188895A (zh) | 一种模型训练的方法、装置、存储介质及电子设备 | |
| CN113343085B (zh) | 一种信息推荐方法、装置、存储介质及电子设备 | |
| CN114331602A (zh) | 一种基于迁移学习的模型训练方法、信息推荐方法及装置 | |
| CN114926437A (zh) | 一种图像质量评价方法及装置 | |
| CN113344590A (zh) | 一种模型训练以及投诉率预估的方法及装置 | |
| CN113343132A (zh) | 一种模型训练的方法、信息展示的方法及装置 | |
| CN112417275A (zh) | 一种信息提供的方法、装置存储介质及电子设备 | |
| CN113344078A (zh) | 一种模型训练的方法及装置 | |
| CN112287130A (zh) | 一种图形题目的搜索方法、装置以及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221031 Address after: 100102 4th floor 01, building 6, courtyard 6, Wangjing East Road, Chaoyang District, Beijing Patentee after: Beijing Sankuai Network Technology Co.,Ltd. Patentee after: BEIJING SANKUAI ONLINE TECHNOLOGY Co.,Ltd. Address before: 100080 2106-030, 9 North Fourth Ring Road, Haidian District, Beijing. Patentee before: BEIJING SANKUAI ONLINE TECHNOLOGY Co.,Ltd. |