CN111581546B - 多媒体资源排序模型的确定方法、装置、服务器及介质 - Google Patents
多媒体资源排序模型的确定方法、装置、服务器及介质 Download PDFInfo
- Publication number
- CN111581546B CN111581546B CN202010402149.8A CN202010402149A CN111581546B CN 111581546 B CN111581546 B CN 111581546B CN 202010402149 A CN202010402149 A CN 202010402149A CN 111581546 B CN111581546 B CN 111581546B
- Authority
- CN
- China
- Prior art keywords
- model
- multimedia
- multimedia resource
- resources
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9538—Presentation of query results
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开关于一种多媒体资源排序模型的确定方法、装置、服务器及介质，属于计算机技术领域。本公开提供的方案，通过使用第一多媒体资源排序模型和第二多媒体资源排序模型分别对多个多媒体资源发生互动操作的概率进行预测，确定基于不同模型进行推荐时，可能会被推荐给用户的多媒体资源，再结合这些多媒体资源真实发生的互动操作，来对比模型的性能，分别确定第一多媒体资源排序模型的第一性能值和第二多媒体资源排序模型的第二性能值，无需将待进行性能确定的第二多媒体资源排序模型上线来获取真实的互动操作，通过以往真实发生的互动操作及不同模型的预测情况，即可根据模型性能值找出性能更优的模型，缩短模型确定所需时间，提高模型确定效率。
Description
技术领域
本公开涉及计算机技术领域，尤其涉及一种多媒体资源排序模型的确定方法、装置、服务器及介质。
背景技术
近年来，由于深度学习超强的拟合能力以及端到端的全局优化能力，使得深度学习在多媒体内容理解这个场景中得到了越来越广泛的应用。在实际应用时，服务器可以对各种深度学习模型的性能进行确定，进而可以根据确定出的结果，将性能较好的深度学习模型作为最终上线使用的模型。
目前主要是直接将待进行性能确定的模型投放到线上进行AB测试，基于用户实际操作得到的数据来对模型的性能进行确定。例如，对于排序学习(Learn To Rank，LTR)模型，可以直接通过待进行性能确定的LTR模型来为要推荐给用户的内容项进行排序，根据排序结果对要推荐给用户的内容项进行展示，并基于用户对各个内容项的互动行为，来统计点击率等可以表征模型性能的信息，根据统计得到的结果，来对LTR模型的性能进行确定。
在上述实现过程中，将待进行性能确定的模型直接投放到线上来对该模型进行性能确定时，需要一定的时间才能得到统计结果，从而导致进行模型确定需要的时间较长，模型确定的效率较低。
发明内容
本公开提供一种多媒体资源排序模型的确定方法、装置、服务器及介质，以减少模型确定需要的时间，提高模型确定的效率。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种多媒体资源排序模型的确定方法，该方法包括：
获取多个多媒体资源对应的历史互动操作；
基于该多个多媒体资源，调用第一多媒体资源排序模型和第二多媒体资源排序模型进行预测，得到对该多个多媒体资源发生互动操作的第一概率和第二概率；
根据该多个多媒体资源的该第一概率和该第二概率，从该多个多媒体资源中，分别确定该第一多媒体资源排序模型对应的多个第一多媒体资源以及该第二多媒体资源排序模型对应的多个第二多媒体资源；
根据该多个第一多媒体资源、该多个第二多媒体资源以及对应的历史互动操作，分别确定该第一多媒体资源排序模型的第一性能值和该第二多媒体资源排序模型的第二性能值；
基于该第一性能值和该第二性能值，确定目标多媒体资源排序模型，该目标多媒体资源排序模型为该第一多媒体资源排序模型和该第二多媒体资源排序模型中性能值大的模型。
在一种可能的实现方式中，该根据该多个多媒体资源的该第一概率和该第二概率，从该多个多媒体资源中，分别确定该第一多媒体资源排序模型对应的多个第一多媒体资源以及该第二多媒体资源排序模型对应的多个第二多媒体资源包括：
对于该第一多媒体资源排序模型和该第二多媒体资源排序模型中任一个多媒体资源排序模型，按照该历史互动操作对应的会话，对该多媒体资源进行分组，将属于一个会话的多媒体资源作为一个小组；
对各个小组中的多个多媒体资源按照预测得到的发生互动操作的概率从大到小进行排序；
将各组中排序位于预设位置之前的多个多媒体资源，确定为该多媒体资源排序模型对应的多个多媒体资源。
在一种可能的实现方式中，该根据该多个第一多媒体资源、该多个第二多媒体资源以及对应的历史互动操作，分别确定该第一多媒体资源排序模型的第一性能值和该第二多媒体资源排序模型的第二性能值包括：
对于该第一多媒体资源排序模型和该第二多媒体资源排序模型中任一个多媒体资源排序模型，根据该多媒体资源排序模型对应的多个多媒体资源，以及对应的互动操作，确定各个小组中该多媒体资源排序模型对应的多个多媒体资源对应的互动操作统计值，该互动操作统计值用于表示该多媒体资源发生互动操作的次数；
将该互动操作统计值与对应小组中的多个多媒体资源对应的互动操作总数的比值，确定为该多媒体资源排序模型的性能值。
在一种可能的实现方式中，该将该互动操作统计值与对应小组中的多个多媒体资源对应的互动操作总数的比值，确定为该多媒体资源排序模型的性能值包括：
若该互动操作统计值对应于至少两种互动操作，则根据该至少两种互动操作的权重，确定该至少两种互动操作分别对应的互动操作统计值的目标互动操作统计值；
将该目标互动操作统计值与对应小组中的多个多媒体资源对应的互动操作总数的比值，确定为该多媒体资源排序模型的性能值。
在一种可能的实现方式中，该基于该第一性能值和该第二性能值，确定目标多媒体资源排序模型之后，该方法还包括：
若该第一多媒体资源排序模型为已上线模型，且该第二多媒体资源排序模型为该目标多媒体资源排序模型，则将该第一多媒体资源排序模型下线，将该第二多媒体资源排序模型上线。
根据本公开实施例的第二方面，提供一种多媒体资源排序模型的确定装置，该装置包括：
获取单元，被配置为执行获取多个多媒体资源对应的历史互动操作；
预测单元，被配置为执行基于该多个多媒体资源，调用第一多媒体资源排序模型和第二多媒体资源排序模型进行预测，得到对该多个多媒体资源发生互动操作的第一概率和第二概率；
多媒体资源确定单元，被配置为执行根据该多个多媒体资源的该第一概率和该第二概率，从该多个多媒体资源中，分别确定该第一多媒体资源排序模型对应的多个第一多媒体资源以及该第二多媒体资源排序模型对应的多个第二多媒体资源；
性能值确定单元，被配置为执行根据该多个第一多媒体资源、该多个第二多媒体资源以及对应的历史互动操作，分别确定该第一多媒体资源排序模型的第一性能值和该第二多媒体资源排序模型的第二性能值；
模型确定单元，被配置为执行基于该第一性能值和该第二性能值，确定目标多媒体资源排序模型，该目标多媒体资源排序模型为该第一多媒体资源排序模型和该第二多媒体资源排序模型中性能值大的模型。
在一种可能的实现方式中，该多媒体资源确定单元，被配置为执行对于该第一多媒体资源排序模型和该第二多媒体资源排序模型中任一个多媒体资源排序模型，按照该历史互动操作对应的会话，对该多媒体资源进行分组，将属于一个会话的多媒体资源作为一个小组，对各个小组中的多个多媒体资源按照预测得到的发生互动操作的概率从大到小进行排序，将各组中排序位于预设位置之前的多个多媒体资源，确定为该多媒体资源排序模型对应的多个多媒体资源。
在一种可能的实现方式中，该性能值确定单元包括互动操作统计值确定子单元和性能值确定子单元；
该互动操作统计值确定子单元，被配置为执行对于该第一多媒体资源排序模型和该第二多媒体资源排序模型中任一个多媒体资源排序模型，根据该多媒体资源排序模型对应的多个多媒体资源，以及对应的互动操作，确定各个小组中该多媒体资源排序模型对应的多个多媒体资源对应的互动操作统计值，该互动操作统计值用于表示该多媒体资源发生互动操作的次数；
该性能值确定子单元，被配置为执行将该互动操作统计值与对应小组中的多个多媒体资源对应的互动操作总数的比值，确定为该多媒体资源排序模型的性能值。
在一种可能的实现方式中，该性能值确定子单元，被配置为执行若该互动操作统计值对应于至少两种互动操作，则根据该至少两种互动操作的权重，确定该至少两种互动操作分别对应的互动操作统计值的目标互动操作统计值，将该目标互动操作统计值与对应小组中的多个多媒体资源对应的互动操作总数的比值，确定为该多媒体资源排序模型的性能值。
在一种可能的实现方式中，该装置还包括：
下线单元，被配置为执行若该第一多媒体资源排序模型为已上线模型，且该第二多媒体资源排序模型为该目标多媒体资源排序模型，则将该第一多媒体资源排序模型下线；
上线单元，被配置为执行将该第二多媒体资源排序模型上线。
根据本公开实施例的第三方面，提供一种服务器，该服务器包括：
一个或多个处理器；
用于存储该处理器可执行指令的存储器；
其中，该处理器被配置为执行该指令，以实现上述多媒体资源排序模型的确定方法。
根据本公开实施例的第四方面，提供一种存储介质，当该存储介质中的指令由服务器的处理器执行时，使得电子设备能够执行上述多媒体资源排序模型的确定方法。
根据本公开实施例的第五方面，提供一种应用程序产品，该应用程序产品存储有一条或多条指令，该一条或多条指令可以由服务器的处理器执行，以完成上述多媒体资源排序模型的确定方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
通过使用第一多媒体资源排序模型和第二多媒体资源排序模型分别对多个多媒体资源发生互动操作的概率进行预测，确定基于不同模型进行推荐时，可能会被推荐给用户的多媒体资源，再结合这些多媒体资源对应的真实发生的互动操作，来对比模型的性能，分别确定第一多媒体资源排序模型的第一性能值和第二多媒体资源排序模型的第二性能值，无需将待进行性能确定的第二多媒体资源排序模型上线来获取真实的互动操作，通过以往真实发生的互动操作以及不同模型的预测情况，即可根据模型的性能值找出性能更优的模型，缩短模型确定所需时间，提高模型确定效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种多媒体资源排序模型的确定方法的实施环境示意图；
图2是根据一示例性实施例示出的一种多媒体资源排序模型的确定方法的流程图；
图3是根据一示例性实施例示出的一种多媒体资源排序模型的确定方法的流程图；
图4是根据一示例性实施例示出的一种多媒体资源排序模型的确定装置的框图；
图5是根据一示例性实施例示出的一种服务器500的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开所涉及的用户信息可以为经用户授权或者经过各方充分授权的信息。
图1是根据一示例性实施例示出的一种多媒体资源排序模型的确定方法的实施环境示意图，参见图1，该实施环境具体包括：终端101和服务器102。
终端101可以为智能手机、智能手表、手提电脑、MP3播放器、MP4播放器和膝上型便携计算机等设备中的至少一种。终端101上可以安装并运行有各类应用程序，如视频观看类应用程序、浏览器类应用程序等，用户可以通过终端101来实现搜索、推荐等各类功能。终端101可以通过有线网络或无线网络与服务器102相连，终端101可以响应于用户的操作，向服务器102发送对应的请求，并接收服务器102返回的数据，进而根据接收到的数据为用户展示搜索、推荐的结果。终端101可以获取用户的互动操作，并将获取到的互动操作发送给服务器102，以便服务器102对用户的互动操作进行存储。终端101可以泛指多个终端中的一个，本实施例仅以终端101来举例说明。本领域技术人员可以知晓，上述终端的数量可以更多或更少。比如上述终端可以仅为几个，或者上述终端为几十个或几百个，或者更多数量，本公开实施例对终端的数量和设备类型均不加以限定。
服务器102可以为一台服务器、多台服务器、云服务器、云计算平台和虚拟化中心中的至少一种。服务器102可以维护有一个用户行为数据库，用于存储各个用户的互动操作，服务器102可以根据这些互动操作，从至少两个多媒体资源排序模型中，确定出性能最优的多媒体资源排序模型。服务器102可以通过有线网络或无线网络与终端101相连，服务器102可以接收终端101发送的请求，并通过性能最优的多媒体资源排序模型，根据该请求确定出各个多媒体资源的排序以及推荐给用户的多媒体资源，并将确定出的多媒体资源和排序结果发送给终端101，以便终端101根据接收到的结果为用户展示推荐、搜索的结果。可选地，上述服务器的数量可以更多或更少，本公开实施例对此不加以限定。当然，服务器102还可以包括其他功能服务器，以便提供更全面且多样化的服务。
图2是根据一示例性实施例示出的一种多媒体资源排序模型的确定方法的流程图，参见图2，应用于服务器，该方法的具体步骤包括：
在步骤S201中，获取多个多媒体资源对应的历史互动操作。
在步骤S202中，基于该多个多媒体资源，调用第一多媒体资源排序模型和第二多媒体资源排序模型进行预测，得到对该多个多媒体资源发生互动操作的第一概率和第二概率。
在步骤S203中，根据该多个多媒体资源的该第一概率和该第二概率，从该多个多媒体资源中，分别确定该第一多媒体资源排序模型对应的多个第一多媒体资源以及该第二多媒体资源排序模型对应的多个第二多媒体资源。
在步骤S204中，根据该多个第一多媒体资源、该多个第二多媒体资源以及对应的历史互动操作，分别确定该第一多媒体资源排序模型的第一性能值和该第二多媒体资源排序模型的第二性能值。
在步骤S205中，基于该第一性能值和该第二性能值，确定目标多媒体资源排序模型，该目标多媒体资源排序模型为该第一多媒体资源排序模型和该第二多媒体资源排序模型中性能值大的模型。
本公开实施例提供的方案，通过使用第一多媒体资源排序模型和第二多媒体资源排序模型分别对多个多媒体资源发生互动操作的概率进行预测，确定基于不同模型进行推荐时，可能会被推荐给用户的多媒体资源，再结合这些多媒体资源对应的真实发生的互动操作，来对比模型的性能，分别确定第一多媒体资源排序模型的第一性能值和第二多媒体资源排序模型的第二性能值，无需将待进行性能确定的第二多媒体资源排序模型上线来获取真实的互动操作，通过以往真实发生的互动操作以及不同模型的预测情况，即可根据模型的性能值找出性能更优的模型，缩短模型确定所需时间，提高模型确定效率。
在一种可能的实现方式中，该根据该多个多媒体资源的该第一概率和该第二概率，从该多个多媒体资源中，分别确定该第一多媒体资源排序模型对应的多个第一多媒体资源以及该第二多媒体资源排序模型对应的多个第二多媒体资源包括：
对于该第一多媒体资源排序模型和该第二多媒体资源排序模型中任一个多媒体资源排序模型，按照该历史互动操作对应的会话，对该多媒体资源进行分组，将属于一个会话的多媒体资源作为一个小组；
对各个小组中的多个多媒体资源按照预测得到的发生互动操作的概率从大到小进行排序；
将各组中排序位于预设位置之前的多个多媒体资源，确定为该多媒体资源排序模型对应的多个多媒体资源。
在一种可能的实现方式中，该根据该多个第一多媒体资源、该多个第二多媒体资源以及对应的历史互动操作，分别确定该第一多媒体资源排序模型的第一性能值和该第二多媒体资源排序模型的第二性能值包括：
对于该第一多媒体资源排序模型和该第二多媒体资源排序模型中任一个多媒体资源排序模型，根据该多媒体资源排序模型对应的多个多媒体资源，以及对应的互动操作，确定各个小组中该多媒体资源排序模型对应的多个多媒体资源对应的互动操作统计值，该互动操作统计值用于表示该多媒体资源发生互动操作的次数；
将该互动操作统计值与对应小组中的多个多媒体资源对应的互动操作总数的比值，确定为该多媒体资源排序模型的性能值。
在一种可能的实现方式中，该将该互动操作统计值与对应小组中的多个多媒体资源对应的互动操作总数的比值，确定为该多媒体资源排序模型的性能值包括：
若该互动操作统计值对应于至少两种互动操作，则根据该至少两种互动操作的权重，确定该至少两种互动操作分别对应的互动操作统计值的目标互动操作统计值；
将该目标互动操作统计值与对应小组中的多个多媒体资源对应的互动操作总数的比值，确定为该多媒体资源排序模型的性能值。
在一种可能的实现方式中，该基于该第一性能值和该第二性能值，确定目标多媒体资源排序模型之后，该方法还包括：
若该第一多媒体资源排序模型为已上线模型，且该第二多媒体资源排序模型为该目标多媒体资源排序模型，则将该第一多媒体资源排序模型下线，将该第二多媒体资源排序模型上线。
图3是根据一示例性实施例示出的一种多媒体资源排序模型的确定方法的流程图，参见图3，该方法包括：
在步骤S301中，服务器获取多个多媒体资源对应的历史互动操作。
需要说明的是，该多媒体资源可以包括视频、链接、图片等多种类型，本公开实施例对此不加以限定。服务器可以维护有一个用户行为数据库，用于存储多个用户在多个多媒体资源上的互动操作，该互动操作的具体操作可以包括点击(Click)、点赞(Like)、关注(Follow)，该互动操作的具体操作还可以包括多种其他类型的操作，本公开实施例对此不加以限定。在用户行为数据库中，该互动操作的操作信息可以包括用户标识(User)、互动操作对应的多媒体资源、互动操作对应的会话(Session)、互动操作的具体操作，可选地，该互动操作的操作信息还可以包括其他内容，本公开实施例对此不加以限定。以该互动操作对应的多媒体资源可以为视频图片(Photo)为例，则该互动操作可以具体表示为下述操作信息<User，Photo，Session，Click，Like，Follow>。
其中，该互动操作的操作信息可以记录在数据表中，以数据表的形式存储在用户行为数据库中，数据表结构便于分条存储，方便后续查询以及排序过程。该互动操作的操作信息可以作为后续步骤使用的历史互动操作记录，用于存储历史互动操作的数据表可以记为tabledata，数据表tabledata的具体格式可以如下表1所示：
表1
在一种可能的实现方式中，服务器可以响应于相关技术人员的操作，从用户行为数据库中获取当前时刻对应的一个历史时间段内，也即是预设时长内的多个多媒体资源对应的用户的互动操作，作为历史互动操作。该预设时长可以为任意取值，本公开实施例对此不加以限定。
通过获取当前时刻以前的一段历史时间段内的数据，可以保证数据的实时性，获取到的数据所反映的规律也更加具有实时性，以便进行模型确定时使用的数据更加符合当前的实际情况，提高模型确定的准确性。
在步骤S302中，服务器基于该多个多媒体资源，调用第一多媒体资源排序模型和第二多媒体资源排序模型进行预测，得到对该多个多媒体资源发生互动操作的第一概率和第二概率。
需要说明的是，该第一多媒体资源排序模型和第二多媒体资源排序模型均可以用于对多媒体内容进行理解，例如，该第一多媒体资源排序模型和第二多媒体资源排序模型均可以用于推荐、搜索等场景中来对多媒体内容进行理解，以便基于不同的用户以往浏览的多媒体内容，来为推荐、搜索的各个结果进行排序，以便将用户感兴趣的可能性较高的结果优先展示给用户，增加用户粘性。其中，该第一多媒体资源排序模型可以为已上线模型，也即是原始模型，该第一多媒体资源排序模型可以用modelA表示，该第二多媒体资源排序模型可以为未上线模型，也即是待评估的模型，该第二多媒体资源排序模型可以用modelB表示。
在一种可能的实现方式中，服务器可以根据互动操作对应的日期，将获取到的互动操作作为特征数据，分别输入到第一多媒体资源排序模型和第二多媒体资源排序模型，通过第一多媒体资源排序模型和第二多媒体资源排序模型，分别预测出多个多媒体资源发生互动操作的第一概率和第二概率。通过第一多媒体资源排序模型和第二多媒体资源排序模型，可以基于用户以往的浏览或搜索的喜好，预测出用户对各个多媒体资源排序模型推荐的多媒体资源发生互动操作的概率，以便后续基于预测得到的概率来确定各个多媒体资源排序模型要推荐给用户的多媒体资源，并基于要推荐给用户的多媒体资源以及对应的发生互动操作的概率，来对各个多媒体资源排序模型的性能进行比较。
其中，输入第一多媒体资源排序模型的特征数据可以作为featureA，输入第一多媒体资源排序模型的特征数据可以作为featureB，输入多媒体资源排序模型的数据格式可以为<User，Photo，feature>，预测得到的发生互动操作的概率可以记为Predict，这些数据可以记录在数据表中，该数据表可以记为tablepredict，第一多媒体资源排序模型和第二多媒体资源排序模型的预测结果可以分别记录在两个数据表中，这两个数据表的格式相同，对于二者中的任一个数据表，该数据表tablepredict的具体格式可以如下表2所示：
表2
需要说明的是，服务器可以使用与结构化查询语言(Structured QueryLanguage，SQL)中左外连接(left join)类似的拼接方法，将User和Photo作为拼接的关键字，来对tablepredict中的数据与tabledata中的数据进行拼接，形成新的数据表tablejoin，拼接条件为：
data.User＝predict.User and data.Photo＝predict.User
其中，data为tabledata中的数据，predict为tablepredict中的数据，拼接后得到的数据表tablejoin中的数据格式可以为<User，Photo，Session，Click，Like，Follow，Predict>。
需要说明的是，在对记录发生互动操作的概率的数据表和记录历史互动操作的数据表进行拼接时，需要对第一多媒体资源排序模型记录发生互动操作的概率的数据表和第二多媒体资源排序模型记录发生互动操作的概率的数据表，分别与记录历史互动操作的数据表进行拼接，分别得到第一多媒体资源排序模型和第二多媒体资源排序模型对应的拼接后的数据表，这两个拼接后的数据表的格式相同，对于二者中的任一个数据表，最终得到的数据表tablejoin的具体格式可以如下表3所示：
表3
在步骤S303中，对于该第一多媒体资源排序模型和该第二多媒体资源排序模型中任一个多媒体资源排序模型，服务器按照该历史互动操作对应的会话，对该多媒体资源进行分组，将属于一个会话的多媒体资源作为一个小组。
需要说明的是，会话(Session)用于存储特定用户所需的属性及配置信息。当用户在应用程序的全球广域网(World Wide Web，Web)页之间跳转时，存储在Session对象中的变量将不会丢失，而是在用户的使用过程中一直存在下去。当用户请求来自应用程序的Web页时，如果该用户还没有会话，则Web服务器将自动创建一个Session对象。当会话过期或被放弃后，服务器可以终止该会话。将属于一个会话的多媒体资源划分为一个小组，便于服务器针对不同的浏览界面来对各个多媒体资源发生互动操作的情况进行统计，将属于同一个浏览界面的互动操作情况统计到一起，以便后续基于同一个浏览界面中的多媒体资源对应的发生互动操作的次数，来确定各个多媒体资源排序模型的性能。
在步骤S304中，服务器对各个小组中的多个多媒体资源按照预测得到的发生互动操作的概率从大到小进行排序。
在一种可能的实现方式中，服务器可以对第一多媒体资源排序模型和第二多媒体资源排序模型中任一个多媒体资源排序模型对应的拼接后的数据表tablejoin中的数据，按照发生互动操作的概率Predict由大到小的顺序对各个小组中的互动操作数据进行组内排序，得到各条互动操作数据对应的排序序号(Rank)。例如，对于上述表3中的数据，排序后的结果如下表4所示：
表4
在步骤S305中，服务器将各组中排序位于预设位置之前的多个多媒体资源，确定为该多媒体资源排序模型对应的多个多媒体资源，得到该第一多媒体资源排序模型对应的多个第一多媒体资源以及该第二多媒体资源排序模型对应的多个第二多媒体资源。
需要说明的是，对于每个分组中的多媒体资源，服务器将各组中排序位于预设位置之前的多个多媒体资源，确定为该多媒体资源排序模型对应的多个多媒体资源，也即是，服务器可以仅保留各个分组中的topk个样本，并基于这tpok个样本，形成一个新的数据表，该数据表可以记为tabletopk。其中，k可以为大于0的任意整数，也即是，该预设位置可以为排序序号为任意值的位置，本公开对此不加以限定。例如，该预设位置可以为排序序号为1的位置，仅保留各个分组中的排序位于第一位的1个样本，则该数据表tabletopk的具体格式可以如下表5所示：
表5
在步骤S306中，服务器根据该多媒体资源排序模型对应的多个多媒体资源，以及对应的互动操作，确定各个小组中该多媒体资源排序模型对应的多个多媒体资源对应的互动操作统计值，该互动操作统计值用于表示该多媒体资源发生互动操作的次数。
在一种可能的实现方式中，服务器可以根据各组中多个第一多媒体资源以及对应的某个类型的互动操作，确定各组中多个第一多媒体资源发生这种类型的互动操作次数的总和，作为该多个第一多媒体资源对应的互动操作统计值，同理，确定多个第二多媒体资源发生这种类型的互动操作次数的总和，作为该第二多媒体资源对应的互动操作统计值。
需要说明的是，该互动操作统计值可以对应于一种类型的互动操作，还可以对应于多种类型的互动操作统计值。在其他可能的实现方式中，若该互动操作统计值对应于至少两种互动操作，则服务器可以根据该至少两种互动操作的权重，确定该至少两种互动操作分别对应的互动操作统计值的目标互动操作统计值。例如，该互动操作统计值对应于点击、点赞和关注三种操作，则服务器可以根据点击、点赞和关注这三种操作分别对应的权重，对点击、点赞和关注这三种操作对应的互动操作统计值加权求和，得到点击、点赞和关注这三种操作对应的加权后的目标互动操作统计值。
在步骤S307中，服务器将该互动操作统计值与对应小组中的多个多媒体资源对应的互动操作总数的比值，确定为该多媒体资源排序模型的性能值，得到该第一多媒体资源排序模型的第一性能值和该第二多媒体资源排序模型的第二性能值。
在一种可能的实现方式中，服务器可以将各组中多个第一多媒体资源对应的互动操作统计值与该组中多个第一多媒体资源对应的互动操作总数的比值，确定为第一多媒体资源排序模型的第一性能值，同理，将各组中多个第二多媒体资源对应的互动操作统计值与该组中多个第二多媒体资源对应的互动操作总数的比值，确定为第二多媒体资源排序模型的第二性能值。
需要说明的是，对于第一多媒体资源排序模型和第二多媒体资源排序模型中任一个多媒体资源排序模型，该性能值可以是以用户行为作为收益统计得到的。例如，该性能值可以是点击率(Click Through Rate，CTR)，可选地，该性能值还可以是点赞率、关注率等，本公开实施例对此不加以限定。若该性能值为点击率，则该性能值的计算公式可以表示为：
其中，sum(Click)可以表示各组中多媒体资源排序模型对应的多个多媒体资源对应的互动操作统计值，#Click可以表示各组中多媒体资源排序模型对应的多个多媒体资源对应的互动操作总数的比值。
通过使用某段时间内用户的真实行为表现作为回报，来确定第一多媒体资源排序模型和第二多媒体资源排序模型排序结果的收益大小，也即是，在相同的行为数据下，如果第二多媒体资源排序模型比第一多媒体资源排序模型效果好，那么相同排序序号下第二多媒体资源排序模型对应的小组的性能值应该大于第一多媒体资源排序模型对应的小组的性能值。例如，对于点击率来说，可以通过后验的方式知道一个小组中被点击及未被点击的多媒体资源，如果第二多媒体资源排序模型比第一多媒体资源排序模型效果好，那么相同排序序号下第二多媒体资源排序模型对应的小组的点击率应该大于第一多媒体资源排序模型对应的小组的点击率。通过真实发生的互动操作来对比模型的性能，还可以避免通过其他模型直接进行线下测试来决定是否上线模型带来的模型线上线下效果不一致的情况，提高模型确定的准确性。
需要说明的是，服务器可以将计算得到的第一多媒体资源排序模型中各个小组对应的第一多媒体资源排序模型的性能值，按照排序序号从小到大的顺序，记录在一个数据表中，该数据表可以记为tablescore-A，将计算得到的第二多媒体资源排序模型中各个小组对应的第二多媒体资源排序模型的性能值，按照排序序号从小到大的顺序，记录在另一个数据表中，该数据表可以记为tablescore-B。
在其他可能的实现方式中，若该互动操作统计值对应于至少两种互动操作，则服务器可以基于步骤306中确定出的目标互动操作统计值，将该目标互动操作统计值与对应小组中的多个多媒体资源对应的互动操作总数的比值，确定为该多媒体资源排序模型的性能值。例如，该互动操作统计值对应于点击、点赞和关注三种操作，则服务器可以将点击、点赞和关注这三种操作对应的加权后的目标互动操作统计值与对应小组中的多个多媒体资源对应的互动操作总数的比值，确定为该多媒体资源排序模型的性能值。
通过两种互动操作分别对应的互动操作统计值来确定目标互动操作统计值，进而确定多媒体资源排序模型的性能值，可以确定出多媒体资源排序模型的综合性能值，而不仅仅是针对用户的一种互动操作来确定多媒体资源排序模型的性能值，提高模型确定的准确性，使得确定出的模型综合性能较好。
在步骤S308中，服务器基于该第一性能值和该第二性能值，确定目标多媒体资源排序模型，该目标多媒体资源排序模型为该第一多媒体资源排序模型和该第二多媒体资源排序模型中性能值大的模型。
在一种可能的实现方式中，服务器可以对对应的排序序号下的小组的第一性能值与第二性能值的大小进行比较，将其中较大的性能值对应的多媒体资源排序模型，确定为目标多媒体资源排序模型。
需要说明的是，若该第一多媒体资源排序模型为已上线模型，且该第二多媒体资源排序模型为该目标多媒体资源排序模型，则服务器可以将该第一多媒体资源排序模型下线，将该第二多媒体资源排序模型上线。
通过根据多媒体资源排序模型的性能值来对已上线的多媒体资源排序模型进行调整，可以保证线上使用的多媒体资源排序模型的性能优于其他未被使用的多媒体资源排序模型的性能，保证模型预测的结果更符合用户的需求，增加用户粘性。
本公开实施例提供的方案，通过不同的多媒体资源排序模型分别对多个多媒体资源发生互动操作的概率进行预测，确定基于不同模型进行推荐时，可能会被推荐给用户的多媒体资源，再结合这些多媒体资源对应的真实发生的互动操作，基于线上真实数据来对比模型的性能，进而确定不同的多媒体资源排序模型的性能值，无需将待进行性能确定的多媒体资源排序模型上线来获取真实的互动操作，通过以往真实发生的互动操作以及不同模型的预测情况，即可根据模型的性能值找出性能更优的模型，缩短模型确定所需时间，提高模型确定效率。
图4是根据一示例性实施例示出的一种多媒体资源排序模型的确定装置的框图，参见图4，该装置包括：
获取单元401，被配置为执行获取多个多媒体资源对应的历史互动操作；
预测单元402，被配置为执行基于该多个多媒体资源，调用第一多媒体资源排序模型和第二多媒体资源排序模型进行预测，得到对该多个多媒体资源发生互动操作的第一概率和第二概率；
多媒体资源确定单元403，被配置为执行根据该多个多媒体资源的该第一概率和该第二概率，从该多个多媒体资源中，分别确定该第一多媒体资源排序模型对应的多个第一多媒体资源以及该第二多媒体资源排序模型对应的多个第二多媒体资源；
性能值确定单元404，被配置为执行根据该多个第一多媒体资源、该多个第二多媒体资源以及对应的历史互动操作，分别确定该第一多媒体资源排序模型的第一性能值和该第二多媒体资源排序模型的第二性能值；
模型确定单元405，被配置为执行基于该第一性能值和该第二性能值，确定目标多媒体资源排序模型，该目标多媒体资源排序模型为该第一多媒体资源排序模型和该第二多媒体资源排序模型中性能值大的模型。
本公开实施例提供的装置，通过使用第一多媒体资源排序模型和第二多媒体资源排序模型分别对多个多媒体资源发生互动操作的概率进行预测，确定基于不同模型进行推荐时，可能会被推荐给用户的多媒体资源，再结合这些多媒体资源对应的真实发生的互动操作，来对比模型的性能，分别确定第一多媒体资源排序模型的第一性能值和第二多媒体资源排序模型的第二性能值，无需将待进行性能确定的第二多媒体资源排序模型上线来获取真实的互动操作，通过以往真实发生的互动操作以及不同模型的预测情况，即可根据模型的性能值找出性能更优的模型，缩短模型确定所需时间，提高模型确定效率。
在一种可能的实现方式中，该多媒体资源确定单元403，被配置为执行对于该第一多媒体资源排序模型和该第二多媒体资源排序模型中任一个多媒体资源排序模型，按照该历史互动操作对应的会话，对该多媒体资源进行分组，将属于一个会话的多媒体资源作为一个小组，对各个小组中的多个多媒体资源按照预测得到的发生互动操作的概率从大到小进行排序，将各组中排序位于预设位置之前的多个多媒体资源，确定为该多媒体资源排序模型对应的多个多媒体资源。
在一种可能的实现方式中，该性能值确定单元404包括互动操作统计值确定子单元和性能值确定子单元；
该互动操作统计值确定子单元，被配置为执行对于该第一多媒体资源排序模型和该第二多媒体资源排序模型中任一个多媒体资源排序模型，根据该多媒体资源排序模型对应的多个多媒体资源，以及对应的互动操作，确定各个小组中该多媒体资源排序模型对应的多个多媒体资源对应的互动操作统计值，该互动操作统计值用于表示该多媒体资源发生互动操作的次数；
该性能值确定子单元，还被配置为执行将该互动操作统计值与对应小组中的多个多媒体资源对应的互动操作总数的比值，确定为该多媒体资源排序模型的性能值。
在一种可能的实现方式中，该性能值确定子单元，被配置为执行若该互动操作统计值对应于至少两种互动操作，则根据该至少两种互动操作的权重，确定该至少两种互动操作分别对应的互动操作统计值的目标互动操作统计值，将该目标互动操作统计值与对应小组中的多个多媒体资源对应的互动操作总数的比值，确定为该多媒体资源排序模型的性能值。
在一种可能的实现方式中，该装置还包括：
下线单元，被配置为执行若该第一多媒体资源排序模型为已上线模型，且该第二多媒体资源排序模型为该目标多媒体资源排序模型，则将该第一多媒体资源排序模型下线；
上线单元，被配置为执行将该第二多媒体资源排序模型上线。
图5是本公开实施例提供的一种服务器500的结构示意图，该服务器500可因配置或性能不同而产生比较大的差异，可以包括一个或多个处理器(Central ProcessingUnits，CP U)501和一个或多个的存储器502，其中，该一个或多个存储器502中存储有至少一条程序代码，该至少一条程序代码由该一个或多个处理器501加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器500还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器500还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器502，上述指令可由服务器500的处理器501执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，该非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品，包括一条或多条指令，该一条或多条指令可以由服务器的处理器501执行，以完成上述实施例中提供的多媒体资源排序模型的确定方法的方法步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (8)
1.一种多媒体资源排序模型的确定方法，其特征在于，所述方法包括：
获取多个多媒体资源对应的历史互动操作；
基于所述多个多媒体资源，调用第一多媒体资源排序模型和第二多媒体资源排序模型进行预测，得到对所述多个多媒体资源发生互动操作的第一概率和第二概率；
对于所述第一多媒体资源排序模型和所述第二多媒体资源排序模型中任一个多媒体资源排序模型，按照所述历史互动操作对应的会话，对所述多媒体资源进行分组，将属于一个会话的多媒体资源作为一个小组；
对各个小组中的多个多媒体资源按照预测得到的发生互动操作的概率从大到小进行排序；
将各组中排序位于预设位置之前的多个多媒体资源，确定为所述多媒体资源排序模型对应的多个多媒体资源；
对于所述第一多媒体资源排序模型和所述第二多媒体资源排序模型中任一个多媒体资源排序模型，根据所述多媒体资源排序模型对应的多个多媒体资源，以及对应的互动操作，确定各个小组中所述多媒体资源排序模型对应的多个多媒体资源对应的互动操作统计值，所述互动操作统计值用于表示所述多媒体资源发生互动操作的次数；
将所述第一多媒体资源排序模型的互动操作统计值与对应小组中的多个多媒体资源对应的互动操作总数的比值，确定为所述第一多媒体资源排序模型的第一性能值；
将所述第二多媒体资源排序模型的互动操作统计值与对应小组中的多个多媒体资源对应的互动操作总数的比值，确定为所述第二多媒体资源排序模型的第二性能值；
基于所述第一性能值和所述第二性能值，确定目标多媒体资源排序模型，所述目标多媒体资源排序模型为所述第一多媒体资源排序模型和所述第二多媒体资源排序模型中性能值大的模型。
2.根据权利要求1所述的方法，其特征在于，所述将所述第一多媒体资源排序模型的互动操作统计值与对应小组中的多个多媒体资源对应的互动操作总数的比值，确定为所述第一多媒体资源排序模型的第一性能值包括：
若所述第一多媒体资源排序模型的互动操作统计值对应于至少两种互动操作，则根据所述至少两种互动操作的权重，确定所述至少两种互动操作分别对应的互动操作统计值的目标互动操作统计值；
将所述目标互动操作统计值与对应小组中的多个多媒体资源对应的互动操作总数的比值，确定为所述第一多媒体资源排序模型的第一性能值。
3.根据权利要求1所述的方法，其特征在于，所述基于所述第一性能值和所述第二性能值，确定目标多媒体资源排序模型之后，所述方法还包括：
若所述第一多媒体资源排序模型为已上线模型，且所述第二多媒体资源排序模型为所述多媒体资源排序模型，则将所述第一多媒体资源排序模型下线，将所述第二多媒体资源排序模型上线。
4.一种多媒体资源排序模型的确定装置，其特征在于，所述装置包括：
获取单元，被配置为执行获取多个多媒体资源对应的历史互动操作；
预测单元，被配置为执行基于所述多个多媒体资源，调用第一多媒体资源排序模型和第二多媒体资源排序模型进行预测，得到对所述多个多媒体资源发生互动操作的第一概率和第二概率；
多媒体资源确定单元，被配置为执行对于所述第一多媒体资源排序模型和所述第二多媒体资源排序模型中任一个多媒体资源排序模型，按照所述历史互动操作对应的会话，对所述多媒体资源进行分组，将属于一个会话的多媒体资源作为一个小组，对各个小组中的多个多媒体资源按照预测得到的发生互动操作的概率从大到小进行排序，将各组中排序位于预设位置之前的多个多媒体资源，确定为所述多媒体资源排序模型对应的多个多媒体资源；
性能值确定单元，被配置为执行对于所述第一多媒体资源排序模型和所述第二多媒体资源排序模型中任一个多媒体资源排序模型，根据所述多媒体资源排序模型对应的多个多媒体资源，以及对应的互动操作，确定各个小组中所述多媒体资源排序模型对应的多个多媒体资源对应的互动操作统计值，所述互动操作统计值用于表示所述多媒体资源发生互动操作的次数；将所述第一多媒体资源排序模型的互动操作统计值与对应小组中的多个多媒体资源对应的互动操作总数的比值，确定为所述第一多媒体资源排序模型的第一性能值；将所述第二多媒体资源排序模型的互动操作统计值与对应小组中的多个多媒体资源对应的互动操作总数的比值，确定为所述第二多媒体资源排序模型的第二性能值；
模型确定单元，被配置为执行基于所述第一性能值和所述第二性能值，确定目标多媒体资源排序模型，所述目标多媒体资源排序模型为所述第一多媒体资源排序模型和所述第二多媒体资源排序模型中性能值大的模型。
5.根据权利要求4所述的装置，其特征在于，所述性能值确定子单元，被配置为执行若所述互动操作统计值对应于至少两种互动操作，则根据所述至少两种互动操作的权重，确定所述至少两种互动操作分别对应的互动操作统计值的目标互动操作统计值，将所述目标互动操作统计值与对应小组中的多个多媒体资源对应的互动操作总数的比值，确定为所述多媒体资源排序模型的性能值。
6.根据权利要求4所述的装置，其特征在于，所述装置还包括：
下线单元，被配置为执行若所述第一多媒体资源排序模型为已上线模型，且所述第二多媒体资源排序模型为所述目标多媒体资源排序模型，则将所述第一多媒体资源排序模型下线；
上线单元，被配置为执行将所述第二多媒体资源排序模型上线。
7.一种服务器，其特征在于，所述服务器包括：
一个或多个处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至3中任一项所述的多媒体资源排序模型的确定方法。
8.一种存储介质，其特征在于，当所述存储介质中的指令由服务器的处理器执行时，使得服务器能够执行如权利要求1至3中任一项所述的多媒体资源排序模型的确定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010402149.8A CN111581546B (zh) | 2020-05-13 | 2020-05-13 | 多媒体资源排序模型的确定方法、装置、服务器及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010402149.8A CN111581546B (zh) | 2020-05-13 | 2020-05-13 | 多媒体资源排序模型的确定方法、装置、服务器及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111581546A CN111581546A (zh) | 2020-08-25 |
| CN111581546B true CN111581546B (zh) | 2023-10-03 |
Family
ID=72112244
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010402149.8A Active CN111581546B (zh) | 2020-05-13 | 2020-05-13 | 多媒体资源排序模型的确定方法、装置、服务器及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111581546B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106777088A (zh) * | 2016-12-13 | 2017-05-31 | 飞狐信息技术（天津）有限公司 | 快速迭代的搜索引擎排序方法及系统 |
| CN107273436A (zh) * | 2017-05-24 | 2017-10-20 | 北京京东尚科信息技术有限公司 | 一种推荐模型的训练方法和训练装置 |
| CN107590176A (zh) * | 2017-07-31 | 2018-01-16 | 北京奇艺世纪科技有限公司 | 一种评价指标的获得方法、装置及电子设备 |
| CN110046713A (zh) * | 2019-04-19 | 2019-07-23 | 井冈山大学 | 基于多目标粒子群优化的鲁棒性排序学习方法及其应用 |
| CN111143543A (zh) * | 2019-12-04 | 2020-05-12 | 北京达佳互联信息技术有限公司 | 一种对象推荐方法、装置、设备及介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2640639C2 (ru) * | 2015-11-17 | 2018-01-10 | Общество С Ограниченной Ответственностью "Яндекс" | Способ и система обработки поискового запроса |
-
2020
- 2020-05-13 CN CN202010402149.8A patent/CN111581546B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106777088A (zh) * | 2016-12-13 | 2017-05-31 | 飞狐信息技术（天津）有限公司 | 快速迭代的搜索引擎排序方法及系统 |
| CN107273436A (zh) * | 2017-05-24 | 2017-10-20 | 北京京东尚科信息技术有限公司 | 一种推荐模型的训练方法和训练装置 |
| CN107590176A (zh) * | 2017-07-31 | 2018-01-16 | 北京奇艺世纪科技有限公司 | 一种评价指标的获得方法、装置及电子设备 |
| CN110046713A (zh) * | 2019-04-19 | 2019-07-23 | 井冈山大学 | 基于多目标粒子群优化的鲁棒性排序学习方法及其应用 |
| CN111143543A (zh) * | 2019-12-04 | 2020-05-12 | 北京达佳互联信息技术有限公司 | 一种对象推荐方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111581546A (zh) | 2020-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210326729A1 (en) | Recommendation Model Training Method and Related Apparatus | |
| CN107451199B (zh) | 问题推荐方法及装置、设备 | |
| US9436707B2 (en) | Content-based image ranking | |
| US8290927B2 (en) | Method and apparatus for rating user generated content in search results | |
| CN110909182B (zh) | 多媒体资源搜索方法、装置、计算机设备及存储介质 | |
| US20190340199A1 (en) | Methods and Systems for Identifying, Selecting, and Presenting Media-Content Items Related to a Common Story | |
| CN111159563B (zh) | 用户兴趣点信息的确定方法、装置、设备及存储介质 | |
| EP2724267A1 (en) | Search method and apparatus | |
| US8825698B1 (en) | Showing prominent users for information retrieval requests | |
| CN112115354B (zh) | 信息处理方法、装置、服务器及存储介质 | |
| CN113626638A (zh) | 短视频推荐处理方法、装置、智能终端及存储介质 | |
| CN116955817A (zh) | 内容推荐方法、装置、电子设备以及存储介质 | |
| CN111581546B (zh) | 多媒体资源排序模型的确定方法、装置、服务器及介质 | |
| CN116680480A (zh) | 产品推荐方法、装置、电子设备及可读存储介质 | |
| CN113901324A (zh) | 一种搜索对象排序方法、装置、设备及存储介质 | |
| CN111078972B (zh) | 提问行为数据的获取方法、装置和服务器 | |
| CN113076395A (zh) | 语义模型训练、搜索显示方法、装置、设备及存储介质 | |
| CN112035740A (zh) | 项目使用时长预测方法、装置、设备及存储介质 | |
| CN112256719A (zh) | 实体查询方法、装置、可读介质与电子设备 | |
| CN110147488A (zh) | 页面内容的处理方法、处理装置、计算设备及存储介质 | |
| CN114201642B (zh) | 一种媒体内容推荐方法、装置、电子设备及存储介质 | |
| CN113609266B (zh) | 资源处理方法以及装置 | |
| CN113377831B (zh) | 资源数据查询方法、装置、电子设备以及存储介质 | |
| CN117725273B (zh) | 样本标签生成方法、装置、计算机设备和存储介质 | |
| CN113468405B (zh) | 数据搜索方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |