CN114817709A - 排序方法、装置、设备及计算机可读存储介质 - Google Patents

排序方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN114817709A
CN114817709A CN202210363764.1A CN202210363764A CN114817709A CN 114817709 A CN114817709 A CN 114817709A CN 202210363764 A CN202210363764 A CN 202210363764A CN 114817709 A CN114817709 A CN 114817709A
Authority
CN
China
Prior art keywords
vector
negative feedback
determining
positive feedback
positive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210363764.1A
Other languages
English (en)
Inventor
张凯
修文超
谭乔文
吴忠伙
杨一帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN202210363764.1A priority Critical patent/CN114817709A/zh
Publication of CN114817709A publication Critical patent/CN114817709A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了排序方法、装置、设备及计算机可读存储介质，属于计算机技术领域。方法包括：获取正反馈行为序列、负反馈行为序列以及目标特征向量；基于正反馈行为序列、反馈行为序列以及特征向量确定第一正反馈向量与第一负反馈向量；基于第一正反馈向量、第一负反馈向量与负反馈行为序列确定第二正反馈向量与第二负反馈向量；基于第一正反馈向量、第一负反馈向量、第二正反馈向量与第二负反馈向量确定排序结果。本申请获取了正反馈行为序列、负反馈行为序列以及目标特征向量，综合考虑了正反馈行为序列中存在的第一正反馈向量以及负反馈行为序列中存在的第一负反馈向量、第二负反馈向量、第二正反馈向量对排序的影响，提高排序结果的可靠性。

Description

排序方法、装置、设备及计算机可读存储介质
技术领域
本申请实施例涉及计算机技术领域，特别涉及一种排序方法、装置、设备及计算机可读存储介质。
背景技术
随着信息量的不断增长，对搜索引擎和APP(Application，应用程序)搜索的要求不断增高。QAC(Query Auto-Completion，搜索自动补全)是目前的搜索引擎与APP搜索中的重要模块。QAC基于搜索框内输入的信息，检索相关的检索结果，推荐满足当前意图的检索结果，并按照满足当前意图的可能性大小对上述检索结果进行排序，该检索结果可以包括引导词或兴趣点。该排序可以通过负反馈的方法对输入过程中有效的负反馈行为进行挖掘，并基于该负反馈行为对排序顺序进行及时调整，达到更满足当前意图的排序效果。
在相关技术中，负反馈的方法可以通过Exploitation&Exploration(开发与探索)在用户点击概率低于某阈值时减少样本的曝光机会等方法来实现。
上述负反馈的方法在平衡Exploitation和Exploration时可能会打乱原有的排序，导致CTR(Click Through Rate，点击通过率)下降，降低了排序结果的可靠性。
发明内容
本申请实施例提供了一种排序方法、装置、设备及计算机可读存储介质，可用于解决相关技术中的问题。技术方案如下：
一方面，本申请实施例提供了一种排序方法，方法包括：
获取正反馈行为序列、负反馈行为序列以及目标特征向量，所述正反馈行为序列包括在本次排序前的至少一次排序中被点击过至少一次的检索结果对应的特征向量，所述负反馈行为序列包括在本次检索结果中未被点击的至少一个检索结果对应的特征向量，所述目标特征向量为与搜索目标相同的本次输入过程中出现过的检索结果对应的特征向量；
基于所述正反馈行为序列与所述目标特征向量确定第一正反馈向量；基于所述负反馈行为序列与所述目标特征向量确定第一负反馈向量；
基于所述第一正反馈向量、所述第一负反馈向量与所述负反馈行为序列确定第二正反馈向量与第二负反馈向量；
基于所述第一正反馈向量、所述第一负反馈向量、所述第二正反馈向量与所述第二负反馈向量确定与输入内容对应的检索结果的排序结果。
在一种可能的实现方式中，基于所述正反馈行为序列与所述目标特征向量确定第一正反馈向量，包括：基于所述正反馈行为序列与所述目标特征向量确定第一注意力矩阵；基于所述第一注意力矩阵确定所述第一正反馈向量；
所述基于所述负反馈行为序列与所述目标特征向量确定第一负反馈向量，包括：基于所述负反馈行为序列与所述目标特征向量确定第二注意力矩阵；基于所述第二注意力矩阵确定所述第一负反馈向量。
在一种可能的实现方式中，基于所述第一正反馈向量、所述第一负反馈向量与所述负反馈行为序列确定第二正反馈向量与第二负反馈向量，包括：
基于所述第一正反馈向量与所述第一负反馈向量确定第一权重；
基于所述第一权重与所述负反馈行为序列确定第二正反馈向量；基于所述第一权重与所述负反馈行为序列确定第二负反馈向量。
在一种可能的实现方式中，基于所述第一权重与所述负反馈行为序列确定第二正反馈向量，包括：
对所述负反馈行为序列包括的至少一个特征向量通过所述第一权重进行加权，得到所述第二正反馈向量。
在一种可能的实现方式中，基于所述第一权重与所述负反馈行为序列确定第二负反馈向量，包括：
基于所述第一权重确定第二权重；
对所述负反馈行为序列包括的至少一个特征向量通过所述第二权重进行加权，得到所述第二负反馈向量。
在一种可能的实现方式中，基于所述第一正反馈向量、所述第一负反馈向量、所述第二正反馈向量与所述第二负反馈向量确定与本次输入信息对应的引导词或兴趣点的排序结果，包括：
对所述第一正反馈向量、所述第一负反馈向量、所述第二正反馈向量与所述第二负反馈向量进行拼接，得到正负反馈向量；
基于所述正负反馈向量确定所述排序结果。
在一种可能的实现方式中，正反馈行为序列、所述负反馈行为序列中任一检索结果对应的特征向量用于表示所述检索结果的标题信息、所述检索结果的总曝光时间信息、所述检索结果的最大曝光时间信息、输入过程中在搜索框内输入的文字处于所述检索结果的词边界的次数信息以及所述检索结果在不同位置曝光的次数信息中的至少一个信息；
所述目标特征向量用于表示与所述搜索目标相同的本次输入过程中出现过的检索结果的标题信息、所述检索结果的总曝光时间信息、所述检索结果的最大曝光时间信息、输入过程中在搜索框内输入的文字处于所述检索结果的词边界的次数信息以及所述检索结果在不同位置曝光的次数信息中的至少一个信息。
另一方面，提供了一种排序装置，装置包括：
获取模块，用于获取正反馈行为序列、负反馈行为序列以及目标特征向量，所述正反馈行为序列包括在本次排序前的至少一次排序中被点击过至少一次的检索结果对应的特征向量，所述负反馈行为序列包括在本次检索结果中未被点击的至少一个检索结果对应的特征向量，所述目标特征向量为与搜索目标相同的本次输入过程中出现过的检索结果对应的特征向量；
第一确定模块，用于基于所述正反馈行为序列与所述目标特征向量确定第一正反馈向量；基于所述负反馈行为序列与所述目标特征向量确定第一负反馈向量；
第二确定模块，用于基于所述第一正反馈向量、所述第一负反馈向量与所述负反馈行为序列确定第二正反馈向量与第二负反馈向量；
第三确定模块，用于基于所述第一正反馈向量、所述第一负反馈向量、所述第二正反馈向量与所述第二负反馈向量确定与输入内容对应的检索结果的排序结果。
在一种可能的实现方式中，第一确定模块，用于基于所述正反馈行为序列与所述目标特征向量确定第一注意力矩阵；基于所述第一注意力矩阵确定所述第一正反馈向量；
第一确定模块，用于基于所述负反馈行为序列与所述目标特征向量确定第二注意力矩阵；基于所述第二注意力矩阵确定所述第一负反馈向量。
在一种可能的实现方式中，第二确定模块，用于基于所述第一正反馈向量与所述第一负反馈向量确定第一权重；基于所述第一权重与所述负反馈行为序列确定第二正反馈向量；基于所述第一权重与所述负反馈行为序列确定第二负反馈向量。
在一种可能的实现方式中，第二确定模块，用于对所述负反馈行为序列包括的至少一个特征向量通过所述第一权重进行加权，得到所述第二正反馈向量。
在一种可能的实现方式中，第二确定模块，用于基于所述第一权重确定第二权重；对所述负反馈行为序列包括的至少一个特征向量通过所述第二权重进行加权，得到所述第二负反馈向量。
在一种可能的实现方式中，第三确定模块，用于对所述第一正反馈向量、所述第一负反馈向量、所述第二正反馈向量与所述第二负反馈向量进行拼接，得到正负反馈向量；
基于所述正负反馈向量确定所述排序结果。
在一种可能的实现方式中，所述正反馈行为序列、所述负反馈行为序列中任一检索结果对应的特征向量用于表示所述检索结果的标题信息、所述检索结果的总曝光时间信息、所述检索结果的最大曝光时间信息、输入过程中在搜索框内输入的文字处于所述检索结果的词边界的次数信息以及所述检索结果在不同位置曝光的次数信息中的至少一个信息；
所述目标特征向量用于表示与所述搜索目标相同的本次输入过程中出现过的检索结果的标题信息、所述检索结果的总曝光时间信息、所述检索结果的最大曝光时间信息、输入过程中在搜索框内输入的文字处于所述检索结果的词边界的次数信息以及所述检索结果在不同位置曝光的次数信息中的至少一个信息。
另一方面，提供了一种计算机设备，计算机设备包括处理器和存储器，存储器中存储有至少一条计算机程序，至少一条计算机程序由处理器加载并执行，以使计算机设备实现上述任一的排序方法。
另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质中存储有至少一条计算机程序，至少一条计算机程序由处理器加载并执行，以使计算机实现上述任一的排序方法。
另一方面，还提供了一种计算机程序产品或计算机程序，计算机程序产品或计算机程序包括计算机指令，计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取计算机指令，处理器执行计算机指令，使得计算机设备执行上述任一的排序方法。
本申请实施例提供的技术方案至少带来如下有益效果：
在本申请实施例中，获取了正反馈行为序列、负反馈行为序列以及目标特征向量，综合考虑了正反馈行为序列中存在的第一正反馈向量以及负反馈行为序列中存在的第一负反馈向量、第二负反馈向量、第二正反馈向量对排序的影响，提高排序结果的可靠性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种实施环境的示意图；
图2是本申请实施例提供的一种排序方法流程图；
图3是本申请实施例提供的一种排序过程示意图；
图4是本申请实施例提供的一种确定交互分值wp的方法流程图；
图5是本申请实施例提供的一种确定正负反馈向量的方法流程图；
图6是本申请实施例提供的一种排序装置示意图；
图7是本申请实施例提供的一种计算机设备的结构示意图；
图8是本申请实施例提供的另一种计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
需要说明的是，本申请的说明书和权利要求书中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
本申请实施例提供了一种排序方法，请参考图1，其示出了本申请实施例提供的方法实施环境的示意图。该实施环境可以包括：终端11和服务器12。
其中，终端11可应用本申请实施例提供的排序方法进行排序，然后将排序结果发送至服务器12。服务器12可以接收终端11发送的排序结果，并对该排序结果进行存储。或者，终端11可应用本申请实施例提供的排序方法进行排序，并对该排序结果进行存储。或者，服务器12可应用本申请实施例提供的排序方法进行排序，然后将排序结果发送至终端11。终端11可以接收服务器12发送的排序结果，并对该排序结果进行存储。或者，服务器12可应用本申请实施例提供的排序方法进行排序，并对该排序结果进行存储。
可选地，终端11可以是任何一种可与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品，例如PC(PersonalComputer，个人计算机)、手机、智能手机、PDA(Personal Digital Assistant，个人数字助手)、可穿戴设备、PPC(Pocket PC，掌上电脑)、平板电脑、智能车机、智能电视、智能音箱等。服务器12可以是一台服务器，也可以是由多台服务器组成的服务器集群，或者是一个云计算服务中心。终端11与服务器12通过有线或无线网络建立通信连接。
本领域技术人员应能理解上述终端11和服务器12仅为举例，其他现有的或今后可能出现的终端或服务器如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
基于上述图1所示的实施环境，本申请实施例提供一种排序方法，以该方法应用于终端为例。如图2所示，本申请实施例提供的方法可以包括如下步骤：
在步骤201中，获取正反馈行为序列、负反馈行为序列以及目标特征向量，正反馈行为序列包括在本次排序前的至少一次排序中被点击过至少一次的检索结果对应的特征向量，负反馈行为序列包括在本次检索结果中未被点击的至少一个检索结果对应的特征向量，目标特征向量为与搜索目标相同的本次输入过程中出现过的检索结果对应的特征向量。
本申请实施例不对正反馈行为序列、负反馈行为序列以及目标特征向量的来源与类型进行限定，例如，在电子商务场景下，电商平台的任一用户的一次搜索中，电商平台的搜索自动补全模块可以使用本申请实施例提供的方法对该用户搜索过程中输入的内容实时地进行排序。可选地，正反馈行为序列可以为在本次排序前的至少一次排序中该用户曾经点击过至少一次的检索结果对应的特征向量，负反馈行为序列可以为在本次检索结果中该用户未点击的至少一个检索结果对应的特征向量，目标特征向量可以为与该用户的本次搜索目标相同的本次输入过程中出现过的检索结果对应的特征向量。
可选地，正反馈行为序列、负反馈行为序列中任一检索结果对应的特征向量用于表示检索结果的标题信息、该检索结果的总曝光时间信息、该检索结果的最大曝光时间信息、输入过程中在搜索框内输入的文字处于该检索结果的词边界的次数信息以及该检索结果在不同位置曝光的次数信息中的至少一个信息；
目标特征向量用于表示与搜索目标相同的本次输入过程中出现过的检索结果的标题信息、该检索结果的总曝光时间信息、该检索结果的最大曝光时间信息、输入过程中在搜索框内输入的文字处于该检索结果词边界的次数信息以及该检索结果在不同位置曝光的次数信息中的至少一个信息。
示例性地，当电商平台的搜索自动补全模块使用本申请实施例提供的方法进行排序时，例如，图3为该电商平台的任一用户以“情侣写真”为搜索目标的输入过程中搜索自动补全的排序过程示意图。在用户输入“q”时，本次搜索开始，搜索自动补全列表中出现了包括处于曝光位置第九位的“情侣约会圣地”在内的十个检索结果，未出现搜索目标“情侣写真”。之后用户继续输入，在经过t1时间后，搜索框内变为“qing”，此时“情侣约会圣地”处于第三位，未出现搜索目标“情侣写真”。之后经历t4时间，搜索框内变为“qingl”，此时“情侣约会圣地”处于第一位，未出现搜索目标“情侣写真”。之后经历t5时间，搜索框内变为“qinglv”，此时“情侣约会圣地”处于第一位，搜索目标“情侣写真”处于第十位。之后经历t6时间，搜索框内变为“情侣”，此时“情侣约会圣地”不再出现，搜索目标“情侣写真”处于第二位，此时用户点击处于第二位的“情侣写真”，本次搜索完成。
在上述过程中，从用户输入“q”直至输入“qinglv”的过程为输入态，当用户输入“情侣”并点击此时出现的“情侣写真”为输入完成态。在该例子中“情侣约会圣地”为本次检索结果中未被点击的一个检索结果，因此该检索结果对应的特征向量属于负反馈行为序列，该检索结果对应的标题信息可以为“qinglvyuehuishengdi”，该检索结果的总曝光时间信息可以为“t1+t4+t5”，该检索结果的最大曝光时间信息可以为t1、t4与t5中的最大值，输入过程中在搜索框内输入的文字处于该检索结果的词边界的次数信息即搜索框内为“qing”或“qinglv”的次数信息，此时可以为2，该检索结果在不同位置曝光的次数信息可以为“在第一位曝光2次”。
在该例子中“情侣写真”为搜索目标，因此在本次输入过程中，搜索框内为“qinglv”以及“情侣”时，均出现了与搜索目标相同的检索结果，可以获取最后出现的一次“情侣写真”，该“情侣写真”对应的特征向量为目标特征向量，该特征向量的确定方法可以与上述确定负反馈行为序列对应特征向量的方法相同。正反馈行为序列对应的特征向量的确定方法也可以与上述确定负反馈行为序列对应特征向量的方法相同。
本申请实施例可以考虑总曝光时间信息、最大曝光时间信息、输入过程中在搜索框内输入的文字处于词边界的次数信息以及在不同位置曝光的次数信息。其中，当总曝光时间越长，则该检索结果被看到的几率越大，最大曝光时间越长，则该检索结果被看到的几率越大，输入过程中在搜索框内输入的文字处于词边界的次数越多，则该检索结果被看到的几率越大，处于靠前的曝光位置的次数越多，则该检索结果被看到的几率越大。该检索结果被看到的几率越大，则该检索结果未被点击时，对该检索结果不感兴趣的几率就越大。本申请实施例通过上述信息可以更好的推荐满足当前意图的检索结果，从而提高排序结果的可靠性。
在步骤202中，基于正反馈行为序列与目标特征向量确定第一正反馈向量；基于负反馈行为序列与目标特征向量确定第一负反馈向量。
可选地，基于正反馈行为序列与目标特征向量确定第一正反馈向量，包括：基于正反馈行为序列与目标特征向量确定第一注意力矩阵；基于第一注意力矩阵确定第一正反馈向量；基于负反馈行为序列与目标特征向量确定第一负反馈向量，包括：基于负反馈行为序列与目标特征向量确定第二注意力矩阵；基于第二注意力矩阵确定第一负反馈向量。
示例性地，可以将正反馈行为序列与目标特征向量进行嵌入与拼接，得到正反馈输入矩阵Bu，之后基于Bu分别得到Q、K、V：
Q＝WQBu，K＝WKBu，V＝WVBu
其中，Q可以为Transformer模型中的查询矩阵，K可以为Transformer模型中的关键词矩阵，V可以为Transformer模型中的值矩阵，WQ(例如
Figure BDA0003585009530000091
Figure BDA0003585009530000092
)可以为Q对应的映射矩阵，WK(例如
Figure BDA0003585009530000093
)可以为K对应的映射矩阵，WV(例如
Figure BDA0003585009530000094
)可以为V对应的映射矩阵，nh(例如nh为一个正整数)是正反馈输入向量的特征维度，h(例如h为一个正整数)是注意力头个数。本申请实施例对nh与h的大小均不进行限定，可以根据情况自行设定。
然后可以计算多个单头注意力矩阵：
Figure BDA0003585009530000095
其中，角标i(例如为1至h的正整数)为注意力头数，Qi、Ki、Vi可以分别为第i个注意力头所对应的Q、K、V。
再将多个单头注意力矩阵进行拼接得到第一注意力矩阵，基于第一注意力矩阵可以得到第一输出矩阵Fu：
Fu＝concat(head1，...，headh)WO
其中，基于concat(拼接)函数可以得到第一注意力矩阵，WO(例如
Figure BDA0003585009530000096
)为第一注意力矩阵对应的映射矩阵。
之后，对Fu中的向量进行平均池化得到第一正反馈向量fc。
其中，确定第二注意力矩阵的方法可以与上述确定第一注意力矩阵的方法相同，此处不再赘述。确定第一负反馈向量的方法可以与上述确定第一正反馈向量的方法相同，此处不再赘述。
在步骤203中，基于第一正反馈向量、第一负反馈向量与负反馈行为序列确定第二正反馈向量与第二负反馈向量。
示例性地，第一正反馈向量可以表示正反馈行为序列中包括的任一检索结果对应的正向偏好，第一负反馈向量可以表示负反馈行为序列中包括的任一检索结果对应的负向偏好。但是在负反馈行为序列中依旧可能存在部分正向偏好，例如，在电子商务场景中，该用户未点击某一检索结果的原因可能为对该检索结果不感兴趣，也可能因为没有看见该检索结果等原因从而没有点击。因此，还需要对负反馈行为序列中包括的每个检索结果对应的真实正向偏好或真实负向偏好加以区分。
可选地，基于第一正反馈向量、第一负反馈向量与负反馈行为序列确定第二正反馈向量与第二负反馈向量，包括：基于第一正反馈向量与第一负反馈向量确定第一权重；基于第一权重与负反馈行为序列确定第二正反馈向量；基于第一权重与负反馈行为序列确定第二负反馈向量。
示例性地，可以对第一正反馈向量与负反馈行为序列{u1，u2，…，un1}进行外积、拼接操作后输入MLP(Multilayer Perceptron，多层感知机)中得到交互分值wp(例如wp为一个正整数)，并对Wp进行归一化，最后可以基于wp得到第一权重αp：
Figure BDA0003585009530000101
其中，角标p为1至n1的正整数。本申请实施例不对MLP进行限定，只要最后可以输出归一化后的wp即可。例如，MLP可以包括两个全连接层，此时确定wp的方法如图4所示，首先对第一正反馈向量fc与负反馈行为序列{u1，u2，…，un1}进行外积与拼接操作，然后将结果输入两个全连接层得到归一化后的wp，最后基于wp得到第一权重。
可选地，基于第一权重与负反馈行为序列确定第二正反馈向量，包括：对负反馈行为序列包括的至少一个特征向量通过第一权重进行加权，得到第二正反馈向量。
示例性地，在计算得到第一权重αp之后，可以对负反馈行为序列{u1，u2，…，un1}中的各个特征向量进行加权并相加得到第二正反馈向量fuc+：
Figure BDA0003585009530000102
第二正反馈向量fuc+可以表示负反馈行为序列中包括的检索结果对应的真实正向偏好。
基于第一权重与负反馈行为序列确定第二负反馈向量，包括：基于第一权重确定第二权重；对负反馈行为序列包括的至少一个特征向量通过第二权重进行加权，得到第二负反馈向量。
示例性地，可以将第一权重αp进行反转操作得到第二权重βp：
Figure BDA0003585009530000111
再将第二权重βp与负反馈行为序列{u1，u2，…，un1}中的各个特征向量进行加权并相加得到第二负反馈向量fuc-：
Figure BDA0003585009530000112
第二负反馈向量fuc-可以表示负反馈行为序列中包括的检索结果对应的真实负向偏好。
在本申请实施例中，综合考虑了正反馈行为序列中存在的第一正反馈向量以及负反馈行为序列中存在的第一负反馈向量、第二负反馈向量、第二正反馈向量对排序的影响，提高排序结果的可靠性。
在步骤204中，基于第一正反馈向量、第一负反馈向量、第二正反馈向量与第二负反馈向量确定与输入内容对应的检索结果的排序结果。
可选地，基于第一正反馈向量、第一负反馈向量、第二正反馈向量与第二负反馈向量确定与输入内容对应的检索结果的排序结果，包括：对第一正反馈向量、第一负反馈向量、第二正反馈向量与第二负反馈向量进行拼接，得到正负反馈向量；基于正负反馈向量确定排序结果。
示例性地，可以对第一正反馈向量、第一负反馈向量、第二正反馈向量与第二负反馈向量进行拼接得到正负反馈向量，然后将正负反馈向量与其他特征向量一起输入到神经网络模型中进行联合训练，之后可以使用训练得到的神经网络模型对输入内容对应的检索结果进行排序得到排序结果。本申请实施例不对其他特征向量进行限定，可以根据情况自行设定。本申请实施例也不对神经网络模型的种类进行限定，例如，该神经网络模型可以为DeepFM(DeepFactorization Machines，深度因子分解机)或Wide&Deep(线性与深度模型)。
在本申请实施例中，获取了正反馈行为序列、负反馈行为序列以及目标特征向量，综合考虑了正反馈行为序列中存在的第一正反馈向量以及负反馈行为序列中存在的第一负反馈向量、第二负反馈向量、第二正反馈向量对排序的影响，提高排序结果的可靠性。
本申请实施例可以结合QAC水平跳过偏置的业务特点，提出基于负反馈行为序列确定第一负反馈向量，提高了排序结果的置信度，而且便于维护。
本申请实施例可以通过目标特征向量、负反馈行为序列和正反馈行为序列确定第一正反馈向量与第一负反馈向量，并区分了负反馈行为序列中包括的每个检索结果对应的真实正向偏好或真实负向偏好。
本申请实施例可以部署在终端上根据不断输入的内容进行重新排序，可以达到对排序结果进行及时调整的效果。性能允许时，也可以部署在服务端，比如复用在其他搜索推荐领域。
如图5所示，本申请实施例提供了一种确定正负反馈向量的方法，该方法包括：
501，获取正反馈行为序列、负反馈行为序列以及目标特征向量，该步骤的实现方式可参见上述步骤201，此处不再赘述。
502，基于正反馈行为序列与目标特征向量进行多头注意力的计算与平均池化确定第一正反馈向量fc；基于负反馈行为序列与目标特征向量进行多头注意力的计算与平均池化确定第一负反馈向量fu，该步骤的实现方式可参见上述步骤202，此处不再赘述。
503，确定第一权重，该步骤的实现方式可参见上述步骤203，此处不再赘述。
504，通过第一权重对负反馈行为序列包括的至少一个特征向量进行注意力的加权得到fuc+，该步骤的实现方式可参见上述步骤203，此处不再赘述。
505，基于第一权重确定第二权重，该步骤的实现方式可参见上述步骤203，此处不再赘述。
506，通过第二权重对负反馈行为序列包括的至少一个特征向量进行注意力的加权得到fuc-，该步骤的实现方式可参见上述步骤203，此处不再赘述。
507，基于第一正反馈向量、第一负反馈向量、第二正反馈向量与第二负反馈向量确定正负反馈向量，该步骤的实现方式可参见上述步骤203，此处不再赘述。
参见图6，本申请实施例提供了一种排序装置，该装置包括：
获取模块601，用于获取正反馈行为序列、负反馈行为序列以及目标特征向量，正反馈行为序列包括在本次排序前的至少一次排序中被点击过至少一次的检索结果对应的特征向量，负反馈行为序列包括在本次检索结果中未被点击的至少一个检索结果对应的特征向量，目标特征向量为与搜索目标相同的本次输入过程中出现过的检索结果对应的特征向量；
第一确定模块602，用于基于正反馈行为序列与目标特征向量确定第一正反馈向量；基于负反馈行为序列与目标特征向量确定第一负反馈向量；
第二确定模块603，用于基于第一正反馈向量、第一负反馈向量与负反馈行为序列确定第二正反馈向量与第二负反馈向量；
第三确定模块604，用于基于第一正反馈向量、第一负反馈向量、第二正反馈向量与第二负反馈向量确定与输入内容对应的检索结果的排序结果。
可选地，第一确定模块602，用于基于正反馈行为序列与目标特征向量确定第一注意力矩阵；基于第一注意力矩阵确定第一正反馈向量；
第一确定模块602，用于基于负反馈行为序列与目标特征向量确定第二注意力矩阵；基于第二注意力矩阵确定第一负反馈向量。
可选地，第二确定模块603，用于基于第一正反馈向量与第一负反馈向量确定第一权重；基于第一权重与负反馈行为序列确定第二正反馈向量；基于第一权重与负反馈行为序列确定第二负反馈向量。
可选地，第二确定模块603，用于对负反馈行为序列包括的至少一个特征向量通过第一权重进行加权，得到第二正反馈向量。
可选地，第二确定模块603，用于基于第一权重确定第二权重；对负反馈行为序列包括的至少一个特征向量通过第二权重进行加权，得到第二负反馈向量。
可选地，第三确定模块604，用于对第一正反馈向量、第一负反馈向量、第二正反馈向量与第二负反馈向量进行拼接，得到正负反馈向量；
基于正负反馈向量确定排序结果。
可选地，正反馈行为序列、负反馈行为序列中任一检索结果对应的特征向量用于表示检索结果的标题信息、检索结果的总曝光时间信息、检索结果的最大曝光时间信息、输入过程中在搜索框内输入的文字处于检索结果的词边界的次数信息以及检索结果在不同位置曝光的次数信息中的至少一个信息；
目标特征向量用于表示与搜索目标相同的本次输入过程中出现过的检索结果的标题信息、检索结果的总曝光时间信息、检索结果的最大曝光时间信息、输入过程中在搜索框内输入的文字处于检索结果的词边界的次数信息以及检索结果在不同位置曝光的次数信息中的至少一个信息。
在本申请实施例中，获取了正反馈行为序列、负反馈行为序列以及目标特征向量，综合考虑了正反馈行为序列中存在的第一正反馈向量以及负反馈行为序列中存在的第一负反馈向量、第二负反馈向量、第二正反馈向量对排序的影响，提高排序结果的可靠性。
需要说明的是，上述实施例提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图7是本申请实施例提供的一种计算机设备结构示意图，该服务器可因配置或性能不同而产生比较大的差异，可以包括一个或多个处理器(Central Processing Units，CPU)701和一个或多个存储器702，其中，该一个或多个存储器702中存储有至少一条计算机程序，该至少一条计算机程序由该一个或多个处理器701加载并执行，以使该服务器实现上述各个方法实施例提供的排序方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
图8是本申请实施例提供的一种计算机设备结构示意图。该设备可以为终端，例如可以是：智能手机、平板电脑、MP3(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group AudioLayer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端包括有：处理器801和存储器802。
处理器801可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器801可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器801可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器801还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器802可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器802中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器801所执行，以使该终端实现本申请中方法实施例提供的排序方法。
在一些实施例中，终端还可选包括有：外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口803相连。具体地，外围设备包括：射频电路804、显示屏805、摄像头组件806、音频电路807、定位组件808和电源809中的至少一种。
外围设备接口803可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器801和存储器802。在一些实施例中，处理器801、存储器802和外围设备接口803被集成在同一芯片或电路板上；在一些其他实施例中，处理器801、存储器802和外围设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路804用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路804包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路804还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏805用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏805是触摸显示屏时，显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时，显示屏805还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏805可以为一个，设置在终端的前面板；在另一些实施例中，显示屏805可以为至少两个，分别设置在终端的不同表面或呈折叠设计；在另一些实施例中，显示屏805可以是柔性显示屏，设置在终端的弯曲表面上或折叠面上。甚至，显示屏805还可以设置成非矩形的不规则图形，也即异形屏。显示屏805可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode，有机发光二极管)等材质制备。
摄像头组件806用于采集图像或视频。可选地，摄像头组件806包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件806还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器801进行处理，或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路807还可以包括耳机插孔。
定位组件808用于定位终端的当前地理位置，以实现导航或LBS(Location BasedService，基于位置的服务)。定位组件808可以是基于美国的GPS(Global PositioningSystem，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源809用于为终端中的各个组件进行供电。电源809可以是交流电、直流电、一次性电池或可充电电池。当电源809包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端还包括有一个或多个传感器810。该一个或多个传感器810包括但不限于：加速度传感器811、陀螺仪传感器812、压力传感器813、指纹传感器814、光学传感器815以及接近传感器816。
加速度传感器811可以检测以终端建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器811可以用于检测重力加速度在三个坐标轴上的分量。处理器801可以根据加速度传感器811采集的重力加速度信号，控制显示屏805以横向视图或纵向视图进行用户界面的显示。加速度传感器811还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器812可以检测终端的机体方向及转动角度，陀螺仪传感器812可以与加速度传感器811协同采集用户对终端的3D动作。处理器801根据陀螺仪传感器812采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器813可以设置在终端的侧边框和/或显示屏805的下层。当压力传感器813设置在终端的侧边框时，可以检测用户对终端的握持信号，由处理器801根据压力传感器813采集的握持信号进行左右手识别或快捷操作。当压力传感器813设置在显示屏805的下层时，由处理器801根据用户对显示屏805的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器814用于采集用户的指纹，由处理器801根据指纹传感器814采集到的指纹识别用户的身份，或者，由指纹传感器814根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器801授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器814可以被设置在终端的正面、背面或侧面。当终端上设置有物理按键或厂商Logo(商标)时，指纹传感器814可以与物理按键或厂商Logo集成在一起。
光学传感器815用于采集环境光强度。在一个实施例中，处理器801可以根据光学传感器815采集的环境光强度，控制显示屏805的显示亮度。具体地，当环境光强度较高时，调高显示屏805的显示亮度；当环境光强度较低时，调低显示屏805的显示亮度。在另一个实施例中，处理器801还可以根据光学传感器815采集的环境光强度，动态调整摄像头组件806的拍摄参数。
接近传感器816，也称距离传感器，通常设置在终端的前面板。接近传感器816用于采集用户与终端的正面之间的距离。在一个实施例中，当接近传感器816检测到用户与终端的正面之间的距离逐渐变小时，由处理器801控制显示屏805从亮屏状态切换为息屏状态；当接近传感器816检测到用户与终端的正面之间的距离逐渐变大时，由处理器801控制显示屏805从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图8中示出的结构并不构成对终端的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种计算机设备，该计算机设备包括处理器和存储器，该存储器中存储有至少一条计算机程序。该至少一条计算机程序由一个或者一个以上处理器加载并执行，以使该计算机设备实现上述任一种排序方法。
在示例性实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条计算机程序，该至少一条计算机程序由计算机设备的处理器加载并执行，以使计算机实现上述任一种排序方法。
在一种可能实现方式中，上述计算机可读存储介质可以是只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact DiscRead-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任一种排序方法。
需要说明的是，本申请所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于检索的数据、检索结果、用于分析的数据、存储的数据、展示的数据等)以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本申请实施例中涉及到的用户曾经点击过的检索结果等都是在充分授权的情况下获取的。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种排序方法，其特征在于，所述方法包括：
获取正反馈行为序列、负反馈行为序列以及目标特征向量，所述正反馈行为序列包括在本次排序前的至少一次排序中被点击过至少一次的检索结果对应的特征向量，所述负反馈行为序列包括在本次检索结果中未被点击的至少一个检索结果对应的特征向量，所述目标特征向量为与搜索目标相同的本次输入过程中出现过的检索结果对应的特征向量；
基于所述正反馈行为序列与所述目标特征向量确定第一正反馈向量；基于所述负反馈行为序列与所述目标特征向量确定第一负反馈向量；
基于所述第一正反馈向量、所述第一负反馈向量与所述负反馈行为序列确定第二正反馈向量与第二负反馈向量；
基于所述第一正反馈向量、所述第一负反馈向量、所述第二正反馈向量与所述第二负反馈向量确定与输入内容对应的检索结果的排序结果。
2.根据权利要求1所述的方法，其特征在于，所述基于所述正反馈行为序列与所述目标特征向量确定第一正反馈向量，包括：基于所述正反馈行为序列与所述目标特征向量确定第一注意力矩阵；基于所述第一注意力矩阵确定所述第一正反馈向量；
所述基于所述负反馈行为序列与所述目标特征向量确定第一负反馈向量，包括：基于所述负反馈行为序列与所述目标特征向量确定第二注意力矩阵；基于所述第二注意力矩阵确定所述第一负反馈向量。
3.根据权利要求1所述的方法，其特征在于，所述基于所述第一正反馈向量、所述第一负反馈向量与所述负反馈行为序列确定第二正反馈向量与第二负反馈向量，包括：
基于所述第一正反馈向量与所述第一负反馈向量确定第一权重；
基于所述第一权重与所述负反馈行为序列确定第二正反馈向量；基于所述第一权重与所述负反馈行为序列确定第二负反馈向量。
4.根据权利要求3所述的方法，其特征在于，所述基于所述第一权重与所述负反馈行为序列确定第二正反馈向量，包括：
对所述负反馈行为序列包括的至少一个特征向量通过所述第一权重进行加权，得到所述第二正反馈向量。
5.根据权利要求3所述的方法，其特征在于，所述基于所述第一权重与所述负反馈行为序列确定第二负反馈向量，包括：
基于所述第一权重确定第二权重；
对所述负反馈行为序列包括的至少一个特征向量通过所述第二权重进行加权，得到所述第二负反馈向量。
6.根据权利要求1所述的方法，其特征在于，所述基于所述第一正反馈向量、所述第一负反馈向量、所述第二正反馈向量与所述第二负反馈向量确定与输入内容对应的检索结果的排序结果，包括：
对所述第一正反馈向量、所述第一负反馈向量、所述第二正反馈向量与所述第二负反馈向量进行拼接，得到正负反馈向量；
基于所述正负反馈向量确定与输入内容对应的检索结果的排序结果。
7.根据权利要求1-6任一所述的方法，其特征在于，所述正反馈行为序列、所述负反馈行为序列中任一检索结果对应的特征向量用于表示所述检索结果的标题信息、所述检索结果的总曝光时间信息、所述检索结果的最大曝光时间信息、输入过程中在搜索框内输入的文字处于所述检索结果的词边界的次数信息以及所述检索结果在不同位置曝光的次数信息中的至少一个信息；
所述目标特征向量用于表示与所述搜索目标相同的本次输入过程中出现过的检索结果的标题信息、所述检索结果的总曝光时间信息、所述检索结果的最大曝光时间信息、输入过程中在搜索框内输入的文字处于所述检索结果的词边界的次数信息以及所述检索结果在不同位置曝光的次数信息中的至少一个信息。
8.一种排序装置，其特征在于，所述装置包括：
获取模块，用于获取正反馈行为序列、负反馈行为序列以及目标特征向量，所述正反馈行为序列包括在本次排序前的至少一次排序中被点击过至少一次的检索结果对应的特征向量，所述负反馈行为序列包括在本次检索结果中未被点击的至少一个检索结果对应的特征向量，所述目标特征向量为与搜索目标相同的本次输入过程中出现过的检索结果对应的特征向量；
第一确定模块，用于基于所述正反馈行为序列与所述目标特征向量确定第一正反馈向量；基于所述负反馈行为序列与所述目标特征向量确定第一负反馈向量；
第二确定模块，用于基于所述第一正反馈向量、所述第一负反馈向量与所述负反馈行为序列确定第二正反馈向量与第二负反馈向量；
第三确定模块，用于基于所述第一正反馈向量、所述第一负反馈向量、所述第二正反馈向量与所述第二负反馈向量确定与输入内容对应的检索结果的排序结果。
9.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以使所述计算机设备实现如权利要求1至7任一所述的排序方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行，以使计算机实现如权利要求1至7任一所述的排序方法。
11.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中，计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令，所述处理器执行所述计算机指令，使得所述计算机设备执行如权利要求1至7任一所述的排序方法。
CN202210363764.1A 2022-04-07 2022-04-07 排序方法、装置、设备及计算机可读存储介质 Pending CN114817709A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210363764.1A CN114817709A (zh) 2022-04-07 2022-04-07 排序方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210363764.1A CN114817709A (zh) 2022-04-07 2022-04-07 排序方法、装置、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN114817709A true CN114817709A (zh) 2022-07-29

Family

ID=82535346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210363764.1A Pending CN114817709A (zh) 2022-04-07 2022-04-07 排序方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114817709A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116029357A (zh) * 2023-03-29 2023-04-28 荣耀终端有限公司 训练样本生成、模型训练、点击率评估方法及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116029357A (zh) * 2023-03-29 2023-04-28 荣耀终端有限公司 训练样本生成、模型训练、点击率评估方法及电子设备
CN116029357B (zh) * 2023-03-29 2023-08-15 荣耀终端有限公司 训练样本生成、模型训练、点击率评估方法及电子设备

Similar Documents

Publication Publication Date Title
CN108629747B (zh) 图像增强方法、装置、电子设备及存储介质
CN110471858B (zh) 应用程序测试方法、装置及存储介质
CN110413837B (zh) 视频推荐方法和装置
CN110059686B (zh) 字符识别方法、装置、设备及可读存储介质
CN111127509B (zh) 目标跟踪方法、装置和计算机可读存储介质
WO2022057435A1 (zh) 基于搜索的问答方法及存储介质
CN111753784A (zh) 视频的特效处理方法、装置、终端及存储介质
CN111104980B (zh) 确定分类结果的方法、装置、设备及存储介质
CN111897996A (zh) 话题标签推荐方法、装置、设备及存储介质
WO2022048398A1 (zh) 多媒体数据拍摄方法及终端
CN112052354A (zh) 视频推荐方法、视频展示方法、装置及计算机设备
CN113918767A (zh) 视频片段定位方法、装置、设备及存储介质
CN110705614A (zh) 模型训练方法、装置、电子设备及存储介质
CN109547847B (zh) 添加视频信息的方法、装置及计算机可读存储介质
CN114817709A (zh) 排序方法、装置、设备及计算机可读存储介质
CN111782950A (zh) 样本数据集获取方法、装置、设备及存储介质
CN111563201A (zh) 内容推送方法、装置、服务器及存储介质
CN111611414B (zh) 车辆检索方法、装置及存储介质
CN113361376B (zh) 获取视频封面的方法、装置、计算机设备及可读存储介质
CN112487162A (zh) 确定文本语义信息的方法、装置、设备以及存储介质
CN113139614A (zh) 特征提取方法、装置、电子设备及存储介质
CN111782767A (zh) 问答方法、装置、设备及存储介质
CN115221888A (zh) 实体提及的识别方法、装置、设备及存储介质
CN111258673A (zh) 快应用显示方法及终端设备
CN111581481B (zh) 搜索词推荐方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination