CN112231546A - 异构文档的排序方法、异构文档排序模型训练方法及装置 - Google Patents

异构文档的排序方法、异构文档排序模型训练方法及装置 Download PDF

Info

Publication number
CN112231546A
CN112231546A CN202011066256.4A CN202011066256A CN112231546A CN 112231546 A CN112231546 A CN 112231546A CN 202011066256 A CN202011066256 A CN 202011066256A CN 112231546 A CN112231546 A CN 112231546A
Authority
CN
China
Prior art keywords
document
sample
click rate
learning
heterogeneous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011066256.4A
Other languages
English (en)
Other versions
CN112231546B (zh
Inventor
张凯
张钦
吴忠伙
王依然
杨一帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN202011066256.4A priority Critical patent/CN112231546B/zh
Publication of CN112231546A publication Critical patent/CN112231546A/zh
Application granted granted Critical
Publication of CN112231546B publication Critical patent/CN112231546B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9532—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3322—Query formulation using system suggestions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3322—Query formulation using system suggestions
    • G06F16/3323—Query formulation using system suggestions using document space presentation or visualization, e.g. category, hierarchy or range presentation and selection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/338—Presentation of query results
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请公开了一种异构文档的排序方法、异构文档排序模型训练方法及装置，属于机器学习领域。该方法包括：获取待排序文档，待排序文档携带有文档类型；从待排序文档中提取文档特征与位次特征；调用异构文档排序模型的主网络执行与文档类型对应的第一学习任务，基于文档特征学习出待排序文档的第一点击率；调用异构文档排序模型的子网络执行与文档类型对应的第二学习任务，基于位次特征学习出待排序文档的第二点击率；基于第一点击率与第二点击率确定出待排序文档在文档列表中的排序位次。该方法能够消除统一对异构文档的点击率进行预估的场景下由于异构特征缺失导致的点击率预估不准确的问题，使得异构文档按照点击率得出的排列顺序更合理。

Description

异构文档的排序方法、异构文档排序模型训练方法及装置
技术领域
本申请涉及机器学习领域，特别涉及一种异构文档的排序方法、异构文档排序模型训练方法及装置。
背景技术
在搜索场景下存在自动补全功能，即是在关键词的输入框内输入部分文字或者文字拼音，在输入框的下方会弹出下拉列表来显示关键词提示，该关键词提示是对上述部分文字或者文字拼音所指示的文字补全后的候选关键词，用户可以在关键词提示中选择出所需搜索的关键词。
在对关键词自动补全时还会在下拉列表中显示除了关键词提示之外的直达词提示，该直达词提示在被选择时直达关键词对应关键词所在的网页页面。上述关键词提示与直达词提示采用不同结构的文档(DOCument，DOC)进行显示，因此，在提供自动补全功能的搜索场景下需要对异构DOC进行排序。传统的异构DOC排序方案是提取出处于同一维度的异构DOC特征，基于同一维度上的异构DOC特征进行排序，比如，在同一维度上提取出关键词提示与直达词提示的特征，基于上述特征对关键词提示与直达词提示进行排序。
由于异构DOC之间存在特征的强弱效应，会导致某一个类型的DOC排序过于靠后或者靠前，比如，直达词提示往往比关键词提示排序更靠前，也即会导致异构DOC排序不合理，无法有效地曝光DOC，降低关键词提示或者直达词提示的点击率。
发明内容
本申请实施例提供了一种异构文档的排序方法、异构文档排序模型训练方法及装置，能够消除统一对异构文档的点击率进行预估的场景下由于异构特征缺失导致的点击率预估不准确的问题，从而使得异构文档按照点击率得出的排列顺序更合理。所述技术方案如下：
根据本申请的一个方面，提供了一种异构文档的排序方法，应用于设置有异构文档排序模型的电子设备中，异构文档排序模型包括主网络与子网络，主网络与子网络之间相互独立，该方法包括：
获取待排序文档，待排序文档携带有文档类型；
从待排序文档中提取文档特征与位次特征，文档特征是指与文档点击率关联的特征，位次特征是指与文档排序位次关联的特征；
调用主网络执行与文档类型对应的第一学习任务，基于文档特征学习出待排序文档的第一点击率；
调用子网络执行与文档类型对应的第二学习任务，基于位次特征学习出待排序文档的第二点击率；
基于第一点击率与第二点击率确定出待排序文档在文档列表中的排序位次。
根据本申请的另一个方面，提供了一种异构文档排序模型训练方法，该方法包括：
获取m组文档样本，文档样本携带有样本文档类型与样本点击率；
从文档样本中提取样本文档特征与样本位次特征，样本文档特征是指与文档点击率关联的特征，样本位次特征是指与文档排序位次关联的特征；
调用待训练的异构文档排序模型执行与样本文档类型对应的学习任务，分别对样本文档特征与样本位次特征进行独立学习，得到文档样本的第一样本点击率和第二样本点击率；
确定第一样本点击率与样本点击率之间、以及第二样本点击率与样本点击率之间的点击率损失；
基于点击率损失对待训练的异构文档排序模型进行反向传播训练，最终得到训练完成的异构文档排序模型。
根据本申请的另一个方面，提供了一种异构文档的排序装置，该装置中设置有异构文档排序模型，异构文档排序模型包括主网络与子网络，主网络与子网络之间相互独立，该装置包括：
第一获取模块，用于获取待排序文档，待排序文档携带有文档类型；
第一提取模块，用于从待排序文档中提取文档特征与位次特征，文档特征是指与文档点击率关联的特征，位次特征是指与文档排序位次关联的特征；
第一学习模块，用于调用主网络执行与文档类型对应的第一学习任务，基于文档特征学习出待排序文档的第一点击率；调用子网络执行与文档类型对应的第二学习任务，基于位次特征学习出待排序文档的第二点击率；
排序模块，用于基于第一点击率与第二点击率确定出待排序文档在文档列表中的排序位次。
根据本申请的另一个方面，提供了一种异构文档排序模型训练装置，该装置包括：
第二获取模块，用于获取m组文档样本，文档样本携带有样本文档类型与样本点击率；
第二提取模块，用于从文档样本中提取样本文档特征与样本位次特征，样本文档特征是指与文档点击率关联的特征，样本位次特征是指与文档排序位次关联的特征；
第二学习模块，用于调用待训练的异构文档排序模型执行与样本文档类型对应的学习任务，分别对样本文档特征与样本位次特征进行独立学习，得到文档样本的第一样本点击率和第二样本点击率；
训练模块，用于确定第一样本点击率与样本点击率之间、以及第二样本点击率与样本点击率之间的点击率损失；基于点击率损失对待训练的异构文档排序模型进行反向传播训练，最终得到训练完成的异构文档排序模型。
根据本申请的另一方面，提供了一种计算机设备，上述计算机设备包括：处理器和存储器，上述存储器存储有计算机程序，上述计算机程序由上述处理器加载并执行以实现如上所述的异构文档的排序方法，或者，如上所述的异构文档排序模型训练方法。
根据本申请的另一方面，提供了一种计算机可读存储介质，上述计算机可读存储介质中存储有计算机程序，上述计算机程序由处理器加载并执行以实现如上所述的异构文档的排序方法，或者，如上所述的异构文档排序模型训练方法。
根据本申请的另一个方面，提供了一种计算机程序产品，上述计算机程序产品包括计算机指令，上述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从上述计算机可读存储介质读取上述计算机指令，上述处理器执行上述计算机指令，使得上述计算机设备执行如上所述的异构文档的排序方法，或者，如上所述的异构文档排序模型训练方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
该方法调用设置有主网络与子网络的异构文档排序模型进行异构文档的排序，采用主网络与子网络分别基于文档特征与位次特征进行点击率预估，确定出文档特征对应的第一点击率与位次特征对应的第二点击率，综合第一点击率与第二点击率来确定待排序文档的预估点击率，也即综合文档特征与位次特征来确定待排序文档的预估点击率，从而基于上述预估点击率更合理的实现对异构文档的排序。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请一个示例性实施例提供的计算机系统的结构框图；
图2示出了本申请一个示例性实施例提供的异构文档排序模型的结构示意图；
图3示出了本申请一个示例性实施例提供的异构文档的排序方法的流程图；
图4示出了本申请一个示例性实施例提供的异构文档展示时的界面示意图；
图5示出了本申请一个示例性实施例提供的异构文档排序模型的训练方法的流程图；
图6示出了本申请一个示例性实施例提供的异构文档的排序装置的框图；
图7示出了本申请一个示例性实施例提供的异构文档排序模型训练装置的框图；
图8示出了本申请一个示例性实施例提供的计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
首先对本申请涉及的几个名词进行介绍：
异构文档：是指文档结构不同的文档，比如，文档结构包括文档的长度、文档内元素布局等，比如，关键词提示的文档结构中包括文字内容的布局，直达词提示的文档结构中则包括标题内容、摘要内容、甚至附图等。其中，上述关键词提示用于搜索与关键词相关的网页链接；上述直达词提示用于直接跳转至关键词对应的网页页面。
文档点击率：是指文档位于下拉列表中第w个列表项时被选择的概率，示例性的，文档点击率可以是指文档位于下拉列表中第二个列表项时被选择的概率；w为正整数。
文档排序位次：是指文档在下拉列表中由上到下排列时所在列表项的位置，比如，文档位于下拉列表中第三个列表项。
多任务学习(Multi-gate Mixture-of-Experts，MMoE)模型：用于同时学习多个任务，该MMoE模型采用共享表示层进行不同任务的特征表示，之后基于上述特征表示分别对每个任务进行独立学习，最终得到学习结果。
图1示出了本申请的一个示例性实施例提供的计算机系统100的结构示意图，该计算机系统100包括终端120和服务器集群140。
终端120可以是用户持有的电子设备；终端120上安装并运行有客户端，可选地，该客户端可以是搜索服务平台的客户端，或者，该客户端中运行有搜索服务平台的小程序，或者，该客户端是浏览器。上述客户端、或者小程序、或者浏览器提供有搜索引擎，为用户提供搜索服务。比如，终端120可以通过搜索引擎实现文献搜索、视频搜索、新闻搜索等功能。可选地，上述客户端可以是生活服务类客户端、支付类客户端、金融类客户端、通讯类客户端、游戏客户端中的至少一种，本申请中对客户端的类型不加以限定。
示例性的，上述终端120可以包括智能手机、平板电脑、电子书阅读器、MP3(MovingPicture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机中、笔记本电脑的至少一种。
终端120与服务器集群140之间通过有线或者无线网络连接。服务器集群140用于为搜索服务平台提供后台服务。可选地，服务器集群140为终端120上的搜索请求提供自动补全服务，示例性的，在终端120上显示搜索框，当终端120接收到搜索框中输入的关键字时，向服务器集群140请求对关键字的自动补全功能，由服务器集群140为终端120提供关键字补全后的候选提示内容，终端120以下拉列表的形式显示上述候选提示内容，用户可以在终端120上直接选择所需的提示内容进行搜索。
本申请提供的异构文档的排序方法适用于上述自动补全场景，示例性的，服务器集群140还对候选提示内容(即待排序文档)进行排序以在下拉列表中排序展示，当上述候选提示内容中包括关键词提示与直达词提示等异构文档的存在时，服务器集群可以采用本申请提供的异构文档的排序方法来实现对候选提示内容的排序，之后将排序完成的候选提示内容反馈给终端120，由终端120按照排序展示上述候选提示内容。
上述服务器集群140可以包括一台服务器、多台服务器、云计算平台和虚拟化中心中的至少一种。本领域技术人员可以知晓，上述终端120的数量可以更多或更少。比如，上述终端120可以仅为一个，或者上述终端120为几十个或几百个，或者更多数量，本申请实施例对终端120的数量和设备类型不加以限定。
在本申请提供的异构文档的排序方法中采用了异构文档排序模型来对待排序文档进行排序，如图2，示出了本申请的一个示例性实施例提供的异构文档排序模型200的结构示意图，该异构文档排序模型200包括：主网络220、子网络240、以及输出层260；
主网络220包括第一嵌入层221、第一共享表示层223、以及k个文档类型对应的k个第一任务学习单元224，k为正整数；其中，第一嵌入层221的输入端即为待排序文档的文档特征的输入端，第一嵌入层221的输出端与第一共享表示层223的输入端连接；第一共享表示层223的输出端分别与k个第一任务学习单元224中每个单元的输入端连接。
子网络240包括第二嵌入层241、第二共享表示层243、以及k个文档类型对应的k个第二任务学习单元244；其中，第二嵌入层241的输入端即为待排序文档的位次特征的输入端，第二嵌入层241的输出端与第二共享表示层243的输入端连接；第二共享表示层243的输出端分别与k个第二任务学习单元244中每个单元的输入端连接。
输出层260的输入端分别与k个第一任务学习单元224中每个单元的输出端连接，输出层260的输入端还分别与k个第二任务学习单元244中每个单元的输出端连接；输出层260的输出端即为待排序文档的预估点击率的输出端；其中，预估点击率是指基于待排序文档的文档特征与位次特征预估的文档点击率。
在一些实施例中，主网络220还包括第一隐层222，第一隐层222的输入端与第一嵌入层221的输出端相连，第一隐层222的输出端与第一共享表示层223的输入端相连，也即第一嵌入层221与第一共享表示层223之间通过第一隐层222连接。
子网络240还包括第二隐层242，第二隐层242的输入端与第二嵌入层241的输出端连接，第二隐层242的输出端与第二共享表示层243的输入端连接，也即第二嵌入层241与第二共享表示层243之间通过第二隐层242连接。
在一些实施例中，第一共享表示层223中包括e个第一专家(Expert)和k个第一门控单元(Gate)；第一嵌入层221(或者第一隐层222)的输出端分别与k个第一Gates中的每个单元的输入端相连，第一嵌入层221(或者第一隐层222)的输出端还分别与e个第一Experts中的每个专家的输入端相连；e个第一Experts中的每个专家的输出端还分别与k个第一Gates中的每个单元的输入端连接；k个第一Gates中的每个单元的输出端与该单元对应的第一任务学习单元224的输入端连接；e为正整数。
第二共享标识层243中包括f个第二专家(Expert)和k个第二门控单元(Gate)；第二嵌入层241(或者第二隐层242)的输出端分别与k个第二Gates中的每个单元的输入端相连，第二嵌入层241(或者第二隐层242)的输出端还分别与f个第二Experts中的每个专家的输入端相连；e个第二Experts中的每个专家的输出端还分别与k个第二Gates中的每个单元的输入端连接；k个第二Gates中的每个单元的输出端与该单元对应的第二任务学习单元244的输入端连接；f为正整数。
上述异构文档排序模型是采用MMoE模型的架构设计的，在主网络中将每一类异构文档的点击率预估作为一个任务进行学习，使得每个任务学习单元能够专注于一类异构文档的点击率预估，能够消除统一对异构文档的点击率进行预估的场景下由于异构特征缺失导致的点击率预估不准确的问题；同时，在子网络中对搜索时的位次特征进行单独建模，基于上述位次特征对异构文档的点击率进行预估，最终综合主网络与子网络预估得到的点击率来对异构文档进行排序，进而通过更合理的异构文档排序展示来提高对异构文档的点击率。
对于上述异构文档排序模型在本申请中的应用进行说明，如图3，示出了本申请的一个示例性实施例提供的异构文档的排序方法的流程图，以该方法应用于图1所示的服务器中为例，该方法包括：
步骤301，获取待排序文档，待排序文档携带有文档类型。
在终端上显示有搜索框，当搜索框中输入关键字或者关键字符时，终端将上述关键字或者关键字符发送至服务器请求自动补全，服务器基于上述关键字或者关键字符进行补全，得到至少两个待排序文档，待排序文档携带有文档类型。比如，文档类型可以包括第一文档类型与第二文档类型，第一文档类型是指关键词提示的文档类型，第二文档类型是指直达词提示的文档类型。
示例性的，如图4，在搜索框中输入“瑜”，由服务器进行自动补全，得到文档“瑜伽”、“瑜舍”、“瑜伽体验”、以及“xxx瑜伽馆”等，在上述文档返回终端后，在搜索框的下拉列表中进行显示。其中，“瑜伽”与“xxx瑜伽馆”的文档结构不同，“瑜伽”是一个补全的关键词提示，“xxx瑜伽馆”是一个具体的商家，也即直达词提示，在“xxx瑜伽馆”对应的列表项上还显示有该瑜伽馆的评分等级、以及瑜伽馆的详细地址，；当选中“瑜伽”时，服务器会向终端反馈169个与“瑜伽”相关的结果链接；当选中“xxx瑜伽馆”时，服务器会向服务器反馈“xxx瑜伽馆”对应的网页页面。
步骤302，从待排序文档中提取文档特征与位次特征。
待排序文档中还包括文档特征与位次特征。上述文档特征是指与文档点击率关联的特征；比如，文档特征可以包括当前搜索的关键字(或者关键字符)、当前搜索所处时间段、当前搜索所在地理位置、待排序文档与关键字(或者关键字符)之间的文本匹配度、待排序文档与关键字(或者关键字符)之间的语义关联度、以及待排序文档的被搜索次数等；或者，若待排序文档是直达词提示，该直达词提示指示的是一个场所，文档特征还可以包括场所的评分等级、场所消费价格、场所地理位置与当前搜索所在地理位置之间的距离、以及场所作为直达词提示出现时的点击率等。
上述位次特征是指与文档排序位次关联的特征；比如，位次特征可以包括当前搜索的关键字(或者关键字符)、当前搜索所处时间段、当前搜索所在地理位置、文档类型、以及当前搜索的设备类型等。
示例性的，服务器在获取得到待排序文档之后，提取出待排序文档的至少两个文档特征与至少两个位次特征，分别生成至少两个文档特征的特征集合、以及至少两个位次特征的特征集合。
步骤303，调用主网络执行与文档类型对应的第一学习任务，基于文档特征学习出待排序文档的第一点击率。
示例性的，服务器基于上述文档特征的特征集合执行与文档类型对应的学习任务，预估得到待排序文档的第一点击率；可选地，服务器中设置有如图2所示的异构文档排序模型，异构文档排序模型包括主网络与子网络，主网络与子网络之间相互独立；服务器调用主网络执行与文档类型对应的第一学习任务，基于文档特征学习出第一点击率。
可选地，主网络包括第一嵌入层、第一共享表示层、以及k个文档类型对应的k个第一任务学习单元，k为正整数；服务器将文档特征输入第一嵌入层进行词嵌入，得到第一嵌入向量；将上述第一嵌入向量输入第一共享表示层进行特征表示，得到第一特征向量；将上述第一特征向量输入与文档类型对应的第一任务学习单元，针对第一特征向量执行第一学习任务，得到第一点击率。上述第一学习任务是指基于文档特征进行学习以预估待排序文档的点击率。
可选地，上述主网络中还包括第一隐层，上述第一嵌入向量在输入第一共享表示层进行特征表示之前，经由第一隐层对第一嵌入向量进行编码处理，得到编码后的第一嵌入向量，再将编码后的第一嵌入向量输入第一共享表示层进行特征表示。
示例性的，若文档类型包括关键词提示对应的第一文档类型、以及直达词提示对应的第二文档类型，则上述k取值为2，即主网络中包括用于对关键词提示的点击率预估的第一任务学习单元a、以及用于对直达词提示的点击率预估的第一任务学习单元b；服务器在得到关键词提示(或者直达词提示)的第一特征向量之后，将上述第一特征向量输入第一任务学习单元a(或者第一任务学习单元b)，针对第一特征向量进行特征学习后得到关键词提示(或者直达词提示)的第一点击率。
示例性的，主网络预估出的第一点击率是指待排序文档排列在下拉列表首位时的点击率。
步骤304，调用子网络执行与文档类型对应的第二学习任务，基于位次特征学习出待排序文档的第二点击率。
服务器基于上述位次特征的特征集合执行与文档类型对应的学习任务，预估得到待排序文档的第二点击率；可选地，子网络包括第二嵌入层、第二共享表示层、以及k个文档类型对应的k个第二任务学习单元，k为正整数；服务器将位次特征输入第二嵌入层进行词嵌入，得到第二嵌入向量；将上述第二嵌入向量输入第二共享表示层进行特征表示，得到第二特征向量；将上述第二特征向量输入与文档类型对应的第二任务学习单元，针对第二特征向量执行第二学习任务，得到第二点击率。上述第二学习任务是指基于位次特征进行学习以预估待排序文档的点击率。
可选地，上述子网络中还包括第二隐层，上述第二嵌入向量在输入第二共享表示层进行特征表示之前，经由第二隐层对第二嵌入向量进行编码处理，得到编码后的第二嵌入向量，再将编码后的第二嵌入向量输入第二共享表示层进行特征表示。
示例性的，若文档类型包括关键词提示对应的第一文档类型、以及直达词提示对应的第二文档类型，则上述k取值为2，即子网络中包括用于对关键词提示的点击率预估的第二任务学习单元c、以及用于对直达词提示的点击率预估的第二任务学习单元d；服务器在得到关键词提示(或者直达词提示)的第二特征向量之后，将上述第二特征向量输入第二任务学习单元c(或者第一任务学习单元d)，针对第二特征向量进行特征学习后得到关键词提示(或者直达词提示)的第二点击率。
步骤305，基于第一点击率与第二点击率确定出待排序文档在文档列表中的排序位次。
可选地，上述异构文档排序模型还包括输出层，服务器将主网络输出的第一点击率与子网络输出的第二点击率输入输出层中，输出层计算第一点击率与第二点击率的和，得到待排序文档的最终点击率；服务器基于上述最终点击率来确定待排序文档在文档列表(即下拉列表)中的排序位次。
比如，存在待排序文档1、待排序文档2、待排序文档3、以及待排序文档4；服务器确定出待排序文档1的最终点击率G1，确定待排序文档1的位次为第一位次；确定出待排序文档2的最终点击率G2，比较G2与G1，若G2大于G1，则将待排序文档2排列在待排序文档1之前，即位于第一位次，调整待排序文档1的位次为第二位次；确定出待排序文档3的最终点击率G3，比较G3与G2，若G2大于G3，则继续比较G3与G1，若G1大于G3，则待排序文档1与待排序文档的位次不变，确定待排序文档3的位次为第三位次；确定出待排序文档4的最终点击率为G4，比较G4与G2，若G2大于G4，则继续比较G1与G4，若G4大于G1，则将待排序文档4排列在待排序文档2之后以及待排序文档1之前，即位于第二位次，调整待排序文档1的位次为第三位次，调整待排序文档3的位次为第四位次；最终从第一至第四位次的排序为待排序文档2、待排序文档4、待排序文档1、待排序文档3。
综上所述，本实施例提供的异构文档的排序方法，调用设置有主网络与子网络的异构文档排序模型进行异构文档的排序，采用主网络与子网络分别基于文档特征与位次特征进行点击率预估，确定出文档特征对应的第一点击率与位次特征对应的第二点击率，综合第一点击率与第二点击率来确定待排序文档的预估点击率，也即综合文档特征与位次特征来确定待排序文档的预估点击率，从而基于上述预估点击率更合理的实现对异构文档的排序。
该方法中还将每一类异构文档的点击率预估作为一个任务进行学习，使得每个任务学习单元能够专注于一类异构文档的点击率预估，能够消除统一对异构文档的点击率进行预估的场景下由于异构特征缺失导致的点击率预估不准确的问题，进一步地提高了异构文档排序的合理性，最终通过合理的异构文档排序展示来提高对异构文档的点击率。
图5示出了本申请的一个示例性实施例提供的异构文档排序模型训练方法的流程图，以该方法应用于图1所示的服务器中为例，该方法包括：
步骤401，获取m组文档样本，文档样本携带有样本文档类型与样本点击率。
服务器从数据库中存储的历史数据中获取m组文档样本，每组文档样本对应一个搜索关键词或者关键字符(即Query)，每组文档样本中包括至少两个已排序的文档样本。需要说明的是，上述已排序的文档样本是在搜索过程中采集并存储至数据库中的，每一个已排序的文档样本中包括该文档样本在所在样本组中的排序位次、以及在上述排序位次上的点击率(即样本点击率)。上述文档样本还携带了样本文档类型；示例性的，样本文档类型可以包括关键词提示对应的文档类型与直达词提示对应的文档类型。
步骤402，从文档样本中提取样本文档特征与样本位次特征。
文档样本中包括样本文档特征与样本位次特征。其中，上述样本文档特征是指与文档点击率关联的特征；上述样本位次特征是指与文档排序位次关联的特征。示例性的，上述样本文档特征与样本位次特征分别是以特征集合的形式作为训练样本的。
示例性的，样本文档特征可以包括历史搜索的关键字(或者关键字符)、历史搜索所处时间段、历史搜索所在地理位置、已排序的文档样本与关键字(或者关键字符)之间的文本匹配度、已排序的文档样本与关键字(或者关键字符)之间的语义关联度、已排序的文档样本的被搜索次数、以及已排序的文档样本的被召回次数等；或者，若已排序的文档样本是直达词提示，该直达词提示指示的是一个场所，样本文档特征还可以包括场所的评分等级、场所消费价格、场所地理位置与历史搜索所在地理位置之间的距离、以及场所作为直达词提示出现时的点击率等。
示例性的，样本位次特征可以包括历史搜索的关键字(或者关键字符)、历史搜索所处时间段、历史搜索所在地理位置、文档类型、以及历史搜索的设备类型等。
步骤403，调用待训练的异构文档排序模型执行与样本文档类型对应的学习任务，分别对样本文档特征与样本位次特征进行独立学习，得到文档样本的第一样本点击率和第二样本点击率。
示例性的，服务器基于上述样文档特征与上述样本位次特征的特征集合对待训练的异构文档排序模型进行训练。可选地，待训练的异构文档排序模型包括主网络与子网络，主网络与子网络之间相互独立；服务器将每一个样本文档的样本文档特征与样本位次特征分别输入主网络与子网络，同时对主网络与子网络进行训练，示例性的，通过主网络与子网络进行第一/第二样本点击率的方式如下：
1)调用主网络执行与样本文档类型对应的第一学习任务，基于样本文档特征学习出第一样本点击率。
主网络包括第一嵌入层、第一共享表示层、以及k个文档类型对应的k个第一任务学习单元，k为正整数；服务器将样本文档特征输入第一嵌入层进行词嵌入，得到第一样本嵌入向量；将第一样本嵌入向量输入第一共享表示层进行特征表示，得到第一样本特征向量；将第一样本特征向量输入与样本文档类型对应的第一任务学习单元，针对第一样本特征向量执行第一学习任务，得到第一样本点击率。
其中，样本文档类型包括关键词提示对应的第一文档类型与直达词提示对应的第二文档类型；因此，若样本文档属于第一文档类型，服务器可以将第一样本特征向量输入与第一文档类型对应的第一任务学习单元，以进行对第一样本点击率的学习；若样本文档属于第二文档类型，服务器可以将第一样本特征向量输入与第二文档类型对应的第一任务学习单元，以进行对第一样本点击率的学习。
可选地，主网络还包括第一隐层，第一隐层用于连接第一嵌入层与第一共享表示层；服务器将第一样本嵌入向量输入第一隐层进行编码处理，得到编码后的第一样本嵌入向量，之后将编码后的第一样本嵌入向量输入第一共享表示层进行特征表示，得到第一样本特征向量。
可选地，第一共享表示层包括e个第一Experts和k个第一Gates；将第一样本嵌入向量x分别输入e个第一Experts中，得到每个第一Experts的输出h(x)i(即第i个第一Expert的输出)，i＝1,2,···,e；将e个h(x)i输入与文档类型对应的第一Gate，也即gj(x)(即文档类型对应的第j个Gate)，j＝1,2,···,k，其中，gj(x)可以是维度与Expert的个数相同的归一化函数，即
Figure BDA0002713835960000141
Figure BDA0002713835960000142
Figure BDA0002713835960000143
是第j个第一Gate中可更新的参数矩阵，
Figure BDA0002713835960000144
是
Figure BDA0002713835960000145
的取值集合，d是x的维度，gj(x)i是指gj(x)输出的第i个logits，
Figure BDA0002713835960000146
则第一Gate对Experts的输出进行组合，得到最终的输出结果
Figure BDA0002713835960000147
2)调用子网络执行与样本文档类型对应的第二学习任务，基于样本位次特征学习出第二样本点击率。
子网络包括第二嵌入层、第二共享表示层、以及k个文档类型对应的k个第二任务学习单元，k为正整数；服务器将样本位次特征输入第二嵌入层进行词嵌入，得到第二样本嵌入向量；将第二样本嵌入向量输入第二共享表示层进行特征表示，得到第二样本特征向量；将第二样本特征向量输入与样本文档类型对应的第二任务学习单元，针对第二样本特征向量执行第二学习任务，得到第二样本点击率。
其中，样本文档类型包括关键词提示对应的第一文档类型与直达词提示对应的第二文档类型；因此，若样本文档属于第一文档类型，服务器可以将第二样本特征向量输入与第一文档类型对应的第二任务学习单元，以进行对第二样本点击率的学习；若样本文档属于第二文档类型，服务器可以将第二样本特征向量输入与第二文档类型对应的第二任务学习单元，以进行对第二样本点击率的学习。
可选地，子网络还包括第二隐层，第二隐层用于连接第二嵌入层与第二共享表示层；服务器将第二样本嵌入向量输入第二隐层进行编码处理，得到编码后的第二样本嵌入向量，之后将编码后的第二样本嵌入向量输入第二共享表示层进行特征表示，得到第二样本特征向量。
可选地，第二共享表示层包括f个第二Experts和k个第二Gates；将第二样本嵌入向量x’分别输入f个第二Experts中，得到每个第二Experts的输出H(x’)i(即第i个第二Expert的输出)，i＝1,2,···,f；将f个H(x’)i输入与文档类型对应的第二Gate，也即Gj(x’)(即文档类型对应的第j个Gate)，j＝1,2,···,k，其中，Gj(x’)可以是维度与Expert的个数相同的归一化函数，即
Figure BDA0002713835960000151
Figure BDA0002713835960000152
是第j个第二Gate中可更新的参数矩阵，Rf×D是
Figure BDA0002713835960000153
的取值集合，D是x’的维度，Gj(x’)i是指Gj(x’)输出的第i个logits，
Figure BDA0002713835960000154
则第二Gate对Experts的输出进行组合，得到最终的输出结果
Figure BDA0002713835960000155
步骤404，确定第一样本点击率与样本点击率之间、以及第二样本点击率与样本点击率之间的点击率损失。
可选地，服务器计算第一样本点击率与样本点击率之间的点击率损失，该点击率损失用于对主网络中的模型参数进行调整，以提高主网络对文档点击率的预估准确性；计算第二样本点击率与样本点击率之间的点击率损失，该点击率损失用于对子网络中的模型参数进行调整，以提高模型对子网络对位次纠偏的准确性。
可选地，服务器计算第一样本点击率与第二样本点击率之间的加权和，得到位次纠偏后的点击率，计算位次纠偏后的点击率与真实的样本点击率之间的点击率损失。
可选地，样本点击率损失包括传统损失(即logloss)或者λ损失(Lambda loss)。
步骤405，基于点击率损失对待训练的异构文档排序模型进行反向传播训练，最终得到训练完成的异构文档排序模型。
服务器将点击率损失反向传播至待训练的异构文档排序模型中，对主网络与子网络中的模型参数进行优化，最终得到训练完成的异构文档排序模型。
示例性的，上述主网络以优化点击率的loss为目标，对文档点击率的预估准确性进行训练；上述子网络在优化过程中将损失梯度取负数，纠正位次因素带来的点击率误差，也即在子网络中采用反向传导负梯度进行优化，以达到消除位次因素带来的偏差这一目的。示例性的，上述子网络中采用λ损失(Lambda loss)作为点击率损失进行训练，相对于传统损失(即logloss)，Lambda loss是在搜索领域内的梯度优化算法，考虑了样本对之间的相对顺序，能够更好的学习到相同的query内不同文档颠倒位次的影响。示例性的，在对子网络的训练过程中，还可以适当的降低子网络的学习率和加强子网络的正则项，以使得模型离线预估点击率的准确率提高。
综上所述，本实施例提供的异构文档排序模型训练方法，在异构文档排序模型中设置了主网络与子网络，分别基于文档特征与位次特征进行点击率预估，综合考虑了文档本身与位次对点击率的双重影响，尤其针对搜索关键字或者关键字符、文档类型和位次信息等位次偏差特征，单独建立了子网络，以分别纠正关键词提示与直达词提示在不同Query和不同位次的点击误差，最终使得训练得到模型预估得到的点击率更加准确，实现在搜索的下拉列表中更合理的文档排序。
还有异构文档排序模型中主网络与子网络均采用了MMoE模型的架构，利用多Experts和Gates机制专注于关键词提示与直达词提示的特征学习，保证了异构特征的默认值不会相互干扰。
图6示出了本申请一个示例性实施例提供的异构文档的排序装置的框图，该装置中设置有异构文档排序模型的电子设备中，异构文档排序模型包括主网络与子网络，主网络与子网络之间相互独立；该装置可以通过软件、硬件、或者二者结合实现成为服务器或者终端的部分或者全部。该装置包括：
第一获取模块501，用于获取待排序文档，待排序文档携带有文档类型；
第一提取模块502，用于从待排序文档中提取文档特征与位次特征，文档特征是指与文档点击率关联的特征，位次特征是指与文档排序位次关联的特征；
第一学习模块503，用于调用主网络执行与文档类型对应的第一学习任务，基于文档特征学习出待排序文档的第一点击率；调用子网络执行与文档类型对应的第二学习任务，基于位次特征学习出待排序文档的第二点击率；
排序模块504，用于基于第一点击率与第二点击率确定出待排序文档在文档列表中的排序位次。
在一些实施例中，主网络包括第一嵌入层、第一共享表示层、以及k个文档类型对应的k个第一任务学习单元，k为正整数；
第一学习模块503，用于将文档特征输入第一嵌入层进行词嵌入，得到第一嵌入向量；将第一嵌入向量输入第一共享表示层进行特征表示，得到第一特征向量；将第一特征向量输入与文档类型对应的第一任务学习单元，针对第一特征向量执行第一学习任务，得到第一点击率。
在一些实施例中，子网络包括第二嵌入层、第二共享表示层、以及k个文档类型对应的k个第二任务学习单元，k为正整数；
第一学习模块503，用于将位次特征输入第二嵌入层进行词嵌入，得到第二嵌入向量；将第二嵌入向量输入第二共享表示层进行特征表示，得到第二特征向量；将第二特征向量输入与文档类型对应的第二任务学习单元，针对第二特征向量执行第二学习任务，得到第二点击率。
在一些实施例中，该装置还包括：
第二获取模块505，用于获取m组文档样本，文档样本携带有样本文档类型与样本点击率；
第二提取模块506，用于从文档样本中提取样本文档特征与样本位次特征，样本文档特征是指与文档点击率关联的特征，样本位次特征是指与文档排序位次关联的特征；
第二学习模块507，用于调用待训练的异构文档排序模型执行与样本文档类型对应的学习任务，分别对样本文档特征与样本位次特征进行独立学习，得到文档样本的第一样本点击率和第二样本点击率；
训练模块508，用于确定第一样本点击率与样本点击率之间、以及第二样本点击率与样本点击率之间的点击率损失；基于点击率损失对待训练的异构文档排序模型进行反向传播训练，最终得到训练完成的异构文档排序模型。
在一些实施例中，待训练的异构文档排序模型包括主网络与子网络，主网络与子网络之间相互独立；第二学习模块507，包括：
第一学习子模块5071，用于调用主网络执行与样本文档类型对应的第一学习任务，基于样本文档特征学习出第一样本点击率；
第二学习子模块5072，用于调用子网络执行与样本文档类型对应的第二学习任务，基于样本位次特征学习出第二样本点击率。
在一些实施例中，主网络包括第一嵌入层、第一共享表示层、以及k个文档类型对应的k个第一任务学习单元，k为正整数；
第一学习子模块5071，用于将样本文档特征输入第一嵌入层进行词嵌入，得到第一样本嵌入向量；将第一样本嵌入向量输入第一共享表示层进行特征表示，得到第一样本特征向量；将第一样本特征向量输入与样本文档类型对应的第一任务学习单元，针对第一样本特征向量执行第一学习任务，得到第一样本点击率。
在一些实施例中，样本文档类型包括关键词提示对应的第一文档类型与直达词提示对应的第二文档类型；
第一学习子模块5071，用于将第一样本特征向量输入与第一文档类型对应的第一任务学习单元；或者，将第一样本特征向量输入与第二文档类型对应的第一任务学习单元。
在一些实施例中，子网络包括第二嵌入层、第二共享表示层、以及k个文档类型对应的k个第二任务学习单元，k为正整数；
第二学习子模块5072，用于将样本位次特征输入第二嵌入层进行词嵌入，得到第二样本嵌入向量；将第二样本嵌入向量输入第二共享表示层进行特征表示，得到第二样本特征向量；将第二样本特征向量输入与样本文档类型对应的第二任务学习单元，针对第二样本特征向量执行第二学习任务，得到第二样本点击率。
在一些实施例中，样本文档类型包括关键词提示对应的第一文档类型与直达词提示对应的第二文档类型；
第二学习子模块5072，用于将第二样本特征向量输入与第一文档类型对应的第二任务学习单元；或者，将第二样本特征向量输入与第二文档类型对应的第二任务学习单元。
综上所述，本实施例提供的异构文档的排序装置，调用设置有主网络与子网络的异构文档排序模型进行异构文档的排序，采用主网络与子网络分别基于文档特征与位次特征进行点击率预估，确定出文档特征对应的第一点击率与位次特征对应的第二点击率，综合第一点击率与第二点击率来确定待排序文档的预估点击率，也即综合文档特征与位次特征来确定待排序文档的预估点击率，从而基于上述预估点击率更合理的实现对异构文档的排序。
该装置中还将每一类异构文档的点击率预估作为一个任务进行学习，使得每个任务学习单元能够专注于一类异构文档的点击率预估，能够消除统一对异构文档的点击率进行预估的场景下由于异构特征缺失导致的点击率预估不准确的问题，进一步地提高了异构文档排序的合理性，最终通过合理的异构文档排序展示来提高对异构文档的点击率。
图7示出了本申请一个示例性实施例提供的异构文档排序模型的训练装置的框图，该装置可以通过软件、硬件、或者二者结合实现成为服务器或者终端的部分或者全部。该装置包括：
第二获取模块601，用于获取m组文档样本，文档样本携带有样本文档类型与样本点击率；
第二提取模块602，用于从文档样本中提取样本文档特征与样本位次特征，样本文档特征是指与文档点击率关联的特征，样本位次特征是指与文档排序位次关联的特征；
第二学习模块603，用于调用待训练的异构文档排序模型执行与样本文档类型对应的学习任务，分别对样本文档特征与样本位次特征进行独立学习，得到文档样本的第一样本点击率和第二样本点击率；
训练模块604，用于确定第一样本点击率与样本点击率之间、以及第二样本点击率与样本点击率之间的点击率损失；基于点击率损失对待训练的异构文档排序模型进行反向传播训练，最终得到训练完成的异构文档排序模型。
在一些实施例中，主网络包括第一嵌入层、第一共享表示层、以及k个文档类型对应的k个第一任务学习单元，k为正整数；
第二学习模块603，用于将样本文档特征输入第一嵌入层进行词嵌入，得到第一样本嵌入向量；将第一样本嵌入向量输入第一共享表示层进行特征表示，得到第一样本特征向量；将第一样本特征向量输入与样本文档类型对应的第一任务学习单元，针对第一样本特征向量执行第一学习任务，得到第一样本点击率。
在一些实施例中，样本文档类型包括关键词提示对应的第一文档类型与直达词提示对应的第二文档类型；
第二学习模块603，用于将第一样本特征向量输入与第一文档类型对应的第一任务学习单元；或者，将第一样本特征向量输入与第二文档类型对应的第一任务学习单元。
在一些实施例中，子网络包括第二嵌入层、第二共享表示层、以及k个文档类型对应的k个第二任务学习单元，k为正整数；
第二学习模块603，用于将样本位次特征输入第二嵌入层进行词嵌入，得到第二样本嵌入向量；将第二样本嵌入向量输入第二共享表示层进行特征表示，得到第二样本特征向量；将第二样本特征向量输入与样本文档类型对应的第二任务学习单元，针对第二样本特征向量执行第二学习任务，得到第二样本点击率。
在一些实施例中，样本文档类型包括关键词提示对应的第一文档类型与直达词提示对应的第二文档类型；
第二学习模块603，用于将第二样本特征向量输入与第一文档类型对应的第二任务学习单元；或者，将第二样本特征向量输入与第二文档类型对应的第二任务学习单元。
综上所述，本实施例提供的异构文档排序模型训练装置，在异构文档排序模型中设置了主网络与子网络，分别基于文档特征与位次特征进行点击率预估，综合考虑了文档本身与位次对点击率的双重影响，尤其针对搜索关键字或者关键字符、文档类型和位次信息等位次偏差特征，单独建立了子网络，以分别纠正关键词提示与直达词提示在不同Query和不同位次的点击误差，最终使得训练得到模型预估得到的点击率更加准确，实现在搜索的下拉列表中更合理的文档排序。
还有异构文档排序模型中主网络与子网络均采用了MMoE模型的架构，利用多Experts和Gates机制专注于关键词提示与直达词提示的特征学习，保证了异构特征的默认值不会相互干扰。
图8示出了本申请一个示例性实施例提供的计算机设备的结构示意图。该计算机设备可以是执行如本申请提供的异构文档的排序方法或者异构文档排序模型训练方法的设备，该计算机设备可以是终端或者服务器。具体来讲：
计算机设备700包括中央处理单元(CPU，Central Processing Unit)701、包括随机存取存储器(RAM，Random Access Memory)702和只读存储器(ROM，Read Only Memory)703的系统存储器704，以及连接系统存储器704和中央处理单元701的系统总线705。计算机设备700还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统，Input Output System)706，和用于存储操作系统713、应用程序714和其他程序模块715的大容量存储设备707。
基本输入/输出系统706包括有用于显示信息的显示器708和用于用户输入信息的诸如鼠标、键盘之类的输入设备709。其中显示器708和输入设备709都通过连接到系统总线705的输入输出控制器710连接到中央处理单元701。基本输入/输出系统706还可以包括输入输出控制器710以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器710还提供输出到显示屏、打印机或其他类型的输出设备。
大容量存储设备707通过连接到系统总线705的大容量存储控制器(未示出)连接到中央处理单元701。大容量存储设备707及其相关联的计算机可读介质为计算机设备700提供非易失性存储。也就是说，大容量存储设备707可以包括诸如硬盘或者紧凑型光盘只读存储器(CD-ROM，Compact Disc Read Only Memory)驱动器之类的计算机可读介质(未示出)。
计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读存储器(EPROM，Erasable Programmable Read Only Memory)、带电可擦可编程只读存储器(EEPROM,Electrically Erasable Programmable Read Only Memory)、闪存或其他固态存储其技术，CD-ROM、数字通用光盘(DVD，Digital Versatile Disc)或固态硬盘(SSD，Solid State Drives)、其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。其中，随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM，Resistance RandomAccess Memory)和动态随机存取存储器(DRAM，Dynamic Random Access Memory)。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器704和大容量存储设备707可以统称为存储器。
根据本申请的各种实施例，计算机设备700还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备700可以通过连接在系统总线705上的网络接口单元711连接到网络712，或者说，也可以使用网络接口单元711来连接到其他类型的网络或远程计算机系统(未示出)。
上述存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，被配置由CPU执行。
在一个可选的实施例中，提供了一种计算机设备，该计算机设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上所述的异构文档的排序方法，或者，异构文档排序模型训练方法。
在一个可选的实施例中，提供了一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上所述的异构文档的排序方法，或者，异构文档排序模型训练方法。
可选地，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、固态硬盘(SSD，Solid State Drives)或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM，Resistance RandomAccess Memory)和动态随机存取存储器(DRAM，Dynamic Random Access Memory)。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
本申请还提供一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的异构文档的排序方法，或者，异构文档排序模型训练方法。
本申请还提供了一种计算机程序产品，上述计算机程序产品包括计算机指令，上述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从上述计算机可读存储介质读取上述计算机指令，上述处理器执行上述计算机指令，使得上述计算机设备执行如上所述的异构文档的排序方法，或者，异构文档排序模型训练方法。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (14)

1.一种异构文档的排序方法，其特征在于，应用于设置有异构文档排序模型的电子设备中，所述异构文档排序模型包括主网络与子网络，所述主网络与所述子网络之间相互独立，所述方法包括：
获取待排序文档，所述待排序文档携带有文档类型；
从所述待排序文档中提取文档特征与位次特征，所述文档特征是指与文档点击率关联的特征，所述位次特征是指与文档排序位次关联的特征；
调用所述主网络执行与所述文档类型对应的第一学习任务，基于所述文档特征学习出所述待排序文档的第一点击率；
调用所述子网络执行与所述文档类型对应的第二学习任务，基于所述位次特征学习出所述待排序文档的第二点击率；
基于所述第一点击率与所述第二点击率确定出所述待排序文档在文档列表中的排序位次。
2.根据权利要求1所述的方法，其特征在于，所述主网络包括第一嵌入层、第一共享表示层、以及k个文档类型对应的k个第一任务学习单元，k为正整数；
所述调用所述主网络执行与所述文档类型对应的第一学习任务，基于所述文档特征学习出所述待排序文档的第一点击率，包括：
将所述文档特征输入所述第一嵌入层进行词嵌入，得到第一嵌入向量；
将所述第一嵌入向量输入所述第一共享表示层进行特征表示，得到第一特征向量；
将所述第一特征向量输入与所述文档类型对应的第一任务学习单元，针对所述第一特征向量执行所述第一学习任务，得到所述第一点击率。
3.根据权利要求1所述的方法，其特征在于，所述子网络包括第二嵌入层、第二共享表示层、以及k个文档类型对应的k个第二任务学习单元，k为正整数；
所述调用所述子网络执行与所述文档类型对应的第二学习任务，基于所述位次特征学习出所述待排序文档的第二点击率，包括：
将所述位次特征输入所述第二嵌入层进行词嵌入，得到第二嵌入向量；
将所述第二嵌入向量输入所述第二共享表示层进行特征表示，得到第二特征向量；
将所述第二特征向量输入与所述文档类型对应的第二任务学习单元，针对所述第二特征向量执行所述第二学习任务，得到所述第二点击率。
4.根据权利要求1至3任一所述的方法，其特征在于，所述异构文档排序模型的训练过程如下：
获取m组文档样本，所述文档样本携带有样本文档类型与样本点击率；
从所述文档样本中提取样本文档特征与样本位次特征，所述样本文档特征是指与文档点击率关联的特征，所述样本位次特征是指与文档排序位次关联的特征；
调用待训练的异构文档排序模型执行与所述样本文档类型对应的学习任务，分别对所述样本文档特征与所述样本位次特征进行独立学习，得到所述文档样本的第一样本点击率和第二样本点击率；
确定所述第一样本点击率与所述样本点击率之间、以及所述第二样本点击率与所述样本点击率之间的点击率损失；
基于所述点击率损失对所述待训练的异构文档排序模型进行反向传播训练，最终得到训练完成的所述异构文档排序模型。
5.根据权利要求4所述的方法，其特征在于，所述待训练的异构文档排序模型包括主网络与子网络，所述主网络与子网络之间相互独立；
所述调用待训练的异构文档排序模型执行与所述样本文档类型对应的学习任务，分别对所述样本文档特征与所述样本位次特征进行独立学习，得到所述文档样本的第一样本点击率和第二样本点击率，包括：
调用所述主网络执行与所述样本文档类型对应的第一学习任务，基于所述样本文档特征学习出所述第一样本点击率；
调用所述子网络执行与所述样本文档类型对应的第二学习任务，基于所述样本位次特征学习出所述第二样本点击率。
6.根据权利要求5所述的方法，其特征在于，所述主网络包括第一嵌入层、第一共享表示层、以及k个文档类型对应的k个第一任务学习单元，k为正整数；
所述调用所述主网络执行与所述样本文档类型对应的第一学习任务，基于所述样本文档特征学习出所述第一样本点击率，包括：
将所述样本文档特征输入所述第一嵌入层进行词嵌入，得到第一样本嵌入向量；
将所述第一样本嵌入向量输入所述第一共享表示层进行特征表示，得到第一样本特征向量；
将所述第一样本特征向量输入与所述样本文档类型对应的第一任务学习单元，针对所述第一样本特征向量执行所述第一学习任务，得到所述第一样本点击率。
7.根据权利要求6所述的方法，其特征在于，所述样本文档类型包括关键词提示对应的第一文档类型与直达词提示对应的第二文档类型；
所述将所述第一样本特征向量输入与所述样本文档类型对应的第一任务学习单元，包括：
将所述第一样本特征向量输入与所述第一文档类型对应的第一任务学习单元；
或者，
将所述第一样本特征向量输入与所述第二文档类型对应的第一任务学习单元。
8.根据权利要求5所述的方法，其特征在于，所述子网络包括第二嵌入层、第二共享表示层、以及k个文档类型对应的k个第二任务学习单元，k为正整数；
所述调用所述子网络执行与所述样本文档类型对应的第二学习任务，基于所述样本位次特征学习出所述第二样本点击率，包括：
将所述样本位次特征输入所述第二嵌入层进行词嵌入，得到第二样本嵌入向量；
将所述第二样本嵌入向量输入所述第二共享表示层进行特征表示，得到第二样本特征向量；
将所述第二样本特征向量输入与所述样本文档类型对应的第二任务学习单元，针对所述第二样本特征向量执行所述第二学习任务，得到所述第二样本点击率。
9.根据权利要求8所述的方法，其特征在于，所述样本文档类型包括关键词提示对应的第一文档类型与直达词提示对应的第二文档类型；
所述将所述第二样本特征向量输入与所述样本文档类型对应的第二任务学习单元，包括：
将所述第二样本特征向量输入与所述第一文档类型对应的第二任务学习单元；
或者，
将所述第二样本特征向量输入与所述第二文档类型对应的第二任务学习单元。
10.一种异构文档排序模型训练方法，其特征在于，所述方法包括：
获取m组文档样本，所述文档样本携带有样本文档类型与样本点击率；
从所述文档样本中提取样本文档特征与样本位次特征，所述样本文档特征是指与文档点击率关联的特征，所述样本位次特征是指与文档排序位次关联的特征；
调用待训练的异构文档排序模型执行与所述样本文档类型对应的学习任务，分别对所述样本文档特征与所述样本位次特征进行独立学习，得到所述文档样本的第一样本点击率和第二样本点击率；
确定所述第一样本点击率与所述样本点击率之间、以及所述第二样本点击率与所述样本点击率之间的点击率损失；
基于所述点击率损失对所述待训练的异构文档排序模型进行反向传播训练，最终得到训练完成的异构文档排序模型。
11.一种异构文档的排序装置，其特征在于，所述装置中设置有异构文档排序模型，所述异构文档排序模型包括主网络与子网络，所述主网络与所述子网络之间相互独立，所述装置包括：
第一获取模块，用于获取待排序文档，所述待排序文档携带有文档类型；
第一提取模块，用于从所述待排序文档中提取文档特征与位次特征，所述文档特征是指与文档点击率关联的特征，所述位次特征是指与文档排序位次关联的特征；
第一学习模块，用于调用所述主网络执行与所述文档类型对应的第一学习任务，基于所述文档特征学习出所述待排序文档的第一点击率；调用所述子网络执行与所述文档类型对应的第二学习任务，基于所述位次特征学习出所述待排序文档的第二点击率；
排序模块，用于基于所述第一点击率与所述第二点击率确定出所述待排序文档在文档列表中的排序位次。
12.一种异构文档排序模型训练装置，其特征在于，所述装置包括：
第二获取模块，用于获取m组文档样本，所述文档样本携带有样本文档类型与样本点击率；
第二提取模块，用于从所述文档样本中提取样本文档特征与样本位次特征，所述样本文档特征是指与文档点击率关联的特征，所述样本位次特征是指与文档排序位次关联的特征；
第二学习模块，用于调用待训练的异构文档排序模型执行与所述样本文档类型对应的学习任务，分别对所述样本文档特征与所述样本位次特征进行独立学习，得到所述文档样本的第一样本点击率和第二样本点击率；
训练模块，用于确定所述第一样本点击率与所述样本点击率之间、以及所述第二样本点击率与所述样本点击率之间的点击率损失；基于所述点击率损失对所述待训练的异构文档排序模型进行反向传播训练，最终得到训练完成的异构文档排序模型。
13.一种计算机设备，其特征在于，所述计算机设备包括：处理器和存储器，所述存储器存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至9任一所述的异构文档的排序方法，或者，如权利要求10所述的异构文档排序模型训练方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如权利要求1至9任一所述的异构文档的排序方法，或者，如权利要求10所述的异构文档排序模型训练方法。
CN202011066256.4A 2020-09-30 2020-09-30 异构文档的排序方法、异构文档排序模型训练方法及装置 Active CN112231546B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011066256.4A CN112231546B (zh) 2020-09-30 2020-09-30 异构文档的排序方法、异构文档排序模型训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011066256.4A CN112231546B (zh) 2020-09-30 2020-09-30 异构文档的排序方法、异构文档排序模型训练方法及装置

Publications (2)

Publication Number Publication Date
CN112231546A true CN112231546A (zh) 2021-01-15
CN112231546B CN112231546B (zh) 2024-04-19

Family

ID=74119344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011066256.4A Active CN112231546B (zh) 2020-09-30 2020-09-30 异构文档的排序方法、异构文档排序模型训练方法及装置

Country Status (1)

Country Link
CN (1) CN112231546B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024001943A1 (zh) * 2022-06-30 2024-01-04 华为技术有限公司 一种搜索方法、系统及相关装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100082421A1 (en) * 2008-09-30 2010-04-01 Yahoo! Inc. Click through rate prediction system and method
US20110029517A1 (en) * 2009-07-31 2011-02-03 Shihao Ji Global and topical ranking of search results using user clicks
US20140149429A1 (en) * 2012-11-29 2014-05-29 Microsoft Corporation Web search ranking
US20180101534A1 (en) * 2016-10-12 2018-04-12 Salesforce.Com, Inc. Accounting for Positional Bias in A Document Retrieval System Using Machine Learning
CN108509461A (zh) * 2017-02-28 2018-09-07 华为技术有限公司 一种基于强化学习的排序学习方法及服务器
CN111563158A (zh) * 2020-04-26 2020-08-21 腾讯科技（深圳）有限公司 文本排序方法、排序装置、服务器和计算机可读存储介质
CN111581545A (zh) * 2020-05-12 2020-08-25 腾讯科技（深圳）有限公司 一种召回文档的排序方法及相关设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100082421A1 (en) * 2008-09-30 2010-04-01 Yahoo! Inc. Click through rate prediction system and method
US20110029517A1 (en) * 2009-07-31 2011-02-03 Shihao Ji Global and topical ranking of search results using user clicks
US20140149429A1 (en) * 2012-11-29 2014-05-29 Microsoft Corporation Web search ranking
US20180101534A1 (en) * 2016-10-12 2018-04-12 Salesforce.Com, Inc. Accounting for Positional Bias in A Document Retrieval System Using Machine Learning
CN108509461A (zh) * 2017-02-28 2018-09-07 华为技术有限公司 一种基于强化学习的排序学习方法及服务器
CN111563158A (zh) * 2020-04-26 2020-08-21 腾讯科技（深圳）有限公司 文本排序方法、排序装置、服务器和计算机可读存储介质
CN111581545A (zh) * 2020-05-12 2020-08-25 腾讯科技（深圳）有限公司 一种召回文档的排序方法及相关设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024001943A1 (zh) * 2022-06-30 2024-01-04 华为技术有限公司 一种搜索方法、系统及相关装置

Also Published As

Publication number Publication date
CN112231546B (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
CN110012356B (zh) 视频推荐方法、装置和设备及计算机存储介质
CN110162593B (zh) 一种搜索结果处理、相似度模型训练方法及装置
CN108921221B (zh) 用户特征的生成方法、装置、设备及存储介质
US10489688B2 (en) Personalized digital image aesthetics in a digital medium environment
US20190164084A1 (en) Method of and system for generating prediction quality parameter for a prediction model executed in a machine learning algorithm
WO2020159593A1 (en) Training image and text embedding models
CN111754278A (zh) 物品推荐方法、装置、计算机存储介质和电子设备
CN112819024B (zh) 模型处理方法、用户数据处理方法及装置、计算机设备
CN111563158A (zh) 文本排序方法、排序装置、服务器和计算机可读存储介质
CN114417058A (zh) 一种视频素材的筛选方法、装置、计算机设备和存储介质
Zhao et al. Tag‐Aware Recommender System Based on Deep Reinforcement Learning
CN114282528A (zh) 一种关键词提取方法、装置、设备及存储介质
CN112231546B (zh) 异构文档的排序方法、异构文档排序模型训练方法及装置
CN111340605A (zh) 训练用户行为预测模型、用户行为预测的方法和装置
CN116756281A (zh) 知识问答方法、装置、设备和介质
CN115631008B (zh) 商品推荐方法、装置、设备及介质
CN115080856A (zh) 推荐方法及装置、推荐模型的训练方法及装置
CN113515701A (zh) 信息推荐方法及装置
CN114254151A (zh) 搜索词推荐模型的训练方法、搜索词推荐方法和装置
CN113094602A (zh) 酒店推荐方法、系统、设备及介质
CN113705071A (zh) 设备识别方法、装置、设备及存储介质
CN113569130A (zh) 内容推荐方法、装置、设备及可读存储介质
CN117788842B (zh) 图像检索方法及相关装置
CN114637921B (zh) 基于建模偶然不确定性的物品推荐方法、装置和设备
CN117786234B (zh) 一种基于两阶段对比学习的多模态资源推荐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant