CN111563158A - 文本排序方法、排序装置、服务器和计算机可读存储介质 - Google Patents

文本排序方法、排序装置、服务器和计算机可读存储介质 Download PDF

Info

Publication number
CN111563158A
CN111563158A CN202010337350.2A CN202010337350A CN111563158A CN 111563158 A CN111563158 A CN 111563158A CN 202010337350 A CN202010337350 A CN 202010337350A CN 111563158 A CN111563158 A CN 111563158A
Authority
CN
China
Prior art keywords
sample
document
recall
probability
documents
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010337350.2A
Other languages
English (en)
Other versions
CN111563158B (zh
Inventor
彭江军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010337350.2A priority Critical patent/CN111563158B/zh
Publication of CN111563158A publication Critical patent/CN111563158A/zh
Application granted granted Critical
Publication of CN111563158B publication Critical patent/CN111563158B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/338—Presentation of query results
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W90/00—Enabling technologies or technologies with a potential or indirect contribution to greenhouse gas [GHG] emissions mitigation

Abstract

本发明实施例公开了一种基于人工智能的文本排序方法、排序装置、服务器和计算机可读存储介质；本发明利用所述样本召回文档在所述排序后样本召回文档集合中的排序位置生成与所述样本召回文档对应的标签值，根据所述标签值对召回文档集合中召回文档的排序值进行预测，得到召回文档的预测排序值，这样可以为每次的搜索提供一个可靠的排序顺序，同时将排序问题由一个只有用户点击与不点击的二分类模式转化为一个具有高可信度的文档排序模型，同时由于本申请不需要人为的对标签值进行标注，在提高了对召回文本的排序效率的同时，可以根据排序后的召回文档集合提高推荐信息的准确度。

Description

文本排序方法、排序装置、服务器和计算机可读存储介质
技术领域
本发明涉及通信技术领域，具体涉及一种文本排序方法、排序装置、服务器和计算机可读存储介质。
背景技术
随着互联网技术的发展，多媒体信息的数量也在不断的增长。为提高用户体验，多媒体信息应用通常会根据用户当前查看的多媒体信息向用户推荐相关的多媒体信息。
比如，视频应用根据用户输入的搜索词，视频应用根据用户的搜索词召回相关的视频内容，然后，将视频内容经过排序后的推荐给用户。
现有技术中，预估每个位置的视频内容的点击概率的方式是：统计每个位置上视频内容点击的平均概率作为分母，然后用预测出来的概率或者分数除上分母得到最终的分值，依据最终的分值的排序，从而向用户推荐视频内容，然而，这种方式粒度最粗，推荐效果不够准确。
发明内容
本发明实施例提供一种文本排序方法、文本排序装置、服务器和计算机可读存储介质，可以提高推荐信息的准确度。
本发明实施例提供一种文档排序方法，包括:
获取样本观测数据，所述样本观测数据包括：用户针对历史信息的样本点击行为特征、样本搜索词、样本搜索词对应的样本召回文档集合、样本召回文档在样本召回文档集合中的位置信息；
根据所述样本观测数据预测样本搜索词与样本召回文档之间的相关概率、和样本召回文档集合中样本召回文档的被浏览概率；
基于所述相关概率和所述被浏览概率，计算得到当前搜索事件中样本召回文档的点击概率；
根据所述当前搜索事件中样本召回文档的点击概率对样本召回文档进行排序，得到排序后样本召回文档集合；
根据所述样本召回文档在所述排序后样本召回文档集合中的排序位置生成与所述样本召回文档对应的标签值，所述标签值表征样本召回文档在样本召回文档集合中实际的排序质量；
采用文档排序模型，根据所述标签值对召回文档集合中召回文档的排序值进行预测，得到召回文档的预测排序值，所述预测排序值表征召回文档在召回文档集合中预测的排序质量；
基于所述召回文档的预测排序值和标签值，对所述文档排序模型进行训练，基于训练后的文档排序模型对待搜索词的召回文档进行排序。
相应的，本发明实施例还提供一种文本排序装置，包括：
获取单元，用于获取样本观测数据，所述样本观测数据包括：用户针对历史信息的样本点击行为特征、样本搜索词、样本搜索词对应的样本召回文档集合、样本召回文档在样本召回文档集合中的位置信息；
第一预测单元，用于根据所述样本观测数据预测样本搜索词与样本召回文档之间的相关概率、和样本召回文档集合中样本召回文档的被浏览概率；
计算单元，用于基于所述相关概率和所述被浏览概率，计算得到当前搜索事件中样本召回文档的点击概率；
第一排序单元，用于根据所述当前搜索事件中样本召回文档的点击概率对样本召回文档集合进行排序，得到排序后样本召回文档集合；
生成单元，用于根据样本召回文档在所述排序后样本召回文档集合中的排序位置生成所述样本召回文档对应的标签值，所述标签值表征样本召回文档在样本召回文档集合中实际的排序质量；
第二预测单元，用于采用文档排序模型，根据所述标签值对召回文档集合中召回文档的排序值进行预测，得到召回文档的预测排序值，所述预测排序值表征召回文档在召回文档集合中预测的排序质量；
第二排序单元，用于基于所述召回文档的预测排序值和标签值，对所述文档排序模型进行训练，基于训练后的文档排序模型对待搜索词的召回文档进行排序。
可选的，在一些实施例中，所述第一预测单元包括第一子计算单元和第二子计算单元,
所述第一子计算单元具体用于：利用所述样本观测数据对样本搜索词与样本召回文档的相关概率、和样本召回文档集合中的样本召回文档的被浏览概率进行计算，得到中间参数；
所述第二子计算单元具体用于：根据所述中间参数进行迭代计算，直到满足预设迭代条件，则输出样本搜索词与样本召回文档之间的相关概率、和样本召回文档集合中样本召回文档的被浏览概率。
可选的，在一些实施例中，所述第一子计算单元具体用于：计算所述样本观测数据的似然函数，得到样本搜索词与样本召回文档的相关概率、和样本召回文档集合中的样本召回文档的被浏览概率的初始参数；
根据所述相关概率和浏览概率的初始参数与所述样本观测数据，计算得到中间参数。
可选的，在一些实施例中，所述第二子计算单元具体用于：基于所述中间参数和所述样本观测数据进行迭代计算，若前一次的中间参数与后一次的中间参数差值小于预设阈值，则输出样本搜索词与样本召回文档之间的相关概率、和样本召回文档集合中样本召回文档的被浏览概率。
可选的，在一些实施例中，所述第一排序单于包括合并单元和排序子单元，所述合并单元具体用于：将所述当前搜索事件中的样本召回文档和历史搜索事件中样本召回文档相并，得到样本搜索词的样本召回文档集合中每一个样本召回文档的点击概率；
所述排序子单元具体用于：将所述样本搜索词的召回文档集合中每一个样本召回文档的点击概率由大到小进行排序，得到排序后样本召回文档集合。
可选的，在一些实施例中，所述生成单元具体用于：根据样本召回文档在所述排序后样本召回文档集合中的排序位置范围，生成与所述样本召回文档对应的标签值。
可选的，在一些实施例中，还包括推荐单元，所述推荐单元具体用于：当搜索到待搜索词对应的召回文档集合时，基于所述训练后文档排序模型预测文档集合中召回文档的排序值；
基于所述召回文档的排序值，对所述召回文档集合中召回文档进行排序。
相应的，本申请提供一种服务器，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如以上所述文档排序方法的步骤。
相应的，本申请提供一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如以上所述文档排序方法的步骤。
本发明实施例可以获取样本观测数据，所述样本观测数据包括：用户针对历史信息的样本点击行为特征、样本搜索词、样本搜索词对应的样本召回文档集合、样本召回文档在样本召回文档集合中的位置信息，根据所述样本观测数据预测样本搜索词与样本召回文档之间的相关概率、和样本召回文档集合中样本召回文档的被浏览概率，基于所述相关概率和所述被浏览概率，计算得到当前搜索事件中样本召回文档的点击概率，根据所述当前搜索事件中样本召回文档的点击概率对样本召回文档进行排序，得到排序后样本召回文档集合，根据所述样本召回文档在所述排序后样本召回文档集合中的排序位置生成与所述样本召回文档对应的标签值，所述标签值表征样本召回文档在样本召回文档集合中实际的排序质量，采用文档排序模型，根据所述标签值对召回文档集合中召回文档的排序值进行预测，得到召回文档的预测排序值，所述预测排序值表征召回文档在召回文档集合中预测的排序质量，基于所述召回文档的预测排序值和标签值，对所述文档排序模型进行训练，基于训练后的文档排序模型对待搜索词的召回文档进行排序。本申请实施例利用所述样本召回文档在所述排序后样本召回文档集合中的排序位置生成与所述样本召回文档对应的标签值，根据所述标签值对召回文档集合中召回文档的排序值进行预测，得到召回文档的预测排序值，这样可以为每次的搜索提供一个可靠的排序顺序，同时将排序问题由一个只有用户点击与不点击的二分类模式转化为一个具有高可信度的文档排序模型，同时由于本申请不需要人为的对标签值进行标注，提高了对召回文本的排序效率的同时，可以根据排序后的召回文档集合提高推荐信息的准确度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的文本排序系统的场景示意图。
图2是本发明实施例提供的文本排序方法的流程意图。
图3是本发明实施例提供的文本排序方法的另一个流程示意图。
图4是本发明实施例提供的文本排序方法的应用场景示意图。
图5是本发明实施例提供的文本排序方法的使用后的第一个数据对比示意图。
图6是本发明实施例提供的文本排序方法的使用后的第二个数据对比示意图。
图7是本发明实施例提供的文本排序方法的使用后的第三个数据对比示意图。
图8是本发明实施例提供的文本排序方法的使用后的第四个数据对比示意图。
图9是本发明实施例提供的文本排序装置的结构示意图。
图10是本发明实施例提供的服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本发明实施例提供一种基于人工智能的文本排序方法、文本排序装置、服务器和计算机可读存储介质。请参考图1，本发明实施例提供了一种基于人工智能的文本排序系统，文本排序系统包括电子设备和服务器集群，其中，该电子设备可以为手机、平板电脑、笔记本电脑等设备。服务器集群可以至少包括基础服务器、虚拟化的云主机以及云计算平台(该基础服务器和虚拟化的云主机还可以包括更多，具体个数在此不作限定)任一种，该基础服务器即为物理机，也称为实体服务器，是相对于虚拟机(Virtual Machine)而言的实体计算机的称呼，物理机提供给虚拟机的硬件环境。通过对该基础服务器进行虚拟化，每台基础服务器都可以虚拟化出多个云主机，该云主机即为虚拟机，也可以称为虚拟专用服务器(Virtual Private Server，VPS)，是将一个服务器分区成多个虚拟独立专享服务器的技术。其中，文本排序系统中服务器集群和电子设备可以进行协同计算。
其中，电子设备与服务器集群连接，其中，电子设备内安装视频应用程序。用户可以通过视频应用观看视频，电子设备是用户使用的终端。当然，电子设备可以包括两个、三个甚至多个。多个电子设备与服务器集群连接，不同电子设备对应不同用户使用的终端。
其中，服务器集群包括：接入服务器和文本排序服务器。文本排序服务器用于将排序后的召回文档(文章、图片、音频、视频中的至少一项)，推荐给电子设备，接入服务器用于提供电子设备接入服务和文本排序服务。文本排序服务器可以是一台或多台。比如，用户在视频应用中通过搜索词搜索时，文本排序服务器可以将与搜索词相关的视频内容或者其他推荐信息排序以后发送给对应的终端。
需要说明的是，图1所示的文本排序系统的场景示意图仅仅是一个示例，本申请实施例描述的文本排序系统以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着文本排序系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
以下分别进行详细说明。需说明的是，以下实施例的顺序不作为对实施例优选顺序的限定。
在一实施例中，将从文本排序装置的角度进行描述，该文本排序装置具体可以集成在具有处理能力的服务器中。
请参考图2所示，提供了一种文本排序方法，具体流程可以如下：
101、获取样本观测数据，所述样本观测数据包括：用户针对历史信息的样本点击行为特征、样本搜索词、样本搜索词对应的样本召回文档集合、样本召回文档在样本召回文档集合中的位置信息。
需要说明的是，样本观测数据包括但不限于用户针对历史信息的样本点击行为特征、样本搜索词、样本搜索词对应的样本召回文档集合、样本召回文档在样本召回文档集合中的位置信息。
其中，历史信息的样本点击行为特征是指：一段时间内的召回文本是否被点击。比如，在视频应用中，搜索词为“倚x屠龙记”，召回文本为“倚x屠龙记之魔教教主”。根据“倚x屠龙记之魔教教主”有没有被点击，则可以获得相应的点击行为特征。
其中，样本搜索词则是输入视频应用中的语句，比如，在视频应用中输入“倚x屠龙记”，则“倚x屠龙记”为搜索词，通过这个搜索词可以召回关于“倚x屠龙记”的相关文档。
其中，样本搜索词对应的样本召回文档集合是指：根据搜索词从海量文档中召回的与搜索词相关的文档集合。比如，在视频应用中输入“倚x屠龙记”，通过这个搜索词可以召回“倚x屠龙记之魔教教主”、“倚x屠龙记之围攻光明顶”等多个文档。那么“倚x屠龙记之魔教教主”和“倚x屠龙记之围攻光明顶”等文档的集合就是样本召回文档集合。
其中，样本召回文档在样本召回文档集合中的位置信息是指：样本召回文档处于样本文档集合中的位置。比如，样本召回文档集合中包括400个样本召回文档，每一个样本召回文档都在样本文档集合中对应有一个位置。同时，因为召回文档集合有一部分最终要呈现在电子设备的页面上，因此，召回文档呈现在页面不同的位置对应召回文档在召回文档集合中的位置。比如，如果召回文本的位置靠前，则表示召回文本呈现在页面中靠上的位置。
102、根据所述样本观测数据预测样本搜索词与样本召回文档之间的相关概率、和样本召回文档集合中样本召回文档的被浏览概率。
需要说明的是，样本搜索词与样本召回文档之间的相关概率、和样本召回文档集合中样本召回文档的被浏览概率可以通过期望最大化算法计算得到。
为了更好的说明如何得到本申请中样本搜索词与样本召回文档之间的相关概率、和样本召回文档集合中样本召回文档的被浏览概率，我们定义以下标号。其中，可观测数据为：
Figure BDA0002467044930000081
用户针对历史信息的样本点击行为特征用C表示，样本搜索词用q表示，样本召回文档集合用d表示，样本召回文档在样本召回文档集合中的位置信息用k表示。
其中，样本搜索词与样本召回文档之间的相关概率记为P(R＝1|q，d)，样本召回文档集合中样本召回文档的被浏览概率记为P(E＝1|k)。同时，样本召回文档被点击的概率记为P(C＝1|q，d，k)，为了更好的说明本申请实施例，进一步记为：θk＝P(E＝1|k)，γq，d＝P(R＝1|q，d)。同时我们将在使用视频应用中的浏览的过程通过如下公式表示：P(C＝1|q，d，k)＝P(E＝1|k)*P(R＝1|q，d)。
根据所述样本观测数据预测样本搜索词与样本召回文档之间的相关概率、和样本召回文档集合中样本召回文档的被浏览概率包括步骤：
第一步：求解log似然函数：
Figure BDA0002467044930000091
Figure BDA0002467044930000092
得到θk和γq，d的初始参数。
第二步：计算中间参数。具体的计算公式如下：
Figure BDA0002467044930000093
其中，P(E＝1，R＝0|C＝0，q，d，k)表示：样本召回文档无点击且样本搜索词与样本召回文档不相关的情况下，样本召回文档被浏览的概率。P(E＝0，R＝1|C＝0，q，d，k)表示：样本召回文档无点击且样本召回文档没被浏览的情况下，样本搜索词与样本召回文本的相关的概率。P(E＝0，R＝0|C＝0，q，d，k)表示：样本召回文档没有被点击、样本搜索词与样本召回文档不相关且样本召回文档没有被浏览的概率。其中，t表示为迭代的步数，根据上述公式我们可以得到{θk t，γq，d t}的参数，{θk t，γq，d t}的参数为中间参数。
第三步：基于上一次中间参数计算下一代的中间参数。具体的计算公式如下：
Figure BDA0002467044930000101
需要说明的是，I为示性函数，满足下标中的条件，即为1，否者为0。通过不断迭代计算，直到θk t与θk t+1和γq，d t与γq，d t+1差值小于预设阈值时，则上述实施例中第二步和第三步停止迭代计算，输出θk t+1和γq，d t+1，也就是样本搜索词与样本召回文档之间的相关概率、和样本召回文档集合中样本召回文档的被浏览概率。另外的，预设阈值可以是0.1、0.09、0.05、0.04等。本申请实施例中对于预设阈值不做具体限定。
由上可知，本申请实施例中，可观测数据经过期望最大化算法计算，预测了样本搜索词与样本召回文档之间的相关概率、和样本召回文档集合中样本召回文档的被浏览概率。
在一些实施例中，所述根据所述样本观测数据预测样本搜索词与样本召回文档之间的相关概率、和样本召回文档集合中样本召回文档的被浏览概率，包括：
(1)利用所述样本观测数据对样本搜索词与样本召回文档的相关概率、和样本召回文档集合中的样本召回文档的被浏览概率进行计算，得到中间参数。
具体的，中间参数的计算公式为：
Figure BDA0002467044930000102
需要说明的是，先估计边缘概率：P(E＝1，R＝0|C＝0，q，d，k)、P(E＝0，R＝1|C＝0，q，d，k)、P(E＝0，R＝0|C＝0，q，d，k)。
其中，P(E＝1，R＝0|C＝0，q，d，k)表示：样本搜索词与样本召回文档集合不相关、且样本召回文档没有没点击的情况下样本召回文档的浏览概率，P(E＝0，R＝1|C＝0，q，d，k)表示：样本召回文档没有被浏览且没有被点击的情况下，样本搜索词与样本召回文档的相关概率。P(E＝0，R＝0|C＝0，q，d，k)表示：样本召回文档没有被点击、没有被浏览且样本搜索词与样本文档不相关的概率。由上述公式我们可以计算得到中间参数{θk t，γq，d t}。
在一些实施例中，所述利用所述样本观测数据对样本搜索词与样本召回文档的相关概率、和样本召回文档集合中的样本召回文档的被浏览概率进行计算，得到中间参数，包括步骤：
(11)计算所述样本观测数据的似然函数，得到样本搜索词与样本召回文档的相关概率、和样本召回文档集合中的样本召回文档的被浏览概率的初始参数。
需要说明的是，求解似然函数：
Figure BDA0002467044930000111
Figure BDA0002467044930000112
得到θk和γq，d的初始参数。
(12)根据所述相关概率和浏览概率的初始值与所述样本观测数据，计算得到中间参数。
需要说明的是，计算中间参数公式如下：
Figure BDA0002467044930000113
由上可知是，根据θk和γq，d的初始参数，可以计算得到中间参数{θk t，γq，d t}。
(2)根据所述中间参数进行迭代计算，直到满足预设迭代条件，则输出样本搜索词与样本召回文档之间的相关概率、和样本召回文档集合中样本召回文档的被浏览概率。
需要说明的是，将中间参数进行迭代运算，其中，t表示迭代的步数，t+1表示在t步的后一步，迭代计算的公式为：
Figure BDA0002467044930000121
通过不断迭代计算，直到θk t与θk t+1和γq，d t与γq，d t+1差值小于预设阈值时，则停止迭代计算，输出θk t+1和γq，d t+1，也就是样本搜索词与样本召回文档之间的相关概率、和样本召回文档集合中样本召回文档的被浏览概率。另外的，预设阈值可以是0.1、0.09、0.05、0.04等等。本申请实施例中对于预设阈值不做具体限定。
在一些实施例中，所述根据所述中间参数进行迭代计算，直到满足预设迭代条件，则输出样本搜索词与样本召回文档之间的相关概率、和样本召回文档集合中样本召回文档的被浏览概率，包括步骤：
(21)基于所述中间参数和所述样本观测数据进行迭代计算，若前一次的中间参数与后一次的中间参数差值小于预设阈值，则输出样本搜索词与样本召回文档之间的相关概率、和样本召回文档集合中样本召回文档的被浏览概率。
需要说明的是，通过不断迭代计算，直到θk t与θk t+1和γq，d t与γq，d t+1差值小于预设阈值时，则停止迭代计算，输出θk t+1和γq，d t+1，也就是样本搜索词与样本召回文档之间的相关概率、和样本召回文档集合中样本召回文档的被浏览概率。另外的，预设阈值可以是0.1、0.09、0.05、0.04等。本申请实施例中对于预设阈值不做具体限定。
103、基于所述相关概率和所述被浏览概率，计算得到当前搜索事件中样本召回文档的点击概率。
需要说明的是，当前搜索事件为：用户从开始输入到关闭搜索页(可以是退出APP，或者进入观看界面等)，然后根据用户的点击，可以看到一次当前搜索时间下用户对每个样本召回文档的点击情况。将当前搜索事件中样本召回文档的点击概率记为sessionprob。
具体的计算公式为：
Figure BDA0002467044930000131
可以理解的是，{θk t，γq，d t}已经在上述实施例中计算得到，其中，t表示迭代步数，k表示召回文档在召回文档集合中的位置，因此，可以根据相关概率和所述被浏览概率，计算得到当前搜索事件中样本召回文档的点击概率。
104、根据所述当前搜索事件中样本召回文档的点击概率对样本召回文档进行排序，得到排序后样本召回文档集合。
需要说明的是，当前搜索事件中包括多个样本召回文档，因此，根据当前搜索事件中的样本召回文档点击概率进行排序。可以理解的是，可以根据被点击概率由高到低进行排序，当然，也可以按照当前搜索事件中召回文档被点击概率从低到高进行排序。比如，session1＝1，session2＝0.8，session3＝0.7，那么可以将根据被点击概率由高到低进行排序，排序后的结果为：session1、session2、session3。
在一些实施例中，所述根据所述当前搜索事件中样本召回文档的点击概率对样本召回文档集合进行排序，得到排序后样本召回文档集合，包括步骤：
(1)将所述当前搜索事件中的样本召回文档和历史搜索事件中样本召回文档相并，得到样本搜索词的样本召回文档集合中每一个样本召回文档的点击概率。
需要说明的是，每一个搜索事件中，同样的样本搜索词得到的样本召回文档集合是不一样的。比如，在一次搜索事件中，样本搜索词为“大x天子”，得到的样本召回文档集合中包括了400条召回文档，在另一个搜索事件中，样本搜索词还是为“大x天子”，但是样本召回文档集合中可以包括400条召回文档，也可以包括401条召回文档，同时，第一次搜索事件和第二次搜索事件里面召回文档的内容是不一样的。而样本搜索词的样本召回文档集合是将多个搜索事件的样本文档集合相并后得到。也就是当前的搜索时间和历史搜索事件中所有相同的搜索词的召回文档。
(2)将所述样本搜索词的召回文档集合中每一个样本召回文档的点击概率由大到小进行排序，得到排序后样本召回文档集合。
需要说明的是，由于得到了样本搜索词的样本召回文档集合，又知道了每一个搜索事件中样本召回文档集合中每一个样本召回文档的点击概率，因此，可以得到样本搜索词的样本召回文档集合中每一个召回文档的点击概率。同时，将所述样本搜索词的召回文档集合中每一个样本召回文档的点击概率由大到小进行排序，得到排序后样本召回文档集合。
105、根据所述样本召回文档在所述排序后样本召回文档集合中的排序位置生成与所述样本召回文档对应的标签值，所述标签值表征样本召回文档在样本召回文档集合中实际的排序质量。
需要说明的是，样本召回文档生成的标签值与排序后样本召回文档集合中的位置相对应。比如，样本召回文档在排序后的位置为1，则召回文档对应的标签值为5，样本召回文档在排序后的位置为2，则召回文档对应的标签值为4。其中，标签值可以反应样本召回文档在样本召回文档集合中实际的排序质量。可以理解的是，排序质量越高，越可能被用户点击和查看。
在一些实施例中，根据所述样本召回文档在所述排序后样本召回文档集合中的排序位置生成与所述样本召回文档对应的标签值，所述标签值表征样本召回文档在样本召回文档集合中实际的排序质量，包括步骤：
(1)根据样本召回文档在所述排序后样本召回文档集合中的排序位置范围，生成与所述样本召回文档对应的标签值。
具体的，当所述样本召回文档在样本召回文档集合中的位置为1时，确认所述样本召回文档对应的标签值为5，当所述样本召回文档在样本召回文档集合中的位置为2、3时，确认所述样本召回文档对应的标签值为4，当所述样本召回文档在样本召回文档集合中的位置为4、5时，确认所述样本召回文档对应的标签值为3，当所述样本召回文档在样本召回文档集合中的位置为大于5小于等于10时，确认所述样本召回文档对应的标签值为2，当所述样本召回文档在样本召回文档集合中的位置为大于等于11小于等于20时，确认所述样本召回文档对应的标签值为1，当所述样本召回文档在样本召回文档集合中的位置为其他位置时，确认所述样本召回文档对应的标签值为0。
需要说明的是，位置的数值越小，代表样本召回文档在页面中的位置更靠前。而标签值的数值越大，则表明样本召回文档在样本召回文档集合中实际的排序质量越高。
106、采用文档排序模型，根据所述标签值对召回文档集合中召回文档的排序值进行预测，得到召回文档的预测排序值，所述预测排序值表征召回文档在召回文档集合中预测的排序质量。
需要说明的是，将标签值输入排序模型中进行预测，得到预测排序值，其中，文档排序模型为Listwise模型。在得到预测排序值以后，可以衡量预测排序值的排序质量。
具体的，将标签值输入搜索排序指标中，得到预测排序值。具体的，计算公式如下：
Figure BDA0002467044930000151
其中，N(n)为预测排序值，Zn为归一化数值，r(j)为第j个样本召回文档的标签值，j为第j个样本召回文档，n表示样本召回文档集合中样本召回文本的数量。其中，预测排序值可以衡量召回文档集合的排序质量。
107、基于所述召回文档的预测排序值和标签值，对所述文档排序模型进行训练，基于训练后的文档排序模型对待搜索词的召回文档进行排序。
需要说明的是，文档排序模型的排序函数构建公式如下：
Figure BDA0002467044930000152
其中，si表示排序函数对第i个样本召回文档的标签值，ΔNDCG表示预测排序值的变化值，i和j表示样本召回集合中的第i和第j个样本。可以理解的是，通过计算第i个和j个样本召回文档和训练集中的两个样本的预测排序值的变化值(ΔNDCG)来确定梯度下降的大小，从而使得学习到的排序函数可以使得预测排序值最大，也就是标签值和预测排序值一样的时候，输出排序后排序函数。
需要说明的是，将搜索词对应的召回文档输入到训练好后文档排序模型以后，则可以得到搜索词对应的召回文档集合中每个召回文档的排序值，然后，根据排序值的大小，向用户推荐召回文档集合中的召回文档。
在一些实施例中，所述基于训练后的文档排序模型对待搜索词的召回文档进行排序包括步骤：
(1)当搜索到待搜索词对应的召回文档集合时，基于所述训练后文档排序模型预测文档集合中召回文档的排序值。
需要说明的是，比如，输入搜索词“倚x屠龙记”，得到召回文档“倚x屠龙记之魔教教主”、“倚x屠龙记之围攻光明顶”以及“新版倚x屠龙记”等。训练后的文档排序模型预测到“倚x屠龙记之魔教教主”的排序值为3，预测到“倚x屠龙记之围攻光明顶”的排序值为2，预测到“倚x屠龙记之围攻光明顶”的排序值为1。
(2)基于所述召回文档的排序值，对所述召回文档集合中召回文档进行排序。
需要说明的是，根据排序值的大小进行排序，得到排序后的召回文档集合。排序后的召回文档集合为：“倚x屠龙记之魔教教主”、“倚x屠龙记之围攻光明顶”以及“新版倚x屠龙记”。
本发明实施例可以获取样本观测数据，所述样本观测数据包括：用户针对历史信息的样本点击行为特征、样本搜索词、样本搜索词对应的样本召回文档集合、样本召回文档在样本召回文档集合中的位置信息，根据所述样本观测数据预测样本搜索词与样本召回文档之间的相关概率、和样本召回文档集合中样本召回文档的被浏览概率，基于所述相关概率和所述被浏览概率，计算得到当前搜索事件中样本召回文档的点击概率，根据所述当前搜索事件中样本召回文档的点击概率对样本召回文档进行排序，得到排序后样本召回文档集合，根据所述样本召回文档在所述排序后样本召回文档集合中的排序位置生成与所述样本召回文档对应的标签值，所述标签值表征样本召回文档在样本召回文档集合中实际的排序质量，采用文档排序模型，根据所述标签值对召回文档集合中召回文档的排序值进行预测，得到召回文档的预测排序值，所述预测排序值表征召回文档在召回文档集合中预测的排序质量，基于所述召回文档的预测排序值和标签值，对所述文档排序模型进行训练，基于所述召回文档的排序值，对所述召回文档集合中召回文档进行排序。本申请实施例利用所述样本召回文档在所述排序后样本召回文档集合中的排序位置生成与所述样本召回文档对应的标签值，根据所述标签值对召回文档集合中召回文档的排序值进行预测，得到召回文档的预测排序值，这样可以为每次的搜索提供一个可靠的排序顺序，同时将排序问题由一个只有用户点击与不点击的二分类模式转化为一个具有高可信度的文档排序模型，同时由于本申请不需要人为的对标签值进行标注，保证了高可信度的排序模型同时，提高了对召回文本的排序效率，提高了推荐信息的准确度。
请参考图3所示，提供了另一种文本排序方法，该文本排序方法可以由服务器执行。具体流程可以如下：
201、服务器当搜索到待搜索词对应的召回文档集合时，基于所述训练后文档排序模型预测文档集合中召回文档的排序值。
具体的，服务器内预置有训练后文档排序模型，当服务器接收到搜索词时，服务器可以根据语义相似度等方式得到召回文档集合。比如，输入搜索词“西x记”，得到召回文档“孙x空一看是假师傅，直接出手了”“西x记：白x马被绊倒，唐xx被挂树”、“新西x记：金x大王，早把画像都准备好了”、以及“孙x空凭什么可以召唤一方众神”等。服务器基于训练后的文档排序模型预测到“西x记：白x马被绊倒，唐xx被挂树”的排序值为4，预测到“新西x记：金x大王，早把画像都准备好了”的排序值为3，预测到“孙x空一看是假师傅，直接出手了”的排序值为2，预测到“孙x空凭什么可以召唤一方众神”的排序值为1。
202、服务器基于所述召回文档的排序值，对所述召回文档集合中召回文档进行排序，得到排序后的召回文档集合。
需要说明的是，服务器据排序值的大小进行排序，得到排序后的召回文档集合。排序后的召回文档集合为：“西x记：白x马被绊倒，唐x被挂树”、“新西x记：金x大王，早把画像都准备好了”、“孙x空一看是假师傅，直接出手了”以及预测到“孙x空凭什么可以召唤一方众神”。
203、服务器基于所述排序后的文档集合向终端推荐召回文档。
需要说明的是，服务器向终端推荐排序后召回文档集合，排序后召回文档集为：“西x记：白x马被绊倒，唐x被挂树”、“新西x记：金x大王，早把画像都准备好了”、“孙x空一看是假师傅，直接出手了”以及预测到“孙x空凭什么可以召唤一方众神”。终端接收到排序后的召回文档集合，并依据排序后的召回文档集合进行页面展示，请参阅图4，图4中展示了终端呈现根据排序后的召回文档的展示页面。
本申请实施例利用所述样本召回文档在所述排序后样本召回文档集合中的排序位置生成与所述样本召回文档对应的标签值，根据所述标签值对召回文档集合中召回文档的排序值进行预测，得到召回文档的预测排序值，这样可以为每次的搜索提供一个可靠的排序顺序，同时将排序问题由一个只有用户点击与不点击的二分类模式转化为一个具有高可信度的文档排序模型，同时由于本申请不需要人为的对标签值进行标注，提高了对召回文本的排序效率的同时，提高了推荐信息的准确度。具体的，请参阅图5至图8的实验数据对比，其中，图5和图6为本申请实施例的方法与对照组的分桶长转转化率对比，图7和图8为本申请实施例的方法与对照组的分桶点击率率对比，另外的，图5至图8中，虚线表示采用本申请方法后得到的数据，实线表示没有采用本申请方法得到的数据。
根据上面实施例所描述的方法，以下将举例作进一步详细说明。
请参阅图9，图9为本申请实施例提供的文本排序装置的结构示意图，其中该文本排序装置可以包括获取单元301、第一预测单元302、计算单元303、第一排序单元304、生成单元305、生成单元306、第二排序单元307等。
为便于更好的实施本申请实施例提供的文本排序方法，本申请实施例还提供一种基于上述文本排序方法的装置。其中名词的含义与上述文本排序方法中相同，具体实现细节可以参考方法实施例中的说明。
本发明实施例还提供一种文本排序装置，包括：
获取单元301，用于获取样本观测数据，所述样本观测数据包括：用户针对历史信息的样本点击行为特征、样本搜索词、样本搜索词对应的样本召回文档集合、样本召回文档在样本召回文档集合中的位置信息；
第一预测单元302，用于根据所述样本观测数据预测样本搜索词与样本召回文档之间的相关概率、和样本召回文档集合中样本召回文档的被浏览概率；
计算单元303，用于基于所述相关概率和所述被浏览概率，计算得到当前搜索事件中样本召回文档的点击概率；
第一排序单元304，用于根据所述当前搜索事件中样本召回文档的点击概率对样本召回文档集合进行排序，得到排序后样本召回文档集合；
生成单元305，用于根据样本召回文档在所述排序后样本召回文档集合中的排序位置生成所述样本召回文档对应的标签值，所述标签值表征样本召回文档在样本召回文档集合中实际的排序质量；
第二预测单元306，用于采用文档排序模型，根据所述标签值对召回文档集合中召回文档的排序值进行预测，得到召回文档的预测排序值，所述预测排序值表征召回文档在召回文档集合中预测的排序质量；
第二排序单元307，用于基于所述召回文档的预测排序值和标签值，对所述文档排序模型进行训练，基于所述召回文档的排序值，对所述召回文档集合中召回文档进行排序。
可选的，在一些实施例中，所述第一预测单元包括第一子计算单元和第二子计算单元,
所述第一子计算单元具体用于：利用所述样本观测数据对样本搜索词与样本召回文档的相关概率、和样本召回文档集合中的样本召回文档的被浏览概率进行计算，得到中间参数；
第二子计算单元具体用于：根据所述中间参数进行迭代计算，直到满足预设迭代条件，则输出样本搜索词与样本召回文档之间的相关概率、和样本召回文档集合中样本召回文档的被浏览概率。
可选的，在一些实施例中，所述第一子计算单元具体用于：计算所述样本观测数据的似然函数，得到样本搜索词与样本召回文档的相关概率、和样本召回文档集合中的样本召回文档的被浏览概率的初始值；
根据所述相关概率和浏览概率的初始值与所述样本观测数据，计算得到中间参数，所述中间参数为相关概率和浏览概率的中间值。
可选的，在一些实施例中，所述第二子计算单元具体用于：基于所述中间参数和所述样本观测数据进行迭代计算，若前一次的计算结果等于后一次计算结果，则输出样本搜索词与样本召回文档之间的相关概率、和样本召回文档集合中样本召回文档的被浏览概率。
可选的，在一些实施例中，所述第一排序单于包括合并单元和排序子单元，所述合并单元具体用于：将所述当前搜索事件中的样本召回文档和历史搜索事件中样本召回文档相并，得到样本搜索词的样本召回文档集合中每一个样本召回文档的点击概率；
所述排序子单元具体用于：将所述样本搜索词的召回文档集合中每一个样本召回文档的点击概率由大到小进行排序，得到排序后样本召回文档集合。
可选的，在一些实施例中，所述生成单元具体用于：根据样本召回文档在所述排序后样本召回文档集合中的排序位置范围，生成与所述样本召回文档对应的标签值。
可选的，在一些实施例中，还包括推荐单元，所述推荐单元具体用于：当搜索到待搜索词对应的召回文档集合时，基于所述训练后文档排序模型预测文档集合中召回文档的排序值；
基于所述召回文档的排序值，对所述召回文档集合中召回文档进行排序，得到排序后的召回文档集合；
基于所述排序后的文档集合向终端推荐召回文档。
本申请实施例的文本排序装置中获取单元301用于获取样本观测数据，所述样本观测数据包括：用户针对历史信息的样本点击行为特征、样本搜索词、样本搜索词对应的样本召回文档集合、样本召回文档在样本召回文档集合中的位置信息，第一预测单元302用于根据所述样本观测数据预测样本搜索词与样本召回文档之间的相关概率、和样本召回文档集合中样本召回文档的被浏览概率，计算单元303用于基于所述相关概率和所述被浏览概率，计算得到当前搜索事件中样本召回文档的点击概率，第一排序单元304用于根据所述当前搜索事件中样本召回文档的点击概率对样本召回文档进行排序，得到排序后样本召回文档集合，生成单元305用于根据所述样本召回文档在所述排序后样本召回文档集合中的排序位置生成与所述样本召回文档对应的标签值，所述标签值表征样本召回文档在样本召回文档集合中实际的排序质量，生成单元306用于采用文档排序模型，根据所述标签值对召回文档集合中召回文档的排序值进行预测，得到召回文档的预测排序值，所述预测排序值表征召回文档在召回文档集合中预测的排序质量，第二排序单元307用于基于所述召回文档的预测排序值和标签值，对所述文档排序模型进行训练，基于所述召回文档的排序值，对所述召回文档集合中召回文档进行排序。本申请实施例利用所述样本召回文档在所述排序后样本召回文档集合中的排序位置生成与所述样本召回文档对应的标签值，根据所述标签值对召回文档集合中召回文档的排序值进行预测，得到召回文档的预测排序值，这样可以为每次的搜索提供一个可靠的排序顺序，同时将排序问题由一个只有用户点击与不点击的二分类模式转化为一个具有高可信度的文档排序模型，同时由于本申请不需要人为的对标签值进行标注，提高了对召回文本的排序效率的同时，提高了推荐信息的准确度。
本申请实施例还提供一种服务器，如图10所示，其示出了本申请实施例所涉及的服务器的结构示意图，具体来讲：
该服务器可以为云主机，可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图10中示出的服务器结构并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该服务器的控制中心，利用各种接口和线路连接整个服务器的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行服务器的各种功能和处理数据，从而对服务器进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
服务器还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该服务器还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，服务器还可以包括显示处理器等，在此不再赘述。具体在本实施例中，服务器中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：
本发明实施例可以获取样本观测数据，所述样本观测数据包括：用户针对历史信息的样本点击行为特征、样本搜索词、样本搜索词对应的样本召回文档集合、样本召回文档在样本召回文档集合中的位置信息，根据所述样本观测数据预测样本搜索词与样本召回文档之间的相关概率、和样本召回文档集合中样本召回文档的被浏览概率，基于所述相关概率和所述被浏览概率，计算得到当前搜索事件中样本召回文档的点击概率，根据所述当前搜索事件中样本召回文档的点击概率对样本召回文档进行排序，得到排序后样本召回文档集合，根据所述样本召回文档在所述排序后样本召回文档集合中的排序位置生成与所述样本召回文档对应的标签值，所述标签值表征样本召回文档在样本召回文档集合中实际的排序质量，采用文档排序模型，根据所述标签值对召回文档集合中召回文档的排序值进行预测，得到召回文档的预测排序值，所述预测排序值表征召回文档在召回文档集合中预测的排序质量，基于所述召回文档的预测排序值和标签值，对所述文档排序模型进行训练，基于所述召回文档的排序值，对所述召回文档集合中召回文档进行排序。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对信息通信方法的详细描述，此处不再赘述。
由上述可知，本发明实施例可以获取样本观测数据，所述样本观测数据包括：用户针对历史信息的样本点击行为特征、样本搜索词、样本搜索词对应的样本召回文档集合、样本召回文档在样本召回文档集合中的位置信息，根据所述样本观测数据预测样本搜索词与样本召回文档之间的相关概率、和样本召回文档集合中样本召回文档的被浏览概率，基于所述相关概率和所述被浏览概率，计算得到当前搜索事件中样本召回文档的点击概率，根据所述当前搜索事件中样本召回文档的点击概率对样本召回文档进行排序，得到排序后样本召回文档集合，根据所述样本召回文档在所述排序后样本召回文档集合中的排序位置生成与所述样本召回文档对应的标签值，所述标签值表征样本召回文档在样本召回文档集合中实际的排序质量，采用文档排序模型，根据所述标签值对召回文档集合中召回文档的排序值进行预测，得到召回文档的预测排序值，所述预测排序值表征召回文档在召回文档集合中预测的排序质量，基于所述召回文档的预测排序值和标签值，对所述文档排序模型进行训练，基于所述召回文档的排序值，对所述召回文档集合中召回文档进行排序。
为此，本发明实施例提供计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种文本排序方法中的步骤。比如：
本发明实施例可以获取样本观测数据，所述样本观测数据包括：用户针对历史信息的样本点击行为特征、样本搜索词、样本搜索词对应的样本召回文档集合、样本召回文档在样本召回文档集合中的位置信息，根据所述样本观测数据预测样本搜索词与样本召回文档之间的相关概率、和样本召回文档集合中样本召回文档的被浏览概率，基于所述相关概率和所述被浏览概率，计算得到当前搜索事件中样本召回文档的点击概率，根据所述当前搜索事件中样本召回文档的点击概率对样本召回文档进行排序，得到排序后样本召回文档集合，根据所述样本召回文档在所述排序后样本召回文档集合中的排序位置生成与所述样本召回文档对应的标签值，所述标签值表征样本召回文档在样本召回文档集合中实际的排序质量，采用文档排序模型，根据所述标签值对召回文档集合中召回文档的排序值进行预测，得到召回文档的预测排序值，所述预测排序值表征召回文档在召回文档集合中预测的排序质量，基于所述召回文档的预测排序值和标签值，对所述文档排序模型进行训练，基于所述召回文档的排序值，对所述召回文档集合中召回文档进行排序。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种方法中的步骤，因此，可以实现本发明实施例所提供的任一种方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本发明实施例所提供的一种文本排序方法、排序装置、服务器和计算机可读存储介质。进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种文档排序方法，其特征在于，包括:
获取样本观测数据，所述样本观测数据包括：用户针对历史信息的样本点击行为特征、样本搜索词、样本搜索词对应的样本召回文档集合、样本召回文档在样本召回文档集合中的位置信息；
根据所述样本观测数据预测样本搜索词与样本召回文档之间的相关概率、和样本召回文档集合中样本召回文档的被浏览概率；
基于所述相关概率和所述被浏览概率，计算得到当前搜索事件中样本召回文档的点击概率；
根据所述当前搜索事件中样本召回文档的点击概率对样本召回文档进行排序，得到排序后样本召回文档集合；
根据所述样本召回文档在所述排序后样本召回文档集合中的排序位置生成与所述样本召回文档对应的标签值，所述标签值表征样本召回文档在样本召回文档集合中实际的排序质量；
采用文档排序模型，根据所述标签值对召回文档集合中召回文档的排序值进行预测，得到召回文档的预测排序值，所述预测排序值表征召回文档在召回文档集合中预测的排序质量；
基于所述召回文档的预测排序值和标签值，对所述文档排序模型进行训练，基于训练后的文档排序模型对待搜索词的召回文档进行排序。
2.根据权利要求1所述的文档排序方法，其特征在于，所述根据所述样本观测数据预测样本搜索词与样本召回文档之间的相关概率、和样本召回文档集合中样本召回文档的被浏览概率，包括：
利用所述样本观测数据对样本搜索词与样本召回文档的相关概率、和样本召回文档集合中的样本召回文档的被浏览概率进行计算，得到中间参数；
根据所述中间参数进行迭代计算，直到满足预设迭代条件，则输出样本搜索词与样本召回文档之间的相关概率、和样本召回文档集合中样本召回文档的被浏览概率。
3.根据权利要求2所述的文档排序方法，其特征在于，所述利用所述样本观测数据对样本搜索词与样本召回文档的相关概率、和样本召回文档集合中的样本召回文档的被浏览概率进行计算，得到中间参数，包括：
计算所述样本观测数据的似然函数，得到样本搜索词与样本召回文档的相关概率、和样本召回文档集合中的样本召回文档的被浏览概率的初始参数；
根据所述相关概率和浏览概率的初始参数与所述样本观测数据，计算得到中间参数。
4.根据权利要求3所述的文档排序方法，其特征在于，所述根据所述中间参数进行迭代计算，直到满足预设迭代条件，则输出样本搜索词与样本召回文档之间的相关概率、和样本召回文档集合中样本召回文档的被浏览概率，包括：
基于所述中间参数和所述样本观测数据进行迭代计算，若前一次的中间参数与后一次的中间参数差值小于预设阈值，则输出样本搜索词与样本召回文档之间的相关概率、和样本召回文档集合中样本召回文档的被浏览概率。
5.根据权利要求1所述的文档排序方法，其特征在于，所述根据所述当前搜索事件中样本召回文档的点击概率对样本召回文档集合进行排序，得到排序后样本召回文档集合，包括：
将所述当前搜索事件中的样本召回文档和历史搜索事件中样本召回文档相并，得到样本搜索词的样本召回文档集合中每一个样本召回文档的点击概率；
将所述样本搜索词的召回文档集合中每一个样本召回文档的点击概率由大到小进行排序，得到排序后样本召回文档集合。
6.根据权利要求1所述的文档排序方法，其特征在于，所述根据样本召回文档在所述排序后样本召回文档集合中的排序位置生成所述样本召回文档对应的标签值，包括：
根据样本召回文档在所述排序后样本召回文档集合中的排序位置范围，生成与所述样本召回文档对应的标签值。
7.根据权利要求1所述的文档排序方法，其特征在于，所述基于训练后的文档排序模型对待搜索词的召回文档进行排序包括：
当搜索到待搜索词对应的召回文档集合时，基于所述训练后文档排序模型预测文档集合中召回文档的排序值；
基于所述召回文档的排序值，对所述召回文档集合中召回文档进行排序。
8.一种文档排序装置，其特征在于，包括：
获取单元，用于获取样本观测数据，所述样本观测数据包括：用户针对历史信息的样本点击行为特征、样本搜索词、样本搜索词对应的样本召回文档集合、样本召回文档在样本召回文档集合中的位置信息；
第一预测单元，用于根据所述样本观测数据预测样本搜索词与样本召回文档之间的相关概率、和样本召回文档集合中样本召回文档的被浏览概率；
计算单元，用于基于所述相关概率和所述被浏览概率，计算得到当前搜索事件中样本召回文档的点击概率；
第一排序单元，用于根据所述当前搜索事件中样本召回文档的点击概率对样本召回文档集合进行排序，得到排序后样本召回文档集合；
生成单元，用于根据样本召回文档在所述排序后样本召回文档集合中的排序位置生成所述样本召回文档对应的标签值，所述标签值表征样本召回文档在样本召回文档集合中实际的排序质量；
第二预测单元，用于采用文档排序模型，根据所述标签值对召回文档集合中召回文档的排序值进行预测，得到召回文档的预测排序值，所述预测排序值表征召回文档在召回文档集合中预测的排序质量；
第二排序单元，用于基于所述召回文档的预测排序值和标签值，对所述文档排序模型进行训练，基于训练后的文档排序模型对待搜索词的召回文档进行排序。
9.一种服务器，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述文档排序方法的步骤。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述文档排序方法的步骤。
CN202010337350.2A 2020-04-26 2020-04-26 文本排序方法、排序装置、服务器和计算机可读存储介质 Active CN111563158B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010337350.2A CN111563158B (zh) 2020-04-26 2020-04-26 文本排序方法、排序装置、服务器和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010337350.2A CN111563158B (zh) 2020-04-26 2020-04-26 文本排序方法、排序装置、服务器和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111563158A true CN111563158A (zh) 2020-08-21
CN111563158B CN111563158B (zh) 2023-08-29

Family

ID=72074352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010337350.2A Active CN111563158B (zh) 2020-04-26 2020-04-26 文本排序方法、排序装置、服务器和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111563158B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112231546A (zh) * 2020-09-30 2021-01-15 北京三快在线科技有限公司 异构文档的排序方法、异构文档排序模型训练方法及装置
CN113641930A (zh) * 2021-08-24 2021-11-12 北京有竹居网络技术有限公司 信息输出方法、装置和电子设备
CN113821723A (zh) * 2021-09-22 2021-12-21 广州博冠信息科技有限公司 搜索方法、装置及电子设备
CN114443989A (zh) * 2022-01-30 2022-05-06 北京百度网讯科技有限公司 排序方法、排序模型的训练方法、装置、电子设备及介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101055587A (zh) * 2007-05-25 2007-10-17 清华大学 一种基于用户行为信息的搜索引擎检索结果重排序方法
CN102419755A (zh) * 2010-09-28 2012-04-18 阿里巴巴集团控股有限公司 一种搜索结果的排序方法和装置
CN103389974A (zh) * 2012-05-07 2013-11-13 腾讯科技（深圳）有限公司 进行信息搜索的方法及服务器
US20150149378A1 (en) * 2013-11-26 2015-05-28 Chegg, Inc. Job recall services in online education platforms
CN106339383A (zh) * 2015-07-07 2017-01-18 阿里巴巴集团控股有限公司 一种搜索排序方法及系统
WO2018157625A1 (zh) * 2017-02-28 2018-09-07 华为技术有限公司 基于强化学习的排序学习方法及服务器
CN108733766A (zh) * 2018-04-17 2018-11-02 腾讯科技（深圳）有限公司 一种数据查询方法、装置和可读介质
CN109086439A (zh) * 2018-08-15 2018-12-25 腾讯科技（深圳）有限公司 信息推荐方法及装置
CN110598084A (zh) * 2018-05-24 2019-12-20 阿里巴巴集团控股有限公司 对象排序方法、商品排序方法、装置及电子设备
CN110929125A (zh) * 2019-11-15 2020-03-27 腾讯科技（深圳）有限公司 搜索召回方法、装置、设备及其存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101055587A (zh) * 2007-05-25 2007-10-17 清华大学 一种基于用户行为信息的搜索引擎检索结果重排序方法
CN102419755A (zh) * 2010-09-28 2012-04-18 阿里巴巴集团控股有限公司 一种搜索结果的排序方法和装置
CN103389974A (zh) * 2012-05-07 2013-11-13 腾讯科技（深圳）有限公司 进行信息搜索的方法及服务器
US20150149378A1 (en) * 2013-11-26 2015-05-28 Chegg, Inc. Job recall services in online education platforms
CN106339383A (zh) * 2015-07-07 2017-01-18 阿里巴巴集团控股有限公司 一种搜索排序方法及系统
WO2018157625A1 (zh) * 2017-02-28 2018-09-07 华为技术有限公司 基于强化学习的排序学习方法及服务器
CN108733766A (zh) * 2018-04-17 2018-11-02 腾讯科技（深圳）有限公司 一种数据查询方法、装置和可读介质
CN110598084A (zh) * 2018-05-24 2019-12-20 阿里巴巴集团控股有限公司 对象排序方法、商品排序方法、装置及电子设备
CN109086439A (zh) * 2018-08-15 2018-12-25 腾讯科技（深圳）有限公司 信息推荐方法及装置
CN110929125A (zh) * 2019-11-15 2020-03-27 腾讯科技（深圳）有限公司 搜索召回方法、装置、设备及其存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YUKIHIRO TAGAMI: "CTR Prediction for Contextual Advertising:Learning-to-Rank Approach", ACM, pages 1 - 8 *
熊李艳;陈晓霞;钟茂生;黄晓辉;: "基于PairWise排序学习算法研究综述", 科学技术与工程, no. 21, pages 184 - 190 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112231546A (zh) * 2020-09-30 2021-01-15 北京三快在线科技有限公司 异构文档的排序方法、异构文档排序模型训练方法及装置
CN112231546B (zh) * 2020-09-30 2024-04-19 北京三快在线科技有限公司 异构文档的排序方法、异构文档排序模型训练方法及装置
CN113641930A (zh) * 2021-08-24 2021-11-12 北京有竹居网络技术有限公司 信息输出方法、装置和电子设备
CN113821723A (zh) * 2021-09-22 2021-12-21 广州博冠信息科技有限公司 搜索方法、装置及电子设备
CN113821723B (zh) * 2021-09-22 2024-04-12 广州博冠信息科技有限公司 搜索方法、装置及电子设备
CN114443989A (zh) * 2022-01-30 2022-05-06 北京百度网讯科技有限公司 排序方法、排序模型的训练方法、装置、电子设备及介质
CN114443989B (zh) * 2022-01-30 2023-02-03 北京百度网讯科技有限公司 排序方法、排序模型的训练方法、装置、电子设备及介质
WO2023142406A1 (zh) * 2022-01-30 2023-08-03 北京百度网讯科技有限公司 排序方法、排序模型的训练方法、装置、电子设备及介质

Also Published As

Publication number Publication date
CN111563158B (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
CN107832299B (zh) 基于人工智能的标题的改写处理方法、装置及可读介质
US20220121906A1 (en) Task-aware neural network architecture search
CN110032632A (zh) 基于文本相似度的智能客服问答方法、装置及存储介质
CN111563158A (zh) 文本排序方法、排序装置、服务器和计算机可读存储介质
CN112131366A (zh) 训练文本分类模型及文本分类的方法、装置及存储介质
WO2021121198A1 (zh) 基于语义相似度的实体关系抽取方法、装置、设备及介质
US10679006B2 (en) Skimming text using recurrent neural networks
CN114780727A (zh) 基于强化学习的文本分类方法、装置、计算机设备及介质
EP3732592A1 (en) Intelligent routing services and systems
CN111930792B (zh) 数据资源的标注方法、装置、存储介质及电子设备
CN111625715B (zh) 信息提取方法、装置、电子设备及存储介质
CN113392209A (zh) 一种基于人工智能的文本聚类方法、相关设备及存储介质
CN113010702A (zh) 多媒体信息的互动处理方法、装置、电子设备及存储介质
CN110852047A (zh) 一种文本配乐方法、装置、以及计算机存储介质
CN111552773A (zh) 一种阅读理解任务中是否类问题关键句寻找方法及系统
CN112131430A (zh) 视频聚类方法、装置、存储介质和电子设备
CN112749558B (zh) 一种目标内容获取方法、装置、计算机设备和存储介质
CN110390052A (zh) 搜索推荐方法、ctr预估模型的训练方法、装置及设备
CN110245310B (zh) 一种对象的行为分析方法、装置及存储介质
CN114912030A (zh) 权益模型训练方法、推荐方法及电子终端和计算机介质
CN113627797B (zh) 入职员工画像生成方法、装置、计算机设备及存储介质
CN110929169A (zh) 基于改进Canopy聚类协同过滤算法的职位推荐方法
CN112231554B (zh) 一种搜索推荐词生成方法、装置、存储介质和计算机设备
CN116821307B (zh) 内容交互方法、装置、电子设备和存储介质
CN111767720B (zh) 一种标题生成方法、计算机及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant