CN111428125B - 排序方法、装置、电子设备及可读存储介质 - Google Patents

排序方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN111428125B
CN111428125B CN201910191098.6A CN201910191098A CN111428125B CN 111428125 B CN111428125 B CN 111428125B CN 201910191098 A CN201910191098 A CN 201910191098A CN 111428125 B CN111428125 B CN 111428125B
Authority
CN
China
Prior art keywords
clicked
value
calculating
neural network
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910191098.6A
Other languages
English (en)
Other versions
CN111428125A (zh
Inventor
祝升
汤彪
张弓
汪非易
王仲远
朱迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to PCT/CN2019/120676 priority Critical patent/WO2020143346A1/zh
Priority to KR1020217019287A priority patent/KR20210090706A/ko
Publication of CN111428125A publication Critical patent/CN111428125A/zh
Priority to US17/370,084 priority patent/US20210374149A1/en
Application granted granted Critical
Publication of CN111428125B publication Critical patent/CN111428125B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G06F16/90348—Query processing by searching ordered data, e.g. alpha-numerically ordered data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9038—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/06—Arrangements for sorting, selecting, merging, or comparing data on individual record carriers
    • G06F7/08—Sorting, i.e. grouping record carriers in numerical or other ordered sequence according to the classification of at least some of the information they carry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/448—Execution paradigms, e.g. implementations of programming paradigms
    • G06F9/4482—Procedural
    • G06F9/4484—Executing subprograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种排序方法、装置、电子设备及可读存储介质，所述方法包括：对数据样本集按照搜索请求进行分组，得到至少一个搜索请求分组；采用所述搜索请求分组对神经网络模型进行训练，所述神经网络模型在训练过程中，根据同一个搜索请求分组中被点击和未被点击的候选对象的当前预测值、以及被点击和未被点击的候选对象排序位置互换前后的归一化折扣累积增益的变化量，调整所述神经网络模型的参数；采用所述神经网络模型对目标搜索词关联的目标对象进行排序。可以结合归一化折扣累积增益调整神经网络模型，使得调整结果更能符合搜索推荐领域，有助于提高神经网络模型的准确度。

Description

排序方法、装置、电子设备及可读存储介质
技术领域
本发明实施例涉及搜索推荐技术领域，尤其涉及一种排序方法、装置、电子设备及可读存储介质。
背景技术
搜索推荐平台可以根据用户输入的关键词向用户推荐若干搜索结果，而搜索结果需要排序之后展示给用户，从而排序的准确性直接影响推荐效果。
现有技术中，深度学习可以应用于排序，例如，DWN(Deep and Wide Network,深度广度网络)模型、DFM(Deep Factorization Machines,深度因子分解器)和DCN(Deep andCross Network，深度交叉网络)模型。而上述三种模型均采用对数损失函数，其不能准确的表示搜索效果，导致训练得到的模型的排序准确度较差。
发明内容
本发明提供一种排序方法、装置、电子设备及可读存储介质，以解决现有技术排序的上述问题。
根据本发明的第一方面，提供了一种排序方法，所述方法包括：
对数据样本集按照搜索请求进行分组，得到至少一个搜索请求分组；
采用所述搜索请求分组对神经网络模型进行训练，所述神经网络模型在训练过程中，根据同一个搜索请求分组中被点击和未被点击的候选对象的当前预测值、以及被点击和未被点击的候选对象排序位置互换前后的归一化折扣累积增益的变化量，调整所述神经网络模型的参数；
采用所述神经网络模型对目标搜索词关联的目标对象进行排序。
可选地，所述根据同一个搜索请求分组中被点击和未被点击的候选对象的当前预测值、以及被点击和未被点击的候选对象排序位置互换前后的归一化折扣累积增益的变化量，调整所述神经网络模型的参数的步骤，包括：
对于同一个搜索请求分组中被点击和未被点击的候选对象，分别计算被点击的候选对象排序在未被点击的候选对象之前的归一化折扣累计增益，以及，被点击的候选对象排序在未被点击的候选对象之后的归一化折扣累计增益，得到第一增益和第二增益；
计算所述第一增益和第二增益之间的差值的绝对值；
计算被点击的候选对象与未被点击的候选对象的当前预测值之间的差值，得到第一差值；
计算所述差值与预设系数的乘积，得到第一乘积；
以自然常数为底数，所述第一乘积为指数计算指数结果，得到第一指数结果；
计算所述指数结果与1之和，得到第一数值；
计算所述预设系数与所述绝对值的乘积，得到第二乘积；
计算所述第二乘积与所述第一数值的比值，并取相反数得到所述被点击的候选对象和未被点击的候选对象之间的梯度值；
根据所述被点击的候选对象和未被点击的候选对象之间的梯度值调整所述神经网络模型的参数。
可选地，所述被点击的候选对象和未被点击的候选对象之间的梯度值λi,j根据如下公式计算得到：
Figure BDA0001992842170000021
其中，σ为预设系数，Si、Sj分别为被点击的候选对象与未被点击的候选对象的当前预测值，ΔNDCG为被点击和未被点击的候选对象排序位置互换前后的归一化折扣累积增益的变化值。
可选地，所述根据所述被点击的候选对象和未被点击的候选对象之间的梯度值调整所述神经网络模型的参数的步骤，包括：
针对每个候选对象，分别获取标记在所述候选对象的位置之前的其他候选对象，以及，获取标记在所述候选对象的位置之后的其他候选对象，得到第一对象、第二对象；
计算所述候选对象与所述第一对象的梯度值之和，得到第一梯度和；
计算所述候选对象与所述第二对象之间的梯度值之和，得到第二梯度和；
计算所述第二梯度和与第一梯度和的差值，得到所述候选对象的调整梯度；
根据所述调整梯度调整所述神经网络模型中所述候选对象对应的参数。
可选地，所述方法还包括：
在每次训练之后，根据同一个搜索请求分组中被点击和未被点击的候选对象的当前预测值以及候选对象的位置标记计算损失值；
在所述损失值小于或等于预设损失值阈值的情况下，结束训练。
可选地，所述根据同一个搜索请求分组中被点击和未被点击的候选对象的当前预测值以及候选对象的位置标记计算损失值的步骤，包括：
对于同一个搜索请求分组中被点击和未被点击的候选对象，计算1与候选对象的位置标记的差值，得到第二差值；
对于同一个搜索请求分组中被点击和未被点击的候选对象，计算被点击的候选对象和未被点击的候选对象的当前预测值的差值，得到第三差值；
计算所述第二差值、第三差值、预设系数以及二分之一的乘积，得到第三乘积；
计算所述第三差值和预设系数的乘积，并取相反数得到第四乘积；
以自然常数为底数，所述第四乘积为指数计算指数结果，得到第二指数结果；
计算1与所述第二指数结果之和作为真数，并以10为底数取对数，得到对数结果；
计算所述第三乘积和所述对数结果之和，得到被点击和未被点击的候选对象的损失值；
计算所述被点击和未被点击的候选对象的损失值的平均值，得到损失值。
可选地，所述损失值根据如下公式计算得到：
Figure BDA0001992842170000031
可选地，在所述采用所述神经网络模型对目标搜索词关联的目标对象进行排序之前，还包括：
将训练得到的神经网络模型部署至应用平台，所述应用平台调用所述神经网络模型对目标搜索词关联的目标对象进行排序。
根据本发明的第二方面，提供了一种排序装置，所述装置包括：
样本集分组模块，用于对数据样本集按照搜索请求进行分组，得到至少一个搜索请求分组；
神经网络模型训练模块，用于采用所述搜索请求分组对神经网络模型进行训练，所述神经网络模型在训练过程中，根据同一个搜索请求分组中被点击和未被点击的候选对象的当前预测值、以及被点击和未被点击的候选对象排序位置互换前后的归一化折扣累积增益的变化量，调整所述神经网络模型的参数；
排序模块，用于采用所述神经网络模型对目标搜索词关联的目标对象进行排序。
可选地，所述神经网络模型训练模块，包括：
增益计算子模块，用于对于同一个搜索请求分组中被点击和未被点击的候选对象，分别计算被点击的候选对象排序在未被点击的候选对象之前的归一化折扣累计增益，以及，被点击的候选对象排序在未被点击的候选对象之后的归一化折扣累计增益，得到第一增益和第二增益；
绝对值计算子模块，用于计算所述第一增益和第二增益之间的差值的绝对值；
第一差值计算子模块，用于计算被点击的候选对象与未被点击的候选对象的当前预测值之间的差值，得到第一差值；
第一乘积计算子模块，用于计算所述差值与预设系数的乘积，得到第一乘积；
第一指数结果计算子模块，用于以自然常数为底数，所述第一乘积为指数计算指数结果，得到第一指数结果；
第一数值计算子模块，用于计算所述指数结果与1之和，得到第一数值；
第二乘积计算子模块，用于计算所述预设系数与所述绝对值的乘积，得到第二乘积；
梯度值计算子模块，用于计算所述第二乘积与所述第一数值的比值，并取相反数得到所述被点击的候选对象和未被点击的候选对象之间的梯度值；
模型参数调整子模块，用于根据所述被点击的候选对象和未被点击的候选对象之间的梯度值调整所述神经网络模型的参数。
可选地，所述被点击的候选对象和未被点击的候选对象之间的梯度值λi,j根据如下公式计算得到：
Figure BDA0001992842170000051
其中，σ为预设系数，Si、Sj分别为被点击的候选对象与未被点击的候选对象的当前预测值，ΔNDCG为被点击和未被点击的候选对象排序位置互换前后的归一化折扣累积增益的变化值。
可选地，所述模型参数调整子模块，包括：
对象获取单元，用于针对每个候选对象，分别获取标记在所述候选对象的位置之前的其他候选对象，以及，获取标记在所述候选对象的位置之后的其他候选对象，得到第一对象、第二对象；
第一梯度和计算单元，用于计算所述候选对象与所述第一对象的梯度值之和，得到第一梯度和；
第二梯度和计算单元，用于计算所述候选对象与所述第二对象之间的梯度值之和，得到第二梯度和；
调整梯度计算单元，用于计算所述第二梯度和与第一梯度和的差值，得到所述候选对象的调整梯度；
模型参数调整单元，用于根据所述调整梯度调整所述神经网络模型中所述候选对象对应的参数。
可选地，所述神经网络模型训练模块还包括：
损失值计算子模块，用于在每次训练之后，根据同一个搜索请求分组中被点击和未被点击的候选对象的当前预测值以及候选对象的位置标记计算损失值；
训练结束子模块，用于在所述损失值小于或等于预设损失值阈值的情况下，结束训练。
可选地，所述损失值计算子模块，包括：
第二差值计算单元，用于对于同一个搜索请求分组中被点击和未被点击的候选对象，计算1与候选对象的位置标记的差值，得到第二差值；
第三差值计算单元，用于对于同一个搜索请求分组中被点击和未被点击的候选对象，计算被点击的候选对象和未被点击的候选对象的当前预测值的差值，得到第三差值；
第三乘积计算单元，用于计算所述第二差值、第三差值、预设系数以及二分之一的乘积，得到第三乘积；
第四乘积计算单元，用于计算所述第三差值和预设系数的乘积，并取相反数得到第四乘积；
第二指数结果计算单元，用于以自然常数为底数，所述第四乘积为指数计算指数结果，得到第二指数结果；
对数结果计算单元，用于计算1与所述第二指数结果之和作为真数，并以10为底数取对数，得到对数结果；
第一损失值计算单元，用于计算所述第三乘积和所述对数结果之和，得到被点击和未被点击的候选对象的损失值；
第二损失值计算单元，用于计算所述被点击和未被点击的候选对象的损失值的平均值，得到损失值。
可选地，所述被点击和未被点击的候选对象的损失值根据如下公式计算得到：
Figure BDA0001992842170000061
可选地，所述装置还包括：
模型部署模块，用于将训练得到的神经网络模型部署至应用平台，所述应用平台调用所述神经网络模型对目标搜索词关联的目标对象进行排序。
根据本发明的第三方面，提供了一种电子设备，包括：
处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现前述排序方法。
根据本发明的第四方面，提供了一种可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行前述排序方法。
本发明实施例提供了一种排序方法、装置、电子设备及可读存储介质，所述方法包括：对数据样本集按照搜索请求进行分组，得到至少一个搜索请求分组；采用所述搜索请求分组对神经网络模型进行训练，所述神经网络模型在训练过程中，根据同一个搜索请求分组中被点击和未被点击的候选对象的当前预测值、以及被点击和未被点击的候选对象排序位置互换前后的归一化折扣累积增益的变化量，调整所述神经网络模型的参数；采用所述神经网络模型对目标搜索词关联的目标对象进行排序。可以结合归一化折扣累积增益调整神经网络模型，使得调整结果更能符合搜索推荐领域，有助于提高神经网络模型的准确度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的系统架构下的一种排序方法具体步骤流程图；
图2是本发明实施例提供的系统架构下的另一种排序方法具体步骤流程图；
图3是本发明实施例提供的一种排序装置的结构图；
图4是本发明实施例提供的另一种排序装置的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
参照图1，其示出了一种排序方法的步骤流程图，包括：
步骤101，对数据样本集按照搜索请求进行分组，得到至少一个搜索请求分组。
其中，数据样本集包含大量数据样本，每个数据样本包括：搜索请求标识、搜索时用户输入的关键字、与该关键字相关的对象、以及该对象是否被点击的标识等。
在实际应用中，搜索请求标识是搜索请求的唯一标识，搜索请求标识相同的多个数据样本对应同一个搜索请求。本发明实施例可以根据搜索请求标识将数据样本集中的数据样本进行分组，使得同一个搜索请求对应的数据样本属于同一个搜索请求分组。
具体地，在进行分组之后，将每个搜索请求分组进行打包。
步骤102，采用所述搜索请求分组对神经网络模型进行训练，所述神经网络模型在训练过程中，根据同一个搜索请求分组中被点击和未被点击的候选对象的当前预测值、以及被点击和未被点击的候选对象排序位置互换前后的归一化折扣累积增益的变化量，调整所述神经网络模型的参数。
在本发明实施例中，以搜索请求分组为单位对神经网络模型进行训练。
其中，神经网络模型可以为DWN(Deep and Wide Network,深度广度网络)模型、DFM(Deep Factorization Machines,深度因子分解器)和DCN(Deep and Cross Network，深度交叉网络)模型等适用于搜索推荐领域的深度模型。
训练是将数据样本输入至神经网络模型中得到该次训练的当前预测值，并根据当前值不断调整神经网络模型的参数，反复进行预测和参数调整，最终使得模型最优。可以理解，在初始状态下，神经网络模型的参数为随机的。本发明实施例可以通过Tensorflow框架实现训练。
归一化折扣累积增益(NDCG，Normalized Discounted Cumulative Gain)是搜索推荐系统常用的指标，NDCG综合了相关性和位置两个因素，NDCG的公式已经是搜索推荐技术领域的通用公式，本发明实施例对其不再赘述。
具体地，在每次训练结束之后，首先根据同一个搜索请求分组中被点击和未被点击的候选对象的当前预测值、以及被点击和未被点击的候选对象排序位置互换前后的归一化折扣累积增益的变化量，计算每个数据样本的梯度值；然后根据梯度值调整神经网络模型的参数。
本发明实施例可以结合归一化折扣累积增益调整神经网络模型，使得调整结果更能符合搜索推荐领域，有助于提高神经网络模型的准确度。
步骤103，采用所述神经网络模型对目标搜索词关联的目标对象进行排序。
本发明通过步骤102训练得到的神经网络模型可以用于实际应用中每个用户输入目标搜索词之后，关联的目标对象的排序。
其中，目标对象可以为文本、视频、图像等。
综上所述，本发明实施例提供了一种排序方法，所述方法包括：对数据样本集按照搜索请求进行分组，得到至少一个搜索请求分组；采用所述搜索请求分组对神经网络模型进行训练，所述神经网络模型在训练过程中，根据同一个搜索请求分组中被点击和未被点击的候选对象的当前预测值、以及被点击和未被点击的候选对象排序位置互换前后的归一化折扣累积增益的变化量，调整所述神经网络模型的参数；采用所述神经网络模型对目标搜索词关联的目标对象进行排序。可以结合归一化折扣累积增益调整神经网络模型，使得调整结果更能符合搜索推荐领域，有助于提高神经网络模型的准确度。
实施例二
参照图2，其示出了另一种排序方法的步骤流程图，包括：
步骤201，对数据样本集按照搜索请求进行分组，得到至少一个搜索请求分组。
该步骤可以参照步骤101的详细说明，在此不再赘述。
步骤202，采用所述搜索请求分组对神经网络模型进行训练，所述神经网络模型在训练过程中，对于同一个搜索请求分组中被点击和未被点击的候选对象，分别计算被点击的候选对象排序在未被点击的候选对象之前的归一化折扣累计增益，以及，被点击的候选对象排序在未被点击的候选对象之后的归一化折扣累计增益，得到第一增益和第二增益。
在本发明实施例中，第一增益和第二增益的计算公式可以参照现有公式，本发明实施例对其不加以限制。
步骤203，计算所述第一增益和第二增益之间的差值的绝对值。
具体地，第一增益和第二增益之间的差值的绝对值
Figure BDA0001992842170000101
可以参照如下公式计算得到：
Figure BDA0001992842170000102
其中，NDCGi,j为被点击的候选对象i排序在未被点击的候选对象j之前的归一化折扣累计增益，NDCGj,i为被点击的候选对象i排序在未被点击的候选对象j之后的归一化折扣累计增益。
步骤204，计算被点击的候选对象与未被点击的候选对象的当前预测值之间的差值，得到第一差值。
具体地，第一差值M1i,j的计算公式如下：
M1i,j＝Si-Sj (2)
其中，Si为被点击的候选对象的当前预测值，Sj为未被点击的候选对象的当前预测值。
步骤205，计算所述差值与预设系数的乘积，得到第一乘积。
具体地，第一乘积P1i,j的计算公式如下：
P1i,j＝σ·M1i,j＝σ·(Si-Sj) (3)
其中，σ为预设系数，可以根据实际应用场景设定，本发明实施例对其不加以限制。
步骤206，以自然常数为底数，所述第一乘积为指数计算指数结果，得到第一指数结果。
具体地，第一指数结果I1i,j的计算公式如下：
Figure BDA0001992842170000103
步骤207，计算所述指数结果与1之和，得到第一数值。
具体地，第一数值V1i,j的计算公式如下：
Figure BDA0001992842170000113
步骤208，计算所述预设系数与所述绝对值的乘积，得到第二乘积。
具体地，第二乘积P2i,j的计算公式如下：
Figure BDA0001992842170000111
步骤209，计算所述第二乘积与所述第一数值的比值，并取相反数得到所述被点击的候选对象和未被点击的候选对象之间的梯度值。
具体地，被点击的候选对象和未被点击的候选对象之间的梯度值λi,j的计算公式如下：
Figure BDA0001992842170000112
步骤210，根据所述被点击的候选对象和未被点击的候选对象之间的梯度值调整所述神经网络模型的参数。
可以理解，梯度可以体现变化趋势，从而可以用于指导模型参数的调整。
本发明实施例可以根据梯度值准确调整模型的参数。
可选地，在本发明的另一种实施例中，步骤210包括子步骤2101至2105：
子步骤2101，针对每个候选对象，分别获取标记在所述候选对象的位置之前的其他候选对象，以及，获取标记在所述候选对象的位置之后的其他候选对象，得到第一对象、第二对象。
在实际应用中，排列顺序为候选对象是否被点击，被点击的候选对象排列在前面，未被点击的候选对象排列在后面。特殊地，若被点击的候选对象被标记为1，未被点击的候选对象被标记为0，则对于被标记为1的候选对象，第一对象不存在，仅存在第二对象；对于被标记为0的候选对象，第二对象不存在，仅存在第一对象。
当然，被点击的候选对象还可以按照点击率或其他指导排序的指标进行标记，从而可以根据具体指标的具体取值确定第一对象和第二对象。
子步骤2102，计算所述候选对象与所述第一对象的梯度值之和，得到第一梯度和。
可以理解，对于一个候选对象，第一梯度和为该候选对象与排序在该候选对象之前的其他候选对象之间的梯度和。
子步骤2103，计算所述候选对象与所述第二对象之间的梯度值之和，得到第二梯度和。
可以理解，对于一个候选对象，第二梯度和为该候选对象与排序在该候选对象之后的其他候选对象之间的梯度和。
子步骤2104，计算所述第二梯度和与第一梯度和的差值，得到所述候选对象的调整梯度。
可以理解，调整梯度为每个候选对象的唯一梯度，可以用于指导调整模型的参数。
子步骤2105，根据所述调整梯度调整所述神经网络模型中所述候选对象对应的参数。
具体地，根据调整梯度的方向调整参数。
本发明实施例可以综合所有候选文本，计算得到调整梯度，并指导调整模型参数，可以准确调整模型参数，有助于提高模型的准确度。
步骤211，在每次训练之后，根据同一个搜索请求分组中被点击和未被点击的候选对象的当前预测值以及候选对象的位置标记计算损失值。
其中，位置标可以标记被点击的候选对象和未被点击的候选对象的前后位置，可以根据实际应用场景设定。例如，当候选对象i在候选对象j之前时，被点击的候选对象i和未被点击的候选对象j对应的位置标记为1；当候选对象i在候选对象j之后时，被点击的候选对象i和未被点击的候选对象j对应的位置标记为0。
在实际应用中，损失值用于确定训练是否结束。
可选地，在本发明的另一种实施例中，所述步骤211包括子步骤2111至2118：
子步骤2111，对于同一个搜索请求分组中被点击和未被点击的候选对象，计算1与候选对象的位置标记的差值，得到第二差值。
具体地，第二差值M2i,j的计算公式如下：
M2i,j＝1-Sij (8)
其中，Sij为被点击的候选对象i和未被点击的候选对象j对应的位置标记。
子步骤2112，对于同一个搜索请求分组中被点击和未被点击的候选对象，计算被点击的候选对象和未被点击的候选对象的当前预测值的差值，得到第三差值。
具体地，第三差值M3i,j的计算公式如下：
M3i,j＝Si-Sj (9)
子步骤2113，计算所述第二差值、第三差值、预设系数以及二分之一的乘积，得到第三乘积。
具体地，第三乘积P3i,j的计算公式如下：
Figure BDA0001992842170000131
子步骤2114，计算所述第三差值和预设系数的乘积，并取相反数得到第四乘积。
具体地，第四乘积P4i,j的计算公式如下：
P4i,j＝-M3i,j·σ＝-σ(Si-Sj) (11)
子步骤2115，以自然常数为底数，所述第四乘积为指数计算指数结果，得到第二指数结果。
具体地，第二指数结果I2i,j的计算公式如下：
Figure BDA0001992842170000132
子步骤2116，计算1与所述第二指数结果之和作为真数，并以10为底数取对数，得到对数结果。
具体地，对数结果Li,j的计算公式如下：
Figure BDA0001992842170000133
子步骤2117，计算所述第三乘积和所述对数结果之和，得到被点击和未被点击的候选对象的损失值。
具体地，被点击和未被点击的候选对象i和j的损失值Ci,j的计算公式如下：
Figure BDA0001992842170000134
子步骤2118，计算所述被点击和未被点击的候选对象的损失值的平均值，得到损失值。
具体地，对于所有搜索请求下各种被点击和未被点击的候选对象的组合，计算总的平均值得到损失值。
步骤212，在所述损失值小于或等于预设损失值阈值的情况下，结束训练。
其中，损失值阈值可以根据实际应用场景设定，本发明实施例对其不加以限制。可以理解，损失值阈值过大时，训练得到的神经网络模型准确度较差，但训练时间较短；损失值阈值过小时，训练得到的神经网络模型准确度较高，但训练时间较长。在实际应用中可以根据需求设定损失值阈值。
本发明实施例可以将结束训练时使用当前参数的神经网络模型作为最终的神经网络模型，可以用于实际应用中。
步骤213，将训练得到的神经网络模型部署至应用平台，所述应用平台调用所述神经网络模型对目标搜索词关联的目标对象进行排序。
其中，应用平台可以为搜索推荐平台，在本发明实施例中应用平台采用Tensorflow框架。
具体地，可以将神经网络模型进行打包，并存储、安装在应用平台上，从而应用平台在接收到目标搜索词的时候，首先获取关联的多个目标对象；然后离线调用该神经网络模型对目标对象进行排序。
本发明实施例可以将预先训练的神经网络模型部署在应用平台，并离线调用以进行排序，实现了神经网络模型的灵活应用。
步骤214，采用所述神经网络模型对目标搜索词关联的目标对象进行排序。
该步骤可以参照步骤103的详细说明，在此不再赘述。
综上所述，本发明实施例提供了一种排序方法，所述方法包括：对数据样本集按照搜索请求进行分组，得到至少一个搜索请求分组；采用所述搜索请求分组对神经网络模型进行训练，所述神经网络模型在训练过程中，根据同一个搜索请求分组中被点击和未被点击的候选对象的当前预测值、以及被点击和未被点击的候选对象排序位置互换前后的归一化折扣累积增益的变化量，调整所述神经网络模型的参数；采用所述神经网络模型对目标搜索词关联的目标对象进行排序。可以结合归一化折扣累积增益调整神经网络模型，使得调整结果更能符合搜索推荐领域，有助于提高神经网络模型的准确度。
实施例三
参照图3，其示出了一种排序装置的结构图，具体如下。
样本集分组模块301，用于对数据样本集按照搜索请求进行分组，得到至少一个搜索请求分组。
神经网络模型训练模块302，用于采用所述搜索请求分组对神经网络模型进行训练，所述神经网络模型在训练过程中，根据同一个搜索请求分组中被点击和未被点击的候选对象的当前预测值、以及被点击和未被点击的候选对象排序位置互换前后的归一化折扣累积增益的变化量，调整所述神经网络模型的参数。
排序模块303，用于采用所述神经网络模型对目标搜索词关联的目标对象进行排序。
综上所述，本发明实施例提供了一种排序装置，所述装置包括：样本集分组模块，用于对数据样本集按照搜索请求进行分组，得到至少一个搜索请求分组；神经网络模型训练模块，用于采用所述搜索请求分组对神经网络模型进行训练，所述神经网络模型在训练过程中，根据同一个搜索请求分组中被点击和未被点击的候选对象的当前预测值、以及被点击和未被点击的候选对象排序位置互换前后的归一化折扣累积增益的变化量，调整所述神经网络模型的参数；排序模块，用于采用所述神经网络模型对目标搜索词关联的目标对象进行排序。可以结合归一化折扣累积增益调整神经网络模型，使得调整结果更能符合搜索推荐领域，有助于提高神经网络模型的准确度。
实施例四
参照图4，其示出了另一种排序装置的结构图，具体如下。
样本集分组模块401，用于对数据样本集按照搜索请求进行分组，得到至少一个搜索请求分组。
神经网络模型训练模块402，用于采用所述搜索请求分组对神经网络模型进行训练，所述神经网络模型在训练过程中，根据同一个搜索请求分组中被点击和未被点击的候选对象的当前预测值、以及被点击和未被点击的候选对象排序位置互换前后的归一化折扣累积增益的变化量，调整所述神经网络模型的参数；可选地，在本发明实施例中，所述神经网络模型训练模块402，包括：
增益计算子模块40201，用于对于同一个搜索请求分组中被点击和未被点击的候选对象，分别计算被点击的候选对象排序在未被点击的候选对象之前的归一化折扣累计增益，以及，被点击的候选对象排序在未被点击的候选对象之后的归一化折扣累计增益，得到第一增益和第二增益。
绝对值计算子模块40202，用于计算所述第一增益和第二增益之间的差值的绝对值。
第一差值计算子模块40203，用于计算被点击的候选对象与未被点击的候选对象的当前预测值之间的差值，得到第一差值。
第一乘积计算子模块40204，用于计算所述差值与预设系数的乘积，得到第一乘积。
第一指数结果计算子模块40205，用于以自然常数为底数，所述第一乘积为指数计算指数结果，得到第一指数结果。
第一数值计算子模块40206，用于计算所述指数结果与1之和，得到第一数值。
第二乘积计算子模块40207，用于计算所述预设系数与所述绝对值的乘积，得到第二乘积。
梯度值计算子模块40208，用于计算所述第二乘积与所述第一数值的比值，并取相反数得到所述被点击的候选对象和未被点击的候选对象之间的梯度值。
模型参数调整子模块40209，用于根据所述被点击的候选对象和未被点击的候选对象之间的梯度值调整所述神经网络模型的参数。
损失值计算子模块40210，用于在每次训练之后，根据同一个搜索请求分组中被点击和未被点击的候选对象的当前预测值以及候选对象的位置标记计算损失值。
训练结束子模块40211，用于在所述损失值小于或等于预设损失值阈值的情况下，结束训练。
模型部署模块403，用于将训练得到的神经网络模型部署至应用平台，所述应用平台调用所述神经网络模型对目标搜索词关联的目标对象进行排序。
排序模块404，用于采用所述神经网络模型对目标搜索词关联的目标对象进行排序。
可选地，在本发明的另一种实施例中，所述被点击的候选对象和未被点击的候选对象之间的梯度值λi,j根据如下公式计算得到：
Figure BDA0001992842170000171
其中，σ为预设系数，Si、Sj分别为被点击的候选对象与未被点击的候选对象的当前预测值，ΔNDCG为被点击和未被点击的候选对象排序位置互换前后的归一化折扣累积增益的变化值。
可选地，在本发明的另一种实施例中，所述模型参数调整子模块40209，包括：
对象获取单元，用于针对每个候选对象，分别获取标记在所述候选对象的位置之前的其他候选对象，以及，获取标记在所述候选对象的位置之后的其他候选对象，得到第一对象、第二对象；
第一梯度和计算单元，用于计算所述候选对象与所述第一对象的梯度值之和，得到第一梯度和；
第二梯度和计算单元，用于计算所述候选对象与所述第二对象之间的梯度值之和，得到第二梯度和；
调整梯度计算单元，用于计算所述第二梯度和与第一梯度和的差值，得到所述候选对象的调整梯度；
模型参数调整单元，用于根据所述调整梯度调整所述神经网络模型中所述候选对象对应的参数。
可选地，在本发明的另一种实施例中，所述损失值计算子模块40210，包括：
第二差值计算单元，用于对于同一个搜索请求分组中被点击和未被点击的候选对象，计算1与候选对象的位置标记的差值，得到第二差值；
第三差值计算单元，用于对于同一个搜索请求分组中被点击和未被点击的候选对象，计算被点击的候选对象和未被点击的候选对象的当前预测值的差值，得到第三差值；
第三乘积计算单元，用于计算所述第二差值、第三差值、预设系数以及二分之一的乘积，得到第三乘积；
第四乘积计算单元，用于计算所述第三差值和预设系数的乘积，并取相反数得到第四乘积；
第二指数结果计算单元，用于以自然常数为底数，所述第四乘积为指数计算指数结果，得到第二指数结果；
对数结果计算单元，用于计算1与所述第二指数结果之和作为真数，并以10为底数取对数，得到对数结果；
第一损失值计算单元，用于计算所述第三乘积和所述对数结果之和，得到被点击和未被点击的候选对象的损失值；
第二损失值计算单元，用于计算所述被点击和未被点击的候选对象的损失值的平均值，得到损失值。
可选地，在本发明的另一种实施例中，所述被点击和未被点击的候选对象的损失值Ci,j根据如下公式计算得到：
Figure BDA0001992842170000181
其中，Sij为被点击的候选文本与未被点击的候选文本的标记值的差值。
综上所述，本发明实施例提供了一种排序装置，所述装置包括：样本集分组模块，用于对数据样本集按照搜索请求进行分组，得到至少一个搜索请求分组；神经网络模型训练模块，用于采用所述搜索请求分组对神经网络模型进行训练，所述神经网络模型在训练过程中，根据同一个搜索请求分组中被点击和未被点击的候选对象的当前预测值、以及被点击和未被点击的候选对象排序位置互换前后的归一化折扣累积增益的变化量，调整所述神经网络模型的参数；排序模块，用于采用所述神经网络模型对目标搜索词关联的目标对象进行排序。可以结合归一化折扣累积增益调整神经网络模型，使得调整结果更能符合搜索推荐领域，有助于提高神经网络模型的准确度。
本发明实施例还提供了一种电子设备，包括：处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现前述实施例的排序方法。
本发明实施例还提供了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行前述实施例的排序方法。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的排序设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种排序方法，其特征在于，所述方法包括：
对数据样本集按照搜索请求进行分组，得到至少一个搜索请求分组；
采用所述搜索请求分组对神经网络模型进行训练，所述神经网络模型在训练过程中，对于同一个搜索请求分组中被点击和未被点击的候选对象，分别计算被点击的候选对象排序在未被点击的候选对象之前的归一化折扣累计增益，以及，被点击的候选对象排序在未被点击的候选对象之后的归一化折扣累计增益，得到第一增益和第二增益；
计算所述第一增益和第二增益之间的差值的绝对值；
计算被点击的候选对象与未被点击的候选对象的当前预测值之间的差值，得到第一差值；
计算所述差值与预设系数的乘积，得到第一乘积；
以自然常数为底数，所述第一乘积为指数计算指数结果，得到第一指数结果；
计算所述指数结果与1之和，得到第一数值；
计算所述预设系数与所述绝对值的乘积，得到第二乘积；
计算所述第二乘积与所述第一数值的比值，并取相反数得到所述被点击的候选对象和未被点击的候选对象之间的梯度值；
根据所述被点击的候选对象和未被点击的候选对象之间的梯度值调整所述神经网络模型的参数；
采用所述神经网络模型对目标搜索词关联的目标对象进行排序。
2.根据权利要求1所述的方法，其特征在于，所述被点击的候选对象和未被点击的候选对象之间的梯度值λi,j根据如下公式计算得到：
Figure FDA0004112055800000011
其中，σ为预设系数，i、j分别为被点击的候选对象与未被点击的候选对象的当前预测值，ΔNDCG为被点击和未被点击的候选对象排序位置互换前后的归一化折扣累积增益的变化值。
3.根据权利要求1所述的方法，其特征在于，所述根据所述被点击的候选对象和未被点击的候选对象之间的梯度值调整所述神经网络模型的参数的步骤，包括：
针对每个候选对象，分别获取标记在所述候选对象的位置之前的其他候选对象，以及，获取标记在所述候选对象的位置之后的其他候选对象，得到第一对象、第二对象；
计算所述候选对象与所述第一对象的梯度值之和，得到第一梯度和；
计算所述候选对象与所述第二对象之间的梯度值之和，得到第二梯度和；
计算所述第二梯度和与第一梯度和的差值，得到所述候选对象的调整梯度；
根据所述调整梯度调整所述神经网络模型中所述候选对象对应的参数。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在每次训练之后，根据同一个搜索请求分组中被点击和未被点击的候选对象的当前预测值以及候选对象的位置标记计算损失值；
在所述损失值小于或等于预设损失值阈值的情况下，结束训练。
5.根据权利要求4所述的方法，其特征在于，所述根据同一个搜索请求分组中被点击和未被点击的候选对象的当前预测值以及候选对象的位置标记计算损失值的步骤，包括：
对于同一个搜索请求分组中被点击和未被点击的候选对象，计算1与候选对象的位置标记的差值，得到第二差值；
对于同一个搜索请求分组中被点击和未被点击的候选对象，计算被点击的候选对象和未被点击的候选对象的当前预测值的差值，得到第三差值；
计算所述第二差值、第三差值、预设系数以及二分之一的乘积，得到第三乘积；
计算所述第三差值和预设系数的乘积，并取相反数得到第四乘积；
以自然常数为底数，所述第四乘积为指数计算指数结果，得到第二指数结果；
计算1与所述第二指数结果之和作为真数，并以10为底数取对数，得到对数结果；
计算所述第三乘积和所述对数结果之和，得到被点击和未被点击的候选对象的损失值；
计算所述被点击和未被点击的候选对象的损失值的平均值，得到损失值。
6.根据权利要求4所述的方法，其特征在于，所述被点击和未被点击的候选对象的损失值Ci,j根据如下公式计算得到：
Figure FDA0004112055800000031
其中，Sij为被点击的候选文本与未被点击的候选文本的标记值的差值。
7.根据权利要求1所述的方法，其特征在于，在所述采用所述神经网络模型对目标搜索词关联的目标对象进行排序之前，还包括：
将训练得到的神经网络模型部署至应用平台，所述应用平台调用所述神经网络模型对目标搜索词关联的目标对象进行排序。
8.一种排序装置，其特征在于，所述装置包括：
样本集分组模块，用于对数据样本集按照搜索请求进行分组，得到至少一个搜索请求分组；
神经网络模型训练模块，用于采用所述搜索请求分组对神经网络模型进行训练，所述神经网络模型在训练过程中，所述神经网络模型训练模块，包括：
增益计算子模块，用于对于同一个搜索请求分组中被点击和未被点击的候选对象，分别计算被点击的候选对象排序在未被点击的候选对象之前的归一化折扣累计增益，以及，被点击的候选对象排序在未被点击的候选对象之后的归一化折扣累计增益，得到第一增益和第二增益；
绝对值计算子模块，用于计算所述第一增益和第二增益之间的差值的绝对值；
第一差值计算子模块，用于计算被点击的候选对象与未被点击的候选对象的当前预测值之间的差值，得到第一差值；
第一乘积计算子模块，用于计算所述差值与预设系数的乘积，得到第一乘积；
第一指数结果计算子模块，用于以自然常数为底数，所述第一乘积为指数计算指数结果，得到第一指数结果；
第一数值计算子模块，用于计算所述指数结果与1之和，得到第一数值；
第二乘积计算子模块，用于计算所述预设系数与所述绝对值的乘积，得到第二乘积；
梯度值计算子模块，用于计算所述第二乘积与所述第一数值的比值，并取相反数得到所述被点击的候选对象和未被点击的候选对象之间的梯度值；
模型参数调整子模块，用于根据所述被点击的候选对象和未被点击的候选对象之间的梯度值调整所述神经网络模型的参数；
排序模块，用于采用所述神经网络模型对目标搜索词关联的目标对象进行排序。
9.一种电子设备，其特征在于，包括：
处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7中一个或多个所述的排序方法。
10.一种可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如方法权利要求1至7中一个或多个所述的排序方法。
CN201910191098.6A 2019-01-10 2019-03-12 排序方法、装置、电子设备及可读存储介质 Active CN111428125B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/CN2019/120676 WO2020143346A1 (zh) 2019-01-10 2019-11-25 排序
KR1020217019287A KR20210090706A (ko) 2019-01-10 2019-11-25 정렬
US17/370,084 US20210374149A1 (en) 2019-01-10 2021-07-08 Sorting

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910024150 2019-01-10
CN2019100241509 2019-01-10

Publications (2)

Publication Number Publication Date
CN111428125A CN111428125A (zh) 2020-07-17
CN111428125B true CN111428125B (zh) 2023-05-30

Family

ID=71546739

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910191098.6A Active CN111428125B (zh) 2019-01-10 2019-03-12 排序方法、装置、电子设备及可读存储介质

Country Status (3)

Country Link
US (1) US20210374149A1 (zh)
KR (1) KR20210090706A (zh)
CN (1) CN111428125B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112100529B (zh) * 2020-11-17 2021-03-19 北京三快在线科技有限公司 搜索内容排序方法、装置、存储介质和电子设备
CN114034882B (zh) * 2021-10-28 2023-09-26 广州大学 一种洋流智能检测方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015124024A1 (zh) * 2014-02-24 2015-08-27 北京奇虎科技有限公司 一种提升信息的曝光率的方法和装置、确定搜索词的价值的方法和装置
CN106462626A (zh) * 2014-06-13 2017-02-22 微软技术许可有限责任公司 利用深度神经网络对兴趣度建模
CN106779272A (zh) * 2015-11-24 2017-05-31 阿里巴巴集团控股有限公司 一种风险预测方法和设备
CN107679082A (zh) * 2017-08-31 2018-02-09 阿里巴巴集团控股有限公司 问答搜索方法、装置以及电子设备
CN107832432A (zh) * 2017-11-15 2018-03-23 北京百度网讯科技有限公司 一种搜索结果排序方法、装置、服务器和存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7827170B1 (en) * 2007-03-13 2010-11-02 Google Inc. Systems and methods for demoting personalized search results based on personal information
CN106021364B (zh) * 2016-05-10 2017-12-12 百度在线网络技术（北京）有限公司 图片搜索相关性预测模型的建立、图片搜索方法和装置
US20190197549A1 (en) * 2017-12-21 2019-06-27 Paypal, Inc. Robust features generation architecture for fraud modeling
WO2020047861A1 (zh) * 2018-09-07 2020-03-12 北京字节跳动网络技术有限公司 用于生成排序模型的方法和装置
CN110162593B (zh) * 2018-11-29 2023-03-21 腾讯科技（深圳）有限公司 一种搜索结果处理、相似度模型训练方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015124024A1 (zh) * 2014-02-24 2015-08-27 北京奇虎科技有限公司 一种提升信息的曝光率的方法和装置、确定搜索词的价值的方法和装置
CN106462626A (zh) * 2014-06-13 2017-02-22 微软技术许可有限责任公司 利用深度神经网络对兴趣度建模
CN106779272A (zh) * 2015-11-24 2017-05-31 阿里巴巴集团控股有限公司 一种风险预测方法和设备
CN107679082A (zh) * 2017-08-31 2018-02-09 阿里巴巴集团控股有限公司 问答搜索方法、装置以及电子设备
CN107832432A (zh) * 2017-11-15 2018-03-23 北京百度网讯科技有限公司 一种搜索结果排序方法、装置、服务器和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱婷.基于 Hash的Top-N推荐方法.浙江师范大学学报（自然科学版）.2018,第第41卷卷(第第1期期),第56-63页. *

Also Published As

Publication number Publication date
CN111428125A (zh) 2020-07-17
KR20210090706A (ko) 2021-07-20
US20210374149A1 (en) 2021-12-02

Similar Documents

Publication Publication Date Title
EP4080889A1 (en) Anchor information pushing method and apparatus, computer device, and storage medium
JP6964689B2 (ja) サンプル重み設定方法及び装置、電子装置
CN108510402A (zh) 险种信息推荐方法、装置、计算机设备及存储介质
CN109408731A (zh) 一种多目标推荐方法、多目标推荐模型生成方法以及装置
CN111061946A (zh) 场景化内容推荐方法、装置、电子设备及存储介质
CN110909145B (zh) 针对多任务模型的训练方法及装置
CN110096617B (zh) 视频分类方法、装置、电子设备及计算机可读存储介质
JP2014515514A (ja) 提案される語を提供するための方法および装置
CN107577736B (zh) 一种基于bp神经网络的文件推荐方法及系统
CN110597878A (zh) 一种多模态数据的跨模态检索方法、装置、设备及介质
WO2017197330A1 (en) Two-stage training of a spoken dialogue system
CN111428125B (zh) 排序方法、装置、电子设备及可读存储介质
CN110532469B (zh) 一种信息推荐方法、装置、设备及存储介质
CN111639247A (zh) 用于评估评论的质量的方法、装置、设备以及计算机可读存储介质
CN113962965A (zh) 图像质量评价方法、装置、设备以及存储介质
CN111737473B (zh) 文本分类方法、装置及设备
CN112395496A (zh) 一种信息推荐方法、装置、电子设备及存储介质
CN109902588A (zh) 一种手势识别方法、装置及计算机可读存储介质
CN112182281B (zh) 一种音频推荐方法、装置及存储介质
CN107679887A (zh) 一种商户评分的处理方法和装置
CN110634006B (zh) 广告点击率的预测方法、装置、设备及可读存储介质
CN110825859A (zh) 检索方法、装置、可读存储介质和电子设备
EP4379574A1 (en) Recommendation method and apparatus, training method and apparatus, device, and recommendation system
CN109711555A (zh) 一种预测深度学习模型单轮迭代时间的方法和系统
CN111506753B (zh) 推荐方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant