CN112507196A - 融合排序模型的训练方法、搜索排序方法、装置和设备 - Google Patents

融合排序模型的训练方法、搜索排序方法、装置和设备 Download PDF

Info

Publication number
CN112507196A
CN112507196A CN202011506705.2A CN202011506705A CN112507196A CN 112507196 A CN112507196 A CN 112507196A CN 202011506705 A CN202011506705 A CN 202011506705A CN 112507196 A CN112507196 A CN 112507196A
Authority
CN
China
Prior art keywords
fusion
model
targets
search
ranking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011506705.2A
Other languages
English (en)
Inventor
张亮
曾祥健
金慈航
付田楠
殷瑞娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202011506705.2A priority Critical patent/CN112507196A/zh
Publication of CN112507196A publication Critical patent/CN112507196A/zh
Priority to JP2021121052A priority patent/JP7321216B2/ja
Priority to EP21188868.0A priority patent/EP4016432A1/en
Priority to US17/397,189 priority patent/US11782999B2/en
Priority to KR1020210154732A priority patent/KR20210144622A/ko
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3322—Query formulation using system suggestions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/957—Browsing optimisation, e.g. caching or content distillation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/06—Arrangements for sorting, selecting, merging, or comparing data on individual record carriers
    • G06F7/08—Sorting, i.e. grouping record carriers in numerical or other ordered sequence according to the classification of at least some of the information they carry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0254—Targeted advertisements based on statistics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0282—Rating or review of business operators or products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations

Abstract

本申请公开了融合排序模型的训练方法、搜索排序方法、装置和设备，涉及深度学习等人工智能技术领域。具体实现方案为：搜索排序方法包括：将候选搜索结果包括的多个目标的预估分数输入融合排序模型，得到融合排序结果；收集该融合排序结果包括的多个目标的反馈信息；利用该反馈信息和组合函数，对该融合排序模型进行更新，该组合函数为利用该多个目标构建的函数。本申请实施例的方案有利于平衡多个目标的需求，得到的更新的融合排序模型能够提供更优的搜索排序结果。

Description

融合排序模型的训练方法、搜索排序方法、装置和设备
技术领域
本申请涉及计算机技术领域，尤其涉及深度学习等人工智能技术领域。
背景技术
在搜索引擎中，用户通过输入完成或借助搜索建议的提示词条，对网页库进行检索，获取和搜索词匹配的结果，排序后返回给用户。除了搜索词所明确表达的信息需求之外，用户往往同时有一些相关的信息需求。因此在很多流行的搜索引擎产品中，具有一定的推荐功能，以满足用户这些相关的信息需求。通过搜索建议、搜索推荐，可以引导并激发用户在搜索引擎需求，提升搜索效率。但传统的搜索引擎排序策略，尤其是在搜索建议和推荐中，主要采用在正常结果中插入高价值内容方式提升搜索引擎的变现能力，这样既影响了用户需求和使用效率，也没有达到较高的价值转化，难以平衡多种需求。
发明内容
本申请提供了一种融合排序模型的训练方法、搜索排序方法、装置和设备。
根据本申请的一方面，提供了一种融合排序模型的训练方法，包括：
将候选搜索结果包括的多个目标的预估分数输入初始的融合排序模型，得到融合排序结果；
收集所述融合排序结果包括的多个目标的反馈信息；
利用所述反馈信息和组合函数，对所述初始的融合排序模型进行更新，得到更新的融合排序模型，所述组合函数为利用所述多个目标构建的函数。
根据本申请的另一方面，提供了一种搜索排序方法，包括：
将候选搜索结果包括的多个目标的预估分数输入更新的融合排序模型，得到更新的融合排序结果；
其中，所述更新的融合排序模型是采用本申请实施例的任意一种的融合排序模型的训练方法训练得到的。
根据本申请的另一方面，提供了一种融合排序模型的训练装置，包括：
融合排序模块，用于将候选搜索结果包括的多个目标的预估分数输入初始的融合排序模型，得到融合排序结果；
反馈收集模块，用于收集所述融合排序结果包括的多个目标的反馈信息；
更新模块，用于利用所述反馈信息和组合函数，对所述初始的融合排序模型进行更新，得到更新的融合排序模型，所述组合函数为利用所述多个目标构建的函数。
根据本申请的另一方面，提供了一种搜索排序装置，包括：
融合排序模块，用于将候选搜索结果包括的多个目标的预估分数输入更新的融合排序模型，得到更新的融合排序结果；
其中，所述更新的融合排序模型是采用本申请实施例的任意一种的融合排序模型的训练方法训练得到的。
根据本申请的另一方面，提供了一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现本申请任一实施例中的方法。
根据本申请的技术有利于平衡多个目标的需求，得到的更新的融合排序模型能够提供更优的搜索排序结果。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请一实施例的融合排序模型的训练方法的流程示意图；
图2是根据本申请一实施例的搜索排序方法的流程示意图；
图3是根据本申请另一实施例的搜索排序方法的流程示意图；
图4是本申请实施例的搜索排序框架的一种示例的示意图；
图5是根据本申请一实施例的融合排序模型的训练装置的框图；
图6是根据本申请一实施例的搜索排序装置的框图；
图7是根据本申请另一实施例的搜索排序装置的框图；
图8是用来实施本申请的实施例的示例电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本申请一实施例的融合排序模型的训练方法的流程示意图。该方法可以包括：
S11、将候选搜索结果包括的多个目标的预估分数输入初始的融合排序模型，得到融合排序结果。
S12、收集该融合排序结果包括的多个目标的反馈信息。
S13、利用该反馈信息和组合函数，对该初始的融合排序模型进行更新，得到更新的融合排序模型，该组合函数为利用该多个目标构建的函数。
示例性地，候选搜索结果可以有多个。可以基于某个关键词得到的多个候选搜索结果。这些候选搜索结果可以包括多个目标的预估分数。
例如，如果基于某个关键词搜索到3个网页链接，并且能够获取每个网页链接包括的多个目标的预估分数。多个目标分别为CTR和CPM。网页A的CTR的预估分数为A1，CPM的预估分数为A2。网页B的CTR的预估分数为B1，CPM的预估分数为B2。网页C的CTR的预估分数为C1，CPM的预估分数为C2。
将每个候选搜索结果包括的多个目标的预估分数输入初始的融合排序模型后，可以通过初始的融合排序模型对各个候选搜索结果进行二次排序，得到初始的融合排序结果。例如，如果原始排序是网页A、网页B和网页C。通过融合排序模型融合排序后的得到网页A分数小于网页B的分数，调整排序后的融合排序结果为网页B、网页A和网页C。
基于融合排序结果，若干用户可以对融合排序结果中包括的各个搜索结果进行点击等反馈操作。可以分别收集每个搜索结果包括的多个目标对应的统计数据，即反馈信息。例如，网页B实际的CTR和CPM，网页A实际的CTR和CPM，网页C实际的CTR和CPM。
基于收集的反馈信息以及预先设置的组合函数，可以对融合排序模型的参数进行自适应更新。组合函数可以是基于多个目标构建的。例如，基于CTR和CPM可以构建组合函数。基于该组合函数可以计算这多个目标的评估分数。在此基础上，利用模型参数更新的算法例如进化算法等进行迭代，更新融合排序模型的参数，最终使融合排序模型接近多目标最优。利用更新后的融合排序模型，可以得到更加符合多目标需求的搜索结果的排序。基于搜索结果的排序可以在搜索引擎中展现更加符合多目标需求的搜索建议、搜索推荐等。例如，可以在搜索引擎中展现点击率更多且成本更低的搜索建议、搜索推荐等。
本申请实施例的方案有利于平衡多个目标的需求，得到的更新的融合排序模型能够提供更优的搜索排序结果。
本申请另一实施例提供一种融合排序模型的训练方法，该实施例的融合排序模型的训练方法可以包括图1所示的实施例的各步骤。在本实施例中，候选搜索结果包括的多个目标的预估分数可以是利用多个目标的预估模型得到的。
示例性地，每一个目标可以具有对应的预估模型。例如，CTR具有对应的CTR预估模型，点击量具有对应的点击量预估模型，CPM具有对应的CPM预估模型，收入总量具有对应的收入总量预估模型。
示例性地，可以将每个候选搜索结果的召回数据和/或特征数据分别输入多个目标的预估模型，得到每个候选搜索结果包括的多个目标的预估分数。利用多个目标的预估模型，可以方便地获取符合每个目标特征的预估分数。然后再执行S11、S12和S13。
此外，利用反馈信息和组合函数，对初始的融合排序模型进行更新的过程可以是迭代更新的过程。可以将每次更新的融合排序模型作为下一次的初始的融合排序模型，继续利用反馈信息和组合函数进行更新，实现融合排序模型的动态更新。
为了获取针对融合排序结果的反馈信息，在搜索引擎中可以采用搜索推荐、搜索建议等形式展现融合排序结果。用户可能对展现的展现融合排序结果中的某些搜索结果有兴趣而进行了点击等操作。可以收集每个搜索结果包括的每个目标对应的实际的统计数据作为反馈信息。例如，分别收集展现的每个推荐项的点击率、点击量、收入总量、CPM等。通过搜索引擎能够直观的展现包括该融合排序结果的搜索建议和/或搜索推荐，也有利于获取用户针对融合排序结果的反馈信息。
在一种实施方式中，该多个目标包括与流量相关的第一类目标以及与收入相关的第二类目标。第一类目标与流量相关，第二类目标与收入相关，有利于平衡用户需求和结果价值，提供符合用户需求的搜索排序结果并提升收入。
在一种实施方式中，该第一类目标包括：点击量、点击率中的至少之一；
该第二类目标包括：千人展现成本CPM、收入总量中的至少之一。
例如，点击量可以为候选搜索结果、展现的搜索推荐中的推荐项或搜索建议中的建议项等被点击的次数。
例如，点击率还可以称为CTR(Click-Through-Rate，点击通过率)。在一种应用场景中，点击率可以为网络广告的点击到达率，即该广告的实际点击次数。在本申请实施例中，点击率可以为候选搜索结果、搜索推荐中的推荐项或搜索建议中的建议项等被点击的次数与展现次数的比值。
例如，CPM(Cost Per Mille，千人展现成本)是可以衡量广告效果的一种基本形式。CPM可以为广告每展现给一千个人所需花费的成本。在本申请实施例中，点击率可以为候选搜索结果、搜索推荐中的推荐项或搜索建议中的建议项等展现给一千个人所需花费的成本。
例如，收入总量可以为候选搜索结果、搜索推荐中的推荐项或搜索建议中的建议项等的收入总量。
点击量、点击率与流量相关，CPM、收入总量与收入相关，有利于平衡用户需求和结果价值，提供符合用户需求的搜索排序结果并提升收入。
在一种实施方式中，该融合排序模型包括以下模型的至少之一：
示例一：线性模型，用于对第一类目标与第二类目标的预估分数进行线性相加，计算融合排序分数。
例如，将CTR的预估分数与CPM的预估分数进行线性相加，计算融合排序分数。
再如，将点击量的预估分数与收入总量的预估分数进行线性相加，计算融合排序分数。
再如，将CTR的预估分数、点击量的预估分数与收入总量的预估分数进行线性相加，计算融合排序分数。
再如，将CTR的预估分数、点击量的预估分数、CPM的预估分数与收入总量的预估分数进行线性相加，计算融合排序分数。
示例二：深层模型，用于对第一类目标和第一类目标的预估分数进行离散化或扩展，并通过多层神经网络计算融合排序分数。
例如，将CTR的预估分数与CPM的预估分数进行离散化或扩展，并通过多层神经网络计算融合排序分数。
再如，将点击量的预估分数与收入总量的预估分数数进行离散化或扩展，并通过多层神经网络计算融合排序分数。
再如，将CTR的预估分数、点击量的预估分数与收入总量的预估分数进行离散化或扩展，并通过多层神经网络计算融合排序分数。
再如，将CTR的预估分数、点击量的预估分数、CPM的预估分数与收入总量的预估分数进行离散化或扩展，并通过多层神经网络计算融合排序分数。
示例三：拟合模型，用于通过指数和/或对数的形式，将第一类目标与第二类目标的预估分数组合计算融合排序分数。该拟合函数可以不限定特定结构，具体根据实际的应用场景进行调整。
例如，通过指数的形式，将CTR的预估分数与CPM的预估分数组合计算融合排序分数。
再如，通过对数的形式，将点击量的预估分数与收入总量的预估分数组合计算融合排序分数。
再如，通过指数和对数的形式，将CTR的预估分数、CPM的预估分数、点击量的预估分数与收入总量的预估分数组合计算融合排序分数。
利用与流量相关的第一类目标以及与收入相关的第二类目标构建融合排序模型，有利于使得融合排序模型所得到的搜索排序结果能够满足用户需求并提高收入。
在一种实施方式中，该组合函数包括以下至少之一：
示例一：流量与收入对换比函数，该流量与收入对换比函数是基于流量损失比例与收入提升比例构建的。
以下为几种流量与收入对换比函数的示例。
例如：评价得分＝点击量损失比例/CPM提升比例。
再如：评价得分＝点击量损失比例/收入总量提升比例。
再如：评价得分＝CTR损失比例/CPM提升比例。
再如：评价得分＝CTR损失比例/收入总量提升比例。
示例二：指数融合函数，该指数融合函数是基于流量损失比例与收入提升比例构建的。
以下为几种指数融合函数的示例。
例如：评价得分＝exp(点击量损失比例)–exp(CPM提升比例)
再如：评价得分＝exp(点击量损失比例)-exp(收入总量提升比例)。
再如：评价得分＝exp(CTR损失比例)-exp(CPM提升比例)。
再如：评价得分＝exp(CTR损失比例)-exp(收入总量提升比例)。
示例三：单侧抑制融合函数，该单侧抑制融合是基于流量增益与收入增益构建的。
例如，可以基于收集的反馈信息得到基线数据和试验数据。利用基线数据和试验数据构建于流量增益与收入增益，再利用于流量增益与收入增益构建单侧抑制融合函数。
利用与流量相关的第一类目标以及与收入相关的第二类目标构建组合函数，利用组合函数评价并更新融合排序模型，有利于使得更新后的融合排序模型趋近于平衡流量与收入的全局最优，所得到的搜索排序结果能够满足用户需求并提高收入。
图2是根据本申请一实施例的搜索排序方法的流程图。该方法可以包括：
S21、将候选搜索结果包括的多个目标的预估分数输入更新的融合排序模型，得到更新的融合排序结果。
其中，所述更新的融合排序模型可以是采用上述任一实施例中的融合排序模型的训练方法训练得到的。
示例性地，可以基于某个关键词得到的多个候选搜索结果。这些候选搜索结果可以包括多个目标的预估分数。具体示例可以参见融合排序模型的训练方法实施例中的相关描述，在此不赘述。在融合排序模型的训练过程中使用的候选搜索结果，与搜索排序过程中使用的候选搜索结果，可以相同，也可以不同。不同场景使用的候选搜索结果也可以不同。例如，使用不同的关键词得到的候选搜索结果可以不同。
将每个候选搜索结果包括的多个目标的预估分数输入更新的融合排序模型后，可以通过更新的融合排序模型对各个候选搜索结果进行二次排序，得到更新的融合排序结果。
在本实施例中，更新的融合排序模型能够实现多目标的平衡，所得到的搜索排序结果更优。例如，基于流量和收入的目标进行训练得到的更新后的融合排序模型趋近于平衡流量与收入的全局最优，所得到的搜索排序结果能够满足用户需求并提高收入。
图3是根据本申请另一实施例的搜索排序方法的流程图。该实施例的搜索排序方法可以包括上述搜索排序方法的实施例的各步骤。在本实施例中，该方法还可以包括：
S31、利用多个目标的预估模型，获取候选搜索结果包括的多个目标的预估分数。
示例性地，每一个目标可以具有对应的预估模型。例如，CTR具有对应的CTR预估模型，点击量具有对应的点击量预估模型，CPM具有对应的CPM预估模型，收入总量具有对应的收入总量预估模型。
示例性地，可以将每个候选搜索结果的召回数据和/或特征数据分别输入多个目标的预估模型，得到每个候选搜索结果包括的多个目标的预估分数。利用多个目标的预估模型，可以方便地获取符合每个目标特征的预估分数。然后再执行S21，将每个候选搜索结果包括的多个目标的预估分数输入更新的融合排序模型，得到更新的融合排序结果。
在一种实施方式中，该方法还包括：
S32、在搜索引擎中展现包括该融合排序结果的搜索建议和/或搜索推荐。
示例性地，在搜索引擎中可以采用搜索推荐、搜索建议等形式展现融合排序结果。用户可能对展现的展现融合排序结果中的某些搜索结果有兴趣而进行了点击等操作。可以收集每个搜索结果包括的每个目标对应的实际的统计数据作为反馈信息。例如，分别收集展现的每个推荐项的点击率、点击量、收入总量、CPM等。通过搜索引擎能够直观的展现包括该融合排序结果的搜索建议和/或搜索推荐，也有利于获取用户针对融合排序结果的反馈信息。搜索排序过程中得到的针对融合排序结果的反馈信息，也可以用于训练过程，继续对融合排序模型进行训练，实现融合排序模型的动态更新。
本申请实施例的搜索排序方法是一种新型的搜索引擎中的搜索建议和推荐排序算法，以在平衡用户相关需求和变现能力，在提供更优质的产品体验同时进一步提升变现效率。
如图4所示，为本申请实施例的搜索排序框架的一种示例，整体流程可以包括：底层模块将需要融合的多个目标分别计算给出得分，目标包括但不限于CTR、CPM或质量得分等预估值。融合排序模块将多目标各自得分进行融合计算最终排序分数。在融合过程中，可以使用预先计算的模型初始参数计算最终得分。通过收集各自目标实际统计值获得参数各自线上实际效果。然后，自适应调参模块基于各自目标实际效果更新迭代参数。通过持续的参数迭代使排序结果趋近多目标下全局最优解。
示例性地，以上流程可以通过下述几个模块实现，具体说明如下：
1、多目标得分计算模块：
多目标得分计算模块可以在业务场景下，依据各自目标需求获取召回和特征数据。其中，召回数据的内容可以包括搜索建议的前缀-查询(query)组合、搜索推荐结果等。例如前缀“刘”根据用户行为或查询(query)生成前缀等方法召回“刘某某”。召回数据的内容也可以包括搜索查询(query)后召回相关推荐。例如，搜索“刘某某”后召回推荐项“张某某”等。特征数据可以包括搜索建议点击量、推荐点击量、查询(query)搜索共现数量、文本嵌入(embedding)等特征。其中，搜索共现的示例可以包括，搜索查询词A之后搜索查询词B，A和B可以构成一次共现。
通过模型、规则等方法获得多个目标各自的得分。以点击和收入两个目标为例，在多个目标各自取得所有召回数据和特征数据后，点击目标方面，根据点击通过率(CTR)预估模型，如深度神经网络(Deep Neural Networks,DNN)、极端梯度提升(eXtreme GradientBoosting，XGBoost)等模型，计算每个候选点击率；收入目标方面，通过统计历史CPM或根据用户特征、行为统计等特征预估查询(query)各自CPM。各自得分计算完成后，可以由下游的融合排序模块进行排序。
2、融合排序模块
融合排序模块的主要作用是对多目标结果融合，对搜索结果进行二次排序，使最终排序结果实现在多目标上最优。融合排序模块中可以使用每个目标的底层模型计算的得分，通过融合排序模型得到最终排序得分，并以此作为最终排序结果进行展现。示例性地，融合排序模型可以包括线性模型、深层模型或不限定特定结构的拟合模型等。例如，线性模型可以用于对点击率得分与收入得分进行线性相加。再如，深层模型可以用于对点击率和收入得分进行离散化或扩展，通过多层神经网络计算得分。再如，不限定特定结构的拟合模型可以利用指数、对数等形式将多个目标组合计算得分。
3、多目标反馈收集模块
经过融合排序后，结果在搜索引擎中以推荐、搜索建议等产品形式展现。然后，用户可能对某些展现的搜索结果有兴趣而进行了点击等操作。通过该多目标反馈收集模块，可以收集每个目标对应的实际的统计数据。例如，收集每个目标对应的核心指标，如推荐项点击率、收入总量、CPM等指标。
4、自适应参数更新模块
参数更新模块中，可以通过事先设计好的最优组合方案，将多个目标的统计量进行组合，计算出唯一评价得分。例如，计算方式可以包括不限于以下至少之一。
(1)流量与收入对换比。该方式可以基于与流量相关的目标的损失比例以及与收入相关的目标的提升比例，构建评价函数。
例如：评价得分＝点击量损失比例/CPM提升比例。
再如：评价得分＝点击量损失比例/收入总量提升比例。
再如：评价得分＝CTR损失比例/CPM提升比例。
再如：评价得分＝CTR损失比例/收入总量提升比例
(2)指数融合。该方式可以基于与流量相关的目标的损失比例以及与收入相关的目标的提升比例，构建评价函数。
例如：评价得分＝exp(点击量损失比例)-exp(CPM提升比例)
再如：评价得分＝exp(点击量损失比例)-exp(收入总量提升比例)。
再如：评价得分＝exp(CTR损失比例)-exp(CPM提升比例)。
再如：评价得分＝exp(CTR损失比例)-exp(收入总量提升比例)。
其中，exp()可以表示以自然常数e为底的指数函数。
(3)单侧抑制融合。该方式可以基于与流量相关的目标的实验数据例以及与收入相关的目标的基线数据，构建评价函数。
例如：
Figure BDA0002845136430000111
Figure BDA0002845136430000112
Figure BDA0002845136430000113
其中，rewardcharge可以表示收入增益，ΔCTR可以表示点击增益。CPMexpr可以表示CPM的试验数据，CPMbase可以表示CPM的基线数据。其中参数a和参数n可以为人工设置经验值，用来调整多目标统计值(收入增益、点击增益)转换为最终单一维度reward(评价指标)的取值情况。参数a的取值可以调整，例如a的初始值可以等于100。参数n的取值也可以调整。CTRbase可以表示CTR的基线数据，CTRexpr可以表示CTR的试验数据。exp()可以表示以自然常数e为底的指数函数。
在参数更新模块中的得分计算方法可以不同于融合排序的计算方法，而是直接以经验组合等设定的评价函数进行计算，并以此得分作为对最终排序在多目标上的评估得分。在此基础上，通过进化算法，如ES(Evolution Strategy，进化策略)、CMA-ES(Covariance Matrix Adaptation Evolution Strategy,协方差矩阵自适应进化策略)等进行迭代，更新融合排序模型的参数，最终使融合排序模型接近多目标最优。在此场景中实现收入和推荐点击的全局最大化。
本申请实施例的搜索排序方法，可以实现一种搜索引擎中的搜索建议和搜索推荐的排序方法，能够在平衡用户相关需求和变现能力，可以在搜索引擎中为用户提供更优质的产品体验并提升变现效率，在符合用户需求的结果中引导并放大其中价值高的推荐结果。相比于目前主流的搜索引擎，在保证整体用户体验、满足用户需求的同时有效提升了收入。
图5是根据本申请一实施例的融合排序模型的训练装置的框图。该装置可以包括：
融合排序模块51，用于将候选搜索结果包括的多个目标的预估分数输入初始的融合排序模型，得到融合排序结果；
反馈收集模块52，用于收集该融合排序结果包括的多个目标的反馈信息；
更新模块53，用于利用该反馈信息和组合函数，对该初始的融合排序模型进行更新，得到更新的融合排序模型，该组合函数为利用该多个目标构建的函数。
本申请另一实施例提供一种融合排序模型的训练装置，该实施例的融合排序模型的训练装置可以包括图5所示的实施例的各模块。在一种实施方式中，候选搜索结果包括的多个目标的预估分数是利用多个目标的预估模型得到的。
在一种实施方式中，该多个目标包括与流量相关的第一类目标以及与收入相关的第二类目标。
在一种实施方式中，该第一类目标包括：点击量、点击率中的至少之一；
该第二类目标包括：千人展现成本CPM、收入总量中的至少之一。
在一种实施方式中，该融合排序模型包括以下模型的至少之一：
线性模型，用于对第一类目标与第二类目标的预估分数进行线性相加，计算融合排序分数；
深层模型，用于对第一类目标和第一类目标的预估分数进行离散化或扩展，并通过多层神经网络计算融合排序分数；
拟合模型，用于通过指数和/或对数的形式，将第一类目标与第二类目标的预估分数组合计算融合排序分数。
在一种实施方式中，该组合函数包括以下至少之一：
流量与收入对换比函数，该流量与收入对换比函数是基于流量损失比例与收入提升比例构建的；
指数融合函数，该指数融合函数是基于流量损失比例与收入提升比例构建的；
单侧抑制融合函数，该单侧抑制融合是基于流量增益与收入增益构建的。
本申请实施例各融合排序模型的训练装置中的各单元或模块的功能可以参见上述融合排序模型的训练方法中的对应描述，在此不再赘述。
图6是根据本申请另一实施例的搜索排序装置的框图。该装置可以包括：
融合排序模块61，用于将候选搜索结果包括的多个目标的预估分数输入更新的融合排序模型，得到更新的融合排序结果；
其中，所述更新的融合排序模型是采用本申请实施例的任意一种的融合排序模型的训练方法训练得到的。
图7是根据本申请另一实施例的搜索排序装置的框图。该实施例的搜索排序装置可以包括上述装置实施例的各组件。在本实施例中，在一种可能的实现方式中，该装置还包括：
预估模块71，用于利用多个目标的预估模型，获取候选搜索结果包括的多个目标的预估分数。
在一种实施方式中，该装置还包括：
展现模块72，用于在搜索引擎中展现包括该融合排序结果的搜索建议和/或搜索推荐。
本申请实施例各搜索排序装置中的各单元或模块的功能可以参见上述搜索排序方法中的对应描述，在此不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图8示出了可以用来实施本申请的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或要求的本申请的实现。
如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元80执行上文所描述的各个方法和处理，例如融合排序模型的训练方法或搜索排序方法。例如，在一些实施例中，融合排序模型的训练方法或搜索排序方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的融合排序模型的训练方法或搜索排序方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行融合排序模型的训练方法或搜索排序方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (21)

1.一种融合排序模型的训练方法，包括：
将候选搜索结果包括的多个目标的预估分数输入初始的融合排序模型，得到融合排序结果；
收集所述融合排序结果包括的多个目标的反馈信息；
利用所述反馈信息和组合函数，对所述初始的融合排序模型进行更新，得到更新的融合排序模型，所述组合函数为利用所述多个目标构建的函数。
2.根据权利要求1所述的方法，其中，所述候选搜索结果包括的多个目标的预估分数是利用多个目标的预估模型得到的。
3.根据权利要求1所述的方法，其中，所述多个目标包括与流量相关的第一类目标以及与收入相关的第二类目标。
4.根据权利要求3所述的方法，其中，所述第一类目标包括：点击量、点击率中的至少之一；
所述第二类目标包括：千人展现成本CPM、收入总量中的至少之一。
5.根据权利要求1至4中任一项所述的方法，其中，所述融合排序模型包括以下模型的至少之一：
线性模型，用于对第一类目标与第二类目标的预估分数进行线性相加，计算融合排序分数；
深层模型，用于对第一类目标和第一类目标的预估分数进行离散化或扩展，并通过多层神经网络计算融合排序分数；
拟合模型，用于通过指数和/或对数的形式，将第一类目标与第二类目标的预估分数组合计算融合排序分数。
6.根据权利要求1至4中任一项所述的方法，其中，所述组合函数包括以下至少之一：
流量与收入对换比函数，所述流量与收入对换比函数是基于流量损失比例与收入提升比例构建的；
指数融合函数，所述指数融合函数是基于流量损失比例与收入提升比例构建的；
单侧抑制融合函数，所述单侧抑制融合是基于流量增益与收入增益构建的。
7.一种搜索排序方法，包括：
将候选搜索结果包括的多个目标的预估分数输入更新的融合排序模型，得到更新的融合排序结果；
其中，所述更新的融合排序模型是采用权利要求1至6中任一项所述的方法训练得到的。
8.根据权利要求7所述的方法，其中，所述方法还包括：利用多个目标的预估模型，获取所述候选搜索结果包括的多个目标的预估分数。
9.根据权利要求7或8所述的方法，其中，所述方法还包括：
在搜索引擎中展现包括所述融合排序结果的搜索建议和/或搜索推荐。
10.一种融合排序模型的训练装置，包括：
融合排序模块，用于将候选搜索结果包括的多个目标的预估分数输入初始的融合排序模型，得到融合排序结果；
反馈收集模块，用于收集所述融合排序结果包括的多个目标的反馈信息；
更新模块，用于利用所述反馈信息和组合函数，对所述初始的融合排序模型进行更新，得到更新的融合排序模型，所述组合函数为利用所述多个目标构建的函数。
11.根据权利要求10所述的装置，其中，所述候选搜索结果包括的多个目标的预估分数是利用多个目标的预估模型得到的。
12.根据权利要求10所述的装置，其中，所述多个目标包括与流量相关的第一类目标以及与收入相关的第二类目标。
13.根据权利要求12所述的装置，其中，所述第一类目标包括：点击量、点击率中的至少之一；
所述第二类目标包括：千人展现成本CPM、收入总量中的至少之一。
14.根据权利要求10至13中任一项所述的装置，其中，所述融合排序模型包括以下模型的至少之一：
线性模型，用于对第一类目标与第二类目标的预估分数进行线性相加，计算融合排序分数；
深层模型，用于对第一类目标和第一类目标的预估分数进行离散化或扩展，并通过多层神经网络计算融合排序分数；
拟合模型，用于通过指数和/或对数的形式，将第一类目标与第二类目标的预估分数组合计算融合排序分数。
15.根据权利要求10至13中任一项所述的装置，其中，所述组合函数包括以下至少之一：
流量与收入对换比函数，所述流量与收入对换比函数是基于流量损失比例与收入提升比例构建的；
指数融合函数，所述指数融合函数是基于流量损失比例与收入提升比例构建的；
单侧抑制融合函数，所述单侧抑制融合是基于流量增益与收入增益构建的。
16.一种搜索排序装置，包括：
融合排序模块，用于将候选搜索结果包括的多个目标的预估分数输入更新的融合排序模型，得到更新的融合排序结果；
其中，所述更新的融合排序模型是采用权利要求1至6中任一项所述的方法训练得到的。
17.根据权利要求16所述的装置，其中，所述装置还包括：预估模块，用于利用多个目标的预估模型，获取候选搜索结果包括的多个目标的预估分数。
18.根据权利要求16或17所述的装置，其中，所述装置还包括：
展现模块，用于在搜索引擎中展现包括所述融合排序结果的搜索建议和/或搜索推荐。
19.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使计算机执行权利要求1-9中任一项所述的方法。
21.一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现权利要求1-9中任一项所述的方法。
CN202011506705.2A 2020-12-18 2020-12-18 融合排序模型的训练方法、搜索排序方法、装置和设备 Pending CN112507196A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202011506705.2A CN112507196A (zh) 2020-12-18 2020-12-18 融合排序模型的训练方法、搜索排序方法、装置和设备
JP2021121052A JP7321216B2 (ja) 2020-12-18 2021-07-21 融合順序付けモデルの訓練方法と装置、検索の順序付け方法と装置、電子デバイス、記憶媒体、及びプログラム
EP21188868.0A EP4016432A1 (en) 2020-12-18 2021-07-30 Method and apparatus for training fusion ordering model, search ordering method and apparatus, electronic device, storage medium, and program product
US17/397,189 US11782999B2 (en) 2020-12-18 2021-08-09 Method for training fusion ordering model, search ordering method, electronic device and storage medium
KR1020210154732A KR20210144622A (ko) 2020-12-18 2021-11-11 융합 정렬 모델의 훈련방법, 검색 정렬 방법, 장치, 기기 및 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011506705.2A CN112507196A (zh) 2020-12-18 2020-12-18 融合排序模型的训练方法、搜索排序方法、装置和设备

Publications (1)

Publication Number Publication Date
CN112507196A true CN112507196A (zh) 2021-03-16

Family

ID=74921759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011506705.2A Pending CN112507196A (zh) 2020-12-18 2020-12-18 融合排序模型的训练方法、搜索排序方法、装置和设备

Country Status (5)

Country Link
US (1) US11782999B2 (zh)
EP (1) EP4016432A1 (zh)
JP (1) JP7321216B2 (zh)
KR (1) KR20210144622A (zh)
CN (1) CN112507196A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240487A (zh) * 2021-05-11 2021-08-10 北京沃东天骏信息技术有限公司 流量调控方法和装置
CN113434789A (zh) * 2021-06-29 2021-09-24 平安科技（深圳）有限公司 基于多维度文本特征的搜索排序方法及相关设备
CN114154046A (zh) * 2022-02-07 2022-03-08 深圳华强电子交易网络有限公司 一种网站搜索排名方法及系统
CN114417194A (zh) * 2021-12-30 2022-04-29 北京百度网讯科技有限公司 推荐系统排序方法、参数预测模型训练方法及装置
CN115034388A (zh) * 2022-07-07 2022-09-09 北京百度网讯科技有限公司 排序模型的量化参数的确定方法、装置及电子设备
CN116680481A (zh) * 2023-08-03 2023-09-01 腾讯科技（深圳）有限公司 搜索排序方法、装置、设备、存储介质及计算机程序产品

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116805384A (zh) * 2022-03-14 2023-09-26 华为技术有限公司 自动搜索方法、自动搜索的性能预测模型训练方法及装置
CN115695502B (zh) * 2022-12-15 2023-03-10 国网浙江省电力有限公司 适用于电力可靠通信的数据处理方法及装置
CN116304974B (zh) * 2023-02-17 2023-09-29 国网浙江省电力有限公司营销服务中心 多渠道数据融合方法及系统
CN117112640B (zh) * 2023-10-23 2024-02-27 腾讯科技（深圳）有限公司 一种内容排序方法以及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224959A (zh) * 2015-11-02 2016-01-06 北京奇艺世纪科技有限公司 排序模型的训练方法和装置
CN105701216A (zh) * 2016-01-13 2016-06-22 北京三快在线科技有限公司 一种信息推送方法及装置
CN109377445A (zh) * 2018-10-12 2019-02-22 北京旷视科技有限公司 模型训练方法、替换图像背景的方法、装置和电子系统
CN110569427A (zh) * 2019-08-07 2019-12-13 智者四海（北京）技术有限公司 一种多目标排序模型训练、用户行为预测方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7610306B2 (en) * 2003-06-30 2009-10-27 International Business Machines Corporation Multi-modal fusion in content-based retrieval
US20070043583A1 (en) * 2005-03-11 2007-02-22 The Arizona Board Of Regents On Behalf Of Arizona State University Reward driven online system utilizing user-generated tags as a bridge to suggested links
US7827060B2 (en) * 2005-12-30 2010-11-02 Google Inc. Using estimated ad qualities for ad filtering, ranking and promotion
US20070255755A1 (en) * 2006-05-01 2007-11-01 Yahoo! Inc. Video search engine using joint categorization of video clips and queries based on multiple modalities
US8073741B2 (en) * 2007-06-27 2011-12-06 Jemstep, Inc. Method, device, and system for analyzing and ranking web-accessible data targets
US20110125572A1 (en) * 2009-11-25 2011-05-26 Yahoo! Inc. Optimization of sponsored search systems with real-time user feedback
US20110270672A1 (en) * 2010-04-28 2011-11-03 Dustin Hillard Ad Relevance In Sponsored Search
US20120197711A1 (en) * 2011-01-31 2012-08-02 Yan Zhou Ranking Vendors by Combining Quantitative and Qualitative Characteristics of Third-Party Advertising
CN103092856B (zh) * 2011-10-31 2015-09-23 阿里巴巴集团控股有限公司 搜索结果排序方法及设备、搜索方法及设备
MY181464A (en) * 2015-02-02 2020-12-22 Beijing Didi Infinity Technology & Dev Co Ltd Methods and systems for order processing
US20190197192A1 (en) * 2017-12-22 2019-06-27 Microsoft Technology Licensing Llc Soliciting and using candidate feedback in a streaming environment
CN108090208A (zh) 2017-12-29 2018-05-29 广东欧珀移动通信有限公司 融合数据处理方法及装置
CN111309939B (zh) 2020-02-03 2023-02-28 天津智融创新科技发展有限公司 视频推荐排序方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224959A (zh) * 2015-11-02 2016-01-06 北京奇艺世纪科技有限公司 排序模型的训练方法和装置
CN105701216A (zh) * 2016-01-13 2016-06-22 北京三快在线科技有限公司 一种信息推送方法及装置
CN109377445A (zh) * 2018-10-12 2019-02-22 北京旷视科技有限公司 模型训练方法、替换图像背景的方法、装置和电子系统
CN110569427A (zh) * 2019-08-07 2019-12-13 智者四海（北京）技术有限公司 一种多目标排序模型训练、用户行为预测方法及装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240487A (zh) * 2021-05-11 2021-08-10 北京沃东天骏信息技术有限公司 流量调控方法和装置
CN113434789A (zh) * 2021-06-29 2021-09-24 平安科技（深圳）有限公司 基于多维度文本特征的搜索排序方法及相关设备
CN113434789B (zh) * 2021-06-29 2023-01-24 平安科技（深圳）有限公司 基于多维度文本特征的搜索排序方法及相关设备
CN114417194A (zh) * 2021-12-30 2022-04-29 北京百度网讯科技有限公司 推荐系统排序方法、参数预测模型训练方法及装置
CN114154046A (zh) * 2022-02-07 2022-03-08 深圳华强电子交易网络有限公司 一种网站搜索排名方法及系统
CN115034388A (zh) * 2022-07-07 2022-09-09 北京百度网讯科技有限公司 排序模型的量化参数的确定方法、装置及电子设备
CN116680481A (zh) * 2023-08-03 2023-09-01 腾讯科技（深圳）有限公司 搜索排序方法、装置、设备、存储介质及计算机程序产品
CN116680481B (zh) * 2023-08-03 2024-01-12 腾讯科技（深圳）有限公司 搜索排序方法、装置、设备、存储介质及计算机程序产品

Also Published As

Publication number Publication date
US20210365517A1 (en) 2021-11-25
JP7321216B2 (ja) 2023-08-04
US11782999B2 (en) 2023-10-10
EP4016432A1 (en) 2022-06-22
JP2021166109A (ja) 2021-10-14
KR20210144622A (ko) 2021-11-30

Similar Documents

Publication Publication Date Title
CN112507196A (zh) 融合排序模型的训练方法、搜索排序方法、装置和设备
US11397772B2 (en) Information search method, apparatus, and system
CN113590796B (zh) 排序模型的训练方法、装置和电子设备
CN112818230B (zh) 内容推荐方法、装置、电子设备和存储介质
CN106033583A (zh) 一种应用于电子商务的广告竞价排名方法和系统
CN112765452B (zh) 搜索推荐方法、装置及电子设备
CN107609192A (zh) 一种搜索引擎的补充搜索方法和装置
CN112650933A (zh) 一种基于高阶聚合的图卷积融合多头注意力机制的会话推荐方法
CN112215629A (zh) 基于构造对抗样本的多目标广告生成系统及其方法
CN109977292A (zh) 搜索方法、装置、计算设备和计算机可读存储介质
CN113987161A (zh) 一种文本排序方法及装置
CN112559877A (zh) 基于跨平台异构数据及行为上下文的ctr预估方法及系统
CN113033194A (zh) 语义表示图模型的训练方法、装置、设备和存储介质
CN111814050A (zh) 旅游场景强化学习模拟环境构建方法、系统、设备和介质
CN113536156A (zh) 搜索结果排序方法、模型构建方法、装置、设备和介质
CN116383340A (zh) 信息搜索方法、装置、电子设备和存储介质
CN108009727B (zh) 一种结合用户评论的事物评价方法
CN115827841A (zh) 搜索方法及装置
CN115618079A (zh) 会话推荐方法、装置、电子设备及存储介质
CN111881255B (zh) 同义文本获取方法、装置、电子设备及存储介质
CN110347923B (zh) 一种可回溯的快速裂变式构建用户画像的方法
CN113378015A (zh) 搜索方法、装置、电子设备、存储介质和程序产品
CN112989190A (zh) 一种商品挂载方法、装置、电子设备和存储介质
CN112528644A (zh) 实体挂载的方法、装置、设备以及存储介质
CN113641721B (zh) 一种机票展示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination