CN106339383B - 一种搜索排序方法及系统 - Google Patents
一种搜索排序方法及系统 Download PDFInfo
- Publication number
- CN106339383B CN106339383B CN201510395255.7A CN201510395255A CN106339383B CN 106339383 B CN106339383 B CN 106339383B CN 201510395255 A CN201510395255 A CN 201510395255A CN 106339383 B CN106339383 B CN 106339383B
- Authority
- CN
- China
- Prior art keywords
- thick
- row
- document
- point
- essence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000003068 static effect Effects 0.000 claims abstract description 89
- 230000006399 behavior Effects 0.000 claims abstract description 78
- 238000010801 machine learning Methods 0.000 claims abstract description 41
- 238000012549 training Methods 0.000 claims description 60
- 239000013598 vector Substances 0.000 claims description 42
- 238000012417 linear regression Methods 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 11
- 238000007476 Maximum Likelihood Methods 0.000 claims description 7
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 14
- 235000013399 edible fruits Nutrition 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 5
- 101100152729 Mus musculus Tenm4 gene Proteins 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 3
- 102100035353 Cyclin-dependent kinase 2-associated protein 1 Human genes 0.000 description 3
- 102100031554 Double C2-like domain-containing protein alpha Human genes 0.000 description 2
- 101000866272 Homo sapiens Double C2-like domain-containing protein alpha Proteins 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种搜索排序方法及系统，该方法包括：获取查询词，利用静态排序索引获取与该查询词匹配的文档，将获取的文档作为海选召回文档；采用机器学习方法拟合预先统计的所述海选召回文档的精排分得到粗排特征权重，利用该粗排特征权重计算所述海选召回文档的粗排分；根据粗排分选择排序靠前的M个文档，将选择的文档作为粗排序文档；计算所述粗排序文档在所述查询词下对应的用户行为发生概率，采用机器学习方法以所述用户行为发生概率为特征计算所述粗排序文档的精排分；根据精排分对所述粗排序文档进行排序。本申请能够提高搜索质量，改善用户的搜索体验。
Description
技术领域
本申请的实施方式涉及搜索引擎技术领域，尤其涉及一种搜索排序方法及系统。
背景技术
搜索引擎在互联网技术中发挥着主要作用，其用于根据用户的查询词，从海量信息中搜索返回满足用户需求的文档(Document，简称Doc)。搜索引擎通常会间隔一定时间基于静态排序分降序创建全量索引(静态排序索引)，当用户搜索查询词时，搜索引擎会通过海选召回、粗排序、精排序三个环节来搜索Doc。通常而言，搜索引擎针对每个Doc计算一个静态排序分，其主要是根据Doc的文本描述质量和历史表现计算静态排序分，再根据静态排序分按逆序关系创建索引，Doc索引量级约十几亿；海选召回以查询词为关键字key，检索出文本包含该查询词的Doc，海选召回的Doc约十万量级；粗排序用于完成海选召回Doc与用户查询词的相关性计算，并优先返回相关性高的Doc，粗排序返回的Doc约万量级；精排序综合考虑用户反馈、查询词与Doc的相关性、Doc质量、搜索平台自身策略等因素为用户返回Doc。
传统搜索引擎中，静态排序索引、海选召回、粗排序、精排序四个环节是相对独立的，每个环节都有各自独立的目标，目标不统一使得其在当前环节返回的Doc对全局而言并不是最优的。纵观整个搜索环节，海选召回和粗排序主要用于从海量索引中筛选出优质万量级的Doc，精排序用于对筛选出的Doc按照用户的反馈度进行排序，统计表明，基于海选召回和粗排序筛选出的Doc与基于精排序从索引中选出的Doc重合度约为50％，即海选召回和粗排序损失了近一半的优质Doc，严重影响用户体验。
发明内容
为了解决上述问题，本申请提供了一种搜索排序方法及系统，能够提高优质Doc的召回率，以提升用户体验。
一方面，本申请提供了一种搜索排序方法，该方法包括：
获取查询词，利用静态排序索引获取与该查询词匹配的文档，将获取的文档作为海选召回文档；所述静态排序索引是利用精排特征权重计算静态排序分，根据该静态排序分建立的索引；
采用机器学习方法拟合预先统计的所述海选召回文档的精排分得到粗排特征权重，利用该粗排特征权重计算所述海选召回文档的粗排分；
根据粗排分选择排序靠前的M个文档，将选择的文档作为粗排序文档；M为预设个数；
计算所述粗排序文档在所述查询词下对应的用户行为发生概率，采用机器学习方法以所述用户行为发生概率为特征计算所述粗排序文档的精排分；
根据精排分对所述粗排序文档进行排序。
可选的，计算所述粗排序文档在所述查询词下对应的用户行为发生概率，采用机器学习方法以所述用户行为发生概率为特征计算所述粗排序文档的精排分，包括：
利用点方式机器学习方法训练得到特征权重，利用该特征权重估算所述粗排序文档在所述查询词下对应的用户行为发生概率，所述用户行为发生概率包括：点击率、收藏率、询盘率以及购买率中的一种或其组合；
将所述用户行为发生概率作为特征，利用对方式机器学习方法训练得到精排特征权重，利用该精排特征权重和所述粗排序文档的特征向量计算得到所述粗排序文档的精排分。
可选的，利用点方式机器学习方法训练得到特征权重，利用该特征权重估算所述粗排序文档在所述查询词下对应的用户行为发生概率，包括：
利用线性回归模型采用最大似然算法求解得到特征权重；
利用该特征权重和从所述粗排序文档提取的特征向量计算得到对应的用户行为发生概率。
可选的，将所述用户行为发生概率作为特征，利用对方式机器学习方法训练得到精排特征权重，利用该精排特征权重和所述粗排序文档的特征向量计算得到所述粗排序文档的精排分，包括：
利用支持向量机模型，将用户行为发生概率作为特征训练得到精排特征权重；
利用该精排特征权重和从所述粗排序文档提取的特征向量计算得到所述粗排序文档的精排分。
可选的，采用机器学习方法拟合预先统计的所述海选召回文档的精排分得到粗排特征权重，利用该粗排特征权重计算所述海选召回文档的粗排分，包括：
利用点方式机器学习方法，将预先统计的所述海选召回文档的精排分作为训练目标训练得粗排特征权重；
利用该粗排特征权重和粗排特征向量计算所述海选召回文档的粗排分。
可选的，所述获取查询词，利用静态排序索引获取与该查询词匹配的文档，将获取的文档作为海选召回文档，包括：
获取查询词，计算该查询词对各个行业的隶属度，根据该隶属度和预设的海选召回文档总量计算各个行业的文档召回量；
按照各个行业的文档召回量，利用静态排序索引获取与查询词匹配的各个行业的文档，将获取的文档作为海选召回文档。
可选的，所述静态排序索引通过以下方式建立：
利用文档的文本特征权重向量和文本质量特征计算文本质量分，利用文档的用户行为发生概率计算平均值，利用该平均值和预先统计的精排特征权重计算综合反馈分，根据所述文本质量分和综合反馈分计算文档的静态排序分，按照静态排序分由大到小的顺序建立静态排序索引。
又一方面，本申请提供了一种搜索排序系统，该系统包括：
海选召回单元，用于获取查询词，利用静态排序索引获取与该查询词匹配的文档，将获取的文档作为海选召回文档；所述静态排序索引是利用精排特征权重计算静态排序分，根据该静态排序分建立的索引；
粗排分计算单元，用于采用机器学习方法拟合预先统计的所述海选召回文档的精排分得到粗排特征权重，利用该粗排特征权重计算所述海选召回文档的粗排分；
粗排选择单元，用于根据粗排分选择排序靠前的M个文档，将选择的文档作为粗排序文档；M为预设个数；
精排分计算单元，用于计算所述粗排序文档在所述查询词下对应的用户行为发生概率，采用机器学习方法以所述用户行为发生概率为特征计算所述粗排序文档的精排分；
精排序单元，用于根据精排分对所述粗排序文档进行排序。
可选的，精排分计算单元，包括：
第一模型训练单元，用于利用点方式机器学习方法训练得到特征权重，利用该特征权重估算所述粗排序文档在所述查询词下对应的用户行为发生概率，所述用户行为发生概率包括：点击率、收藏率、询盘率以及购买率中的一种或其组合；
第二模型训练单元，用于将所述用户行为发生概率作为特征，利用对方式机器学习方法训练得到精排特征权重，利用该精排特征权重和所述粗排序文档的特征向量计算得到所述粗排序文档的精排分。
可选的，第一模型训练单元，包括：
权重求解子单元，用于利用线性回归模型采用最大似然算法求解得到特征权重；
概率计算子单元，用于利用该特征权重和从所述粗排序文档提取的特征向量计算得到对应的用户行为发生概率。
可选的，第二模型训练单元，包括：
训练子单元，用于利用支持向量机模型，将用户行为发生概率作为特征训练得到精排特征权重；
精排分计算子单元，用于利用该精排特征权重和从所述粗排序文档提取的特征向量计算得到所述粗排序文档的精排分。
可选的，粗排分计算单元，包括：
粗排特征权重训练子单元，用于利用点方式机器学习方法，将预先统计的所述海选召回文档的精排分作为训练目标训练得粗排特征权重；
粗排分计算子单元，用于利用该粗排特征权重和粗排特征向量计算所述海选召回文档的粗排分。
可选的，所述海选召回单元，包括：
行业召回量计算子单元，用于获取查询词，计算该查询词对各个行业的隶属度，根据该隶属度和预设的海选召回文档总量计算各个行业的文档召回量；
海选召回子单元，用于按照各个行业的文档召回量，利用静态排序索引获取与查询词匹配的各个行业的文档，将获取的文档作为海选召回文档。
可选的，所述系统还包括：
静态排序索引建立单元，用于利用文档的文本特征权重向量和文本质量特征计算文本质量分，利用文档的用户行为发生概率计算平均值，利用该平均值和预先统计的精排特征权重计算综合反馈分，根据所述文本质量分和综合反馈分计算文档的静态排序分，按照静态排序分由大到小的顺序建立静态排序索引。
与现有技术相比，本申请提供的技术方案具有以下有益效果：
本申请的静态排序索引是基于同步精排序环节的精排特征权重建立的，能够提升静态排序与精排序的一致性，从而使得海选召回环节优选召回精排意义上的优质文档，提升搜索质量；本申请在粗排序环节采用机器学习方法拟合精排分，实现特征权重的动态更新机制，以提升粗排序环节推送给精排序环节的优质文档的召回率；本申请在精排序环节采用两层模型，第一层模型预估了用户行为发生概率，第二层模型以第一层模型输出为特征，从全局角度统筹了各种行为数据对用户最终意图的刻画力度，以提高搜索质量。
综上所述，本申请是以用户体验为最终目标，基于用户多种类型的反馈行为作为样本数据，采用机器学习方法训练预估，实现精排序的计算逻辑；同时，本申请分别将静态排序环节和精排序环节、粗排序环节构成两个反馈回路，实现搜索链路各个环节的相互作用、自动优化。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的一种搜索排序方法的一个实施例的流程图；
图2为本申请提供的搜索引擎的搜索链路召回量级的示意图；
图3为本申请提供的静态排序索引的一种示意图；
图4为本申请提供的一种搜索排序系统的构架图；
图5为本申请提供的一种用户行为示意图；
图6为本申请提供的点方式机器学习的样本特征维度示意图；
图7为本申请提供的一种搜索排序系统的一个实施例的结构图；
图8为本申请提供的一种搜索排序系统的另一个实施例的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、包括以上任何系统或设备的分布式计算环境等等。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
参见图1，该图示出了本申请的基于用户反馈的搜索排序方法的一个实施例，下面对图1所示的实施例进行详细介绍。
步骤S11：获取查询词，利用静态排序索引获取与该查询词匹配的文档，将获取的文档作为海选召回文档；所述静态排序索引是利用精排特征权重计算静态排序分，根据该静态排序分建立的索引。
这里需要说明的是，本实施例的方法可以适用于通过搜索引擎为用户提供搜索服务的网站或平台。用户使用搜索引擎时，在搜索输入框内输入自己感兴趣的查询词query，在实际应用中query可以是一个字、词、短句或其组合，如图2所示，搜索引擎系统会根据该query在数据库中进行海选召回、粗排序、精排序三个环节的处理，以筛选出满足用户需求的Doc。
由于传统搜索引擎系统的海选召回环节是以查询词为基础检索静态排序索引，而传统的静态排序索引是按照静态排序分逆序创建的，但静态排序分的计算主要涉及的是Doc文本描述完整性、Doc的平均用户反馈数等，其中文本描述完整性的度量、海选特征的权重设置通常都不能达到全局最优，从而影响召回的Doc质量。更为重要的一点，由于静态排序分布严格按照静态排序分逆序创建，使得同一关键词key下面的Doc表现出行业集中性，直接影响海选召回Doc的多样性，导致用户体验不好。
以图3为例，对这种情况进行举例说明，在图3中Doc3是3C类的苹果，Doc4是水果类的苹果，Doc3和Doc4都包含关键词apple。由于3C行业的用户搜索反馈行为通常多于水果行业，且文本描述更为精确具体，因此3C行业(eg.Doc3)基于文本质量和平均历史反馈特征计算得到静态排序分会高于水果行业(eg.Doc4)，从而使得3C行业Doc被优先召回。当3C行业Doc足够多，且达到搜索引擎系统设定的海选召回量时，水果行业的Doc就没有被召回的机会，从而就不会作为搜索结果返回给用户。如果用户希望找到水果时，那么搜索引擎这次返回的结果是无法满足用户需求的。
发明人针对传统搜索引擎系统的海选召回环节的行业单一的缺点，还提出了在海选召回环节引入行业分层逻辑，能够召回与查询词匹配的各个行业的文档，以提高海选召回Doc的行业多样性，提升用户体验。另外，关于静态排序索引的建立的过程，在此先不介绍，后面会给出详细说明。
结合图4示出的本申请基于用户反馈的搜索排序系统的构架图，先对本实施例的海选召回环节进行解释说明。
在具体实现时，海选召回环节的步骤S11可以包括：
获取查询词，计算该查询词对各个行业的隶属度，根据该隶属度和预设的海选召回文档总量计算各个行业的文档召回量；以及，按照各个行业的文档召回量，利用静态排序索引获取与查询词匹配的各个行业的文档，将获取的文档作为海选召回文档。
首先根据查询词下用户对各个行业反馈数据，按照公式(1)计算查询词对各个行业的隶属度μcategory_n。
公式(1)：μcategory_n＝f(CTRcategory_n,CRcategory_n,IRcategory_n,BRcategory_n)
在公式(1)中，μcategory_n表示查询词在第n行业的隶属度；CTRcategory_n表示查询词在第n行业下的点击率；CRcategory_n表示查询词在第n行业下的收藏率；IRcategory_n表示查询词在第n行业下的询盘率；BRcategory_n表示查询词在第n行业下的购买率。这里需要说明的是，在实际应用中关于行业的隶属度的计算也可以只采用上述点击率、收藏率、询盘率、购买率中一种或多种组合，上述公式(1)仅是以四种组合方式为例。
然后，按照公式(2)归一化隶属度μcategory_n为μ′category_n。
公式(2)：
在公式(2)中，μ′category_n表示查询词在第n行业的归一化隶属度；μcategory_i表示查询词在第i行业的隶属度，其中，i取值为1到N。
最后，按照公式(3)基于归一化隶属度μ′category_n计算各个行业Doc的召回量。
公式(3)：Numcategory_n＝K×μ′category_n
在公式(3)中，Numcategory_n表示第n行业的文档召回量；K为搜素引擎系统预设的海选召回文档总量。
在确定了各个行业的文档召回量之后，就分别针对每个行业来召回满足条件的文档，将召回的所有文档作为海选召回文档。
举个例子，假设查询词为“apple”，搜素引擎系统预设的海选召回文档总量K＝10000。
按照上文公式(1)和公式(2)计算得到其属于电子行业的归一化隶属度为0.8；
按照上文公式(1)和公式(2)计算得到其属于水果行业的归一化隶属度为0.2；
按照公式(3)电子行业的文档召回量Num电子＝10000＊0.8＝8000；
按照公式(3)水果行业的文档召回量Num水果＝10000＊0.2＝2000。
在确定了电子行业和水果行业的文档召回量之后，就分别针对这两个行业来召回满足条件的文档，将召回的所有文档作为海选召回文档。
步骤S11的海选召回完成后，进入粗排序环节，即进入步骤S12。
步骤S12：采用机器学习方法拟合预先统计的所述海选召回文档的精排分得到粗排特征权重，利用该粗排特征权重计算所述海选召回文档的粗排分。
传统搜索引擎系统的粗排序环节主要考虑相关性，Doc包含标题描述文本、属性表述文本等，其特征权重的设置与静态排序类似，均是通过实验多组权重参数选择表现最好的特征权重，由于实验代价相对较大，因此通过实验对比的特征权重数量有限，不能遍历得到最优特征权重集合，此外，特征权重设定之后，不能随着用户行为习惯等因素的改变而改变，其缺乏自适应调整的机制，致使粗排特征权重缺乏自适应性。此外，用户搜索时，除了对相关性有要求外，还会受到其他因素的影响，例如，当用户在电商网站搜索产品时，图片内容、产品价格都是影响用户是否购买的关键因素，因此传统的搜索引擎的粗排序环节只考虑查询词与Doc的相关性，缺乏很多关键信息，对全局而言很难达到最优。
发明人针对传统搜索引擎系统的粗排序环节的缺点，提出了在粗排序环节采用机器学习方法拟合精排分，实现特征权重的动态更新机制，以提升粗排序环节推送给精排序环节的优质文档的召回率。下面对本申请的粗排序环节进行详细解释说明。
在具体实现时，步骤S12可以包括：
利用点方式机器学习方法，将预先统计的所述海选召回文档的精排分作为训练目标训练得粗排特征权重；以及，利用该粗排特征权重和粗排特征向量计算所述海选召回文档的粗排分。
在本申请中点方式机器学习方法(point－wise)既可以采用线性回归模型(Linear Regression，LR)，也可以采用非线性模型如梯度提升决策树(Gradient BoostingDecision Tree，GBRT)。下面以LR模型为例对该方法的实现过程作说明。
首先，按照公式(4)求解粗排特征权重。
公式(4)：
在公式(4)中，以海选召回环节筛选的海选召回文档为样本，以预先统计的关于这次海选召回文档的精排分为目标(上一次统计的文档的精排分或者上一个周期统计的文档的精排分)，其中，yk表示预先统计的第k个海选召回文档的精排分；w表示待求解的粗排特征权重，fk表示从第k个海选召回文档抽取的特征向量。
然后，按照公式(5)计算海选召回文档的粗排分。
公式(5)：
在公式(5)中，Score2表示粗排分，fi表示特征向量中的第i个特征；wi表示特征向量第i个特征对应的权重。
粗排序环节是承接海选召回环节和精排序环节的重要环节，本实施例一方面为了确保粗排序环节推送给精排序环节的文档尽可能优质，在粗排序环节以精排分为目标，使得粗排序和精排序的结果趋同；另一方面，由于海选召回文档的数目约十万量级，因此要求粗排序环节逻辑必须简单高效。本申请提出采用精排分作为粗排序模型训练目标，以实现粗排序和精排序的结果趋同，并采用线性回归模型可以简化计算量，提高粗排序环节的计算效率。
此外，本申请还可以通过简化特征的方式，以进一步提高粗排序环节的计算效率。例如，本申请粗排序环节设计的特征主要是相关性特征，包括文本相关性和意图相关性，文本相关性的特征包括标题匹配率、属性匹配率等，意图相关性特征包括行业匹配率等，基于此得到的样本示意如表1所示。
表1 粗排序point－wise样本示意
表1中目标栏中[Q，U，I1]为样本信息，Q表示查询词，U表示用户，I表示Doc，则I1表示第1个Doc，I2表示第2个Doc，以此类推，In表示第n个Doc；Score14表示Doc1对应的精排分；Score24表示Doc2对应的精排分，以此类推，Scoren4表示Docn对应的精排分；Scoren4的后缀n用于标识Doc，下标4用于标识其为精排分。
步骤S13：根据粗排分选择排序靠前的M个文档，将选择的文档作为粗排序文档；M为预设个数。
在具体实现时，可以按照粗排分由大到小的顺序，选择排序靠前的M个文档，将选择的M个文档作为粗排序文档。
步骤S14：计算所述粗排序文档在所述查询词下对应的用户行为发生概率，采用机器学习方法以所述用户行为发生概率为特征计算所述粗排序文档的精排分。
在具体实现时，步骤S14可以通过两层模型训练方式来实现。
第一层模型训练具体为：利用点方式机器学习方法训练得到特征权重，利用该特征权重估算所述粗排序文档在所述查询词下对应的用户行为发生概率，所述用户行为发生概率包括：点击率、收藏率、询盘率以及购买率中的一种或其组合。
第二层模型训练具体为：将所述用户行为发生概率作为特征，利用对方式机器学习方法训练得到精排特征权重，利用该精排特征权重和所述粗排序文档的特征向量计算得到所述粗排序文档的精排分。
下面先对第一层模型训练的过程进行介绍。
第一层模型训练可以包括：利用线性回归模型采用最大似然算法求解得到特征权重；以及，利用该特征权重和从所述粗排序文档提取的特征向量计算得到对应的用户行为发生概率。
由于用户的各种行为都可以用Bool型变量0/1表示，因此可以采用点方式学习方法(point－wise)预估给定查询词下用户是否点击、是否收藏、是否询盘、是否购买等行为，在具体实现时，可以采用线性回归模型(Linear Regression，LR)实现用户各种行为发生概率的预估。
由于用户搜索特定Query后，搜索引擎会返回搜索结果list，通常情况下，用户可以对搜索结果进行多种类型的操作。以电子商务网站展现的Doc为例，用户的操作行为可以表现为对该Doc进行行点击浏览、收藏、询盘、购买等行为，这些操作行为将被电子网站以日志的形式记录下来，形成操作行为数据。这些操作行为数据反映出了用户对某个Doc的接受程度，相对于那些未被用户操作的目标对象(比如，没有被点击的商品)，更能体现用户的需求倾向。第一层模型训练是以预先统计的所有文档对应的日志为样本来进行训练，以图5为例，假设用户对Doc1进行了点击(click)操作、对Doc2进行了收藏(collect)操作、对Doc3进行了询盘(inquiry)操作、对Doc4进行了购买(buy)操作，那么根据用户对Doc的各种行为日志生成精排序反馈率预估样本，参见表2。
表2 精排序point－wise反馈率预估样本示意
表2中目标栏中的1表示行为发生，0表示行为未发生；例如点击率预估下面的目标栏中特征{Q,U,I1}的Doc1在一次曝光中被点击(如图5)，则其目标为1；再例如，在收藏率预估下面的目标栏中特征{Q,U,I3}中的Doc3在一次曝光中未被收藏(如图5)则其目标为0。这里需要说明的是，在实际应用中，反馈率预估样本也可以仅关注点击率、收藏率、询盘率、购买率任一种或其组合，在表2中仅以四种组合为例进行说明。
下面仅以点击率预估为例，对point-wise方法的实现过程进行说明。
利用LR模型采用最大似然算法求解特征权重w，最优化目标关系式为公式(6)所示。
公式(6)：
在公式(6)中，yk表示预先统计的第k个Doc的标准目标，如果样本k在一次曝光用户发生了对应的行为，则yk＝1，否则yk＝0；w表示待求解的特征权重，fk表示从样本k抽取的特征向量，特征向量可以有多个维度如图6所示。
按照公式(6)求解得到w后，预估点击率的计算表达式为公式(7)。
公式(7)：
举个例子，f1和f2表示用户维度性别特征，当用户为男性时，f1＝1,f2＝0,当用户
为女性时，f1＝0,f2＝1；查询维度特征f2为查询词query本身，例如“mp3”，当用户输入的查
询词为“mp3”时，f2＝1,否则f2＝0。Doc维度特征f4为标题抽取的产品词，例如“red mp3”,
如果某个Doc的标题产品词为“red mp3”,那么f4＝1,否则f4＝0。通过LR模型训练得到各个
特征的权重分别为w1＝0.5,w2＝0.8,w3＝0.2,w4＝0.6。如此，当一个男性用户搜索“mp3”，
如果搜索到的某个Doc标题产品词为“red mp3”，那么其预估点击率为
上文举例仅以点击率为例，收藏率、询盘率，购买率等模型的训练和预估过程与点击率相似，其区分只是体现在样本目标的设定和特征的设计。按照上文描述的处理过程分别预估Doc在关键词下的点击率eCTR(estimate Click Through Rate)、收藏率eCR(estimate Collect Rate)、询盘率eIR(estimate Inquiry Rate)、购买率eBR(estimateBuy Rate)。
下面对第二层模型训练的过程进行介绍。
第二层模型训练可以包括：利用支持向量机模型，将用户行为发生概率作为特征训练得到精排特征权重；以及，利用该精排特征权重和从所述粗排序文档提取的特征向量计算得到所述粗排序文档的精排分。
支持向量机模型rankSVM是一种常用的pair-wise模型，下面就对rankSVM在本申请中的实现过程进行解释说明。由于用户对Doc作出不同类型的行为能够体现出Doc满足用户诉求的程度，因此，利用购买>询盘>收藏>点击的特点来定量各种类型行为的用户满意程度。第二层模型训练是以预先统计的所有文档对应的日志为基础按照上述购买>询盘>收藏>点击的特点构架的样本来进行的。例如以上文描述的图5为基础，构建pair-wise模型的样本，如表3所示。
表3 精排序pair-wise模型预估样本示意
| 目标 | 特征 |
| [Q,U,I1]>[Q,U,I5] | {eCTR1,eCR1,eIR1,eBR1,eCTR5,eCR5,eIR5,eBR5} |
| [Q,U,I2]>[Q,U,I1] | {eCTR1,eCR1,eIR1,eBR1,eCTR2,eCR2,eIR2,eBR2} |
| [Q,U,I3]>[Q,U,I2] | {eCTR2,eCR2,eIR2,eBR2,eCTR3,eCR3,eIR3,eBR3} |
| [Q,U,I4]>[Q,U,I3] | {eCTR3,eCR3,eIR3,eBR3,eCTR4,eCR4,eIR4,eBR4} |
| ...... | ...... |
Pair－wise模型的样本构造完成后，采用rankSVM求解精排特征权重w，如公式(8)，然后按照公式(9)计算出最终的精排分。
公式(8)：
公式(9)：
步骤S15：根据精排分对所述粗排序文档进行排序。
在实际应用中，可以按照精排分由大到小的顺序，对粗排序文档进行排序，搜索引擎系统会按照精排序顺序向用户返回搜索的Doc。由上述描述可知本申请的精排环节包括两层模型训练。一层是point－wise模型，另一层pair－wise模型。point－wise模型实现用户的各种类型的行为发生率预估，Doc文本质量是重要的特征类型之一，例如标题长度特征、属性填写率特征、标题和属性的一致性特征等。pair－wise模型的特征权重表征点击率、收藏率、询盘率、购买率等用户行为发生率对最终用户意图的贡献度。本申请还提出了将精排特征权重同步到静态排序索引环节，使得静态排序索引的建立更合理，能够随着用户行为习惯和用户意图等因素进行自适应调整。
下面对本申请的静态排序索引的建立过程进行解释说明。首先，利用文档的文本特征权重向量和文本质量特征计算文本质量分；然后，利用文档的用户行为发生概率计算平均值，利用该平均值和预先统计的精排特征权重计算综合反馈分；最后，根据所述文本质量分和综合反馈分计算文档的静态排序分，按照静态排序分由大到小的顺序建立静态排序索引。下面通过具体的计算公式来介绍静态排序索引建立的基本原理。
按照如下公式(10)来计算静态排序中文本质量分。
公式(10)：
在公式(10)中，w1表示精排环节point－wise模型文本特征权重向量，
f1表示文本质量特征，表示静态排序中文本质量分。
由于精排pair－wise模型计算的是＜query，Doc＞的精排分，而静态排序是与query无关的，为了在静态排序阶段利用精排环节pair－wise的精排特征权重，本申请首先按照公式(11)统计Doc各种类型反馈率的平均值。
公式(11)：
在公式(11)中，feedback∈{CTR,CR,IR,BR}，feedbackm表示当前Doc在Querym下的历史统计反馈率。
然后按照公式(12)计算综合反馈分。
公式(12)：
在公式(12)中，分别表示精排pair－wise模型中的点击率、收藏率、询盘率、购买率特征权重。分别表示统计的点击率、收藏率、询盘率、购买率的平均值。
这里需要说明的是，在具体实现时，静态排序环节是以精排序环节的精排特征权重为基础的，此处的公式(11)和公式(12)仅是以精排环节涉及到点击率、收藏率、询盘率和购买率四个特征的情况下所对应的计算公式；如果精排环节仅涉及到点击率、收藏率、询盘率、购买率的一种或其组合时，则上述公式(11)和公式(12)对应的发生变化。
最后，按照公式(13)计算静态排序分Score1。
公式(13)：
在公式(13)中，α和β分别是基于搜索引擎策略预先设定的权重。
本申请提供的上述静态排序索引的建立方法使得精态排序索引环节引入精排特征权重同步更新机制，实现了用户行为数据对静态排序环节的反馈修正逻辑。
与上述方法相对应的，本申请还提供了一种搜索排序系统。下面对该系统进行介绍。
参见图7，图7为本申请的一种搜索排序系统的一个实施例的结构图，如图7所示，该系统可以包括：
海选召回单元701，用于获取查询词，利用静态排序索引获取与该查询词匹配的文档，将获取的文档作为海选召回文档；所述静态排序索引是利用精排特征权重计算静态排序分，根据该静态排序分建立的索引；
粗排分计算单元702，用于采用机器学习方法拟合预先统计的所述海选召回文档的精排分得到粗排特征权重，利用该粗排特征权重计算所述海选召回文档的粗排分；
粗排选择单元703，用于根据粗排分选择排序靠前的M个文档，将选择的文档作为粗排序文档；M为预设个数；
精排分计算单元704，用于计算所述粗排序文档在所述查询词下对应的用户行为发生概率，采用机器学习方法以所述用户行为发生概率为特征计算所述粗排序文档的精排分；
精排序单元705，用于根据精排分对所述粗排序文档进行排序。
可选的，精排分计算单元，包括：
第一模型训练单元，用于利用点方式机器学习方法训练得到特征权重，利用该特征权重估算所述粗排序文档在所述查询词下对应的用户行为发生概率，所述用户行为发生概率包括：点击率、收藏率、询盘率以及购买率中的一种或其组合；
第二模型训练单元，用于将所述用户行为发生概率作为特征，利用对方式机器学习方法训练得到精排特征权重，利用该精排特征权重和所述粗排序文档的特征向量计算得到所述粗排序文档的精排分。
可选的，第一模型训练单元，包括：
权重求解子单元，用于利用线性回归模型采用最大似然算法求解得到特征权重；
概率计算子单元，用于利用该特征权重和从所述粗排序文档提取的特征向量计算得到对应的用户行为发生概率。
可选的，第二模型训练单元，包括：
训练子单元，用于利用支持向量机模型，将用户行为发生概率作为特征训练得到精排特征权重；
精排分计算子单元，用于利用该精排特征权重和从所述粗排序文档提取的特征向量计算得到所述粗排序文档的精排分。
可选的，粗排分计算单元，包括：
粗排特征权重训练子单元，用于利用点方式机器学习方法，将预先统计的所述海选召回文档的精排分作为训练目标训练得粗排特征权重；
粗排分计算子单元，用于利用该粗排特征权重和粗排特征向量计算所述海选召回文档的粗排分。
可选的，所述海选召回单元，包括：
行业召回量计算子单元，用于获取查询词，计算该查询词对各个行业的隶属度，根据该隶属度和预设的海选召回文档总量计算各个行业的文档召回量；
海选召回子单元，用于按照各个行业的文档召回量，利用静态排序索引获取与查询词匹配的各个行业的文档，将获取的文档作为海选召回文档。
参见图8，如图8所示的本申请的一种搜索排序系统的另一个实施例的结构图，该系统是在上述图7所示系统的基础上还包括了静态排序索引建立单元。
静态排序索引建立单元700，用于利用文档的文本特征权重向量和文本质量特征计算文本质量分，利用文档的用户行为发生概率计算平均值，利用该平均值和预先统计的精排特征权重计算综合反馈分，根据所述文本质量分和综合反馈分计算文档的静态排序分，按照静态排序分由大到小的顺序建立静态排序索引。
本申请的静态排序索引是基于同步精排序环节的精排特征权重建立的，能够提升静态排序与精排序的一致性，从而使得海选召回环节优选召回精排意义上的优质文档，提升搜索质量；本申请在粗排序环节采用机器学习方法拟合精排分，实现特征权重的动态更新机制，以提升粗排序环节推送给精排序环节的优质文档的召回率；本申请在精排序环节采用两层模型，第一层模型预估了用户行为发生概率，第二层模型以第一层模型输出为特征，从全局角度统筹了各种行为数据对用户最终意图的刻画力度，以提高搜索质量。
综上所述，本申请是以用户体验为最终目标，基于用户多种类型的反馈行为作为样本数据，采用机器学习方法训练预估，实现精排序的计算逻辑；同时，本申请分别将静态排序环节和精排序环节、粗排序环节构成两个反馈回路，实现搜索链路各个环节的相互作用、自动优化。此外，本申请在海选召回环节还可以引入查询词行业与Doc行业匹配的分层检索逻辑，提升搜索引擎全局优质Doc的召回率和行业多样性，改善用户的搜索体验。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。本申请方法实施例是从系统角度描述的，与系统实施例基本相似，方法实施例描述的比较简单，相关之处参见系统实施例的部分说明。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请所提供的一种搜索排序方法及系统进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (14)
1.一种搜索排序方法，其特征在于，该方法包括：
获取查询词，利用静态排序索引获取与该查询词匹配的文档，将获取的文档作为海选召回文档；所述静态排序索引是利用预先统计的精排特征权重计算静态排序分，根据该静态排序分建立的索引；
采用机器学习方法拟合预先统计的所述海选召回文档的精排分得到粗排特征权重，利用该粗排特征权重计算所述海选召回文档的粗排分；
根据粗排分选择排序靠前的M个文档，将选择的文档作为粗排序文档；M为预设个数；
计算所述粗排序文档在所述查询词下对应的用户行为发生概率，采用机器学习方法以所述用户行为发生概率为特征计算所述粗排序文档的精排分；
根据精排分对所述粗排序文档进行排序。
2.根据权利要求1所述的方法，其特征在于，计算所述粗排序文档在所述查询词下对应的用户行为发生概率，采用机器学习方法以所述用户行为发生概率为特征计算所述粗排序文档的精排分，包括:
利用点方式机器学习方法训练得到特征权重，利用该特征权重估算所述粗排序文档在所述查询词下对应的用户行为发生概率，所述用户行为发生概率包括：点击率、收藏率、询盘率以及购买率中的一种或其组合；
将所述用户行为发生概率作为特征，利用对方式机器学习方法训练得到精排特征权重，利用该精排特征权重和所述粗排序文档的特征向量计算得到所述粗排序文档的精排分。
3.根据权利要求2所述的方法，其特征在于，利用点方式机器学习方法训练得到特征权重，利用该特征权重估算所述粗排序文档在所述查询词下对应的用户行为发生概率，包括：
利用线性回归模型采用最大似然算法求解得到特征权重；
利用该特征权重和从所述粗排序文档提取的特征向量计算得到对应的用户行为发生概率。
4.根据权利要求2所述的方法，其特征在于，将所述用户行为发生概率作为特征，利用对方式机器学习方法训练得到精排特征权重，利用该精排特征权重和所述粗排序文档的特征向量计算得到所述粗排序文档的精排分，包括：
利用支持向量机模型，将用户行为发生概率作为特征训练得到精排特征权重；
利用该精排特征权重和从所述粗排序文档提取的特征向量计算得到所述粗排序文档的精排分。
5.根据权利要求1所述的方法，其特征在于，采用机器学习方法拟合预先统计的所述海选召回文档的精排分得到粗排特征权重，利用该粗排特征权重计算所述海选召回文档的粗排分，包括：
利用点方式机器学习方法，将预先统计的所述海选召回文档的精排分作为训练目标训练得粗排特征权重；
利用该粗排特征权重和粗排特征向量计算所述海选召回文档的粗排分。
6.根据权利要求1所述的方法，其特征在于，所述获取查询词，利用静态排序索引获取与该查询词匹配的文档，将获取的文档作为海选召回文档，包括：
获取查询词，计算该查询词对各个行业的隶属度，根据该隶属度和预设的海选召回文档总量计算各个行业的文档召回量；
按照各个行业的文档召回量，利用静态排序索引获取与查询词匹配的各个行业的文档，将获取的文档作为海选召回文档。
7.根据权利要求1所述的方法，其特征在于，所述静态排序索引通过以下方式建立：
利用文档的文本特征权重向量和文本质量特征计算文本质量分，利用文档的用户行为发生概率计算平均值，利用该平均值和预先统计的精排特征权重计算综合反馈分，根据所述文本质量分和综合反馈分计算文档的静态排序分，按照静态排序分由大到小的顺序建立静态排序索引。
8.一种搜索排序系统，其特征在于，该系统包括：
海选召回单元，用于获取查询词，利用静态排序索引获取与该查询词匹配的文档，将获取的文档作为海选召回文档；所述静态排序索引是利用预先统计的精排特征权重计算静态排序分，根据该静态排序分建立的索引；
粗排分计算单元，用于采用机器学习方法拟合预先统计的所述海选召回文档的精排分得到粗排特征权重，利用该粗排特征权重计算所述海选召回文档的粗排分；
粗排选择单元，用于根据粗排分选择排序靠前的M个文档，将选择的文档作为粗排序文档；M为预设个数；
精排分计算单元，用于计算所述粗排序文档在所述查询词下对应的用户行为发生概率，采用机器学习方法以所述用户行为发生概率为特征计算所述粗排序文档的精排分；
精排序单元，用于根据精排分对所述粗排序文档进行排序。
9.根据权利要求8所述的系统，其特征在于，精排分计算单元，包括:
第一模型训练单元，用于利用点方式机器学习方法训练得到特征权重，利用该特征权重估算所述粗排序文档在所述查询词下对应的用户行为发生概率，所述用户行为发生概率包括：点击率、收藏率、询盘率以及购买率中的一种或其组合；
第二模型训练单元，用于将所述用户行为发生概率作为特征，利用对方式机器学习方法训练得到精排特征权重，利用该精排特征权重和所述粗排序文档的特征向量计算得到所述粗排序文档的精排分。
10.根据权利要求9所述的系统，其特征在于，第一模型训练单元，包括：
权重求解子单元，用于利用线性回归模型采用最大似然算法求解得到特征权重；
概率计算子单元，用于利用该特征权重和从所述粗排序文档提取的特征向量计算得到对应的用户行为发生概率。
11.根据权利要求9所述的系统，其特征在于，第二模型训练单元，包括：
训练子单元，用于利用支持向量机模型，将用户行为发生概率作为特征训练得到精排特征权重；
精排分计算子单元，用于利用该精排特征权重和从所述粗排序文档提取的特征向量计算得到所述粗排序文档的精排分。
12.根据权利要求8所述的系统，其特征在于，粗排分计算单元，包括：
粗排特征权重训练子单元，用于利用点方式机器学习方法，将预先统计的所述海选召回文档的精排分作为训练目标训练得粗排特征权重；
粗排分计算子单元，用于利用该粗排特征权重和粗排特征向量计算所述海选召回文档的粗排分。
13.根据权利要求8所述的系统，其特征在于，所述海选召回单元，包括：
行业召回量计算子单元，用于获取查询词，计算该查询词对各个行业的隶属度，根据该隶属度和预设的海选召回文档总量计算各个行业的文档召回量；
海选召回子单元，用于按照各个行业的文档召回量，利用静态排序索引获取与查询词匹配的各个行业的文档，将获取的文档作为海选召回文档。
14.根据权利要求8所述的系统，其特征在于，所述系统还包括：
静态排序索引建立单元，用于利用文档的文本特征权重向量和文本质量特征计算文本质量分，利用文档的用户行为发生概率计算平均值，利用该平均值和预先统计的精排特征权重计算综合反馈分，根据所述文本质量分和综合反馈分计算文档的静态排序分，按照静态排序分由大到小的顺序建立静态排序索引。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510395255.7A CN106339383B (zh) | 2015-07-07 | 2015-07-07 | 一种搜索排序方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510395255.7A CN106339383B (zh) | 2015-07-07 | 2015-07-07 | 一种搜索排序方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106339383A CN106339383A (zh) | 2017-01-18 |
| CN106339383B true CN106339383B (zh) | 2019-10-18 |
Family
ID=57827188
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510395255.7A Active CN106339383B (zh) | 2015-07-07 | 2015-07-07 | 一种搜索排序方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106339383B (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107103365A (zh) * | 2017-04-12 | 2017-08-29 | 邹霞 | 机器学习模型的透视分析方法 |
| WO2018187949A1 (zh) * | 2017-04-12 | 2018-10-18 | 邹霞 | 机器学习模型的透视分析方法 |
| CN109948036B (zh) * | 2017-11-15 | 2022-10-04 | 腾讯科技（深圳）有限公司 | 一种分词词项权重的计算方法和装置 |
| CN111369271B (zh) * | 2018-12-25 | 2024-03-19 | 北京达佳互联信息技术有限公司 | 一种广告的排序方法、装置、电子设备及存储介质 |
| CN110069732B (zh) * | 2019-03-29 | 2022-11-22 | 腾讯科技（深圳）有限公司 | 一种信息展示的方法、装置及设备 |
| CN111260435A (zh) * | 2020-01-10 | 2020-06-09 | 京东数字科技控股有限公司 | 多因子权重赋值修正方法、装置、计算机设备和存储介质 |
| CN111259272B (zh) * | 2020-01-14 | 2023-06-20 | 口口相传(北京)网络技术有限公司 | 搜索结果排序方法及装置 |
| CN111563158B (zh) * | 2020-04-26 | 2023-08-29 | 腾讯科技（深圳）有限公司 | 文本排序方法、排序装置、服务器和计算机可读存储介质 |
| CN111581545B (zh) * | 2020-05-12 | 2023-09-19 | 腾讯科技（深圳）有限公司 | 一种召回文档的排序方法及相关设备 |
| CN112613904A (zh) * | 2020-12-16 | 2021-04-06 | 中国建设银行股份有限公司 | 贴尾信息推送方法和装置 |
| CN112749238A (zh) * | 2020-12-30 | 2021-05-04 | 北京金堤征信服务有限公司 | 搜索排序方法、装置、电子设备以及计算机可读存储介质 |
| CN112883265A (zh) * | 2021-02-10 | 2021-06-01 | 北京三快在线科技有限公司 | 信息推荐方法、装置、服务器及计算机可读存储介质 |
| CN113988157B (zh) * | 2021-09-30 | 2023-10-13 | 北京百度网讯科技有限公司 | 语义检索网络训练方法、装置、电子设备及存储介质 |
| CN114281944B (zh) * | 2021-12-27 | 2022-08-23 | 北京中科闻歌科技股份有限公司 | 文档匹配模型的构建方法、装置、电子设备及存储介质 |
| CN114416940B (zh) * | 2021-12-28 | 2023-04-18 | 北京百度网讯科技有限公司 | 表格问答中的短语泛化方法、装置、电子设备及存储介质 |
| CN114971766A (zh) * | 2022-04-14 | 2022-08-30 | 广州华多网络科技有限公司 | 商品推荐方法及其装置、设备、介质、产品 |
| CN115357691B (zh) * | 2022-10-21 | 2023-04-07 | 成都数之联科技股份有限公司 | 一种语义检索方法及系统、设备和计算机可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101496010A (zh) * | 2006-07-31 | 2009-07-29 | 微软公司 | 使用可增量式更新的、经修改的朴素贝叶斯查询分类器的排序功能 |
| CN103593353A (zh) * | 2012-08-15 | 2014-02-19 | 阿里巴巴集团控股有限公司 | 信息搜索方法、展示信息排序权重值确定方法及其装置 |
| CN101523338B (zh) * | 2005-03-18 | 2016-10-19 | 搜索引擎科技有限责任公司 | 应用来自用户的反馈来改进搜索结果的搜索引擎 |
-
2015
- 2015-07-07 CN CN201510395255.7A patent/CN106339383B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101523338B (zh) * | 2005-03-18 | 2016-10-19 | 搜索引擎科技有限责任公司 | 应用来自用户的反馈来改进搜索结果的搜索引擎 |
| CN101496010A (zh) * | 2006-07-31 | 2009-07-29 | 微软公司 | 使用可增量式更新的、经修改的朴素贝叶斯查询分类器的排序功能 |
| CN103593353A (zh) * | 2012-08-15 | 2014-02-19 | 阿里巴巴集团控股有限公司 | 信息搜索方法、展示信息排序权重值确定方法及其装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106339383A (zh) | 2017-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106339383B (zh) | 一种搜索排序方法及系统 | |
| CN103593425B (zh) | 基于偏好的智能检索方法及系统 | |
| CN100504866C (zh) | 一种综合搜索结果的排序系统及方法 | |
| CN107526807B (zh) | 信息推荐方法及装置 | |
| CN101321190B (zh) | 一种异构网络中的推荐方法及推荐系统 | |
| CN103729359B (zh) | 一种推荐搜索词的方法及系统 | |
| CN105701216A (zh) | 一种信息推送方法及装置 | |
| CN104794242B (zh) | 一种搜索方法 | |
| CN106547864B (zh) | 一种基于查询扩展的个性化信息检索方法 | |
| CN109582852B (zh) | 一种全文检索结果的排序方法及系统 | |
| CN106951527B (zh) | 一种歌曲推荐方法及装置 | |
| CN108664515A (zh) | 一种搜索方法及装置，电子设备 | |
| CN102968419A (zh) | 交互式互联网实体名称的消歧方法 | |
| CN111737608B (zh) | 企业信息检索结果排序方法及装置 | |
| CN111159549A (zh) | 一种信息推荐方法及系统 | |
| Liu et al. | QA document recommendations for communities of question–answering websites | |
| Sun et al. | A novel approach for personalized article recommendation in online scientific communities | |
| CN105512122B (zh) | 信息检索系统的排序方法及装置 | |
| CN105786810B (zh) | 类目映射关系的建立方法与装置 | |
| JP5048852B2 (ja) | 検索装置、検索方法、検索プログラム、及びそのプログラムを記憶するコンピュータ読取可能な記録媒体 | |
| Kang et al. | A hybrid approach for paper recommendation | |
| CN103399879B (zh) | 基于用户搜索日志的兴趣实体获得方法及装置 | |
| CN104462556A (zh) | 问答页面相关问题推荐方法和装置 | |
| CN108710620B (zh) | 一种基于用户的k-最近邻算法的图书推荐方法 | |
| Wang et al. | A personalization-oriented academic literature recommendation method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240223 Address after: # 01-21, Lai Zan Da Building 1, 51 Belarusian Road, Singapore Patentee after: Alibaba Singapore Holdings Ltd. Country or region after: Singapore Address before: Cayman Islands Grand Cayman capital building, a four storey No. 847 mailbox Patentee before: ALIBABA GROUP HOLDING Ltd. Country or region before: Cayman Islands |