CN103593353A - 信息搜索方法、展示信息排序权重值确定方法及其装置 - Google Patents

信息搜索方法、展示信息排序权重值确定方法及其装置 Download PDF

Info

Publication number
CN103593353A
CN103593353A CN201210289652.2A CN201210289652A CN103593353A CN 103593353 A CN103593353 A CN 103593353A CN 201210289652 A CN201210289652 A CN 201210289652A CN 103593353 A CN103593353 A CN 103593353A
Authority
CN
China
Prior art keywords
exhibition information
information
probability
displaying
clicked
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201210289652.2A
Other languages
English (en)
Other versions
CN103593353B (zh
Inventor
刘凯鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201210289652.2A priority Critical patent/CN103593353B/zh
Publication of CN103593353A publication Critical patent/CN103593353A/zh
Application granted granted Critical
Publication of CN103593353B publication Critical patent/CN103593353B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种信息搜索方法、展示信息排序权重值确定方法及其装置,当信息搜索服务器根据查询词搜索在搜索结果页面展示的信息时,依据展示信息排序模型以及点击日志,确定各待展示信息的排序权重值,再根据排序权重值确定展示信息的排序。其中,展示信息排序模型基于如下假设:用户查看展示信息后点击该展示信息的概率依赖于该展示信息本身,以及用户查看展示位i上的展示信息的概率依赖于:在展示位i之前的展示位上展示信息被点击的次数,以及在展示位i之前的展示位当中,其上的展示信息被点击过、且距离展示位i最近的展示位位置。本申请可基于点击数据对展示信息进行排序时,降低位置偏执对排序的影响,提高排序合理性。

Description

信息搜索方法、展示信息排序权重值确定方法及其装置
技术领域
本申请涉及通信技术领域,特别是涉及信息搜索方法、展示信息排序权重值确定方法及其装置。
背景技术
信息搜索服务器为用户提供信息搜索服务时,在根据用户输入的查询词返回搜索结果的同时,还会在搜索结果页面中的特定位置展示一定数量与该查询词相关的信息,以供用户点击查看。用户可能会在一次搜索会话(即一次搜索行为所得到的搜索结果)中点击该特定位置的某些展示信息,信息搜索服务器会用日志记录这些展示信息的展示和点击情况。
用户一般会根据展示信息的相关性进行点击,点击日志反映了用户对展示信息展示结果的相关性的隐性评价。由于点击数据数量巨大,且获取成本较低,因此,根据用户点击反馈数据准确预估展示信息质量分具有重要的应用价值。
用户的点击行为会受到展示信息在搜索结果页面中展示位置的影响。有研究表明,尽管相关性较差,但是,在展示位靠前位置展示的信息还是会获得更多的点击。这种影响被称为位置偏置(Position Bias)。位置偏置的存在,增大了利用点击数据准确预估展示信息质量分以对展示信息进行排序的难度。
现有基于Cascade前提假设的点击模型,如CCM(Click Chain Model,点击链模型)或DBN(Dynamic Bayesian Model,动态贝叶斯模型)等,假设用户会从上向下查看文档展示结果,但在实际中,用户往往采用跳跃式的浏览方法,使得Cascade前提假设的适用性减弱,进而影响点击模型性能。
现有的不基于Cascade前提假设的点击模型(如UBM,BBM等),其假设用户查看在某位置处展示的信息的概率只与在同一展示列表中的前一次点击的位置相关。这一假设没有考虑用户因为多次点击而造成的点击倾向的衰减,因而影响点击模型的性能。
由此可见,目前亟需一种信息搜索方案,可以通过合理建模用户对展示信息的点击行为,消除位置偏置对信息点击率统计的影响,根据用户点击日志数据,准确预估信息点击反馈质量分,从而合理的对展示信息进行排序,提高信息搜索、展示效率。
发明内容
本申请的目的在于提供一种信息搜索方法、展示信息排序权重值确定方法及其装置,用以在基于用户点击数据对展示信息进行排序时,降低位置偏执对排序的影响,并提高排序的合理性,提高信息搜索、展示效率,为此,本申请实施例采用如下技术方案:
一种信息搜索方法,包括:
接收搜索请求;
获取所述搜索请求中携带的查询词;
参考与所述查询词相关的各待展示信息的排序权重值,将各待展示信息分配给搜索结果页面中的信息展示位;
其中,待展示信息的排序权重值通过以下步骤确定:获取点击日志内容,根据点击日志内容确定用户查看搜索结果页面中各展示位上的展示信息的概率,根据用户查看搜索结果页面中各展示位上的展示信息的概率,确定出与查询词相关的各待展示信息的排序权重值;其中,用户查看展示位i上的展示信息的概率依赖于:在展示位i之前的展示位上展示信息被点击的次数,以及在展示位i之前的展示位当中,其上的展示信息被点击过、且距离展示位i最近的展示位位置;
返回所述搜索结果页面。
一种信息搜索服务器,包括:
展示信息排序权重值确定装置,用于获取点击日志内容,根据点击日志内容获取用户查看搜索结果页面中各展示位上的展示信息的概率,根据用户查看搜索结果页面中各展示位上的展示信息的概率,确定出与查询词相关的各待展示信息的排序权重值;其中,用户查看展示位i上的展示信息的概率依赖于:在展示位i之前的展示位上展示信息被点击的次数,以及在展示位i之前的展示位当中,其上的展示信息被点击过、且距离展示位i最近的展示位位置;
接收模块,用于接收搜索请求;
获取模块,用于获取所述搜索请求中携带的查询词;
展示信息排序模块,用于参考所述展示信息排序权重值确定装置确定出的,与查询词相关的各待展示信息的排序权重值,将各待展示信息分配给搜索结果页面中的信息展示位;
发送模块,用于返回搜索结果页面。
一种展示信息排序权重值确定方法,包括:
获取点击日志内容;
根据点击日志内容获取各展示位上的展示信息的概率;
根据各展示位上的展示信息的概率,确定出与查询词相关的各待展示信息的排序权重值;其中,用户查看展示位i上的展示信息的概率依赖于:在展示位i之前的展示位上展示信息被点击的次数,以及在展示位i之前的展示位当中,其上的展示信息被点击过、且距离展示位i最近的展示位位置。
一种展示信息排序权重值确定装置,包括:
获取模块,用于获取点击日志内容;
概率计算模块,用于根据点击日志内容确定各展示位上的展示信息的概率;
权重值计算模块,用于根据各展示位上的展示信息的概率,确定出与查询词相关的各待展示信息的排序权重值;其中,用户查看展示位i上的展示信息的概率依赖于:在展示位i之前的展示位上展示信息被点击的次数,以及在展示位i之前的展示位当中,其上的展示信息被点击过、且距离展示位i最近的展示位位置。
本申请的上述实施例中,由于在对展示信息进行排序时,根据用户查看搜索结果页面中各展示位上的展示信息的概率,该概率依赖于:在展示位i之前的展示位上展示信息被点击的次数,以及在展示位i之前的展示位当中,其上的展示信息被点击过、且距离展示位i最近的展示位位置,因而考虑到了前一次用户所点击的展示信息所在的展示位位置以及已发生的点击次数,从而可以同时刻画出用户点击的展示位与前一次用户点击的展示位之间的距离和点击倾向衰减,从而提高了排序的合理性,并提高了信息搜索、展示效率。
附图说明
图1为本申请实施例中MCM的图模型示意图;
图2为本申请实施例提供的信息搜索流程示意图;
图3为本申请实施例提供的信息搜索服务器结构示意图;
图4为本申请实施例提供的展示信息排序权重值确定装置的结构示意图。
具体实施方式
在信息搜索服务器返回给用户的信息搜索结果页面的特定区域内,设置有数个信息展示位,用于展示与用户提交的查询词相关的展示信息。本申请实施例提供的信息搜索机制,在针对当前的搜索会话展示信息时,同时考虑在前一次用户所点击的展示信息所在的展示位位置以及已发生的点击次数,从而同时刻画出用户点击的展示位与前一次用户点击的展示位之间的距离和点击倾向衰减,从而克服现有点击模型的缺点。
本申请实施例提供的信息搜索服务器中包含有展示信息数据库和点击日志。
展示信息数据库中存储了展示信息数据,具体可包括展示信息的ID、标题、所属类目、属性等自身信息,还可进一步包括展示信息的竞价信息,包括竞价词、对竞价词的出价等信息。
当用户在搜索结果页面中选择展示信息并点击时,信息搜索服务器会将用户点击行为信息与本次搜索会话信息对应记录到点击日志中,如记录本次搜索会话的查询词以及用户所点击的展示位信息(如展示位排列位置、顺序号等)。具体的,点击日志中记录了用户每次查询及展示信息的相关信息,可包括查询词、各展示位所展示的广告信息、点击情况等信息,还可包括查询词对应的竞价词信息,其中,展示信息可包括展示信息的ID、标题、所属类目、属性等相关信息。
进一步的,考虑到点击日志中包含的信息较多,本申请实施例可采用离线方式对点击日志进行整理,只保留本申请实施例进行展示信息排序时所需要的参数。为了更进一步的减少运算量,可只保留最近一段时间内(时间长度可设置)的点击日志,以便作为对展示信息进行排序的依据。例如,整理后的点击日志的格式可以是:
C1:q=iphone;<a1,click=0>,<a2,click=1>,<a3,click=0>,<a4,click=1>,<a5,click=0>
C2:q=iphone;<a2,click=0>,<a1,click=1>,<a3,click=0>,<a4,click=0>,<a5,click=0>
C3:q=iphone;<a1,click=0>,<a3,click=1>,<a4,click=1>,<a2,click=1>,<a6,click=0>
其中,C1、C2、C3分别对应一次搜索会话,q表示查询词,a1、a2、a3、a4、a5、a6分别表示展示信息,一次搜索会话中的各展示信息按照展示位顺序记录,click=0表示未被点击,click=1表示被点击。例如,上述日志记录“C1:q=iphone;<a1,click=0>,<a2,click=1>,<a3,click=0>,<a4,click=1>,<a5,click=0>”表示:查询词为“iphone”,展示位从1至5按顺序展示有展示信息a1、a2、a3、a4、a5,其中展示为2、4上所展示的展示信息被点击。
下面将结合本申请中的附图,对本申请中的技术方案进行描述。
本申请实施例可基于C/S(客户端/服务器)或B/S(浏览器/客户端)架构实现,客户端(或浏览器)与服务器之间可通过互联网或无线通信等方式进行信息交互。其中,用户可通过所在客户端设备或浏览器提交包含查询词的信息搜索请求给服务器,服务器会根据查询词进行信息搜索,并返回搜索结果页面。
本申请实施例中的信息搜索服务器,一方面可以根据用户提交的查询词进行信息搜索,这部分处理可采用现有方式,对此本申请实施例不做具体限制;另一方面还可以根据用户提交的查询词搜索相关的展示信息并进行排序,以便在搜索结果页面的信息展示区域进行展示。其中,在进行展示信息排序时,信息搜索服务器采用本申请实施例提供的展示信息排序模型,这里将该模型称之为多重点击模型(Multiple Click Model,MCM)。
本申请实施例中的MCM模型基于如下假设:用户查看展示信息后点击该展示信息的概率依赖于该展示信息本身,以及用户查看展示信息的概率依赖于前一次用户点击的展示信息所在的展示位,以及用户点击过的展示信息的数目。下面对MCM模型进行详细描述。
为描述方便,在描述MCM模型之前,首先对相关的名词解释和参数定义进行如下说明:
搜索会话:是指针对一次搜索请求所得到的搜索结果的集合,对于同一个查询词可能会存在多个搜索会话。例如,对一个给定的查询词“连衣裙”,{I1,I2,I3,...,IN}表示其对应的搜索会话集合,其中N为搜索会话数目;
设展示信息数据库中共有D个展示信息数据,每个搜索会话中展示M个展示信息,则对于一个展示信息j(j表示展示信息的编号),用Rj表示对应于其质量分(Rj∈[0,1]),展示信息的质量分用于表示其排序权重,如质量分越高,其排序位置越靠前;对于一个搜索会话Lk,定义映射Φk:如果展示信息j在第i个展示位上展示,则记为Φk(i)=j;
为表达方便,定义Si=RΦ(i),即Si表示在第i个展示位上所展示的展示信息j的质量分(即排序权重)。
另外,本申请实施例使用Ei表示展示位i上的展示信息被查看的事件,使用Ci表示展示位i上的展示信息被点击的事件。
本申请实施例中,MCM模型基于以下假定:
(1)用户按照从上到下的顺序浏览信息展示位中的展示信息;
(2)用户查看某一个展示位(展示位i)上的展示信息的概率依赖于:在展示位i之前的展示位上,展示信息被点击的次数,以及在展示位i之前的展示位当中,其上的展示信息被点击过,且距离展示位i最近的展示位位置;
(3)若用户查看了某条展示信息,则其点击该展示信息的概率只依赖于该展示信息本身。
基于上述假设,MCM模型的概率公式表达如下:
P(E1=1)=β0,1,0
P(Ci=1|Ei=0,Si)=0,.................................[1]
P(Ci=1|Ei=1,Si)=Si
P(Ei=1|C1,...,Ci-1,Ci+1,...,CM)=βp,d,n
其中,P(E1=1)=β0,1,0为展示位1上的展示信息被查看的概率;
P(Ci=1|Ei=0,Si)=0表示当展示位i上的展示信息没有被查看到时,其被点击的概率为0;
P(Ci=1|Ei=1,Si)=Si表示展示位i上的展示信息被查看到时,其被点击的概率为Si
P(Ei=1|C1,...,Ci-1,Ci+1,...,CM)=βp,d,n为展示位i上的展示信息被查看的概率为βp,d,n。设本次搜索会话Ik属于搜索会话集合{I1,I2,I3,...,IN},则βp,d,n依赖于在搜索会话集合{I1,I2,I3,...,IN}中搜索会话Ik之前的各搜索会话中,展示位i之前的各展示位(展示位1,2,...,i-1)中,展示信息被点击的次数n,以及在展示位i之前的各展示位(展示位1,2,...,i-1)中,其展示信息被点击且距离展示位i最近的展示位p、展示位p与展示位i之间的距离d(d=i-p)。例如,搜索结果页面中有8个展示位,针对查询词“连衣裙”,在之前的搜索会话中用户的点击情况是:用户点击过位置1、2、5、7的展示信息,那么对于位置5,其在当前搜索会话中被查看的概率βp,d,n,其依赖于p,d,n,其中,p表示位置2(因为在位置5之前被点击的位置中位置2离位置5最近),d表示位置2到位置5之间的距离(d=5-2),n表示位置2之前(包括位置2)上的展示信息的点击次数(此处n=2,因为位置1和位置2上的展示信息分别被点击了1次)。
所有可能的(p,d,n)的组合可以表示为集合:
T={(p,d,n)|0≤p<M,1≤d≤M-p,0≤n≤p}........................[2]
其中,M表示展示位最大编号(展示位编号从1开始)。
图1示出了MCM模型的图模型示意,其中,E表示展示信息被查看到的事件,C表示展示信息被点击的事件,S表示在一个展示位上的展示信息的质量分(即排序权重)。图1表示如下含义,在同一查询词的搜索会话集合中:
位置1上的展示信息是否被点击依赖于位置1上的展示信息是否被看到,以及位置1上的展示信息本身;
位置2上的展示信息是否被点击依赖于位置2上的展示信息是否被看到,以及位置2上的展示信息本身;
位置M上的展示信息是否被点击依赖于位置M上的展示信息是否被看到,以及位置M上的展示信息本身;
位置2上的展示信息是否被看到依赖于位置1上的展示信息是否被点击;
位置3上的展示信息是否被看到依赖于位置1、2上的展示信息是否被点击;
位置M上的展示信息是否被看到依赖于位置1,2......M-1上的展示信息是否被点击。
根据贝叶斯原理,通过上述MCM模型,可以得到展示信息j的质量分Rj,以便作为展示信息排序的依据。
具体的,根据贝叶斯原理,有
P(R|C1:N)∝P(R)P(C1:N|R)∝P(CI:N|R)..................[3]
其中,式中R(R1,R2,...,RD)。
假定先验分布已知,对一个搜索会话Ik,有
P ( C k | S k ) = &Pi; i = 1 M P ( C i k | C 1 : i - 1 k , C i + 1 : M k , S k )
= &Pi; i = 1 M P ( C i k | E i k , S i k ) P ( E i k | C 1 : i - 1 k , C i + 1 : M k )
= &Pi; i = 1 M ( &beta; i k S i k ) C i k ( 1 - &beta; i k S i k ) 1 - C i k &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; [ 4 ]
其中, &beta; i k = &beta; p i k , d i k , n i k .
P ( S j k ) = P ( R &phi; k ( j ) ) ,
P ( C k | R ) = &Pi; i = 1 M P ( C i k | R &Phi; k ( 1 ) , R &Phi; k ( 2 ) , . . . , R &Phi; k ( M ) ) .................[5]
= &Pi; i = 1 M ( &beta; i k R &Phi; k ( i ) ) C i k ( 1 - &beta; i k R &Phi; k ( i ) ) 1 - C i k
利用式(5)计算式(3),可以得到R的后验分布:
P ( R | C 1 : N ) &Proportional; &Pi; k = 1 N &Pi; i = 1 M ( &beta; i k R &phi; k ( i ) ) C i k ( 1 - &beta; i k R &phi; k ( i ) ) 1 - C i k
&Proportional; &Pi; k = 1 N &Pi; i = 1 M ( &beta; i k ) C i k &Pi; k = 1 N &Pi; i = 1 M R &phi; k ( i ) C i k ( 1 - &beta; i k R &phi; k ( i ) ) 1 - C i k
&Proportional; &Pi; k = 1 N &Pi; i = 1 M R &phi; k ( i ) C i k ( 1 - &beta; i k R &phi; k ( i ) ) 1 - C i k ..................[6]
在式(6)中,为常数。注意到R(R1,R2,...,RD)相互独立,因而可以单独计算每个Rj,故P(Rj|C1:N)可以改写为
Figure BSA00000763805600101
其中,τ=(p,d,n),Clickj表示展示信息j获得的点击数,
Figure BSA00000763805600102
表示在τ状态下展示信息j展现却未获点击的数目。
这样,获得了P(Rj|C1:N)的未经归一化的封闭形式的表达式。利用数值积分可以计算出在Rj∈[0,1]上数学期望:
&mu; j = &Integral; 0 1 P ( R j | C 1 : N ) d R j &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; [ 8 ]
及其置信度:
&sigma; j = &Integral; &mu; - 0.05 &mu; + 0.05 P ( R j | C 1 : N ) d R j &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; [ 9 ]
在具体实施时,可以使用μj作为质量分,并利用σj根据不同的置信度要求对质量分进行过滤。
根据式(5),有
P ( C k ) = &Integral; R k P ( C k | R k ) P ( R k ) d R k = &Pi; i = 1 M ( &beta; i | 2 ) C i k ( 1 - &beta; i / 2 ) 1 - C i k &CenterDot; &CenterDot; &CenterDot; [ 10 ]
因此似然函数可以写成:
Figure BSA00000763805600106
其中 &tau; = ( p i k , d i k , n i k ) .
对其求导数,可以求得参数的极大似然估计值:
Figure BSA00000763805600108
MCM模型可通过训练方式得到,即,将MCM模型计算出的质量分作为特征,通过机器学习方法学习得到预估展示信息质量分的模型。经验表明,在机器学习方法产生的模型中,点击反馈质量分一般均为最重要的特征之一。
具体地,通过机器学习训练MCM模型的过程可以是:在历史点击日志中,对于每个查询记录和每个查询时点击的展示信息,提取一组特征,这些特征表达了查询和展示信息之间的相关性信息,如查询和展示信息之间的单词匹配比例等。可以将MCM计算出的质量分作为这一组特征中的一个。另外,对于每个查询和每个展示信息,从历史点击日志中,也可以知道其点击情况。将点击情况作特定的数学变换之后,作为训练目标值,这样就形成了训练数据集。然后,可以假设数据是从某种特定的模型中产出(模型包括逻辑回归(LogisticRegression),决策树(Decision Tree)等),根据训练数据集学习到模型中的参数。最后,可以利用训练得到的模型来对新的实例(此处即为查询-展示信息)的目标值(即为质量分)进行预测。
MCM模型的训练需要处理海量的点击数据,这些点击数据一般存储在分布式文件系统中。为了提高训练效率,可以采用并行的方式进行训练。使用分布式任务调度管理系统,如MapReduce架构,可以有效的提高训练效率。
基于上述MCM模型,图2示出了本申请实施例提供的信息搜索流程示意图,该流程描述了信息搜索服务器根据用户输入的查询词,搜索与该查询词相关的展示信息并进行排序,并最终在返回的搜索结果页面中进行展示的过程。该流程以信息搜索结果页面中包含M(M>1)个信息展示位为例描述,该流程可包括:
步骤201,信息搜索服务器接收用户输入的搜索请求,获取其中携带的查询词。
具体实施时,用户可在所在客户端设备上,通过信息搜索服务器提供的信息搜索查询界面输入查询词,并提交信息搜索请求给信息搜索服务器。
步骤202,信息搜索服务器搜索与该查询词相关的待展示信息。通常情况下,所述待展示信息的数量不少于搜索结果页面中的信息展示位数量,以便信息搜索服务器在搜索结果页面的所有信息展示位上显示展示信息。
具体实施时,信息搜索服务器可根据查询词从展示信息数据库中搜索与该查询词相关的M个展示信息,组成展示信息集合,以用于在返回给用户的搜索结果页面中进行展示。信息搜索服务器搜索到的展示信息数量也可以大于M′个,以便为后续进行排序处理时,为了根据各展示信息的质量分进行进一步筛选处理留出余量。其中,本申请实施例对搜索与查询词相关的展示信息时所采用的规则或算法不做限制。
步骤203,信息搜索服务器根据MCM模型以及点击日志中记录的内容,确定各待展示信息的质量分(即排序权重值)。
具体实施时,信息搜索服务器可首先根据用户提交的查询词查询点击日志,获取相同查询词的各检索会话中,用户对各展示位的点击情况,统计哪些展示位被点击过,以及这些被点击过的展示位的点击次数,然后,针对每个待展示信息,根据MCM模型计算出各待展示信息的质量分。比如,查询词为“iphone”的点击日志包括:
C1:q=iphone;<a1,click=0>,<a2,click=1>,<a3,click=0>,<a4,click=1>,<a5,click=0>
C2:q=iphone;<a2,click=0>,<a1,click=1>,<a3,click=0>,<a4,click=0>,<a5,click=0>
C3:q=iphone;<a1,click=0>,<a3,click=1>,<a4,click=1>,<a2,click=1>,<a6,click=0>
根据这些点击日志,通过MCM模型可以分别估计出
Figure BSA00000763805600121
...,
Figure BSA00000763805600123
其中,P(R_a1|iphone,C)表示展示信息a1在查询词iphone下,根据历史点击情况C(包括上述C1、C2、C3)估计出的点击概率;然后,根据P(R_a1|iphone,C),P(R_a2|iphone,C)...,P(R_a6|iphone,C)再利用数值积分求出
Figure BSA00000763805600125
,...,
Figure BSA00000763805600126
等,作为<iphone,a1>,<iphone,a2>,...,<iphone,a6>等的质量分。
进一步地,各待展示信息还对应设置有置信度,置信度可根据展示信息提供者的竞价、展示信息提供者(或展示信息)的大众认知度等因素设置,比如待展示信息的提供者的竞价越高,或是展示信息的大众认知度越高,其置信度越高。相应的,在步骤202中搜索出的展示信息数量大于M的情况下,确定各待展示信息的排序权重值之后,还可根据各待展示信息的置信度,对各待展示信息进行过滤,得到与搜索结果页面中的信息展示位数量相等的待展示信息。
例如,按照质量分从高到低对待展示信息进行排序,取前M个待展示信息以便分别在搜索结果页面中的M个展示位上展示。
步骤204,信息搜索服务器根据质量分,将各待展示信息分配给搜索结果页面中的信息展示位。
具体实施时,将各待展示信息分配给搜索结果页面中的信息展示位的基本原则与现有技术相同,即,靠前的展示位分配给质量分高的展示信息。
步骤205,信息搜索服务器返回搜索结果页面给提交搜索请求的用户所在的客户端,所述搜索结果页面中包括搜索结果信息,并在展示信息区域的M个展示位上分别展示通过上述流程搜索和排序后的M个展示信息。
上述流程仅描述了展示信息的搜索和排序过程,未描述根据查询词进行信息搜索以得到搜索结果的过程,该过程可采用现有方式实现,对此本申请实施例不做限定。
为了减少信息搜索服务器的响应时间,在本申请的另一实施例中,信息搜索服务器可采用离线数据处理方式,每天(该时间长度可设置)采用前述算法,使用MCM模型,以对点击日志作为依据,生成“查询词-展示信息质量分”数据,并存储到特定的索引结构中。其中,“查询词-展示信息质量分”数据中,针对点击日志中所记录的每个查询词,记录了该查询词所对应的相关展示信息的质量分。比如,信息搜索服务器中的离线数据处理模块可定时查询原始的点击日志,获取一段时间内的点击日志记录,对于日志记录中的每个查询词,查询展示信息数据库找到相关的展示信息(也可直接将日志记录中对应当前查询词所记录的展示信息作为本次排序计算的待展示信息),然后根据前述方法,利用MCM模型计算出各展示信息的质量分,并保持到“查询词-展示信息质量分”数据结构中。当信息搜索服务器接收到用户提交的搜索请求后,可根据搜索请求中的查询词,查询“查询词-展示信息质量分”数据,得到与该查询词对应的各展示信息的质量分,根据展示信息的质量分对展示信息进行排序,从而省去了根据查询词查询待展示信息的步骤,以及查询点击日志和根据MCM模型对待展示信息的质量分进行计算的步骤,因而减少了响应处理时间,提高了搜索效率。
进一步的,如果用户提交的查询词在“查询词-展示信息质量分”数据中没有记录,则信息搜索服务器还需要针对该查询词执行上述步骤202~205。
为了综合考虑用户的利益和展示信息提供者的利益,在本申请的另一实施例中,可在前述实施例的基础上,当得到各待展示信息的质量分之后,针对每个待展示信息,再结合该待展示信息提供者的竞价,计算出综合分数,然后根据综合分数进行排序。比如,可根据预先设置的权重值,对使用MCM模型计算出的待展示信息的质量分,与该待展示信息提供者的竞价进行加权求和,得到该待展示信息的综合分数。
基于相同的技术构思,本申请实施例还提供了一种展示信息排序权重值确定方法,其展示信息的排序权重值计算原理和过程与前述实施例相同。即:获取点击日志内容,根据点击日志内容获取各展示位上的展示信息的概率,根据各展示位上的展示信息的概率,确定出与查询词(如点击日志中记录的所有或部分查询词)相关的各待展示信息的排序权重值。其计算过程采用本申请前述实施例提供的MCM模型。进一步的,在确定出与查询词相关的各待展示信息的排序权重值之后,还可获取所述各待展示信息的提供者的竞价,根据所述各待展示信息的排序权重值和提供者的竞价,确定出综合排序权重值,作为展示信息排序的参考。
该实施例提供的展示信息排序权重值确定方法,可通过用户提交搜索请求触发,也可通过其它方式触发,比如管理员提交的计算展示信息排序权重值的命令,或者定时被触发。
基于相同的技术构思,本申请实施例还提供了一种信息搜索服务器,用于执行前述信息搜索流程。
如图3所示,本申请实施例提供的信息搜索服务器可包括:
展示信息排序权重值确定装置301,用于获取点击日志内容,根据点击日志内容获取用户查看搜索结果页面中各展示位上的展示信息的概率,根据用户查看搜索结果页面中各展示位上的展示信息的概率,确定出与查询词相关的各待展示信息的排序权重值;其中,用户查看展示位i上的展示信息的概率依赖于:在展示位i之前的展示位上展示信息被点击的次数,以及在展示位i之前的展示位当中,其上的展示信息被点击过、且距离展示位i最近的展示位位置;
接收模块302,用于接收搜索请求;
获取模块303,用于获取所述搜索请求中携带的查询词;
展示信息排序模块304,用于参考所述展示信息排序权重值确定装置确定出的,与查询词相关的各待展示信息的排序权重值,将各待展示信息分配给搜索结果页面中的信息展示位;
发送模块305,用于返回搜索结果页面。
此外,该信息搜索服务器还包括常规的信息搜索模块306,用于根据接收到的信息搜索请求,执行常规的信息搜索流程。
进一步的,展示信息排序权重值确定装置301还用于:在确定出与查询词相关的各待展示信息的排序权重值之后,获取所述各待展示信息的提供者的竞价,根据所述各待展示信息的排序权重值和提供者的竞价,确定出综合排序权重值。相应的,展示信息排序模块304在将各待展示信息分配给搜索结果页面中的信息展示位时所依据的排序权重值为综合排序权重值。
进一步的,展示信息排序模块304还用于:在获取模块303获取到查询词后,查询所述展示信息排序权重值确定装置事先确定出的,与所述查询词相关的各待展示信息的排序权重值。
进一步的,展示信息排序权重值确定装置301还用于:在确定出与查询词相关的各待展示信息的排序权重值之后,获取所述各待展示信息的提供者的竞价,根据所述各待展示信息的排序权重值和提供者的竞价,确定出综合排序权重值。相应的,展示信息排序模块305在将各待展示信息分配给搜索结果页面中的信息展示位时所依据的排序权重值为综合排序权重值。
具体的,展示信息排序权重值确定装置301可采用前述实施例提供的MCM模型确定出待展示信息的排序权重值,具体算法在此不再赘述。
本申请实施例还提供了一种展示信息排序权重值确定装置,该装置可用于图3所示的信息搜索服务器。如图4所示,该装置可包括:
获取模块401,用于获取点击日志内容;
概率计算模块402,用于根据点击日志内容获取各展示位上的展示信息的概率;
权重值计算模块403,用于根据各展示位上的展示信息的概率,确定出与查询词相关的各待展示信息的排序权重值;其中,用户查看展示位i上的展示信息的概率依赖于:在展示位i之前的展示位上展示信息被点击的次数,以及在展示位i之前的展示位当中,其上的展示信息被点击过、且距离展示位i最近的展示位位置。
进一步的,获取模块401还用于,获取所述各待展示信息的提供者的竞价。相应的,权重值计算模块403在确定出与查询词相关的各待展示信息的排序权重值之后,根据所述各待展示信息的排序权重值和提供者的竞价,确定出综合排序权重值,作为展示信息排序的参考。
具体的,权重值计算模块403可采用前述实施例提供的MCM模型确定出待展示信息的排序权重值,具体算法在此不再赘述。
本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台终端设备(可以是手机,个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视本申请的保护范围。

Claims (10)

1.一种信息搜索方法,其特征在于,该方法包括:
服务器接收搜索请求;
获取所述搜索请求中携带的查询词;
参考与所述查询词相关的各待展示信息的排序权重值,将各待展示信息分配给搜索结果页面中的信息展示位;
其中,待展示信息的排序权重值通过以下步骤确定:获取点击日志内容,根据点击日志内容确定用户查看搜索结果页面中各展示位上的展示信息的概率,根据用户查看搜索结果页面中各展示位上的展示信息的概率,确定出与查询词相关的各待展示信息的排序权重值;其中,用户查看展示位i上的展示信息的概率依赖于:在展示位i之前的展示位上展示信息被点击的次数,以及在展示位i之前的展示位当中,其上的展示信息被点击过、且距离展示位i最近的展示位位置;
返回所述搜索结果页面。
2.如权利要求1所述的方法,其特征在于,在确定出与查询词相关的各待展示信息的排序权重值之后,还包括:获取所述各待展示信息的提供者的竞价,根据所述各待展示信息的排序权重值和提供者的竞价,确定出综合排序权重值;
在将各待展示信息分配给搜索结果页面中的信息展示位时所参考的排序权重值为综合排序权重值。
3.如权利要求1所述的方法,其特征在于,所述参考与所述查询词相关的各待展示信息的排序权重值,将各待展示信息分配给搜索结果页面中的信息展示位之前,还包括:查询事先确定出的与所述查询词相关的各待展示信息的排序权重值的步骤。
4.如权利要求1-3之一所述的方法,其特征在于,待展示信息的排序权重值,是根据以下展示信息排序模型确定出来的:
P(E1=1)=β0,1,0
P(Ci=1|Ei=0,Si)=0,
P(Ci=1|Ei=1,Si)=Si
P(Ei=1|C1,...,Ci-1,Ci+1,...,CM)=βp,d,n
其中,Ei表示展示位i上的展示信息被查看的事件,Ci表示展示位i上的展示信息被点击的事件,Si表示展示位i上的展示信息的排序权重;
P(E1=1)=β0,1,0为展示位1上的展示信息被查看的概率;
P(Ci=1|Ei=0,Si)=0表示当展示位i上的展示信息没有被查看到时,其被点击的概率为0;
P(Ci=1|Ei=1,Si)=Si表示展示位i上的展示信息被查看到时,其被点击的概率为Si
P(Ei=1|C1,...,Ci-1,Ci+1,...,CM)=βp,d,n为展示位i上的展示信息被查看的概率为βp,d,n,βp,d,n依赖于所述查询词所属搜索会话集合中,展示位i之前的展示位中,展示信息被点击的次数n,以及在展示位i之前的展示位中,其展示信息被点击且距离展示位i最近的展示位p、展示位p与展示位i之间的距离d。
5.一种信息搜索服务器,其特征在于,包括:
展示信息排序权重值确定装置,用于获取点击日志内容,根据点击日志内容获取用户查看搜索结果页面中各展示位上的展示信息的概率,根据用户查看搜索结果页面中各展示位上的展示信息的概率,确定出与查询词相关的各待展示信息的排序权重值;其中,用户查看展示位i上的展示信息的概率依赖于:在展示位i之前的展示位上展示信息被点击的次数,以及在展示位i之前的展示位当中,其上的展示信息被点击过、且距离展示位i最近的展示位位置;
接收模块,用于接收搜索请求;
获取模块,用于获取所述搜索请求中携带的查询词;
展示信息排序模块,用于参考所述展示信息排序权重值确定装置确定出的,与查询词相关的各待展示信息的排序权重值,将各待展示信息分配给搜索结果页面中的信息展示位;
发送模块,用于返回搜索结果页面。
6.一种展示信息排序权重值确定方法,其特征在于,包括:
获取点击日志内容;
根据点击日志内容获取各展示位上的展示信息的概率;
根据各展示位上的展示信息的概率,确定出与查询词相关的各待展示信息的排序权重值;其中,用户查看展示位i上的展示信息的概率依赖于:在展示位i之前的展示位上展示信息被点击的次数,以及在展示位i之前的展示位当中,其上的展示信息被点击过、且距离展示位i最近的展示位位置。
7.如权利要求6所述的方法,其特征在于,在确定出与查询词相关的各待展示信息的排序权重值之后,还包括:获取所述各待展示信息的提供者的竞价,根据所述各待展示信息的排序权重值和提供者的竞价,确定出综合排序权重值,作为展示信息排序的参考。
8.如权利要求6或7所述的方法,其特征在于,待展示信息的排序权重值,是根据以下展示信息排序模型确定出来的:
P(E1=1)=β0,1,0
P(Ci=1|Ei=0,Si)=0,
P(Ci=1|Ei=1,Si)=Si
P(Ei=1|C1,...,Ci-1,Ci+1,...,CM)=βp,d,n
其中,Ei表示展示位i上的展示信息被查看的事件,Ci表示展示位i上的展示信息被点击的事件,Si表示展示位i上的展示信息的排序权重;
P(E1=1)=β0,1,0为展示位1上的展示信息被查看的概率;
P(Ci=1|Ei=0,Si)=0表示当展示位i上的展示信息没有被查看到时,其被点击的概率为0;
P(Ci=1|Ei=1,Si)=Si表示展示位i上的展示信息被查看到时,其被点击的概率为Si
P(Ei=1|C1,...,Ci-1,Ci+1,...,CM)=βp,d,n为展示位i上的展示信息被查看的概率为βp,d,n,βp,d,n依赖于所述查询词所属搜索会话集合中,展示位i之前的展示位中,展示信息被点击的次数n,以及在展示位i之前的展示位中,其展示信息被点击且距离展示位i最近的展示位p、展示位p与展示位i之间的距离d。
9.一种展示信息排序权重值确定装置,其特征在于,包括:
获取模块,用于获取点击日志内容;
概率计算模块,用于根据点击日志内容确定各展示位上的展示信息的概率;
权重值计算模块,用于根据各展示位上的展示信息的概率,确定出与查询词相关的各待展示信息的排序权重值;其中,用户查看展示位i上的展示信息的概率依赖于:在展示位i之前的展示位上展示信息被点击的次数,以及在展示位i之前的展示位当中,其上的展示信息被点击过、且距离展示位i最近的展示位位置。
10.如权利要求9所述的装置,其特征在于,所述权重值计算模块具体用于,根据以下展示信息排序模型确定待展示信息的排序权重值:
P(E1=1)=β0,1,0
P(Ci=1|Ei=0,Si)=0,
P(Ci=1|Ei=1,Si)=Si
P(Ei=1|C1,...,Ci-1,Ci+1,...,CM)=βp,d,n
其中,Ei表示展示位i上的展示信息被查看的事件,Ci表示展示位i上的展示信息被点击的事件,Si表示展示位i上的展示信息的排序权重;
P(E1=1)=β0,1,0为展示位1上的展示信息被查看的概率;
P(Ci=1|Ei=0,Si)=0表示当展示位i上的展示信息没有被查看到时,其被点击的概率为0;
P(Ci=1|Ei=1,Si)=Si表示展示位i上的展示信息被查看到时,其被点击的概率为Si
P(Ei=1|C1,...,Ci-1,Ci+1,...,CM)=βp,d,n为展示位i上的展示信息被查看的概率为βp,d,n,βp,d,n依赖于所述查询词所属搜索会话集合中,展示位i之前的展示位中,展示信息被点击的次数n,以及在展示位i之前的展示位中,其展示信息被点击且距离展示位i最近的展示位p、展示位p与展示位i之间的距离d。
CN201210289652.2A 2012-08-15 2012-08-15 信息搜索方法、展示信息排序权重值确定方法及其装置 Active CN103593353B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210289652.2A CN103593353B (zh) 2012-08-15 2012-08-15 信息搜索方法、展示信息排序权重值确定方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210289652.2A CN103593353B (zh) 2012-08-15 2012-08-15 信息搜索方法、展示信息排序权重值确定方法及其装置

Publications (2)

Publication Number Publication Date
CN103593353A true CN103593353A (zh) 2014-02-19
CN103593353B CN103593353B (zh) 2018-11-13

Family

ID=50083502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210289652.2A Active CN103593353B (zh) 2012-08-15 2012-08-15 信息搜索方法、展示信息排序权重值确定方法及其装置

Country Status (1)

Country Link
CN (1) CN103593353B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104142999A (zh) * 2014-08-01 2014-11-12 百度在线网络技术(北京)有限公司 搜索结果展示方法及装置
CN104657415A (zh) * 2014-11-28 2015-05-27 百度在线网络技术(北京)有限公司 一种用于展示点击结果页面的方法与设备
CN104915837A (zh) * 2014-03-11 2015-09-16 携程计算机技术(上海)有限公司 产品的展示数据计算应用方法及设备
CN105302898A (zh) * 2015-10-23 2016-02-03 天津车之家科技有限公司 一种基于点击模型的搜索排序方法及装置
CN105574030A (zh) * 2014-10-16 2016-05-11 腾讯科技(深圳)有限公司 一种信息搜索方法及装置
CN106339383A (zh) * 2015-07-07 2017-01-18 阿里巴巴集团控股有限公司 一种搜索排序方法及系统
CN106384254A (zh) * 2016-09-30 2017-02-08 北京奇虎科技有限公司 一种广告展示方法和装置
CN106446005A (zh) * 2015-08-07 2017-02-22 谷歌公司 因子分解模型
CN106844744A (zh) * 2017-02-15 2017-06-13 腾讯科技(深圳)有限公司 点击模型应用方法、装置及搜索系统
CN108280651A (zh) * 2016-12-30 2018-07-13 阿里巴巴集团控股有限公司 一种商品对象审核方法、装置及系统
CN108289053A (zh) * 2017-01-10 2018-07-17 阿里巴巴集团控股有限公司 即时通信会话的控制方法、装置和系统
CN108335137A (zh) * 2018-01-31 2018-07-27 北京三快在线科技有限公司 排序方法及装置、电子设备、计算机可读介质
CN105069099B (zh) * 2015-08-06 2018-10-19 北京奇艺世纪科技有限公司 一种信息推荐方法及系统
CN109213942A (zh) * 2017-06-30 2019-01-15 北京搜狗科技发展有限公司 一种搜索结果展示方法及装置
CN110619095A (zh) * 2019-09-23 2019-12-27 北京字节跳动网络技术有限公司 排序方法及装置
CN110674399A (zh) * 2019-09-10 2020-01-10 北京字节跳动网络技术有限公司 确定搜索项目的顺序的方法和装置
CN110796465A (zh) * 2018-08-03 2020-02-14 阿里巴巴集团控股有限公司 资源展示设备确定方法、广告展示屏幕确定方法及装置
CN111125322A (zh) * 2019-11-19 2020-05-08 北京金堤科技有限公司 信息搜索方法和装置、电子设备和存储介质
CN111144973A (zh) * 2019-11-29 2020-05-12 深圳市嘀哒知经科技有限责任公司 问题排名方法及计算机可读存储介质
CN113038242A (zh) * 2021-05-24 2021-06-25 武汉斗鱼鱼乐网络科技有限公司 直播卡片展示位置的确定方法、装置、设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753601B (zh) * 2018-11-28 2021-10-22 北京奇艺世纪科技有限公司 推荐信息点击率确定方法、装置及电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100507920C (zh) * 2007-05-25 2009-07-01 清华大学 一种基于用户行为信息的搜索引擎检索结果重排序方法
CN101256596B (zh) * 2008-03-28 2011-12-28 北京搜狗科技发展有限公司 一种站内导航的方法及系统
CN102542474B (zh) * 2010-12-07 2015-10-21 阿里巴巴集团控股有限公司 查询结果排序方法及装置
CN102591876A (zh) * 2011-01-14 2012-07-18 阿里巴巴集团控股有限公司 搜索结果排序方法及装置
CN102158365A (zh) * 2011-05-20 2011-08-17 北京邮电大学 一种网络日志挖掘中的用户聚类方法及系统
CN102622417B (zh) * 2012-02-20 2016-08-31 北京搜狗信息服务有限公司 对信息记录进行排序的方法和装置

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915837A (zh) * 2014-03-11 2015-09-16 携程计算机技术(上海)有限公司 产品的展示数据计算应用方法及设备
CN104142999B (zh) * 2014-08-01 2019-03-29 百度在线网络技术(北京)有限公司 搜索结果展示方法及装置
CN104142999A (zh) * 2014-08-01 2014-11-12 百度在线网络技术(北京)有限公司 搜索结果展示方法及装置
CN105574030A (zh) * 2014-10-16 2016-05-11 腾讯科技(深圳)有限公司 一种信息搜索方法及装置
CN105574030B (zh) * 2014-10-16 2019-07-12 腾讯科技(深圳)有限公司 一种信息搜索方法及装置
CN104657415A (zh) * 2014-11-28 2015-05-27 百度在线网络技术(北京)有限公司 一种用于展示点击结果页面的方法与设备
CN106339383B (zh) * 2015-07-07 2019-10-18 阿里巴巴集团控股有限公司 一种搜索排序方法及系统
CN106339383A (zh) * 2015-07-07 2017-01-18 阿里巴巴集团控股有限公司 一种搜索排序方法及系统
CN105069099B (zh) * 2015-08-06 2018-10-19 北京奇艺世纪科技有限公司 一种信息推荐方法及系统
CN106446005A (zh) * 2015-08-07 2017-02-22 谷歌公司 因子分解模型
CN106446005B (zh) * 2015-08-07 2020-08-18 谷歌有限责任公司 因子分解模型
CN105302898B (zh) * 2015-10-23 2019-02-19 车智互联(北京)科技有限公司 一种基于点击模型的搜索排序方法及装置
CN105302898A (zh) * 2015-10-23 2016-02-03 天津车之家科技有限公司 一种基于点击模型的搜索排序方法及装置
CN106384254A (zh) * 2016-09-30 2017-02-08 北京奇虎科技有限公司 一种广告展示方法和装置
CN108280651A (zh) * 2016-12-30 2018-07-13 阿里巴巴集团控股有限公司 一种商品对象审核方法、装置及系统
CN108289053B (zh) * 2017-01-10 2021-03-09 阿里巴巴集团控股有限公司 即时通信会话的控制方法、装置和系统
CN108289053A (zh) * 2017-01-10 2018-07-17 阿里巴巴集团控股有限公司 即时通信会话的控制方法、装置和系统
WO2018149363A1 (zh) * 2017-02-15 2018-08-23 腾讯科技(深圳)有限公司 点击模型应用方法、服务器、存储介质及搜索系统
CN106844744A (zh) * 2017-02-15 2017-06-13 腾讯科技(深圳)有限公司 点击模型应用方法、装置及搜索系统
CN106844744B (zh) * 2017-02-15 2020-10-16 腾讯科技(深圳)有限公司 点击模型应用方法、装置及搜索系统
CN109213942A (zh) * 2017-06-30 2019-01-15 北京搜狗科技发展有限公司 一种搜索结果展示方法及装置
CN108335137A (zh) * 2018-01-31 2018-07-27 北京三快在线科技有限公司 排序方法及装置、电子设备、计算机可读介质
CN108335137B (zh) * 2018-01-31 2021-07-30 北京三快在线科技有限公司 排序方法及装置、电子设备、计算机可读介质
CN110796465A (zh) * 2018-08-03 2020-02-14 阿里巴巴集团控股有限公司 资源展示设备确定方法、广告展示屏幕确定方法及装置
CN110674399A (zh) * 2019-09-10 2020-01-10 北京字节跳动网络技术有限公司 确定搜索项目的顺序的方法和装置
CN110674399B (zh) * 2019-09-10 2023-04-07 北京字节跳动网络技术有限公司 确定搜索项目的顺序的方法和装置
CN110619095A (zh) * 2019-09-23 2019-12-27 北京字节跳动网络技术有限公司 排序方法及装置
CN111125322A (zh) * 2019-11-19 2020-05-08 北京金堤科技有限公司 信息搜索方法和装置、电子设备和存储介质
CN111144973A (zh) * 2019-11-29 2020-05-12 深圳市嘀哒知经科技有限责任公司 问题排名方法及计算机可读存储介质
CN111144973B (zh) * 2019-11-29 2023-07-25 深圳市嘀哒知经科技有限责任公司 问题排名方法及计算机可读存储介质
CN113038242A (zh) * 2021-05-24 2021-06-25 武汉斗鱼鱼乐网络科技有限公司 直播卡片展示位置的确定方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN103593353B (zh) 2018-11-13

Similar Documents

Publication Publication Date Title
CN103593353A (zh) 信息搜索方法、展示信息排序权重值确定方法及其装置
US7818208B1 (en) Accurately estimating advertisement performance
US8484077B2 (en) Using linear and log-linear model combinations for estimating probabilities of events
US9589277B2 (en) Search service advertisement selection
US8738436B2 (en) Click through rate prediction system and method
US8078617B1 (en) Model based ad targeting
US10102482B2 (en) Factorized models
AU2010282449B2 (en) Context based resource relevance
US20130110829A1 (en) Method and Apparatus of Ranking Search Results, and Search Method and Apparatus
CN103116582B (zh) 一种信息检索方法及相关系统和装置
CN106504011A (zh) 一种业务对象的展示方法和装置
US11288709B2 (en) Training and utilizing multi-phase learning models to provide digital content to client devices in a real-time digital bidding environment
EP2407897A1 (en) Device for determining internet activity
US20120253945A1 (en) Bid traffic estimation
CN101390118A (zh) 预测广告质量
US20110191169A1 (en) Kalman filter modeling in online advertising bid optimization
CN109635206B (zh) 融合隐式反馈和用户社会地位的个性化推荐方法及系统
CN103886047A (zh) 面向流式数据的分布式在线推荐方法
US20140316850A1 (en) Computerized System and Method for Determining an Action&#39;s Importance and Impact on a Transaction
US20210342744A1 (en) Recommendation method and system and method and system for improving a machine learning system
CN103744958B (zh) 一种基于分布式计算的网页分类方法
CN114881712A (zh) 智能广告投放方法、装置、设备及存储介质
Li et al. Feature-based intermittent demand forecast combinations: accuracy and inventory implications
Sumathi et al. Automatic Recommendation of Web Pages in Web Usage Mining C
She et al. Research on advertising click-through rate prediction based on CNN-FM hybrid model

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1193199

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant