CN107153656B - 一种信息搜索方法和装置 - Google Patents

一种信息搜索方法和装置 Download PDF

Info

Publication number
CN107153656B
CN107153656B CN201610122130.1A CN201610122130A CN107153656B CN 107153656 B CN107153656 B CN 107153656B CN 201610122130 A CN201610122130 A CN 201610122130A CN 107153656 B CN107153656 B CN 107153656B
Authority
CN
China
Prior art keywords
information
click
behavior
candidate information
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610122130.1A
Other languages
English (en)
Other versions
CN107153656A (zh
Inventor
霍承富
汤佳宇
廖剑
林锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Singapore Holdings Pte Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201610122130.1A priority Critical patent/CN107153656B/zh
Publication of CN107153656A publication Critical patent/CN107153656A/zh
Application granted granted Critical
Publication of CN107153656B publication Critical patent/CN107153656B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation

Abstract

本申请实施例提供了一种信息搜索方法和装置,该方法包括:当接收到信息的搜索请求时,根据所述搜索请求查找一个或多个候选信息;查找在先针对所述候选信息进行操作的用户标识对应的行为置信度;根据所述行为置信度从所述一个或多个候选信息中选取一个或多个目标候选信息;以及返回所述一个或多个目标候选信息。本申请实施例避免了随着用户的行为模式发生变化而相应地修正升级的情况下,保证了作弊行为检测的召回率和准确率,大大降低了检测修正升级成本;提高了泛化能力,解决了当前信息的局限性,提高了作弊行为识别的召回率。

Description

一种信息搜索方法和装置
技术领域
本申请涉及计算机处理技术领域,特别是涉及一种信息搜索方法和一种信息搜索装置。
背景技术
随着网络的迅速发展,网络信息急剧增加。用户为了在海量的网络信息中寻找所需的网络信息,通常使用搜索引擎进行搜索。
搜索引擎指自动从因特网搜集信息,经过一定整理以后,提供给用户进行查询的系统,让用户尽可能快速地找到期望的结果,一般包括两个环节:
1、基于用户提交的搜索词,按文本匹配原则,召回相关的信息。
2、根据历史用户行为数据,预估这些信息在该搜索词下的点击率,按点击率高低排序,呈现给用户。
在预估信息的点击率时,根据历史用户的点击行为偏好,在信息的维度进行汇集,从而将用户偏好点击的信息优先展示。
假设信息的历史统计的真实点击率为hCTR(history click-through ratio),那么预估点击率pCTR(prediction clitck-through ratio)通常是对真实统计hCTR的逼近,可表示为:
pCTR=f(hCTR)
其中,f()表示预估的模型。
即历史统计点击率hCTR越高,那么预估点击率pCTR也会相应地越高。
采用模型预估的主要原因是通过特征泛化的形式,对那些历史统计数据稀疏的信息给出合理的预估值。
然而,目前这种机制不仅逐渐被作弊团体所利用,而且其排序效果也不高,严重影响了搜索引擎排序的准确性。
例如,少量非法厂商为了使自己的信息排序靠前,采用了雇人刷点击的方式,短期内将自己的信息点击率刷高,搜索引擎一般不能够有效地识别出这些刷点击行为,将这些信息排序在前,而用户所需的信息可能排序在后,影响用户的搜索体验。
发明内容
鉴于上述问题,提出了本申请实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种信息搜索方法和相应的一种信息搜索装置。
为了解决上述问题,本申请实施例公开了一种信息搜索方法,包括:
当接收到信息的搜索请求时,根据所述搜索请求查找一个或多个候选信息;
查找在先针对所述候选信息进行操作的用户标识对应的行为置信度;
根据所述行为置信度从所述一个或多个候选信息中选取一个或多个目标候选信息;以及
返回所述一个或多个目标候选信息。
可选地,所述行为置信度表征用户行为的可信程度,和/或,表征某用户行为对度量信息质量的价值;
所述方法还包括:
采集基于用户标识在针对展示的信息进行操作时产生的行为数据;
从所述行为数据中提取点击行为特征数据;以及
根据所述点击行为特征数据计算所述用户标识的行为置信度。
可选地,所述点击行为特征数据为信息、公司、行业中的至少一个维度的数据,包括如下的至少一者:
平均信息点击数、平均公司点击数、点击行业数、点击总数、平均行业点击数、平均点击时间间隔、平均点击序列长度。
可选地,所述根据所述点击行为特征数据计算所述用户标识的行为置信度的步骤包括:
将所述点击行为特征数据输入至预设的非线性模型中,以计算所述用户标识的行为置信度。
可选地,所述根据所述搜索请求查找一个或多个候选信息的步骤包括:
从所述搜索请求中提取搜索关键词;以及
在预设的索引文件中查找与所述搜索关键词匹配的候选信息。
可选地,所述根据所述行为置信度从所述一个或多个候选信息中选取一个或多个目标候选信息的步骤包括:
采用所述行为置信度计算所述一个或多个候选信息对应的一个或多个预估点击率;
至少按照所述一个或多个预估点击率对所述一个或多个候选信息进行排序;以及
按照排序从所述一个或多个候选信息中确定一个或多个目标候选信息。
可选地,所述采用所述行为置信度计算所述一个或多个候选信息对应的一个或多个预估点击率的步骤包括:
针对每个候选信息,查找每个用户标识对应的点击数和展示数;
采用所述行为置信度修正用户点击率,获得信息度量值;
将所述信息度量值与预设的模型预估误差之和设置为所述候选信息的预估点击率其中,所述用户点击率为所述点击数与所述展示数之间的比值。
本申请实施例还公开了一种信息搜索装置,包括:
候选信息查找模块,用于在接收到信息的搜索请求时,根据所述搜索请求查找一个或多个候选信息;
行为置信度查找模块,用于查找在先针对所述候选信息进行操作的用户标识对应的行为置信度;
目标候选信息选取模块,用于根据所述行为置信度从所述一个或多个候选信息中选取一个或多个目标候选信息;以及
目标候选信息返回模块,用于返回所述一个或多个目标候选信息。
可选地,所述行为置信度表征用户行为的可信程度,和/或,表征某用户行为对度量信息质量的价值;
所述装置还包括:
行为数据采集模块,用于采集基于用户标识在针对展示的信息进行操作时产生的行为数据;
点击行为特征数据提取模块,用于从所述行为数据中提取点击行为特征数据;以及
行为置信度计算模块,用于根据所述点击行为特征数据计算所述用户标识的行为置信度。
可选地,所述点击行为特征数据为信息、公司、行业中的至少一个维度的数据,包括如下的至少一者:
平均信息点击数、平均公司点击数、点击行业数、点击总数、平均行业点击数、平均点击时间间隔、平均点击序列长度。
可选地,所述行为置信度计算模块包括:
非线性模型计算子模块,用于将所述点击行为特征数据输入至预设的非线性模型中,以计算所述用户标识的行为置信度。
可选地,所述候选信息查找模块包括:
搜索关键词提取子模块,用于从所述搜索请求中提取搜索关键词;以及
索引文件查找子模块,用于在预设的索引文件中查找与所述搜索关键词匹配的候选信息。
可选地,所述目标候选信息选取模块包括:
预估点击率计算子模块,用于采用所述行为置信度计算所述一个或多个候选信息对应的一个或多个预估点击率;
排序子模块,用于至少按照所述一个或多个预估点击率对所述一个或多个候选信息进行排序;以及
确定子模块,用于按照排序从所述一个或多个候选信息中确定一个或多个目标候选信息。
可选地,所述预估点击率计算子模块包括:
历史数据查找单元,用于针对每个候选信息,查找每个用户标识对应的点击数和展示数;
信息度量值计算单元,用于采用所述行为置信度修正用户点击率,获得信息度量值;
预估点击率设置单元,用于将所述信息度量值与预设的模型预估误差之和设置为所述候选信息的预估点击率;
其中,所述用户点击率为所述点击数与所述展示数之间的比值。
本申请实施例包括以下优点:
本申请实施例通过行为置信度对检索进行修正,返回修正后的目标候选信息:
1、以用户为维度进行异常检测,识别出作弊行为,避免了随着用户的行为模式发生变化而相应地修正升级的情况下,保证了作弊行为检测的召回率和准确率,大大降低了检测修正升级成本;
2、以用户为维度进行异常检测,提高了泛化能力,解决了当前信息的局限性,提高了作弊行为识别的召回率;
3、通过行为置信度评价用户的点击行为对度量信息优劣质量的贡献度,使得建模时区别不同用户的点击行为数据,提升了建模准确性,进而提升了排序效果。
附图说明
图1是本申请的一种信息搜索方法实施例的步骤流程图;
图2是本申请的一种信息搜索装置实施例的结构框图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。
目前的一些搜索引擎根据信息的点击、曝光数据,采用逻辑回归(LR,LogisticRegression)模型预估信息的点击率,并按预估点击率从高到低排序。
令y表示历史用户浏览信息后是否点击,f表示信息特征,w表示特征权重,LR模型采用最大似然求解特征权重w,最优化目标关系式(如表达式)如下:
Figure BDA0000934199570000051
其中,yk表示信息k的标准目标,如果样本k在一次曝光中被点击,那么yk=1,否则yk=0;w为待求解的模型参数向量;fk表示信息k抽取得到的特征向量,特征维度可以包括信息ID、信息标题、信息所属行业、信息所属公司等等。
待w求解得到后,对于任意给定信息,抽取出其特征fx,则其预估点击率为:
pCTR=func(w,fx)
其中,func()为预设的模型,以LR模型为例,func()可表示为:
Figure BDA0000934199570000061
历史统计点击率hCTR是根据日志数据的统计值,由于很多信息曝光点击数据稀疏,如最新发布的产品,那么,历史统计点击率hCTR就不置信。
例如,如果某个新发布的产品曝光1次、并且发生了1次点击,hCTR就等于1,排序就绝对靠前,有可能是误点噪声,因此,这个hCTR是不置信的。
又例如,如果某个新发布的产品曝光1次,但是没有发生点击,hCTR就等于0,排序就绝对靠后,同样,这个hCTR也是不置信的。
因此,在这种情况下,hCTR就不能有效度量这些信息的优劣。
因此,可以以曝光点击产品的历史统计点击率hCTR为目标,以曝光点击产品的信息(例如,标题、价格、图片)构建特征fx,从而训练出模型权重w。
这样,对于新发布的产品等没有曝光点击数据,我们也能够根据其产品信息设计出特征,并根据模型权重w计算预估点击率pCTR。
对于曝光点击数据丰富的信息,pCTR就约等于hCTR,对于曝光点击数据稀疏的信息,pCTR就近似等于其假设足够曝光情况下的hCTR。
以下表所示数据为例:
Figure BDA0000934199570000062
Figure BDA0000934199570000071
其中,ID1、ID2、ID3的信息在搜索关键词“Mp3”下被召回,其历史统计点击率hCTR可分别表示为:
hCTR1=3/100=0.03
hCTR2=5/100=0.05
hCTR3=50/100=0.5
在模型预估准确的情况下,预估点击率pCTR是统计点击率hCTR的近似,因此,信息ID1、信息ID2、信息ID3等信息的预估点击率pCTR是可表示为:
pCTRi=hCTRii
其中,εi为模型预估误差(即历史统计点击率hCTR和预估点击率pCTR之间的差异),εi越小,表示模型预估越准确。
εi通常和模型的选择、特征的设计比较相关,通常0<εi<<1,结合上表的数据,ID1的信息的点击数为3,曝光数为100,那么其历史统计点击率hCTR为0.03,假设信息ID1的信息的标题单词长度为10、价格为5,以这两个数据为信息特征,及标题长度特征f1=10,价格特征f2=5,假设模型训练出的w1=-0.3,w2=-0.1,代入pCTR=func(w,fx)中,计算出pCTR=0.0293,此时误差为0.0007。
需要说明的是,采用模型预估而非历史统计点击率排序,可以避免数据稀疏的影响,因为有历史点击的信息数量不多。
当用户搜索Mp3时,信息ID1、信息ID2、信息ID3的排序为:
ranker1-ID3(pCTR=0.50+ε3)
ranker2-ID2(pCTR=0.05+ε2)
ranker3-ID1(pCTR=0.03+ε1)
通常而言,搜索引擎中的信息的点击率小于0.10,而上表中所举示例中ID3的信息的点击率异常高,属于刷点击的作弊行为嫌疑比较高。
为了确保搜索引擎的公正性,维护用户的搜索体验,很多搜索引擎都配置反作弊机制,采用异常检测算法,清除ID3的信息中的异常点击,并基于清除后的数据训练LR模型计算预估点击率。
假设反作弊机制检测出ID3的信息有46个点击是作弊,那么ID3的历史统计点击率可表示为:
hCTR3=(50-46)/100=0.04
如此,基于清理后的数据建模,当用户搜索MP3时,三个产品的排序为:
ranker1–ID2(pCTR=0.05+ε2)
ranker2–ID3(pCTR=0.04+ε3)
ranker3-ID1(pCTR=0.03+ε1)
很多搜索引擎剔除作弊行为的方法,其主要对象是信息的维度,即对信息的每一个点击进行异常检测,并根据检测结果判定该点击是否保留于训练数据。
这种异常检测方式的缺点至少包括如下几点:
1、作弊用户的行为模式通常是变化的,对信息维度的点击进行异常检测规则也需要相应地修正升级,以维持作弊行为检测的召回率和准确率,检测修正升级成本较高。
例如,初始刷点击的作弊行为,是为了尽快拿到效果,会在短时间对同一个信息内连续点击,那么异常检测规则可设置为点击时间间隔是否超过阈值,如果没有超过阈值,那么就认为是作弊的点击。
随后,作弊用户发现这一异常检测规则之后,可能会升级作弊模式,将作弊的点击分散到各个时间段,那么这个异常检测规则就无法生效,从而严重影响作弊行为的清理效果,最终影响排序效果。
2、作弊用户的标签有效性是持续的,如果一个用户是作弊的,那么这个用户所有行为都应该不是百分百置信的,而对信息维度的点击进行异常检测只限定于当前信息,作弊行为识别的召回率较低。
例如,用户A对信息1短时间内连续点击了46次,同时对信息2在相对比较长的一段时间内连续点击了100次,进行异常检测,能够对信息1的46次点击识别为作弊,并在模型训练前清理掉,而很难检测出信息2的100次作弊点击。
3、即使用户是非作弊的,由于不同用户的点击倾向不同,那么,用户的点击行为对度量信息优劣质量的贡献度不同,在建模时不同用户的点击行为数据应该区分对待,以提升建模准确性,然而这一点被很多搜索引擎所忽略,没有对用户点击倾向进行太多的分析和应用,将所有用户的点击行为数据同等对待,导致排序效果较差。
例如,用户A点击倾向比较低,平均每次搜索,会点击10个信息,用户B点击倾向比较高,平均每次搜索,只会点击2个较为相关的信息。
假设用户A点击了ID1的信息一次,用户B点击了ID2的信息一次,那么在搜索排序时,ID2的信息更应该排序在ID1的信息之前,而很多搜索引擎通常没有区分。
这种基于信息的维度进行作弊检测的排序方式可能会导致用户需求的信息的排序很低,使得其展示的位置靠后,甚至无法展示。
一方面,这些不匹配用户需求的信息不仅占用了网络平台的资源,而且还占用了客户端的资源,造成不必要的资源占用与浪费。
另一方面,用户需要获取自己感兴趣的信息,可能需要进行多次翻页操作,甚至再次去其他平台进行搜索,再次进行海量信息的搜索、对比、筛选等获取相关的信息,操作更加繁琐,耗费用户的时间,而且,将大大增加其他平台和客户端的资源消耗。
基于上述问题,本申请实施例从用户的维度分析行为数据,将作弊用户和不同点击倾向的用户统一于用户行为置信度指标,并用该行为置信度修正该用户所有点击过的信息的训练数据,提升建模准确性,从而提升排序的准确性,优化用户搜索体验。
本申请实施例,可以将置信用户行为抽象为以下几个合理的规则:
(1)、假设用户的点击集中在一个产品,那么该用户有可能是作弊用户,其行为不置信。
(2)、假设用户的点击集中在一个公司,那么该用户有可能是作弊用户,其行为不置信。
(3)、如果用户的点击非常多,那么该用户点击倾向比较低,用户行为不置信。
上述规则之所以合理的前提是,用户作弊的对象是有针对性的,即其刷点击行为是为了提高某一个产品或者公司的搜索排名。
然而,上述规则可能过于严格,造成泛化能力不足,其中,泛化能力指的是某种处理方式能够覆盖的范围。
以作弊用户举例而言,如果用户A接受了ID1的信息的刷点击的任务,那么用户A也有可能接受产品ID2的信息的刷点击的任务。
因此,用户A的点击主要集中在ID1和ID2的信息上,但是ID1和ID2两者的刷点击的作弊模式可能不同,使得一种反作弊检测机制只能检测出一种模式的作弊点击。
为了提升规则的泛化性,并且方便建模,本申请实施例可以将抽象规则修正为:
(1)、如果用户的点击行为数非常多,那么其行为不置信。
(2)、如果用户对信息的平均点击数很大,那么其作弊的嫌疑比较高、行为不置信。
(3)、如果用户对公司的平均点击数很大,那么其作弊的嫌疑比较高、行为不置信。
参照图1,示出了本申请的一种信息搜索方法实施例的步骤流程图,该方法100具体可以包括如下步骤:
步骤101,当接收到信息的搜索请求时,根据所述搜索请求查找一个或多个候选信息;
需要说明的是,在本申请实施例可以应用在网络平台的搜索引擎中,其可以为服务器或服务器集群,如分布式系统,存储了海量的信息。
在不同的领域中,可以具有不同的信息,该信息为体现该领域特性的数据。
例如,在新闻媒体领域中,该信息可以为新闻数据,在网络领域中,该信息可以为网页数据,在电子商务领域中,该信息可以为广告数据,等等。
在不同的领域中,虽然该信息承载领域特性而有所不同,但其本质都是数据,例如,文本数据、图像数据、音频数据、视频数据等等,相对地,对该信息的处理,本质都是对数据的处理。
候选信息、目标信息等是逻辑意义上的本同,其本质也是信息。
信息的搜索请求可以是指客户端(如浏览器)发出的搜索信息的指示,对于网络平台而言,该搜索请求相当于流量(traffic,网站的访问量)。
通常情况下,网络平台的流量可以是网络平台本身的流量,也可以是外部(服务器)引入的流量,因此,用户可以在网络平台本身或者其他网站进行操作,触发信息的搜索请求。
例如,用户可以在网络平台的页面输入某个搜索关键词触发信息的搜索请求,也可以在搜索引擎中搜索某个关键词触发信息的搜索请求,还可以在其他网站浏览相关的网页、点击Logo触发业务对象的信息的搜索请求,等等。
以输入某个搜索关键词触发信息的搜索请求为例,则在本示例中,步骤101可以包括如下子步骤:
子步骤S11,从所述搜索请求中提取搜索关键词;
子步骤S12,在预设的索引文件中查找与所述搜索关键词匹配的候选信息。
应用本申请实施例,可以预先对信息建立索引文件,如正排索引、倒排索引(inverted index)等。
而索引文件一般由索引表和主文件两部分构成,索引表是一张指示逻辑记录和物理记录之间对应关系的表,索引表中的每项称作索引项,索引项是按键(或逻辑记录号)顺序排列。
以倒排索引为例,倒排索引的索引对象是信息或者信息集合(如网页数据、广告数据等)中的单词(如标题)等,用来存储这些单词在一个文档或者一组文档中的存储位置。
例如,某个索引文件的格式为Term:DocID,标题.....,在检索中召回过程主要基于Term匹配完成的。
假设有两个Doc(信息),它们的信息为:
Doc1:标题为red mp3 player
Doc2:标题为best mp3
这两个Doc在索引文件的格式为:
red:Doc1
mp3:Doc1、Doc2
player:Doc1
best:Doc2
当用户提交的搜索关键词为“mp3 player”时,在索引文件会分别用“mp3”召回Doc1和Doc2,用player召回Doc1,并取两者的交集Doc1作为最终召回的候选信息。
步骤102,查找在先针对所述候选信息进行操作的用户标识对应的行为置信度;
在本申请实施例中,用户标识为能够代表一个唯一确定的用户的信息,例如,用户账号、cookie、IMEI(International Mobile Equipment Identity,移动设备国际身份码)、Mac(Media Access Control或者Medium Access Control,物理地址或者硬件地址)地址等等。
若召回了搜索请求所需的候选信息,则可以查找在先针对候选信息进行操作(如搜索展示、点击、评论、购买等等)的用户标识,在数据库、Hash(哈希)表等存储空间中查找该用户标识的行为置信度。
一方面,行为置信度可以表征某个用户(以用户标识表征)的用户行为的可信程度,可信程度与行为置信度成正比,即可信程度越高,行为置信度越高。
例如,刷点击率等作弊行为的行为置信度较低,反之,正常(非作弊)点击行为的行为置信度较高。
另一方面,行为置信度可以表征某个用户(以用户标识表征)的用户行为对度量信息质量的价值,价值与行为置信度成正比,即价值越高,行为置信度越高。
在本申请的一种实施例中,可以通过以下方式计算行为置信度:
子步骤S21,采集基于用户标识在针对展示的信息进行操作时产生的行为数据;
在具体实现中,可以通过网站日志等方式采集源数据,如对源数据进行解析,去掉无意义的信息,如字段“-”,获得结构化的行为数据,如用户ID,用户访问的信息ID,访问时间,用户行为(如搜索展示、点击、评论、购买等等),等等。
例如,网站日志为:
118.112.27.164---[24/Oct/2012:11:00:00+0800]"GET/b.jpg?cD17Mn0mdT17L2NoaW5hLmFsaWJhYmEuY29tL30mbT17R0VUfSZzPXsyMDB9JnI9e2h0dHA6Ly9mdy50bWFsbC5jb20vP3NwbT0zLjE2OTQwNi4xOTg0MDEufSZhPXtzaWQ9MTdjMDM2MjEtZTk2MC00NDg0LWIwNTYtZDJkMDcwM2NkYmE4fHN0aW1lPTEzNTEwNDc3MDU3OTZ8c2RhdGU9MjR8YWxpX2FwYWNoZV9pZD0xMTguMTEyLjI3LjE2NC43MjU3MzI0NzU5ODMzMS43fGNuYT0tfSZiPXstfSZjPXtjX3NpZ25lZD0wfQ==&pageid=7f0000017f00000113511803054674156071647816&sys=ie6.0|windowsXP|1366*768|zh-cn&ver=43&t=1351047705828HTTP/1.0"200-"Mozilla/4.0(compatible;MSIE 6.0;Windows NT 5.1;SV1;.NET CLR 2.0.50727)"118.112.27.164.135104760038.61^sid%3D17c03621-e960-4484-b056-d2d0703cdba8%7Cstime%3D1351047705796%7Csdate%3D24|cna=-^-^aid=118.112.27.164.72573247598331.7
过滤后获得的结构化的行为数据为:
1,b2b-1633112210,1215596848,1,07/Aug/2013:08:27:22
子步骤S22,从所述行为数据中提取点击行为特征数据;
点击行为特征数据,可以指表征用户在点击时的特征的信息。
在本申请实施例中,可以从行为数据中直接过滤出点击行为特征数据,或者,对点击行为特征数据进行统计,获得目标特征数据,以训练用户行为置信度。
在本申请实施例中,点击行为特征数据落为特征数据为信息、公司、行业中的至少一个维度的数据,具体包括如下的至少一者:
平均信息点击数、平均公司点击数、点击行业数、点击总数、平均行业点击数、平均点击时间间隔、平均点击序列长度。
其中,平均信息点击数,可以指某个用户(以用户标识表征)对在一定时间内平均对每个信息的点击数量,为点击的总数量与信息的总数量之间的比值;
平均公司点击数,可以指某个用户(以用户标识表征)对在一定时间内平均对每个公司的信息的点击数量,为点击的总数量与公司的总数量之间的比值;
点击行业数,可以指某个用户(以用户标识表征)对在一定时间内点击的信息所属的行业的数量;
点击总数,可以指某个用户(以用户标识表征)对在一定时间内的点击数量,不区分公司、行业;
平均行业点击数,可以指某个用户(以用户标识表征)对在一定时间内平均对每个行业的信息的点击数量,为点击的总数量与行业的总数量之间的比值;
平均点击时间间隔,可以指某个用户(以用户标识表征)在一定时间内的每次搜索时,每两次点击行为之间的平均时间间隔;
平均点击序列长度,可以指某个用户(以用户标识表征)在一定时间内每次搜索时的平均点击次数,为点击的总数量与搜索次数的比值。
当然,上述点击行为特征数据只是作为示例,在实施本申请实施例时,可以根据实际情况设置其他点击行为特征数据,本申请实施例对此不加以限制。另外,除了上述判断点击行为特征数据外,本领域技术人员还可以根据实际需要采用其它点击行为特征数据,本申请实施例对此也不加以限制。
子步骤S23,根据所述点击行为特征数据计算所述用户标识的行为置信度。
在具体实现中,特征通常分为离散型和连续型,离散型通常用“1”和“0”表示这个特征“有”和“没有”,而本申请中的点击行为特征数据,如平均信息点击数、平均公司点击数、点击行业数、点击总数、平均行业点击数、平均点击时间间隔、平均点击序列长度等,大多是一个大于0的实数,为连续型的连续值。
如果采用线性模型计算行为置信度,对于给定的特征权重w和连续型特征f,其预估分值为w·f,如果w>0,那么f越大,预估分值就越高,如果w<0,那么f越大,预估分值就越小,而很多实际情况并不是这么简单的线性关系。
因此,可以采用非线性模型(如决策树,Decision Tree)计算行为置信度,以决策树为例,决策树可以在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的概率,评价项目风险,判断其可行性,能够避免连续型特征值描述非线性问题的不足。
具体而言,将点击行为特征数据输入至预设的非线性模型中,以计算所述用户标识的行为置信度,即预测该用户(以用户标识表征)为作弊用户或正常用户的概率,和/或,其行为对度量信息优劣质量的价值。
该非线性模型可以包括GBDT模型(Gradient Boosting Decision Tress)、ID3和C4.5等等。
以GBDT模型为例,GBDT是一种迭代的决策树算法,由多棵决策树组成,在是先构造一棵决策树,然后不断在已有决策树和实际样本输出的残差上再构造一棵决策树,依次迭代,所有决策树的结果累加起来做最终结果。
GBDT模型可以以如下公式表示:
Funcm(fx)=func0+a1func1(fx)+a2func2(fx)+…+amfuncm(fx)
其中,fx表示样本特征(如点击行为特征数据),funci表示第i(i≤m,i、m为整数)棵决策树,func0表示模型常数,ai表示第i棵决策树的加权系数。
步骤103,根据所述行为置信度从所述一个或多个候选信息中选取一个或多个目标候选信息;
在本申请实施例中,可以采用行为置信度对候选信息的选取进行修正。
在本申请的一个实施例中,步骤103可以包括如下子步骤:
子步骤S31,采用所述行为置信度计算所述一个或多个候选信息对应的一个或多个预估点击率;
预估点击率,可以指对某个信息将要在某个情形下展现前,预估其可能的点击概率。
在本申请实施例的一个示例中,子步骤S31进一步可以包括如下子步骤:
子步骤S311,针对每个候选信息,查找每个用户标识对应的点击数和展示数(又称曝光数);
子步骤S312,采用行为置信度修正用户点击率,获得信息度量值;
其中,用户点击率为点击数与展示数之间的比值。
若候选信息对应的用户标识为一个,则可以以该用户标识的用户点击率与行为置信度的乘积作为信息度量值。
若候选信息对应的用户标识为多个,则可以计算每个用户标识的用户点击率与行为置信度的乘积,采用乘积计算信息度量值,如所有乘积的平均值、所有乘积的加权平均值等等。
修正之后的用户点击率,可以作为信息度量值,度量某个候选信息的质量。
子步骤S313,将信息度量值与预设的模型预估误差之和设置为候选信息的预估点击率。
在本示例中,预估点击率可以表示如下:
pCTR=(点击数*行为置信度)/展示数+ε
以下表所示数据为例:
Figure BDA0000934199570000161
Figure BDA0000934199570000171
其中,ID1、ID2、ID3的信息在搜索关键词“Mp3”下被召回。
假设ID1的信息由用户A点击了3次,ID2的信息由用户B点击了5次,ID3的信息由用户C点击了50次,用户A的行为置信度为0.8,用户B的行为置信度为0.5,用户C的行为置信度为0.01,那么,修正后的预估点击率可分别表示为:
pCTR1=(3*0.8)/100+ε1=0.024+ε1
pCTR2=(5*0.5)/100+ε2=0.025+ε2
pCTR3=(50*0.01)/100+ε1=0.005+ε3
需要说明的是,信息度量值的计算(步骤102,步骤103中的子步骤S311、S312,)和/或预估点击率的计算(步骤102,步骤103中的子步骤S31)可以在离线时执行,也可以在线搜索时进行执行,本申请实施例对此不加以限制。
若离线计算了信息度量值,则在线搜索时提取候选信息对应的信息度量值,计算预估点击率;
若离线计算了预估点击率,则在线搜索时直接提取候选信息对应的预估点击率。
子步骤S32,至少按照所述一个或多个预估点击率对所述一个或多个候选信息进行排序;
以上表所示数据为例,基于修正后的数据训练点击率预估模型,最终的搜索排序序列为:
ranker1–ID2(pCTR=0.025+ε2)
ranker2–ID1(pCTR=0.024+ε1)
ranker3–ID3(pCTR=0.005+ε3)
当然,除了预估点击率之外,还可以采用其他参数进行排序,例如,广告数据的竞价bidprice、信息的质量等等,本申请实施例对此不加以限制。
子步骤S33,按照排序从所述一个或多个候选信息中确定一个或多个目标候选信息。
由于客户端展示的位置一般有限,因此,可以优先选取排序最高的前N个候选信息作为目标候选信息。
步骤104,返回所述一个或多个目标候选信息。
在具体实现中,网络平台可以对客户端的加载请求进行响应,将查找到的目标业务对象推送至客户端,由客户端在承载页面进行加载,展示给用户。
若在分布式系统等计算机集群中,应用服务器接收到加载请求后,确定目标业务对象,根据该目标对象的ID从资源服务器请求该目标对象的数据,然后连同承载页面返回客户端进行展示。
本申请实施例通过行为置信度对检索进行修正,返回修正后的目标候选信息:
1、以用户为维度进行异常检测,识别出作弊行为,避免了随着用户的行为模式发生变化而相应地修正升级的情况下,保证了作弊行为检测的召回率和准确率,大大降低了检测修正升级成本;
2、以用户为维度进行异常检测,提高了泛化能力,解决了当前信息的局限性,提高了作弊行为识别的召回率;
3、通过行为置信度评价用户的点击行为对度量信息优劣质量的贡献度,使得建模时区别不同用户的点击行为数据,提升了建模准确性,进而提升了排序效果。
此外,本申请实施例由于排序效果提升了,因此提高了用户需求的信息的展示几率,降低了当前平台、客户端的资源占用与浪费,避免用户多次翻页操作或者去其他平台进行搜索,提高了操作的简便性,减少用户时间的耗费,也减少了其他平台和客户端的资源消耗。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请实施例并不受所描述的动作顺序的限制,因为依据本申请实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本申请实施例所必须的。
参照图2,示出了本申请的一种信息搜索装置实施例的结构框图,该装置200具体可以包括如下模块:
候选信息查找模块201,用于在接收到信息的搜索请求时,根据所述搜索请求查找一个或多个候选信息;
行为置信度查找模块202,用于查找在先针对所述候选信息进行操作的用户标识对应的行为置信度;
目标候选信息选取模块203,用于根据所述行为置信度从所述一个或多个候选信息中选取一个或多个目标候选信息;以及
目标候选信息返回模块204,用于返回所述一个或多个目标候选信息。
在本申请的一个实施例中,所述行为置信度可以表征用户行为的可信程度,和/或,可以表征某用户行为对度量信息质量的价值;
所述装置还可以包括如下模块:
行为数据采集模块,用于采集基于用户标识在针对展示的信息进行操作时产生的行为数据;
点击行为特征数据提取模块,用于从所述行为数据中提取点击行为特征数据;以及
行为置信度计算模块,用于根据所述点击行为特征数据计算所述用户标识的行为置信度。
在具体实现中,所述点击行为特征数据可以为信息、公司、行业中的至少一个维度的数据,可以包括如下的至少一者:
平均信息点击数、平均公司点击数、点击行业数、点击总数、平均行业点击数、平均点击时间间隔、平均点击序列长度。
在本申请的一个实施例中,所述行为置信度计算模块可以包括如下子模块:
非线性模型计算子模块,用于将所述点击行为特征数据输入至预设的非线性模型中,以计算所述用户标识的行为置信度。
在本申请的一个实施例中,所述候选信息查找模块201可以包括如下子模块:
搜索关键词提取子模块,用于从所述搜索请求中提取搜索关键词;以及
索引文件查找子模块,用于在预设的索引文件中查找与所述搜索关键词匹配的候选信息。
在本申请的一个实施例中,所述目标候选信息选取模块203可以包括如下子模块:
预估点击率计算子模块,用于采用所述行为置信度计算所述一个或多个候选信息对应的一个或多个预估点击率;
排序子模块,用于至少按照所述一个或多个预估点击率对所述一个或多个候选信息进行排序;以及
确定子模块,用于按照排序从所述一个或多个候选信息中确定一个或多个目标候选信息。
在本申请实施例的一个示例中,所述预估点击率计算子模块可以包括如下单元:
历史数据查找单元,用于针对每个候选信息,查找每个用户标识对应的点击数和展示数;
信息度量值计算单元,用于采用所述行为置信度修正用户点击率,获得信息度量值;
预估点击率设置单元,用于将所述信息度量值与预设的模型预估误差之和设置为所述候选信息的预估点击率;
其中,所述用户点击率为所述点击数与所述展示数之间的比值。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
在一个典型的配置中,所述计算机设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非持续性的电脑可读媒体(transitory media),如调制的数据信号和载波。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种信息搜索方法和一种信息搜索装置,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种信息搜索方法,其特征在于,包括:
当接收到信息的搜索请求时,根据所述搜索请求查找一个或多个候选信息;
查找在先针对所述候选信息进行操作的用户标识对应的行为置信度;
根据所述行为置信度从所述一个或多个候选信息中选取一个或多个目标候选信息;以及
返回所述一个或多个目标候选信息;
其中,所述根据所述行为置信度从所述一个或多个候选信息中选取一个或多个目标候选信息的步骤包括:
采用所述行为置信度计算所述一个或多个候选信息对应的一个或多个预估点击率;
至少按照所述一个或多个预估点击率对所述一个或多个候选信息进行排序;以及
按照排序从所述一个或多个候选信息中确定一个或多个目标候选信息。
2.根据权利要求1所述的方法,其特征在于,所述行为置信度表征用户行为的可信程度,和/或,表征某用户行为对度量信息质量的价值;
所述方法还包括:
采集基于用户标识在针对展示的信息进行操作时产生的行为数据;
从所述行为数据中提取点击行为特征数据;以及
根据所述点击行为特征数据计算所述用户标识的行为置信度。
3.根据权利要求2所述的方法,其特征在于,所述点击行为特征数据为信息、公司、行业中的至少一个维度的数据,包括如下的至少一者:
平均信息点击数、平均公司点击数、点击行业数、点击总数、平均行业点击数、平均点击时间间隔、平均点击序列长度。
4.根据权利要求2或3所述的方法,其特征在于,所述根据所述点击行为特征数据计算所述用户标识的行为置信度的步骤包括:
将所述点击行为特征数据输入至预设的非线性模型中,以计算所述用户标识的行为置信度。
5.根据权利要求1或2或3所述的方法,其特征在于,所述根据所述搜索请求查找一个或多个候选信息的步骤包括:
从所述搜索请求中提取搜索关键词;以及
在预设的索引文件中查找与所述搜索关键词匹配的候选信息。
6.根据权利要求1所述的方法,其特征在于,所述采用所述行为置信度计算所述一个或多个候选信息对应的一个或多个预估点击率的步骤包括:
针对每个候选信息,查找每个用户标识对应的点击数和展示数;
采用所述行为置信度修正用户点击率,获得信息度量值;
将所述信息度量值与预设的模型预估误差之和设置为所述候选信息的预估点击率其中,所述用户点击率为所述点击数与所述展示数之间的比值。
7.一种信息搜索装置,其特征在于,包括:
候选信息查找模块,用于在接收到信息的搜索请求时,根据所述搜索请求查找一个或多个候选信息;
行为置信度查找模块,用于查找在先针对所述候选信息进行操作的用户标识对应的行为置信度;
目标候选信息选取模块,用于根据所述行为置信度从所述一个或多个候选信息中选取一个或多个目标候选信息;以及
目标候选信息返回模块,用于返回所述一个或多个目标候选信息;
所述目标候选信息选取模块包括:
预估点击率计算子模块,用于采用所述行为置信度计算所述一个或多个候选信息对应的一个或多个预估点击率;
排序子模块,用于至少按照所述一个或多个预估点击率对所述一个或多个候选信息进行排序;以及
确定子模块,用于按照排序从所述一个或多个候选信息中确定一个或多个目标候选信息。
8.根据权利要求7所述的装置,其特征在于,所述行为置信度表征用户行为的可信程度,和/或,表征某用户行为对度量信息质量的价值;
所述装置还包括:
行为数据采集模块,用于采集基于用户标识在针对展示的信息进行操作时产生的行为数据;
点击行为特征数据提取模块,用于从所述行为数据中提取点击行为特征数据;以及
行为置信度计算模块,用于根据所述点击行为特征数据计算所述用户标识的行为置信度。
9.根据权利要求8所述的装置,其特征在于,所述点击行为特征数据为信息、公司、行业中的至少一个维度的数据,包括如下的至少一者:
平均信息点击数、平均公司点击数、点击行业数、点击总数、平均行业点击数、平均点击时间间隔、平均点击序列长度。
10.根据权利要求8或9所述的装置,其特征在于,所述行为置信度计算模块包括:
非线性模型计算子模块,用于将所述点击行为特征数据输入至预设的非线性模型中,以计算所述用户标识的行为置信度。
11.根据权利要求7或8或9所述的装置,其特征在于,所述候选信息查找模块包括:
搜索关键词提取子模块,用于从所述搜索请求中提取搜索关键词;以及
索引文件查找子模块,用于在预设的索引文件中查找与所述搜索关键词匹配的候选信息。
12.根据权利要求7所述的装置,其特征在于,所述预估点击率计算子模块包括:
历史数据查找单元,用于针对每个候选信息,查找每个用户标识对应的点击数和展示数;
信息度量值计算单元,用于采用所述行为置信度修正用户点击率,获得信息度量值;
预估点击率设置单元,用于将所述信息度量值与预设的模型预估误差之和设置为所述候选信息的预估点击率;
其中,所述用户点击率为所述点击数与所述展示数之间的比值。
CN201610122130.1A 2016-03-03 2016-03-03 一种信息搜索方法和装置 Active CN107153656B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610122130.1A CN107153656B (zh) 2016-03-03 2016-03-03 一种信息搜索方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610122130.1A CN107153656B (zh) 2016-03-03 2016-03-03 一种信息搜索方法和装置

Publications (2)

Publication Number Publication Date
CN107153656A CN107153656A (zh) 2017-09-12
CN107153656B true CN107153656B (zh) 2020-12-01

Family

ID=59791330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610122130.1A Active CN107153656B (zh) 2016-03-03 2016-03-03 一种信息搜索方法和装置

Country Status (1)

Country Link
CN (1) CN107153656B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110928537B (zh) * 2018-09-19 2023-08-11 百度在线网络技术(北京)有限公司 模型评测方法、装置、设备及计算机可读介质
CN109800225A (zh) * 2018-12-24 2019-05-24 北京奇艺世纪科技有限公司 业务指标的获取方法、装置、服务器及计算机可读存储介质
CN110210946A (zh) * 2019-06-10 2019-09-06 网易无尾熊(杭州)科技有限公司 数据处理方法及装置、介质和计算设备
CN110377830B (zh) * 2019-07-25 2022-03-29 拉扎斯网络科技(上海)有限公司 检索方法、装置、可读存储介质和电子设备
CN112487277B (zh) * 2019-09-11 2023-04-07 拉扎斯网络科技(上海)有限公司 数据分配方法、装置、可读存储介质和电子设备
CN110942394A (zh) * 2019-11-15 2020-03-31 泰康保险集团股份有限公司 理赔申请区域的确定方法、装置、电子设备和存储介质
CN111262854A (zh) * 2020-01-15 2020-06-09 卓望数码技术(深圳)有限公司 互联网反作弊行为方法、装置、设备和可读存储介质
CN111259252B (zh) * 2020-01-22 2022-09-30 腾讯科技(深圳)有限公司 用户标识识别方法、装置、计算机设备及存储介质
CN113420056B (zh) * 2021-05-14 2023-12-26 北京达佳互联信息技术有限公司 行为数据处理方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101657809A (zh) * 2007-04-25 2010-02-24 雅虎公司 用于为点击流量评分的系统
CN103514178A (zh) * 2012-06-18 2014-01-15 阿里巴巴集团控股有限公司 一种基于点击率的搜索排序方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101079064B (zh) * 2007-06-25 2011-11-30 腾讯科技(深圳)有限公司 一种网页排序方法及装置
US7836058B2 (en) * 2008-03-27 2010-11-16 Microsoft Corporation Web searching
CN101882278A (zh) * 2009-05-06 2010-11-10 李先进 一种阻止网页广告被恶意点击的方法与系统
CN102446171B (zh) * 2010-09-30 2015-08-26 百度在线网络技术(北京)有限公司 基于加权平均点进率评测推广关键词质量度的方法与设备
CN103218719B (zh) * 2012-01-19 2016-12-07 阿里巴巴集团控股有限公司 一种电子商务网站导航方法及系统
CN104424291B (zh) * 2013-09-02 2018-12-21 阿里巴巴集团控股有限公司 一种对搜索结果进行排序的方法及装置
CN104580244B (zh) * 2015-01-26 2018-03-13 百度在线网络技术(北京)有限公司 恶意点击的防御方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101657809A (zh) * 2007-04-25 2010-02-24 雅虎公司 用于为点击流量评分的系统
CN103514178A (zh) * 2012-06-18 2014-01-15 阿里巴巴集团控股有限公司 一种基于点击率的搜索排序方法及装置

Also Published As

Publication number Publication date
CN107153656A (zh) 2017-09-12

Similar Documents

Publication Publication Date Title
CN107153656B (zh) 一种信息搜索方法和装置
US10762549B2 (en) Analysis and collection system for user interest data and method therefor
CN105989004B (zh) 一种信息投放的预处理方法和装置
CN109657138B (zh) 一种视频推荐方法、装置、电子设备及存储介质
CN110163647B (zh) 一种数据处理方法及装置
CN107016026B (zh) 一种用户标签确定、信息推送方法和设备
CN110413870B (zh) 商品推荐方法、装置及服务器
CN110598086B (zh) 文章推荐方法、装置、计算机设备及存储介质
US20160364490A1 (en) Method, system and computer readable medium for creating a profile of a user based on user behavior
CN107862022B (zh) 文化资源推荐系统
US20150161139A1 (en) Data search processing
CN106557480B (zh) 查询改写的实现方法及装置
US9256692B2 (en) Clickstreams and website classification
CN105469263A (zh) 一种商品推荐方法及装置
CN106599047B (zh) 一种信息的推送方法及装置
CN112052394B (zh) 专业内容信息的推荐方法、系统、终端设备和存储介质
Pichl et al. Combining Spotify and Twitter Data for Generating a Recent and Public Dataset for Music Recommendation.
CN106708871B (zh) 一种社交业务特征用户的识别方法和装置
CN113065062A (zh) 一种基于用户阅读时间行为的新闻推荐方法及系统
CN105786936A (zh) 用于对搜索数据进行处理的方法及设备
CN110413881B (zh) 一种识别标签准确性的方法、装置、网络设备和存储介质
CN114297505A (zh) 推荐系统及推荐方法、设备、计算机可读介质
CN108595580B (zh) 新闻推荐方法、装置、服务器及存储介质
CN113220974A (zh) 点击率预测模型训练、搜索召回方法、装置、设备及介质
CN111680213A (zh) 信息推荐方法、数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240227

Address after: 51 Belarusian Road, Singapore

Patentee after: Alibaba Singapore Holdings Ltd.

Country or region after: Singapore

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Patentee before: ALIBABA GROUP HOLDING Ltd.

Country or region before: Cayman Islands