CN102346751B

CN102346751B - 一种信息推送方法及设备

Info

Publication number: CN102346751B
Application number: CN 201010246774
Authority: CN
Inventors: 张旭; 顾海杰; 祁建程; 苏宁军
Original assignee: Alibaba Group Holding Ltd
Current assignee: Alibaba Group Holding Ltd
Priority date: 2010-08-03
Filing date: 2010-08-03
Publication date: 2013-04-17
Anticipated expiration: 2030-08-03
Also published as: HK1163865A1; CN102346751A

Abstract

本申请公开了一种信息推送方法及设备，主要内容包括：在进行相似度计算时先丢弃明显无法满足目标门限值的待处理item，只对与目标item进行操作的相同用户的用户数量达到门限值的待处理item进行相似度运算，大大减少了运算量，提高运算效率；同时，将与目标item的相似度明显较低的待处理item删除，能够降低运算噪音，提高运算结果的准确性。

Description

一种信息推送方法及设备

技术领域

本申请涉及计算机技术领域，尤其涉及一种信息推送方法及设备。

背景技术

协同过滤（Collaborative Filtering）技术作为信息过滤的主要技术之一，被广泛应用于计算机技术下的多种领域的个性化服务系统中。基于条目比较的协同过滤算法（后续简称为Itembased算法）是协同过滤算法之一，Itembased算法认为用户更倾向于获知与其已操作（如浏览、购买item中的商品）过的条目（item）相似或相关的其他item，因此，将item视为由用户对该item的操作行为构成的向量，从系统提供的数据中搜索与目标item相关的邻居item集合，并将所述邻居item集合中各item的信息推送给用户，使用户在浏览目标item时，可以根据推送的信息方便地浏览邻居item；上述目标item是指某一用户已操作过的条目，上述邻居item是指与该目标item相似或相关的其他item。

例如：目标item是A品牌手机，在一段时间内浏览过目标item对应页面的用户包括：用户_1、用户_2和用户_3。通过对系统中所有item与目标item之间的关联比较，得出如下结果：

查找出邻居item_1是B品牌手机，在一段时间内浏览过邻居item_1对应页面的用户包括：用户_1、用户_2和用户_4，则表示既浏览过目标item对应页面又浏览过邻居item_1对应页面的用户数量为2；

查找出邻居item_2是C品牌手机，在一段时间内浏览过邻居item_2对应页面的用户包括：用户_1、用户_2、用户_3和用户_4，则表示既浏览过目标item对应页面又浏览过邻居item_2对应页面的用户数量为3。

如果上述结果表明邻居item_1和邻居item_2与目标item之间的相似度已经满足需求，则可以将邻居item_1和邻居item_2的信息推送给用户，用户在浏览目标item对应的页面时，可以方便地浏览邻居item_1和邻居item_2对应的页面，使用户获得实际需求的有用信息。

在目前的Itembased算法中，如果系统内item的数量为M，则最高需要进行M²次item之间的相似度计算，由于Itembased算法的运算量非常大，导致运算时间长，且无论是否有用的item都要进行相似度运算，导致运算噪音大，运算结果准确性较低；另外，由于进行M²次item之间的相似度计算后产生的数据文件过大，需要占用较大的存储空间，并且过大的数据文件为后续的搜索过程带来运算压力。

发明内容

本申请实施例的目的在于，提供一种信息推送方法及设备，用以解决现有技术中存在的Itembased算法的运算量大和运算噪音大的问题。

一种信息推送方法，所述方法包括：

依次读取待处理条目item，针对读取的每个item分别执行：

判断对读取的待处理item和目标item都进行操作的用户数量是否达到门限值；

若未达到门限值，则丢弃所述待处理item；否则，确定所述待处理item与目标item之间的相似度；

在待处理item都读取完后，确定与目标item之间的相似度由高到低的N个待处理item，将所述N个待处理item按照相似度由高至低的顺序排序，当存在至少两个待处理item与目标item之间的相似度相同时，分别确定所述两个待处理item的置信度，并进一步按照置信度由高至低的顺序进行排序，将N个待处理item的信息按照排序的顺序推送给用户；

所述置信度是指对待处理item和目标item都进行操作的用户数量占对目标item进行操作的用户数量的比值，所述N为正整数。

一种信息推送设备，所述设备包括：

读取模块，用于依次读取待处理条目item，并针对读取的每个item触发第一判断模块；

第一判断模块，用于判断对读取的待处理item和目标item都进行操作的用户数量是否达到门限值；

丢弃模块，用于在未达到门限值时，丢弃所述待处理item；

相似度确定模块，用于在达到门限值时，确定所述待处理item与目标item之间的相似度；

推送模块，用于在待处理item都读取完后，将与目标item之间的相似度由高到低的N个待处理item按照相似度由高至低的顺序排序，当存在至少两个待处理item与目标item之间的相似度相同时，分别确定所述两个待处理item的置信度，并进一步按照置信度由高至低的顺序进行排序，以及，将N个待处理item的信息按照排序的顺序推送给用户；

其中：所述置信度是指对待处理item和目标item都进行操作的用户数量占对目标item进行操作的用户数量的比值，所述N为正整数。

本申请在进行相似度计算时先丢弃明显无法满足目标门限值的待处理item，只对与目标item进行操作的相同用户的用户数量达到门限值的待处理item进行相似度运算，大大减少了运算量，提高运算效率；将与目标item的相似度明显较低的待处理item删除，能够降低运算噪音，提高运算结果的准确性；同时，由于减少了运算量，运算后得到的数据文件较小，因此，减少了数据文件占用的存储空间，也提高了后续搜索过程的效率。

附图说明

图1为本申请的网络架构示意图；

图2为本申请实施例一中信息推送方法步骤示意图；

图3（a）和图3（b）为本申请实施例二中信息推送设备结构示意图。

具体实施方式

为了实现本申请目的，本申请实施例对Itembased算法进行优化，在计算待处理item与目标item之间的相似度时，将明显与目标item的相似度较低的待处理item删除，也就是判断对待处理item和目标item都进行操作的用户数量是否达到门限值，若达到，则表示待处理item和目标item的相似度不会特别低，因此，可以后续的操作；否则，表示表示待处理item和目标item的相似度必然会很低，则不需要再浪费系统资源进行后续操作。本申请实施例由于在进行相似度计算时先初步删除明显无法满足目标门限值的待处理item，减少了Itembased算法中的运算量，提高了运算效率；同时，由于减少了运算量，运算后得到的数据文件较小，因此，减少了数据文件占用的存储空间，也提高了后续搜索过程的效率。

下面结合说明书附图对本申请实施例进行详细描述。

如图1所示，为本申请的网络架构示意图，从图1中可以看出，系统主要包括数据层、过滤层和算法层。图1所示的网络结构可以位于网站服务器中，进一步地，可以位于网站服务器中用于向用户推送用户需要查看的页面信息的搜索引擎中。

数据层可以是网站服务器中的一个存储空间，在数据层中存储有数据表，包括注册在系统中的用户信息表、商品信息表以及用户对商品的操作信息表。由于一条item在后台对应的存储空间中存储了一用户对该item对应页面的操作（如浏览、购买页面中的商品），因此，可将本申请中涉及的item视为用户对该item进行操作的操作行为构成的向量，也就是将用户对商品的操作信息表中的内容看作是item。item对外界的表现形式可以是item对应的页面，用户对item的操作可以看作是用户对该item对应的页面进行操作，具体的操作类型包括：浏览页面，以及对该页面提供的对话框进行点击操作等，这里的点击操作包括但不限于收藏该页面、购买该页面展示的商品等。当用户对某一标识的item进行操作后，为该item在后台开辟的存储空间内将会记录对该item进行操作的用户的用户信息以及操作类型。数据层中存储的数据表中的内容可能会实时发生变化，因此，可以周期性地对数据层中的数据表中的内容进行更新。

过滤层可以是网站服务器中具有数据过滤功能的逻辑部件，过滤层包括对两方面信息的过滤，一方面是对数据层提供给算法层的输入item进行过滤，初步滤除明显无用的item，以减少算法层中的运算量；另一方面，对算法层确定的可向用户推送的item信息进行过滤，滤除与用户意图契合度较低的item，避免向用户推送的信息过大而影响推送信息的实际使用效果。

算法层可以是网站服务器中存储并能够运行本申请涉及的优化Itembased算法的逻辑部件，算法层对过滤层过滤后的item与目标item进行运算，查找出与目标item之间的相似度高的item作为准备向用户推送信息的item。

本申请通过网站服务器中数据层、过滤层和算法层之间的协同工作，来减少Itembased算法中的运算量，提高运算效率。

本申请实施例的方案可以应用于多种需要根据用户以前的页面访问情况，为用户查询用户当前可能需要查询的页面的业务，如图书馆查询系统、购物网站等。

实施例一：

如图2所示，为本申请实施例一中信息推送方法步骤示意图，所述方法包括以下步骤：

步骤101：依次读取待处理item。

在本实施例中，假设当前用户对目标item进行操作，为了向用户推送其他该用户倾向于获知的item信息，则将系统中除目标item之外的其他item称之为待处理item。由于Itembased算法中是两个item之间的相似度计算，因此，本步骤中每次读取一个待处理item，对该待处理item的处理结束时（如该待处理item被丢弃或是计算出与目标item之间的相似度），继续读取下一个待处理item进行后续操作。

针对读取的每个item分别执行本实施例的后续步骤。

步骤102：判断对读取的待处理item和目标item都进行操作的用户数量是否达到门限值，若未达到门限值，则执行步骤104；否则，执行步骤103。

上述门限值是预先设定的表示待处理item与目标item之间最小相似度的参数。所述相似度是指既对待处理item进行操作又对目标item进行操作的用户数量的相关参数，相似度的大小表现了该待处理item与目标item之间相似度的高低。

在进行相似度计算时，同时计算对待处理item和目标item都进行操作的用户数量，如果计算出的用户数量达到门限值，表示该待处理item和目标item之间的相似度能够达到预先设定的最低相似度，可以继续进行后续操作；否则，表示该待处理item和目标item之间的相似度低于预先设定的最低相似度，则不必再继续进行后续的相似度运算操作。

由于与目标item之间的相似度过低的待处理item是无用的item，因此，为了减少对无用的item的运算，根据实际经验值统计确定待处理item与目标item之间的最低相似度，并将确定的该最低相似度转换为既对待处理item进行操作又对目标item进行操作的用户数量（即所述门限值），利用确定的用户数量对待处理item进行初步枝剪，即将对其进行操作的用户数量都未达到门限值的待处理item删除，以避免对该无用的item进行后续运算时造成的资源浪费。

较优地，在步骤102执行之前还可以进一步包括：

优选步骤：判断对读取的待处理item进行操作的用户数量是否达到门限值；若是，则执行步骤102；否则，直接执行步骤104。

增加上述优选步骤的目的是：在进行相似度计算之前，初步判断待处理item是否有可能是与目标item之间的相似度过低的无用的item，其判断依据是：如果对待处理item进行操作的用户数量都达不到门限值，则对读取的待处理item和目标item都进行操作的用户数量也必然达不到门限值。通过该优选步骤，可以在相似度计算之前删明显的无用item，进一步减少相似度计算的操作。

上述步骤102和优选步骤是对待处理item进行枝剪的执行步骤，通过预先丢弃与目标item之间相似度较小的待处理item，可以大大减少相似度计算的运算量，同时，由于这两步的剪枝操作删除的是无用的item，实际上也就是去掉了大量的噪音，使最终的运算结果更加准确。

步骤103：确定读取的所述待处理item与目标item之间的相似度。

当前读取的待处理item计算出与目标item之间的相似度后，继续读取下一个待处理item，进行本实施例中优化itembased算法。

本步骤的具体实现方式包括但不限于以下方式：

首先，确定对待处理item和目标item都进行操作的各用户中，每个用户对待处理item进行操作的操作类型。

然后，根据操作类型对应的加权值以及执行同一操作类型的操作的用户数量，加权求和后得到该待处理item与目标item之间的相似度。

例如，有5名用户对待处理item进行了操作，其中，1名用户点击购买了待处理item对应页面展示的商品，1名用户点击收藏了待处理item对应页面，3名用户浏览了待处理item对应页面，操作类型为点击购买展示的商品对应的加权值为a，操作类型为点击购收藏页面对应的加权值为b，操作类型为浏览页面对应的加权值为c，则该待处理item与目标item之间的相似度为：a+b+3c。

步骤104：丢弃读取的所述待处理item。

当前读取的待处理item不满足要求被丢弃后，继续读取下一个待处理item，进行本实施例中优化itembased算法。

步骤105：判断所述待处理item与目标item之间的相似度是否达到设定阈值，若是，则记录该待处理item以及与目标item之间的相似度，并执行步骤106；否则，执行步骤104。

为了进一步提高步骤106中推送给用户的待处理item的信息与用户实际需求的信息的契合度，减少按照相似度排序时待处理item的数量以提高排序操作的效率，本步骤中将运算确定的与目标item之间的相似度低的无用的待处理item丢弃。

步骤106：将相似度由高至低的N个待处理item的信息推送给用户，所述N为正整数。

通过反复执行上述步骤101～步骤105后，得到各待处理item与目标item之间的相似度，为了避免向用户推送的信息过大而影响推送信息的实际使用效果，将与用户需求契合度最高的item的信息推送给用户，则本步骤中可以对待处理item进行过滤，该过滤方式为：

将各待处理item的相似度进行排序，将相似度最高的N个待处理item的信息按照排序的顺序推送给用户。

特殊地，如果相似度由高至低的N个待处理item中，存在至少两个待处理item的相似度相同，则在排序时可以进一步按照置信度进行排序。所述置信度是指对待处理item和目标item都进行操作的用户数量占对目标item进行操作的用户数量的比值。对于相似度相同的至少两个待处理item，按照置信度由高至低的顺序进一步排序。

通过上述步骤101～步骤106的方案，优化了itembased算法，当系统中待处理item数量庞大时，能够明显降低运算量，提高运算效率；同时，将无用的item剪枝能够降低运算噪音，提高运算结果的准确性；并且，最终向用户推送的信息大小合适且能够很好地反映用户需求，使得向用户推送的信息能够很好的达到页面浏览导航的目的。

本申请实施例一除了上述步骤101～步骤106的方案，还可以对上述步骤做进一步优化，将步骤101中的待处理item进行过滤，滤除明显无用的item，以减少Itembased算法的运算量，降低系统噪音。因此，在步骤101之前还可以进一步包括对待处理item进行过滤的步骤，具体的过滤方式包括但不限于以下两种：

第一种方式：

首先，确定各待处理item对应的商品信息级别。

在实际的网站系统中，每一个item来源于一个商品信息，按照预先设定的条件对该商品信息进行打分，确定该商品信息的级别。例如：item对应的包含商品信息的页面中提供的有用信息越多，则该商品信息打分越高，商品信息级别越高，反之，则商品信息打分越低，商品信息级别越低。

需要说明的是，针对不同的网站系统，所述商品信息表示的含义不完全相同。例如：如果针对的网站系统是购物网站，则商品信息表示卖家提供的页面中的信息；如果针对的网站系统是图书馆网站查询系统，则商品信息表示页面中提供的书籍的信息。

然后，删除对应的商品信息级别低于设定级别的待处理item。

对于商品信息级别低的待处理item，其向用户推荐的意义不大，因此，在进行itembased算法之前先过滤掉，以减少后续算法的运算量。

第二种方式：

确定对待处理item和目标item进行操作的非法用户。

在实际的网络运行中，网络爬虫、网络机器人等客户端对item进行操作的非法用户，以及注册后长期未登录过网站或是欠费用户等非法用户产生的item中的内容可视为噪音，因此，这些非法用户对item进行操作的事件信息应当删除。

然后，将确定的非法用户对待处理item和目标item进行操作的事件信息删除。

实施例二：

本申请实施例二提供一种能够实现实施例一方法的信息推送设备，如图3（a）和图3（b）所示，所述设备包括读取模块11、第一判断模块12、丢弃模块13、相似度确定模块14和推送模块15，其中：读取模块11用于依次读取待处理条目item，并针对读取的每个item触发第一判断模块12；第一判断模块12用于判断对读取的待处理item和目标item都进行操作的用户数量是否达到门限值；丢弃模块13用于在未达到门限值时，丢弃所述待处理item；相似度确定模块14用于在达到门限值时，确定所述待处理item与目标item之间的相似度；推送模块15用于在待处理item都读取完后，将与目标item之间的相似度由高到低的N个待处理item的信息推送给用户，所述N为正整数。

所述设备还包括第二判断模块16，用于判断对读取的待处理item进行操作的用户数量是否达到门限值，若是，则触发第一判断模块12，否则，触发丢弃模块13。

所述相似度确定模块14具体用于确定对所述待处理item和目标item都进行操作的各用户中，每个用户对待处理item进行操作的操作类型，以及，根据操作类型对应的加权值以及执行同一操作类型的操作的用户数量，加权求和后得到该待处理item与目标item之间的相似度。

所述推送模块15具体用于将相似度由高到低的N个待处理item按照相似度由高至低的顺序排序，当存在至少两个待处理item与目标item之间的相似度相同时，分别确定所述两个待处理item的置信度，并进一步按照置信度由高至低的顺序进行排序，以及，将N个待处理item的信息按照排序的顺序推送给用户。

针对信息推送的设备在进行itembased算法之前的两种过滤item的方式，本实施例二对其分别进行描述：

如图3（a）所示，信息推送设备还包括级别确定模块17，用于确定各待处理item对应的商品信息级别；则丢弃模块13还用于删除低于设定级别的商品信息级别对应的待处理item。

如图3（b）所示，信息推送设备还包括非法用户确定模块18，用于确定对待处理item和目标item进行操作的非法用户；则丢弃模块13还用于将确定的非法用户对待处理item和目标item进行操作的事件信息删除。

通过本申请实施例提供的方法及设备，在进行相似度计算之前，丢弃与目标item之间支持度较小的待处理item，可以大大减少相似度计算的运算量，同时，由于丢弃的是无用的item，实际上也就是去掉了大量的噪音，使最终的运算结果更加准确；并且，本申请对输入的用于进行itembased算法的item进行过滤，且对输出的用于向用户推送的item信息进行过滤，进一步减少Itembased算法的运算量，降低系统噪音，且避免了向用户推送的信息过大而影响推送信息的实际使用效果，而将与用户需求契合度高的item的信息推送给用户，以达到页面浏览导航的目的；同时，由于减少了运算量，运算后得到的数据文件较小，因此，减少了数据文件占用的存储空间，也提高了后续搜索过程的效率。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims

1.一种信息推送方法，其特征在于，所述方法包括：

依次读取待处理条目item，针对读取的每个item分别执行：

2.如权利要求1所述的方法，其特征在于，判断对读取的待处理item和目标item都进行操作的用户数量是否达到门限值之前，所述方法还包括：

确定对读取的待处理item进行操作的用户数量是否达到门限值。

3.如权利要求1所述的方法，其特征在于，依次读取待处理item之前，所述方法还包括：

确定各待处理item对应的商品信息级别，删除低于设定级别的商品信息级别对应的待处理item。

4.如权利要求1所述的方法，其特征在于，依次读取待处理item之前，所述方法还包括：

确定对待处理item和目标item进行操作的非法用户；

将确定的非法用户对待处理item和目标item进行操作的事件信息删除。

5.如权利要求1所述的方法，其特征在于，确定所述待处理item与目标item之间的相似度，具体包括：

确定对所述待处理item和目标item都进行操作的各用户中，每个用户对待处理item进行操作的操作类型；

根据操作类型对应的加权值以及执行同一操作类型的操作的用户数量，加权求和后得到该待处理item与目标item之间的相似度。

6.一种信息推送设备，其特征在于，所述设备包括：

丢弃模块，用于在未达到门限值时，丢弃所述待处理item；

7.如权利要求6所述的设备，其特征在于，所述设备还包括：

第二判断模块，用于判断对读取的待处理item进行操作的用户数量是否达到门限值，若是，则触发第一判断模块，否则，触发丢弃模块。

8.如权利要求6所述的设备，其特征在于，所述设备还包括：

级别确定模块，用于确定各待处理item对应的商品信息级别；

所述丢弃模块，还用于删除低于设定级别的商品信息级别对应的待处理item。

9.如权利要求6所述的设备，其特征在于，所述设备还包括：

非法用户确定模块，用于确定对待处理item和目标item进行操作的非法用户；

所述丢弃模块，还用于将确定的非法用户对待处理item和目标item进行操作的事件信息删除。

10.如权利要求6所述的设备，其特征在于，

所述相似度确定模块，具体用于确定对所述待处理item和目标item都进行操作的各用户中，每个用户对待处理item进行操作的操作类型，以及，根据操作类型对应的加权值以及执行同一操作类型的操作的用户数量，加权求和后得到该待处理item与目标item之间的相似度。