CN105975599A - 一种监测网站的页面埋点的方法和装置 - Google Patents

Abstract

本发明提供一种监测网站的页面埋点的方法和装置。本发明的监测网站的页面埋点的方法包括：初始化通用符集合，其中该通用符集合中只能存储不重复的数据；遍历该网站的全部页面，并且在遍历过程中，对每个当前页面，执行监测页面埋点的操作，其中，所述操作包括：提取该页面的统一资源定位符；根据该统一资源定位符，提取通用符，通用符是由同一个模板生成的各页面的统一资源定位符的共同部分；尝试将通用符保存到通用符集合中；当保存成功，执行模拟请求获取该页面并检查该页面是否埋点。

Description

一种监测网站的页面埋点的方法和装置

技术领域

本发明涉及计算机及其软件技术领域，特别地涉及一种监测网站的页面埋点的方法和装置。

背景技术

流量对网站来说是一个非常重要的信息，流量采集系统是网站采集全站流量的工具，所采集的数据，可用来帮助业务人员分析页面的pv(page view，页面的请求数量)、uv(user view，页面的访问用户数量)、流量去向、流量转化率等指标，同时可以帮助产品优化流量分配方案。

随着计算机技术的不断发展，现有的流量采集系统大多采取对需要进行流量采集的页面进行埋点的方式来获取用户的行为数据。埋点，是一段编写好的程序代码，主要用于流量分析，不做与页面相关的事情而是把用户当前点击的东西，传到服务器以达到记录用户点击的每一步。因此，为了统计网站的流量，需要给网站的页面进行埋点。

为了尽可能早的发现网站中哪些页面没有埋点，防止流量统计不到而造成流量的浪费，需要对全站的页面埋点情况进行监测。

现有的监测手段是利用爬虫(一种按照指定规则去抓取网页内容的程序)程序对全站的页面逐级逐次遍历监测。每次执行监测程序过程中，同一个静态页面可能会被遍历多次，但是只需检查一次埋点，监测程序会做相应的页面去重处理。

现在的页面去重主要是针对静态页面和固定格式的url地址格式(需要过滤掉“？”后面的请求参数)，可依据url地址进行去重，不考虑参数。比如：一组静态页面“http://www.a.com/index.html/？v＝1”和“http://www.a.com/index.html？v＝2”，这两个其实是一个页面，只需监测一次即可。

但是网站中还有相当多的页面是通过模板生成的，url格式不固定，已将动态参数当成url中的一部分，比如：

“http://www.a.com/i/1-01-01”和“http://www.a.com/i/1-02-03”，以及“http://www.a.com/i/1000.html”和“http://www.a.com/i/1001.html”。

这两组页面其实也分别是相同的页面，但是根据现有的url匹配技术无法直接区分每组中的两个页面是不是相同页面，故而无法进行页面去重处理，造成的结果就是爬虫程序一直不停的遍历监测这种类型的页面，相当大的监测工作量都消耗在这种类型的页面模拟请求和埋点监测上。

综上，可以看出，现有的逐级逐次对全站页面进行遍历，监测页面是否已埋点的方法在执行中，会出现重复监测同一个页面的情况，很浪费计算资源，而且很耗时，大大降低了埋点监测的效率。

发明内容

有鉴于此，本发明提供一种监测网站的页面埋点的方法和装置，能够极大地压缩对由模板生成的动态网站页面进行埋点监测的时间，减少对页面内容的模拟请求量，从而提高了对网站的页面埋点监测的速度。

为实现上述目的，根据本发明的一个方面，提供了一种监测网站的页面埋点的方法。

一种监测网站的页面埋点的方法，包括：初始化通用符集合，其中所述通用符集合中只能存储不重复的数据；遍历该网站的全部页面，并且在遍历过程中，对每个当前页面，执行监测页面埋点的操作，其中，所述操作包括：提取该页面的统一资源定位符；根据该统一资源定位符，提取通用符，所述通用符是由同一个模板生成的各页面的统一资源定位符的共同部分；尝试将所述通用符保存到所述通用符集合中；当保存成功，执行模拟请求获取该页面并检查该页面是否埋点。

可选地，提取通用符的步骤包括：获取所述统一资源定位符的最后一个路径层级的内容；判断所述最后一个路径层级的内容中是否包含超文本文件的网页文件扩展名；如果包含，则所述通用符为：http://x.com/*.html；否则，所述通用符为：http://x.com/x/*。

可选地，当保存不成功，即所述通用符集合中已包含当前页面的通用符，则立即中断对该页面的检查，继续执行对下一个页面的检查。

可选地，所述通用符集合被实现为JAVA中的Hashset。

可选地，所述遍历通过爬虫程序来执行。

根据本发明的另一方面，提供了一种监测网站的页面埋点的装置。

一种监测网站的页面埋点的装置，包括：初始化单元，用于初始化通用符集合，其中所述通用符集合中只能存储不重复的数据；监测执行单元，用于遍历该网站的全部页面，并且在遍历过程中，对每个当前页面，执行埋点监测，其中，所述监测执行单元包括：定位符提取模块，用于提取该页面的统一资源定位符；通用符提取模块，用于根据该统一资源定位符，提取通用符，所述通用符是由同一个模板生成的各页面的统一资源定位符的共同部分；通用符保存模块，用于尝试将所述通用符保存到所述通用符集合中；埋点检查模块，用于当保存成功，执行模拟请求获取该页面并检查该页面是否埋点。

可选地，所述通用符提取模块用于执行如下步骤：获取所述统一资源定位符的最后一个路径层级的内容；判断所述最后一个路径层级的内容中是否包含超文本文件的网页文件扩展名；如果包含，则所述通用符为：http://x.com/*.html；否则，所述通用符为：http://x.com/x/*。

可选地，所述埋点检查模块还用于：当保存不成功，即所述通用符集合中已包含当前页面的通用符，则立即中断对该页面的检查，继续执行对下一个页面的检查。

可选地，所述通用符集合被实现为JAVA中的Hashset。

根据本发明的又一方面，提供了一种监测网站的页面埋点的装置。

一种监测网站的页面埋点的装置，包括：存储器和处理器，其中，所述存储器存储指令；所述处理器执行所述指令用于：初始化通用符集合，其中所述通用符集合中只能存储不重复的数据；遍历该网站的全部页面，并且在遍历过程中，对每个当前页面，执行监测页面埋点的操作，其中，所述操作包括：提取该页面的统一资源定位符；根据该统一资源定位符，提取通用符，所述通用符是由同一个模板生成的各页面的统一资源定位符的共同部分；尝试将所述通用符保存到所述通用符集合中；当保存成功，执行模拟请求获取该页面并检查该页面是否埋点。

根据本发明的技术方案，通过为网站页面的统一资源定位符URL提取通用符，并保存在不允许出现重复数据的集合HashSet中，可以将由同一模板生成的页面确定为同一类型，只进行一次埋点监测，从而大大减少了网站页面埋点监测的时间，并减少了爬虫程序的计算量和模拟请求量，从而提高了埋点监测的速度。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的监测网站的页面埋点的方法的主要步骤示意图；

图2是根据本发明实施例的监测网站的页面埋点的方法的实现流程；

图3是根据本发明实施例的URL通用符提取算法流程示意图；

图4是根据本发明一实施例的监测网站的页面埋点的装置的主要模块示意图；

图5是根据本发明另一实施例的监测网站的页面埋点的装置的主要模块示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本发明实施例的监测网站的页面埋点的方法的主要步骤示意图。如图1所示，本发明的监测网站的页面埋点的方法主要包括如下的步骤S11和步骤S12，其中，步骤S12具体可以包括步骤S121至步骤S124。

步骤S11：初始化通用符集合，其中该通用符集合中只能存储不重复的数据；

步骤S12：遍历该网站的全部页面，并且在遍历过程中，对每个当前页面，执行监测页面埋点的操作。其中，所述操作具体可以包括：

步骤S121：提取该页面的统一资源定位符；

步骤S122：根据该统一资源定位符，提取通用符，所述通用符是由同一个模板生成的各页面的统一资源定位符的共同部分；

步骤S123：尝试将所述通用符保存到所述通用符集合中；

步骤S124：当保存成功，执行模拟请求获取该页面并检查该页面是否埋点。

其中，步骤S122中在提取通用符时，可以通过以下方法执行：

获取所述统一资源定位符的最后一个路径层级的内容；

判断所述最后一个路径层级的内容中是否包含超文本文件的网页文件扩展名；

如果包含，则所述通用符为：http://x.com/*.html；

否则，所述通用符为：http://x.com/x/*。

另外，当步骤S123中尝试将通用符保存到通用符集合中时，若保存不成功，即所述通用符集合中已包含当前页面的通用符，则立即中断对该页面的检查，继续执行对下一个页面的检查。

在本发明中，所述通用符集合被实现为JAVA中的Hashset。并且，所述遍历通过爬虫程序来执行。

图2是根据本发明实施例的监测网站的页面埋点的方法的实现流程。

如图2所示，程序启动后，首先初始化HashSet(步骤S21)，用来存放新发现的动态统一资源定位符url的通用符。HashSet是JAVA语言里的一种数据结构，其特性是不允许出现重复数据，因此使用HashSet可避免重复保存相同的通用符，即可避免对由同一模板生成的多个页面进行重复监测。

初始化HashSet完成后，即可通过爬虫程序遍历该网站的全部页面(步骤S22)来进行该网站的页面埋点监测。对于遍历到的每个页面，根据页面的URL，对其关键信息进行统计，从而提取出该URL的通用符，并尝试保存到HashSet中(步骤S23)。其中，URL的通用符实际是统一资源定位符URL的一部分，即一个符号串，提取该通用符的方法可总结为一个通用规则rule。经过大量的数据训练，可以发现提取出来的通用符代表了从一个模板生成的一批页面的url。URL通用符的提取过程请参阅图3。

图3是根据本发明实施例的URL通用符提取算法流程示意图。如图3所示，在进行URL通用符的提取时，首先获取统一资源定位符的最后一个路径层级的内容，也就是要截取URL最后一个“/”后面的内容；再判断截取的内容中是否包含超文本文件的网页文件扩展名.htm或.html；如果包含，则将URL最后一个“/”后面的内容替换为“*.htm”或“*.html”，即可得到形如：“http://x.com/*.htm”或“http://x.com/*.html”的初级通用符，然后再将初级通用符中的“*.htm”和“*.html”统一为“*.html”，以得到URL的通用符，所述通用符为：“http://x.com/*.html”；如果截取的内容中不包含.htm或.html，则生成通用符：“http://x.com/*”。例如：URL为“http://www.a.com/i/1000.html”的页面所提取的通用符为“http://www.a.com/i/*.html”；URL为“http://www.a.com/i/1-02-03”的页面所提取的通用符为“http://www.a.com/i/*”。如此，即可将该网站的所有页面的通用符进行提取，然后返回生成的通用符，并尝试保存在HashSet中。

由于HashSet中只能保存不重复的数据，因此在将提取的通过符存储到HashSet中时，会先判断HashSet中是否已包含该通用符(步骤S24)，如果HashSet中已包含该通用符，则说明当前页面已经被监测过，则立即结束当前页面的监测(步骤S27)，继续执行对下一个页面的监测；如果HashSet中未包含该通用符，则说明当前页面未被监测过，则在HashSet中添加该通用符(步骤S25)，并通过爬虫程序执行模拟请求以获取页面内容，并检查当前页面是否埋点(步骤S26)，并在检查完毕后，结束当前页面的监测(步骤S27)，继续执行对下一个页面的监测。

根据以上的步骤，即可实现通过对统一资源定位符URL提取一个通用符，以对URL进行归类，对同一类URL对应的页面只进行一次埋点监测，从而大大提升了页面埋点监测的效率。

图4是根据本发明一实施例的监测网站的页面埋点的装置的主要模块示意图。如图4所示，本发明的监测网站的页面埋点的装置40主要包括初始化单元41和监测执行单元42，其中监测执行单元具体可以包括定位符提取模块421、通用符提取模块422、通用符保存模块423和埋点检查模块424。

初始化单元41用于初始化通用符集合，其中所述通用符集合中只能存储不重复的数据；监测执行单元42用于遍历该网站的全部页面，并且在遍历过程中，对每个当前页面，执行埋点监测，其中，所述监测执行单元42包括：

定位符提取模块421，用于提取该页面的统一资源定位符；

通用符提取模块422，用于根据该统一资源定位符，提取通用符，所述通用符是由同一个模板生成的各页面的统一资源定位符的共同部分；

通用符保存模块423，用于尝试将所述通用符保存到所述通用符集合中；

埋点检查模块424，用于当保存成功，执行模拟请求获取该页面并检查该页面是否埋点。

另外，通用符提取模块422还可以用于执行如下步骤：获取所述统一资源定位符的最后一个路径层级的内容；判断所述最后一个路径层级的内容中是否包含超文本文件的网页文件扩展名；如果包含，则所述通用符为：http://x.com/*.html；否则，所述通用符为：http://x.com/x/*。

埋点检查模块424还可以用于：当保存不成功，即所述通用符集合中已包含当前页面的通用符，则立即中断对该页面的检查，继续执行对下一个页面的检查。

本发明中，所述通用符集合被实现为JAVA中的Hashset。

图5是根据本发明另一实施例的监测网站的页面埋点的装置的主要模块示意图。如图5所示，本发明的监测网站的页面埋点的装置50主要包括存储器51和处理器52。

其中，存储器51存储指令；处理器52执行所述指令用于：初始化通用符集合，其中所述通用符集合中只能存储不重复的数据；遍历该网站的全部页面，并且在遍历过程中，对每个当前页面，执行监测页面埋点的操作，其中，所述操作包括：提取该页面的统一资源定位符；根据该统一资源定位符，提取通用符，所述通用符是由同一个模板生成的各页面的统一资源定位符的共同部分；尝试将所述通用符保存到所述通用符集合中；当保存成功，执行模拟请求获取该页面并检查该页面是否埋点。

根据本发明实施例的技术方案，通过为网站页面的统一资源定位符URL提取通用符，并保存在不允许出现重复数据的集合HashSet中，可以将由同一模板生成的页面确定为同一类型，只进行一次埋点监测，从而大大减少了网站页面埋点监测的时间，并减少了爬虫程序的计算量和模拟请求量，从而提高了埋点监测的速度。

采用本发明的技术方案，通过对由模板生成的页面的URL进行去重，可以极大地提高单次整站页面埋点监测的速度。在实际运行中，使用现有技术进行埋点监测，需用26个小时才可执行完整站的监测；使用本发明的方法后，单次整站监测时间缩短到5分钟，监测速度提高了300多倍。伴随着网站业务的扩展和页面量的大幅增加，使用本发明的方法进行网站页面埋点监测，将会节省更多的时间。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种监测网站的页面埋点的方法，其特征在于，包括：

初始化通用符集合，其中所述通用符集合中只能存储不重复的数据；

遍历该网站的全部页面，并且在遍历过程中，对每个当前页面，执行监测页面埋点的操作，其中，所述操作包括：

提取该页面的统一资源定位符；

根据该统一资源定位符，提取通用符，所述通用符是由同一个模板生成的各页面的统一资源定位符的共同部分；

尝试将所述通用符保存到所述通用符集合中；

当保存成功，执行模拟请求获取该页面并检查该页面是否埋点。

2.根据权利要求1所述的方法，其特征在于，提取通用符的步骤包括：

获取所述统一资源定位符的最后一个路径层级的内容；

判断所述最后一个路径层级的内容中是否包含超文本文件的网页文件扩展名；

如果包含，则所述通用符为：http://x.com/*.html；

否则，所述通用符为：http://x.com/x/*。

3.根据权利要求1所述的方法，其特征在于，

当保存不成功，即所述通用符集合中已包含当前页面的通用符，则立即中断对该页面的检查，继续执行对下一个页面的检查。

4.根据权利要求1所述的方法，其特征在于，所述通用符集合被实现为JAVA中的Hashset。

5.根据权利要求1所述的方法，其特征在于，所述遍历通过爬虫程序来执行。

6.一种监测网站的页面埋点的装置，其特征在于，包括：

初始化单元，用于初始化通用符集合，其中所述通用符集合中只能存储不重复的数据；

监测执行单元，用于遍历该网站的全部页面，并且在遍历过程中，对每个当前页面，执行埋点监测，其中，所述监测执行单元包括：

定位符提取模块，用于提取该页面的统一资源定位符；

通用符提取模块，用于根据该统一资源定位符，提取通用符，所述通用符是由同一个模板生成的各页面的统一资源定位符的共同部分；

通用符保存模块，用于尝试将所述通用符保存到所述通用符集合中；

埋点检查模块，用于当保存成功，执行模拟请求获取该页面并检查该页面是否埋点。

7.根据权利要求6所述的装置，其特征在于，所述通用符提取模块用于执行如下步骤：

获取所述统一资源定位符的最后一个路径层级的内容；

判断所述最后一个路径层级的内容中是否包含超文本文件的网页文件扩展名；

如果包含，则所述通用符为：http://x.com/*.html；

否则，所述通用符为：http://x.com/x/*。

8.根据权利要求6所述的装置，其特征在于，所述埋点检查模块还用于：

当保存不成功，即所述通用符集合中已包含当前页面的通用符，则立即中断对该页面的检查，继续执行对下一个页面的检查。

9.根据权利要求6所述的装置，其特征在于，所述通用符集合被实现为JAVA中的Hashset。

10.一种监测网站的页面埋点的装置，其特征在于，包括：存储器和处理器，其中，

所述存储器存储指令；

所述处理器执行所述指令用于：

初始化通用符集合，其中所述通用符集合中只能存储不重复的数据；

遍历该网站的全部页面，并且在遍历过程中，对每个当前页面，执行监测页面埋点的操作，其中，所述操作包括：

提取该页面的统一资源定位符；

根据该统一资源定位符，提取通用符，所述通用符是由同一个模板生成的各页面的统一资源定位符的共同部分；

尝试将所述通用符保存到所述通用符集合中；

当保存成功，执行模拟请求获取该页面并检查该页面是否埋点。