CN105447139B - 一种数据采集统计方法及其系统、终端、服务设备 - Google Patents
一种数据采集统计方法及其系统、终端、服务设备 Download PDFInfo
- Publication number
- CN105447139B CN105447139B CN201510812955.1A CN201510812955A CN105447139B CN 105447139 B CN105447139 B CN 105447139B CN 201510812955 A CN201510812955 A CN 201510812955A CN 105447139 B CN105447139 B CN 105447139B
- Authority
- CN
- China
- Prior art keywords
- page element
- target page
- webpage
- data
- trigger
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明实施例公开一种数据采集统计方法及其系统、终端、服务设备,其中数据采集方法包括:生成当前显示的网页页面中目标页面元素对应的标签属性;根据网页页面对应的地址信息和目标页面元素对应的标签属性生成针对目标页面元素的触发数据;将触发数据发送至网页服务设备。数据统计方法包括:接收用户终端发送的在网页页面中对目标页面元素的触发数据;根据触发数据携带的网页页面对应的地址信息以及目标页面元素对应的标签属性,统计目标页面元素的触发操作的次数;基于地址信息生成网页页面的网页快照,并将目标页面元素的触发操作的次数添加至网页快照中。采用本发明,可以提升数据采集的效率,保证数据统计的效果。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种数据采集统计方法及其系统、终端、服务设备。
背景技术
随着互联网技术的发展,各式各样的网页被开发以满足用户的不同需求,例如:搜索类网页、购物类网页等,为了保证网页所提供的服务质量,网页开发人员需要根据实际网页的使用情况对所开发的网页进行不同的优化,其中网页中页面元素(例如:链接、图片、按钮等)的点击量的统计尤为关键。现有的针对页面元素的点击情况的采集,其集成技术难度较大,影响了数据采集的效率,并且对于所统计的点击量,往往是通过表格的形式进行封存,无法直观的体现页面的点击情况,影响数据统计的效果。
发明内容
本发明实施例提供一种数据采集统计方法及其系统、终端、服务设备,可以提升数据采集的效率,保证数据统计的效果。
本发明实施例第一方面提供了一种数据采集方法,可包括:
当监听到在当前显示的网页页面中对目标页面元素的触发操作时,生成所述目标页面元素对应的标签属性;
根据所述网页页面对应的地址信息和所述目标页面元素对应的标签属性生成针对所述目标页面元素的触发数据;
将所述触发数据发送至网页服务设备,以使所述网页服务设备基于所述触发数据对所述目标页面元素的触发操作的次数进行统计。
本发明实施例第二方面提供了一种数据统计方法,可包括:
接收用户终端发送的在网页页面中对目标页面元素的触发数据,并获取所述触发数据携带的所述网页页面对应的地址信息和所述目标页面元素对应的标签属性;
根据所述地址信息以及所述目标页面元素对应的标签属性,统计所述目标页面元素的触发操作的次数;
基于所述地址信息生成所述网页页面的网页快照,并将所述目标页面元素的触发操作的次数添加至所述网页快照中;
其中,所述触发数据为所述用户终端监听到在所述网页页面中存在对所述目标页面元素的触发操作时,基于所述地址信息和所述目标页面元素对应的标签属性所生成的针对所述目标页面元素的数据。
本发明实施例第三方面提供了一种用户终端,可包括:
属性生成单元,用于当监听到在当前显示的网页页面中对目标页面元素的触发操作时,生成所述目标页面元素对应的标签属性;
数据生成单元,用于根据所述网页页面对应的地址信息和所述目标页面元素对应的标签属性生成针对所述目标页面元素的触发数据;
数据发送单元,用于将所述触发数据发送至网页服务设备,以使所述网页服务设备基于所述触发数据对所述目标页面元素的触发操作的次数进行统计。
本发明实施例第四方面提供了一种网页服务设备,可包括:
数据获取单元,用于接收用户终端发送的在网页页面中对目标页面元素的触发数据,并获取所述触发数据携带的所述网页页面对应的地址信息和所述目标页面元素对应的标签属性;
次数统计单元,用于根据所述地址信息以及所述目标页面元素对应的标签属性,统计所述目标页面元素的触发操作的次数;
次数添加单元,用于基于所述地址信息生成所述网页页面的网页快照,并将所述目标页面元素的触发操作的次数添加至所述网页快照中;
其中,所述触发数据为所述用户终端监听到在所述网页页面中存在对所述目标页面元素的触发操作时,基于所述地址信息和所述目标页面元素对应的标签属性所生成的针对所述目标页面元素的数据。
本发明实施例第五方面提供了一种数据采集统计系统,可包括上述第三方面提供的用户终端以及上述第四方面提供的网页服务设备。
在本发明实施例中,通过基于网页页面的地址信息以及目标页面元素的标签属性生成针对本次触发操作的触发数据,并将触发数据上报至网页服务设备,实现了对页面元素的触发数据进行采集和上报服务设备的过程,简化了数据采集的过程,提升了数据采集的效率;通过接收用户终端上报的对目标页面元素的本次触发操作的触发数据,统计该目标页面元素的触发操作的次数,并将统计的次数添加到生成的网页快照中,实现了对页面元素的触发操作的次数进行统计的过程,通过采用与网页快照结合的方式,可以直观的体现页面的点击情况,保证了数据统计的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种数据采集统计系统的网络架构图;
图2是本发明实施例提供的一种数据采集方法的流程示意图;
图3是本发明实施例提供的另一种数据采集方法的流程示意图;
图4是本发明实施例提供的一种数据统计方法的流程示意图;
图5是本发明实施例提供的另一种数据统计方法的流程示意图;
图6是本发明实施例提供的一种用户终端的结构示意图;
图7是本发明实施例提供的属性生成单元的结构示意图;
图8是本发明实施例提供的另一种用户终端的结构示意图;
图9是本发明实施例提供的一种网页服务设备的结构示意图;
图10是本发明实施例提供的次数添加单元的结构示意图;
图11是本发明实施例提供的另一种网页服务设备的结构示意图;
图12是本发明实施例提供的一种数据采集统计系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参见图1,为本发明实施例提供了一种数据采集统计系统的网络架构图。如图1所示,该网络构架可以包括服务设备以及多个用户终端,其中,服务设备也被称后台服务设备、组件服务设备等,服务设备可以通过互联网与多个用户终端进行通信连接;用户终端可以包括但不限于移动电话、移动电脑、平板电脑、个人数字助理(Personal DigitalAssistant,PDA)、媒体播放器、智能电视、智能手表、智能眼镜、智能手环等用户设备。在图1所示的网络构架中,用户终端在监听到在当前显示的网页页面中对目标页面元素的触发操作时,可以生成所述目标页面元素对应的标签属性,根据所述网页页面对应的地址信息和所述目标页面元素对应的标签属性生成针对所述目标页面元素的触发数据,并将所述触发数据发送至网页服务设备,服务设备在接收到用户终端发送的在网页页面中对目标页面元素的触发数据时,可以获取所述触发数据携带的所述网页页面对应的地址信息和所述目标页面元素对应的标签属性,根据所述地址信息以及所述目标页面元素对应的标签属性,统计所述目标页面元素的触发操作的次数,基于所述地址信息生成所述网页页面的网页快照,并将所述目标页面元素的触发操作的次数添加至所述网页快照中。
基于图1所示的网络架构,下面将结合附图2和附图3,对本发明实施例提供的数据采集方法进行详细介绍。
请参见图2,为本发明实施例提供了一种数据采集方法的流程示意图。如图2所示,本发明实施例从用户终端侧阐述数据采集方法的具体流程,该方法可以包括以下步骤S101-步骤S103。
S101,当监听到在当前显示的网页页面中对目标页面元素的触发操作时,生成所述目标页面元素对应的标签属性;
具体的,当用户终端监听到在当前显示的网页页面中对目标页面元素的触发操作时,例如:监听到用户通过键盘、鼠标等外部操作设备在所述网页页面中对目标页面元素的点击操作,所述目标页面元素可以为所述网页页面中的链接、图片、按钮等可被点击的元素,所述用户终端可以生成所述目标页面元素对应的标签属性,所述目标页面元素对应的标签属性用于表示在所述网页页面中唯一标识当前发生触发操作的标签。
S102,根据所述网页页面对应的地址信息和所述目标页面元素对应的标签属性生成针对所述目标页面元素的触发数据;
具体的,所述用户终端可以根据所述网页页面对应的地址信息和所述目标页面元素对应的标签属性生成针对所述目标页面元素的触发数据,可以理解的是,所述目标页面元素的触发数据为用于向网页服务设备上报的本次在所述网页页面中,存在对目标页面元素的触发操作事件的数据,所述触发数据可以包括所述网页页面对应的页面地址和所述目标页面元素对应的标签属性。
S103,将所述触发数据发送至网页服务设备;
具体的,所述用户终端可以将所述触发数据发送至网页服务设备,所述网页服务设备接收到所述触发数据,可以基于所述触发数据对所述目标页面元素的触发操作的次数进行统计。
在本发明实施例中,通过基于网页页面的地址信息以及目标页面元素的标签属性生成针对本次触发操作的触发数据,并将触发数据上报至网页服务设备,实现了对页面元素的触发数据进行采集和上报服务设备的过程,简化了数据采集的过程,提升了数据采集的效率。
请参见图3,为本发明实施例提供了另一种数据采集方法的流程示意图。如图3所示,本发明实施例从用户终端侧阐述数据采集方法的具体流程,该方法可以包括以下步骤S201-步骤S207。
S201,当监听到在当前显示的网页页面中对页面元素的触发操作时,获取所述页面元素的元素类型,并检测所述元素类型是否属于预设采集类型;
S202,若所述元素类型属于所述预设采集类型,则确定所述页面元素为所述网页页面中的目标页面元素;
具体的,用户终端可以预先设置有针对页面元素的采集类型,当用户终端监听到在当前显示的网页页面中对页面元素的触发操作时,所述用户终端可以获取所述页面元素的元素类型,并检测所述元素类型是否属于预设采集类型,所述元素类型可以包括所述网页页面中所有的链接、图片、按钮等可被点击的元素,若所述元素类型属于所述预设采集类型,则所述用户终端可以确定所述页面元素为所述网页页面中的目标页面元素。通过预设针对页面元素的采集类型,可以限定需要进行数据采集的页面元素的类型,保证数据采集的准确性。
S203,当监听到在当前显示的网页页面中对目标页面元素的触发操作时,基于所述网页页面对应的地址信息查找所述目标页面元素对应的标签属性;
具体的,当用户终端监听到在当前显示的网页页面中对目标页面元素的触发操作时,例如:监听到用户通过键盘、鼠标等外部操作设备在所述网页页面中对目标页面元素的点击操作,所述目标页面元素可以为所述网页页面中的链接、图片、按钮等可被点击的元素,所述用户终端可以基于所述网页页面对应的地址信息查找所述目标页面元素对应的标签属性,可以理解的是,所述用户终端可以预先存储有每个网页页面的地址信息,以及每个地址信息中历史生成过的目标页面元素对应的标签属性,所述历史生成过的目标页面元素对应的标签属性可以表示为基于所述用户终端在所述网页页面中发生过触发操作的目标页面元素对应的标签属性,通过对标签属性进行存储,可以避免重复对发生过触发操作的目标页面元素的标签属性进行重复生成,提升了标签属性的获取效率。
S204,若查找到所述目标页面元素对应的标签属性,则获取所述目标页面元素对应的标签属性;
具体的,若查找到所述目标页面元素对应的标签属性,则所述用户终端可以直接获取所述目标页面元素对应的标签属性。
S205,若未查找到所述目标页面元素对应的标签属性,则按照预设属性生成规则生成所述目标页面元素对应的标签属性,并基于所述地址信息对所述目标页面元素对应的标签属性进行存储;
具体的,若未查找到所述目标页面元素对应的标签属性,则所述用户终端可以按照预设属性生成规则生成所述目标页面元素对应的标签属性,所述预设属性生成规则可以包括:将所述目标页面元素对应的ID属性确定为所述目标页面元素对应的标签属性;或者,将所述目标页面元素对应的NAME属性确定为所述目标页面元素对应的标签属性;或者,基于所述目标页面元素的祖先节点对应的标签属性、所述目标页面元素的标签类型以及与所述目标页面元素的标签类型相同的页面元素的数量,生成所述目标页面元素对应的标签属性。可以理解的是,以上ID属性、NAME属性以及祖先节点均属于所述网页页面的HTML内容中。例如:
<div id=’dd’>
<ul>
<li><a href=”#”>a</a></li>
<li><a href=”#”>b</a></li>
</ul>
</div>
因为第3,4行的a页面元素没有ID属性,所以根据父级节点的ID生成,但是其父级节点li标签也没有ID属性,所以继续向上找,直到找到div页面元素,其ID属性为dd,所以第3行a页面元素生成的标签属性为dd_ul[0]_li[0]_a[0],第4行a页面元素生成的标签属性为dd_ul[0]_li[1]_a[0]。为了避免向祖先节点查找层次过深而影响性能,可以设置向上查找的层次数量,例如:10层等。所述用户终端可以基于所述地址信息对所述目标页面元素对应的标签属性进行存储。
S206,根据所述网页页面对应的地址信息和所述目标页面元素对应的标签属性生成针对所述目标页面元素的触发数据;
S207,将所述触发数据发送至网页服务设备。
其中,本发明实施例的步骤S206和S207可以参见图2所示实施例的步骤S102和S103的具体描述,在此不进行赘述。
在本发明实施例中,通过基于网页页面的地址信息以及目标页面元素的标签属性生成针对本次触发操作的触发数据,并将触发数据上报至网页服务设备,实现了对页面元素的触发数据进行采集和上报服务设备的过程,简化了数据采集的过程,提升了数据采集的效率;通过预设针对页面元素的采集类型,可以限定需要进行数据采集的页面元素的类型,保证数据采集的准确性;通过对标签属性进行存储,可以避免重复对发生过触发操作的目标页面元素的标签属性进行重复生成,提升了标签属性的获取效率。
基于图1所示的网络架构,下面将结合附图4和附图5,对本发明实施例提供的数据统计方法进行详细介绍。
请参见图4,为本发明实施例提供了一种数据统计方法的流程示意图。如图4所示,本发明实施例从网页服务设备侧阐述数据统计方法的具体流程,该方法可以包括以下步骤S301-步骤S303。
S301,接收用户终端发送的在网页页面中对目标页面元素的触发数据,并获取所述触发数据携带的所述网页页面对应的地址信息和所述目标页面元素对应的标签属性;
具体的,网页服务设备可以接收用户终端上报的在网页页面中对目标页面元素的触发数据,所述触发数据为所述用户终端监听到在所述网页页面中存在对所述目标页面元素的触发操作时,基于所述地址信息和所述目标页面元素对应的标签属性所生成的针对所述目标页面元素的数据,即:所述触发数据为用于向网页服务设备上报的本次在所述网页页面中,存在对目标页面元素的触发操作事件的数据,所述触发数据可以包括所述网页页面对应的页面地址和所述目标页面元素对应的标签属性。
所述网页服务设备可以获取所述触发数据携带的所述网页页面对应的地址信息和所述目标页面元素对应的标签属性。
S302,根据所述地址信息以及所述目标页面元素对应的标签属性,统计所述目标页面元素的触发操作的次数;
具体的,所述网页服务设备可以根据所述地址信息以及所述目标页面元素对应的标签属性,统计所述目标页面元素的触发操作的次数,优选的,所述网页服务设备可以查找具备相同地址信息以及相同标签属性的历史触发数据,并统计所述历史触发数据和所述触发数据的数量,以生成所述目标页面元素的触发操作的次数,所述历史触发数据用于表示在本次接收到的所述触发数据之前所接收到的所有针对所述目标页面元素的触发数据。
S303,基于所述地址信息生成所述网页页面的网页快照,并将所述目标页面元素的触发操作的次数添加至所述网页快照中;
具体的,所述网页服务设备可以基于所述地址信息生成所述网页页面的网页快照,所述网页服务设备可以将所述目标页面元素的触发操作的次数添加至所述页面快照中,优选的,所述网页服务设备可以修改所述目标页面元素的document结构,在原有结构内容的基础上添加所述目标页面元素的触发操作的次数。
在本发明实施例中,通过接收用户终端上报的对目标页面元素的本次触发操作的触发数据,统计该目标页面元素的触发操作的次数,并将统计的次数添加到生成的网页快照中,实现了对页面元素的触发操作的次数进行统计的过程,通过采用与网页快照结合的方式,可以直观的体现页面的点击情况,保证了数据统计的效果。
请参见图5,为本发明实施例提供了另一种数据统计方法的流程示意图。如图5所示,本发明实施例从网页服务设备侧阐述数据统计方法的具体流程,该方法可以包括以下步骤S401-步骤S409。
S401,接收用户终端发送的在网页页面中对目标页面元素的触发数据,并获取所述触发数据携带的所述网页页面对应的地址信息和所述目标页面元素对应的标签属性;
具体的,网页服务设备可以接收用户终端上报的在网页页面中对目标页面元素的触发数据,所述触发数据为所述用户终端监听到在所述网页页面中存在对所述目标页面元素的触发操作时,基于所述地址信息和所述目标页面元素对应的标签属性所生成的针对所述目标页面元素的数据,即:所述触发数据为用于向网页服务设备上报的本次在所述网页页面中,存在对目标页面元素的触发操作事件的数据,所述触发数据可以包括所述网页页面对应的页面地址和所述目标页面元素对应的标签属性。
所述网页服务设备可以获取所述触发数据携带的所述网页页面对应的地址信息和所述目标页面元素对应的标签属性。
优选的,所述网页服务设备在接收到所述用户终端发送的触发数据之后,还可以为所述触发数据设置数据接收时间戳,所述数据接收时间戳可以为所述网页服务设备接收到所述触发数据的时间。通过设置数据接收时间戳,可以结合网页开发人员的实际需求统计任一时间段内对所述目标页面元素的触发操作的次数(例如:统计当天内针对目标页面元素的触发操作的次数),提升了数据统计的智能性。
S402,根据所述地址信息以及所述目标页面元素对应的标签属性,统计所述目标页面元素的触发操作的次数;
具体的,所述网页服务设备可以根据所述地址信息以及所述目标页面元素对应的标签属性,统计所述目标页面元素的触发操作的次数,优选的,所述网页服务设备可以查找具备相同地址信息以及相同标签属性的历史触发数据,并统计所述历史触发数据和所述触发数据的数量,以生成所述目标页面元素的触发操作的次数,所述历史触发数据用于表示在本次接收到的所述触发数据之前所接收到的所有针对所述目标页面元素的触发数据。
进一步的,基于对所述触发数据设置的数据接收时间戳,还可以根据所述数据接收时间戳查找预设时间段内具备相同地址信息以及相同标签属性的历史触发数据,并统计所述历史触发数据和所述触发数据的数量,以生成所述目标页面元素的触发操作的次数。
需要说明的是,所述网页服务设备可以对应缓存所述目标页面元素对应的标签属性以及所述目标页面元素的触发操作的次数。
S403,检测所述地址信息是否属于预设地址类型;
具体的,由于用户终端在上报触发数据时,会存在同时上报所述网页页面下的其它链接的子页面中的触发数据的情况,或者存在上报与所述网页页面无关的其它网页页面中的触发数据的情况,因此,所述网页服务设备可以先检测所述网页页面的地址信息是否属于预设地址类型,所述预设地址类型为根据网页开发人员的实际需求所设置的地址类型列表。
S404,若所述地址信息属于预设地址类型,则在所述网页页面对应的页面内容中,将第一页面元素的路径修改为绝对路径,并基于修改后的页面内容生成所述网页页面的网页快照;
具体的,所述第一页面元素具体可以为在所述网页页面对应的页面内容中路径为相对路径的页面元素,所述页面内容优选为所述网页页面对应的HTML内容,若所述地址信息属于预设地址类型,则所述网页服务设备可以将所述网页页面中的第一页面元素对应的相对路径修改为绝对路径,优选的,通过获取所述网页页面对应的HTML内容,获取使用相对路径的CSS、JS、IMG等第一页面元素,将这些第一页面元素的SRC属性修改为绝对路径。所述网页服务设备可以基于修改后的页面内容生成所述网页页面的网页快照。
S405,按照预设属性生成规则生成所述目标页面元素对应的匹配标签属性;
具体的,所述网页服务设备可以按照预设属性生成规则生成所述目标页面元素对应的匹配标签属性,所述预设属性生成规则可以包括:将所述目标页面元素对应的ID属性确定为所述目标页面元素对应的匹配标签属性;或者,将所述目标页面元素对应的NAME属性确定为所述目标页面元素对应的匹配标签属性;或者,基于所述目标页面元素的祖先节点对应的标签属性、所述目标页面元素的标签类型以及与所述目标页面元素的标签类型相同的页面元素的数量,生成所述目标页面元素对应的匹配标签属性。可以理解的是,以上ID属性、NAME属性以及祖先节点均属于所述网页页面的HTML内容中。所述匹配标签属性和上述标签属性可以为相同的属性,采用匹配标签属性和标签属性仅用于区分网页服务设备生成的所述目标页面元素对应的属性和用户终端生成的所述目标页面元素对应的属性。
S406,查找与所述匹配标签属性相同的所述目标页面元素对应的标签属性,并基于所述目标页面元素对应的标签属性获取所述目标页面元素的触发操作的次数;
具体的,所述网页服务设备可以查找与所述匹配标签属性相同的所述目标页面元素对应的标签属性,并基于所述目标页面元素对应的标签属性对应获取所述目标页面元素的触发操作的次数。
S407,将所述目标页面元素的触发操作的次数添加至所述页面快照中;
具体的,所述网页服务设备可以将所述目标页面元素的触发操作的次数添加至所述页面快照中,优选的,所述网页服务设备可以修改所述目标页面元素的document结构,在原有结构内容的基础上添加所述目标页面元素的触发操作的次数。
S408,生成添加了所述目标页面元素的触发操作的次数的页面快照对应的快照路径信息;
S409,当检测到携带有所述快照路径信息的页面请求时,对添加了所述目标页面元素的触发操作的次数的页面快照进行输出;
具体的,所述网页服务设备可以生成添加了所述目标页面元素的触发操作的次数的页面快照对应的快照路径信息,所述快照路径信息可以通过约定的通信方式通知给网页开发人员,网页开发人员可以使用其用户终端输入所述快照路径信息以向所述网页服务设备发送对添加了所述目标页面元素的触发操作的次数的页面快照的页面请求,当检测到携带有所述快照路径信息的页面请求时,所述网页服务设备可以对添加了所述目标页面元素的触发操作的次数的页面快照进行输出,以响应所述页面请求。
在本发明实施例中,通过接收用户终端上报的对目标页面元素的本次触发操作的触发数据,统计该目标页面元素的触发操作的次数,并将统计的次数添加到生成的网页快照中,实现了对页面元素的触发操作的次数进行统计的过程,通过采用与网页快照结合的方式,可以直观的体现页面的点击情况,保证了数据统计的效果;通过设置数据接收时间戳,可以结合网页开发人员的实际需求统计任一时间段内对所述目标页面元素的触发操作的次数,提升了数据统计的智能性。
需要说明的是,在本发明实施例中,用户终端执行的数据采集方法可以与网页服务设备执行的数据统计方法相结合,具体实现可以参见图2-图5的具体描述,在此不进行赘述。
基于图1所示的网络架构,下面将结合附图6-附图8,对本发明实施例提供的用户终端进行详细介绍。需要说明的是,附图6-附图8所示的用户终端,用于执行本发明图2和图3所示实施例的方法,为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明图2和图3所示的实施例。
请参见图6,为本发明实施例提供一种用户终端的结构示意图。如图6所示,本发明实施例的所述用户终端1可以包括:属性生成单元11、数据生成单元12和数据发送单元13。
属性生成单元11,用于当监听到在当前显示的网页页面中对目标页面元素的触发操作时,生成所述目标页面元素对应的标签属性;
具体实现中,当所述用户终端1监听到在当前显示的网页页面中对目标页面元素的触发操作时,例如:监听到用户通过键盘、鼠标等外部操作设备在所述网页页面中对目标页面元素的点击操作,所述目标页面元素可以为所述网页页面中的链接、图片、按钮等可被点击的元素,所述属性生成单元11可以生成所述目标页面元素对应的标签属性,所述目标页面元素对应的标签属性用于表示在所述网页页面中唯一标识当前发生触发操作的标签。
具体的,请一并参见图7,为本发明实施例提供了属性生成单元的结构示意图。如图7所示,所述属性生成单元11可以包括:
属性查找子单元111,用于当监听到在当前显示的网页页面中对目标页面元素的触发操作时,基于所述网页页面对应的地址信息查找所述目标页面元素对应的标签属性;
具体实现中,当所述用户终端1监听到在当前显示的网页页面中对目标页面元素的触发操作时,例如:监听到用户通过键盘、鼠标等外部操作设备在所述网页页面中对目标页面元素的点击操作,所述目标页面元素可以为所述网页页面中的链接、图片、按钮等可被点击的元素,所述属性查找子单元111可以基于所述网页页面对应的地址信息查找所述目标页面元素对应的标签属性,可以理解的是,所述用户终端1可以预先存储有每个网页页面的地址信息,以及每个地址信息中历史生成过的目标页面元素对应的标签属性,所述历史生成过的目标页面元素对应的标签属性可以表示为基于所述用户终端1在所述网页页面中发生过触发操作的目标页面元素对应的标签属性,通过对标签属性进行存储,可以避免重复对发生过触发操作的目标页面元素的标签属性进行重复生成,提升了标签属性的获取效率。
属性生成子单元112,用于若未查找到所述目标页面元素对应的标签属性,则按照预设属性生成规则生成所述目标页面元素对应的标签属性,并基于所述地址信息对所述目标页面元素对应的标签属性进行存储;
具体实现中,若未查找到所述目标页面元素对应的标签属性,则所述属性生成子单元112可以按照预设属性生成规则生成所述目标页面元素对应的标签属性,所述预设属性生成规则可以包括:将所述目标页面元素对应的ID属性确定为所述目标页面元素对应的标签属性;或者,将所述目标页面元素对应的NAME属性确定为所述目标页面元素对应的标签属性;或者,基于所述目标页面元素的祖先节点对应的标签属性、所述目标页面元素的标签类型以及与所述目标页面元素的标签类型相同的页面元素的数量,生成所述目标页面元素对应的标签属性。可以理解的是,以上ID属性、NAME属性以及祖先节点均属于所述网页页面的HTML内容中。例如:
<div id=’dd’>
<ul>
<li><a href=”#”>a</a></li>
<li><a href=”#”>b</a></li>
</ul>
</div>
因为第3,4行的a页面元素没有ID属性,所以根据父级节点的ID生成,但是其父级节点li标签也没有ID属性,所以继续向上找,直到找到div页面元素,其ID属性为dd,所以第3行a页面元素生成的标签属性为dd_ul[0]_li[0]_a[0],第4行a页面元素生成的标签属性为dd_ul[0]_li[1]_a[0]。为了避免向祖先节点查找层次过深而影响性能,可以设置向上查找的层次数量,例如:10层等。所述属性生成子单元112可以基于所述地址信息对所述目标页面元素对应的标签属性进行存储。
属性获取子单元113,用于若查找到所述目标页面元素对应的标签属性,则获取所述目标页面元素对应的标签属性;
具体实现中,若查找到所述目标页面元素对应的标签属性,则所述属性获取子单元113可以直接获取所述目标页面元素对应的标签属性。
数据生成单元12,用于根据所述网页页面对应的地址信息和所述目标页面元素对应的标签属性生成针对所述目标页面元素的触发数据;
具体实现中,所述数据生成单元12可以根据所述网页页面对应的地址信息和所述目标页面元素对应的标签属性生成针对所述目标页面元素的触发数据,可以理解的是,所述目标页面元素的触发数据为用于向网页服务设备上报的本次在所述网页页面中,存在对目标页面元素的触发操作事件的数据,所述触发数据可以包括所述网页页面对应的页面地址和所述目标页面元素对应的标签属性。
数据发送单元13,用于将所述触发数据发送至网页服务设备;
具体实现中,所述数据发送单元13可以将所述触发数据发送至网页服务设备,所述网页服务设备接收到所述触发数据,可以基于所述触发数据对所述目标页面元素的触发操作的次数进行统计。
在本发明实施例中,通过基于网页页面的地址信息以及目标页面元素的标签属性生成针对本次触发操作的触发数据,并将触发数据上报至网页服务设备,实现了对页面元素的触发数据进行采集和上报服务设备的过程,简化了数据采集的过程,提升了数据采集的效率;通过对标签属性进行存储,可以避免重复对发生过触发操作的目标页面元素的标签属性进行重复生成,提升了标签属性的获取效率。
请参见图8,为本发明实施例提供另一种用户终端的结构示意图。如图8所示,本发明实施例的所述用户终端1可以包括:属性生成单元11、数据生成单元12、数据发送单元13、类型检测单元14和元素确定单元15;其中,属性生成单元11、数据生成单元12和数据发送单元13的结构可以参见图6所示实施例的具体描述,在此不进行赘述。
类型检测单元14,用于当监听到在当前显示的网页页面中对页面元素的触发操作时,获取所述页面元素的元素类型,并检测所述元素类型是否属于预设采集类型;
元素确定单元15,用于若所述元素类型属于所述预设采集类型,则确定所述页面元素为所述网页页面中的目标页面元素;
具体实现中,所述用户终端1可以预先设置有针对页面元素的采集类型,当所述用户终端1监听到在当前显示的网页页面中对页面元素的触发操作时,所述类型检测单元14可以获取所述页面元素的元素类型,并检测所述元素类型是否属于预设采集类型,所述元素类型可以包括所述网页页面中所有的链接、图片、按钮等可被点击的元素,若所述元素类型属于所述预设采集类型,则所述元素确定单元15可以确定所述页面元素为所述网页页面中的目标页面元素。通过预设针对页面元素的采集类型,可以限定需要进行数据采集的页面元素的类型,保证数据采集的准确性。
在本发明实施例中,通过基于网页页面的地址信息以及目标页面元素的标签属性生成针对本次触发操作的触发数据,并将触发数据上报至网页服务设备,实现了对页面元素的触发数据进行采集和上报服务设备的过程,简化了数据采集的过程,提升了数据采集的效率;通过预设针对页面元素的采集类型,可以限定需要进行数据采集的页面元素的类型,保证数据采集的准确性;通过对标签属性进行存储,可以避免重复对发生过触发操作的目标页面元素的标签属性进行重复生成,提升了标签属性的获取效率。
基于图1所示的网络架构,下面将结合附图9-附图11,对本发明实施例提供的网页服务设备进行详细介绍。需要说明的是,附图9-附图11所示的网页服务设备,用于执行本发明图4和图5所示实施例的方法,为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明图4和图5所示的实施例。
请参见图9,为本发明实施例提供一种网页服务设备的结构示意图。如图9所示,本发明实施例的所述网页服务设备2可以包括:数据获取单元21、次数统计单元22和次数添加单元23。
数据获取单元21,用于接收用户终端发送的在网页页面中对目标页面元素的触发数据,并获取所述触发数据携带的所述网页页面对应的地址信息和所述目标页面元素对应的标签属性;
具体实现中,所述数据获取单元21可以接收用户终端上报的在网页页面中对目标页面元素的触发数据,所述触发数据为所述用户终端监听到在所述网页页面中存在对所述目标页面元素的触发操作时,基于所述地址信息和所述目标页面元素对应的标签属性所生成的针对所述目标页面元素的数据,即:所述触发数据为用于向网页服务设备2上报的本次在所述网页页面中,存在对目标页面元素的触发操作事件的数据,所述触发数据可以包括所述网页页面对应的页面地址和所述目标页面元素对应的标签属性。
所述数据获取单元21可以获取所述触发数据携带的所述网页页面对应的地址信息和所述目标页面元素对应的标签属性。
次数统计单元22,用于根据所述地址信息以及所述目标页面元素对应的标签属性,统计所述目标页面元素的触发操作的次数;
具体实现中,所述次数统计单元22可以根据所述地址信息以及所述目标页面元素对应的标签属性,统计所述目标页面元素的触发操作的次数,优选的,所述次数统计单元22可以查找具备相同地址信息以及相同标签属性的历史触发数据,并统计所述历史触发数据和所述触发数据的数量,以生成所述目标页面元素的触发操作的次数,所述历史触发数据用于表示在本次接收到的所述触发数据之前所接收到的所有针对所述目标页面元素的触发数据。
次数添加单元23,用于基于所述地址信息生成所述网页页面的网页快照,并将所述目标页面元素的触发操作的次数添加至所述网页快照中;
具体实现中,所述次数添加单元23可以基于所述地址信息生成所述网页页面的网页快照,所述次数添加单元23可以将所述目标页面元素的触发操作的次数添加至所述页面快照中,优选的,所述次数添加单元23可以修改所述目标页面元素的document结构,在原有结构内容的基础上添加所述目标页面元素的触发操作的次数。
具体的,请一并参见图10,为本发明实施例提供了次数添加单元的结构示意图。如图10所示,所述次数添加单元23可以包括:
类型检测子单元231,用于检测所述地址信息是否属于预设地址类型;
具体实现中,由于用户终端在上报触发数据时,会存在同时上报所述网页页面下的其它链接的子页面中的触发数据的情况,或者存在上报与所述网页页面无关的其它网页页面中的触发数据的情况,因此,所述类型检测子单元231可以先检测所述网页页面的地址信息是否属于预设地址类型,所述预设地址类型为根据网页开发人员的实际需求所设置的地址类型列表。
快照生成子单元232,用于若所述地址信息属于预设地址类型,则在所述网页页面对应的页面内容中,将第一页面元素的路径修改为绝对路径,并基于修改后的页面内容生成所述网页页面的网页快照;
具体实现中,所述第一页面元素具体可以为在所述网页页面对应的页面内容中路径为相对路径的页面元素,所述页面内容优选为所述网页页面对应的HTML内容,若所述地址信息属于预设地址类型,则所述快照生成子单元232可以将所述网页页面中的第一页面元素对应的相对路径修改为绝对路径,优选的,通过获取所述网页页面对应的HTML内容,获取使用相对路径的CSS、JS、IMG等第一页面元素,将这些第一页面元素的SRC属性修改为绝对路径。所述快照生成子单元232可以基于修改后的页面内容生成所述网页页面的网页快照。
属性生成子单元233,用于按照预设属性生成规则生成所述目标页面元素对应的匹配标签属性;
具体实现中,所述属性生成子单元233可以按照预设属性生成规则生成所述目标页面元素对应的匹配标签属性,所述预设属性生成规则可以包括:将所述目标页面元素对应的ID属性确定为所述目标页面元素对应的匹配标签属性;或者,将所述目标页面元素对应的NAME属性确定为所述目标页面元素对应的匹配标签属性;或者,基于所述目标页面元素的祖先节点对应的标签属性、所述目标页面元素的标签类型以及与所述目标页面元素的标签类型相同的页面元素的数量,生成所述目标页面元素对应的匹配标签属性。可以理解的是,以上ID属性、NAME属性以及祖先节点均属于所述网页页面的HTML内容中。所述匹配标签属性和上述标签属性可以为相同的属性,采用匹配标签属性和标签属性仅用于区分网页服务设备2生成的所述目标页面元素对应的属性和用户终端生成的所述目标页面元素对应的属性。
次数获取子单元234,用于查找与所述匹配标签属性相同的所述目标页面元素对应的标签属性,并基于所述目标页面元素对应的标签属性获取所述目标页面元素的触发操作的次数;
具体实现中,所述次数获取子单元234可以查找与所述匹配标签属性相同的所述目标页面元素对应的标签属性,并基于所述目标页面元素对应的标签属性对应获取所述目标页面元素的触发操作的次数。
次数添加子单元235,用于将所述目标页面元素的触发操作的次数添加至所述页面快照中;
具体实现中,所述次数添加子单元235可以将所述目标页面元素的触发操作的次数添加至所述页面快照中,优选的,所述次数添加子单元235可以修改所述目标页面元素的document结构,在原有结构内容的基础上添加所述目标页面元素的触发操作的次数。
在本发明实施例中,通过接收用户终端上报的对目标页面元素的本次触发操作的触发数据,统计该目标页面元素的触发操作的次数,并将统计的次数添加到生成的网页快照中,实现了对页面元素的触发操作的次数进行统计的过程,通过采用与网页快照结合的方式,可以直观的体现页面的点击情况,保证了数据统计的效果。
请参见图11,为本发明实施例提供另一种网页服务设备的结构示意图。如图11所示,本发明实施例的所述网页服务设备2可以包括:数据获取单元21、次数统计单元22、次数添加单元23、时间戳设置单元24、信息生成单元25和快照输出单元26;其中,次数添加单元23的结构可以参见图9所示实施例的具体描述,在此不进行赘述。
数据获取单元21,用于接收用户终端发送的在网页页面中对目标页面元素的触发数据,并获取所述触发数据携带的所述网页页面对应的地址信息和所述目标页面元素对应的标签属性;
具体实现中,所述数据获取单元21可以接收用户终端上报的在网页页面中对目标页面元素的触发数据,所述触发数据为所述用户终端监听到在所述网页页面中存在对所述目标页面元素的触发操作时,基于所述地址信息和所述目标页面元素对应的标签属性所生成的针对所述目标页面元素的数据,即:所述触发数据为用于向网页服务设备2上报的本次在所述网页页面中,存在对目标页面元素的触发操作事件的数据,所述触发数据可以包括所述网页页面对应的页面地址和所述目标页面元素对应的标签属性。
所述数据获取单元21可以获取所述触发数据携带的所述网页页面对应的地址信息和所述目标页面元素对应的标签属性。
时间戳设置单元24,用于对所述触发数据设置数据接收时间戳;
具体实现中,所述时间戳设置单元24在所述数据获取单元21接收到所述用户终端发送的触发数据之后,还可以为所述触发数据设置数据接收时间戳,所述数据接收时间戳可以为所述数据获取单元21接收到所述触发数据的时间。通过设置数据接收时间戳,可以结合网页开发人员的实际需求统计任一时间段内对所述目标页面元素的触发操作的次数(例如:统计当天内针对目标页面元素的触发操作的次数),提升了数据统计的智能性。
次数统计单元22,用于根据所述地址信息以及所述目标页面元素对应的标签属性,统计所述目标页面元素的触发操作的次数;
具体实现中,所述次数统计单元22可以根据所述地址信息以及所述目标页面元素对应的标签属性,统计所述目标页面元素的触发操作的次数,优选的,所述次数统计单元22可以查找具备相同地址信息以及相同标签属性的历史触发数据,并统计所述历史触发数据和所述触发数据的数量,以生成所述目标页面元素的触发操作的次数,所述历史触发数据用于表示在本次接收到的所述触发数据之前所接收到的所有针对所述目标页面元素的触发数据。
进一步的,基于对所述触发数据设置的数据接收时间戳,还可以根据所述数据接收时间戳查找预设时间段内具备相同地址信息以及相同标签属性的历史触发数据,并统计所述历史触发数据和所述触发数据的数量,以生成所述目标页面元素的触发操作的次数。
需要说明的是,所述次数统计单元22可以对应缓存所述目标页面元素对应的标签属性以及所述目标页面元素的触发操作的次数。
信息生成单元25,用于生成添加了所述目标页面元素的触发操作的次数的页面快照对应的快照路径信息;
快照输出单元26,用于当检测到携带有所述快照路径信息的页面请求时,对添加了所述目标页面元素的触发操作的次数的页面快照进行输出;
具体实现中,所述信息生成单元25可以生成添加了所述目标页面元素的触发操作的次数的页面快照对应的快照路径信息,所述快照路径信息可以通过约定的通信方式通知给网页开发人员,网页开发人员可以使用其用户终端输入所述快照路径信息以向所述网页服务设备2发送对添加了所述目标页面元素的触发操作的次数的页面快照的页面请求,当检测到携带有所述快照路径信息的页面请求时,所述快照输出单元26可以对添加了所述目标页面元素的触发操作的次数的页面快照进行输出,以响应所述页面请求。
在本发明实施例中,通过接收用户终端上报的对目标页面元素的本次触发操作的触发数据,统计该目标页面元素的触发操作的次数,并将统计的次数添加到生成的网页快照中,实现了对页面元素的触发操作的次数进行统计的过程,通过采用与网页快照结合的方式,可以直观的体现页面的点击情况,保证了数据统计的效果;通过设置数据接收时间戳,可以结合网页开发人员的实际需求统计任一时间段内对所述目标页面元素的触发操作的次数,提升了数据统计的智能性。
请参见图12,为本发明实施例提供了一种数据采集统计系统的结构示意图。如图12所示,所述系统可以包括用户终端1和网页服务设备2,用户终端1和网页服务设备2之间可以通过网络相互连接,其中,用户终端1具体为图6-图8任一所示实施例的用户终端1,网页服务设备2具体为图9和图11任一所示实施例的网页服务设备2。
在本发明实施例中,通过基于网页页面的地址信息以及目标页面元素的标签属性生成针对本次触发操作的触发数据,并将触发数据上报至网页服务设备,实现了对页面元素的触发数据进行采集和上报服务设备的过程,简化了数据采集的过程,提升了数据采集的效率;在本发明实施例中,通过基于网页页面的地址信息以及目标页面元素的标签属性生成针对本次触发操作的触发数据,并将触发数据上报至网页服务设备,实现了对页面元素的触发数据进行采集和上报服务设备的过程,简化了数据采集的过程,提升了数据采集的效率;通过接收用户终端上报的对目标页面元素的本次触发操作的触发数据,统计该目标页面元素的触发操作的次数,并将统计的次数添加到生成的网页快照中,实现了对页面元素的触发操作的次数进行统计的过程,通过采用与网页快照结合的方式,可以直观的体现页面的点击情况,保证了数据统计的效果。
通过接收用户终端上报的对目标页面元素的本次触发操作的触发数据,统计该目标页面元素的触发操作的次数,并将统计的次数添加到生成的网页快照中,实现了对页面元素的触发操作的次数进行统计的过程,通过采用与网页快照结合的方式,可以直观的体现页面的点击情况,保证了数据统计的效果;通过设置数据接收时间戳,可以结合网页开发人员的实际需求统计任一时间段内对所述目标页面元素的触发操作的次数,提升了数据统计的智能性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
Claims (9)
1.一种数据采集方法,其特征在于,包括:
当监听到在当前显示的网页页面中对目标页面元素的触发操作时,生成所述目标页面元素对应的标签属性;所述目标页面元素对应的标签属性用于表示在所述网页页面中唯一标识当前发生触发操作的标签;
其中,每个网页页面的地址信息以及每个地址信息中历史生成过的目标页面元素对应的标签属性都预先存储在用户终端;所述历史生成过的目标页面元素对应的标签属性表示为基于所述用户终端在所述网页页面中发生过触发操作的目标页面元素对应的标签属性;
根据所述网页页面对应的地址信息和所述目标页面元素对应的标签属性生成针对所述目标页面元素的触发数据;
所述触发数据包括所述网页页面对应的页面地址和所述目标页面元素对应的标签属性;
将所述触发数据发送至网页服务设备,以使所述网页服务设备基于所述触发数据对所述目标页面元素的触发操作的次数进行统计;其中,所述网页服务设备对所述触发数据设置了数据接收时间戳;所述网页服务设备根据所述数据接收时间戳查找具备相同地址信息以及相同标签属性的历史触发数据,并根据所述数据接收时间戳统计所述历史触发数据和所述触发数据的数量,以生成所述目标页面元素的触发操作的次数;
所述当监听到在当前显示的网页页面中对目标页面元素的触发操作时,生成所述目标页面元素对应的标签属性,包括:
当监听到在当前显示的网页页面中对目标页面元素的触发操作时,基于所述网页页面对应的地址信息查找所述目标页面元素对应的标签属性;
若未查找到所述目标页面元素对应的标签属性,则按照预设属性生成规则生成所述目标页面元素对应的标签属性,并基于所述地址信息对所述目标页面元素对应的标签属性进行存储;所述预设属性生成规则包括:预设向上查找10个层次,从而基于所述目标页面元素的祖先节点对应的标签属性、所述目标页面元素的标签类型以及与所述目标页面元素的标签类型相同的页面元素的数量,生成所述目标页面元素对应的标签属性;
若查找到所述目标页面元素对应的标签属性,则获取所述目标页面元素对应的标签属性。
2.根据权利要求1所述的方法,其特征在于,所述当监听到在当前显示的网页页面中对目标页面元素的触发操作之前,还包括:
当监听到在当前显示的网页页面中对页面元素的触发操作时,获取所述页面元素的元素类型,并检测所述元素类型是否属于预设采集类型;
若所述元素类型属于所述预设采集类型,则确定所述页面元素为所述网页页面中的目标页面元素。
3.一种数据统计方法,其特征在于,包括:
接收用户终端发送的在网页页面中对目标页面元素的触发数据,并获取所述触发数据携带的所述网页页面对应的地址信息和所述目标页面元素对应的标签属性;所述目标页面元素对应的标签属性用于表示在所述网页页面中唯一标识当前发生触发操作的标签;
其中,每个所述网页页面的地址信息以及每个地址信息中历史生成过的目标页面元素对应的标签属性都预先存储在用户终端;所述历史生成过的目标页面元素对应的标签属性表示为基于所述用户终端在所述网页页面中发生过触发操作的目标页面元素对应的标签属性;
所述触发数据包括所述网页页面对应的页面地址和所述目标页面元素对应的标签属性;根据所述地址信息以及所述目标页面元素对应的标签属性,统计所述目标页面元素的触发操作的次数;
基于所述地址信息生成所述网页页面的网页快照,并将所述目标页面元素的触发操作的次数添加至所述网页快照中;
其中,所述触发数据为所述用户终端监听到在所述网页页面中存在对所述目标页面元素的触发操作时,基于所述地址信息和所述目标页面元素对应的标签属性所生成的针对所述目标页面元素的数据;
所述基于所述地址信息生成所述网页页面的网页快照,并将所述目标页面元素的触发操作的次数添加至所述页面快照中,包括:
检测所述地址信息是否属于预设地址类型;
若所述地址信息属于预设地址类型,则在所述网页页面对应的页面内容中,将第一页面元素的路径修改为绝对路径,并基于修改后的页面内容生成所述网页页面的网页快照,所述第一页面元素为在所述网页页面对应的页面内容中路径为相对路径的页面元素;
按照预设属性生成规则生成所述目标页面元素对应的匹配标签属性;所述预设属性生成规则包括:预设向上查找10个层次,从而基于所述目标页面元素的祖先节点对应的标签属性、所述目标页面元素的标签类型以及与所述目标页面元素的标签类型相同的页面元素的数量,生成所述目标页面元素对应的匹配标签属性;
查找与所述匹配标签属性相同的所述目标页面元素对应的标签属性,并基于所述目标页面元素对应的标签属性获取所述目标页面元素的触发操作的次数;
将所述目标页面元素的触发操作的次数添加至所述页面快照中;
所述接收用户终端发送的在网页页面中对目标页面元素的触发数据之后,还包括:对所述触发数据设置数据接收时间戳;
所述根据所述地址信息以及所述目标页面元素对应的标签属性,统计所述目标页面元素的触发操作的次数,包括:
根据所述数据接收时间戳查找具备相同地址信息以及相同标签属性的历史触发数据,并根据所述数据接收时间戳统计所述历史触发数据和所述触发数据的数量,以生成所述目标页面元素的触发操作的次数。
4.根据权利要求3所述的方法,其特征在于,所述接收用户终端发送的在网页页面中对目标页面元素的触发数据之后,还包括:对所述触发数据设置数据接收时间戳;
所述方法还包括:
生成添加了所述目标页面元素的触发操作的次数的页面快照对应的快照路径信息;
当检测到携带有所述快照路径信息的页面请求时,对添加了所述目标页面元素的触发操作的次数的页面快照进行输出。
5.一种用户终端,其特征在于,包括:
属性生成单元,用于当监听到在当前显示的网页页面中对目标页面元素的触发操作时,生成所述目标页面元素对应的标签属性;所述目标页面元素对应的标签属性用于表示在所述网页页面中唯一标识当前发生触发操作的标签;
数据生成单元,用于根据所述网页页面对应的地址信息和所述目标页面元素对应的标签属性生成针对所述目标页面元素的触发数据;所述触发数据包括所述网页页面对应的页面地址和所述目标页面元素对应的标签属性;其中,所述用户终端预先存储有每个网页页面的地址信息,以及每个地址信息中历史生成过的目标页面元素对应的标签属性;所述历史生成过的目标页面元素对应的标签属性表示为基于所述用户终端在所述网页页面中发生过触发操作的目标页面元素对应的标签属性;
数据发送单元,用于将所述触发数据发送至网页服务设备,以使所述网页服务设备基于所述触发数据对所述目标页面元素的触发操作的次数进行统计;其中,所述网页服务设备对所述触发数据设置了数据接收时间戳;所述网页服务设备根据所述数据接收时间戳查找具备相同地址信息以及相同标签属性的历史触发数据,并根据所述数据接收时间戳统计所述历史触发数据和所述触发数据的数量,以生成所述目标页面元素的触发操作的次数;
所述属性生成单元包括:
属性查找子单元,用于当监听到在当前显示的网页页面中对目标页面元素的触发操作时,基于所述网页页面对应的地址信息查找所述目标页面元素对应的标签属性;
属性生成子单元,用于若未查找到所述目标页面元素对应的标签属性,则按照预设属性生成规则生成所述目标页面元素对应的标签属性,并基于所述地址信息对所述目标页面元素对应的标签属性进行存储;所述预设属性生成规则包括:预设向上查找10个层次,从而基于所述目标页面元素的祖先节点对应的标签属性、所述目标页面元素的标签类型以及与所述目标页面元素的标签类型相同的页面元素的数量,生成所述目标页面元素对应的标签属性;
属性获取子单元,用于若查找到所述目标页面元素对应的标签属性,则获取所述目标页面元素对应的标签属性。
6.根据权利要求5所述的终端,其特征在于,还包括:
类型检测单元,用于当监听到在当前显示的网页页面中对页面元素的触发操作时,获取所述页面元素的元素类型,并检测所述元素类型是否属于预设采集类型;
元素确定单元,用于若所述元素类型属于所述预设采集类型,则确定所述页面元素为所述网页页面中的目标页面元素。
7.一种网页服务设备,其特征在于,包括:
数据获取单元,用于接收用户终端发送的在网页页面中对目标页面元素的触发数据,并获取所述触发数据携带的所述网页页面对应的地址信息和所述目标页面元素对应的标签属性;所述目标页面元素对应的标签属性用于表示在所述网页页面中唯一标识当前发生触发操作的标签;所述触发数据包括所述网页页面对应的页面地址和所述目标页面元素对应的标签属性;
其中,每个所述网页页面的地址信息以及每个地址信息中历史生成过的目标页面元素对应的标签属性都预先存储在所述用户终端;所述历史生成过的目标页面元素对应的标签属性表示为基于所述用户终端在所述网页页面中发生过触发操作的目标页面元素对应的标签属性;
次数统计单元,用于根据所述地址信息以及所述目标页面元素对应的标签属性,统计所述目标页面元素的触发操作的次数;
次数添加单元,用于基于所述地址信息生成所述网页页面的网页快照,并将所述目标页面元素的触发操作的次数添加至所述网页快照中;
其中,所述触发数据为所述用户终端监听到在所述网页页面中存在对所述目标页面元素的触发操作时,基于所述地址信息和所述目标页面元素对应的标签属性所生成的针对所述目标页面元素的数据;
所述次数添加单元包括:
属性生成子单元,用于按照预设属性生成规则生成所述目标页面元素对应的匹配标签属性;其中,所述预设属性生成规则包括:预设向上查找10个层次,从而基于所述目标页面元素的祖先节点对应的标签属性、所述目标页面元素的标签类型以及与所述目标页面元素的标签类型相同的页面元素的数量,生成所述目标页面元素对应的匹配标签属性;
次数获取子单元,用于查找与所述匹配标签属性相同的所述目标页面元素对应的标签属性,并基于所述目标页面元素对应的标签属性获取所述目标页面元素的触发操作的次数;
次数添加子单元,用于将所述目标页面元素的触发操作的次数添加至所述页面快照中;
所述次数统计单元具体用于根据数据接收时间戳查找具备相同地址信息以及相同标签属性的历史触发数据,并根据所述数据接收时间戳统计所述历史触发数据和所述触发数据的数量,以生成所述目标页面元素的触发操作的次数;
所述次数添加单元还包括:
类型检测子单元,用于检测所述地址信息是否属于预设地址类型;
快照生成子单元,用于若所述地址信息属于预设地址类型,则在所述网页页面对应的页面内容中,将第一页面元素的路径修改为绝对路径,并基于修改后的页面内容生成所述网页页面的网页快照,所述第一页面元素为在所述网页页面对应的页面内容中路径为相对路径的页面元素;
所述网页服务设备还包括:
时间戳设置单元,用于对所述触发数据设置数据接收时间戳。
8.根据权利要求7所述的设备,其特征在于,所述设备还包括:
信息生成单元,用于生成添加了所述目标页面元素的触发操作的次数的页面快照对应的快照路径信息;
快照输出单元,用于当检测到携带有所述快照路径信息的页面请求时,对添加了所述目标页面元素的触发操作的次数的页面快照进行输出。
9.一种数据采集统计系统,其特征在于,包括如权利要求4或5所述的用户终端以及如权利要求7-8任一项所述的网页服务设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510812955.1A CN105447139B (zh) | 2015-11-20 | 2015-11-20 | 一种数据采集统计方法及其系统、终端、服务设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510812955.1A CN105447139B (zh) | 2015-11-20 | 2015-11-20 | 一种数据采集统计方法及其系统、终端、服务设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105447139A CN105447139A (zh) | 2016-03-30 |
CN105447139B true CN105447139B (zh) | 2021-05-11 |
Family
ID=55557316
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510812955.1A Active CN105447139B (zh) | 2015-11-20 | 2015-11-20 | 一种数据采集统计方法及其系统、终端、服务设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105447139B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107688476B (zh) * | 2016-08-04 | 2021-04-30 | 北京京东尚科信息技术有限公司 | 网页信息的展示方法和装置 |
CN108334525A (zh) * | 2017-01-20 | 2018-07-27 | 阿里巴巴集团控股有限公司 | 一种数据展示方法及装置 |
CN107506291B (zh) * | 2017-06-30 | 2023-09-22 | 杭州大搜车汽车服务有限公司 | 一种基于数据采集的分析方法及装置 |
CN110020238A (zh) * | 2017-09-18 | 2019-07-16 | 北京国双科技有限公司 | 点击事件数据采集方法、装置及系统 |
CN109597743B (zh) * | 2017-09-30 | 2022-06-21 | 北京国双科技有限公司 | 页面圈选方法、点击量统计方法及相关设备 |
CN110275998B (zh) * | 2018-03-16 | 2021-07-30 | 北京国双科技有限公司 | 网页属性数据的确定方法及装置 |
CN110059272B (zh) * | 2018-11-02 | 2023-08-15 | 创新先进技术有限公司 | 一种页面特征识别方法和装置 |
CN109408754B (zh) * | 2018-11-07 | 2021-03-19 | 北京字节跳动网络技术有限公司 | 网页操作数据的处理方法、装置、电子设备及存储介质 |
CN109635210B (zh) * | 2018-11-15 | 2021-10-29 | 腾讯科技(深圳)有限公司 | 行为数据的上报方法、装置、设备及存储介质 |
CN111597485B (zh) * | 2019-02-21 | 2023-05-02 | 北京易数科技有限公司 | 信息呈现方法和装置 |
CN112749361A (zh) * | 2019-10-31 | 2021-05-04 | 北京沃东天骏信息技术有限公司 | 一种页面点击行为的上报方法、统计方法及装置 |
CN111221610B (zh) * | 2020-01-03 | 2023-07-04 | 建信金融科技有限责任公司 | 一种页面元素采集方法和装置 |
CN111310044B (zh) * | 2020-02-14 | 2023-09-26 | 北京百度网讯科技有限公司 | 页面元素信息的提取方法、装置、设备和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1949259A (zh) * | 2006-01-28 | 2007-04-18 | 商助科技(北京)有限公司 | 通过在网页中嵌入代码来采集网页的点击信息的方法 |
CN101187945A (zh) * | 2007-12-13 | 2008-05-28 | 深圳市迅雷网络技术有限公司 | 一种网页页面的处理方法及装置 |
EP2365680A1 (fr) * | 2010-03-08 | 2011-09-14 | Alcatel Lucent | Dispositif de gestion dynamique des pages de sites internet dont les fréquentations et audience doivent être analysées |
CN104156487A (zh) * | 2014-08-28 | 2014-11-19 | 北京国双科技有限公司 | 网页数据统计方法及装置 |
CN104317948A (zh) * | 2014-11-05 | 2015-01-28 | 北京中科辅龙信息技术有限公司 | 页面数据抓取方法和系统 |
CN104331474A (zh) * | 2014-11-03 | 2015-02-04 | 百度在线网络技术(北京)有限公司 | 页面处理方法及装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7529795B2 (en) * | 2006-03-20 | 2009-05-05 | Stragent, Llc | Message board aggregator |
US8234370B2 (en) * | 2009-06-30 | 2012-07-31 | International Business Machines Corporation | Determining web analytics information |
DK177299B1 (en) * | 2011-05-31 | 2012-10-22 | Radiometer Medical Aps | Method and system for acquiring patient-related data |
CN103533439A (zh) * | 2013-09-30 | 2014-01-22 | 乐视网信息技术(北京)股份有限公司 | 一种多媒体文件推荐方法及电子设备 |
-
2015
- 2015-11-20 CN CN201510812955.1A patent/CN105447139B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1949259A (zh) * | 2006-01-28 | 2007-04-18 | 商助科技(北京)有限公司 | 通过在网页中嵌入代码来采集网页的点击信息的方法 |
CN101187945A (zh) * | 2007-12-13 | 2008-05-28 | 深圳市迅雷网络技术有限公司 | 一种网页页面的处理方法及装置 |
EP2365680A1 (fr) * | 2010-03-08 | 2011-09-14 | Alcatel Lucent | Dispositif de gestion dynamique des pages de sites internet dont les fréquentations et audience doivent être analysées |
CN104156487A (zh) * | 2014-08-28 | 2014-11-19 | 北京国双科技有限公司 | 网页数据统计方法及装置 |
CN104331474A (zh) * | 2014-11-03 | 2015-02-04 | 百度在线网络技术(北京)有限公司 | 页面处理方法及装置 |
CN104317948A (zh) * | 2014-11-05 | 2015-01-28 | 北京中科辅龙信息技术有限公司 | 页面数据抓取方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN105447139A (zh) | 2016-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105447139B (zh) | 一种数据采集统计方法及其系统、终端、服务设备 | |
CN107102941B (zh) | 一种测试用例的生成方法及装置 | |
CN107562620A (zh) | 一种埋点自动设置方法和装置 | |
CN104899220B (zh) | 应用程序推荐方法和系统 | |
US10372703B2 (en) | Systems and methods for automated identification of applications for deletion recommendation on a user device | |
US20130318496A1 (en) | Detection of central-registry events influencing dynamic pointers and app feature dependencies | |
CN105868256A (zh) | 处理用户行为数据的方法和系统 | |
US9680719B2 (en) | Communication system, client terminal, and server | |
CN107181821A (zh) | 一种基于sse规范的消息推送方法及装置 | |
CN112035320B (zh) | 业务监控方法、装置、电子设备及可读存储介质 | |
CN111597002A (zh) | 一种页面渲染方法、装置、电子设备及存储介质 | |
KR20170047856A (ko) | 로그 데이터 분석 방법 및 장치 | |
US10140377B2 (en) | Data processing, data collection | |
US11675851B2 (en) | Streaming method for the creation of multifaceted statistical distributions | |
CN108491502B (zh) | 一种新闻追踪的方法、终端、服务器及存储介质 | |
CN111191124A (zh) | 确定兴趣标签权重的方法、装置、存储介质及电子设备 | |
US10565636B2 (en) | Electronic device, system, and method | |
US9197512B2 (en) | Optimizing content production based upon distribution channel metrics | |
US10616306B2 (en) | System and method for large-scale capture and tracking of web-based application parameters | |
Antunes et al. | Semantic-based publish/subscribe for M2M | |
CN105577462A (zh) | 移动设备的流量统计方法及装置 | |
CN113656731A (zh) | 广告页面的处理方法、装置、电子设备和存储介质 | |
Barnard et al. | Content-based clustering and visualization of social media text messages | |
CN107193828B (zh) | 小说网页抓取方法和装置 | |
CN112000886B (zh) | 用户行为记录方法、装置、设备和可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |