CN105373553A - 一种发送采集数据的系统和方法 - Google Patents
一种发送采集数据的系统和方法 Download PDFInfo
- Publication number
- CN105373553A CN105373553A CN201410423150.3A CN201410423150A CN105373553A CN 105373553 A CN105373553 A CN 105373553A CN 201410423150 A CN201410423150 A CN 201410423150A CN 105373553 A CN105373553 A CN 105373553A
- Authority
- CN
- China
- Prior art keywords
- image data
- picture
- transmission
- access
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Transfer Between Computers (AREA)
Abstract
本发明涉及一种发送采集数据的系统和方法，所述系统包括网页前端服务器、网页浏览客户端和数据收集服务器，其特征在于，所述网页浏览客户端使用采集数据发送工具构造一个地址指向数据收集服务器的图片，并将所采集的数据作为访问所述图片的参数，同时还构造了一个随机串，作为访问所述图片的另外一个参数，通过访问该图片来将数据发送给数据收集服务器。
Description
技术领域
本发明涉及到互联网中的数据采集领域，更具体地涉及到一种发送采集数据的系统和方法。
背景技术
网站分析是依据采集到的网站的PV(pageview，网页浏览量)日志，网站的点击(或者称事件)日志，网站的效果日志(包括登录，订单等)等数据，分析访客在网站上的行为，例如PV行为包括访客的访问量和流失率等。其中，网站的点击行为包括用户是否下载文件，是否访问社交按钮，是否点击广告等，网站的效果行为包括访客是否登录、投放广告或下单信息等。
目前业界一般使用Javascript来采集这些数据，但采集到的数据需要发送给数据服务器进行供分析。
为此，网站会在网页中埋入相关的JS(脚本)，通过JS去抓取用户的相关信息并通过构造一个一像素大小的图片将数据返回数据服务器。在一般的情况下，如果直接去构造一个一像素的图片，并将所采集的数据作为其参数，其可能会因为命中缓存或因为GC(垃圾回收机制)的影响，而导致部分数据不能有效的发送到后台的数据服务器。
因此，确有必要提供一种新的数据采集的系统和方法，以解决上述问题。
发明内容
针对上述问题，本发明提出了
一种发送采集数据的系统，所述系统包括网页前端服务器、网页浏览客户端和数据收集服务器，其特征在于，
所述网页前端服务器提供需要做数据采集的网页,在该网页中设置有数据采集工具和采集数据的发送工具；
所述网页浏览客户端下载所述网页以及其中所设置的数据采集工具和采集数据的发送工具，当所述数据采集工具完成数据采集后，所述采集数据的发送工具构造一个地址指向数据收集服务器的一个图片的图片对象,并将所采集的数据作为访问所述图片的参数,同时，所述采集数据的发送工具还构造了一个随机串,作为访问所述图片的另外一个参数，之后，所述采集数据的发送工具以上述地址和参数向数据收集服务器发送访问所述图片的请求；
所述数据收集服务器接收上述访问图片请求后,解析并记录作为所述图片的访问参数的采集数据。
优选地，在所述发送采集数据的系统中，所述图片仅有一个像素。
优选地，在所述发送采集数据的系统中，所述采集数据的发送工具所构造的随机串包括当前时间和一个随机数。
优选地，在所述发送采集数据的系统中，所述发送采集数据的系统所在的网络环境中有缓存。
优选地，在所述发送采集数据的系统中，所述采集数据的发送工具以javascript编写。
本发明的另外一方面，提供了一种利用权利要求1所述系统发送采集数据的方法，所述方法包括如下步骤：
所述网页浏览客户端下载所述网页以及其中所设置的数据采集工具和采集数据的发送工具；
所述数据采集工具完成数据采集；
所述采集数据的发送工具构造一个地址指向数据收集服务器的图片的图片对象,将所采集的数据作为访问所述图片的参数,构造了一个随机串,作为访问所述图片的另外一个参数；
所述采集数据的发送工具以上述地址和参数向数据收集服务器发送访问所述图片的请求；
所述数据收集服务器接收上述访问图片请求后,解析并记录作为所述图片的访问参数的采集数据。
优选地，在上述发送采集数据的方法中，所述图片仅有一个像素。
优选地，在上述发送采集数据的方法中，所述采集数据的发送工具所构造的随机串包括当前时间和一个随机数。
优选地，在上述发送采集数据的方法中，所述发送采集数据的方法所在的网络环境中有缓存。
优选地，在上述发送采集数据的方法中，所述采集数据的发送工具以javascript编写。
上述发送采集数据的系统和方法由于在所构造的图片中加入了随机串，使得其可以不被缓存或GC(垃圾回收机制)的影响，将采集的数据有效地发送给数据收集服务器。
附图说明
图1为本发明所述的发送采集数据的系统的示意图；
图2为本发明所述的发送采集数据的方法的执行步骤。
具体实施方式
下面将结合具体实施例对本发明进行详细说明,但应该明白的是,这些实施例仅用来说明本发明,并不构成对本发明的限定。
参考图1，根据本发明的一个实施例，所述发送采集数据的系统包括网页前端服务器1、网页浏览客户端2和数据收集服务器3。
所述网页前端服务器1提供需要做数据采集的网页,在该网页中设置有数据采集工具和采集数据的发送工具；例如在一个网页中包含有如下标签：
<scripttype＝"text/javascript"src＝"collect.js"></script>
<scripttype＝"text/javascript"src＝"dataSend.js"></script>
其中collect.js是以javascript编写的数据采集工具，dataSend.js是以javascript编写的采集数据的发送工具。当然，如本领域技术人员所公知的，上述两个工具也可以合并在一个js包中。
网页浏览客户端2在打开上述网页时，会下载数据采集工具collect.js和采集数据的发送工具dataSend.js。根据数据采集的要求，数据采集工具执行collect.js中的数据采集方法onCollect()来完成数据的采集。
当数据采集完成后，需要将所采集的数据发送给数据收集服务器3，在本实施例中，该发送过程由采集数据的发送工具dataSend.js中的方法onSend()方法完成，该方法首先构造一个图片对象，并将所述图片对象赋值给window的一个全局对象，该图片对象的源地址指向数据收集服务器3上的一个图片，例如：
<imagesrc＝"dataSever/img/1.jpg"></image>
其中，dataSever/img/1.jpg为数据收集服务器3上的一个图片地址。
为了将采集的数据发送到数据收集服务器3，可以将采集到的数据组织为一个串，并作为上述图片对象源地址后的一个参数，例如：
<imagesrc＝"dataSever/img/1.jpg？pv＝XXXXXX"></image>
其中，XXXXXX代表采集到的数据。
但是，如本领域技术人员所知，对于同一网页采集到的数据XXXXXX可能是相同的，在这种情况下，所构造的图片对象的源地址是相同的，即，dataSever/img/1.jpg？pv＝XXXXXX相同。如果此时网页浏览客户端2具有缓存，或是数据收集服务器3位于缓存服务器之后，那么对上述地址的图片的第二次访问会命中缓存，即对该图片的请求不会发送给数据收集服务器3，而直接从缓存中返回，因而，导致所采集的数据未能发送给数据收集服务器3。
为此，在本实施例中，所述图片对象还带有一个随机参数ild,即所构造的图片对象的源地址为：
<imagesrc＝"dataSever/img/1.jpg？pv＝XXXXXX&ild＝rand"></image>
其中，rand代表随机串。
在另外一个实施例中，该随机串是这样构造的，即其前面部分是系统当前的时间，如2014-08-05-14-20-30，后面部分是一个5位的随机串，即，所构造的图片对象的源地址为：
src＝"dataSever/img/1.jpg？pv＝XXXXXX&ild＝2014-08-05-14-20-30-54321"
其中，54321代表一个5位的随机数。显然，根据系统并发度的不同，也可以选用6位的随机数或其他位数的随机数。
这样构造的图片对象的源地址由于包括了时间和随机串，使得其重复的概率非常小，从而不会命中图片缓存，保证所采集的数据能发送给数据收集服务器3。即，在有缓存的网络环境中，上述发送采集数据的工具也可以保证数据的可靠发送。
为了使得该图片所引发数据负载尽量小，在一个优选的实施例中，所述图片为一个像素。
另一方面，如图2所示，本发明还提供了一种发送采集数据的方法，所述发送方法包括如下步骤：
步骤2001：所述网页浏览客户端下载所述网页以及其中所设置的数据采集工具和采集数据的发送工具；
步骤2002：所述数据采集工具完成数据采集；
步骤2003：所述采集数据的发送工具构造一个地址指向数据收集服务器的一个图片的图片对象,将所采集的数据作为访问所述图片的参数,构造了一个随机串,作为访问所述图片的另外一个参数；
步骤2004：所述采集数据的发送工具以上述地址和参数向数据收集服务器发送访问所述图片的请求；
步骤2005：所述数据收集服务器接收上述访问图片请求后,解析并记录作为所述图片的访问参数的采集数据。
同样，在另外一个实施例中，步骤2003中的随机串前面部分是系统当前的时间，后面部分是一个随机数。优选地，该随机数为一个5位数。
上述方法的步骤2003中，所述的图片为一个像素的图片。
上面结合具体的实施例，对本发明进行了描述，但应该明白的是，上述实施例并不构成本发明的限定，本发明的保护范围由权利要求确定。只要不脱离本发明的思想，上述实施例中各种技术手段的可能组合，以及用本领域技术人员所知的技术手段进行替代而产生的技术方案都落入到本发明的保护范围内。
Claims (10)
1.一种发送采集数据的系统，所述系统包括网页前端服务器、网页浏览客户端和数据收集服务器，其特征在于，
所述网页前端服务器提供需要做数据采集的网页,在该网页中设置有数据采集工具和采集数据的发送工具；
所述网页浏览客户端下载所述网页以及其中所设置的数据采集工具和采集数据的发送工具，当所述数据采集工具完成数据采集后，所述采集数据的发送工具构造一个地址指向数据收集服务器的一个图片的图片对象,并将所采集的数据作为访问所述图片的参数,同时，所述采集数据的发送工具还构造了一个随机串,作为访问所述图片的另外一个参数，之后，所述采集数据的发送工具以上述地址和参数向数据收集服务器发送访问所述图片的请求；
所述数据收集服务器接收上述访问图片请求后,解析并记录作为所述图片的访问参数的采集数据。
2.根据权利要求1所述的发送采集数据的系统，其特征在于，所述图片仅有一个像素。
3.根据权利要求1所述的发送采集数据的系统，其特征在于，所述采集数据的发送工具所构造的随机串包括当前时间和一个随机数。
4.根据权利要求1所述的发送采集数据的系统，其特征在于，所述发送采集数据的系统所在的网络环境中有缓存。
5.根据权利要求1所述的发送采集数据的系统，其特征在于，所述采集数据的发送工具以javascript编写。
6.一种利用权利要求1所述系统发送采集数据的方法，所述方法包括如下步骤：
所述网页浏览客户端下载所述网页以及其中所设置的数据采集工具和采集数据的发送工具；
所述数据采集工具完成数据采集；
所述采集数据的发送工具构造一个地址指向数据收集服务器图片的图片对象,将所采集的数据作为访问所述图片的参数,构造了一个随机串,作为访问所述图片的另外一个参数；
所述采集数据的发送工具以上述地址和参数向数据收集服务器发送访问所述图片的请求；
所述数据收集服务器接收上述访问图片请求后,解析并记录作为所述图片的访问参数的采集数据。
7.根据权利要求6所述的发送采集数据的方法，其特征在于，所述图片仅有一个像素。
8.根据权利要求6所述的发送采集数据的方法，其特征在于，所述采集数据的发送工具所构造的随机串包括当前时间和一个随机数。
9.根据权利要求6所述的发送采集数据的方法，其特征在于，所述发送采集数据的方法所在的网络环境中有缓存。
10.根据权利要求6所述的发送采集数据的方法，其特征在于，所述采集数据的发送工具以javascript编写。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410423150.3A CN105373553B (zh) | 2014-08-25 | 2014-08-25 | 一种发送采集数据的系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410423150.3A CN105373553B (zh) | 2014-08-25 | 2014-08-25 | 一种发送采集数据的系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105373553A true CN105373553A (zh) | 2016-03-02 |
| CN105373553B CN105373553B (zh) | 2018-11-13 |
Family
ID=55375761
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410423150.3A Active CN105373553B (zh) | 2014-08-25 | 2014-08-25 | 一种发送采集数据的系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105373553B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110163654A (zh) * | 2019-04-15 | 2019-08-23 | 上海基分文化传播有限公司 | 一种广告投放数据追踪方法和系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101504671A (zh) * | 2009-03-05 | 2009-08-12 | 阿里巴巴集团控股有限公司 | 用户访问网页行为的可视化处理方法、装置及系统 |
| CN102945272A (zh) * | 2012-11-01 | 2013-02-27 | 北京奇虎科技有限公司 | 收藏信息的处理方法、设备及服务器 |
| CN103618639A (zh) * | 2013-11-15 | 2014-03-05 | 北京国双科技有限公司 | 媒体数据的监测方法、装置及系统 |
| US20140172642A1 (en) * | 2012-12-13 | 2014-06-19 | Alibaba Group Holding Limited | Analyzing commodity evaluations |
-
2014
- 2014-08-25 CN CN201410423150.3A patent/CN105373553B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101504671A (zh) * | 2009-03-05 | 2009-08-12 | 阿里巴巴集团控股有限公司 | 用户访问网页行为的可视化处理方法、装置及系统 |
| CN102945272A (zh) * | 2012-11-01 | 2013-02-27 | 北京奇虎科技有限公司 | 收藏信息的处理方法、设备及服务器 |
| US20140172642A1 (en) * | 2012-12-13 | 2014-06-19 | Alibaba Group Holding Limited | Analyzing commodity evaluations |
| CN103618639A (zh) * | 2013-11-15 | 2014-03-05 | 北京国双科技有限公司 | 媒体数据的监测方法、装置及系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110163654A (zh) * | 2019-04-15 | 2019-08-23 | 上海基分文化传播有限公司 | 一种广告投放数据追踪方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105373553B (zh) | 2018-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Oh et al. | Advanced evidence collection and analysis of web browser activity | |
| US9171319B2 (en) | Analysis system and method used to construct social structures based on data collected from monitored web pages | |
| CN103297469B (zh) | 一种网站数据的采集方法及装置 | |
| KR102504075B1 (ko) | 사용자 디바이스 이벤트의 매칭 및 속성 | |
| CN102546668B (zh) | 一种独立访问者的统计方法、装置及系统 | |
| CN112486708B (zh) | 页面操作数据的处理方法和处理系统 | |
| CN106469185A (zh) | 一种网站统计中进行数据收集的方法 | |
| US8676880B2 (en) | Server apparatus, communication apparatus, and method for generating navigation information | |
| CN104182482B (zh) | 一种新闻列表页判断方法及筛选新闻列表页的方法 | |
| KR102233867B1 (ko) | 유사 그룹 요소 추출 | |
| US20170118099A1 (en) | Automatic anomaly detection framework for grid resources | |
| CN105824902A (zh) | 一种数据缓存方法及装置 | |
| US20150082206A1 (en) | Methods and apparatus to detect pop-up/pop-under windows in a browser | |
| CN114629929B (zh) | 一种日志记录方法、装置及系统 | |
| CN104317884A (zh) | 网站来源页面类型的获取方法和装置 | |
| CN104182327A (zh) | 客户端错误日志收集方法及系统 | |
| CN103714174B (zh) | 用于互联网中加速经验知识积累的信息采集方法及系统 | |
| CN106815248A (zh) | 网站分析方法及装置 | |
| CN105373553B (zh) | 一种发送采集数据的系统和方法 | |
| CN105763633B (zh) | 一种域名和网站访问行为的关联方法 | |
| CN104468857B (zh) | 一种对应关系的获取方法及系统 | |
| CN106612336A (zh) | 图片预加载方法和装置 | |
| CN105450698A (zh) | 一种曝光日志采集系统和方法 | |
| KR102093166B1 (ko) | 웹사이트 접속 시간 단축 방법 및 이를 위한 장치 | |
| US20100251270A1 (en) | Selective Mobile Metering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 210000, 1-5 story, Jinshan building, 8 Shanxi Road, Nanjing, Jiangsu. Applicant after: Suning.com group Limited by Share Ltd Address before: 210042 15, 1 Suning Road, Xuanwu District, Nanjing, Jiangsu. Applicant before: Yun Shang Group Plc of Suning |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |