CN101620630A - 一种基于js脚本的web行为数据采集模型 - Google Patents

一种基于js脚本的web行为数据采集模型 Download PDF

Info

Publication number
CN101620630A
CN101620630A CN200910148548A CN200910148548A CN101620630A CN 101620630 A CN101620630 A CN 101620630A CN 200910148548 A CN200910148548 A CN 200910148548A CN 200910148548 A CN200910148548 A CN 200910148548A CN 101620630 A CN101620630 A CN 101620630A
Authority
CN
China
Prior art keywords
script
behavior
web
parameter specification
specification sheet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200910148548A
Other languages
English (en)
Inventor
李存刚
鲁雪林
傅海波
王凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Heimi Tiancheng Technology Co Ltd
Original Assignee
Beijing Heimi Tiancheng Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Heimi Tiancheng Technology Co Ltd filed Critical Beijing Heimi Tiancheng Technology Co Ltd
Priority to CN200910148548A priority Critical patent/CN101620630A/zh
Publication of CN101620630A publication Critical patent/CN101620630A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种基于JS脚本的WEB行为数据采集模型,即:利用javascript行为采集技术,按照采集参数规范表,详细记录在企业网站上进行浏览上的访客的行为日志,并存入企业的访客行为数据库。本发明可应用于互联网WEB分析等领域。核心思想是:(1)将javascript(简称JS)行为采集脚本嵌入到企业网站的WEB页面中;(2)JS脚本按照采集参数规范表,对访客的各类行为进行详细记录,形成行为日志;(3)将这些行为日志存入企业的访客行为数据库。

Description

一种基于JS脚本的WEB行为数据采集模型
技术领域
本发明涉及互联网WEB分析相关领域。
背景技术
随着互联网的发展,WEB分析已经成为很多企业采用的营销服务之一。而在企业网站访客的行为数据采集的环节上,还缺少一些成型的数据模型作为支撑,对访客的WEB行为进行定义,并做适当的规范和约束是非常必要的。
目前市场上的WEB分析工具在数据采集模型上缺少完整的解决方案。
发明内容
为了解决上述存在的问题,本发明公开了一种基于JS脚本的WEB行为数据采集模型,即:利用javascript行为采集技术,按照采集参数规范表,详细记录在企业网站上进行浏览上的访客的行为日志,并存入企业的访客行为数据库。本发明可应用于互联网WEB分析等领域。核心思想是:
(1)将javascript(简称JS)行为采集脚本嵌入到企业网站的WEB页面中;
(2)JS脚本按照采集参数规范表,对访客的各类行为进行详细记录,形成行为日志;
(3)将这些行为日志存入企业的访客行为数据库。上述“WEB页面”指WEB分析中的WEB页面。
上述“WEB页面”是指可以在浏览器中浏览、查看的静态HTML页面和程序编写的动态页面。
上述“采集参数规范表”是指本发明中提到的《采集参数规范表1、系统自主探测的数据》和《采集参数规范表2、用户可定制的数据》。
上述“访客行为”是指互联网访客在WEB页面上的所有动作,包括访问、浏览、点击、停留、离开等。
本发明填补了WEB分析领域在数据采集环节上的一项空白。
具体实施方式
本发明采用的技术方案是:通过在WEB页面源码中嵌入JS脚本来采集WEB行为信息,JS脚本按照《采集参数规范表1》和《采集参数规范表2》中定义的参数进行编写;在行为数据发生时,JS脚本按照《采集参数规范表1》和《采集参数规范表2》中的详细规定的行为数据予以全面记录;记录下的行为数据按照队列方式均匀写入数据库。
具体工作流程如下:
(1)、首先将同一段javascript采集脚本嵌入到待监测的页面的源码中;
(2)、javascript脚本能够自动工作,采集到每一次的访问行为数据,即:《采集参数规范表》中规定的各类行为字段的数据;
(3)、这些行为数据写入数据库;
(4)、针对该数据库,可以进行数据分析与挖掘。
JS数据采集技术在具体实现时,可以参考以下JS脚本的编写方式和具体的应用实例:
<!DOCTYPE html PUBLIC″-//W3C//DTD XHTML 1.0 Transitional//EN″
″http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd″>
<html xmlns=″http://www.w3.org/1999/xhtml″>
<head>
<meta http-equiv=″Content-Type″content=″text/html;charset=gb2312″/>
<title>Some Title</title>
</head>
<bodt>
……
<!--JS监测代码开始)-->
<!--系统自主探测的数据开始-->
<script type=″text/javascript″>
var hmaJsHost=((″https:″==document.location.protocol)?″https://″:
″http://″);
document.write(unescape(″%3Cscript src=″′+hmaJsHost+
″a.sitelyst.cn/100228.js′
type=′text/javascript′%3E%3C/script%3E″));
</script>
<!--系统自主探测的数据结束-->
<!--用户可定制的数据开始-->
<script language=″javascript″>
//漏斗营销数据自定义设置
ha.SetUFID(″1001″);//漏斗营销Id
ha.SetUFChannelName(″电子产品″);//自定义频道名称
ha.SetUFPageName(″GPS导航仪″);//页面名称
ha.SetUFPageLogicalURL(″/电子产品/GPS/″);//页面逻辑地址
ha.SetUFPage Value(″0.05″);//页面每次PV的价值
//电子商务数据,订单属性设置
ha.TrackECOrder(″100210″,″4814121″,1,799,″ADD″);//交易标识码,商品
SKU标识码,数量,总价,下单/撤单标识
</script>
<!--用户可定制的数据结束-->
<!--JS监测代码结束)-->
</body>
</html>
以上加粗斜体部分就是用于采集JS脚本,一般放在</body>之前。应该理解,对于本领域技术人员来说很明显可以对根据本发明权利要求中描述的方法,并结合以上范例做出多种修改和变更,甚至寻求其他编程手段而不脱离本发明的精神和范围。本发明意在覆盖在所附权利要求及其等效物范围内提供的本发明的修改和变型。
表1描述的是系统自主探测的数据字段。
表2描述的是用户可定制的数据字段。
Figure A20091014854800081
Figure A20091014854800091
Figure A20091014854800101
Figure A20091014854800111
Figure A20091014854800121
Figure A20091014854800131
Figure A20091014854800141

Claims (6)

1.本发明公开了一种基于JS脚本的WEB行为数据采集模型,即:利用javascript行为采集技术,按照采集参数规范表,详细记录在企业网站上进行浏览上的访客的行为日志,并存入企业的访客行为数据库。本发明可应用于互联网WEB分析等领域。核心思想是:
(1)将javascript(简称JS)行为采集脚本嵌入到企业网站的WEB页面中;
(2)JS脚本按照采集参数规范表,对访客的各类行为进行详细记录,形成行为日志;
(3)将这些行为日志存入企业的访客行为数据库。
上述“WEB页面”是指可以在浏览器中浏览、查看的静态HTML页面和程序编写的动态页面。
上述“采集参数规范表”是指本发明中提到的《采集参数规范表1》和《采集参数规范表2》。
上述“访客行为”是指互联网访客在WEB页面上的所有动作,包括访问、浏览、点击、停留、离开等。
2.根据权利1要求所述的一种基于JS脚本的WEB行为数据采集模型,其特征在于:所述行为采集方法的特征是基于javascript脚本(简称JS)。
3.根据权利1要求所述的一种基于JS脚本的WEB行为数据采集模型,其特征在于:所述JS脚本采集的规范是《采集参数规范表1》和《采集参数规范表2》(详见附图说明)。
4.根据权利1要求所述的一种基于JS脚本的WEB行为数据采集模型,其特征在于:所述采集参数规范表包括系统自主探测的数据和定制数据,其中系统自主探测的数据是指JS脚本能够采集到的行为数据,而定制数据则是指与企业的营销活动、应用相关的定制参数。
5.根据权利1要求所述的一种基于JS脚本的WEB行为数据采集模型,其特征在于:所述采集参数规范表中系统自主探测的数据包括但不限于《采集参数规范表1-系统自主探测的数据》(详见附图说明)中的所提及的所有字段。
6.根据权利1要求所述的一种基于JS脚本的WEB行为数据采集模型,其特征在于:所述采集参数规范表中定制数据包括但不限于《采集参数规范表2-定制数据》(详见附图说明)中的所提及的所有字段。
CN200910148548A 2009-06-29 2009-06-29 一种基于js脚本的web行为数据采集模型 Pending CN101620630A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN200910148548A CN101620630A (zh) 2009-06-29 2009-06-29 一种基于js脚本的web行为数据采集模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200910148548A CN101620630A (zh) 2009-06-29 2009-06-29 一种基于js脚本的web行为数据采集模型

Publications (1)

Publication Number Publication Date
CN101620630A true CN101620630A (zh) 2010-01-06

Family

ID=41513867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910148548A Pending CN101620630A (zh) 2009-06-29 2009-06-29 一种基于js脚本的web行为数据采集模型

Country Status (1)

Country Link
CN (1) CN101620630A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917286A (zh) * 2010-07-30 2010-12-15 上海普元信息技术股份有限公司 互联网应用系统中实现跨浏览器的Web性能分析系统及方法
CN103198062A (zh) * 2012-01-04 2013-07-10 百度在线网络技术(北京)有限公司 一种监控页面死链和js错误的方法及系统
CN104133840A (zh) * 2014-06-24 2014-11-05 国家电网公司 一种具有系统检测及生物识别功能的数据处理方法及系统
CN104391956A (zh) * 2014-11-27 2015-03-04 北京国双科技有限公司 网站更新内容的检测方法及装置
CN104579789A (zh) * 2015-01-23 2015-04-29 广东能龙教育股份有限公司 一种基于消息队列的海量用户行为数据采集方法与系统
CN104735139A (zh) * 2015-03-11 2015-06-24 小米科技有限责任公司 终端信息统计方法、装置、终端及服务器
CN105827608A (zh) * 2016-03-31 2016-08-03 微梦创科网络科技(中国)有限公司 分布式api服务异常用户识别分析方法及反向代理服务网关
CN107016106A (zh) * 2017-04-12 2017-08-04 深圳市茁壮网络股份有限公司 一种信息采集系统及Web应用
CN107800591A (zh) * 2017-11-07 2018-03-13 南威软件股份有限公司 一种统一日志数据的分析方法
CN107797908A (zh) * 2017-11-07 2018-03-13 南威软件股份有限公司 一种网站用户的行为数据采集方法
CN107844486A (zh) * 2016-09-18 2018-03-27 腾讯科技(深圳)有限公司 一种用于客户端的分析网页问题的方法和系统
CN108228193A (zh) * 2016-12-14 2018-06-29 北京国双科技有限公司 数据获取方法及装置
CN109145182A (zh) * 2017-06-15 2019-01-04 腾讯科技(深圳)有限公司 数据采集方法、装置、计算机设备及系统
CN109948025A (zh) * 2019-03-20 2019-06-28 上海古鳌电子科技股份有限公司 一种数据引用记录方法
CN110020073A (zh) * 2017-10-12 2019-07-16 北京国双科技有限公司 一种直播网页爬取方法及装置
CN110069683A (zh) * 2017-09-18 2019-07-30 北京国双科技有限公司 一种基于浏览器爬取数据的方法及装置
CN113360737A (zh) * 2021-08-11 2021-09-07 腾讯科技(深圳)有限公司 页面内容采集方法、装置、电子设备和可读介质

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917286A (zh) * 2010-07-30 2010-12-15 上海普元信息技术股份有限公司 互联网应用系统中实现跨浏览器的Web性能分析系统及方法
CN101917286B (zh) * 2010-07-30 2013-01-02 上海普元信息技术股份有限公司 互联网应用系统中实现跨浏览器的Web性能分析系统及方法
CN103198062A (zh) * 2012-01-04 2013-07-10 百度在线网络技术(北京)有限公司 一种监控页面死链和js错误的方法及系统
CN104133840A (zh) * 2014-06-24 2014-11-05 国家电网公司 一种具有系统检测及生物识别功能的数据处理方法及系统
CN104391956A (zh) * 2014-11-27 2015-03-04 北京国双科技有限公司 网站更新内容的检测方法及装置
CN104391956B (zh) * 2014-11-27 2018-06-26 北京国双科技有限公司 网站更新内容的检测方法及装置
CN104579789A (zh) * 2015-01-23 2015-04-29 广东能龙教育股份有限公司 一种基于消息队列的海量用户行为数据采集方法与系统
CN104735139A (zh) * 2015-03-11 2015-06-24 小米科技有限责任公司 终端信息统计方法、装置、终端及服务器
CN104735139B (zh) * 2015-03-11 2018-02-02 小米科技有限责任公司 终端信息统计方法、装置、终端及服务器
CN105827608A (zh) * 2016-03-31 2016-08-03 微梦创科网络科技(中国)有限公司 分布式api服务异常用户识别分析方法及反向代理服务网关
CN107844486A (zh) * 2016-09-18 2018-03-27 腾讯科技(深圳)有限公司 一种用于客户端的分析网页问题的方法和系统
CN107844486B (zh) * 2016-09-18 2021-07-16 腾讯科技(深圳)有限公司 一种用于客户端的分析网页问题的方法和系统
CN108228193A (zh) * 2016-12-14 2018-06-29 北京国双科技有限公司 数据获取方法及装置
CN107016106A (zh) * 2017-04-12 2017-08-04 深圳市茁壮网络股份有限公司 一种信息采集系统及Web应用
CN109145182B (zh) * 2017-06-15 2022-07-12 腾讯科技(深圳)有限公司 数据采集方法、装置、计算机设备及系统
CN109145182A (zh) * 2017-06-15 2019-01-04 腾讯科技(深圳)有限公司 数据采集方法、装置、计算机设备及系统
CN110069683A (zh) * 2017-09-18 2019-07-30 北京国双科技有限公司 一种基于浏览器爬取数据的方法及装置
CN110069683B (zh) * 2017-09-18 2021-08-13 北京国双科技有限公司 一种基于浏览器爬取数据的方法及装置
CN110020073A (zh) * 2017-10-12 2019-07-16 北京国双科技有限公司 一种直播网页爬取方法及装置
CN110020073B (zh) * 2017-10-12 2021-04-27 北京国双科技有限公司 一种直播网页爬取方法及装置
CN107797908A (zh) * 2017-11-07 2018-03-13 南威软件股份有限公司 一种网站用户的行为数据采集方法
CN107800591A (zh) * 2017-11-07 2018-03-13 南威软件股份有限公司 一种统一日志数据的分析方法
CN109948025A (zh) * 2019-03-20 2019-06-28 上海古鳌电子科技股份有限公司 一种数据引用记录方法
CN109948025B (zh) * 2019-03-20 2023-10-20 上海古鳌电子科技股份有限公司 一种数据引用记录方法
CN113360737B (zh) * 2021-08-11 2021-12-14 腾讯科技(深圳)有限公司 页面内容采集方法、装置、电子设备和可读介质
CN113360737A (zh) * 2021-08-11 2021-09-07 腾讯科技(深圳)有限公司 页面内容采集方法、装置、电子设备和可读介质

Similar Documents

Publication Publication Date Title
CN101620630A (zh) 一种基于js脚本的web行为数据采集模型
US20210056257A1 (en) Obtaining data from incomplete electronic forms
US8413042B2 (en) Referrer-based website personalization
US7552113B2 (en) System and method for managing search results and delivering advertising and enhanced effectiveness
CN101211364B (zh) 用于万维网页中暴露的资源的公共书签的方法和系统
JP4406565B2 (ja) ビジネスソフトウェアアプリケーション内にベンチマークを組込むための方法およびソフトウェアアプリケーションおよびシステム
CN101222349A (zh) 收集web用户行为及性能数据的方法及系统
WO2012030730A2 (en) Systems and methods for ruled based inclusion of pixel retargeting in campaign management
JP2009265833A (ja) 広告システム及び広告方法
CN104025083A (zh) 提供网页的方法及装置
JP4860435B2 (ja) 閲覧履歴提供システム、閲覧履歴提供方法、および閲覧履歴提供プログラム
JP2002342124A (ja) オブジェクト指向技術を用いたユーザ操作履歴保存装置
CN104471551A (zh) 信息处理系统及信息处理方法
KR20080097498A (ko) 상품판매링크를 포함하는 인터넷 게시글 등록 시스템 및방법
JP5116822B2 (ja) ユーザ端末にコンテンツマッチ広告を配信する広告配信装置及び方法
CN103246662A (zh) 网络页面中区域数据内容的处理方法和装置
US20100250726A1 (en) Apparatus and method for analyzing text in a large-scaled file
US20120047438A1 (en) Customized system and method for website user data collection, analysis and reporting for an entire website
JP2005346574A (ja) リンク生成方法、及びリンク生成システム
Shreekumar et al. IMPORTANCE OF WEB SCRAPING IN E-COMMERCE BUSINESS
JP2003015996A (ja) サイト閲覧状況情報収集方法、この方法に用いられるファイル、及び、サイト閲覧状況情報収集システム
JP2002063480A (ja) 広告用印刷物の広告効果測定システム及び記録媒体並びに広告用印刷物
KR20020040222A (ko) 배너를 이용한 광고 시스템 및 광고 방법
KR20090115434A (ko) 웹 컨텐츠 수집 및 통계방법
TWM589847U (zh) 廣告推播系統

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
DD01 Delivery of document by public notice

Addressee: Beijing Heimi Tiancheng Technology Co., Ltd.

Document name: the First Notification of an Office Action

DD01 Delivery of document by public notice

Addressee: Fu Haibo

Document name: Notification that Application Deemed to be Withdrawn

C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20100106