CN109189597A - 用于网页和app轻量化用户行为数据采集方法、系统及应用 - Google Patents
用于网页和app轻量化用户行为数据采集方法、系统及应用 Download PDFInfo
- Publication number
- CN109189597A CN109189597A CN201811271789.9A CN201811271789A CN109189597A CN 109189597 A CN109189597 A CN 109189597A CN 201811271789 A CN201811271789 A CN 201811271789A CN 109189597 A CN109189597 A CN 109189597A
- Authority
- CN
- China
- Prior art keywords
- user behavior
- app
- code
- webpage
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000013515 script Methods 0.000 claims abstract description 66
- 230000009466 transformation Effects 0.000 claims abstract description 19
- 101000804902 Drosophila melanogaster Xaa-Pro aminopeptidase ApepP Proteins 0.000 claims abstract description 12
- 238000003780 insertion Methods 0.000 claims abstract description 12
- 230000037431 insertion Effects 0.000 claims abstract description 12
- 238000012544 monitoring process Methods 0.000 claims description 12
- 230000003542 behavioural effect Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 238000011161 development Methods 0.000 claims description 4
- 230000006855 networking Effects 0.000 claims 2
- 238000002407 reforming Methods 0.000 abstract description 4
- 238000000926 separation method Methods 0.000 abstract description 4
- 230000006399 behavior Effects 0.000 description 79
- 230000018109 developmental process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/543—User-generated data transfer, e.g. clipboards, dynamic data exchange [DDE], object linking and embedding [OLE]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/541—Client-server
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
一种用于网页和APP的轻量化用户行为数据采集方法及系统，采用插码技术将用户行为采集通用脚本和SDK嵌入网站页面或客户端，对网站应用本身的改造很小，同时“插码”提供了一种灵活而简单的按需定制的改造方式，可以由程序开发人员根据实际需要，进行自由的改造；本发明用户行为数据是由插入在网页中的Javascript脚本或集成在客户端APP中的SDK收集和发送出来的，而javascript脚本和SDK都是运行在客户端设备上的，同时，用户行为数据的收集是在用户行为数据采集服务器上完成的，因此用户行为数据的采集不依赖于网站应用程序的服务端，实现了与网站应用的分离，对网站应用的性能不产生影响。
Description
技术领域
本发明涉及一种数据采集系统，具体的说是一种用于网页和APP的轻量化用户行为数据采集方法、系统及应用。
背景技术
目前，在大型互联网网站的运营过程中，需要对其网站和APP用户在网站应用上的访问和各种操作行为进行分析，通过对行为的分析查找出用户的使用习惯，并根据用户的使用习惯对网站应用进行改进，加强用户的黏度，并吸引新的用户。完成这样的工作需要大量的用户行为数据进行支撑，但是大多数在运营的网站应用都是经历了很多年的迭代开发积累出的软件产品，在初始的设想之中，并未考虑过对这些数据进行收集，若要获得这些数据，就必须重新规划建设或者对产品进行大范围的改造，资金投入相当庞大。因此，网站应用的运营者需要一种轻量化的方式采集用户行为数据，在不对网站应用进行大的改造的前提下，实现对用户行为数据的采集。
传统的轻量化用户行为采集方法，是在网站的服务端编写过滤器程序，当用户访问网站的网页时，服务端会自动记录下用户访问的页面的路径，以此作为用户行为的日志记录存储于日志文件之中，但是此种方法会带来四个问题：
（1）服务端只能记录用户在网站上进行访问时的页面切换日志；
（2）用户在网站应用上点击的过程，服务端无法知晓；
（3）过滤器的使用将严重降低网站的响应速度，影响网站的性能，破坏用户的实际使用体验；
（4）无法解决APP的访问行为数据采集问题。
发明内容
针对上述技术问题，本发明提出一种用于网页和APP的轻量化用户行为数据采集方法、系统及应用。其包括以下步骤：
在网站页面或APP界面中进行插码改造的步骤；
插码脚本或插码SDK监听用户在网页上或APP界面上的用户行为的步骤，当用户访问网页或APP界面时，插码脚本或插码SDK监听用户在网页上或APP界面上的用户行为；
插码脚本或插码SDK向外发送数据请求的步骤；插码脚本或插码SDK将监听到的用户行为数据按照规则向外发送用户行为数据请求；
用户行为采集服务器接收请求并进行数据处理的步骤；用户行为采集数据服务器接收到请求，并将请求里的内容转化成日志文件存储在服务器硬盘上。
进一步的，插码脚本或插码SDK监听用户在网页上或APP界面上的用户行为包括用户访问的网页或APP界面路径、用户的点击事件、用户的鼠标操作区域、手指的滑动数据。
进一步的，所述在网站页面或APP界面中进行插码改造的步骤包括，对于传统的网页式的网站，由网站开发人员在网站页面上进行插码，插入用户行为数据采集通用脚本文件，在需要记录用户点击行为的网页中嵌入指定的采集代码；
对于客户端APP，由APP开发人员，在APP应用中嵌入客户端用户行为采集SDK，并在APP相应界面中嵌入指定规范的采集代码；
进一步的，所述插码脚本或插码SDK监听用户在网页上或APP界面上的用户行为的步骤，包括，当用户在网页或APP界面上的操作被预先注入的采集代码捕捉到时，用户行为采集通用脚本或SDK将数据按一定规格进行整理并记录于客户端；
插码脚本或插码SDK向外发送数据请求的步骤，包括，当用户行为采集通用脚本或SDK将数据按一定规格进行整理并记录于客户端的数据达到可传送的体量时，通用脚本或SDK将自动把数据打包通过HTTP协议对外发送；
进一步的，所述用户行为采集服务器接收请求并进行数据处理的步骤，包括，用户行为采集服务器作为数据的接收端，当监听到有新的数据从网页端或APP端发出时，利用Http协议的规范将数据包接收下来，并转化成用户行为日志文件存储于服务器磁盘上；用户行为采集数据服务器接收到请求，并将请求里的内容转化成日志文件存储在服务器硬盘上。
本发明还提出一种用于网页和APP的轻量化用户行为数据采集方法的应用，应用于互联网网站、APP、及微信平台。
本发明还提出一种用于网页和APP的轻量化用户行为数据采集系统，其包括网页端插码脚本、客户端原生插码SDK、客户端H5插码脚本、和用户行为数据采集服务器，
网页端插码脚本，为通用的Javascript脚本文件和一段放置于网页上的Javascript脚本代码，用于收集网页端的用户行为数据；
客户端原生插码SDK，用于在客户端APP中收集用户行为数据的通用代码程序，和在客户端APP中嵌入的点击事件捕捉程序；
客户端H5插码脚本，用于在客户端APP中内嵌的H5页面里，嵌入的Javascript通用脚本文件，和在H5页面里编写的事件点击程序，用于采集H5页面里发生的用户行为数据；
用户行为数据采集服务器，为专用的采集网页插码脚本或APP端插码SDK发送过来的用户行为数据的服务器，将用户行为数据记录成一个个的日志文件。
本发明还提出一种用于网页和APP的轻量化用户行为数据采集系统的应用，应用于互联网网站、APP、及微信平台。
有益效果，本发明方法及系统，用户行为采集通用脚本和SDK是独立的程序代码，在需要进行采集的网站页面或客户端程序中只需要一次性嵌入，对网站应用本身的改造很小，同时“插码”提供了一种灵活而简单的按需定制的改造方式，可以由程序开发人员根据实际需要，进行自由的改造；
本发明方法及系统既解决了传统的基于互联网网页的网站应用的用户行为采集需要，又为安卓和苹果APP程序的用户行为采集提供了一个较为完善的思路和解决方案；
本发明方法及系统用户行为数据是由插入在网页中的Javascript脚本或集成在客户端APP中的SDK收集和发送出来的，而javascript脚本和SDK都是运行在客户端设备上的，同时，用户行为数据的收集是在用户行为数据采集服务器上完成的，因此用户行为数据的采集不依赖于网站应用程序的服务端，实现了与网站应用的分离，对网站应用的性能不产生影响。
附图说明
图1为本发明用于网页和APP的轻量化用户行为数据采集方法流程示意图；
图2为本发明用于网页和APP的轻量化用户行为数据采集系统结构示意图；
图3为本发明用于网页和APP的轻量化用户行为数据采集方法工作过程示意图。
具体实施方式
实施例1：如图1、2所示，一种用于网页和APP的轻量化用户行为数据采集方法、系统及应用。其包括以下步骤：
在网站页面或APP界面中进行插码改造的步骤；
插码脚本或插码SDK监听用户在网页上或APP界面上的用户行为的步骤，当用户访问网页或APP界面时，插码脚本或插码SDK监听用户在网页上或APP界面上的用户行为；
插码脚本或插码SDK向外发送数据请求的步骤；插码脚本或插码SDK将监听到的用户行为数据按照规则向外发送用户行为数据请求；
用户行为采集服务器接收请求并进行数据处理的步骤；用户行为采集数据服务器接收到请求，并将请求里的内容转化成日志文件存储在服务器硬盘上。
进一步的，插码脚本或插码SDK监听用户在网页上或APP界面上的用户行为包括用户访问的网页或APP界面路径、用户的点击事件、用户的鼠标操作区域、手指的滑动数据。
进一步的，所述在网站页面或APP界面中进行插码改造的步骤包括，对于传统的网页式的网站，由网站开发人员在网站页面上进行插码，插入用户行为数据采集通用脚本文件，在需要记录用户点击行为的网页中嵌入指定的采集代码；
对于客户端APP，由APP开发人员，在APP应用中嵌入客户端用户行为采集SDK，并在APP相应界面中嵌入指定规范的采集代码；
进一步的，所述插码脚本或插码SDK监听用户在网页上或APP界面上的用户行为的步骤，包括，当用户在网页或APP界面上的操作被预先注入的采集代码捕捉到时，用户行为采集通用脚本或SDK将数据按一定规格进行整理并记录于客户端；
插码脚本或插码SDK向外发送数据请求的步骤，包括，当用户行为采集通用脚本或SDK将数据按一定规格进行整理并记录于客户端的数据达到可传送的体量时，通用脚本或SDK将自动把数据打包通过HTTP协议对外发送；
进一步的，所述用户行为采集服务器接收请求并进行数据处理的步骤，包括，用户行为采集服务器作为数据的接收端，当监听到有新的数据从网页端或APP端发出时，利用Http协议的规范将数据包接收下来，并转化成用户行为日志文件存储于服务器磁盘上；用户行为采集数据服务器接收到请求，并将请求里的内容转化成日志文件存储在服务器硬盘上。
本发明方法，用户行为采集通用脚本和SDK是独立的程序代码，在需要进行采集的网站页面或客户端程序中只需要一次性嵌入，对网站应用本身的改造很小，同时“插码”提供了一种灵活而简单的按需定制的改造方式，可以由程序开发人员根据实际需要，进行自由的改造；
本发明方法既解决了传统的基于互联网网页的网站应用的用户行为采集需要，又为安卓和苹果APP程序的用户行为采集提供了一个较为完善的思路和解决方案；
本发明方法用户行为数据是由插入在网页中的Javascript脚本或集成在客户端APP中的SDK收集和发送出来的，而javascript脚本和SDK都是运行在客户端设备上的，同时，用户行为数据的收集是在用户行为数据采集服务器上完成的，因此用户行为数据的采集不依赖于网站应用程序的服务端，实现了与网站应用的分离，对网站应用的性能不产生影响。
实施例2：本发明还提出一种用于网页和APP的轻量化用户行为数据采集方法的应用，应用于互联网网站、APP、及微信平台。
实施例3：如图2、3所示，本发明还提出一种用于网页和APP的轻量化用户行为数据采集系统，其包括网页端插码脚本、客户端原生插码SDK、客户端H5插码脚本、和用户行为数据采集服务器，
网页端插码脚本，为通用的Javascript脚本文件和一段放置于网页上的Javascript脚本代码，用于收集网页端的用户行为数据；
客户端原生插码SDK，用于在客户端APP中收集用户行为数据的通用代码程序，和在客户端APP中嵌入的点击事件捕捉程序；
客户端H5插码脚本，用于在客户端APP中内嵌的H5页面里，嵌入的Javascript通用脚本文件，和在H5页面里编写的事件点击程序，用于采集H5页面里发生的用户行为数据；
用户行为数据采集服务器，为专用的采集网页插码脚本或APP端插码SDK发送过来的用户行为数据的服务器，将用户行为数据记录成一个个的日志文件。
本发明系统，用户行为采集通用脚本和SDK是独立的程序代码，在需要进行采集的网站页面或客户端程序中只需要一次性嵌入，对网站应用本身的改造很小，同时“插码”提供了一种灵活而简单的按需定制的改造方式，可以由程序开发人员根据实际需要，进行自由的改造；
本发明系统既解决了传统的基于互联网网页的网站应用的用户行为采集需要，又为安卓和苹果APP程序的用户行为采集提供了一个较为完善的思路和解决方案；
本发明系统用户行为数据是由插入在网页中的Javascript脚本或集成在客户端APP中的SDK收集和发送出来的，而javascript脚本和SDK都是运行在客户端设备上的，同时，用户行为数据的收集是在用户行为数据采集服务器上完成的，因此用户行为数据的采集不依赖于网站应用程序的服务端，实现了与网站应用的分离，对网站应用的性能不产生影响。
实施例4：本发明还提出一种用于网页和APP的轻量化用户行为数据采集系统的应用，应用于互联网网站、APP、及微信平台。
Claims (8)
1.一种用于网页和APP的轻量化用户行为数据采集方法，其特征在于包括以下步骤：
在网站页面或APP界面中进行插码改造的步骤；
插码脚本或插码SDK监听用户在网页上或APP界面上的用户行为的步骤，当用户访问网页或APP界面时，插码脚本或插码SDK监听用户在网页上或APP界面上的用户行为；
插码脚本或插码SDK向外发送数据请求的步骤；插码脚本或插码SDK将监听到的用户行为数据按照规则向外发送用户行为数据请求；
用户行为采集服务器接收请求并进行数据处理的步骤；用户行为采集数据服务器接收到请求，并将请求里的内容转化成日志文件存储在服务器硬盘上。
2.根据权利要求1所述的用于网页和APP的轻量化用户行为数据采集方法，其特征在于：插码脚本或插码SDK监听用户在网页上或APP界面上的用户行为包括用户访问的网页或APP界面路径、用户的点击事件、用户的鼠标操作区域、手指的滑动数据。
3.根据权利要求1所述的用于网页和APP的轻量化用户行为数据采集方法，其特征在于：所述在网站页面或APP界面中进行插码改造的步骤包括，
对于传统的网页式的网站，由网站开发人员在网站页面上进行插码，插入用户行为数据采集通用脚本文件，在需要记录用户点击行为的网页中嵌入指定的采集代码；
对于客户端APP，由APP开发人员，在APP应用中嵌入客户端用户行为采集SDK，并在APP相应界面中嵌入指定规范的采集代码。
4.根据权利要求1所述的用于网页和APP的轻量化用户行为数据采集方法，其特征在于：
所述插码脚本或插码SDK监听用户在网页上或APP界面上的用户行为的步骤，包括，当用户在网页或APP界面上的操作被预先注入的采集代码捕捉到时，用户行为采集通用脚本或SDK将数据按一定规格进行整理并记录于客户端；
插码脚本或插码SDK向外发送数据请求的步骤，包括，当用户行为采集通用脚本或SDK将数据按一定规格进行整理并记录于客户端的数据达到可传送的体量时，通用脚本或SDK将自动把数据打包通过HTTP协议对外发送。
5.根据权利要求1所述的用于网页和APP的轻量化用户行为数据采集方法，其特征在于：所述用户行为采集服务器接收请求并进行数据处理的步骤，包括，用户行为采集服务器作为数据的接收端，当监听到有新的数据从网页端或APP端发出时，利用Http协议的规范将数据包接收下来，并转化成用户行为日志文件存储于服务器磁盘上；用户行为采集数据服务器接收到请求，并将请求里的内容转化成日志文件存储在服务器硬盘上。
6.一种用于网页和APP的轻量化用户行为数据采集方法的应用，其特征在于：应用于互联网网站、APP、及微信平台。
7.一种用于网页和APP的轻量化用户行为数据采集系统，其特征在于：包括网页端插码脚本、客户端原生插码SDK、客户端H5插码脚本、和用户行为数据采集服务器，
网页端插码脚本，为通用的Javascript脚本文件和一段放置于网页上的Javascript脚本代码，用于收集网页端的用户行为数据；
客户端原生插码SDK，用于在客户端APP中收集用户行为数据的通用代码程序，和在客户端APP中嵌入的点击事件捕捉程序；
客户端H5插码脚本，用于在客户端APP中内嵌的H5页面里，嵌入的Javascript通用脚本文件，和在H5页面里编写的事件点击程序，用于采集H5页面里发生的用户行为数据；
用户行为数据采集服务器，为专用的采集网页插码脚本或APP端插码SDK发送过来的用户行为数据的服务器，将用户行为数据记录成一个个的日志文件。
8.一种用于网页和APP的轻量化用户行为数据采集系统的应用，其特征在于：应用于互联网网站、APP、及微信平台。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811271789.9A CN109189597A (zh) | 2018-10-29 | 2018-10-29 | 用于网页和app轻量化用户行为数据采集方法、系统及应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811271789.9A CN109189597A (zh) | 2018-10-29 | 2018-10-29 | 用于网页和app轻量化用户行为数据采集方法、系统及应用 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109189597A true CN109189597A (zh) | 2019-01-11 |
Family
ID=64944418
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811271789.9A Withdrawn CN109189597A (zh) | 2018-10-29 | 2018-10-29 | 用于网页和app轻量化用户行为数据采集方法、系统及应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109189597A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111221711A (zh) * | 2019-10-12 | 2020-06-02 | 中国平安财产保险股份有限公司 | 用户行为数据处理方法、服务器及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104636245A (zh) * | 2015-03-09 | 2015-05-20 | 浪潮集团有限公司 | 一种基于实时更新的用户浏览行为采集方式 |
| CN107908748A (zh) * | 2017-11-17 | 2018-04-13 | 南京感度信息技术有限责任公司 | 基于大数据的网站用户行为数据采集方法、系统及应用 |
| CN108574605A (zh) * | 2017-03-07 | 2018-09-25 | 中国移动通信有限公司研究院 | 一种用户行为数据的采集方法及装置 |
-
2018
- 2018-10-29 CN CN201811271789.9A patent/CN109189597A/zh not_active Withdrawn
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104636245A (zh) * | 2015-03-09 | 2015-05-20 | 浪潮集团有限公司 | 一种基于实时更新的用户浏览行为采集方式 |
| CN108574605A (zh) * | 2017-03-07 | 2018-09-25 | 中国移动通信有限公司研究院 | 一种用户行为数据的采集方法及装置 |
| CN107908748A (zh) * | 2017-11-17 | 2018-04-13 | 南京感度信息技术有限责任公司 | 基于大数据的网站用户行为数据采集方法、系统及应用 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111221711A (zh) * | 2019-10-12 | 2020-06-02 | 中国平安财产保险股份有限公司 | 用户行为数据处理方法、服务器及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105357054B (zh) | 网站流量分析方法、装置和电子设备 | |
| CN105490854B (zh) | 实时日志收集方法、系统和应用服务器集群 | |
| CN103297469B (zh) | 一种网站数据的采集方法及装置 | |
| CN102272757B (zh) | 用于执行客户端浏览器状态的服务器端记录的方法和系统 | |
| WO2017167042A1 (zh) | 前端用户行为统计方法及装置 | |
| US8935390B2 (en) | Method and system for efficient and exhaustive URL categorization | |
| CN103399861B (zh) | 一种网址导航中的网址推荐方法、装置和系统 | |
| CN107895009A (zh) | 一种基于分布式的互联网数据采集方法及系统 | |
| CN108334641B (zh) | 采集用户行为数据的方法、系统、电子设备、存储介质 | |
| CN106897215A (zh) | 一种基于WebView网页加载性能及用户行为流数据采集的方法 | |
| CN106230809B (zh) | 一种基于url的移动互联网舆情监测方法及系统 | |
| CN107133161B (zh) | 一种生成客户端性能测试脚本方法及装置 | |
| US8707162B1 (en) | Methods and systems for reducing web page transmission bandwidth | |
| US9459913B2 (en) | System and method for providing print ready content to a printing device | |
| CN110020339B (zh) | 基于无埋点的网页数据采集方法及装置 | |
| US20070282859A1 (en) | Method for collecting online visit activity | |
| CN103955495B (zh) | 页面子资源的下载方法及装置 | |
| CN107908748A (zh) | 基于大数据的网站用户行为数据采集方法、系统及应用 | |
| Reddy et al. | Preprocessing the web server logs: an illustrative approach for effective usage mining | |
| CN105159992A (zh) | 一种应用程序的页面内容及网络行为的检测方法及装置 | |
| CN102870118A (zh) | 用户行为的获取方法、设备及系统 | |
| CN106599270B (zh) | 网络数据抓取方法和爬虫 | |
| CN107370628B (zh) | 基于埋点的日志处理方法及系统 | |
| CN106559498A (zh) | 风控数据收集平台及其收集方法 | |
| CN105550179A (zh) | 一种网页收藏方法和浏览器插件 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190111 |
|
| WW01 | Invention patent application withdrawn after publication |