CN113190512A - 一种基于埋点技术的电力客户行为数据分析方法 - Google Patents

一种基于埋点技术的电力客户行为数据分析方法 Download PDF

Info

Publication number
CN113190512A
CN113190512A CN202110494491.XA CN202110494491A CN113190512A CN 113190512 A CN113190512 A CN 113190512A CN 202110494491 A CN202110494491 A CN 202110494491A CN 113190512 A CN113190512 A CN 113190512A
Authority
CN
China
Prior art keywords
data
script
user
event
buried point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110494491.XA
Other languages
English (en)
Inventor
许杰雄
郑海雁
尹飞
王松
李叶飞
季聪
陈佐
郑飞
郑斌
陆嘉玮
马吉科
李平
曾望志
葛崇慧
武梦阳
帅率
孙权
王江辉
厉文婕
仲智颖
吕淳
包琰琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Fangtian Power Technology Co Ltd
Original Assignee
Jiangsu Fangtian Power Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Fangtian Power Technology Co Ltd filed Critical Jiangsu Fangtian Power Technology Co Ltd
Priority to CN202110494491.XA priority Critical patent/CN113190512A/zh
Publication of CN113190512A publication Critical patent/CN113190512A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/168—Details of user interfaces specifically adapted to file systems, e.g. browsing and visualisation, 2d or 3d GUIs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Debugging And Monitoring (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于埋点技术的电力客户行为数据分析方法，包括在目标页面中需要采集数据的地方添加一段全埋点和用户的自定义埋点的SDK代码；用户行为事件点击或触发步骤一中的数据采集位置时，触发浏览器，浏览器给web服务器发送HTTP请求；执行所述HTTP请求中的埋点脚本js片段，动态创建一个script标签，并将其属性src指向一个单独的js文件；js文件请求一个后端脚本，并将收集到的数据通过HTTP参数的方式传递给后端脚本，后端脚本解析参数并按固定格式记录到日志中；用Nginx收集所述日志；基于Sunfire处理所述数据；基于ECharts数据可视化组件，底层依赖轻量级的Canvas类库ZRender，实现数据可视化。本发明可以降低运营成本、提高企业核心竞争力、增强用户黏性。

Description

一种基于埋点技术的电力客户行为数据分析方法
技术领域
本发明属于电力系统信息技术领域，具体涉及一种基于埋点技术的电力客户行为数据分析方法、装置及系统。
背景技术
在大数据时代，各企业产生的海量数据只有通过技术手段进行存储、分析、挖掘才能创造出价值。随着互联网的兴起和IT技术的不断成熟，企业对网站、APP等产品的数据监控和分析的需求也越来越强烈，促进了运营数据分析平台的快速发展。为了解决该领域埋点成本高、日志量大等问题，并对企业经营过程中产生的数据进行全面分析，本发明基于埋点技术，通过Sunfire实现日志监控和过滤，借助分布式的Elasticsearch倒排索引对数据进行实时操作，设计了一套可以降低运营成本、提高企业核心竞争力、增强用户黏性的电力行为数据分析系统。
发明内容
针对上述问题，本发明提出一种基于埋点技术的电力客户行为数据分析方法，可以降低运营成本，提高企业核心竞争力，增强用户黏性的电力行为数据分析。
为了实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：
一种基于埋点技术的电力客户行为数据分析方法，包括：
步骤一，在目标页面中需要采集数据的地方添加一段全埋点和用户的自定义埋点的SDK代码；
步骤二，用户行为事件点击或触发步骤一中的数据采集位置时，触发浏览器，浏览器给web服务器发送HTTP请求；
步骤三，执行所述HTTP请求中的埋点脚本js片段，动态创建一个script标签，并将其属性src指向一个单独的js文件；
步骤四，js文件请求一个后端脚本，并将收集到的数据通过HTTP参数的方式传递给后端脚本，后端脚本解析参数并按固定格式记录到日志中；
步骤五，用Nginx收集所述日志；
步骤六，基于Sunfire处理步骤五中的数据；
步骤七，基于ECharts数据可视化组件，底层依赖轻量级的Canvas类库ZRender，将步骤六中的数据实现可视化。
可选地，所述在目标页面中添加一段全埋点和用户的自定义埋点的SDK代码的过程具体为：
通过对关注的每一事件添加埋点的SDK，调用SDK中的track等接口，采集需要的事件名、属性字段；
采集应用程序启动事件，包括冷启动和热启动场景；
采集应用程序退出事件，包括应用程序的正常退出、进入后台、应用程序被强杀、应用程序奔溃类场景触发的事件；
采集应用程序页面浏览事件，对Android应用使用切换Activity或Fragment，对iOS应用使用ViewController的-viewDidAppear:被调用；
采集元素点击事件，控件被点击时，触发应用元素点击事件。
可选地，用户行为事件触发浏览器，浏览器给web服务器发送HTTP请求的具体过程为：
用户在访问网页时，每打开一次网页相当于是浏览器向网站后端的服务器发送一次http请求，每个请求的header包含了Cookie/Referer/User-agent，以及用户的IP地址。
可选地，所述执行所述HTTP请求中的埋点脚本js片段，动态创建一个script标签，并将其属性src指向一个单独的js文件，具体包括：
数据收集脚本被请求后会被执行，通过浏览器内置javascript对象收集信息；
解析对象的收集配置信息，包括用户自定义的事件跟踪和业务数据；
将上面两步收集的数据按预定义格式解析并拼接。
可选地，所述js文件请求一个后端脚本，并将收集到的数据通过HTTP参数的方式传递给后端脚本，后端脚本解析参数并按固定格式记录到日志中，具体为：
解析http请求参数的到信息；
从服务器中获取一些客户端无法获取的信息；
将信息按格式写入log；
生成一副1×1的空gif图片作为响应内容并将响应头的Content-type设为image/gif；
在响应头中通过Set-cookie设置需要的cookie信息。
可选地，所述用Nginx收集日志的过程具体为：使用Nginx的access_log做日志收集，在nginx的配置文件中定义日志格式，设置以u_开头的为自己定义的变量，其它的是nginx内置变量。
可选地，基于Sunfire处理数据的过程为：
Agent收集相关日志；
Agent将日志传输给Sunfire对数据进行分析过滤，之后发给远端服务器上的Elasticsearch进行存储；
Elasticsearch将数据以分片的方式进行压缩存储，并且在前端用js调用Elasticsearch提供的多种API进行查询、搜索和统计。
可选地，基于ECharts数据可视化组件，底层依赖轻量级的Canvas类库ZRender，提供数据展示的过程为：
引入echarts.min.js；
初始化echarts实例，获取div标签；
指定图表的配置项和数据，仅展示series部分；
使用指定配置项和数据显示图表。
与现有技术相比，本发明的有益效果：
本发明基于埋点技术，通过Sunfire实现日志监控和过滤，借助分布式的Elasticsearch倒排索引对数据进行实时操作，设计了一套可以降低运营成本、提高企业核心竞争力、增强用户黏性的电力行为数据分析系统。
附图说明
为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明，其中：
图1为本发明一种实施例的逻辑流程图；
图2为本发明一种实施例的工作流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明的保护范围。
下面结合附图对本发明的应用原理作详细的描述。
如图1和2所示，一种基于埋点技术的电力客户行为数据分析平台的实现方法，包括以下步骤：
步骤1，在目标页面中添加一小段全埋点和用户的自定义埋点的SDK代码的过程为，
通过对关注的每一事件添加埋点的SDK，调用SDK中的track等接口，采集需要的事件名、属性字段等信息：
采集应用程序启动事件，包括冷启动和热启动场景；
采集应用程序退出事件，包括应用程序的正常退出、进入后台、应用程序被强杀、应用程序奔溃等场景触发的事件。利用Android SDK中的Session的时间概念，例如应用程序进入后台，并不会马上触发退出事件，需要等待超过一个Session时长后才算触发退出事件；
采集应用程序页面浏览事件，对Android应用使用切换Activity或Fragment，对iOS应用使用ViewController的-viewDidAppear:被调用；
采集元素点击事件，控件被点击时，触发应用元素点击事件，例如点击一个Button。
步骤2，用户行为事件触发浏览器，浏览器给web服务器发送一个HTTP请求的过程为，
用户在访问网页时，每打开一次网页相当于是浏览器向网站后端的服务器发送一次http请求。每个请求的header包含了Cookie/Referer/User-agent等，还有用户的IP地址。
步骤3，执行页面中的js片段(埋点脚本)，动态创建一个script标签,并将其属性src指向一个单独的js文件的过程为，
S31，数据收集脚本被请求后会被执行，通过浏览器内置javascript对象收集信息，如页面title(通过document.title)、referrer(上一跳url，通过document.referrer)、用户显示器分辨率(通过windows.screen)、cookie信息(通过document.cookie)等等一些信息；
S32，解析对象的收集配置信息，包括用户自定义的事件跟踪、业务数据等；
S33，将上面两步收集的数据按预定义格式解析并拼接。
步骤4，js文件请求一个后端脚本，并将收集到的数据通过HTTP参数的方式传递给后端脚本，后端脚本解析参数并按固定格式记录到日志中的过程为，
S41，解析http请求参数的到信息；
S42，从服务器(WebServer)中获取一些客户端无法获取的信息，如访客ip等；
S43，将信息按格式写入log；
S44，生成一副1×1的空gif图片作为响应内容并将响应头的Content-type设为image/gif；
S45，在响应头中通过Set-cookie设置一些需要的cookie信息。
步骤5，用Nginx收集日志的过程为，使用Nginx的access_log做日志收集，在nginx的配置文件中定义日志格式，设置以u_开头的为自己定义的变量，其它的是nginx内置变量。
步骤6，基于Sunfire处理数据的过程为，
S61，Agent收集相关日志；
S62，Agent将日志传输给Sunfire对数据进行分析过滤，之后发给远端服务器上的Elasticsearch进行存储；
S63，Elasticsearch将数据以分片的方式进行压缩存储，并且在前端用js调用Elasticsearch提供的多种API进行查询、搜索、统计等操作。
步骤7，基于ECharts数据可视化组件，底层依赖轻量级的Canvas类库ZRender，提供数据展示的过程为，
S71，引入echarts.min.js；
S72，初始化echarts实例，获取div标签
var myChart＝echarts.init(document.getElementById(‘main))；
S73，指定图表的配置项和数据，仅展示series部分；
S74，使用指定配置项和数据显示图表myChart.setOption(option)。
上述方法基于埋点技术，通过Sunfire实现日志监控和过滤，借助分布式的Elasticsearch倒排索引对数据进行实时操作，设计了一套可以降低运营成本、提高企业核心竞争力、增强用户黏性的电力行为数据分析系统。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种基于埋点技术的电力客户行为数据分析方法，其特征在于，包括：
步骤一，在目标页面中需要采集数据的地方添加一段全埋点和用户的自定义埋点的SDK代码；
步骤二，用户行为事件点击或触发步骤一中的数据采集位置时，触发浏览器，浏览器给web服务器发送HTTP请求；
步骤三，执行所述HTTP请求中的埋点脚本js片段，动态创建一个script标签，并将其属性src指向一个单独的js文件；
步骤四，js文件请求一个后端脚本，并将收集到的数据通过HTTP参数的方式传递给后端脚本，后端脚本解析参数并按固定格式记录到日志中；
步骤五，用Nginx收集所述日志；
步骤六，基于Sunfire处理步骤五中的数据；
步骤七，基于ECharts数据可视化组件，底层依赖轻量级的Canvas类库ZRender，将步骤六中的数据实现可视化。
2.根据权利要求1所述的一种基于埋点技术的电力客户行为数据分析方法，其特征在于：所述在目标页面中添加一段全埋点和用户的自定义埋点的SDK代码的过程具体为：
通过对关注的每一事件添加埋点的SDK，调用SDK中的track等接口，采集需要的事件名、属性字段；
采集应用程序启动事件，包括冷启动和热启动场景；
采集应用程序退出事件，包括应用程序的正常退出、进入后台、应用程序被强杀、应用程序奔溃类场景触发的事件；
采集应用程序页面浏览事件，对Android应用使用切换Activity或Fragment，对iOS应用使用ViewController的-viewDidAppear:被调用；
采集元素点击事件，控件被点击时，触发应用元素点击事件。
3.根据权利要求1所述的一种基于埋点技术的电力客户行为数据分析方法，其特征在于，
用户行为事件触发浏览器，浏览器给web服务器发送HTTP请求的具体过程为：
用户在访问网页时，每打开一次网页相当于是浏览器向网站后端的服务器发送一次http请求，每个请求的header包含了Cookie/Referer/User-agent，以及用户的IP地址。
4.根据权利要求1所述的一种基于埋点技术的电力客户行为数据分析方法，其特征在于，所述执行所述HTTP请求中的埋点脚本js片段，动态创建一个script标签，并将其属性src指向一个单独的js文件，具体包括：
数据收集脚本被请求后会被执行，通过浏览器内置javascript对象收集信息；
解析对象的收集配置信息，包括用户自定义的事件跟踪和业务数据；
将上面两步收集的数据按预定义格式解析并拼接。
5.根据权利要求1所述的一种基于埋点技术的电力客户行为数据分析方法，其特征在于，所述js文件请求一个后端脚本，并将收集到的数据通过HTTP参数的方式传递给后端脚本，后端脚本解析参数并按固定格式记录到日志中，具体为：
解析http请求参数的到信息；
从服务器中获取一些客户端无法获取的信息；
将信息按格式写入log；
生成一副1×1的空gif图片作为响应内容并将响应头的Content-type设为image/gif；在响应头中通过Set-cookie设置需要的cookie信息。
6.根据权利要求1所述的一种基于埋点技术的电力客户行为数据分析方法，其特征在于：所述用Nginx收集日志的过程具体为：使用Nginx的access_log做日志收集，在nginx的配置文件中定义日志格式，设置以u_开头的为自己定义的变量，其它的是nginx内置变量。
7.根据权利要求1所述的一种基于埋点技术的电力客户行为数据分析方法，其特征在于，基于Sunfire处理数据的过程为：
Agent收集相关日志；
Agent将日志传输给Sunfire对数据进行分析过滤，之后发给远端服务器上的Elasticsearch进行存储；
Elasticsearch将数据以分片的方式进行压缩存储，并且在前端用js调用Elasticsearch提供的多种API进行查询、搜索和统计。
8.根据权利要求1所述的一种基于埋点技术的电力客户行为数据分析方法，其特征在于，基于ECharts数据可视化组件，底层依赖轻量级的Canvas类库ZRender，提供数据展示的过程为：
引入echarts.min.js；
初始化echarts实例，获取div标签；
指定图表的配置项和数据，仅展示series部分；
使用指定配置项和数据显示图表。
CN202110494491.XA 2021-05-07 2021-05-07 一种基于埋点技术的电力客户行为数据分析方法 Withdrawn CN113190512A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110494491.XA CN113190512A (zh) 2021-05-07 2021-05-07 一种基于埋点技术的电力客户行为数据分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110494491.XA CN113190512A (zh) 2021-05-07 2021-05-07 一种基于埋点技术的电力客户行为数据分析方法

Publications (1)

Publication Number Publication Date
CN113190512A true CN113190512A (zh) 2021-07-30

Family

ID=76984140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110494491.XA Withdrawn CN113190512A (zh) 2021-05-07 2021-05-07 一种基于埋点技术的电力客户行为数据分析方法

Country Status (1)

Country Link
CN (1) CN113190512A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114138630A (zh) * 2021-11-10 2022-03-04 浪潮卓数大数据产业发展有限公司 一种基于es6装饰器的埋点数据收集方法及装置
CN114356733A (zh) * 2021-12-30 2022-04-15 山东辰华科技信息有限公司 一种数据埋点的配置方法、存储介质及设备
CN114547513A (zh) * 2021-12-28 2022-05-27 中科大数据研究院 一种Web系统大流量数据统计分析的方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114138630A (zh) * 2021-11-10 2022-03-04 浪潮卓数大数据产业发展有限公司 一种基于es6装饰器的埋点数据收集方法及装置
CN114138630B (zh) * 2021-11-10 2023-06-30 浪潮卓数大数据产业发展有限公司 一种基于es6装饰器的埋点数据收集方法及装置
CN114547513A (zh) * 2021-12-28 2022-05-27 中科大数据研究院 一种Web系统大流量数据统计分析的方法
CN114547513B (zh) * 2021-12-28 2023-03-10 中科大数据研究院 一种Web系统大流量数据统计分析的方法
CN114356733A (zh) * 2021-12-30 2022-04-15 山东辰华科技信息有限公司 一种数据埋点的配置方法、存储介质及设备
CN114356733B (zh) * 2021-12-30 2022-09-16 山东辰华科技信息有限公司 一种数据埋点的配置方法、存储介质及设备

Similar Documents

Publication Publication Date Title
US11489934B2 (en) Method and system for monitoring and tracking browsing activity on handled devices
US10671692B2 (en) Uniquely identifying and tracking selectable web page objects
US10002369B2 (en) Detecting content and user response to content
CN113190512A (zh) 一种基于埋点技术的电力客户行为数据分析方法
CN103268361B (zh) 网页中隐藏url的提取方法、装置和系统
CN111901192B (zh) 一种页面访问数据的统计方法及装置
EP3776193B1 (en) Capturing and processing interactions with a user interface of a native application
US20190095929A1 (en) Unification of web page reporting and updating through a page tag
US20080092060A1 (en) System and method for capturing website user feedback
US20140089472A1 (en) System and method for semantic knowledge capture
US11593131B2 (en) Capturing and processing interactions with a user interface of a native application
WO2007109345A2 (en) Time based electronic advertisement
WO2011072062A2 (en) Systems and methods for capturing and reporting metrics regarding user engagement including a canvas model
CN102314455A (zh) 计算网页点击流量的方法及系统
US20140344455A1 (en) Method and system to measure user engagement with content through event tracking on the client side
US10290026B2 (en) Advertisement snapshot recorder
CN112817817A (zh) 埋点信息查询方法、装置、计算机设备和存储介质
CN111177623A (zh) 信息处理方法及装置
CN114064144A (zh) 一种跨应用数据获取的通信插件以及通信方法
CN102722561B (zh) 一种网页退出区域及其原因分析方法
CN109240664A (zh) 一种采集用户行为信息的方法及终端
JP2022545545A (ja) ネイティブアプリケーションのためのユーザインターフェースデータ収集におけるユーザプライバシーの保護
CN112989162B (zh) 埋点上报方法、装置、设备及存储介质
CN105450460B (zh) 网络操作记录方法及系统
US20170147159A1 (en) Capturing and storing dynamic page state data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210730

WW01 Invention patent application withdrawn after publication