CN113032252A - 埋点数据的收集方法、装置、客户端设备和存储介质 - Google Patents
埋点数据的收集方法、装置、客户端设备和存储介质 Download PDFInfo
- Publication number
- CN113032252A CN113032252A CN202110273918.3A CN202110273918A CN113032252A CN 113032252 A CN113032252 A CN 113032252A CN 202110273918 A CN202110273918 A CN 202110273918A CN 113032252 A CN113032252 A CN 113032252A
- Authority
- CN
- China
- Prior art keywords
- data
- buried point
- behavior data
- log server
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 230000008569 process Effects 0.000 claims abstract description 27
- 230000006399 behavior Effects 0.000 claims description 85
- 238000012545 processing Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 19
- 238000013480 data collection Methods 0.000 claims description 18
- 238000012546 transfer Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000004140 cleaning Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 claims description 7
- 230000009545 invasion Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 14
- 238000003672 processing method Methods 0.000 description 7
- 230000008878 coupling Effects 0.000 description 6
- 238000010168 coupling process Methods 0.000 description 6
- 238000005859 coupling reaction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/362—Software debugging
- G06F11/3636—Software debugging by tracing the execution of the program
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/324—Display of status information
- G06F11/327—Alarm or error message display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明实施例公开了一种埋点数据的收集方法、装置、客户端设备和存储介质，通过预先设置的埋点数据采集工具包，获取用户输入的使用行为数据；将使用行为数据发送至后台日志服务器，以使后台日志服务器对使用行为数据进行处理，并进行展示，本发明实施例中不需要在每个需要埋点的地方添加代码，只需要根据服务器分发的配置信息，增加埋点数据采集工具包，即SDK包，通过该SDK包获取相应的埋点数据即可，代码耦合度低，同时灵活度也高。
Description
技术领域
本发明涉及计算机软件技术领域，尤其涉及一种埋点数据的收集方法、装置、客户端设备和存储介质。
背景技术
随互联网、信息产业发展，在企业经营生产过程中，企业会产生很多业务，有大部分企业对自己所研发的各个APK，APP，H5等运营系统的用户使用情况、线上异常情况、营销活动的PV/UV转化情况统统一无所知。用户线上访问异常、用户访问行为、应用性能信息完全无感知、业务数据的效果无从跟踪、营销活动的转换效果、支付链路的耗时等都很难服务业务决策。
企业需要快速获取开发出来的应用的使用情况：有没有用户使用，有多少用户使用；用户在使用过程中遇到了什么样的问题；作为开发者和运营者能快速追踪定位到这些问题并及时解决，同时从中吸取经验避免再犯；埋点数据反哺业务：运营和产品负责人能从中得到一些数据，从而优化产品质量，增加用户的活跃度和粘性。
现有的一些数据收集方式通常采用的是侵入式埋点，即在每个需要埋点的地方手动添加代码，但是，这种方式耦合度高，后期难以维护，若不需要的埋点，则需要手动删除，需要专业技术人员进行维护。
发明内容
鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种埋点数据的收集方法、装置、客户端设备和存储介质。
第一个方面，本发明实施例提供一种埋点数据的收集方法，所述方法包括：
通过预先设置的埋点数据采集工具包，获取用户输入的使用行为数据；
将所述使用行为数据发送至后台日志服务器，以使所述后台日志服务器对所述使用行为数据进行处理，并进行展示。
可选地，所述通过预先设置的埋点数据采集工具包，获取用户输入的使用行为数据，包括：
通过无埋点方式，通过预先设置的埋单数据采集工具包获取在指定位置用户输入的使用行为数据，其中，所述指定位置为所述后台日志服务器下发的。
可选地，所述通过预先设置的埋点数据采集工具包，获取用户输入的使用行为数据，包括：
通过少量侵入埋点方式，通过预先设置的埋单数据采集工具包获取在预设位置用户输入的使用行为数据，其中，所述预设位置是根据业务需求确定的。
可选地，所述预先设置的埋点数据采集工具包包括JS的SDK包、安卓SDK包或IOS的SDK包中的一种或多种。
可选地，所述后台日志服务器对所述使用行为数据进行处理，并进行展示，包括：
将所述使用行为数据进行数据过滤及清洗，得到不同等级的数据；
将所述不同等级的数据分别保存在对应的log-transfer数据库中；
将所述log-transfer数据库中的数据转发至Kafka数据库中进行处理，生成报表，并将所述报表进行展示。
可选地，所述方法还包括：
根据业务需求，对所述Kafka数据库中的数据进行离线统计计算，得到统计结果，并将所述统计结果保存到TiDB数据库中。
可选地，所述方法还包括：
若所述Kafka数据库中的数据异常，则接收所述后台日志服务器下发的告警信息。
第二个方面，本发明实施例提供一种埋点数据的收集装置，所述装置包括：
采集模块，用于通过预先设置的埋点数据采集工具包，获取用户输入的使用行为数据；
发送模块，用于将所述使用行为数据发送至后台日志服务器，以使所述后台日志服务器对所述使用行为数据进行处理，并进行展示。
可选地，所述采集模块用于：
通过无埋点方式，通过预先设置的埋单数据采集工具包获取在指定位置用户输入的使用行为数据，其中，所述指定位置为所述后台日志服务器下发的。
可选地，所述采集模块用于：
通过少量侵入埋点方式，通过预先设置的埋单数据采集工具包获取在预设位置用户输入的使用行为数据，其中，所述预设位置是根据业务需求确定的。
可选地，所述预先设置的埋点数据采集工具包包括JS的SDK包、安卓SDK包或IOS的SDK包中的一种或多种。
可选地，所述后台日志服务器包括处理模块，所述处理模块用于：
将所述使用行为数据进行数据过滤及清洗，得到不同等级的数据；
将所述不同等级的数据分别保存在对应的log-transfer数据库中；
将所述log-transfer数据库中的数据转发至Kafka数据库中进行处理，生成报表，并将所述报表进行展示。
可选地，所述处理模块还用于：
根据业务需求，对所述Kafka数据库中的数据进行离线统计计算，得到统计结果，并将所述统计结果保存到TiDB数据库中。
可选地，所述装置还包括告警模块，所述告警模块用于：
若所述Kafka数据库中的数据异常，则接收所述后台日志服务器下发的告警信息。
第三个方面，本发明实施例提供一种客户端设备，包括：至少一个处理器和存储器；
所述存储器存储计算机程序；所述至少一个处理器执行所述存储器存储的计算机程序，以实现第一个方面提供的埋点数据的收集方法。
第四个方面，本发明实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现第一个方面提供的埋点数据的收集方法。
本发明实施例包括以下优点：
本发明实施例提供的埋点数据的收集方法、装置、客户端设备和存储介质，通过预先设置的埋点数据采集工具包，获取用户输入的使用行为数据；将使用行为数据发送至后台日志服务器，以使后台日志服务器对使用行为数据进行处理，并进行展示，本发明实施例中不需要在每个需要埋点的地方添加代码，只需要根据服务器分发的配置信息，增加埋点数据采集工具包，即SDK包，通过该SDK包获取相应的埋点数据即可，代码耦合度低，同时灵活度也高。
附图说明
图1是本发明的一种埋点数据的收集方法实施例的步骤流程图；
图2是本发明的另一种埋点数据的收集方法实施例的步骤流程图；
图3是本发明的埋点数据的收集系统实施例的结构示意图；
图4是本发明的又一种埋点数据的收集方法实施例的步骤流程图；
图5是本发明的终端埋点数据的收集方法实施例的步骤流程图；
图6是本发明的服务器日志处理方法实施例的步骤流程图；
图7是本发明的服务器离线处理方法实施例的步骤流程图；
图8是本发明的服务器实时处理方法实施例的步骤流程图；
图9是本发明的一种埋点数据的收集装置实施例的结构框图；
图10是本发明的一种客户端设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
名词解释：
TiDB：分布式关系型数据库
Kafka：基于zookeeper协调的分布式消息系统
CarbonData：数仓引擎
ELK(ElasticSearch,Logstash,Kibana)平台：是一个实时的分布式搜索和分析引擎，它可以用于全文搜索，结构化搜索以及分析，实时分析分布式实时文件存储，并将每一个字段都编入索引文档导向，所有的对象全部是文档高可用性，易扩展，支持集群(Cluster)、分片和复制(Shards和Replicas)。接口友好，支持JSON。
由ElasticSearch、Logstash和Kiabana三个开源工具组成，Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用(如，搜索)。
Kibana也是一个开源和免费的工具，它Kibana可以为Logstash和ElasticSearch提供的日志分析友好的Web界面，可以帮助您汇总、分析和搜索重要数据日志。
SDK：软件开发工具包(缩写:SDK、外语全称:Software Development Kit)一般都是一些软件工程师为特定的软件包、软件框架、硬件平台、操作系统等建立应用软件时的开发工具的集合。
软件开发工具包括广义上指辅助开发某一类软件的相关文档、范例和工具的集合。
app，Application应用程序，主要指安装在智能手机上的软件，完善原始系统的不足与个性化。使手机完善其功能，为用户提供更丰富的使用体验的主要手段。
APK是AndroidPackage的缩写，即Android安装包(apk)。APK是类似Symbian Sis或Sisx的文件格式。通过将APK文件直接传到Android模拟器或Android手机中执行即可安装。
NGINX：web服务器
本发明一实施例提供一种埋点数据的收集方法，用于对用户使用行为数据进行采集。本实施例的执行主体为埋点数据的收集装置，设置在客户端设备上，例如，客户端设备至少包括手机终端、平板终端和计算机终端等。
参照图1，示出了本发明的一种埋点数据的收集方法实施例的步骤流程图，该方法具体可以包括如下步骤：
S101、通过预先设置的埋点数据采集工具包，获取用户输入的使用行为数据；
具体地，在客户端设备上预先设置有埋点数据采集工具包，该埋点数据采集工具包可以是H5编写的，也可以是SDK包即软件开发包，这样，当用户在使用客户端设备时，客户端设备上的埋点数据采集工具包可以检测到用户输入的使用行为数据，同时客户端设备获取到用户输入的使用行为数据。
在具体的实施过程中，客户端设备可以在预设位置获取用户输入的使用行为数据，也可以根据业务需求获取用户输入的使用行为数据。
也就是说，在预设位置即埋点位置安装该SDK包，该埋点位置可以通过后台日志服务器进行设置，这样就可以采集此刻用户输入的使用行为数据，若根据业务需求，想要获取的位置发生变化，则只需要将SDK包进行位置改变就可以了，而不需要重新修改代码。
S102、将所述使用行为数据发送至后台日志服务器，以使所述后台日志服务器对所述使用行为数据进行处理，并进行展示。
具体地，客户端设备将采集到的用户使用行为数据发送至后台日志服务器，后台日志服务器对使用行为数据进行验证，在正常的情况下，对使用行为数据进行清洗，并进行分类，分别保存在不同的数据库中，然后后台日志服务器再从数据库中的使用行为数据进行处理，例如生成报表等，并进行展示。
本发明实施例提供的埋点数据的收集方法，通过预先设置的埋点数据采集工具包，获取用户输入的使用行为数据；将使用行为数据发送至后台日志服务器，以使后台日志服务器对使用行为数据进行处理，并进行展示，本发明实施例中不需要在每个需要埋点的地方添加代码，只需要根据服务器分发的配置信息，增加埋点数据采集工具包，即SDK包，通过该SDK包获取相应的埋点数据即可，代码耦合度低，同时灵活度也高。
本发明又一实施例对上述实施例提供的埋点数据的收集方法做进一步补充说明。
如图2所示，示出了本发明的另一种埋点数据的收集方法实施例的步骤流程图，该埋点数据的收集方法包括：
S201、通过无埋点方式，通过预先设置的埋单数据采集工具包获取在指定位置用户输入的使用行为数据，其中，所述指定位置为所述后台日志服务器下发的。
具体地，预先设置的埋点数据采集工具包包括JS的SDK包、安卓SDK包或IOS的SDK包中的一种或多种。
在本发明实施例中，可采用无埋点方式，则是通过封装的SDK，实现埋点配置拉取用户输入的使用行为数据，根据拉取的配置，进行指定模块的埋点，无埋点方式是通过全局监听或AOP(Aspect Oriented Programming，面向切面编程)技术添加埋点的一种实现方案，用户不需要在每个需要埋点的地方添加代码，只需要根据后台日志服务器分发的配置，即配置埋点位置，获取相应的埋点数据即使用行为数据即可，这样，代码耦合度低，同时灵活度也高，埋点数据直接由服务器控制。
S202、通过少量侵入埋点方式，通过预先设置的埋单数据采集工具包获取在预设位置用户输入的使用行为数据，其中，所述预设位置是根据业务需求确定的。
具体地，预先设置的埋点数据采集工具包包括JS的SDK包、安卓SDK包或IOS的SDK包中的一种或多种。
本发明实施例中采用侵入式埋点，则需要根据业务需求，在某一个业务模块的代码，进行数据的上报，也就是说，在业务进行中，需要精确数据，这样就可以采用少量采用侵入式埋点方式，即由SDK拉取收集配置，收集用户使用行为数据，定时上报至后台日志服务器。
图5是本发明的终端埋点数据的收集方法实施例的步骤流程图，如图5所述，客户端设备上设置有SDK包，其中，SDK包可以是APK、APP或H5，当用户对客户端设备有操作时，客户端设备通过该SDK包定时拉取用户使用行为数据，定时上报至后台日志服务器即Nginx。
S203、将所述使用行为数据发送至后台日志服务器；
S204、后台日志服务器将所述使用行为数据进行数据过滤及清洗，得到不同等级的数据；
S205、后台日志服务器将所述不同等级的数据分别保存在对应的log-transfer数据库中；
具体地，后台日志服务器负责接收上报的数据即使用行为数据，并验证其正确性，处理部分数据字段，进行数据过滤以及清洗根据不同等级数据划分到不同的类型的log-transfer数据库中，然后再将log-transfer数据库中的数据转发至kafka数据中，通过kafka进行处理数据处理，即采用Kafka集群消息中间件，可水平扩展，支持高吞吐率，减少系统耦合度。
图6是本发明的服务器日志处理方法实施例的步骤流程图，如图6所示，后天日志服务器负责接收客户端设备上报的使用行为数据并验证其正确性，处理部分数据字段，进行数据过滤以及清洗根据不同等级数据划分到不同的log-transfer，转发处理过后的数据到Kafka，采用不同的数据存储为了将业务剥离开，各个模块负责处理自己的模块，kafka数据库不需要长期保留数据，只需要暂时存储，TiDB数据库则需要永久保留，log-transfer对日志数据的收集更为合适。
S206、后台日志服务器将所述log-transfer数据库中的数据转发至Kafka数据库中进行处理，生成报表，并将所述报表进行展示。
图8是本发明的服务器实时处理方法实施例的步骤流程图，如图8所示，后台日志服务器负责从Kafka数据库中农拉取使用行为数据，并对该使用行为数据进行简单计算，将统计结果直接写入TiDB数据库中，进行永久保存。
S207、若所述Kafka数据库中的数据异常，则接收所述后台日志服务器下发的告警信息。
同时，后台日志服务器对kafka数据库中的数据进行判断，若该数据格式有问题或者出现其他异常，例如都是空字节，后者都是重复的数据，则后台日志服务器向客户端设备返回告警信息，例如向客户端设备发送短信或者发送邮件通知。
S208、根据业务需求，所述后台日志服务器对所述Kafka数据库中的数据进行离线统计计算，得到统计结果，并将所述统计结果保存到TiDB数据库中。
具体地，在本发明实施例中不仅可以实时对用户使用行为数据进行处理，还可以进行离线处理，这样，通过离线处理可以一些数据统计的操作等。
图7是本发明的服务器离线处理方法实施例的步骤流程图，如图7所示，本发明实施例中对kafka数据库中的数据进行拉去，然后根据实际业务需求，定时对该用户使用行为数据进行精准计算，然后将计算的结果保存在TiDB数据库中，进行长久保存，以便于后续进行查看。
图3是本发明的埋点数据的收集系统实施例的结构示意图，如图3所示，该埋点数据的收集系统包括客户端设备和后台日志服务器，在客户端设备上安装有H5、小程序、APP或APK；
后台日志服务器中的log-transfer可以用于接收日志，并进行处理，并将用户使用行为数据保存在kafka数据库中；
进而后台日志服务器对kafka数据库中的数据进行处理，若出现议程，可进行告警，并将处理后的结果保存在TiDB数据库中；
进一步地，后台日志服务器还可以根据kafka数据库中的数据进行处理，生成OMS报表，并在界面上进行显示。
本系统采用无埋点方式+少量侵入式埋点，无埋点方式则是通过封装的SDK，实现埋点配置拉取，根据拉取的配置，进行指定模块的埋点，侵入式埋点则需要根据业务需求，在某一个业务模块的代码，进行数据的上报，无埋点方式是通过全局监听或AOP(AOP为Aspect Oriented Programming的缩写，意为：面向切面编程)技术添加埋点的一种实现方案，开发者不需要在每个需要埋点的地方添加代码，只需要根据服务器分发的配置，获取相应的埋点数据即可，代码耦合度低，同时灵活度也高，埋点数据直接由服务器控制，业务需要精确数据部分则少量采用侵入式埋点方式。由SDK拉取收集配置，收集用户使用行为数据，定时上报至后台，后台日志服务负责接收上报的数据并验证其正确性，处理部分数据字段，进行数据过滤以及清洗根据不同等级数据划分到不同的Topic，业务系统采用Kafka集群消息中间件，可水平扩展，支持高吞吐率，减少系统耦合度。
图4是本发明的又一种埋点数据的收集方法实施例的步骤流程图，如图4所示，通过无埋点或少埋点方式获取相应的埋点数据即可，代码耦合度低，同时灵活度也高，埋点数据直接由后台日志服务器控制，业务需要精确数据部分则少量采用侵入式埋点方式。由SDK拉取收集配置，收集用户使用行为数据，定时上报至后台，后台日志服务负责接收上报的数据并验证其正确性，处理部分数据字段，进行数据过滤以及清洗根据不同等级数据划分到不同的Topic，业务系统采用Kafka集群消息中间件，可水平扩展，支持高吞吐率，减少系统耦合度。
针对于传统的判定方法，本发明实施例中的数据收集方式通过后台日志服务器下发，更加灵活方便，切合运营需求，日志服务的数据过滤处理，将数据清洗完丢至kafka，ELK服务直接消费kafka，将数据存储下来，方便技术人员问题的查看以及优化，另外一份数据则直接存入数仓，用于后续的业务逻辑计算。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
本发明实施例提供的埋点数据的收集方法，通过预先设置的埋点数据采集工具包，获取用户输入的使用行为数据；将使用行为数据发送至后台日志服务器，以使后台日志服务器对使用行为数据进行处理，并进行展示，本发明实施例中不需要在每个需要埋点的地方添加代码，只需要根据服务器分发的配置信息，增加埋点数据采集工具包，即SDK包，通过该SDK包获取相应的埋点数据即可，代码耦合度低，同时灵活度也高。
本发明另一实施例提供一种埋点数据的收集装置，用于执行上述实施例提供的埋点数据的收集方法。
参照图9，示出了本发明的一种埋点数据的收集装置实施例的结构框图，该装置具体可以包括如下模块：采集模块901和发送模块902，其中：
采集模块901用于通过预先设置的埋点数据采集工具包，获取用户输入的使用行为数据；
发送模块902用于将所述使用行为数据发送至后台日志服务器，以使所述后台日志服务器对所述使用行为数据进行处理，并进行展示。
本发明实施例提供的埋点数据的收集装置，通过预先设置的埋点数据采集工具包，获取用户输入的使用行为数据；将使用行为数据发送至后台日志服务器，以使后台日志服务器对使用行为数据进行处理，并进行展示，本发明实施例中不需要在每个需要埋点的地方添加代码，只需要根据服务器分发的配置信息，增加埋点数据采集工具包，即SDK包，通过该SDK包获取相应的埋点数据即可，代码耦合度低，同时灵活度也高。
本发明又一实施例对上述实施例提供的可视化报表的生成装置做进一步补充说明。
可选地，所述采集模块901用于：
通过无埋点方式，通过预先设置的埋单数据采集工具包获取在指定位置用户输入的使用行为数据，其中，所述指定位置为所述后台日志服务器下发的。
可选地，所述采集模块901用于：
通过少量侵入埋点方式，通过预先设置的埋单数据采集工具包获取在预设位置用户输入的使用行为数据，其中，所述预设位置是根据业务需求确定的。
可选地，所述预先设置的埋点数据采集工具包包括JS的SDK包、安卓SDK包或IOS的SDK包中的一种或多种。
可选地，所述后台日志服务器包括处理模块，所述处理模块用于：
将所述使用行为数据进行数据过滤及清洗，得到不同等级的数据；
将所述不同等级的数据分别保存在对应的log-transfer数据库中；
将所述log-transfer数据库中的数据转发至Kafka数据库中进行处理，生成报表，并将所述报表进行展示。
可选地，所述处理模块还用于：
根据业务需求，对所述Kafka数据库中的数据进行离线统计计算，得到统计结果，并将所述统计结果保存到TiDB数据库中。
可选地，所述装置还包括告警模块，所述告警模块用于：
若所述Kafka数据库中的数据异常，则接收所述后台日志服务器下发的告警信息。
需要说明的是，本实施例中各可实施的方式可以单独实施，也可以在不冲突的情况下以任意组合方式结合实施本申请不做限定。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明实施例提供的埋点数据的收集装置，通过预先设置的埋点数据采集工具包，获取用户输入的使用行为数据；将使用行为数据发送至后台日志服务器，以使后台日志服务器对使用行为数据进行处理，并进行展示，本发明实施例中不需要在每个需要埋点的地方添加代码，只需要根据服务器分发的配置信息，增加埋点数据采集工具包，即SDK包，通过该SDK包获取相应的埋点数据即可，代码耦合度低，同时灵活度也高。
本发明再一实施例提供一种客户端设备，用于执行上述实施例提供的埋点数据的收集方法。
图10是本发明的一种客户端设备的结构示意图，如图10所示，该客户端设备包括：至少一个处理器1001和存储器1002；
所述存储器存储计算机程序；所述至少一个处理器执行所述存储器存储的计算机程序，以实现上述实施例提供的埋点数据的收集方法。
本实施例提供的客户端设备，通过预先设置的埋点数据采集工具包，获取用户输入的使用行为数据；将使用行为数据发送至后台日志服务器，以使后台日志服务器对使用行为数据进行处理，并进行展示，本发明实施例中不需要在每个需要埋点的地方添加代码，只需要根据服务器分发的配置信息，增加埋点数据采集工具包，即SDK包，通过该SDK包获取相应的埋点数据即可，代码耦合度低，同时灵活度也高。
本申请又一实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现上述任一实施例提供的埋点数据的收集方法。
根据本实施例的计算机可读存储介质，通过预先设置的埋点数据采集工具包，获取用户输入的使用行为数据；将使用行为数据发送至后台日志服务器，以使后台日志服务器对使用行为数据进行处理，并进行展示，本发明实施例中不需要在每个需要埋点的地方添加代码，只需要根据服务器分发的配置信息，增加埋点数据采集工具包，即SDK包，通过该SDK包获取相应的埋点数据即可，代码耦合度低，同时灵活度也高。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、电子设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理电子设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理电子设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理电子设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理电子设备上，使得在计算机或其他可编程电子设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程电子设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者电子设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者电子设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者电子设备中还存在另外的相同要素。
以上对本发明所提供的一种埋点数据的收集方法和一种可视化报表的生成装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种埋点数据的收集方法，其特征在于，所述方法包括：
通过预先设置的埋点数据采集工具包，获取用户输入的使用行为数据；
将所述使用行为数据发送至后台日志服务器，以使所述后台日志服务器对所述使用行为数据进行处理，并进行展示。
2.根据权利要求1所述的方法，其特征在于，所述通过预先设置的埋点数据采集工具包，获取用户输入的使用行为数据，包括：
通过无埋点方式，通过预先设置的埋单数据采集工具包获取在指定位置用户输入的使用行为数据，其中，所述指定位置为所述后台日志服务器下发的。
3.根据权利要求1所述的方法，其特征在于，所述通过预先设置的埋点数据采集工具包，获取用户输入的使用行为数据，包括：
通过少量侵入埋点方式，通过预先设置的埋单数据采集工具包获取在预设位置用户输入的使用行为数据，其中，所述预设位置是根据业务需求确定的。
4.根据权利要求1所述的方法，其特征在于，所述预先设置的埋点数据采集工具包包括JS的SDK包、安卓SDK包或IOS的SDK包中的一种或多种。
5.根据权利要求1所述的方法，其特征在于，所述后台日志服务器对所述使用行为数据进行处理，并进行展示，包括：
将所述使用行为数据进行数据过滤及清洗，得到不同等级的数据；
将所述不同等级的数据分别保存在对应的log-transfer数据库中；
将所述log-transfer数据库中的数据转发至Kafka数据库中进行处理，生成报表，并将所述报表进行展示。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
根据业务需求，所述后台日志服务器对所述Kafka数据库中的数据进行离线统计计算，得到统计结果，并将所述统计结果保存到TiDB数据库中。
7.根据权利要求5所述的方法，其特征在于，所述方法还包括：
若所述Kafka数据库中的数据异常，则接收所述后台日志服务器下发的告警信息。
8.一种埋点数据的收集装置，其特征在于，所述装置包括：
采集模块，用于通过预先设置的埋点数据采集工具包，获取用户输入的使用行为数据；
发送模块，用于将所述使用行为数据发送至后台日志服务器，以使所述后台日志服务器对所述使用行为数据进行处理，并进行展示。
9.一种客户端设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机程序；所述至少一个处理器执行所述存储器存储的计算机程序，以实现权利要求1-7中任一项所述的埋点数据的收集方法。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现权利要求1-7中任一项所述的埋点数据的收集方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110273918.3A CN113032252A (zh) | 2021-03-15 | 2021-03-15 | 埋点数据的收集方法、装置、客户端设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110273918.3A CN113032252A (zh) | 2021-03-15 | 2021-03-15 | 埋点数据的收集方法、装置、客户端设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113032252A true CN113032252A (zh) | 2021-06-25 |
Family
ID=76468633
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110273918.3A Pending CN113032252A (zh) | 2021-03-15 | 2021-03-15 | 埋点数据的收集方法、装置、客户端设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113032252A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113779063A (zh) * | 2021-08-03 | 2021-12-10 | 广州心娱网络科技有限公司 | 报表数据的处理、显示方法、系统、装置及存储介质 |
| CN114547513A (zh) * | 2021-12-28 | 2022-05-27 | 中科大数据研究院 | 一种Web系统大流量数据统计分析的方法 |
| CN115174226A (zh) * | 2022-07-05 | 2022-10-11 | 常州信安网络科技有限公司 | 基于人工智能和大数据的用户行为预测方法、设备、介质及产品 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106294672A (zh) * | 2016-08-08 | 2017-01-04 | 杭州玳数科技有限公司 | 一种日志实时展现和查询的方法与系统 |
| CN107864065A (zh) * | 2017-08-16 | 2018-03-30 | 上海壹账通金融科技有限公司 | 无埋点数据采集方法、系统及计算机可读存储介质 |
| CN109255093A (zh) * | 2018-10-24 | 2019-01-22 | 北京三快在线科技有限公司 | 行为数据处理方法、装置、电子设备及计算机可读介质 |
| CN109582827A (zh) * | 2018-11-30 | 2019-04-05 | 深圳市小牛普惠投资管理有限公司 | 无埋点数据采集方法、装置、计算机设备以及存储介质 |
-
2021
- 2021-03-15 CN CN202110273918.3A patent/CN113032252A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106294672A (zh) * | 2016-08-08 | 2017-01-04 | 杭州玳数科技有限公司 | 一种日志实时展现和查询的方法与系统 |
| CN107864065A (zh) * | 2017-08-16 | 2018-03-30 | 上海壹账通金融科技有限公司 | 无埋点数据采集方法、系统及计算机可读存储介质 |
| CN109255093A (zh) * | 2018-10-24 | 2019-01-22 | 北京三快在线科技有限公司 | 行为数据处理方法、装置、电子设备及计算机可读介质 |
| CN109582827A (zh) * | 2018-11-30 | 2019-04-05 | 深圳市小牛普惠投资管理有限公司 | 无埋点数据采集方法、装置、计算机设备以及存储介质 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113779063A (zh) * | 2021-08-03 | 2021-12-10 | 广州心娱网络科技有限公司 | 报表数据的处理、显示方法、系统、装置及存储介质 |
| CN114547513A (zh) * | 2021-12-28 | 2022-05-27 | 中科大数据研究院 | 一种Web系统大流量数据统计分析的方法 |
| CN114547513B (zh) * | 2021-12-28 | 2023-03-10 | 中科大数据研究院 | 一种Web系统大流量数据统计分析的方法 |
| CN115174226A (zh) * | 2022-07-05 | 2022-10-11 | 常州信安网络科技有限公司 | 基于人工智能和大数据的用户行为预测方法、设备、介质及产品 |
| CN115174226B (zh) * | 2022-07-05 | 2024-05-03 | 北京鉴微知著智能科技有限公司 | 基于人工智能和大数据的用户行为预测方法、设备、介质及产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113032252A (zh) | 埋点数据的收集方法、装置、客户端设备和存储介质 | |
| CN112311617A (zh) | 一种配置化数据监控告警方法及系统 | |
| CN106487574A (zh) | 自动化运行维护监测系统 | |
| CN113157545A (zh) | 业务日志的处理方法、装置、设备及存储介质 | |
| CN111752793A (zh) | 系统异常的监控方法、装置、计算机设备及存储介质 | |
| CN111143673A (zh) | 一种多渠道客户信息处理及自动化营销的方法及系统 | |
| CN112506743A (zh) | 一种日志监控方法、装置和服务器 | |
| CN103067255A (zh) | 一种消息提醒用呼吸灯及消息提醒方法 | |
| CN109255093A (zh) | 行为数据处理方法、装置、电子设备及计算机可读介质 | |
| CN103401698A (zh) | 用于服务器集群运算中对服务器状况报警的监控系统 | |
| CN104657437B (zh) | 推广情况数据的监测方法及装置 | |
| US20090307508A1 (en) | Optimizing the Efficiency of an Organization's Technology Infrastructure | |
| CN105122733A (zh) | 队列监控和可视化 | |
| CN111324511A (zh) | 报警规则的生成方法、装置、电子设备及存储介质 | |
| CN111367760A (zh) | 日志采集方法及装置、计算机设备、存储介质 | |
| CN114095333A (zh) | 一种网络排障方法、装置、设备及可读存储介质 | |
| CN115237857A (zh) | 日志处理方法、装置、计算机设备及存储介质 | |
| CN105630650A (zh) | 一种日志处理方法、装置及系统 | |
| CN111865673A (zh) | 一种自动化故障管理方法、装置及系统 | |
| CN109409948B (zh) | 交易异常检测方法、装置、设备及计算机可读存储介质 | |
| CN110837538A (zh) | 金融知识图谱可视化查询与多维分析系统 | |
| US11282092B2 (en) | System and method for universal data modeling | |
| CN112906373A (zh) | 告警计算方法、装置、电子设备及存储介质 | |
| CN115766768A (zh) | 一种算力网络操作系统中感知中枢设计方法及装置 | |
| CN113138970A (zh) | 实时的数据库错误日志的统计分析系统及其方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210625 |