CN111953743A - 一种通用数据的收集分析方法、装置及系统 - Google Patents

一种通用数据的收集分析方法、装置及系统 Download PDF

Info

Publication number
CN111953743A
CN111953743A CN202010712381.1A CN202010712381A CN111953743A CN 111953743 A CN111953743 A CN 111953743A CN 202010712381 A CN202010712381 A CN 202010712381A CN 111953743 A CN111953743 A CN 111953743A
Authority
CN
China
Prior art keywords
data
service application
collection
statistical
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010712381.1A
Other languages
English (en)
Inventor
邓嘉俊
罗益峰
庸有名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Lango Electronic Science and Technology Co Ltd
Original Assignee
Guangzhou Lango Electronic Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Lango Electronic Science and Technology Co Ltd filed Critical Guangzhou Lango Electronic Science and Technology Co Ltd
Priority to CN202010712381.1A priority Critical patent/CN111953743A/zh
Publication of CN111953743A publication Critical patent/CN111953743A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters 

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种通用数据的收集分析方法、装置及系统，其中，所述方法包括：业务服务应用响应用户触发的访问或操作请求，调用用户行为数据收集接口对前端的用户行为数据进行收集；业务服务应用基于预设条件调用后台数据收集接口对后台数据进行收集；将收集到的用户行为数据和/或后台数据传输至收集服务应用；收集服务应用将接收到的用户行为数据和/或后台数据按照定义分类保存至数据源中；收集服务应用基于在统计服务内创建的统计报表任务在数据源中提取待统计分析数据进行统计分析，获得统计分析结果。在本发明实施例中，实现对前端用户请求的数据收集及后台非用户请求的数据收集，减少重复开发，增加使用情景。

Description

一种通用数据的收集分析方法、装置及系统
技术领域
本发明涉及大数据技术领域，尤其涉及一种通用数据的收集分析方法、装置及系统。
背景技术
目前网上能找到的数据埋点收集服务，无一例外是基于前端用户行为收集，数据集中到分析服务里进行分析，得出统计数据，帮助产品设计师分析用户行为，优化产品设计；但实际上，仅仅处理前端的数据，会漏掉后台非用户直接操作产生的数据，导致收集的数据不完整，使用情景有限(比如物联网系统，很多时候是设备衍生自动执行的行为，而不是用户直接操作的行为，就收集不到完整有价值的数据，也很难计算价值转化)。
发明内容
本发明的目的在于克服现有技术的不足，本发明提供了一种通用数据的收集分析方法、装置及系统，实现对前端用户请求的数据收集及后台非用户请求的数据收集，使得收集的数据较为完整，减少重复开发，增加使用情景。
为了解决上述技术问题，本发明实施例提供了一种通用数据的收集分析方法，所述方法包括：
业务服务应用响应用户触发的访问或操作请求，调用用户行为数据收集接口对前端的用户行为数据进行收集；以及，
所述业务服务应用基于预设条件调用后台数据收集接口对后台数据进行收集；
所述业务服务应用调用所述收集服务应用中的http或https接口，将收集到的用户行为数据和/或后台数据传输至收集服务应用；
所述收集服务应用将接收到的用户行为数据和/或后台数据按照定义分类保存至数据源中；
所述收集服务应用基于在统计服务内创建的统计报表任务在数据源中提取待统计分析数据进行统计分析，获得统计分析结果。
可选的，所述方法还包括：
基于所述收集服务应用内的服务管理将所述统计分析结果反馈至对应的产品管理用户；
其中反馈方式包括基于业务服务应用界面显示反馈方式和/或基于邮件推送反馈方式。
可选的，所述业务服务应用响应用户触发的访问或操作请求之前，还包括：
在所述业务服务应用的前端置入可用于收集用户行为数据的JS脚本。
可选的，所述业务服务应用响应用户触发的访问或操作请求，调用用户行为数据收集接口对前端的用户行为数据进行收集，包括：
当用户触发访问或操作请求时，所述业务服务应用响应用户触发的访问或操作请求，调用设置在所述业务服务应用前端的JS脚本抓取所述用户触发的访问或操作请求中的url以及请求参数来对前端的用户行为数据收集进行收集。
可选的，所述预设条件包括预设用户行为、预设约定时间、预设约定事件中的任意一项或多项的组合。
可选的，所述业务服务应用基于预设条件调用后台数据收集接口对后台数据进行收集，包括：
所述业务服务应用按照所述收集服务应用提供的接口要求，基于预设条件直接调用后台数据收集接口对后台数据进行收集。
可选的，所述用户行为数据收集接口和所述后台数据收集接口为管理用户基于所述收集服务应用的服务管理创建的接口，并且所述用户行为数据收集接口和所述后台数据收集接口用于被所述业务服务应用所调用。
可选的，所述收集服务应用基于在统计服务内创建的统计报表任务在数据源中提取待统计分析数据进行统计分析，包括：
所述收集服务应用基于在统计服务内创建的统计报表任务在所述数据源中提取待统计分析数据，获得待统计分析数据；
基于动态统计代码技术对所述待统计分析数据进行统计分析运算；
其中，所述动态统计代码技术包括基于nodejs服务动态运行js代码实现统计运算或java类动态加载，把编译好的java统计代码直接载入到容器实现统计运算；所述动态统计代码技术中包含有用户自定义的统计代码及统计条件。
另外，本发明实施例还提供了一种通用数据的收集分析装置，所述装置包括：
第一数据收集模块：用于业务服务应用响应用户触发的访问或操作请求，调用用户行为数据收集接口对前端的用户行为数据进行收集；以及，
第二数据收集模块：用于所述业务服务应用基于预设条件调用后台数据收集接口对后台数据进行收集；
数据传输模块：用于所述业务服务应用调用所述收集服务应用中的http或https接口，将收集到的用户行为数据和/或后台数据传输至收集服务应用；
数据分类保存模块：用于所述收集服务应用将接收到的用户行为数据和/或后台数据按照定义分类保存至数据源中；
统计分析模块：用于所述收集服务应用基于在统计服务内创建的统计报表任务在数据源中提取待统计分析数据进行统计分析，获得统计分析结果。
另外，本发明实施例还提供了一种通用数据的收集分析系统，所述系统包括：至少一个业务服务应用及一个收集服务应用；其中，
所述收集服务应用可部署在云端服务器，基于公共网络与部署有所述业务服务应用的终端相连接；或，
所述收集服务应用可部署在局域网内的服务器，基于局域网与部署有所述业务服务应用的终端相连接；或，
所述业务服务应用和所述收集服务应用同时部署在同一设备终端；
所述系统被配置为用于执行上述中任意一项所述的收集分析方法。
在本发明实施例中，通过用户行为数据收集接口和后台数据收集接口实现对用户请求时的用户行为数据的收集和后台数据的收集，实现在一数据收集系统内收集多个数据，减少重复开发，并且通过http或https接口，实现支持多个网络之间的通信；对收集到的数据进行统计分析，可实现结合前后端数据的统计分析，增加使用情景，使得统计分析根据转化价值。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例中的通用数据的手机分析方法的流程示意图；
图2是本发明实施例中的通用数据的收集分析装置的结构组成示意图；
图3是本发明实施例中的通用数据的收集分析系统的结构组成示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例
请参阅图1，图1是本发明实施例中的通用数据的手机分析方法的流程示意图。
如图1所示，一种通用数据的收集分析方法，所述方法包括：
S11：业务服务应用响应用户触发的访问或操作请求，调用用户行为数据收集接口对前端的用户行为数据进行收集；
在本发明具体实施例中，所述业务服务应用响应用户触发的访问或操作请求之前，还包括：在所述业务服务应用的前端置入可用于收集用户行为数据的JS脚本。
进一步的，所述业务服务应用响应用户触发的访问或操作请求，调用用户行为数据收集接口对前端的用户行为数据进行收集，包括：当用户触发访问或操作请求时，所述业务服务应用响应用户触发的访问或操作请求，调用设置在所述业务服务应用前端的JS脚本抓取所述用户触发的访问或操作请求中的url以及请求参数来对前端的用户行为数据收集进行收集。
具体的，业务服务应用为一个服务型的应用软件，可以为淘宝、京东、等网购应用软件，也可以为滴滴等出行应用软件等，一般情况下，需要在该业务服务应用的前段置入用于收集业务服务应用中的用户行为数据的JS脚本；这些用户行为数据，包括用户点击、查看、操作等；具体触发JS脚本进行数据收集为，在用户触发访问或者操作该业务服务应用的请求时，该业务服务应用响应用户触发的访问或操作请求，然后触发JS脚本，并且该业务服务应用调用设置在业务服务应用前端的JS脚本抓取用户触发的访问或操作请求中的url以及请求参数来对前端的用户行为数据收集进行收集。
并且，该业务服务应用主要是用于管理和控制；业务服务应用把记录收集接口，抽象出可以根据用户要求定义的通用接口对象，有对应的数据库表管理数据，支持用户定义自己的收集记录要求；并且该业务服务应用内可对动态统计代码进行管理，支持管理用户通过业务服务应用新增统计方法，可以在不重新开发收集系统的情况下，编辑代码或上传用户自定义类文件，实现统计代码更新；业务服务应用把所有管理员需要操作的功能，提供访问显示，交互功能。
S12：所述业务服务应用基于预设条件调用后台数据收集接口对后台数据进行收集；
在本发明具体实施过程中，所述业务服务应用基于预设条件调用后台数据收集接口对后台数据进行收集，包括：所述业务服务应用按照所述收集服务应用提供的接口要求，基于预设条件直接调用后台数据收集接口对后台数据进行收集。
进一步的，所述预设条件包括预设用户行为、预设约定时间、预设约定事件中的任意一项或多项的组合。
进一步的，所述用户行为数据收集接口和所述后台数据收集接口为管理用户基于所述收集服务应用的服务管理创建的接口，并且所述用户行为数据收集接口和所述后台数据收集接口用于被所述业务服务应用所调用。
具体的，业务服务应用按照后台数据收集接口的要求，根据预设条件直接调用后台数据收集接口对后台数据进行收集，其中，预设条件包括预设用户行为、预设约定时间、预设约定事件中的任意一项或多项的组合。
并且，这些用户行为数据收集接口和后台数据收集接口为管理用户根据收集服务应用的服务管理创建的接口，并且用户行为数据收集接口和后台数据收集接口用于被所述业务服务应用所调用，这些接口可以根据管理用户进行自定义，并且按照分类进行数据收集，并且，这些接口均被置入通用的JS脚本来实现接口数据采集及通信，并实现数据的有效传输。
S13：所述业务服务应用调用所述收集服务应用中的http或https接口，将收集到的用户行为数据和/或后台数据传输至收集服务应用；
在本发明具体实施过程中，因为采集用户行为数据和后台数据是不同步的，触发的采集调教也是不一致的，因此，业务服务应用在需要进行数据传输的时候，则需要调用收集服务应用中的http或https接口，将数据传输至至收集服务应用，这些数据可能包括用户行为数据和/或后台数据。
S14：所述收集服务应用将接收到的用户行为数据和/或后台数据按照定义分类保存至数据源中；
在本发明具体实施过程中，收集服务应用将接收到的用户行为数据和/或后台数据按照定义分类保存至数据源中，并且是根据所采集这些数据的接口中的用户定义以及分类方式，来拿对这些数据在数据源中进行分类保存，这些数据是指用户行为数据和/或后台数据按。
S15：所述收集服务应用基于在统计服务内创建的统计报表任务在数据源中提取待统计分析数据进行统计分析，获得统计分析结果。
在本发明具体实施过程中，所述收集服务应用基于在统计服务内创建的统计报表任务在数据源中提取待统计分析数据进行统计分析，包括：
所述收集服务应用基于在统计服务内创建的统计报表任务在所述数据源中提取待统计分析数据，获得待统计分析数据；基于动态统计代码技术对所述待统计分析数据进行统计分析运算；其中，所述动态统计代码技术包括基于nodejs服务动态运行js代码实现统计运算或java类动态加载，把编译好的java统计代码直接载入到容器实现统计运算；所述动态统计代码技术中包含有用户自定义的统计代码及统计条件。
具体的，该收集服务应用根据在统计服务内创建的统计报表任务在数据源中提取待统计分析数据，获得待统计分析数据；根据动态统计代码技术对待统计分析数据进行统计分析运算；运行动态统计代码技术，主要兼容2种实现方案，第1种是nodejs服务，动态运行JS代码实现统计运算，第2种是java类动态加载，把编译好的java统计代码直接载入到容器；动态统计代码技术中包含有用户自定义的统计代码及统计条件。
在本发明具体实施过程中，所述方法还包括：基于所述收集服务应用内的服务管理将所述统计分析结果反馈至对应的产品管理用户；其中反馈方式包括基于业务服务应用界面显示反馈方式和/或基于邮件推送反馈方式。
具体的，在获得统计分析结果之后，根据该收集服务应用内的服务管理将统计分析结果反馈至对应的产品管理用户，使得管理用户可以根据该统计分析结果进行优化设计，并查询相应的数据，其中反馈方式包包括基于业务服务应用界面显示反馈方式和/或基于邮件推送反馈方式。
在本发明实施例中，通过用户行为数据收集接口和后台数据收集接口实现对用户请求时的用户行为数据的收集和后台数据的收集，实现在一数据收集系统内收集多个数据，减少重复开发，并且通过http或https接口，实现支持多个网络之间的通信；对收集到的数据进行统计分析，可实现结合前后端数据的统计分析，增加使用情景，使得统计分析根据转化价值。
实施例
请参阅图2，图2是本发明实施例中的通用数据的收集分析装置的结构组成示意图。
如图2所示，一种通用数据的收集分析装置，所述装置包括：
第一数据收集模块21：用于业务服务应用响应用户触发的访问或操作请求，调用用户行为数据收集接口对前端的用户行为数据进行收集；以及，
在本发明具体实施例中，所述业务服务应用响应用户触发的访问或操作请求之前，还包括：在所述业务服务应用的前端置入可用于收集用户行为数据的JS脚本。
进一步的，所述业务服务应用响应用户触发的访问或操作请求，调用用户行为数据收集接口对前端的用户行为数据进行收集，包括：当用户触发访问或操作请求时，所述业务服务应用响应用户触发的访问或操作请求，调用设置在所述业务服务应用前端的JS脚本抓取所述用户触发的访问或操作请求中的url以及请求参数来对前端的用户行为数据收集进行收集。
具体的，业务服务应用为一个服务型的应用软件，可以为淘宝、京东、等网购应用软件，也可以为滴滴等出行应用软件等，一般情况下，需要在该业务服务应用的前段置入用于收集业务服务应用中的用户行为数据的JS脚本；这些用户行为数据，包括用户点击、查看、操作等；具体触发JS脚本进行数据收集为，在用户触发访问或者操作该业务服务应用的请求时，该业务服务应用响应用户触发的访问或操作请求，然后触发JS脚本，并且该业务服务应用调用设置在业务服务应用前端的JS脚本抓取用户触发的访问或操作请求中的url以及请求参数来对前端的用户行为数据收集进行收集。
并且，该业务服务应用主要是用于管理和控制；业务服务应用把记录收集接口，抽象出可以根据用户要求定义的通用接口对象，有对应的数据库表管理数据，支持用户定义自己的收集记录要求；并且该业务服务应用内可对动态统计代码进行管理，支持管理用户通过业务服务应用新增统计方法，可以在不重新开发收集系统的情况下，编辑代码或上传用户自定义类文件，实现统计代码更新；业务服务应用把所有管理员需要操作的功能，提供访问显示，交互功能。
第二数据收集模块22：用于所述业务服务应用基于预设条件调用后台数据收集接口对后台数据进行收集；
在本发明具体实施过程中，所述业务服务应用基于预设条件调用后台数据收集接口对后台数据进行收集，包括：所述业务服务应用按照所述收集服务应用提供的接口要求，基于预设条件直接调用后台数据收集接口对后台数据进行收集。
进一步的，所述预设条件包括预设用户行为、预设约定时间、预设约定事件中的任意一项或多项的组合。
进一步的，所述用户行为数据收集接口和所述后台数据收集接口为管理用户基于所述收集服务应用的服务管理创建的接口，并且所述用户行为数据收集接口和所述后台数据收集接口用于被所述业务服务应用所调用。
具体的，业务服务应用按照后台数据收集接口的要求，根据预设条件直接调用后台数据收集接口对后台数据进行收集，其中，预设条件包括预设用户行为、预设约定时间、预设约定事件中的任意一项或多项的组合。
并且，这些用户行为数据收集接口和后台数据收集接口为管理用户根据收集服务应用的服务管理创建的接口，并且用户行为数据收集接口和后台数据收集接口用于被所述业务服务应用所调用，这些接口可以根据管理用户进行自定义，并且按照分类进行数据收集，并且，这些接口均被置入通用的JS脚本来实现接口数据采集及通信，并实现数据的有效传输。
数据传输模块23：用于所述业务服务应用调用所述收集服务应用中的http或https接口，将收集到的用户行为数据和/或后台数据传输至收集服务应用；
在本发明具体实施过程中，因为采集用户行为数据和后台数据是不同步的，触发的采集调教也是不一致的，因此，业务服务应用在需要进行数据传输的时候，则需要调用收集服务应用中的http或https接口，将数据传输至至收集服务应用，这些数据可能包括用户行为数据和/或后台数据。
数据分类保存模块24：用于所述收集服务应用将接收到的用户行为数据和/或后台数据按照定义分类保存至数据源中；
在本发明具体实施过程中，收集服务应用将接收到的用户行为数据和/或后台数据按照定义分类保存至数据源中，并且是根据所采集这些数据的接口中的用户定义以及分类方式，来拿对这些数据在数据源中进行分类保存，这些数据是指用户行为数据和/或后台数据按。
统计分析模块25：用于所述收集服务应用基于在统计服务内创建的统计报表任务在数据源中提取待统计分析数据进行统计分析，获得统计分析结果。
在本发明具体实施过程中，所述收集服务应用基于在统计服务内创建的统计报表任务在数据源中提取待统计分析数据进行统计分析，包括：
所述收集服务应用基于在统计服务内创建的统计报表任务在所述数据源中提取待统计分析数据，获得待统计分析数据；基于动态统计代码技术对所述待统计分析数据进行统计分析运算；其中，所述动态统计代码技术包括基于nodejs服务动态运行js代码实现统计运算或java类动态加载，把编译好的java统计代码直接载入到容器实现统计运算；所述动态统计代码技术中包含有用户自定义的统计代码及统计条件。
具体的，该收集服务应用根据在统计服务内创建的统计报表任务在数据源中提取待统计分析数据，获得待统计分析数据；根据动态统计代码技术对待统计分析数据进行统计分析运算；运行动态统计代码技术，主要兼容2种实现方案，第1种是nodejs服务，动态运行JS代码实现统计运算，第2种是java类动态加载，把编译好的java统计代码直接载入到容器；动态统计代码技术中包含有用户自定义的统计代码及统计条件。
在本发明具体实施过程中，所述系统还包括反馈模块，用于基于所述收集服务应用内的服务管理将所述统计分析结果反馈至对应的产品管理用户；其中反馈方式包括基于业务服务应用界面显示反馈方式和/或基于邮件推送反馈方式。
具体的，在获得统计分析结果之后，根据该收集服务应用内的服务管理将统计分析结果反馈至对应的产品管理用户，使得管理用户可以根据该统计分析结果进行优化设计，并查询相应的数据，其中反馈方式包包括基于业务服务应用界面显示反馈方式和/或基于邮件推送反馈方式。
在本发明实施例中，通过用户行为数据收集接口和后台数据收集接口实现对用户请求时的用户行为数据的收集和后台数据的收集，实现在一数据收集系统内收集多个数据，减少重复开发，并且通过http或https接口，实现支持多个网络之间的通信；对收集到的数据进行统计分析，可实现结合前后端数据的统计分析，增加使用情景，使得统计分析根据转化价值。
实施例
请参阅图3，图3是本发明实施例中的通用数据的收集分析系统的结构组成示意图。
如图3所示，一种通用数据的收集分析系统，所述系统包括：至少一个业务服务应用31及一个收集服务应用32；其中，
所述收集服务应用32可部署在云端服务器，基于公共网络与部署有所述业务服务应用31的终端相连接；或，所述收集服务应用32可部署在局域网内的服务器，基于局域网与部署有所述业务服务应用31的终端相连接；或，所述业务服务应用31和所述收集服务应用32同时部署在同一设备终端；所述系统被配置为用于执行上述中任意一项所述的收集分析方法。
通过上述三种方式布局，可以使得系统在公网架构或局域网架构或者无网络情况下实现数据的收集。
若是，收集服务应用32部署在云端服务器，该云端服务器可以为阿里云，腾讯云之类的云服务器，或者在本地宽带供应商(电信，联通之类)，购买带宽专线服务(带固定IP)，然后加上本地服务器电脑设备组成云端服务器；配置服务器端口，域名，备案使云端服务器能合法提供访问；然后使用服务器软件的exe安装包(window环境)或者docker镜像安装(linux环境)，或者手动安装数据库，反向代理服务，容器服务，服务器项目运行文件到服务器上。
在本发明实施例中，通过用户行为数据收集接口和后台数据收集接口实现对用户请求时的用户行为数据的收集和后台数据的收集，实现在一数据收集系统内收集多个数据，减少重复开发，并且通过http或https接口，实现支持多个网络之间的通信；对收集到的数据进行统计分析，可实现结合前后端数据的统计分析，增加使用情景，使得统计分析根据转化价值。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
另外，以上对本发明实施例所提供的一种通用数据的收集分析方法、装置及系统进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种通用数据的收集分析方法，其特征在于，所述方法包括：
业务服务应用响应用户触发的访问或操作请求，调用用户行为数据收集接口对前端的用户行为数据进行收集；以及，
所述业务服务应用基于预设条件调用后台数据收集接口对后台数据进行收集；
所述业务服务应用调用所述收集服务应用中的http或https接口，将收集到的用户行为数据和/或后台数据传输至收集服务应用；
所述收集服务应用将接收到的用户行为数据和/或后台数据按照定义分类保存至数据源中；
所述收集服务应用基于在统计服务内创建的统计报表任务在数据源中提取待统计分析数据进行统计分析，获得统计分析结果。
2.根据权利要求1所述的收集分析方法，其特征在于，所述方法还包括：
基于所述收集服务应用内的服务管理将所述统计分析结果反馈至对应的产品管理用户；
其中反馈方式包括基于业务服务应用界面显示反馈方式和/或基于邮件推送反馈方式。
3.根据权利要求1所述的收集分析方法，其特征在于，所述业务服务应用响应用户触发的访问或操作请求之前，还包括：
在所述业务服务应用的前端置入可用于收集用户行为数据的JS脚本。
4.根据权利要求3所述的收集分析方法，其特征在于，所述业务服务应用响应用户触发的访问或操作请求，调用用户行为数据收集接口对前端的用户行为数据进行收集，包括：
当用户触发访问或操作请求时，所述业务服务应用响应用户触发的访问或操作请求，调用设置在所述业务服务应用前端的JS脚本抓取所述用户触发的访问或操作请求中的url以及请求参数来对前端的用户行为数据收集进行收集。
5.根据权利要求1所述的收集分析方法，其特征在于，所述预设条件包括预设用户行为、预设约定时间、预设约定事件中的任意一项或多项的组合。
6.根据权利要求1所述的收集分析方法，其特征在于，所述业务服务应用基于预设条件调用后台数据收集接口对后台数据进行收集，包括：
所述业务服务应用按照所述收集服务应用提供的接口要求，基于预设条件直接调用后台数据收集接口对后台数据进行收集。
7.根据权利要求1所述的收集分析方法，其特征在于，所述用户行为数据收集接口和所述后台数据收集接口为管理用户基于所述收集服务应用的服务管理创建的接口，并且所述用户行为数据收集接口和所述后台数据收集接口用于被所述业务服务应用所调用。
8.根据权利要求1所述的收集分析方法，其特征在于，所述收集服务应用基于在统计服务内创建的统计报表任务在数据源中提取待统计分析数据进行统计分析，包括：
所述收集服务应用基于在统计服务内创建的统计报表任务在所述数据源中提取待统计分析数据，获得待统计分析数据；
基于动态统计代码技术对所述待统计分析数据进行统计分析运算；
其中，所述动态统计代码技术包括基于nodejs服务动态运行js代码实现统计运算或java类动态加载，把编译好的java统计代码直接载入到容器实现统计运算；所述动态统计代码技术中包含有用户自定义的统计代码及统计条件。
9.一种通用数据的收集分析装置，其特征在于，所述装置包括：
第一数据收集模块：用于业务服务应用响应用户触发的访问或操作请求，调用用户行为数据收集接口对前端的用户行为数据进行收集；以及，
第二数据收集模块：用于所述业务服务应用基于预设条件调用后台数据收集接口对后台数据进行收集；
数据传输模块：用于所述业务服务应用调用所述收集服务应用中的http或https接口，将收集到的用户行为数据和/或后台数据传输至收集服务应用；
数据分类保存模块：用于所述收集服务应用将接收到的用户行为数据和/或后台数据按照定义分类保存至数据源中；
统计分析模块：用于所述收集服务应用基于在统计服务内创建的统计报表任务在数据源中提取待统计分析数据进行统计分析，获得统计分析结果。
10.一种通用数据的收集分析系统，其特征在于，所述系统包括：至少一个业务服务应用及一个收集服务应用；其中，
所述收集服务应用可部署在云端服务器，基于公共网络与部署有所述业务服务应用的终端相连接；或，
所述收集服务应用可部署在局域网内的服务器，基于局域网与部署有所述业务服务应用的终端相连接；或，
所述业务服务应用和所述收集服务应用同时部署在同一设备终端；
所述系统被配置为用于执行权利要求1-8中任意一项所述的收集分析方法。
CN202010712381.1A 2020-07-22 2020-07-22 一种通用数据的收集分析方法、装置及系统 Pending CN111953743A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010712381.1A CN111953743A (zh) 2020-07-22 2020-07-22 一种通用数据的收集分析方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010712381.1A CN111953743A (zh) 2020-07-22 2020-07-22 一种通用数据的收集分析方法、装置及系统

Publications (1)

Publication Number Publication Date
CN111953743A true CN111953743A (zh) 2020-11-17

Family

ID=73341174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010712381.1A Pending CN111953743A (zh) 2020-07-22 2020-07-22 一种通用数据的收集分析方法、装置及系统

Country Status (1)

Country Link
CN (1) CN111953743A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930363A (zh) * 2016-04-12 2016-09-07 深圳云之家网络有限公司 一种基于html5网页的用户行为分析方法及装置
CN106469185A (zh) * 2016-08-29 2017-03-01 浪潮电子信息产业股份有限公司 一种网站统计中进行数据收集的方法
CN106656971A (zh) * 2016-10-14 2017-05-10 福建星瑞格软件有限公司 一种业务行为数据采集系统
CN107562620A (zh) * 2017-08-24 2018-01-09 阿里巴巴集团控股有限公司 一种埋点自动设置方法和装置
CN109120592A (zh) * 2018-07-09 2019-01-01 四川大学 一种基于用户行为的Web异常检测系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930363A (zh) * 2016-04-12 2016-09-07 深圳云之家网络有限公司 一种基于html5网页的用户行为分析方法及装置
CN106469185A (zh) * 2016-08-29 2017-03-01 浪潮电子信息产业股份有限公司 一种网站统计中进行数据收集的方法
CN106656971A (zh) * 2016-10-14 2017-05-10 福建星瑞格软件有限公司 一种业务行为数据采集系统
CN107562620A (zh) * 2017-08-24 2018-01-09 阿里巴巴集团控股有限公司 一种埋点自动设置方法和装置
CN109120592A (zh) * 2018-07-09 2019-01-01 四川大学 一种基于用户行为的Web异常检测系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
REBECCA: "前端工程实践之数据埋点分析系统（一）", 《HTTPS://CLOUD.TENCENT.COM/DEVELOPER/ARTICLE/1589809?FROM=INFORMATION.DETAIL.JS 收集用户行为》 *
大鱼吃小鱼7: "用户行为日志-js埋点（一）实现整体流程", 《HTTPS://BLOG.CSDN.NET/QQ_37210523/ARTICLE/DETAILS/84306564》 *

Similar Documents

Publication Publication Date Title
US8261362B2 (en) Online privacy management
CN106302445B (zh) 用于处理请求的方法和装置
WO2019196498A1 (zh) 页面数据采集的方法、装置、服务器、电子设备及计算机可读介质
US20120222120A1 (en) Malware detection method and mobile terminal realizing the same
WO2021031688A1 (zh) 业务参数采集方法、装置、计算机设备和存储介质
US8160572B2 (en) Platform test environment and unit test framework for a telecommunications gateway
CN107766509B (zh) 一种网页静态备份的方法和装置
CN113010378B (zh) 微服务模块的日志处理方法及装置、存储介质、电子装置
CN101771928B (zh) 一种网页发送方法和系统以及代理服务器
CN110677475A (zh) 一种微服务处理方法、装置、设备及存储介质
CN105516333A (zh) 一种基于网页的交互方法和系统
CN105553770B (zh) 一种数据采集控制方法和装置
CN112579406B (zh) 一种日志调用链生成方法和装置
US20170223136A1 (en) Any Web Page Reporting and Capture
CN113127335A (zh) 一种系统测试的方法和装置
CN111953743A (zh) 一种通用数据的收集分析方法、装置及系统
CN110928547A (zh) 公共文件的提取方法、装置、终端和存储介质
CN113761433A (zh) 业务处理方法和装置
CN114285774A (zh) 流量录制方法、装置、电子设备及存储介质
CN109756393B (zh) 信息处理方法、系统、介质和计算设备
CN109684158B (zh) 分布式协调系统的状态监控方法、装置、设备及存储介质
CN112364267A (zh) 前端数据的采集方法及装置
CN113779374B (zh) 一种页面查询管理方法和装置
CN110716841A (zh) 监控数据收集方法、装置及设备
CN112416698A (zh) 监控系统的扩展方法及装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 238, room 406, No.1, Yichuang street, Huangpu District, Guangzhou, Guangdong 510000

Applicant after: Guangzhou langguo Electronic Technology Co.,Ltd.

Address before: 510000 unit a and B, zone 02, 4th floor, No. 136, Gaopu Road, high tech Development Zone, Tianhe District, Guangzhou City, Guangdong Province

Applicant before: GUANGZHOU LANGO ELECTRONIC SCIENCE & TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20201117

RJ01 Rejection of invention patent application after publication