CN112416974A - 一种数据处理方法、装置、设备及可读存储介质 - Google Patents

一种数据处理方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN112416974A
CN112416974A CN202011224863.9A CN202011224863A CN112416974A CN 112416974 A CN112416974 A CN 112416974A CN 202011224863 A CN202011224863 A CN 202011224863A CN 112416974 A CN112416974 A CN 112416974A
Authority
CN
China
Prior art keywords
platform
data
page
identification information
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011224863.9A
Other languages
English (en)
Inventor
黄鉴华
魏壮宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Hode Information Technology Co Ltd
Original Assignee
Shanghai Hode Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Hode Information Technology Co Ltd filed Critical Shanghai Hode Information Technology Co Ltd
Priority to CN202011224863.9A priority Critical patent/CN112416974A/zh
Publication of CN112416974A publication Critical patent/CN112416974A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据处理方法、装置、设备及可读存储介质，所述方法包括：接收访问轨迹请求；其中，所述访问轨迹请求包括：目标平台的平台标识信息、目标用户的身份标识信息和查询时间段；从与所述平台标识信息对应的平台前端数据库中获取在所述查询时间段内的包括所述身份标识信息的页面访问数据；其中，所述页面访问数据还包括：访问序列号；根据所述访问序列号的大小对所有页面访问数据进行排序，并根据排序结果绘制可视化的用户访问轨迹图；本发明能够以最少的成本、最快的速度生成用户访问轨迹。

Description

一种数据处理方法、装置、设备及可读存储介质
技术领域
本发明涉及计算机技术领域，特别涉及一种数据处理方法、装置、设备及可读存储介质。
背景技术
当研发出新的应用平台时，无论是研发人员还是业务人员都需要获取用户在应用平台上的访问数据以及应用平台自身的运行数据，例如：用户访问量、运行稳定性等，从而根据获取到的数据进行数据分析处理，以帮助研发人员和业务人员更好的完善平台功能、稳定平台性能、制定业务策略；其中，用户在应用平台上的访问轨迹尤为重要，但是，用户在应用平台上产生的数据种类繁多、数据量庞大，如何基于大量的用户数据快速、准确的生成用户访问轨迹成为本领域技术人员亟需解决的技术问题。
发明内容
本发明的目的在于提供一种数据处理方法、装置、设备及可读存储介质，能够以最少的成本、最快的速度生成用户访问轨迹。
根据本发明的一个方面，提供了一种数据处理方法，所述方法包括：
接收访问轨迹请求；其中，所述访问轨迹请求包括：目标平台的平台标识信息、目标用户的身份标识信息和查询时间段；
从与所述平台标识信息对应的平台前端数据库中获取在所述查询时间段内的包括所述身份标识信息的页面访问数据；其中，所述页面访问数据还包括：访问序列号；
根据所述访问序列号的大小对所有页面访问数据进行排序，并根据排序结果绘制可视化的用户访问轨迹图。
可选的，所述方法还包括：
接收页面详情请求；其中，所述页面详情请求包括：目标平台的平台标识信息、目标用户的身份标识信息和目标页面的访问序列号；
从与所述平台标识信息对应的平台前端数据库中获取同时包括所述身份标识信息和所述访问序列号的前端埋点数据；
从与所述平台标识信息对应的平台后端数据库中获取同时包括所述身份标识信息和所述访问序列号的服务器埋点数据；
将所述前端埋点数据和所述服务器埋点数据汇总并生成可视化的页面详情数据表。
可选的，在所述接收页面详情请求之前，所述方法还包括：
从消息中间件中获取由设置在目标平台的各个页面上的埋点产生的前端埋点数据，并将所述前端埋点数据存储到与所述目标平台对应的平台前端数据库中；
从所述消息中间件中获取由设置在所述目标平台的服务器上的埋点产生的服务器埋点数据，并将所述服务器埋点数据存储到与所述目标平台对应的平台后端数据库中。
可选的，所述方法还包括：
获取目标Docker容器中的中央处理器CPU的核数，并启动与所述核数相同数目的进程，以通过各个进程从所述消息中间件中获取前端埋点数据和服务器埋点数据。
可选的，所述方法还包括：
将各个进程获取到的前端埋点数据和服务器埋点数据存储到缓存Redis中，并运行预设数据处理程度以对存储到缓存Redis中的前端埋点数据和服务器埋点数据进行数据处理；
将数据处理后的前端埋点数据存储到对应的平台前端数据库中，以及将数据处理后的服务器埋点数据存储到对应的平台后端数据库中。
可选的，所述方法还包括：
接收热力图请求；其中，所述热力图请求包括：目标平台的平台标识信息和目标页面的页面标识信息；
从与所述平台标识信息对应的平台前端数据库中获取包括所述页面标识信息的前端埋点数据；
根据所述前端埋点数据统计出用户在所述目标页面中的各个区域的点击数据；
根据所述目标页面中的各个区域的点击数据绘制出可视化的页面点击热力图。
可选的，所述方法还包括：
接收告警配置信息；其中，所述告警配置信息包括：告警规则、告警方式、告警对接人；
针对目标平台的目标页面，从与所述目标平台对应的平台前端数据库中获取与所述目标页面对应的前端埋点数据；
判断所述前端埋点数据是否满足所述告警规则，若是，则按照所述告警方式向所述告警对接人进行告警处理。
为了实现上述目的，本发明还提供一种数据处理装置，所述装置包括：
接收模块，用于接收访问轨迹请求；其中，所述访问轨迹请求包括：目标平台的平台标识信息、目标用户的身份标识信息和查询时间段；
获取模块，用于从与所述平台标识信息对应的平台前端数据库中获取在所述查询时间段内的包括所述身份标识信息的页面访问数据；其中，所述页面访问数据还包括：访问序列号；
排序模块，用于根据所述访问序列号的大小对所有页面访问数据进行排序，并根据排序结果绘制可视化的用户访问轨迹图。
为了实现上述目的，本发明还提供一种计算机设备，该计算机设备具体包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述介绍的数据处理方法的步骤。
为了实现上述目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述介绍的数据处理方法的步骤。
本发明提供的数据处理方法、装置、设备及可读存储介质，通过在页面访问数据中添加用户的身份标识信息，可以从众多数据中快速查询到该用户的所有页面访问数据，并通过在页面访问数据中添加访问序列号，可以快速、准确的形成用户访问轨迹；本发明能够以最少的成本、最快的速度生成用户访问轨迹，从而分析出用户操作流程是否存在异常，以进一步优化页面设计和页面功能。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为实施例一提供的数据处理方法的一种可选的流程示意图；
图2为实施例一提供的用户通过数据监控平台触发访问轨迹请求的示意图；
图3为实施例一提供的可视化的显示目标用户在各个平台的页面访问数据的示意图；
图4为实施例一提供的用户访问轨迹图的示意图；
图5为实施例一提供的用户请求页面详情数据的示意图；
图6为实施例一提供的页面详情数据表的示意图；
图7为实施例一提供的数据监控平台通过Kafka从目标平台前端获取前端埋点数据的流程示意图；
图8为实施例一提供的数据处理流程的流程示意图；
图9为实施例一提供的页面点击热力图的示意图；
图10为实施例一提供的页面异常告警的一种示意图；
图11为实施例一提供的页面异常告警的另一种示意图；
图12为实施例二提供的数据处理装置的一种可选的组成结构示意图；
图13为实施三提供的计算机设备的一种可选的硬件架构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本发明实施例提供了一种数据处理方法，应用于数据监控平台，如图1所示，该方法具体包括以下步骤：
步骤S101：接收访问轨迹请求；其中，所述访问轨迹请求包括：目标平台的平台标识信息、目标用户的身份标识信息和查询时间段。
具体的，所述访问轨迹请求用于根据目标用户在查询时间段内访问目标平台上的各个页面所产生的页面访问数据，绘制出可视化的用户访问轨迹图。
在本实施例中，所述数据监控平台可以对一个被监控对象的各种类型的平台进行监控，例如，对一个应用软件的WEB平台和APP平台进行监控；所述平台标识信息用于唯一标识一个被监控对象的一个平台；所述身份标识信息用于唯一标识一个用户，例如，UID(UserIdentity，用户身份标识)；所述查询时间段可为某一天或某一天内的某一时间段。
步骤S102：从与所述平台标识信息对应的平台前端数据库中获取在所述查询时间段内的包括所述身份标识信息的页面访问数据；其中，所述页面访问数据还包括：访问序列号。
具体的，所述访问序列号用于表征目标用户在设定时间段内访问目标平台的各个页面的先后顺序，例如，PVID(Page View Identity，页面浏览标识)，是用户端当次访问页面的唯一标识，也是前端、服务端链路标识字段；一天内同一用户在目标平台上的访问序列号从1开始逐渐累加，从而记录该用户一天内在目标平台上的所有访问页面的先后顺序。
在本实施例中，当目标用户访问目标平台上的目标页面时，生成包含所述目标用户的身份识别信息的页面访问数据，并根据所述目标用户当天已在所述目标平台上访问过的页面数量为所述目标页面生成访问序列号；将所述访问序列号添加到所述页面访问数据中，并将所述页面访问数据存储到与所述目标平台对应的平台前端数据库中。此外，在所述页面访问数据中还包括所述目标页面的页面地址信息。
另外，在本实施例中，针对一个被监控对象的多个平台，所述数据监控平台分别为每个平台设置对应的平台前端数据库，当所述数据监控平台接收到访问轨迹请求时，可以分别从所述被监控对象的各个平台的平台前端数据库中获取页面访问数据。例如，如图2所示，当用户通过所述数据监控平台输入目标用户的UID信息和查询时间段以触发访问轨迹请求时，所述数据监控平台会从所述被监控对象的各个平台的平台前端数据库中获取所述目标用户在所述查询时间段内访问所述被监控对象的各个平台的页面访问数据，并如图3所示，可视化的显示所述目标用户在所述被监控对象的各个平台的页面访问数据。
步骤S103：根据所述访问序列号的大小对所有页面访问数据进行排序，并根据排序结果绘制可视化的用户访问轨迹图。
具体的，步骤S103，包括：
根据每个页面访问数据中的访问序列号，按照由小到大的顺序对所有页面访问数据进行排序；
分别绘制出代表每个页面访问数据的节点，并根据排序结果对所有节点进行排序以形成用户访问轨迹图。
例如，如图4所示，为用户访问轨迹图的示意图，通过图4可以表征目标用户在查询时间段内访问目标平台的各个页面的先后顺序，且可以显示已访问过的每个页面的页面地址信息。
在本实施例中，针对一个被监控对象，所述数据监控平台可以为所述被监控对象的各个平台分别绘制出对应的用户访问轨迹图，从而供用户直观的查看目标用户在所述被监控对象的各个平台的访问情况。
进一步的，所述方法还包括：
步骤A1：接收页面详情请求；其中，所述页面详情请求包括：目标平台的平台标识信息、目标用户的身份标识信息和目标页面的访问序列号。
具体的，所述页面详情请求用于查看目标用户在目标平台的目标页面上的用户访问详情，例如，用户的设备信息、系统信息、交互点击信息、弹幕信息。
步骤A2：从与所述平台标识信息对应的平台前端数据库中获取同时包括所述身份标识信息和所述访问序列号的前端埋点数据；其中，所述前端埋点数据是通过设置在目标页面上的埋点获取到的数据。
步骤A3：从与所述平台标识信息对应的平台后端数据库中获取同时包括所述身份标识信息和所述访问序列号的服务器埋点数据；其中，所述服务器埋点数据是通过设置在目标平台的服务器上的埋点获取到的数据。
步骤A4：将所述前端埋点数据和所述服务器埋点数据汇总并生成可视化的页面详情数据表。
如图5所示，在本实施例中，针对一个被监控对象的多个平台(例如，web端平台、iOS端平台和Android端平台)，所述数据监控平台分别为每个平台设置对应的平台前端数据库和平台后端数据库；当需要查看目标用户在目标页面上的访问详情数据时，可根据目标平台的平台标识信息和目标页面的访问序列号分别从平台前端数据库中检索出当次访问的所有前端链路日志(即，前端埋点数据)和从平台后端数据库中检索出当次访问的所有服务端链路日志(即，服务器埋点数据)。通过使用目标平台的平台标识信息、目标用户的身份标识信息和目标页面的访问序列号可以提高数据查询的效率及准确性。
例如，当用户在如图4所示的用户访问轨迹图中点击表征用户访问数据的节点时，所述数据监控平台按照上述步骤A1至步骤A4的方式，可以得到如图6所示的页面详情数据表，所述页面详情数据表包括：用户的设备信息、系统信息、交互点击信息、弹幕信息。
进一步的，所述方法还包括：
从消息中间件中获取由设置在目标平台的各个页面上的埋点产生的前端埋点数据，并将所述前端埋点数据存储到与所述目标平台对应的平台前端数据库中；
从所述消息中间件中获取由设置在所述目标平台的服务器上的埋点产生的服务器埋点数据，并将所述服务器埋点数据存储到与所述目标平台对应的平台后端数据库中。
在本实施例中，所述数据监控平台向被监控对象的各个平台提供埋点脚本文件，以供各个平台通过运行所述埋点脚本文件在每个平台的各个页面中设置埋点以及在每个平台的服务器上设置埋点。自动曝光埋点使用方式为：在view层曝光模块名称；只需在页面元素或者组件上添加data-exposure属性，即可完成曝光埋点的监听，曝光埋点只会埋一次，两次滑到同一地方，只做一次记录，页面刷新以初始化。
优选的，所述消息中间件采用Kafka，如图7所示为所述数据监控平台通过Kafka从目标平台前端获取前端埋点数据的流程示意图；其中，在目标平台的前端设置业务埋点并通过业务埋点收集前端埋点数据，按照数据类型将前端埋点数据分为：页面错误日志数据、页面UV/PV数据、点击/曝光数据、页面性能指标数据，并按照数据类型分组、定时上报前端埋点数据；Kafka消息队列根据数据类型将前端埋点数据存储到不同的topic和partition中；所述数据监控平台启动多进程、集群订阅Kafka的各个topic中的前端埋点数据，并对获取到的前端埋点数据进行数据清洗和数据处理操作，最后若处理后的前端埋点数据需要持久化，则存储到MySQL数据库中，若处理后的前端埋点数据不需要持久化，则存储到ES数据集群中。
优选的，所述数据监控平台监听10个Kafka数据topic，单日可处理200亿+条数据，使用的是Nodejs语言，对服务集群性能，可用性要求较高。
进一步的，为了保证Nodejs服务集群高效、稳定，所述方法还包括：
获取目标Docker容器中的中央处理器CPU的核数，并启动与所述核数相同数目的进程，以通过各个进程从所述消息中间件中获取前端埋点数据和服务器埋点数据。
在实际应用中，所述数据监控平台可使用Nodejs服务集群，该Nodejs服务集群可以包括多个Docker容器；由于Nodejs是单线程语言，而服务集群的Docker容器的CPU是可动态设置的；为了把多核服务器最大化的使用起来，程序会动态的获取Docker容器内CPU的核数，然后根据CPU的核数开启对应数目的进程。在本实施例中，每个进程能闭环处理一个完整任务，即进程之间互相独立；消息中间件负载均衡的随机往集群里的进程分发消息，每个进程都能独立完成从数据接收、数据清洗、数据处理、数据存储的完成数据处理流程。如果一个进程失效，其他进程也能继续工作，且失效的进程会尝试重启以保证运行稳定。
在本实施例中，前端上报的各个数据指标埋点，统一经过Kafka分发消息，且Node服务器订阅Kafka中对应topic的数据。服务集群按照一定策略触发定时任务，对数据进行统一整理和聚合。定时器区分生产者和消费者，生产者在对源数据处理后往ES集群里写入数据，以供消费者直接使用数据。如图8所示，数据处理流程为：前端埋点上报->Kafka数据分发集群->Nodejs服务器处理集群->每个独立闭环进程->Redis通讯集群->定时器处理逻辑->ES集群分表持久化(部分如系统配置，权限功能Mysql数据库持久化)。
进一步的，由于进程之间互相独立，为了汇总各个进程之间的数据，所述方法还包括：
将各个进程获取到的前端埋点数据和服务器埋点数据存储到缓存Redis中，并运行预设数据处理程度以对存储到缓存Redis中的前端埋点数据和服务器埋点数据进行数据处理；
将数据处理后的前端埋点数据存储到对应的平台前端数据库中，以及将数据处理后的服务器埋点数据存储到对应的平台后端数据库中。
在本实施例中，由于每个进程互相独立，但会存在需要数据结果汇总的场景，因此需要一个能跨机器、跨进程通讯的“容器”，优选的，选用了缓存Redis，针对项目场景，封装好常用Redis操作方法，跨进程、跨机器间通过Redis载体以进行数据汇总，并将汇总的数随机分配到一个可用工作节点worker上进行结果计算。
进一步的，如果一天200亿+数据，全量按全量按1：1的处理方式存储到ES集群，可能一天会产生数百G的数据存储量。这会导致ES的存储空间压力十分大，且查询性能骤降，甚至超时，不能正常返回结果；为了解决该问题，采用按照设定时间间隔，定期对数据进行结算，并将结算后的数据进行存储；例如，应用程序某指标，一天有近5000万条数据记录,如果接收一条数据，往ES里存放一条，那么一天会产生5000万条记录，但如果采集5分钟作一次结算，那么一小时只会产生12条结算数据，一天24小时，12*24＝288条数据，对比5000万，十万倍的存储空间缩减。
此外，所述方法还包括：
步骤B1：接收热力图请求；其中，所述热力图请求包括：目标平台的平台标识信息和目标页面的页面标识信息；
步骤B2：从与所述平台标识信息对应的平台前端数据库中获取包括所述页面标识信息的前端埋点数据；
步骤B3：根据所述前端埋点数据统计出用户在所述目标页面中的各个区域的点击数据；
步骤B4：根据所述目标页面中的各个区域的点击数据绘制出可视化的页面点击热力图。
如图9所示，为绘制出的页面点击热力图的示意图。
另外，所述方法还包括：
步骤C1：接收告警配置信息；其中，所述告警配置信息包括：告警规则、告警方式、告警对接人；
在本实施例中，可事先在数据监控平台中设置告警配置信息，例如，设置告警规则、设置告警等级、设置告警规则的开/关、设置告警方式、设置告警对接人/组。其中，所述告警规则包括：告警类型、监控指标、触发阈值；
步骤C2：针对目标平台的目标页面，从与所述目标平台对应的平台前端数据库中获取与所述目标页面对应的前端埋点数据；
步骤C3：判断所述前端埋点数据是否满足所述告警规则，若是，则按照所述告警方式向所述告警对接人进行告警处理。
在本实施例中通过告警配置信息可以设置告警类型、监控指标、触发阈值以形成告警规则；通过监控前端埋点数据以对前端实时监控，当发现异常时进行告警处理；例如，如图10和图11所示，当发现页面白屏、页面JS Error错误，App Crash等异常情况，发现异常立即通过企业微信通知对应开发人员。
实施例二
本发明实施例提供了一种数据处理装置，如图12所示，该装置具体包括以下组成部分：
接收模块1201，用于接收访问轨迹请求；其中，所述访问轨迹请求包括：目标平台的平台标识信息、目标用户的身份标识信息和查询时间段；
获取模块1202，用于从与所述平台标识信息对应的平台前端数据库中获取在所述查询时间段内的包括所述身份标识信息的页面访问数据；其中，所述页面访问数据还包括：访问序列号；
排序模块1203，用于根据所述访问序列号的大小对所有页面访问数据进行排序，并根据排序结果绘制可视化的用户访问轨迹图。
具体的，所述装置还包括：
详情模块，用于接收页面详情请求；其中，所述页面详情请求包括：目标平台的平台标识信息、目标用户的身份标识信息和目标页面的访问序列号；
从与所述平台标识信息对应的平台前端数据库中获取同时包括所述身份标识信息和所述访问序列号的前端埋点数据；
从与所述平台标识信息对应的平台后端数据库中获取同时包括所述身份标识信息和所述访问序列号的服务器埋点数据；
将所述前端埋点数据和所述服务器埋点数据汇总并生成可视化的页面详情数据表。
进一步的，所述装置还包括：
埋点模块，用于从消息中间件中获取由设置在目标平台的各个页面上的埋点产生的前端埋点数据，并将所述前端埋点数据存储到与所述目标平台对应的平台前端数据库中；从所述消息中间件中获取由设置在所述目标平台的服务器上的埋点产生的服务器埋点数据，并将所述服务器埋点数据存储到与所述目标平台对应的平台后端数据库中。
进一步的，所述埋点模块，具体用于：
获取目标Docker容器中的中央处理器CPU的核数，并启动与所述核数相同数目的进程，以通过各个进程从所述消息中间件中获取前端埋点数据和服务器埋点数据；
将各个进程获取到的前端埋点数据和服务器埋点数据存储到缓存Redis中，并运行预设数据处理程度以对存储到缓存Redis中的前端埋点数据和服务器埋点数据进行数据处理；
将数据处理后的前端埋点数据存储到对应的平台前端数据库中，以及将数据处理后的服务器埋点数据存储到对应的平台后端数据库中。
进一步的，所述装置还包括：
热力图模块，用于接收热力图请求；其中，所述热力图请求包括：目标平台的平台标识信息和目标页面的页面标识信息；
从与所述平台标识信息对应的平台前端数据库中获取包括所述页面标识信息的前端埋点数据；
根据所述前端埋点数据统计出用户在所述目标页面中的各个区域的点击数据；
根据所述目标页面中的各个区域的点击数据绘制出可视化的页面点击热力图。
更进一步的，所述装置还包括：
告警模块，用于接收告警配置信息；其中，所述告警配置信息包括：告警规则、告警方式、告警对接人；
针对目标平台的目标页面，从与所述目标平台对应的平台前端数据库中获取与所述目标页面对应的前端埋点数据；
判断所述前端埋点数据是否满足所述告警规则，若是，则按照所述告警方式向所述告警对接人进行告警处理。
实施例三
本实施例还提供一种计算机设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图13所示，本实施例的计算机设备130至少包括但不限于：可通过系统总线相互通信连接的存储器1301、处理器1302。需要指出的是，图13仅示出了具有组件1301-1302的计算机设备130，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
本实施例中，存储器1301(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器1301可以是计算机设备130的内部存储单元，例如该计算机设备130的硬盘或内存。在另一些实施例中，存储器1301也可以是计算机设备130的外部存储设备，例如该计算机设备130上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器1301还可以既包括计算机设备130的内部存储单元也包括其外部存储设备。在本实施例中，存储器1301通常用于存储安装于计算机设备130的操作系统和各类应用软件。此外，存储器1301还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器1302在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器1302通常用于控制计算机设备130的总体操作。
具体的，在本实施例中，处理器1302用于执行处理器1302中存储的数据处理方法的程序，所述数据处理方法的程序被执行时实现如下步骤：
接收访问轨迹请求；其中，所述访问轨迹请求包括：目标平台的平台标识信息、目标用户的身份标识信息和查询时间段；
从与所述平台标识信息对应的平台前端数据库中获取在所述查询时间段内的包括所述身份标识信息的页面访问数据；其中，所述页面访问数据还包括：访问序列号；
根据所述访问序列号的大小对所有页面访问数据进行排序，并根据排序结果绘制可视化的用户访问轨迹图。
上述方法步骤的具体实施例过程可参见第一实施例，本实施例在此不再重复赘述。
实施例四
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下方法步骤：
接收访问轨迹请求；其中，所述访问轨迹请求包括：目标平台的平台标识信息、目标用户的身份标识信息和查询时间段；
从与所述平台标识信息对应的平台前端数据库中获取在所述查询时间段内的包括所述身份标识信息的页面访问数据；其中，所述页面访问数据还包括：访问序列号；
根据所述访问序列号的大小对所有页面访问数据进行排序，并根据排序结果绘制可视化的用户访问轨迹图。
上述方法步骤的具体实施例过程可参见第一实施例，本实施例在此不再重复赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：
接收访问轨迹请求；其中，所述访问轨迹请求包括：目标平台的平台标识信息、目标用户的身份标识信息和查询时间段；
从与所述平台标识信息对应的平台前端数据库中获取在所述查询时间段内的包括所述身份标识信息的页面访问数据；其中，所述页面访问数据还包括：访问序列号；
根据所述访问序列号的大小对所有页面访问数据进行排序，并根据排序结果绘制可视化的用户访问轨迹图。
2.根据权利要求1所述的数据处理方法，其特征在于，所述方法还包括：
接收页面详情请求；其中，所述页面详情请求包括：目标平台的平台标识信息、目标用户的身份标识信息和目标页面的访问序列号；
从与所述平台标识信息对应的平台前端数据库中获取同时包括所述身份标识信息和所述访问序列号的前端埋点数据；
从与所述平台标识信息对应的平台后端数据库中获取同时包括所述身份标识信息和所述访问序列号的服务器埋点数据；
将所述前端埋点数据和所述服务器埋点数据汇总并生成可视化的页面详情数据表。
3.根据权利要求2所述的数据处理方法，其特征在于，在所述接收页面详情请求之前，所述方法还包括：
从消息中间件中获取由设置在目标平台的各个页面上的埋点产生的前端埋点数据，并将所述前端埋点数据存储到与所述目标平台对应的平台前端数据库中；
从所述消息中间件中获取由设置在所述目标平台的服务器上的埋点产生的服务器埋点数据，并将所述服务器埋点数据存储到与所述目标平台对应的平台后端数据库中。
4.根据权利要求3所述的数据处理方法，其特征在于，所述方法还包括：
获取目标Docker容器中的中央处理器CPU的核数，并启动与所述核数相同数目的进程，以通过各个进程从所述消息中间件中获取前端埋点数据和服务器埋点数据。
5.根据权利要求4所述的数据处理方法，其特征在于，所述方法还包括：
将各个进程获取到的前端埋点数据和服务器埋点数据存储到缓存Redis中，并运行预设数据处理程度以对存储到缓存Redis中的前端埋点数据和服务器埋点数据进行数据处理；
将数据处理后的前端埋点数据存储到对应的平台前端数据库中，以及将数据处理后的服务器埋点数据存储到对应的平台后端数据库中。
6.根据权利要求5所述的数据处理方法，其特征在于，所述方法还包括：
接收热力图请求；其中，所述热力图请求包括：目标平台的平台标识信息和目标页面的页面标识信息；
从与所述平台标识信息对应的平台前端数据库中获取包括所述页面标识信息的前端埋点数据；
根据所述前端埋点数据统计出用户在所述目标页面中的各个区域的点击数据；
根据所述目标页面中的各个区域的点击数据绘制出可视化的页面点击热力图。
7.根据权利要求6所述的数据处理方法，其特征在于，所述方法还包括：
接收告警配置信息；其中，所述告警配置信息包括：告警规则、告警方式、告警对接人；
针对目标平台的目标页面，从与所述目标平台对应的平台前端数据库中获取与所述目标页面对应的前端埋点数据；
判断所述前端埋点数据是否满足所述告警规则，若是，则按照所述告警方式向所述告警对接人进行告警处理。
8.一种数据处理装置，其特征在于，所述装置包括：
接收模块，用于接收访问轨迹请求；其中，所述访问轨迹请求包括：目标平台的平台标识信息、目标用户的身份标识信息和查询时间段；
获取模块，用于从与所述平台标识信息对应的平台前端数据库中获取在所述查询时间段内的包括所述身份标识信息的页面访问数据；其中，所述页面访问数据还包括：访问序列号；
排序模块，用于根据所述访问序列号的大小对所有页面访问数据进行排序，并根据排序结果绘制可视化的用户访问轨迹图。
9.一种计算机设备，所述计算机设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
CN202011224863.9A 2020-11-05 2020-11-05 一种数据处理方法、装置、设备及可读存储介质 Pending CN112416974A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011224863.9A CN112416974A (zh) 2020-11-05 2020-11-05 一种数据处理方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011224863.9A CN112416974A (zh) 2020-11-05 2020-11-05 一种数据处理方法、装置、设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN112416974A true CN112416974A (zh) 2021-02-26

Family

ID=74828281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011224863.9A Pending CN112416974A (zh) 2020-11-05 2020-11-05 一种数据处理方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN112416974A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113468217A (zh) * 2021-06-29 2021-10-01 平安养老保险股份有限公司 数据查询管理方法、装置、计算机设备及可读存储介质
CN114860557A (zh) * 2022-04-08 2022-08-05 广东联想懂的通信有限公司 用户行为信息生成方法、装置、设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815322A (zh) * 2016-12-27 2017-06-09 东软集团股份有限公司 一种数据处理的方法和装置
CN108156006A (zh) * 2016-12-05 2018-06-12 阿里巴巴集团控股有限公司 一种埋点数据上报方法、装置及电子设备
CN108335132A (zh) * 2018-01-22 2018-07-27 中国平安人寿保险股份有限公司 应用程序的分析方法、装置、存储介质及终端
CN108829693A (zh) * 2018-04-13 2018-11-16 拉扎斯网络科技（上海）有限公司 一种用户访问轨迹的获取方法、装置及存储介质
CN109948034A (zh) * 2017-09-27 2019-06-28 北京国双科技有限公司 基于过滤会话实现提取页面信息的方法及装置
CN110909063A (zh) * 2019-11-28 2020-03-24 蜂助手股份有限公司 一种用户行为的分析方法、装置、应用服务器及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108156006A (zh) * 2016-12-05 2018-06-12 阿里巴巴集团控股有限公司 一种埋点数据上报方法、装置及电子设备
CN106815322A (zh) * 2016-12-27 2017-06-09 东软集团股份有限公司 一种数据处理的方法和装置
CN109948034A (zh) * 2017-09-27 2019-06-28 北京国双科技有限公司 基于过滤会话实现提取页面信息的方法及装置
CN108335132A (zh) * 2018-01-22 2018-07-27 中国平安人寿保险股份有限公司 应用程序的分析方法、装置、存储介质及终端
CN108829693A (zh) * 2018-04-13 2018-11-16 拉扎斯网络科技（上海）有限公司 一种用户访问轨迹的获取方法、装置及存储介质
CN110909063A (zh) * 2019-11-28 2020-03-24 蜂助手股份有限公司 一种用户行为的分析方法、装置、应用服务器及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113468217A (zh) * 2021-06-29 2021-10-01 平安养老保险股份有限公司 数据查询管理方法、装置、计算机设备及可读存储介质
CN114860557A (zh) * 2022-04-08 2022-08-05 广东联想懂的通信有限公司 用户行为信息生成方法、装置、设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN112115026B (zh) 服务器集群监控方法、装置、电子设备及可读存储介质
CN111241389A (zh) 基于矩阵的敏感词过滤方法、装置、电子设备、存储介质
CN112416974A (zh) 一种数据处理方法、装置、设备及可读存储介质
CN111258819A (zh) MySQL数据库备份文件的数据获取方法、装置和系统
CN113760658A (zh) 一种监控方法、装置及设备
US10346482B1 (en) Context- and activity-aware content selection
CN104317820B (zh) 报表的统计方法和装置
CN116132448A (zh) 基于人工智能的数据分流方法及相关设备
CN115659045A (zh) 用户操作的识别方法、装置、存储介质以及电子设备
CN114416560A (zh) 程序崩溃分析聚合方法和系统
CN111131393B (zh) 用户活跃度数据统计方法、电子装置及存储介质
CN113254269A (zh) 一种存储系统异常事件修复的方法、系统、设备和介质
CN112416699A (zh) 指标数据收集方法及系统
CN112651660A (zh) 企业风险预警方法及装置
CN111309623B (zh) 一种坐标类数据分类测试方法及装置
CN112612605B (zh) 线程分配方法、装置、计算机设备和可读存储介质
CN112783886B (zh) 缓存清理方法、装置、计算机设备及存储介质
CN112148491B (zh) 数据处理方法及装置
CN111858362A (zh) 数据倾斜处理方法、装置、电子设备及可读存储介质
CN114205412A (zh) 信息推送方法、装置、服务器及存储介质
US20220100631A1 (en) Microservices graph generation
CN117573723A (zh) 一种客群群组数据查询方法、装置、设备及存储介质
CN116126875A (zh) 元数据处理方法及装置
CN114547091A (zh) 消息消费的测试方法、系统、计算机设备和可读存储介质
CN117171155A (zh) 数据清理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination