CN110825604A - 一种应用的用户轨迹和性能监控方法、装置、设备及介质 - Google Patents

一种应用的用户轨迹和性能监控方法、装置、设备及介质 Download PDF

Info

Publication number
CN110825604A
CN110825604A CN201911072936.4A CN201911072936A CN110825604A CN 110825604 A CN110825604 A CN 110825604A CN 201911072936 A CN201911072936 A CN 201911072936A CN 110825604 A CN110825604 A CN 110825604A
Authority
CN
China
Prior art keywords
performance data
data
performance
data packet
effective
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911072936.4A
Other languages
English (en)
Other versions
CN110825604B (zh
Inventor
程捷
袁耀辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Bo Hongyuan Data Polytron Technologies Inc
Original Assignee
Beijing Bo Hongyuan Data Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Bo Hongyuan Data Polytron Technologies Inc filed Critical Beijing Bo Hongyuan Data Polytron Technologies Inc
Priority to CN201911072936.4A priority Critical patent/CN110825604B/zh
Publication of CN110825604A publication Critical patent/CN110825604A/zh
Application granted granted Critical
Publication of CN110825604B publication Critical patent/CN110825604B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例公开了一种应用的用户轨迹和性能监控方法、装置、设备及介质。其中，应用的用户轨迹和性能监控方法包括：接收探针端采集的以数据包形式发送的目标性能数据，通过数据接收端对所述目标性能数据对应的数据包进行清洗，获取有效性能数据包，并存储至Kafka中，通过计算引擎从所述Kafka中获取所述有效性能数据包，并进行预设类型的数据处理，获取多维度性能数据，并存储至Zeus系统中。本发明实施例的技术方案，实现了对应用的用户轨迹和性能的在线监控和追踪，提高了发现和修复性能问题的及时性，提高了用户体验。

Description

一种应用的用户轨迹和性能监控方法、装置、设备及介质
技术领域
本发明实施例涉及计算机软件应用技术领域，尤其涉及一种应用的用户轨迹和性能监控方法、装置、设备及介质。
背景技术
近年来，新技术、新需求的涌现促使企业使用的应用程序的数量不断增多，应用的业务量也随之增加，这些应用极大的方便了业务人员的工作，但与此同时，很多企业的业务也会依赖于这些应用，一旦应用发生性能问题，企业的业务一定程度上会受到影响，因此，应用的用户轨迹和性能的监控就显得尤为重要。
现有技术中，常用的用户轨迹和性能的监控方法是对用户使用应用过程中产生的性能日志进行离线分析，这种方法一方面影响了应用性能问题发现和修复的及时性和问题定位的准确性，另一方面，在将性能问题进行修复后也无法及时响应问题的修复情况。
发明内容
本发明实施例提供一种应用的用户轨迹和性能监控方法、装置、计算机设备及介质，提高了发现和修复性能问题的及时性。
第一方面，本发明实施例提供了一种应用的用户轨迹和性能监控方法，所述方法包括：
接收探针端采集的以数据包形式发送的目标性能数据；
通过数据接收端对所述目标性能数据对应的数据包进行清洗，获取有效性能数据包，并存储至Kafka中；
通过计算引擎从所述Kafka中获取所述有效性能数据包，并进行预设类型的数据处理，获取多维度性能数据，并存储至Zeus系统中。
第二方面，本发明实施例还提供了应用的用户轨迹和性能监控装置，所述装置包括：
目标性能数据接收模块，用于接收探针端采集的以数据包形式发送的目标性能数据；
有效性能数据包获取模块，用于通过数据接收端对所述目标性能数据对应的数据包进行清洗，获取有效性能数据包，并存储至Kafka中；
多维度性能数据获取模块，用于通过计算引擎从所述Kafka中获取所述有效性能数据包，并进行预设类型的数据处理，获取多维度性能数据，并存储至Zeus系统中。
第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所提供的应用的用户轨迹和性能监控方法。
第四方面，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所提供的应用的用户轨迹和性能监控方法。
本发明实施例的技术方案，首先接收探针端采集的以数据包形式发送的目标性能数据，通过数据接收端对目标性能数据对应的数据包进行清洗，获取有效性能数据包，并存储至Kafka中，然后通过计算引擎从Kafka中获取有效性能数据包，并进行预设类型的数据处理，获取多维度性能数据，并存储至Zeus系统中，实现了对应用的用户轨迹和性能的在线监控和追踪，提高了发现和修复性能问题的及时性，提高了用户体验。
附图说明
图1是本发明实施例一中的一种应用的用户轨迹和性能监控方法的流程图；
图2是本发明实施例二中的一种应用的用户轨迹和性能监控方法的流程图；
图3是本发明实施例三中的一种应用的用户轨迹和性能监控装置示意图；
图4是本发明实施例四提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。
另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1是本发明实施例一提供的一种应用的用户轨迹和性能监控方法的流程图，本实施例的技术方案适用于在线监控应用的用户轨迹和性能的情况，该方法可以由应用的用户轨迹和性能监控装置执行，该装置可以由软件和/或硬件来实现，并可以集成在各种通用计算机设备中，具体包括如下步骤：
步骤110、接收探针端采集的以数据包形式发送的目标性能数据。
其中，探针端包括至少一种探针，可以采集应用程序的性能数据，例如，通过钩子函数在应用程序运行中截获网络性能数据，目标性能数据是对应用程序进行监控时所需获取的用户的行为数据或者应用性能数据，例如，应用的网络请求数据、网络请求时间以及应用崩溃数据等。
本实施例中，应用性能管理软件的探针端通过探针采集目标性能数据，并将目标性能数据以数据包的形式发送至服务端，以对上述目标应用数据进行处理。示例性的，探针端包含的js探针，通过钩子函数截获xmlhttprequest对象，实现对前端网络性能数据的采集，并将采集到的网络性能数据以数据包的形式发送至服务端。
可选的，所述目标性能数据包括用户行为数据、网络数据、视图性能数据、设备状态数据、崩溃数据和交互数据。
本可选的实施例中提供了目标性能数据中包括的具体数据类型，包括用户行为数据、网络数据、视图性能数据、设备状态数据、崩溃数据和交互数据。其中，用户行为数据包括用户登录、页面跳转以及退出等用户操作信息，网络数据包括网络请求地址、网络请求时间以及建立网络连接时间等网络交互信息，视图性能数据包括可以从至少一个维度获取应用数据信息的多维度性能信息，设备状态数据包括设备型号、设备中央处理器使用率以及设备内存使用率等设备相关的信息，崩溃数据包括应用程序崩溃原因、崩溃时间、崩溃频率以及应用程序版本等与应用程序崩溃相关信息，交互数据包括首屏时间、白屏时间等，面向用户可以表达用户直观感受的数据信息。
可选的，所述探针端采集所述目标性能数据的粒度是根据性能问题信息确定的；
所述性能问题信息包括下述至少一项：产生性能问题的频率、产生性能问题的网络环境以及产生性能问题的设备。
本可选的实施例中，提供了影响探针数据采集策略的因素，包括产生性能问题的频率、产生性能问题的网络环境以及产生性能问题的设备。示例性的，在第一次数据采集时的数据采集粒度设置为控件级别，随着采集性能数据的增多，可以通过服务端返回的经过数据聚合的性能数据，调整数据采集策略，例如，某一应用产生性能问题的频率高于设定阈值，则将数据采集粒度修改为方法级别，以获取更多性能数据，更好的对应用性能和用户行为轨迹进行监控。
步骤120、通过数据接收端对目标性能数据对应的数据包进行清洗，获取有效性能数据包，并存储至Kafka中。
其中，Kafka是一种高吞吐量的分布式发布订阅消息系统，可以处理用户在网站中的所有动作流数据，Kafka具有以下特点：1)通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能；2)高吞吐量，即使非常普通的硬件Kafka也可以支持每秒数百万的消息。
本实施例中，数据接收端对探针端发送的数据包形式的目标性能数据进行清洗，具体的，对目标性能数据对应的数据包进行过滤，去除因网络延时而获取的重复数据包，最终得到包含能够有效表征应用性能的有效性能数据包，并将其进行存储，但与离线分析中数据量是可预估的情况不同，在线采集应用性能数据的数据量是不可预知的，尤其是当采集粒度较小时，采集到的数据量是巨大且不可预估的，针对上述情况，需要一种吞吐量高且存储稳定性好的系统进行应用性能数据的存储，而Kafka完全具备上述特征，因此，选择将有效性能数据包存储至Kafka中进行暂存，保证准确接收数据接收端发送的有效性能数据包，且不出现丢包情况。
可选的，所述Kafka和所述数据接收端是异步处理的。
步骤130、通过计算引擎从Kafka中获取有效性能数据包，并进行预设类型的数据处理，获取多维度性能数据，并存储至Zeus系统中。
本实施例中，由服务器中的计算引擎将有效性能数据包从Kafka中取出，并对其进行设定类型的处理，示例性的，计算引擎首先将获取到的有效性能数据包进行解析，得到数据包中包含的性能数据，并对性能数据进行数据清洗或者数据聚合等操作，最终得到多维度性能数据，并将其存储至Zeus系统中。
可选的，所述Zeus系统中的数据是非关系型存储。
本可选的实施例中，表明了Zeus系统中的数据并不是以传统的关系型表结构存储的，是非关系型存储，示例性的，可以将与某一应用程序的全部相关性能数据同时进行存储，形成一个宽表，或者，以用户需要了解的维度进行数据存储。
此后，用户可以针对需要的维度，从Zeus系统中快速查询出应用性能数据，例如，设备角度、操作系统角度或者应用程序版本等维度查询应用程序的崩溃数据。
本发明实施例的技术方案，首先接收探针端采集的以数据包形式发送的目标性能数据，通过数据接收端对目标性能数据对应的数据包进行清洗，获取有效性能数据包，并存储至Kafka中，然后通过计算引擎从Kafka中获取有效性能数据包，并进行预设类型的数据处理，获取多维度性能数据，并存储至Zeus系统中，实现了对应用的用户轨迹和性能的在线监控和追踪，提高了发现和修复性能问题的及时性，提高了用户体验。
实施例二
图2为本发明实施例二中的一种应用的用户轨迹和性能监控方法的流程图，本实施例在上述实施例的基础上进一步细化，提供了通过计算引擎从Kafka中获取有效性能数据包，并进行预设类型的数据处理的具体步骤。下面结合图2对本发明实施例二提供的一种应用的用户轨迹和性能监控方法进行说明，包括以下步骤：
步骤210、接收探针端采集的以数据包形式发送的目标性能数据。
步骤220、通过数据接收端对目标性能数据对应的数据包进行清洗，获取有效性能数据包，并存储至Kafka中。
步骤230、通过计算引擎将有效性能数据包从Kafka中取出，并对有效性能数据包进行解析，获取其中包含的有效性能数据。
本实施例中，通过服务端包含的计算引擎将有效性能数据包从Kafka中取出，并对其进行解析，获取到其中包含的有效性能数据。
步骤240、通过计算引擎对有效性能数据进行数据清洗。
本实施例中，对解析出的有效性能数据进行数据清洗，以获取可用的应用性能数据，具体的，对解析出的有效性能数据进行过滤，纠正有效性能数据中的错误数据、去除有效性能数据中的重复数据或通过估算值补充有效性能数据中的缺失值等操作。
步骤250、通过计算引擎对清洗后的有效性能数据按照设定维度进行数据聚合。
将经过数据清洗的有效性能数据按照设定维度进行聚合，其中设定维度是指用户需要了解应用性能的维度，示例性的，在处理应用程序崩溃数据时，可以在应用程序版本、使用的设备型号、操作系统类型等多个维度对应用程序的崩溃数据进行聚合。
步骤260、将经过数据聚合后的有效性能数据存储至Zeus系统中。
本实施例中，在步骤250的基础上，将经过数据聚合的有效性能数据存储至Zeus中，由于Zeus中的数据是非关系型存储，因此可以以任意用户需要的维度进行数据存储，此后，用户可以针对需要的维度，从Zeus系统中快速查询出应用性能数据，例如，设备角度、操作系统角度或者应用程序版本等维度查询应用程序的崩溃数据。
本发明实施例的技术方案，首先接收探针端采集的以数据包形式发送的目标性能数据，通过数据接收端对目标性能数据对应的数据包进行清洗，获取有效性能数据包，并存储至Kafka中，然后通过计算引擎将有效性能数据包从Kafka中取出，并对有效性能数据包进行解析，获取其中包含的有效性能数据，并对有效性能数据进行数据清洗，最终对清洗后的有效性能数据按照设定维度进行数据聚合，再将聚合后的数据发送至Zeus系统，实现了对应用的用户轨迹和性能的在线监控和追踪，提高了发现和修复性能问题的及时性，提高了用户体验。
实施例三
图3是本发明实施例三提供的一种应用的用户轨迹和性能监控装置的示意图，如图3所示，所述装置包括：目标性能数据接收模块310、有效性能数据包获取模块320和多维度性能数据获取模块330，其中：
目标性能数据接收模块310，用于接收探针端采集的以数据包形式发送的目标性能数据；
有效性能数据包获取模块320，用于通过数据接收端对所述目标性能数据对应的数据包进行清洗，获取有效性能数据包，并存储至Kafka中；
多维度性能数据获取模块330，用于通过计算引擎从所述Kafka中获取所述有效性能数据包，并进行预设类型的数据处理，获取多维度性能数据，并存储至Zeus系统中。
本发明实施例的技术方案，首先接收探针端采集的以数据包形式发送的目标性能数据，通过数据接收端对目标性能数据对应的数据包进行清洗，获取有效性能数据包，并存储至Kafka中，然后通过计算引擎从Kafka中获取有效性能数据包，并进行预设类型的数据处理，获取多维度性能数据，并存储至Zeus系统中，实现了对应用的用户轨迹和性能的在线监控和追踪，提高了发现和修复性能问题的及时性，提高了用户体验。
可选的，所述多维度性能数据获取模块330，包括：
有效性能数据获取单元，用于通过所述计算引擎将所述有效性能数据包从Kafka中取出，并对所述有效性能数据包进行解析，获取其中包含的有效性能数据；
数据清洗单元，用于通过所述计算引擎对所述有效性能数据进行数据清洗；
数据聚合单元，用于通过所述计算引擎对清洗后的有效性能数据按照设定维度进行数据聚合。
可选的，所述目标性能数据包括用户行为数据、网络数据、视图性能数据、设备状态数据、崩溃数据和交互数据。
可选的，所述Zeus系统中的数据是非关系型存储。
可选的，所述探针端采集所述目标性能数据的粒度是根据性能问题信息确定的；
所述性能问题信息包括下述至少一项：产生性能问题的频率、产生性能问题的网络环境以及产生性能问题的设备。
可选的，所述Kafka和所述数据接收端是异步处理的。
由于上述所介绍的应用的用户轨迹和性能监控装置为可以执行本发明实施例中的应用的用户轨迹和性能监控方法的装置，故而基于本发明实施例中所介绍的应用的用户轨迹和性能监控方法，本领域所属技术人员能够了解本实施例的应用的用户轨迹和性能监控装置的具体实施方式以及其各种变化形式，所以在此对于该应用的用户轨迹和性能监控装置如何实现本发明实施例中的应用的用户轨迹和性能监控方法不再详细介绍。只要本领域所属技术人员实施本发明实施例中应用的用户轨迹和性能监控方法所采用的装置，都属于本申请所欲保护的范围。
实施例四
图4为本发明实施例四提供的一种电子设备的结构示意图，如图4所示，该电子设备包括处理器40和存储器41；设备中处理器40的数量可以是一个或多个，图4中以一个处理器40为例；设备中的处理器40和存储器41可以通过总线或其他方式连接，图4中以通过总线连接为例。
存储器41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的一种应用的用户轨迹和性能监控方法对应的程序指令/模块(例如，应用的用户轨迹和性能监控装置中的目标性能数据接收模块310、有效性能数据包获取模块320和多维度性能数据获取模块330)。处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的应用的用户轨迹和性能监控方法。
该方法包括：
接收探针端采集的以数据包形式发送的目标性能数据；
通过数据接收端对所述目标性能数据对应的数据包进行清洗，获取有效性能数据包，并存储至Kafka中；
通过计算引擎从所述Kafka中获取所述有效性能数据包，并进行预设类型的数据处理，获取多维度性能数据，并存储至Zeus系统中。
存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实施例五
本发明实施例五还提供一种存储计算机程序的计算机存储介质，所述计算机程序在由计算机处理器执行时用于执行本发明上述实施例任一所述的应用的用户轨迹和性能监控方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器((Erasable Programmable ReadOnly Memory，EPROM)或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、射频(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种应用的用户轨迹和性能监控方法，其特征在于，包括：
接收探针端采集的以数据包形式发送的目标性能数据；
通过数据接收端对所述目标性能数据对应的数据包进行清洗，获取有效性能数据包，并存储至Kafka中；
通过计算引擎从所述Kafka中获取所述有效性能数据包，并进行预设类型的数据处理，获取多维度性能数据，并存储至Zeus系统中。
2.根据权利要求1所述的方法，其特征在于，通过计算引擎从所述Kafka中获取所述有效性能数据包，并进行预设类型的数据处理，获取多维度性能数据，包括：
通过所述计算引擎将所述有效性能数据包从Kafka中取出，并对所述有效性能数据包进行解析，获取其中包含的有效性能数据；
通过所述计算引擎对所述有效性能数据进行数据清洗；
通过所述计算引擎对清洗后的有效性能数据按照设定维度进行数据聚合。
3.根据权利要求1所述的方法，其特征在于，所述目标性能数据包括用户行为数据、网络数据、视图性能数据、设备状态数据、崩溃数据和交互数据。
4.根据权利要求1所述的方法，其特征在于，所述Zeus系统中的数据是非关系型存储。
5.根据权利要求1所述的方法，其特征在于，所述探针端采集所述目标性能数据的粒度是根据性能问题信息确定的；
所述性能问题信息包括下述至少一项：产生性能问题的频率、产生性能问题的网络环境以及产生性能问题的设备。
6.根据权利要求1所述的方法，其特征在于，所述Kafka和所述数据接收端是异步处理的。
7.一种应用的用户轨迹和性能监控装置，其特征在于，包括：
目标性能数据接收模块，用于接收探针端采集的以数据包形式发送的目标性能数据；
有效性能数据包获取模块，用于通过数据接收端对所述目标性能数据对应的数据包进行清洗，获取有效性能数据包，并存储至Kafka中；
多维度性能数据获取模块，用于通过计算引擎从所述Kafka中获取所述有效性能数据包，并进行预设类型的数据处理，获取多维度性能数据，并存储至Zeus系统中。
8.根据权利要求7所述的装置，其特征在于，所述多维度性能数据获取模块，包括：
有效性能数据获取单元，用于通过所述计算引擎将所述有效性能数据包从Kafka中取出，并对所述有效性能数据包进行解析，获取其中包含的有效性能数据；
数据清洗单元，用于通过所述计算引擎对所述有效性能数据进行数据清洗；
数据聚合单元，用于通过所述计算引擎对清洗后的有效性能数据按照设定维度进行数据聚合。
9.一种计算机设备，其特征在于，所述计算机设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的应用的用户轨迹和性能监控方法。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的应用的用户轨迹和性能监控方法。
CN201911072936.4A 2019-11-05 2019-11-05 一种应用的用户轨迹和性能监控方法、装置、设备及介质 Active CN110825604B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911072936.4A CN110825604B (zh) 2019-11-05 2019-11-05 一种应用的用户轨迹和性能监控方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911072936.4A CN110825604B (zh) 2019-11-05 2019-11-05 一种应用的用户轨迹和性能监控方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN110825604A true CN110825604A (zh) 2020-02-21
CN110825604B CN110825604B (zh) 2023-06-30

Family

ID=69552780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911072936.4A Active CN110825604B (zh) 2019-11-05 2019-11-05 一种应用的用户轨迹和性能监控方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN110825604B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486065A (zh) * 2021-07-12 2021-10-08 网易（杭州）网络有限公司 性能数据监控方法、装置、介质及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120128010A1 (en) * 2010-11-22 2012-05-24 Microsoft Corporation Minimizing network latency in interactive internet applications
CN106844546A (zh) * 2016-12-30 2017-06-13 江苏号百信息服务有限公司 基于Spark集群的多数据源位置信息融合方法及系统
US20180046551A1 (en) * 2016-08-15 2018-02-15 International Business Machines Corporation Recovery log analytics with a big data management platform
CN109189589A (zh) * 2018-08-14 2019-01-11 北京博睿宏远数据科技股份有限公司 一种分布式大数据计算引擎及架构方法
US20190123983A1 (en) * 2017-10-25 2019-04-25 Cisco Technology, Inc. Data integration and user application framework
CN109726074A (zh) * 2018-08-31 2019-05-07 网联清算有限公司 日志处理方法、装置、计算机设备和存储介质
CN110276947A (zh) * 2019-06-05 2019-09-24 中国科学院深圳先进技术研究院 一种交通融合分析预测方法、系统及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120128010A1 (en) * 2010-11-22 2012-05-24 Microsoft Corporation Minimizing network latency in interactive internet applications
US20180046551A1 (en) * 2016-08-15 2018-02-15 International Business Machines Corporation Recovery log analytics with a big data management platform
CN106844546A (zh) * 2016-12-30 2017-06-13 江苏号百信息服务有限公司 基于Spark集群的多数据源位置信息融合方法及系统
US20190123983A1 (en) * 2017-10-25 2019-04-25 Cisco Technology, Inc. Data integration and user application framework
CN109189589A (zh) * 2018-08-14 2019-01-11 北京博睿宏远数据科技股份有限公司 一种分布式大数据计算引擎及架构方法
CN109726074A (zh) * 2018-08-31 2019-05-07 网联清算有限公司 日志处理方法、装置、计算机设备和存储介质
CN110276947A (zh) * 2019-06-05 2019-09-24 中国科学院深圳先进技术研究院 一种交通融合分析预测方法、系统及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
商正仪等: "基于移动终端的无线局域网用户行为研究", 《计算机技术与发展》 *
高强等: "轨迹大数据:数据处理关键技术研究综述", 《软件学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486065A (zh) * 2021-07-12 2021-10-08 网易（杭州）网络有限公司 性能数据监控方法、装置、介质及电子设备

Also Published As

Publication number Publication date
CN110825604B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
US9634915B2 (en) Methods and computer program products for generating a model of network application health
US8868727B2 (en) Methods and computer program products for storing generated network application performance data
CN109710615B (zh) 数据库的访问管理方法、系统、电子设备和存储介质
US10404556B2 (en) Methods and computer program products for correlation analysis of network traffic in a network device
US9590880B2 (en) Dynamic collection analysis and reporting of telemetry data
US9621441B2 (en) Methods and computer program products for analysis of network traffic by port level and/or protocol level filtering in a network device
US9093841B2 (en) Power distribution network event correlation and analysis
US8589537B2 (en) Methods and computer program products for aggregating network application performance metrics by process pool
CN111131320B (zh) 资产识别方法、装置、系统和介质
CN108228322B (zh) 一种分布式链路跟踪、分析方法及服务器、全局调度器
EP3282643A1 (en) Method and apparatus of estimating conversation in a distributed netflow environment
CN110650126A (zh) 一种防网站流量攻击方法、装置以及智能终端、存储介质
CN111177193A (zh) 一种基于Flink的日志流式处理方法及系统
CN113360918A (zh) 漏洞快速扫描方法、装置、设备以及存储介质
US20140250333A1 (en) Log file reduction according to problem-space network topology
CN110825604B (zh) 一种应用的用户轨迹和性能监控方法、装置、设备及介质
US20120072258A1 (en) Methods and computer program products for identifying and monitoring related business application processes
CN114510708A (zh) 实时数据仓库构建、异常检测方法、装置、设备及产品
Lee et al. ATMSim: An anomaly teletraffic detection measurement analysis simulator
CN108540439B (zh) 数据解析方法及系统、设备和存储介质
CN109245963A (zh) 网络终端类型的识别方法及相关设备
CN111078975B (zh) 一种多节点增量式数据采集系统及采集方法
CN111376255B (zh) 机器人数据采集方法、装置及终端设备
CN114925283A (zh) 推送任务的管理方法及系统、电子设备及介质
CN103944777A (zh) 分布式监控系统信息处理方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant