CN116521502A - 一种高并发量数据收集分析方法、装置及介质 - Google Patents

一种高并发量数据收集分析方法、装置及介质 Download PDF

Info

Publication number
CN116521502A
CN116521502A CN202310511628.7A CN202310511628A CN116521502A CN 116521502 A CN116521502 A CN 116521502A CN 202310511628 A CN202310511628 A CN 202310511628A CN 116521502 A CN116521502 A CN 116521502A
Authority
CN
China
Prior art keywords
data
analyzed
preset
cloud service
log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310511628.7A
Other languages
English (en)
Inventor
李宵
刘昌钰
齐翊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengcaiyun Co ltd
Original Assignee
Zhengcaiyun Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengcaiyun Co ltd filed Critical Zhengcaiyun Co ltd
Priority to CN202310511628.7A priority Critical patent/CN116521502A/zh
Publication of CN116521502A publication Critical patent/CN116521502A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种高并发量数据收集分析方法、装置及介质，涉及数据采集领域，本申请根据预设频率从日志云服务获取预设时间粒度的待分析数据；对待分析数据进行统计分析，获取根据预设分析方法得到的不同类型数据对应的性能指标值；将性能指标值存储至本地数据库。数据采集设备将采集到大量的数据，上传并存储到日志云服务，本地服务器可根据预设频率从日志云服务获取预设时间粒度的待分析数据，每个预设时间粒度中包含的数据按照不同类型数据提取性能指标值，通过性能指标特征表示该时间段内的数据状态，将大量的数据以一个或几个性能特征值表示，减小了需要存储的数据量及服务器的数据接收压力和数据分析压力。

Description

一种高并发量数据收集分析方法、装置及介质
技术领域
本申请涉及数据采集领域，特别是涉及一种高并发量数据收集分析方法、装置及介质。
背景技术
目前针对高并发场景，目前大都通过增加服务器个数，增加服务器的配置(内核数量、内存大小)，并通过ngix等工具，或自研的具有负载均衡、高效调度的服务，再优化自身服务的并发处理逻辑，解决大并发请求量的情况。
但是，由于服务器的内核数量，内存大小从硬件配置上直接影响着并发处理的上限。为了应对更高的并发量，需要调研、预估、分析并发量后，再购买或租用相应的配置的服务器。需要较多的前期调研分析时间，并承担服务器的经济成本，以及面临随时需要扩容、缩容的情形。
由此可见，提供一种可在低配置服务器上实现的高并发量数据收集分析方法，是本领域人员亟待解决的技术问题。
发明内容
本申请的目的是提供一种可以在低配置服务器上实现的高并发量数据收集分析方法。
为解决上述技术问题，本申请提供一种高并发量数据收集分析方法，包括：
将数据采集设备采集到的待分析数据发送至日志云服务进行存储；
根据预设频率从日志云服务获取预设时间粒度的待分析数据；
对待分析数据进行统计分析，获取根据预设分析方法得到的不同类型数据对应的性能指标值；
将不同类型数据对应的性能指标值存储至本地数据库。
作为一种优选方案，上述高并发量数据收集分析方法中，根据预设频率从日志云服务获取预设时间粒度的待分析数据，包括：
根据预设频率从日志云服务获取预设时间粒度的待分析数据，生成日志文件；
对应的，对待分析数据进行统计分析，获取根据预设分析方法得到的不同类型数据对应的性能指标值，包括：
扫描日志文件，根据预设分析方法获取不同类型数据对应的性能指标值。
作为一种优选方案，上述高并发量数据收集分析方法中，根据预设频率从日志云服务获取预设时间粒度的待分析数据，生成日志文件，之后还包括：
对日志文件进行聚合分析，得到性能数据。
作为一种优选方案，上述高并发量数据收集分析方法中，将数据采集设备采集到的待分析数据发送至日志云服务进行存储，之后还包括：
接收到查询指令；
根据查询指令对日志云服务存储的待分析数据进行查询；
将查询结果返回至请求端。
作为一种优选方案，上述高并发量数据收集分析方法中，将数据采集设备采集到的待分析数据发送至日志云服务进行存储，包括：
控制数据采集设备采集客户端的待分析数据；
将待分析数据进行组装，并根据JSON语法规则进行整合；
根据预设数据协议将待分析数据上传至日志云服务进行存储。
作为一种优选方案，上述高并发量数据收集分析方法中，将不同类型数据对应的性能指标值存储至本地数据库，之后还包括：
接收请求端发送的查询本地数据库中存储的目标时间段内不同类型数据对应的性能指标值的指令；
根据预设加工要求对目标时间段对应的不同类型数据对应的性能指标值进行处理，生成目标数据集；
将目标数据集返回至请求端。
作为一种优选方案，上述高并发量数据收集分析方法中，性能指标值包括平均值、最大值、最小值、TP50、TP90、TP99。
为解决上述技术问题，本申请还提供一种高并发量数据收集分析装置，包括：
上传模块，用于将数据采集设备采集到的待分析数据发送至日志云服务进行存储；
获取模块，用于根据预设频率从日志云服务获取预设时间粒度的待分析数据；
分析模块，用于对待分析数据进行统计分析，获取根据预设分析方法得到的不同类型数据对应的性能指标值；
存储模块，用于将不同类型数据对应的性能指标值存储至本地数据库。
获取子单元，用于根据预设频率从日志云服务获取预设时间粒度的待分析数据，生成日志文件；
扫描子单元，用于扫描日志文件，根据预设分析方法获取不同类型数据对应的性能指标值。
分析子单元，用于对日志文件进行聚合分析，得到性能数据。
接收模块，用于接收到查询指令；
查询模块，用于根据查询指令对日志云服务存储的待分析数据进行查询；
返回模块，用于将查询结果返回至请求端。
控制采集子单元，用于控制数据采集设备采集客户端的待分析数据；
整合子单元，用于将待分析数据进行组装，并根据JSON语法规则进行整合；
上传子单元，用于根据预设数据协议将待分析数据上传至日志云服务。
接收本地查询指令模块，用于接收请求端发送的查询本地数据库中存储的目标时间段内不同类型数据对应的性能指标值的指令；
处理模块，用于根据预设加工要求对目标时间段对应的不同类型数据对应的性能指标值进行处理，生成目标数据集。
返回结果模块，用于将目标数据集返回至请求端。
为解决上述技术问题，本申请还提供一种高并发量数据收集分析装置，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现上述的高并发量数据收集分析方法的步骤。
为解决上述技术问题，本申请还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述的高并发量数据收集分析方法的步骤。
本申请所提供的高并发量数据收集分析方法，将数据采集设备采集到的待分析数据发送至日志云服务进行存储；根据预设频率从日志云服务获取预设时间粒度的待分析数据；对待分析数据进行统计分析，获取根据预设分析方法得到的不同类型数据对应的性能指标值；将不同类型数据对应的性能指标值存储至本地数据库。大量的数据采集设备根据需求采集到大量的数据，不上传至本地服务器，而是上传到日志云服务，并存储在日志云服务，而本地服务器则可根据预设频率从日志云服务获取预设时间粒度的待分析数据，不需要一次性接收大量的数据，每个预设时间粒度中包含的大量数据，按照不同类型数据提取性能指标值，性能指标特征表示该时间段内对应的类型数据的数据状态，将大量的数据以一个或几个性能特征值表示，大大减小了需要存储的数据量。服务器的数据接收压力和数据分析压力减小，因此本申请在低配置服务器上也可以实现，不需要增加服务器数量或提高服务器配置。
另外，本申请还提供一种装置及介质，与上述方法对应，效果同上。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种高并发量数据收集分析方法的流程图；
图2为本申请实施例提供的一种高并发量数据收集分析装置的结构图；
图3为本申请实施例提供的另一种高并发量数据收集分析装置的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。
本申请的核心是提供一种高并发量数据收集分析方法、装置及介质。
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。
针对高并发场景，目前大都通过增加服务器个数，增加服务器的配置(内核数量、内存大小)，并通过ngix等工具，或自研的具有负载均衡、高效调度的服务，再优化自身服务的并发处理逻辑，解决大并发请求量的情况。此方案对于没有高配置服务器，或对于高并发技术栈缺乏的团队，有以下几个方面的挑战。
成本较高。由于服务器的内核数量，内存大小从硬件配置上直接影响着并发处理的上限。为了应对更高的并发量，需要调研、预估、分析并发量后，再购买或租用相应的配置的服务器。需要较多的前期调研分析时间，并承担服务器的经济成本，以及面临随时需要扩容、缩容的情形。
存在技术栈门槛。高并发开发是一个有较高技术含量的服务端开发技术。某些公司或者团队不具备相应技术栈水平时，需要寻找相应技术栈的人项目才可继续推进。
为解决上述问题，本申请提供了一种高并发量数据收集分析方法，如图1所示，包括：
S11：将数据采集设备采集到的待分析数据发送至日志云服务进行存储；
S12：根据预设频率从日志云服务获取预设时间粒度的待分析数据；
S13：对待分析数据进行统计分析，获取根据预设分析方法得到的不同类型数据对应的性能指标值；
S14：将不同类型数据对应的性能指标值存储至本地数据库。
本申请实施例提到的日志云服务为实现数据采集的云服务，在本实施例中，选择日志服务(Log Service，LOG/SLS)，是针对实时数据的一站式服务，无需开发即可完成数据采集、消费、投递以及查询分析等功能，帮助提升运维、运营效率。日志服务本身是流数据存储，实时计算可以将其作为流式数据输入。
本申请实施例提到的数据采集设备负责采集客户端的数据，包括大量的数据采集设备，以实现数据的同步大量收集。本申请实施例不限制数据采集方法，根据实际需要设置即可。
步骤S12根据预设频率从日志云服务获取预设时间粒度的待分析数据，其中预设频率可以看作预设周期，即每隔一段时间获取一次数据，例如每隔一个小时获取一次数据；其中预设时间粒度指的是预设长度的时间段，例如每次获取10分钟时间段的待分析数据。
步骤S13对待分析数据进行统计分析，获取根据预设分析方法得到的不同类型数据对应的性能指标值，其中，预设分析方法至少为一种。
需要说明的是，本实施例提到的不同类型数据指的是日志文件中不同类型的数据，例如响应时间、请求耗时等，可根据实际需要设置需分析的类型数据，选择其中一个或多个，本实施例提到的预设分析方法可以包括但不限于计算平均值、TP指标、最大值、最小值等。
需要说明的是，TP指标：指在一个时间段内，统计该方法每次调用所消耗的时间，并将这些时间按从小到大的顺序进行排序,并取出结果为：总次数*指标数＝对应TP指标的序号，再根据序号取出对应排序好的时间，即为TP指标。TP90，TP95，TP99，TP999，TP9999与TP50值计算方式一致，它们分别代表着对方法的不同性能要求，TP50相对较低，TP90则比较高，TP99，TP999则对方法性能要求很高。
例如，TP99值的计算方式如下：取出预设时间粒度内的所有数据，从小到达进行排序，取第99％+1的数据作为TP99值，表达的业务含义是99％的方法调用都在该值以下。具体地，可根据实际需要具体设置本实施例不作限制，另外，TP指标可能根据不同的数据类型包含不同的形式，本实施例不作具体限制。每个预设时间粒度中包含的大量数据，按照不同的数据类型将大量的数据以一个或几个性能特征值表示，大大减小了需要存储的数据量。
在一种实施例中，性能指标值包括平均值、最大值、最小值、TP50、TP90、TP99。
由于不需要同时接收数据采集设备发送的大量数据，低配置服务器也可以完成，不需要增加服务器数量或提高服务器配置。只需要在低配置本地服务中，重点开发数据的分析，加工，存储逻辑等工作。
在需要收集的数据量大，并发量高的场景，无需关注并发处理和服务器配置，只专注数据的拉取，分析查询逻辑开发。大量客户端设备的数据采集时，需要高配置的服务器解决高并发的数据上报场景，本发明通过接入已有的高并发日志系统服务，在低配置的内部服务器上专注开发数据拉取、分析的任务，搭建有数据量大，并发量高特点的数据收集、分析、存储、查询服务。
将分析后的可存储的性能指标值，匹配对应的数据表，存储至本地数据库中。
根据本申请实施例提供的高并发量数据收集分析方法，将数据采集设备采集到的待分析数据发送至日志云服务进行存储；根据预设频率从日志云服务获取预设时间粒度的待分析数据；对待分析数据进行统计分析，获取根据预设分析方法得到的不同类型数据对应的性能指标值；将不同类型数据对应的性能指标值存储至本地数据库。大量的数据采集设备根据需求采集到大量的数据，不上传至本地服务器，而是上传到日志云服务，并存储在日志云服务，而本地服务器则可根据预设频率从日志云服务获取预设时间粒度的待分析数据，不需要一次性接收大量的数据，每个预设时间粒度中包含的大量数据，按照不同类型数据提取性能指标值，性能指标特征表示该时间段内对应的类型数据的数据状态，将大量的数据以一个或几个性能特征值表示，大大减小了需要存储的数据量。服务器的数据接收压力和数据分析压力减小，因此本申请在低配置服务器上也可以实现，不需要增加服务器数量或提高服务器配置。
根据上述实施例，本实施例提供一种优选方案，高并发量数据收集分析方法，
根据预设频率从日志云服务获取预设时间粒度的待分析数据，包括：
根据预设频率从日志云服务获取预设时间粒度的待分析数据，生成日志文件；
对应的，对待分析数据进行统计分析，获取根据预设分析方法得到的不同类型数据对应的性能指标值，包括：
扫描日志文件，根据预设分析方法获取不同类型数据对应的性能指标值。
本实施例提到的预设提取类别分类，指的是根据需求，设置的不同维度，可估计实际需要具体设置。根据数据需求从日志云服务获取待分析数据，生成初步的日志文件；再根据预设分析方法提取得到不同类型数据对应的性能指标值。
根据上述实施例，本实施例提供一种优选方案，根据预设频率从日志云服务获取预设时间粒度的待分析数据，生成日志文件，之后还包括：
对日志文件进行聚合分析，得到性能数据。
本申请对日志中性能数据进行提取，方便对性能优劣分析，本申请实施例不限制如何对性能数据进行提取，根据实际需要设置即可。
根据上述实施例，本实施例提供一种优选方案，将数据采集设备采集到的待分析数据发送至日志云服务进行存储，之后还包括：
接收到查询指令；
根据查询指令对日志云服务存储的待分析数据进行查询；
将查询结果返回至请求端。
本实施例接收到查询指令后，从日志云服务存储的数据进行查询，可以得到原始数据。数据实时查询且通过本方案，可解决数据量大、并发量高的数据场景中数据实时查询问题。
根据上述实施例，本实施例提供一种优选方案，将数据采集设备采集到的待分析数据发送至日志云服务进行存储，包括：
控制数据采集设备采集客户端的待分析数据；
将待分析数据进行组装，并根据JSON语法规则进行整合；
根据预设数据协议将待分析数据上传至日志云服务。
JS对象简谱(JavaScript Object Notation,JSON)是一种轻量级的数据交换格式。它基于ECMAScript(European Computer Manufacturers Association,欧洲计算机协会制定的js规范)的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得JSON成为理想的数据交换语言。是一种轻量级的数据交换格式。易于人阅读和编写，可以在多种语言之间进行数据交换。同时也易于机器解析和生成，有效地提升网络传输效率。
由于Logservice日志服务的数据格式和JSON一致，需要预先根据JSON语法规则进行整合。
根据上述实施例，本实施例提供一种优选方案，将不同类型数据对应的性能指标值存储至本地数据库，之后还包括：
接收请求端发送的查询本地数据库中存储的目标时间段内不同类型数据对应的性能指标值的指令；
根据预设加工要求对目标时间段对应的不同类型数据对应的性能指标值进行处理，生成目标数据集；
将目标数据集返回至请求端。
按照需求将本地数据库中存储的不同类型数据对应的性能指标值，查询取出，并将不同类型数据对应的性能指标值按照预设加工要求进行逻辑加工处理，形成具有表达某种意义的数据集。包括但不限于对数据形式，表现形式等的逻辑加工处理。
根据上述实施例，本实施例提供一种优选方案，根据预设加工要求对有效目标数据处理，生成目标数据集，
通过数据接口服务的形式，将目标数据集展示在数据展示端。
将加工后的数据，通过数据接口服务的形式，提供给数据展示端。需要根据不同条件，不同要求的数据接口服务参数对数据进行处理以展示在数据展示端。
在上述实施例中，对于高并发量数据收集分析方法进行了详细描述，本申请还提供高并发量数据收集分析装置对应的实施例。需要说明的是，本申请从两个角度对装置部分的实施例进行描述，一种是基于功能模块的角度，另一种是基于硬件的角度。
基于功能模块的角度，图2为本申请实施例提供的一种高并发量数据收集分析装置的结构图，如图2所示，高并发量数据收集分析装置，包括：
上传模块21，用于将数据采集设备采集到的待分析数据发送至日志云服务进行存储；
获取模块22，用于根据预设频率从日志云服务获取预设时间粒度的待分析数据；
分析模块23，用于对待分析数据进行统计分析，获取根据预设分析方法得到的不同类型数据对应的性能指标值；
存储模块24，用于将不同类型数据对应的性能指标值存储至本地数据库。
本申请数量提供的高并发量数据收集分析装置，上传模块21将数据采集设备采集到的待分析数据发送至日志云服务进行存储；获取模块22根据预设频率从日志云服务获取预设时间粒度的待分析数据；分析模块23对待分析数据进行统计分析，获取根据预设分析方法得到的不同类型数据对应的性能指标值；存储模块24将不同类型数据对应的性能指标值存储至本地数据库。大量的数据采集设备根据需求采集到大量的数据，不上传至本地服务器，而是上传到日志云服务，并存储在日志云服务，而本地服务器则可根据预设频率从日志云服务获取预设时间粒度的待分析数据，不需要一次性接收大量的数据，每个预设时间粒度中包含的大量数据，按照不同的维度指标以一个TP指标表示，大大减小了需要存储的数据量。服务器的数据接收压力和数据分析压力减小，因此本申请在低配置服务器上也可以实现，不需要增加服务器数量或提高服务器配置。
获取子单元，用于根据预设频率从日志云服务获取预设时间粒度的待分析数据，生成日志文件；
扫描子单元，用于扫描日志文件，根据预设分析方法获取不同类型数据对应的性能指标值。
分析子单元，用于对日志文件进行聚合分析，得到性能数据。
接收模块，用于接收到查询指令；
查询模块，用于根据查询指令对日志云服务存储的待分析数据进行查询；
返回模块，用于将查询结果返回至请求端。
控制采集子单元，用于控制数据采集设备采集客户端的待分析数据；
整合子单元，用于将待分析数据进行组装，并根据JSON语法规则进行整合；
上传子单元，用于根据预设数据协议将待分析数据上传至日志云服务。
接收本地查询指令模块，用于接收请求端发送的查询本地数据库中存储的目标时间段内不同类型数据对应的性能指标值的指令；
处理模块，用于根据预设加工要求对目标时间段对应的不同类型数据对应的性能指标值进行处理，生成目标数据集。
返回结果模块，用于将目标数据集返回至请求端。
展示子单元，用于通过数据接口服务的形式，将目标数据集展示在数据展示端。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
图3为本申请实施例提供的另一种高并发量数据收集分析装置的结构图，如图3所示，高并发量数据收集分析装置包括：存储器30，用于存储计算机程序；
处理器31，用于执行计算机程序时实现如上述实施例(高并发量数据收集分析方法)获取用户操作习惯信息的方法的步骤。
本实施例提供的高并发量数据收集分析装置可以包括但不限于智能手机、平板电脑、笔记本电脑或台式电脑等。
其中，处理器31可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器31可以采用数字信号处理器(Digital Signal Processor，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器31也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称中央处理器(CentralProcessing Unit，CPU)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器31可以在集成有图像处理器(Graphics Processing Unit，GPU)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器31还可以包括人工智能(Artificial Intelligence，AI)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器30可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器30还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器30至少用于存储以下计算机程序301，其中，该计算机程序被处理器31加载并执行之后，能够实现前述任一实施例公开的高并发量数据收集分析方法的相关步骤。另外，存储器30所存储的资源还可以包括操作系统302和数据303等，存储方式可以是短暂存储或者永久存储。其中，操作系统302可以包括Windows、Unix、Linux等。数据303可以包括但不限于实现高并发量数据收集分析方法所涉及到的数据等。
在一些实施例中，高并发量数据收集分析装置还可包括有显示屏32、输入输出接口33、通信接口34、电源35以及通信总线36。
本领域技术人员可以理解，图3中示出的结构并不构成对高并发量数据收集分析装置的限定，可以包括比图示更多或更少的组件。
本申请实施例提供的高并发量数据收集分析装置，包括存储器和处理器，处理器在执行存储器存储的程序时，能够实现如下方法：高并发量数据收集分析方法，将数据采集设备采集到的待分析数据发送至日志云服务进行存储；根据预设频率从日志云服务获取预设时间粒度的待分析数据；对待分析数据进行统计分析，获取根据预设分析方法得到的不同类型数据对应的性能指标值；将不同类型数据对应的性能指标值存储至本地数据库。大量的数据采集设备根据需求采集到大量的数据，不上传至本地服务器，而是上传到日志云服务，并存储在日志云服务，而本地服务器则可根据预设频率从日志云服务获取预设时间粒度的待分析数据，不需要一次性接收大量的数据，每个预设时间粒度中包含的大量数据，按照不同类型数据提取性能指标值，性能指标特征表示该时间段内对应的类型数据的数据状态，将大量的数据以一个或几个性能特征值表示，大大减小了需要存储的数据量。服务器的数据接收压力和数据分析压力减小，因此本申请在低配置服务器上也可以实现，不需要增加服务器数量或提高服务器配置。
最后，本申请还提供一种计算机可读存储介质对应的实施例。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述高并发量数据收集分析方法实施例中记载的步骤。
可以理解的是，如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例提供的计算机可读存储介质，其上存储有计算机程序，当处理器执行该程序时，可实现以下方法：高并发量数据收集分析方法，将数据采集设备采集到的待分析数据发送至日志云服务进行存储；根据预设频率从日志云服务获取预设时间粒度的待分析数据；对待分析数据进行统计分析，获取根据预设分析方法得到的不同类型数据对应的性能指标值；将不同类型数据对应的性能指标值存储至本地数据库。大量的数据采集设备根据需求采集到大量的数据，不上传至本地服务器，而是上传到日志云服务，并存储在日志云服务，而本地服务器则可根据预设频率从日志云服务获取预设时间粒度的待分析数据，不需要一次性接收大量的数据，每个预设时间粒度中包含的大量数据，按照不同类型数据提取性能指标值，性能指标特征表示该时间段内对应的类型数据的数据状态，将大量的数据以一个或几个性能特征值表示，大大减小了需要存储的数据量。服务器的数据接收压力和数据分析压力减小，因此本申请在低配置服务器上也可以实现，不需要增加服务器数量或提高服务器配置。
以上对本申请所提供的高并发量数据收集分析方法、装置及介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种高并发量数据收集分析方法，其特征在于，包括：
将数据采集设备采集到的待分析数据发送至日志云服务进行存储；
根据预设频率从所述日志云服务获取预设时间粒度的所述待分析数据；
对所述待分析数据进行统计分析，获取根据预设分析方法得到的不同类型数据对应的性能指标值；
将不同类型数据对应的所述性能指标值存储至本地数据库。
2.根据权利要求1所述的高并发量数据收集分析方法，其特征在于，所述根据预设频率从所述日志云服务获取预设时间粒度的所述待分析数据，包括：
根据预设频率从所述日志云服务获取预设时间粒度的所述待分析数据，生成日志文件；
对应的，所述对所述待分析数据进行统计分析，获取根据预设分析方法得到的不同类型数据对应的性能指标值，其中，所述预设分析方法至少为一种，包括：
扫描所述日志文件，根据预设分析方法获取不同类型数据对应的性能指标值。
3.根据权利要求2所述的高并发量数据收集分析方法，其特征在于，所述根据预设频率从所述日志云服务获取预设时间粒度的所述待分析数据，生成日志文件，之后还包括：
对所述日志文件进行聚合分析，得到性能数据。
4.根据权利要求1所述的高并发量数据收集分析方法，其特征在于，所述将数据采集设备采集到的待分析数据发送至日志云服务进行存储，之后还包括：
接收到查询指令；
根据所述查询指令对所述日志云服务存储的所述待分析数据进行查询；
将查询结果返回至请求端。
5.根据权利要求1所述的高并发量数据收集分析方法，其特征在于，所述将数据采集设备采集到的待分析数据发送至日志云服务进行存储，包括：
控制所述数据采集设备采集客户端的待分析数据；
将所述待分析数据进行组装，并根据JSON语法规则进行整合；
根据预设数据协议将所述待分析数据上传至所述日志云服务进行存储。
6.根据权利要求1至5任意一项所述的高并发量数据收集分析方法，其特征在于，所述将不同类型数据对应的所述性能指标值存储至本地数据库，之后还包括：
接收请求端发送的查询所述本地数据库中存储的目标时间段内不同类型数据对应的所述性能指标值的指令；
根据预设加工要求对所述目标时间段对应的不同类型数据对应的所述性能指标值进行处理，生成目标数据集；
将所述目标数据集返回至所述请求端。
7.根据权利要求1所述的高并发量数据收集分析方法，其特征在于，所述性能指标值包括平均值、最大值、最小值、TP50、TP90、TP99。
8.一种高并发量数据收集分析装置，其特征在于，包括：
上传模块，用于将数据采集设备采集到的待分析数据发送至日志云服务进行存储；
获取模块，用于根据预设频率从所述日志云服务获取预设时间粒度的所述待分析数据；
分析模块，用于对所述待分析数据进行统计分析，获取根据预设分析方法得到的不同类型数据对应的性能指标值；
存储模块，用于将不同类型数据对应的所述性能指标值存储至本地数据库。
9.一种高并发量数据收集分析装置，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的高并发量数据收集分析方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的高并发量数据收集分析方法的步骤。
CN202310511628.7A 2023-05-05 2023-05-05 一种高并发量数据收集分析方法、装置及介质 Pending CN116521502A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310511628.7A CN116521502A (zh) 2023-05-05 2023-05-05 一种高并发量数据收集分析方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310511628.7A CN116521502A (zh) 2023-05-05 2023-05-05 一种高并发量数据收集分析方法、装置及介质

Publications (1)

Publication Number Publication Date
CN116521502A true CN116521502A (zh) 2023-08-01

Family

ID=87393848

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310511628.7A Pending CN116521502A (zh) 2023-05-05 2023-05-05 一种高并发量数据收集分析方法、装置及介质

Country Status (1)

Country Link
CN (1) CN116521502A (zh)

Similar Documents

Publication Publication Date Title
CN106649670B (zh) 基于流式计算的数据监控方法及装置
CN109726074A (zh) 日志处理方法、装置、计算机设备和存储介质
CN110784419A (zh) 铁路电务专业数据可视化方法及系统
CN111797210A (zh) 基于用户画像的信息推荐方法、装置、设备及存储介质
CN110147470B (zh) 一种跨机房数据比对系统及方法
CN112733042A (zh) 推荐信息的生成方法、相关装置及计算机程序产品
CN114223189A (zh) 时长统计方法、装置、电子设备和计算机可读介质
CN113051362A (zh) 数据的查询方法、装置和服务器
CN111444158A (zh) 长短期用户画像生成方法、装置、设备及可读存储介质
CN111061837A (zh) 话题识别方法、装置、设备及介质
CN111274256A (zh) 基于时序数据库的资源管控方法、装置、设备及存储介质
JP7309811B2 (ja) データ注釈方法、装置、電子機器および記憶媒体
CN113010542B (zh) 业务数据处理方法、装置、计算机设备及存储介质
CN107122464B (zh) 一种辅助决策系统及方法
EP3564833B1 (en) Method and device for identifying main picture in web page
Zuo et al. Bandwidth and energy efficient image sharing for situation awareness in disasters
CN105872731A (zh) 数据处理的方法和装置
CN112836124A (zh) 一种画像数据获取方法、装置、电子设备及存储介质
CN110442696B (zh) 查询处理方法及装置
CN113076395B (zh) 语义模型训练、搜索显示方法、装置、设备及存储介质
CN116521502A (zh) 一种高并发量数据收集分析方法、装置及介质
CN112764988B (zh) 一种数据分段采集方法及装置
CN110471586B (zh) 项目推荐方法、装置、计算机设备和存储介质
CN105607886A (zh) 一种基于物联网的教育云视频数据显示处理系统及方法
CN113742501A (zh) 一种信息提取方法、装置、设备、及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination