CN111049684A - 数据分析方法、装置、设备和存储介质 - Google Patents
数据分析方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN111049684A CN111049684A CN201911273354.2A CN201911273354A CN111049684A CN 111049684 A CN111049684 A CN 111049684A CN 201911273354 A CN201911273354 A CN 201911273354A CN 111049684 A CN111049684 A CN 111049684A
- Authority
- CN
- China
- Prior art keywords
- log
- throughput rate
- subfile
- file
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
- H04L43/0888—Throughput
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种数据分析方法、装置、设备和存储介质。该方法包括：在检测到日志触发指令时，获取并分割待处理日志文件，生成多个原始日志子文件；对原始日志子文件进行格式转换，生成中间日志子文件；根据中间日志子文件中的目标指标参数生成对应的目标统计指标参数；根据目标统计指标参数生成对应的吞吐率曲线图，以对吞吐率进行数据分析。本发明实施例通过在检测到日志触发指令时，自动对待处理日志文件进行文件提取、格式转换、曲线图绘制以及数据分析，实现了对吞吐率的自动化处理和分析，无需人工手动操作，极大提高了数据分析效率。
Description
技术领域
本发明实施例涉及数据分析技术，尤其涉及一种数据分析方法、装置、设备和存储介质。
背景技术
在当前高通平台调制解调器(modem)侧，使用高通商业分析工具(QualcommCommercial Analysis Tool，QCAT)对数据吞吐率进行分析，开始分析前需要根据测试时间点手动分割每一轮测试时间段的二进制日志文件(即log文件)，然后在log文件中对影响数据吞吐率的各个指标进行手动统计比较，查看比较指标数据的图形，分析找出差异点等。由于数据吞吐率的测试轮次较多，并且各个指标的原始数据分布在QCAT工具的不同菜单中，导致分析效率低，从而影响了吞吐率问题的分析速度。
发明内容
有鉴于此，本发明提供一种数据分析方法、装置、设备和存储介质，提高了数据分析效率。
在一个实施例中，本发明实施例提供了一种数据分析方法，包括：
在检测到日志触发指令时，获取并分割待处理日志文件，生成多个原始日志子文件；
对所述原始日志子文件进行格式转换，生成中间日志子文件；
根据所述中间日志子文件中的目标指标参数生成对应的目标统计指标参数；
根据所述目标统计指标参数生成对应的吞吐率曲线图，以对吞吐率进行数据分析。
在一个实施例中，本发明实施例还提供了一种数据分析装置，包括：
第一生成模块，用于在检测到日志触发指令时，获取并分割待处理日志文件，生成多个原始日志子文件；
第二生成模块，用于对所述原始日志子文件进行格式转换，生成中间日志子文件；
第三生成模块，用于根据所述中间日志子文件中的目标指标参数生成对应的目标统计指标参数；
分析模块，用于根据所述目标统计指标参数生成对应的吞吐率曲线图，以对吞吐率进行数据分析。
在一个实施例中，本发明实施例还提供了一种设备，包括：存储器，以及一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的数据分析方法。
在一个实施例中，一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的数据分析方法。
本发明通过在检测到日志触发指令时，自动获取并分割待处理日志文件，生成多个原始日志子文件；对原始日志子文件进行格式转换，生成中间日志子文件；根据中间日志子文件中的目标指标参数生成对应的目标统计指标参数；根据目标统计指标参数生成对应的吞吐率曲线图，以对吞吐率进行数据分析。本发明实施例通过在检测到日志触发指令时，自动对待处理日志文件进行文件提取、格式转换、曲线图绘制以及数据分析，实现了对吞吐率的自动化处理和分析，无需人工手动操作，极大提高了数据分析效率。
附图说明
图1是本发明实施例提供的一种数据分析方法的流程图；
图2是本发明实施例提供的一种待处理日志文件的处理流程图；
图3是本发明实施例提供的一种对待处理日志文件得到的中间日志子文件的分析流程图；
图4是本发明实施例提供的一种数据分析装置的结构框图；
图5是本发明实施例提供的一种设备的硬件结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
图1是本发明实施例提供的一种数据分析方法的流程图，本实施例可适用于对吞吐率进行自动化分析的情况，该方法可以由数据分析装置来执行，其中，该方法可由硬件和/或软件的方式实现，并一般可集成在设备中。其中，设备可以为计算机、平板电脑等具备开发功能的终端。
如图1所示，该方法具体包括如下步骤：
S110、在检测到日志触发指令时，获取并分割待处理日志文件，生成多个原始日志子文件。
在实施例中，日志触发指令指的是自动获取待处理日志文件的启动指令。在实施例中，日志触发指令可以由人工触发，也可以由自动触发。在人工触发时，日志触发指令可以由测试人员通过鼠标点击设备屏幕上的某一按钮进行触发；在自动触发时，日志触发指令可以由定时器或计时器进行计时触发。
在实施例中，日志触发指令中携带待处理日志文件。可以理解为，在检测到日志触发指令时，可根据日志触发指令自动检测到待处理日志文件的相关链接或相关文件夹。在检测到待处理日志文件的相关链接或相关文件夹之后，获取对应的待处理日志文件。
在一实施例中，为了避免待处理日志文件占用空间太大，导致处理速度慢，可根据待处理日志文件的占用空间对其进行分割。比如，在待处理日志文件的占用空间大于空间阈值的情况下，则对待处理日志文件进行分割，以得到多个原始日志子文件。其中，原始日志子文件指的是对待处理日志文件进行分割得到的文件，该原始日志子文件的格式并未进行修改，和待处理日志文件的格式是相同的。在一实施例中，待处理日志文件可以为log文件。
S120、对原始日志子文件进行格式转换，生成中间日志子文件。
在实施例中，原始日志子文件和待处理日志文件的格式相同，即原始日志子文件也为日志文件，即log文件。其中，log文件为二进制信息组成的文件。
在实施例中，为了便于对待处理日志文件的自动化处理，将待处理日志文件分割得到的原始日志子文件进行格式转换，以生成中间日志子文件。在一实施例中，中间日志子文件可以为文本格式的文件。比如，可以调用QCAT工具接口对原始日志子文件进行格式转换，即得到中间日志子文件。
S130、根据中间日志子文件中的目标指标参数生成对应的目标统计指标参数。
在实施例中，目标指标参数指的是可计算出对应吞吐率的相关指标数据；目标统计指标参数指的是对吞吐率进行分析的相关参数。在实施例中，在得到中间日志子文件之后，识别提取中间日志子文件中的目标指标参数，并根据目标指标参数计算得到对吞吐率进行分析的相关参数。比如，目标指标参数可以包括：处理器类型、网络接口卡的类型、数据传输总线的大小、磁盘速度、内存缓冲器的体积，以及软件对这些部件进行管理的有效程度等；目标统计指标参数可以包括：吞吐率的均值、吞吐率最大值、吞吐率最小值以及数据分布百分比值等，对此并不进行限定，可根据实际情况进行调整。
S140、根据目标统计指标参数生成对应的吞吐率曲线图，以对吞吐率进行数据分析。
在实施例中，按照数据采集时间的先后顺序，对目标统计指标参数进行曲线绘制，以得到对应的吞吐率曲线图。根据吞吐率曲线图对吞吐率进行数据分析。
本实施的技术方案，通过在检测到日志触发指令时，自动对待处理日志文件进行文件提取、格式转换、曲线图绘制以及数据分析，实现了对吞吐率的自动化处理和分析，无需人工手动操作，极大提高了数据分析效率。
在一实施例中，获取并分割待处理日志文件，生成多个原始日志子文件，包括：获取待处理日志文件；根据预设分割规则对待处理日志文件进行分割，生成多个原始日志子文件。
在一实施例中，预设分割规则，包括下述一项：文件内存最大值，和待处理日志文件采集轮数；文件内存最大值与设备处理性能有关。
在实施例中，可按照文件内存最大值或待处理日志文件采集轮数对待处理文件进行分割，以得到多个原始日志子文件。其中，文件内存最大值指的是每个原始日志子文件所能容纳的内存最大值。在一实施例中，文件内存最大值与设备处理性能有关。可以理解为，在设备处理性能较优的情况下，可将文件内存最大值设置的相对较大。示例性地，文件内存最大值可以为20兆(M)，即每个原始日志子文件所占用空间为20M。
在一实施例中，待处理日志文件采集轮数指的是待处理日志文件中所包含的周期数。比如，以1小时为一个周期，待处理日志文件所包含的内容为4个小时所处采集到的log文件，则可将待处理日志文件分割成4个原始日志子文件。当然，对待处理日志文件的预设分割规则不进行限定，其可根据实际情况进行调整设置。
在一实施例中，在将原始日志子文件转换成文本格式，生成中间日志子文件之前，还包括：将每个原始日志子文件的初始状态调整为未处理状态；确定当前所有原始日志子文件是否均已处理。
在实施例中，为了便于查找到所需处理的原始日志子文件，在得到多个中间日志子文件之后，可将每个原始日志子文件的初始状态设置为未处理状态。然后在查找待处理的原始日志子文件的同时，判断当前所有原始日志子文件是否均已被处理，若存在未处理的原始日志子文件，则对该未处理的原始日志子文件进行处理；若当前所有原始日志子文件均已被处理，则结束处理流程，并开始进行吞吐率的分析过程。
在一实施例中，在将原始日志子文件转换成文本格式，生成中间日志子文件之后，根据中间日志子文件中的目标指标参数生成对应的目标统计指标参数之前，还包括：识别提取中间日志子文件中目标时间段的目标指标参数；将目标指标参数存储至第一格式文件；将原始日志子文件的当前状态调整为已处理状态。
在实施例中，在生成多个中间日志子文件之后，可对中间日志子文件进行解析，并识别提取中目标时间段的目标指标参数。其中，目标时间段指的是测试人员计划分析吞吐率所在的时间段。示例性地，假设该中间日志子文件所对应的时间段为上午10点至11点所采集到的相关数据，而测试人员只计划对10点20分至10点40分的数据进行分析，则目标时间段为10点20分至10点40分。在得到该中间日志子文件之后，只需识别提取该中间日志子文件中目标时间段的目标指标参数即可。在得到该中间日志子文件中的目标指标参数之后，可将所有目标指标参数对应的数据信息写入第一格式文件，并将该中间日志子文件对应的原始日志子文件的当前状态由未处理状态调整为已处理状态。示例性地，第一格式文件可以为Excel格式文件。
在一实施例中，根据中间日志子文件中的目标指标参数生成对应的目标统计指标参数，包括：对中间日志子文件中的每个目标指标参数进行计算，得到对应的吞吐率均值、吞吐率最大值、吞吐率最小值和数据分布百分比值；将吞吐率均值、吞吐率最大值、吞吐率最小值和数据分布百分比值作为目标统计指标参数。
在实施例中，对每个中间日志子文件中的每个目标指标参数进行计算，得到对应的吞吐率均值、吞吐率最大值、吞吐率最小值和数据分布的百分比，并将吞吐率均值、吞吐率最大值、吞吐率最小值和数据分布的百分比作为目标统计指标参数。
在一实施例中，根据目标统计指标参数生成对应的吞吐率曲线图，以对吞吐率进行数据分析，包括：按照预先设定的采样时间间隔对目标统计指标参数进行采样，得到多个采样点；按照每个采样点的时间先后顺序，对目标统计指标参数进行绘制，以得到吞吐率曲线图；根据吞吐率曲线图对吞吐率进行数据分析。
在实施例中，采样时间间隔指的是两个相邻采样点所对应时间点之间的时间间隔。在实施例中，可根据测试需求对采样时间间隔进行设置，比如，采样时间间隔可以为1分钟，对此并不进行限定。在确定采样时间间隔之后，按照采样时间间隔对目标时间段内的目标统计指标参数进行采样，即确定采样点。在得到多个采样点之后，按照每个采样点对应的时间先后顺序，将每个采样点对应的目标统计指标参数绘制在坐标图上，以得到吞吐率曲线图，从而按照吞吐率曲线图更加直观地对目标时间段的吞吐率进行数据分析。
在一实现方式中，图2是本发明实施例提供的一种待处理日志文件的处理流程图，本实施例为对待处理日志文件进行处理的过程。在本实施例中，以预设分割规则为文件内存最大值，且文件内存最大值为20M为例，以及待处理日志文件记为log文件，且log文件为高通平台的相关文件，对数据处理的过程进行说明。如图2所示，本实施例包括如下步骤：
S210、将log文件分割成文件内存最大值为20M的原始日志子文件。
在实施例中，按照文件内存最大值(即20M)的规则，将log文件分割成多个原始日志子文件，并且每个原始日志子文件的最大容纳内存为20M。在得到多个原始日志子文件之后，将多个原始日志子文件记为文件1～N。
S220、将每个原始日志子文件的初始状态标记成未处理状态。
在实施例中，为了更方便地识别出每个原始日志子文件是否已被处理，可将每个原始日志子文件的初始状态设置为未处理状态。在原始日志子文件得到处理之后，将该原始日志子文件的当前状态由未处理状态调整为已处理状态。
S230、判断当前所有原始日志子文件中是否存在未处理的原始日志子文件，若是，则执行S240；若否，则执行S280。
在实施例中，在对原始日志子文件进行处理之前，首先判断待处理日志文件中的当前所有原始日志子文件是否都已经被处理，若都已经被处理，则结束待处理日志子文件的处理过程；若存在未处理的原始日志子文件，则对其中一个原始日志子文件进行处理。其中，对原始日志子文件的处理顺序，可按照采集时间的先后顺序进行处理，对此并不进行限定。
S240、调用QCAT工具接口将未处理的原始日志子文件A转换成文本格式的中间日志子文件A2。
在实施例中，利用QCAT工具接口将处于未处理状态的原始日志子文件A转换为文本格式文件，即中间日志子文件A2。
S250、解析中间日志子文件A2，提取目标时间段内的吞吐率相关指标数据。
在实施例中，吞吐率相关指标数据即为上述实施例中的目标指标参数。在实施例中，对中间日志子文件A2进行数据解析，并按照时间顺序依次提取目标时间段内吞吐率的相关指标数据。
S260、将所有吞吐率相关指标数据写入Excel格式文件A3。
在实施例中，为了便于对吞吐率相关指标数据进行数据计算以及数据分析，可将中间日志子文件A2中的所有吞吐率相关指标数据写入Excel格式文件A3，即上述实施例中的第一格式文件。
S270、标记原始日志子文件A为已处理状态。
在实施例中，为了便于后续对原始日志子文件A的处理和分析过程，将已处理过的原始日志子文件A的当前状态由未处理状态修改为已处理状态。
S280、结束。
图3是本发明实施例提供的一种对待处理日志文件得到的中间日志子文件的分析流程图。如图3所示，本实施例是在上述图2的基础上，对吞吐率进行分析的过程。本实施例包括如下步骤：
S310、打开并解析log文件得到的Excel文件A3。
在实施例中，在对目标时间段的吞吐率进行分析之前，打开并解析log文件进行解析处理得到的Excel文件A3。
S320、根据每一轮测试时间段得到目标时间段内的吞吐率相关指标数据。
在实施例中，每一轮测试时间段可以理解为上述实施例中的周期。在实施例中，每一轮测试时间段的时间总长为上述实施例中一个周期的时间总长。在实施例中，按照测试需求，识别提取Excel文件A3中目标时间段内的吞吐率相关指标数据。
S330、计算该段吞吐率相关指标数据的吞吐率统计指标。
其中，吞吐率统计指标即为上述实施例中的目标统计指标参数，包括：吞吐率均值、吞吐率最大值、吞吐率最小值和数据分布百分比值。在实施例中，根据吞吐率相关指标数据，计算得到对应的吞吐率均值、吞吐率最大值、吞吐率最小值和数据分布百分比值。其中，对吞吐率相关指标数据的具体计算过程不再赘述，可参见现有相关计算技术。
S340、根据测试需求设置采样时间间隔，并按照时间先后顺序将所有的吞吐率统计指标绘制在坐标图上，以得到吞吐率曲线图。
在实施例中，按照测试需求设置两个相邻采样点之间的采样时间间隔，并按照每个采样点的时间先后顺序将所有的吞吐率统计指标绘制在坐标图上，以得到对应的吞吐率曲线图。
本实施例的技术方案，通过程序自动化处理log文件，提取出log文件中有效测试时间段内的吞吐率相关指标数据，并对吞吐率相关指标数据进行自动计算，得到对应的吞吐率统计指标，并按照时间先后顺序对吞吐率统计指标进行图形化处理，从而方便测试人员进行吞吐率的数据分析，极大提高了分析效率。
图4是本发明实施例提供的一种数据分析装置的结构框图，该装置适用于对吞吐率进行自动化分析的情况，该装置可以由硬件/软件实现，并一般可集成在设备中。如图4所示，该装置包括：第一生成模块410、第二生成模块420、第三生成模块430和分析模块440。
其中，第一生成模块410，用于在检测到日志触发指令时，获取并分割待处理日志文件，生成多个原始日志子文件；
第二生成模块420，用于对原始日志子文件进行格式转换，生成中间日志子文件；
第三生成模块430，用于根据中间日志子文件中的目标指标参数生成对应的目标统计指标参数；
分析模块440，用于根据目标统计指标参数生成对应的吞吐率曲线图，以对吞吐率进行数据分析。
本实施例的技术方案，通过在检测到日志触发指令时，自动对待处理日志文件进行文件提取、格式转换、曲线图绘制以及数据分析，实现了对吞吐率的自动化处理和分析，无需人工手动操作，极大提高了数据分析效率。
在一实施例中，第一生成模块410，包括：
获取单元，用于获取待处理日志文件；
第一生成单元，用于根据预设分割规则对待处理日志文件进行分割，生成多个原始日志子文件。
在一实施例中，预设分割规则，包括下述一项：文件内存最大值，和待处理日志文件采集轮数；文件内存最大值与设备处理性能有关。
在一实施例中，数据分析装置，还包括：
第一调整模块，用于在将原始日志子文件转换成文本格式，生成中间日志子文件之前，将每个原始日志子文件的初始状态调整为未处理状态；
确定模块，用于确定当前所有原始日志子文件是否均已处理。
在一实施例中，数据分析装置，还包括：
识别提取模块，用于在将原始日志子文件转换成文本格式，生成中间日志子文件之后，根据中间日志子文件中的目标指标参数生成对应的目标统计指标参数之前，识别提取中间日志子文件中目标时间段的目标指标参数；
存储模块，用于将目标指标参数存储至第一格式文件；
第二调整模块，用于将原始日志子文件的当前状态调整为已处理状态。
在一实施例中，第三生成模块，包括：
计算单元，用于对中间日志子文件中的每个目标指标参数进行计算，得到对应的吞吐率均值、吞吐率最大值、吞吐率最小值和数据分布百分比值；
确定单元，用于将吞吐率均值、吞吐率最大值、吞吐率最小值和数据分布百分比值作为目标统计指标参数。
在一实施例中，分析模块，包括：
采样单元，用于按照预先设定的采样时间间隔对目标统计指标参数进行采样，得到多个采样点；
绘制单元，用于按照每个采样点的时间先后顺序，对目标统计指标参数进行绘制，以得到吞吐率曲线图；
分析单元，用于根据吞吐率曲线图对吞吐率进行数据分析。
上述数据分析装置可执行本发明任意实施例所提供的数据分析方法，具备执行方法相应的功能模块和有益效果。
图5是本发明实施例提供的一种设备的硬件结构示意图。如图5所示，本发明实施例提供的设备，包括：存储器510，以及一个或多个处理器520。该设备中的处理器520可以是一个或多个，图5中以一个处理器520为例，设备中的处理器520和存储器510可以通过总线或其他方式连接，图5中以通过总线连接为例。其中，设备可以为计算机、平板电脑等具备开发功能的终端。
该设备中的存储器510作为一种计算机可读存储介质，可用于存储一个或多个程序，程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例所提供数据分析方法对应的程序指令/模块(例如，图4所示的数据分析装置中的模块，包括：第一生成模块410、第二生成模块420、第三生成模块430和分析模块440)。处理器510通过运行存储在存储器510中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述方法实施例中的数据分析方法。
存储器510可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备中所配置设备的使用所创建的数据等。此外，存储器510可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器510可进一步包括相对于处理器520远程设置的存储器，这些远程存储器可以通过网络连接至设备中所配置的设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
在一个实施例中，提供了一种计算机设备，包括存储器510和处理器520，该存储器510存储有计算机程序，该处理器520执行计算机程序时实现以下步骤：
在检测到日志触发指令时，获取并分割待处理日志文件，生成多个原始日志子文件；对原始日志子文件进行格式转换，生成中间日志子文件；根据中间日志子文件中的目标指标参数生成对应的目标统计指标参数；根据目标统计指标参数生成对应的吞吐率曲线图，以对吞吐率进行数据分析。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取并分割待处理日志文件，生成多个原始日志子文件，包括：获取待处理日志文件；根据预设分割规则对所述待处理日志文件进行分割，生成多个原始日志子文件。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
预设分割规则，包括下述一项：文件内存最大值，和待处理日志文件采集轮数；所述文件内存最大值与设备处理性能有关。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
在所述将所述原始日志子文件转换成文本格式，生成中间日志子文件之前，还包括：将每个所述原始日志子文件的初始状态调整为未处理状态；确定当前所有原始日志子文件是否均已处理。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
在所述将所述原始日志子文件转换成文本格式，生成中间日志子文件之后，所述根据所述中间日志子文件中的目标指标参数生成对应的目标统计指标参数之前，还包括：识别提取所述中间日志子文件中目标时间段的目标指标参数；将所述目标指标参数存储至第一格式文件；将所述原始日志子文件的当前状态调整为已处理状态。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据所述中间日志子文件中的目标指标参数生成对应的目标统计指标参数，包括：对所述中间日志子文件中的每个目标指标参数进行计算，得到对应的吞吐率均值、吞吐率最大值、吞吐率最小值和数据分布百分比值；将所述吞吐率均值、吞吐率最大值、吞吐率最小值和数据分布百分比值作为目标统计指标参数。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据所述目标统计指标参数生成对应的吞吐率曲线图，以对吞吐率进行数据分析，包括：按照预先设定的采样时间间隔对所述目标统计指标参数进行采样，得到多个采样点；按照每个所述采样点的时间先后顺序，对所述目标统计指标参数进行绘制，以得到吞吐率曲线图；根据所述吞吐率曲线图对吞吐率进行数据分析。
本发明实施例通过在检测到日志触发指令时，自动对待处理日志文件进行文件提取、格式转换、曲线图绘制以及数据分析，实现了对吞吐率的自动化处理和分析，无需人工手动操作，极大提高了数据分析效率。
上述设备可执行本发明任意实施例所提供的数据分析方法，具备执行方法相应的功能模块和有益效果。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例提供的数据分析方法，该方法包括：在检测到日志触发指令时，获取并分割待处理日志文件，生成多个原始日志子文件；对原始日志子文件进行格式转换，生成中间日志子文件；根据中间日志子文件中的目标指标参数生成对应的目标统计指标参数；根据目标统计指标参数生成对应的吞吐率曲线图，以对吞吐率进行数据分析。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取并分割待处理日志文件，生成多个原始日志子文件，包括：获取待处理日志文件；根据预设分割规则对所述待处理日志文件进行分割，生成多个原始日志子文件。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
预设分割规则，包括下述一项：文件内存最大值，和待处理日志文件采集轮数；所述文件内存最大值与设备处理性能有关。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
在所述将所述原始日志子文件转换成文本格式，生成中间日志子文件之前，还包括：将每个所述原始日志子文件的初始状态调整为未处理状态；确定当前所有原始日志子文件是否均已处理。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
在所述将所述原始日志子文件转换成文本格式，生成中间日志子文件之后，所述根据所述中间日志子文件中的目标指标参数生成对应的目标统计指标参数之前，还包括：识别提取所述中间日志子文件中目标时间段的目标指标参数；将所述目标指标参数存储至第一格式文件；将所述原始日志子文件的当前状态调整为已处理状态。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据所述中间日志子文件中的目标指标参数生成对应的目标统计指标参数，包括：对所述中间日志子文件中的每个目标指标参数进行计算，得到对应的吞吐率均值、吞吐率最大值、吞吐率最小值和数据分布百分比值；将所述吞吐率均值、吞吐率最大值、吞吐率最小值和数据分布百分比值作为目标统计指标参数。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据所述目标统计指标参数生成对应的吞吐率曲线图，以对吞吐率进行数据分析，包括：按照预先设定的采样时间间隔对所述目标统计指标参数进行采样，得到多个采样点；按照每个所述采样点的时间先后顺序，对所述目标统计指标参数进行绘制，以得到吞吐率曲线图；根据所述吞吐率曲线图对吞吐率进行数据分析。
本发明实施例通过在检测到日志触发指令时，自动对待处理日志文件进行文件提取、格式转换、曲线图绘制以及数据分析，实现了对吞吐率的自动化处理和分析，无需人工手动操作，极大提高了数据分析效率。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括，但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种数据分析方法，其特征在于，包括：
在检测到日志触发指令时，获取并分割待处理日志文件，生成多个原始日志子文件；
对所述原始日志子文件进行格式转换，生成中间日志子文件；
根据所述中间日志子文件中的目标指标参数生成对应的目标统计指标参数；
根据所述目标统计指标参数生成对应的吞吐率曲线图，以对吞吐率进行数据分析。
2.根据权利要求1所述的方法，其特征在于，所述获取并分割待处理日志文件，生成多个原始日志子文件，包括：
获取待处理日志文件；
根据预设分割规则对所述待处理日志文件进行分割，生成多个原始日志子文件。
3.根据权利要求2所述的方法，其特征在于，所述预设分割规则，包括下述一项：文件内存最大值，和待处理日志文件采集轮数；所述文件内存最大值与设备处理性能有关。
4.根据权利要求1所述的方法，其特征在于，在所述将所述原始日志子文件转换成文本格式，生成中间日志子文件之前，还包括：
将每个所述原始日志子文件的初始状态调整为未处理状态；
确定当前所有原始日志子文件是否均已处理。
5.根据权利要求1所述的方法，其特征在于，在所述将所述原始日志子文件转换成文本格式，生成中间日志子文件之后，所述根据所述中间日志子文件中的目标指标参数生成对应的目标统计指标参数之前，还包括：
识别提取所述中间日志子文件中目标时间段的目标指标参数；
将所述目标指标参数存储至第一格式文件；
将所述原始日志子文件的当前状态调整为已处理状态。
6.根据权利要求1所述的方法，其特征在于，所述根据所述中间日志子文件中的目标指标参数生成对应的目标统计指标参数，包括：
对所述中间日志子文件中的每个目标指标参数进行计算，得到对应的吞吐率均值、吞吐率最大值、吞吐率最小值和数据分布百分比值；
将所述吞吐率均值、吞吐率最大值、吞吐率最小值和数据分布百分比值作为目标统计指标参数。
7.根据权利要求1所述的方法，其特征在于，所述根据所述目标统计指标参数生成对应的吞吐率曲线图，以对吞吐率进行数据分析，包括：
按照预先设定的采样时间间隔对所述目标统计指标参数进行采样，得到多个采样点；
按照每个所述采样点的时间先后顺序，对所述目标统计指标参数进行绘制，以得到吞吐率曲线图；
根据所述吞吐率曲线图对吞吐率进行数据分析。
8.一种数据分析装置，其特征在于，包括：
第一生成模块，用于在检测到日志触发指令时，获取并分割待处理日志文件，生成多个原始日志子文件；
第二生成模块，用于对所述原始日志子文件进行格式转换，生成中间日志子文件；
第三生成模块，用于根据所述中间日志子文件中的目标指标参数生成对应的目标统计指标参数；
分析模块，用于根据所述目标统计指标参数生成对应的吞吐率曲线图，以对吞吐率进行数据分析。
9.一种设备，其特征在于，包括：存储器，以及一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的数据分析方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的数据分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911273354.2A CN111049684B (zh) | 2019-12-12 | 2019-12-12 | 数据分析方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911273354.2A CN111049684B (zh) | 2019-12-12 | 2019-12-12 | 数据分析方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111049684A true CN111049684A (zh) | 2020-04-21 |
| CN111049684B CN111049684B (zh) | 2023-04-07 |
Family
ID=70236016
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911273354.2A Active CN111049684B (zh) | 2019-12-12 | 2019-12-12 | 数据分析方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111049684B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112148747A (zh) * | 2020-09-08 | 2020-12-29 | 银清科技有限公司 | 一种基于r语言的交易系统日志分析方法及装置 |
| CN116089563A (zh) * | 2022-07-28 | 2023-05-09 | 荣耀终端有限公司 | 日志处理方法及相关装置 |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103647676A (zh) * | 2013-12-30 | 2014-03-19 | 中国科学院计算机网络信息中心 | 域名系统数据处理方法 |
| CN104616205A (zh) * | 2014-11-24 | 2015-05-13 | 北京科东电力控制系统有限责任公司 | 一种基于分布式日志分析的电力系统运行状态监视方法 |
| CN104768218A (zh) * | 2015-04-23 | 2015-07-08 | 上海斐讯数据通信技术有限公司 | 一种手机注册调试方法及系统 |
| CN105323111A (zh) * | 2015-11-17 | 2016-02-10 | 南京南瑞集团公司 | 一种运维自动化系统及方法 |
| CN105574205A (zh) * | 2016-01-18 | 2016-05-11 | 国家电网公司 | 分布式计算环境的日志动态分析系统 |
| CN106021046A (zh) * | 2016-05-12 | 2016-10-12 | 浪潮电子信息产业股份有限公司 | 一种对比硬盘性能的方法、装置和服务器 |
| CN106940679A (zh) * | 2017-02-23 | 2017-07-11 | 中科创达软件股份有限公司 | 数据处理方法及装置 |
| CN107291928A (zh) * | 2017-06-29 | 2017-10-24 | 国信优易数据有限公司 | 一种日志存储系统和方法 |
| CN108268485A (zh) * | 2016-12-30 | 2018-07-10 | 亿阳安全技术有限公司 | 一种日志实时分析方法及系统 |
| CN108399114A (zh) * | 2018-03-21 | 2018-08-14 | 财付通支付科技有限公司 | 一种系统性能测试方法、装置及存储介质 |
| CN108491310A (zh) * | 2018-03-26 | 2018-09-04 | 北京九章云极科技有限公司 | 一种日志监测方法及系统 |
| CN108683560A (zh) * | 2018-05-15 | 2018-10-19 | 中国科学院软件研究所 | 一种大数据流处理框架的性能基准测试系统及方法 |
| CN108733568A (zh) * | 2018-05-25 | 2018-11-02 | 平安科技（深圳）有限公司 | 应用测试方法、装置、设备及可读存储介质 |
| CN108833139A (zh) * | 2018-05-22 | 2018-11-16 | 桂林电子科技大学 | 一种基于类别属性划分的ossec报警数据聚合方法 |
| CN109376078A (zh) * | 2018-09-25 | 2019-02-22 | 平安普惠企业管理有限公司 | 移动应用的测试方法、终端设备及介质 |
| CN109918313A (zh) * | 2019-03-29 | 2019-06-21 | 武汉大学 | 一种基于GBDT决策树的SaaS软件性能故障诊断方法 |
| CN110265135A (zh) * | 2019-07-30 | 2019-09-20 | 北京航空航天大学杭州创新研究院 | 一种基于惯性传感器的冲牙质量检测评估系统及方法 |
| CN110309130A (zh) * | 2018-03-21 | 2019-10-08 | 中国人民财产保险股份有限公司 | 一种用于主机性能监控的方法及装置 |
| CN110426719A (zh) * | 2019-08-12 | 2019-11-08 | 上海移远通信技术股份有限公司 | 卫星参数测试分析方法及系统、设备及存储介质 |
| CN110532168A (zh) * | 2019-07-05 | 2019-12-03 | 中国平安财产保险股份有限公司 | 全链路接口压测方法、装置、计算机设备及存储介质 |
-
2019
- 2019-12-12 CN CN201911273354.2A patent/CN111049684B/zh active Active
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103647676A (zh) * | 2013-12-30 | 2014-03-19 | 中国科学院计算机网络信息中心 | 域名系统数据处理方法 |
| CN104616205A (zh) * | 2014-11-24 | 2015-05-13 | 北京科东电力控制系统有限责任公司 | 一种基于分布式日志分析的电力系统运行状态监视方法 |
| CN104768218A (zh) * | 2015-04-23 | 2015-07-08 | 上海斐讯数据通信技术有限公司 | 一种手机注册调试方法及系统 |
| CN105323111A (zh) * | 2015-11-17 | 2016-02-10 | 南京南瑞集团公司 | 一种运维自动化系统及方法 |
| CN105574205A (zh) * | 2016-01-18 | 2016-05-11 | 国家电网公司 | 分布式计算环境的日志动态分析系统 |
| CN106021046A (zh) * | 2016-05-12 | 2016-10-12 | 浪潮电子信息产业股份有限公司 | 一种对比硬盘性能的方法、装置和服务器 |
| CN108268485A (zh) * | 2016-12-30 | 2018-07-10 | 亿阳安全技术有限公司 | 一种日志实时分析方法及系统 |
| CN106940679A (zh) * | 2017-02-23 | 2017-07-11 | 中科创达软件股份有限公司 | 数据处理方法及装置 |
| CN107291928A (zh) * | 2017-06-29 | 2017-10-24 | 国信优易数据有限公司 | 一种日志存储系统和方法 |
| CN110309130A (zh) * | 2018-03-21 | 2019-10-08 | 中国人民财产保险股份有限公司 | 一种用于主机性能监控的方法及装置 |
| CN108399114A (zh) * | 2018-03-21 | 2018-08-14 | 财付通支付科技有限公司 | 一种系统性能测试方法、装置及存储介质 |
| CN108491310A (zh) * | 2018-03-26 | 2018-09-04 | 北京九章云极科技有限公司 | 一种日志监测方法及系统 |
| CN108683560A (zh) * | 2018-05-15 | 2018-10-19 | 中国科学院软件研究所 | 一种大数据流处理框架的性能基准测试系统及方法 |
| CN108833139A (zh) * | 2018-05-22 | 2018-11-16 | 桂林电子科技大学 | 一种基于类别属性划分的ossec报警数据聚合方法 |
| CN108733568A (zh) * | 2018-05-25 | 2018-11-02 | 平安科技（深圳）有限公司 | 应用测试方法、装置、设备及可读存储介质 |
| CN109376078A (zh) * | 2018-09-25 | 2019-02-22 | 平安普惠企业管理有限公司 | 移动应用的测试方法、终端设备及介质 |
| CN109918313A (zh) * | 2019-03-29 | 2019-06-21 | 武汉大学 | 一种基于GBDT决策树的SaaS软件性能故障诊断方法 |
| CN110532168A (zh) * | 2019-07-05 | 2019-12-03 | 中国平安财产保险股份有限公司 | 全链路接口压测方法、装置、计算机设备及存储介质 |
| CN110265135A (zh) * | 2019-07-30 | 2019-09-20 | 北京航空航天大学杭州创新研究院 | 一种基于惯性传感器的冲牙质量检测评估系统及方法 |
| CN110426719A (zh) * | 2019-08-12 | 2019-11-08 | 上海移远通信技术股份有限公司 | 卫星参数测试分析方法及系统、设备及存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112148747A (zh) * | 2020-09-08 | 2020-12-29 | 银清科技有限公司 | 一种基于r语言的交易系统日志分析方法及装置 |
| CN116089563A (zh) * | 2022-07-28 | 2023-05-09 | 荣耀终端有限公司 | 日志处理方法及相关装置 |
| CN116089563B (zh) * | 2022-07-28 | 2024-03-26 | 荣耀终端有限公司 | 日志处理方法及相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111049684B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20180365085A1 (en) | Method and apparatus for monitoring client applications | |
| CN108804299B (zh) | 应用程序异常处理方法及装置 | |
| CN106649831B (zh) | 一种数据过滤方法及装置 | |
| US8990792B2 (en) | Method for constructing dynamic call graph of application | |
| CN111866016B (zh) | 日志的分析方法及系统 | |
| CN111049684B (zh) | 数据分析方法、装置、设备和存储介质 | |
| CN105955876B (zh) | 一种数据监控处理方法以及装置 | |
| CN103077163B (zh) | 数据预处理方法、装置及系统 | |
| CN108228664B (zh) | 非结构化数据处理方法及装置 | |
| CN103455600A (zh) | 一种视频url抓取方法、装置及服务器设备 | |
| CN111177193A (zh) | 一种基于Flink的日志流式处理方法及系统 | |
| CN114979314A (zh) | 一种汽车can数据自动解析方法及系统、计算机可读存储介质、电子设备 | |
| CN111008107A (zh) | 一种大数据集群日志存储方法、装置、设备及存储介质 | |
| CN111767161A (zh) | 远程调用深度识别方法、装置、计算机设备及可读存储介质 | |
| CN108989902B (zh) | 一种弹幕消息的处理方法、装置、终端和存储介质 | |
| CN108287659B (zh) | 一种基于实时数据流的数据采样方法、装置及电子设备 | |
| CN112422669B (zh) | 一种多关联设备数据实时提取方法及相关装置 | |
| CN110674839B (zh) | 异常用户识别方法、装置、存储介质及电子设备 | |
| CN115964348A (zh) | 日志数据处理方法及装置、存储介质及电子终端 | |
| CN112860469A (zh) | 一种卡顿日志信息收集方法、装置、设备及存储介质 | |
| CN113032341A (zh) | 一种基于可视化配置的日志处理方法 | |
| CN108023880B (zh) | 一种数据包处理方法、装置及服务器 | |
| CN116974856B (zh) | 一种自动获取日志文件的方法、装置、设备及介质 | |
| CN112560992B (zh) | 优化图片分类模型的方法、装置、电子设备及存储介质 | |
| CN115277844B (zh) | 一种大数据后台数据处理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |