CN105955876A - 一种数据监控处理方法以及装置 - Google Patents

一种数据监控处理方法以及装置 Download PDF

Info

Publication number
CN105955876A
CN105955876A CN201610317302.0A CN201610317302A CN105955876A CN 105955876 A CN105955876 A CN 105955876A CN 201610317302 A CN201610317302 A CN 201610317302A CN 105955876 A CN105955876 A CN 105955876A
Authority
CN
China
Prior art keywords
log information
operation log
described current
history
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610317302.0A
Other languages
English (en)
Other versions
CN105955876B (zh
Inventor
刘华星
徐率
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan Tengyun Information Industry Co ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201610317302.0A priority Critical patent/CN105955876B/zh
Publication of CN105955876A publication Critical patent/CN105955876A/zh
Application granted granted Critical
Publication of CN105955876B publication Critical patent/CN105955876B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3485—Performance evaluation by tracing or monitoring for I/O devices

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例公开了一种数据监控处理方法以及装置，其中方法包括：对当前系统进行全量监控以获取对应的当前全量日志信息，并对当前系统中的I/O操作事件进行监控以获取对应的当前I/O操作日志信息；当前全量日志信息是存放于第一内存中，当前I/O操作日志信息是存放于第二内存中；将当前I/O操作日志信息与第二内存中的多个历史I/O操作日志信息进行对比分析，以确定当前I/O操作日志信息对应的操作类型；若当前I/O操作日志信息对应的操作类型为需优化操作类型，将第一内存中的所有全量日志信息转存到ETL文件，并根据对比分析结果在ETL文件中进行优化标记。采用本发明，可降低人力成本，并提高对I/O操作事件信息的分析效率和分析准确性。

Description

一种数据监控处理方法以及装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种数据监控处理方法以及装置。
背景技术
目前通常可以通过process monitor(系统进程监视软件)监控工具监控系统当前的文件I/O(input/output，输入/输出)操作事件，并通过该监控工具过滤出与需要关注的应用程序相关联的I/O操作事件信息。虽然通过该监控工具可以过滤出用户所需要的I/O操作事件信息，但是依然需要介入人工对所过滤出的所有I/O操作事件信息进行分析，并根据分析结果对系统I/O进行优化。特别在I/O操作事件信息较多时，会消耗大量的人力成本，并且人工分析容易产生缺漏、错误以及重复操作，进而影响对I/O操作事件信息的分析效率和分析准确性。
发明内容
本发明实施例提供一种数据监控处理方法以及装置，可降低人力成本，并提高对I/O操作事件信息的分析效率和分析准确性。
本发明实施例提供了一种数据监控处理方法，包括：
对当前系统进行全量监控以获取对应的当前全量日志信息，并对所述当前系统中的输入/输出I/O操作事件进行监控以获取对应的当前I/O操作日志信息；所述当前全量日志信息是存放于第一内存中，所述当前I/O操作日志信息是存放于第二内存中；
将所述当前I/O操作日志信息与所述第二内存中的多个历史I/O操作日志信息进行对比分析，以确定所述当前I/O操作日志信息对应的操作类型；
当所述当前I/O操作日志信息对应的操作类型为需优化操作类型时，将所述第一内存中的所有全量日志信息转存到ETL文件，并根据所述当前I/O操作日志信息以及与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息，在所述ETL文件中进行优化标记。
相应地，本发明实施例还提供了一种数据监控处理装置，包括：
获取模块，用于对当前系统进行全量监控以获取对应的当前全量日志信息，并对所述当前系统中的输入/输出I/O操作事件进行监控以获取对应的当前I/O操作日志信息；所述当前全量日志信息是存放于第一内存中，所述当前I/O操作日志信息是存放于第二内存中；
分析模块，用于将所述当前I/O操作日志信息与所述第二内存中的多个历史I/O操作日志信息进行对比分析，以确定所述当前I/O操作日志信息对应的操作类型；
日志信息处理模块，用于当所述当前I/O操作日志信息对应的操作类型为需优化操作类型时，将所述第一内存中的所有全量日志信息转存到ETL文件，并根据所述当前I/O操作日志信息以及与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息，在所述ETL文件中进行优化标记。
本发明实施例通过将当前I/O操作日志信息与第二内存中的多个历史I/O操作日志信息进行对比分析，以确定当前I/O操作日志信息对应的操作类型，即可以分析出当前I/O操作日志信息对应的I/O操作事件是否为需要优化的I/O操作事件，若为需要优化的I/O操作事件，则可以将第一内存中的所有全量日志信息转存到ETL文件，并根据当前I/O操作日志信息以及与当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息在ETL文件中进行优化标记，以实现对I/O操作事件的自动分析以及标记，以解决因人工分析所产生的缺漏、错误以及重复操作的问题，即可以降低人力成本，并提高对I/O操作事件信息的分析效率和分析准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种数据监控处理方法的流程示意图；
图1a是本发明实施例提供的一种监控系统架构示意图；
图2是本发明实施例提供的其中一种数据对比分析方法的流程示意图；
图3是本发明实施例提供的其中另一种数据对比分析方法的流程示意图；
图4是本发明实施例提供的其中又一种数据对比分析方法的流程示意图；
图5是本发明实施例提供的一种数据监控处理装置的结构示意图；
图6是本发明实施例提供的一种分析模块的结构示意图；
图7是本发明实施例提供的另一种数据监控处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，是本发明实施例提供的一种数据监控处理方法的流程示意图，所述方法可以包括：
S101，对当前系统进行全量监控以获取对应的当前全量日志信息，并对所述当前系统中的输入/输出I/O操作事件进行监控以获取对应的当前I/O操作日志信息；所述当前全量日志信息是存放于第一内存中，所述当前I/O操作日志信息是存放于第二内存中；
具体的，本发明实施例所提供的数据监控处理装置可以应用于台式电脑、平板电脑等终端设备中；其中，所述当前全量日志信息包括当前CPU(CentralProcessing Unit，中央处理器)日志信息、当前内存日志信息、当前I/O操作日志信息等系统基本日志信息。所述数据监控处理装置在获取所述当前全量日志信息和所述当前I/O操作日志信息之前，需要打开操作系统内核事件的开关(例如，通过Kernel Session打开kernel provider)，以对当前系统的全部事件进行实时监听。此后，所述数据监控处理装置再通过WPR(Windows PerformanceRecorder，Windows性能检测工具)工具抓取捕获所监听的全部事件，以获取到所述当前全量日志信息，并将所述当前全量日志信息暂存于所述第一内存中；同时所述数据监控处理装置还对所监听的全部事件进行过滤以筛选出I/O操作事件(即实现了对所述当前系统中的I/O操作事件进行单独监控)，再从所筛选出的所述I/O操作事件中获取与预设的目标应用程序相关联的I/O操作事件对应的当前I/O操作日志信息，并将所述当前I/O操作日志信息存放于所述第二内存中，即所述当前I/O操作日志信息具体指与所述当前系统中预设的目标应用程序相关联的I/O操作事件对应的日志信息。即所述数据监控处理装置可以同时分别获取所述当前全量日志信息和所述当前I/O操作日志信息，并将它们分别缓存在不同的内存中，其中，所述当前全量日志信息携带有所述当前I/O操作日志信息。由于无法从所述当前全量日志信息中提取出所述当前I/O操作日志信息，而且为了便于I/O操作分析，所以需要通过对I/O操作事件进行单独监控，以获取到所述当前I/O操作日志信息。
其中，所述第一内存具有预设的第一容量上限值，当所述第一内存中的数据量达到所述第一容量上限值时，可以将所述第一内存中最早的全量日志信息删除，并存入所述当前全量日志信息。同样的，用于存储所述当前I/O操作日志信息的所述第二内存具有预设的第二容量上限值，当所述第二内存中的数据量达到所述第二容量上限值时，可以将所述第二内存中最早的I/O操作日志信息删除，并存入所述当前I/O操作日志信息，即所述第二内存可以为循环消息队列。所述第一容量上限值大于所述第二容量上限值。
S102，将所述当前I/O操作日志信息与所述第二内存中的多个历史I/O操作日志信息进行对比分析，以确定所述当前I/O操作日志信息对应的操作类型；
具体的，当将所述当前I/O操作日志信息存入所述第二内存后，所述数据监控处理装置可以将所述当前I/O操作日志信息与所述第二内存中的多个历史I/O操作日志信息进行对比分析，以检测所述当前I/O操作日志信息对应的当前I/O操作事件是否属于重复I/O操作类型或碎片化I/O操作类型，若检测为是，则确定所述当前I/O操作日志信息对应的操作类型为需优化操作类型，即需要对所述当前I/O操作日志信息对应的当前I/O操作事件进行I/O性能优化处理，若检测为否，则不对所述当前I/O操作日志信息进行处理。其中，所述检测所述当前I/O操作日志信息对应的当前I/O操作事件是否属于重复I/O操作类型或碎片化I/O操作类型的具体过程可以参见如下图2至图4。
S103，当所述当前I/O操作日志信息对应的操作类型为需优化操作类型时，将所述第一内存中的所有全量日志信息转存到ETL(event trace log，事件跟踪日志)文件，并根据所述当前I/O操作日志信息以及与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息，在所述ETL文件中进行优化标记；
具体的，当所述当前I/O操作日志信息对应的操作类型为需优化操作类型时，所述数据监控处理装置可以将所述第一内存中的所有全量日志信息转存到ETL文件，并根据所述当前I/O操作日志信息以及与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息，在所述ETL文件中进行优化标记。其中，所述数据监控处理装置在将所述第一内存中的所有全量日志信息转存到ETL文件后，所述第一内存中将不存在已转存的所有全量日志信息，在后续的监控过程中，所述数据监控处理装置继续将抓取到的新的全量日志信息存入所述第一内存。其中，与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息具体为：与所述当前I/O操作日志信息相同的历史I/O操作日志信息，或与所述当前I/O操作日志信息对应的I/O操作事件形成区间重复的历史I/O操作日志信息，或与所述当前I/O操作日志信息对应的I/O操作事件构成连续操作且为碎片化的历史I/O操作日志信息。其中，在所述ETL文件中进行优化标记后，用户可以根据所述ETL文件中的标记快速的找到需要优化的当前I/O操作日志信息以及与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息，然后根据这些需要优化的I/O操作日志信息进行相应的优化处理。例如，当前I/O操作日志信息以及与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息均相同，那么可以将对应的数据放入内存中，使得在后续过程中可以直接从内存中读取数据，即可以避免重复执行相同的I/O操作，进而可以减少系统的I/O操作的数据量，以提高系统I/O性能；又如当前I/O操作日志信息以及与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息分别对应的I/O操作事件是连续操作且文件I/O大小均比较小，则可以将各个I/O操作事件进行合并，使得通过一次I/O操作即可读出或写入所有数据，以减少系统的I/O操作次数，以提高系统I/O性能。由于本发明可以自动对各个I/O操作日志信息进行分析，并自动在ETL文件中进行优化标记，使得无需在进行人工分析，以解决因人工分析所产生的缺漏、错误以及重复操作的问题。
可选的，所述数据监控处理装置在转存为ETL文件的同时，还可以获取与所述当前系统对应的环境信息文件，所述环境信息文件可以包括所述当前系统的内存总量、CPU总量等系统基本参数。通过将所述环境信息文件中的内存总量信息与所述ETL文件中的内存日志信息(如内存使用量信息)进行比较，或将所述环境信息文件中的CPU总量信息与所述ETL文件中的CPU日志信息(如CPU使用量信息)进行比较，可以更加准确的找出影响系统I/O性能的因素。
进一步的，再请一并参见图1a，是本发明实施例提供的一种监控系统架构示意图，本发明实施例提供的所述数据监控处理方法是基于图1a所示的监控系统架构进行实现的。所述监控系统包括controllers(控制者)、providers(提供者)、consumers(使用者)、buffers(缓冲器)；controllers可以控制开始或者停止事件跟踪会话，并使得providers使能，当controllers使得providers有效时，providers就能对系统进行监听，且controllers可以将providers所监听到的事件存储到buffers中，buffers再将所存储的事件信息传递至consumers，consumers可对所存储的事件信息进行收集和分析。以所述数据监控处理装置获取所述当前I/O操作日志信息的过程为例，所述数据监控处理装置可以通过controllers使得providers有效，从而providers可以对所述当前系统中的全部事件进行实时监听，controllers可以对providers所监听的全部事件进行过滤以筛选出I/O操作事件，并将I/O操作事件对应的所述当前I/O操作日志信息存储到buffers中，此处的buffers就相当于所述第二内存，buffers将所述当前I/O操作日志信息以及多个历史I/O操作日志信息传递至consumers，并由consumers将所述当前I/O操作日志信息与所述多个历史I/O操作日志信息进行对比分析，以确定所述当前I/O操作日志信息对应的操作类型。
再以所述数据监控处理装置获取所述当前全量日志信息的过程为例，在providers对所述当前系统中的全部事件进行实时监听的时候，所述数据监控处理装置可以通过另一个controllers(这个controllers即为所述WPR工具，下面以“所述WPR工具”进行称呼)抓取providers所监听的全部事件，并将所监听的全部事件对应的所述当前全量日志信息存放在与所述WPR工具相关联的buffers(所述WPR工具相关联的buffers与上述的用于存储所述当前I/O操作日志信息的buffers不同，所述WPR工具相关联的buffers具体为上述的第一内存)中，当consumers确定出所述当前I/O操作日志信息对应的操作类型为需优化操作类型时，所述WPR工具可以将相关联的buffers中的所有全量日志信息转存到图1a所示的“Log files”(即上述的ETL文件)。
本发明实施例通过将当前I/O操作日志信息与第二内存中的多个历史I/O操作日志信息进行对比分析，以确定当前I/O操作日志信息对应的操作类型，即可以分析出当前I/O操作日志信息对应的I/O操作事件是否为需要优化的I/O操作事件，若为需要优化的I/O操作事件，则可以将第一内存中的所有全量日志信息转存到ETL文件，并根据当前I/O操作日志信息以及与当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息在ETL文件中进行优化标记，以实现对I/O操作事件的自动分析以及标记，以解决因人工分析所产生的缺漏、错误以及重复操作的问题，即可以降低人力成本，并提高对I/O操作事件信息的分析效率和分析准确性。
进一步的，再请参见图2，是本发明实施例提供的其中一种数据对比分析方法的流程示意图，本发明实施例的所述方法可对应于上述图1对应的实施例中的S102，所述方法具体包括：
S201，判断与所述当前I/O操作日志信息中的文件名、偏移量以及I/O数据量均相同的历史I/O操作日志信息的数量是否达到预设数量阈值；
具体的，I/O操作日志信息的格式可以为如下所示：
2016-05-11 15:16:47,480[7]INFO Magnifier:Event data:<Event MSec＝
"74676.7509"PID＝"4264"PName＝"TSVNCache"TID＝"4296"
EventName＝"FileIO/Read"FileName＝""Offset＝"122,802,176"
IrpPtr＝"0xB396F8D0"FileObject＝"0x87BB4D98"FileKey＝"0x87BB03A8"
IoSize＝"4,096"IoFlags＝"131,139"/>(这是其中一条I/O操作日志信息)；
2016-05-11 15:16:47,480[7]INFO Magnifier:Event data:<Event MSec＝
"74682.1981"PID＝"4264"PName＝"TSVNCache"TID＝"4296"
EventName＝"FileIO/Read"FileName＝""Offset＝"122,023,936"
IrpPtr＝"0xB396F8D0"FileObject＝"0x87BB4D98"FileKey＝"0x87BB03A8"
IoSize＝"4,096"IoFlags＝"131,139"/>(这是其中另一条I/O操作日志信息)；
2016-05-11 15:16:47,480[7]INFO Magnifier:Event data:<Event MSec＝
"74682.5511"PID＝"4264"PName＝"TSVNCache"TID＝"4296"
EventName＝"FileIO/Read"FileName＝""Offset＝"122,019,840"
IrpPtr＝"0xB396F8D0"FileObject＝"0x87BB4D98"FileKey＝"0x87BB03A8"
IoSize＝"4,096"IoFlags＝"131,139"/>(这是其中又一条I/O操作日志信息)；
由此可见，每个I/O操作日志信息均可以包括Msec(时间戳)、PID(进程ID)、TID(线程ID)、Pname(进程名)、EventName(事件名称)、FileName(文件名称)、Offset(偏移)、size(文件I/O大小)。因此，所述数据监控处理装置可以判断与所述当前I/O操作日志信息中的文件名(即FileName)、偏移量(即Offset)以及I/O数据量(即size)均相同的历史I/O操作日志信息的数量是否达到预设数量阈值。
S202，确定所述当前I/O操作日志信息对应的操作类型为需优化操作类型，并将与所述当前I/O操作日志信息中的文件名、偏移量以及I/O数据量均相同的历史I/O操作日志信息确定为与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息；
具体的，若S201判断出与所述当前I/O操作日志信息中的文件名、偏移量以及I/O数据量均相同的历史I/O操作日志信息的数量达到预设数量阈值，说明存在较多完全相同的I/O操作事件，而这些完全相同的I/O操作事件会降低系统I/O性能，因此，需要对这些完全相同的I/O操作事件进行优化，即可以确定所述当前I/O操作日志信息对应的操作类型为需优化操作类型，并将与所述当前I/O操作日志信息中的文件名、偏移量以及I/O数据量均相同的历史I/O操作日志信息确定为与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息。若S201判断为否，则所述数据监控处理装置暂时不将所述第一内存中的所有全量日志信息转存到ETL文件，即暂时无需进行优化标记，且所述第一内存继续存储新抓取到的全量日志信息。
进一步的，再请参见图3，是本发明实施例提供的其中另一种数据对比分析方法的流程示意图，本发明实施例的所述方法可对应于上述图1对应的实施例中的S102，所述方法具体包括：
S301，根据所述当前I/O操作日志信息与所述第二内存中的多个历史I/O操作日志信息中的偏移量以及I/O数据量，确定所述当前I/O操作日志信息对应的I/O操作区间，以及所述多个历史I/O操作日志信息分别对应的I/O操作区间；
具体的，由S201步骤可以知道，所述当前I/O操作日志信息与所述第二内存中的多个历史I/O操作日志信息均可以包括Msec(时间戳)、PID(进程ID)、TID(线程ID)、Pname(进程名)、EventName(事件名称)、FileName(文件名称)、Offset(偏移)、size(文件I/O大小)。因此，可以从所述当前I/O操作日志信息与所述第二内存中的多个历史I/O操作日志信息中分别提取出对应的偏移量(即Offset)以及I/O数据量(即size)，再根据各所述偏移量和各所述I/O数据量可以确定所述当前I/O操作日志信息对应的I/O操作区间，以及所述多个历史I/O操作日志信息分别对应的I/O操作区间；每个I/O操作区间均包括一个I/O操作起始点和一个I/O操作结束点。
S302，判断在所述多个历史I/O操作日志信息分别对应的I/O操作区间中是否存在与所述当前I/O操作日志信息对应的I/O操作区间重叠的I/O操作区间；
具体的，根据每个I/O操作区间分别对应的I/O操作起始点和I/O操作结束点，判断在所述多个历史I/O操作日志信息分别对应的I/O操作区间中是否存在与所述当前I/O操作日志信息对应的I/O操作区间重叠的I/O操作区间。例如，设当前I/O操作日志信息对应的I/O操作区间为A，A的I/O操作起始点为A.strat，A的I/O操作结束点为A.end，并设其中任一个历史I/O操作日志信息对应的I/O操作区间为B，B的I/O操作起始点为B.strat，B的I/O操作结束点为B.end，因此，当满足max(A.start，B.start)<＝min(A.end，B.end)时，即只要最小的I/O操作结束点大于或等于最大的I/O操作起始点，即可确定A和B有重叠区域。
S303，确定所述当前I/O操作日志信息对应的操作类型为需优化操作类型，并将对应有重叠的I/O操作区间的历史I/O操作日志信息确定为与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息；
具体的，当S302判断为是，则说明存在重叠的I/O操作事件，而这些重叠的I/O操作事件同样会带来冗余操作，进而降低系统I/O性能，因此，需要对重叠的I/O操作事件进行优化，即可以确定所述当前I/O操作日志信息对应的操作类型为需优化操作类型，并将对应有重叠的I/O操作区间的历史I/O操作日志信息确定为与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息。若S302判断为否，则所述数据监控处理装置暂时不将所述第一内存中的所有全量日志信息转存到ETL文件，即暂时无需进行优化标记，且所述第一内存继续存储新抓取到的全量日志信息。
进一步的，再请参见图4，是本发明实施例提供的其中又一种数据对比分析方法的流程示意图，本发明实施例的所述方法可对应于上述图1对应的实施例中的S102，所述方法具体包括：
S401，根据所述当前I/O操作日志信息与所述第二内存中的多个历史I/O操作日志信息中的偏移量以及I/O数据量，确定所述当前I/O操作日志信息对应的I/O操作区间，以及所述多个历史I/O操作日志信息分别对应的I/O操作区间；
具体的，由S201步骤可以知道，所述当前I/O操作日志信息与所述第二内存中的多个历史I/O操作日志信息均可以包括Msec(时间戳)、PID(进程ID)、TID(线程ID)、Pname(进程名)、EventName(事件名称)、FileName(文件名称)、Offset(偏移)、size(文件I/O大小)。因此，可以从所述当前I/O操作日志信息与所述第二内存中的多个历史I/O操作日志信息中分别提取出对应的偏移量(即Offset)以及I/O数据量(即size)，再根据各所述偏移量和各所述I/O数据量可以确定所述当前I/O操作日志信息对应的I/O操作区间，以及所述多个历史I/O操作日志信息分别对应的I/O操作区间；每个I/O操作区间均包括一个I/O操作起始点和一个I/O操作结束点。
S402，判断所述当前I/O操作日志信息的I/O数据量是否均小于预设第一阈值，并根据所述多个历史I/O操作日志信息分别对应的I/O操作区间判断是否存在与所述当前I/O操作日志信息对应的I/O操作区间具有连续操作关系的历史I/O操作日志信息；
具体的，通过判断所述当前I/O操作日志信息的I/O数据量是否均小于预设第一阈值，可以确定所述当前I/O操作日志信息对应的I/O操作区间是否属于碎片化区间。通过判断是否存在与所述当前I/O操作日志信息对应的I/O操作区间具有连续操作关系的历史I/O操作日志信息，可以确定是否存在与所述当前I/O操作日志信息对应的I/O操作区间相邻且为连续的I/O操作区间，例如，若存在I/O操作区间A、B、C，A和B对应历史I/O操作日志信息，C对应当前I/O操作日志信息，当A的I/O操作结束点等于B的I/O操作起始点，且B的I/O操作结束点等于C的I/O操作起始点时，则可以确定A、B、C之间为连续的I/O操作区间，即可以确定A和B对应的历史I/O操作日志信息均与所述当前I/O操作日志信息对应的I/O操作区间具有连续操作关系。
S403，若判断均为是，则进一步判断与具有所述连续操作关系且所述I/O数据量小于所述预设第一阈值的历史I/O操作日志信息的数量是否超过预设第二阈值；
具体的，若S402判断为是，可以进一步判断与具有所述连续操作关系且所述I/O数据量小于所述预设第一阈值的历史I/O操作日志信息的数量是否超过预设第二阈值。
S404，若判断为超过所述预设第二阈值，则确定所述当前I/O操作日志信息对应的操作类型为需优化操作类型，并将具有所述连续操作关系且所述I/O数据量小于所述预设第一阈值的历史I/O操作日志信息确定为与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息；
具体的，若S403判断为是，说明存在大量连续的且为碎片化的I/O操作事件，而这些连续的且为碎片化的I/O操作事件会使I/O操作次数激增，进而会降低系统I/O性能，因此，需要对这些连续的且为碎片化的I/O操作事件进行优化，即可以确定所述当前I/O操作日志信息对应的操作类型为需优化操作类型，并将具有所述连续操作关系且所述I/O数据量小于所述预设第一阈值的历史I/O操作日志信息确定为与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息。若S402或S403判断为否，则所述数据监控处理装置暂时不将所述第一内存中的所有全量日志信息转存到ETL文件，即暂时无需进行优化标记，且所述第一内存继续存储新抓取到的全量日志信息。
可选的，本发明实施例所提供的数据监控处理方法可以同时执行S201、S302、S402的判断步骤，以确定出所述当前I/O操作日志信息对应的I/O操作事件是否属于相同I/O操作、区间重复I/O操作、连续碎片化I/O操作中的其中一种。
请参见图5，是本发明实施例提供的一种数据监控处理装置1的结构示意图，所述数据监控处理装置1可以应用于台式电脑、平板电脑等终端设备中，所述数据监控处理装置1可以包括：获取模块10、分析模块20、日志信息处理模块30；
所述获取模块10，用于对当前系统进行全量监控以获取对应的当前全量日志信息，并对所述当前系统中的I/O操作事件进行监控以获取对应的当前I/O操作日志信息；所述当前全量日志信息是存放于第一内存中，所述当前I/O操作日志信息是存放于第二内存中；
具体的，所述当前全量日志信息包括当前CPU日志信息、当前内存日志信息、当前I/O操作日志信息等系统基本日志信息。所述获取模块10在获取所述当前全量日志信息和所述当前I/O操作日志信息之前，需要打开操作系统内核事件的开关(例如，通过Kernel Session打开kernel provider)，以对当前系统的全部事件进行实时监听。此后，所述获取模块10再通过WPR工具抓取捕获所监听的全部事件，以获取到所述当前全量日志信息，并将所述当前全量日志信息暂存于所述第一内存中；同时所述获取模块10还对所监听的全部事件进行过滤以筛选出I/O操作事件(即实现了对所述当前系统中的I/O操作事件进行单独监控)，再从所筛选出的所述I/O操作事件中获取与预设的目标应用程序相关联的I/O操作事件对应的当前I/O操作日志信息，并将所述当前I/O操作日志信息存放于所述第二内存中，即所述当前I/O操作日志信息具体指与所述当前系统中预设的目标应用程序相关联的I/O操作事件对应的日志信息。即所述获取模块10可以同时分别获取所述当前全量日志信息和所述当前I/O操作日志信息，并将它们分别缓存在不同的内存中，其中，所述当前全量日志信息携带有所述当前I/O操作日志信息。由于无法从所述当前全量日志信息中提取出所述当前I/O操作日志信息，而且为了便于I/O操作分析，所以需要通过对I/O操作事件进行单独监控，以获取到所述当前I/O操作日志信息。
其中，所述第一内存具有预设的第一容量上限值，当所述第一内存中的数据量达到所述第一容量上限值时，可以将所述第一内存中最早的全量日志信息删除，并存入所述当前全量日志信息。同样的，用于存储所述当前I/O操作日志信息的所述第二内存具有预设的第二容量上限值，当所述第二内存中的数据量达到所述第二容量上限值时，可以将所述第二内存中最早的I/O操作日志信息删除，并存入所述当前I/O操作日志信息，即所述第二内存可以为循环消息队列。所述第一容量上限值大于所述第二容量上限值。
所述分析模块20，用于将所述当前I/O操作日志信息与所述第二内存中的多个历史I/O操作日志信息进行对比分析，以确定所述当前I/O操作日志信息对应的操作类型；
具体的，当将所述当前I/O操作日志信息存入所述第二内存后，所述分析模块20可以将所述当前I/O操作日志信息与所述第二内存中的多个历史I/O操作日志信息进行对比分析，以检测所述当前I/O操作日志信息对应的当前I/O操作事件是否属于重复I/O操作类型或碎片化I/O操作类型，若检测为是，则确定所述当前I/O操作日志信息对应的操作类型为需优化操作类型，即需要对所述当前I/O操作日志信息对应的当前I/O操作事件进行I/O性能优化处理，若检测为否，则不对所述当前I/O操作日志信息进行处理。
进一步的，请一并参见图6，是本发明实施例提供的一种分析模块20的结构示意图，所述分析模块20可以包括：第一判断单元201、第一确定单元202、第一区间确定单元203、第二判断单元204、第二确定单元205、第二区间确定单元206、第三判断单元207、第四判断单元208、第三确定单元209；
所述第一判断单元201，用于判断与所述当前I/O操作日志信息中的文件名、偏移量以及I/O数据量均相同的历史I/O操作日志信息的数量是否达到预设数量阈值；
所述第一确定单元202，用于若所述第一判断单元201判断为是，则确定所述当前I/O操作日志信息对应的操作类型为需优化操作类型，并将与所述当前I/O操作日志信息中的文件名、偏移量以及I/O数据量均相同的历史I/O操作日志信息确定为与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息。
所述第一区间确定单元203，用于根据所述当前I/O操作日志信息与所述第二内存中的多个历史I/O操作日志信息中的偏移量以及I/O数据量，确定所述当前I/O操作日志信息对应的I/O操作区间，以及所述多个历史I/O操作日志信息分别对应的I/O操作区间；
所述第二判断单元204，用于判断在所述多个历史I/O操作日志信息分别对应的I/O操作区间中是否存在与所述当前I/O操作日志信息对应的I/O操作区间重叠的I/O操作区间；
所述第二确定单元205，用于若所述第二判断单元204判断为是，则确定所述当前I/O操作日志信息对应的操作类型为需优化操作类型，并将对应有重叠的I/O操作区间的历史I/O操作日志信息确定为与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息。
所述第二区间确定单元206，用于根据所述当前I/O操作日志信息与所述第二内存中的多个历史I/O操作日志信息中的偏移量以及I/O数据量，确定所述当前I/O操作日志信息对应的I/O操作区间，以及所述多个历史I/O操作日志信息分别对应的I/O操作区间；
所述第三判断单元207，用于判断所述当前I/O操作日志信息的I/O数据量是否均小于预设第一阈值，并根据所述多个历史I/O操作日志信息分别对应的I/O操作区间判断是否存在与所述当前I/O操作日志信息对应的I/O操作区间具有连续操作关系的历史I/O操作日志信息；
所述第四判断单元208，用于若所述第三判断单元207判断均为是，则进一步判断与具有所述连续操作关系且所述I/O数据量小于所述预设第一阈值的历史I/O操作日志信息的数量是否超过预设第二阈值；
所述第三确定单元209，用于若所述第四判断单元208判断为超过所述预设第二阈值，则确定所述当前I/O操作日志信息对应的操作类型为需优化操作类型，并将具有所述连续操作关系且所述I/O数据量小于所述预设第一阈值的历史I/O操作日志信息确定为与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息。
其中，所述第一判断单元201和所述第一确定单元202是用于判断所述当前I/O操作日志信息对应的I/O操作事件是否属于相同I/O操作；所述第一区间确定单元203、所述第二判断单元204以及所述第二确定单元205是用于判断所述当前I/O操作日志信息对应的I/O操作事件是否属于区间重复I/O操作；所述第二区间确定单元206、所述第三判断单元207、所述第四判断单元208以及所述第三确定单元209是用于判断所述当前I/O操作日志信息对应的I/O操作事件是否属于连续碎片化I/O操作。其中，所述第一判断单元201、所述第一区间确定单元203、所述第二区间确定单元206可以同时执行，以确定出所述当前I/O操作日志信息对应的I/O操作事件是否属于相同I/O操作、区间重复I/O操作、连续碎片化I/O操作中的其中一种。
所述第一判断单元201和所述第一确定单元202的具体实现方式可以参见上述图2对应实施例中的S201-S202，这里不再进行赘述。所述第一区间确定单元203、所述第二判断单元204以及所述第二确定单元205的具体实现方式可以参见上述图3对应实施例中的S301-S303，这里不再进行赘述。所述第二区间确定单元206、所述第三判断单元207、所述第四判断单元208以及所述第三确定单元209的具体实现方式可以参见上述图4对应实施例中的S401-S404，这里不再进行赘述。
所述日志信息处理模块30，用于当所述当前I/O操作日志信息对应的操作类型为需优化操作类型时，将所述第一内存中的所有全量日志信息转存到ETL文件，并根据所述当前I/O操作日志信息以及与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息，在所述ETL文件中进行优化标记；
具体的，当所述当前I/O操作日志信息对应的操作类型为需优化操作类型时，所述日志信息处理模块30可以将所述第一内存中的所有全量日志信息转存到ETL文件，并根据所述当前I/O操作日志信息以及与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息，在所述ETL文件中进行优化标记。其中，所述日志信息处理模块30在将所述第一内存中的所有全量日志信息转存到ETL文件后，所述第一内存中将不存在已转存的所有全量日志信息，在后续的监控过程中，所述获取模块10可以继续将抓取到的新的全量日志信息存入所述第一内存。其中，与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息具体为：与所述当前I/O操作日志信息相同的历史I/O操作日志信息，或与所述当前I/O操作日志信息对应的I/O操作事件形成区间重复的历史I/O操作日志信息，或与所述当前I/O操作日志信息对应的I/O操作事件构成连续操作且为碎片化的历史I/O操作日志信息。其中，在所述ETL文件中进行优化标记后，用户可以根据所述ETL文件中的标记快速的找到需要优化的当前I/O操作日志信息以及与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息，然后根据这些需要优化的I/O操作日志信息进行相应的优化处理。例如，当前I/O操作日志信息以及与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息均相同，那么可以将对应的数据放入内存中，使得在后续过程中可以直接从内存中读取数据，即可以避免重复执行相同的I/O操作，进而可以减少系统的I/O操作的数据量，以提高系统I/O性能；又如当前I/O操作日志信息以及与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息分别对应的I/O操作事件是连续操作且文件I/O大小均比较小，则可以将各个I/O操作事件进行合并，使得通过一次I/O操作即可读出或写入所有数据，以减少系统的I/O操作次数，以提高系统I/O性能。由于本发明可以自动对各个I/O操作日志信息进行分析，并自动在ETL文件中进行优化标记，使得无需在进行人工分析，以解决因人工分析所产生的缺漏、错误以及重复操作的问题。
可选的，所述日志信息处理模块30在转存为ETL文件的同时，还可以获取与所述当前系统对应的环境信息文件，所述环境信息文件可以包括所述当前系统的内存总量、CPU总量等系统基本参数。通过将所述环境信息文件中的内存总量信息与所述ETL文件中的内存日志信息(如内存使用量信息)进行比较，或将所述环境信息文件中的CPU总量信息与所述ETL文件中的CPU日志信息(如CPU使用量信息)进行比较，可以更加准确的找出影响系统I/O性能的因素。
本发明实施例通过将当前I/O操作日志信息与第二内存中的多个历史I/O操作日志信息进行对比分析，以确定当前I/O操作日志信息对应的操作类型，即可以分析出当前I/O操作日志信息对应的I/O操作事件是否为需要优化的I/O操作事件，若为需要优化的I/O操作事件，则可以将第一内存中的所有全量日志信息转存到ETL文件，并根据当前I/O操作日志信息以及与当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息在ETL文件中进行优化标记，以实现对I/O操作事件的自动分析以及标记，以解决因人工分析所产生的缺漏、错误以及重复操作的问题，即可以降低人力成本，并提高对I/O操作事件信息的分析效率和分析准确性。
请参见图7，是本发明实施例提供的另一种数据监控处理装置的结构示意图。所述数据监控处理装置1000可以包括：至少一个处理器1001，例如CPU，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)、键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图7所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在图7所示的数据监控处理装置1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输出的数据；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序，并具体执行以下步骤：
对当前系统进行全量监控以获取对应的当前全量日志信息，并对所述当前系统中的输入/输出I/O操作事件进行监控以获取对应的当前I/O操作日志信息；所述当前全量日志信息是存放于第一内存中，所述当前I/O操作日志信息是存放于第二内存中；
将所述当前I/O操作日志信息与所述第二内存中的多个历史I/O操作日志信息进行对比分析，以确定所述当前I/O操作日志信息对应的操作类型；
当所述当前I/O操作日志信息对应的操作类型为需优化操作类型时，将所述第一内存中的所有全量日志信息转存到事件跟踪日志ETL文件，并根据所述当前I/O操作日志信息以及与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息，在所述ETL文件中进行优化标记。
在一个实施例中，所述当前I/O操作日志信息具体指与所述当前系统中预设的目标应用程序相关联的I/O操作事件对应的日志信息；所述第二内存为循环消息队列。
在一个实施例中，所述处理器1001在执行将所述当前I/O操作日志信息与所述第二内存中的多个历史I/O操作日志信息进行对比分析，以确定所述当前I/O操作日志信息对应的操作类型时，具体执行以下步骤：
判断与所述当前I/O操作日志信息中的文件名、偏移量以及I/O数据量均相同的历史I/O操作日志信息的数量是否达到预设数量阈值；
若判断为是，则确定所述当前I/O操作日志信息对应的操作类型为需优化操作类型，并将与所述当前I/O操作日志信息中的文件名、偏移量以及I/O数据量均相同的历史I/O操作日志信息确定为与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息。
在一个实施例中，所述处理器1001在执行将所述当前I/O操作日志信息与所述第二内存中的多个历史I/O操作日志信息进行对比分析，以确定所述当前I/O操作日志信息对应的操作类型时，具体执行以下步骤：
根据所述当前I/O操作日志信息与所述第二内存中的多个历史I/O操作日志信息中的偏移量以及I/O数据量，确定所述当前I/O操作日志信息对应的I/O操作区间，以及所述多个历史I/O操作日志信息分别对应的I/O操作区间；
判断在所述多个历史I/O操作日志信息分别对应的I/O操作区间中是否存在与所述当前I/O操作日志信息对应的I/O操作区间重叠的I/O操作区间；
若判断为是，则确定所述当前I/O操作日志信息对应的操作类型为需优化操作类型，并将对应有重叠的I/O操作区间的历史I/O操作日志信息确定为与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息。
在一个实施例中，所述处理器1001在执行将所述当前I/O操作日志信息与所述第二内存中的多个历史I/O操作日志信息进行对比分析，以确定所述当前I/O操作日志信息对应的操作类型时，具体执行以下步骤：
根据所述当前I/O操作日志信息与所述第二内存中的多个历史I/O操作日志信息中的偏移量以及I/O数据量，确定所述当前I/O操作日志信息对应的I/O操作区间，以及所述多个历史I/O操作日志信息分别对应的I/O操作区间；
判断所述当前I/O操作日志信息的I/O数据量是否均小于预设第一阈值，并根据所述多个历史I/O操作日志信息分别对应的I/O操作区间判断是否存在与所述当前I/O操作日志信息对应的I/O操作区间具有连续操作关系的历史I/O操作日志信息；
若判断均为是，则进一步判断与具有所述连续操作关系且所述I/O数据量小于所述预设第一阈值的历史I/O操作日志信息的数量是否超过预设第二阈值；
若判断为超过所述预设第二阈值，则确定所述当前I/O操作日志信息对应的操作类型为需优化操作类型，并将具有所述连续操作关系且所述I/O数据量小于所述预设第一阈值的历史I/O操作日志信息确定为与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息。
在一个实施例中，所述处理器1001在执行将所述第一内存中的所有全量日志信息转存到ETL文件，并根据所述当前I/O操作日志信息以及与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息，在所述ETL文件中进行优化标记时，具体执行以下步骤：
将所述第一内存中的所有全量日志信息转存到ETL文件，并生成与所述当前系统对应的环境信息文件，并根据所述当前I/O操作日志信息、与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息以及所述环境信息文件，在所述ETL文件中进行优化标记。
本发明实施例通过将当前I/O操作日志信息与第二内存中的多个历史I/O操作日志信息进行对比分析，以确定当前I/O操作日志信息对应的操作类型，即可以分析出当前I/O操作日志信息对应的I/O操作事件是否为需要优化的I/O操作事件，若为需要优化的I/O操作事件，则可以将第一内存中的所有全量日志信息转存到ETL文件，并根据当前I/O操作日志信息以及与当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息在ETL文件中进行优化标记，以实现对I/O操作事件的自动分析以及标记，以解决因人工分析所产生的缺漏、错误以及重复操作的问题，即可以降低人力成本，并提高对I/O操作事件信息的分析效率和分析准确性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (12)

1.一种数据监控处理方法，其特征在于，包括：
对当前系统进行全量监控以获取对应的当前全量日志信息，并对所述当前系统中的输入/输出I/O操作事件进行监控以获取对应的当前I/O操作日志信息；所述当前全量日志信息是存放于第一内存中，所述当前I/O操作日志信息是存放于第二内存中；
将所述当前I/O操作日志信息与所述第二内存中的多个历史I/O操作日志信息进行对比分析，以确定所述当前I/O操作日志信息对应的操作类型；
当所述当前I/O操作日志信息对应的操作类型为需优化操作类型时，将所述第一内存中的所有全量日志信息转存到事件跟踪日志ETL文件，并根据所述当前I/O操作日志信息以及与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息，在所述ETL文件中进行优化标记。
2.如权利要求1所述的方法，其特征在于，所述当前I/O操作日志信息具体指与所述当前系统中预设的目标应用程序相关联的I/O操作事件对应的日志信息；所述第二内存为循环消息队列。
3.如权利要求1或2所述的方法，其特征在于，所述将所述当前I/O操作日志信息与所述第二内存中的多个历史I/O操作日志信息进行对比分析，以确定所述当前I/O操作日志信息对应的操作类型，包括：
判断与所述当前I/O操作日志信息中的文件名、偏移量以及I/O数据量均相同的历史I/O操作日志信息的数量是否达到预设数量阈值；
若判断为是，则确定所述当前I/O操作日志信息对应的操作类型为需优化操作类型，并将与所述当前I/O操作日志信息中的文件名、偏移量以及I/O数据量均相同的历史I/O操作日志信息确定为与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息。
4.如权利要求1或2所述的方法，其特征在于，所述将所述当前I/O操作日志信息与所述第二内存中的多个历史I/O操作日志信息进行对比分析，以确定所述当前I/O操作日志信息对应的操作类型，包括：
根据所述当前I/O操作日志信息与所述第二内存中的多个历史I/O操作日志信息中的偏移量以及I/O数据量，确定所述当前I/O操作日志信息对应的I/O操作区间，以及所述多个历史I/O操作日志信息分别对应的I/O操作区间；
判断在所述多个历史I/O操作日志信息分别对应的I/O操作区间中是否存在与所述当前I/O操作日志信息对应的I/O操作区间重叠的I/O操作区间；
若判断为是，则确定所述当前I/O操作日志信息对应的操作类型为需优化操作类型，并将对应有重叠的I/O操作区间的历史I/O操作日志信息确定为与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息。
5.如权利要求1或2所述的方法，其特征在于，所述将所述当前I/O操作日志信息与所述第二内存中的多个历史I/O操作日志信息进行对比分析，以确定所述当前I/O操作日志信息对应的操作类型，包括：
根据所述当前I/O操作日志信息与所述第二内存中的多个历史I/O操作日志信息中的偏移量以及I/O数据量，确定所述当前I/O操作日志信息对应的I/O操作区间，以及所述多个历史I/O操作日志信息分别对应的I/O操作区间；
判断所述当前I/O操作日志信息的I/O数据量是否均小于预设第一阈值，并根据所述多个历史I/O操作日志信息分别对应的I/O操作区间判断是否存在与所述当前I/O操作日志信息对应的I/O操作区间具有连续操作关系的历史I/O操作日志信息；
若判断均为是，则进一步判断与具有所述连续操作关系且所述I/O数据量小于所述预设第一阈值的历史I/O操作日志信息的数量是否超过预设第二阈值；
若判断为超过所述预设第二阈值，则确定所述当前I/O操作日志信息对应的操作类型为需优化操作类型，并将具有所述连续操作关系且所述I/O数据量小于所述预设第一阈值的历史I/O操作日志信息确定为与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息。
6.如权利要求1所述的方法，其特征在于，所述将所述第一内存中的所有全量日志信息转存到ETL文件，并根据所述当前I/O操作日志信息以及与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息，在所述ETL文件中进行优化标记，具体包括：
将所述第一内存中的所有全量日志信息转存到ETL文件，并生成与所述当前系统对应的环境信息文件，并根据所述当前I/O操作日志信息、与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息以及所述环境信息文件，在所述ETL文件中进行优化标记。
7.一种数据监控处理装置，其特征在于，包括：
获取模块，用于对当前系统进行全量监控以获取对应的当前全量日志信息，并对所述当前系统中的I/O操作事件进行监控以获取对应的当前I/O操作日志信息；所述当前全量日志信息是存放于第一内存中，所述当前I/O操作日志信息是存放于第二内存中；
分析模块，用于将所述当前I/O操作日志信息与所述第二内存中的多个历史I/O操作日志信息进行对比分析，以确定所述当前I/O操作日志信息对应的操作类型；
日志信息处理模块，用于当所述当前I/O操作日志信息对应的操作类型为需优化操作类型时，将所述第一内存中的所有全量日志信息转存到ETL文件，并根据所述当前I/O操作日志信息以及与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息，在所述ETL文件中进行优化标记。
8.如权利要求7所述的装置，其特征在于，所述当前I/O操作日志信息具体指与所述当前系统中预设的目标应用程序相关联的I/O操作事件对应的日志信息；所述第二内存为循环消息队列。
9.如权利要求7或8所述的装置，其特征在于，所述分析模块包括：
第一判断单元，用于判断与所述当前I/O操作日志信息中的文件名、偏移量以及I/O数据量均相同的历史I/O操作日志信息的数量是否达到预设数量阈值；
第一确定单元，用于若所述第一判断单元判断为是，则确定所述当前I/O操作日志信息对应的操作类型为需优化操作类型，并将与所述当前I/O操作日志信息中的文件名、偏移量以及I/O数据量均相同的历史I/O操作日志信息确定为与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息。
10.如权利要求7或8所述的装置，其特征在于，所述分析模块包括：
第一区间确定单元，用于根据所述当前I/O操作日志信息与所述第二内存中的多个历史I/O操作日志信息中的偏移量以及I/O数据量，确定所述当前I/O操作日志信息对应的I/O操作区间，以及所述多个历史I/O操作日志信息分别对应的I/O操作区间；
第二判断单元，用于判断在所述多个历史I/O操作日志信息分别对应的I/O操作区间中是否存在与所述当前I/O操作日志信息对应的I/O操作区间重叠的I/O操作区间；
第二确定单元，用于若所述第二判断单元判断为是，则确定所述当前I/O操作日志信息对应的操作类型为需优化操作类型，并将对应有重叠的I/O操作区间的历史I/O操作日志信息确定为与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息。
11.如权利要求7或8所述的装置，其特征在于，所述分析模块包括：
第二区间确定单元，用于根据所述当前I/O操作日志信息与所述第二内存中的多个历史I/O操作日志信息中的偏移量以及I/O数据量，确定所述当前I/O操作日志信息对应的I/O操作区间，以及所述多个历史I/O操作日志信息分别对应的I/O操作区间；
第三判断单元，用于判断所述当前I/O操作日志信息的I/O数据量是否均小于预设第一阈值，并根据所述多个历史I/O操作日志信息分别对应的I/O操作区间判断是否存在与所述当前I/O操作日志信息对应的I/O操作区间具有连续操作关系的历史I/O操作日志信息；
第四判断单元，用于若所述第三判断单元判断均为是，则进一步判断与具有所述连续操作关系且所述I/O数据量小于所述预设第一阈值的历史I/O操作日志信息的数量是否超过预设第二阈值；
第三确定单元，用于若所述第四判断单元判断为超过所述预设第二阈值，则确定所述当前I/O操作日志信息对应的操作类型为需优化操作类型，并将具有所述连续操作关系且所述I/O数据量小于所述预设第一阈值的历史I/O操作日志信息确定为与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息。
12.如权利要求7所述的装置，其特征在于，
所述日志信息处理模块，具体用于将所述第一内存中的所有全量日志信息转存到ETL文件，并生成与所述当前系统对应的环境信息文件，并根据所述当前I/O操作日志信息、与所述当前I/O操作日志信息具有优化关联关系的历史I/O操作日志信息以及所述环境信息文件，在所述ETL文件中进行优化标记。
CN201610317302.0A 2016-05-13 2016-05-13 一种数据监控处理方法以及装置 Active CN105955876B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610317302.0A CN105955876B (zh) 2016-05-13 2016-05-13 一种数据监控处理方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610317302.0A CN105955876B (zh) 2016-05-13 2016-05-13 一种数据监控处理方法以及装置

Publications (2)

Publication Number Publication Date
CN105955876A true CN105955876A (zh) 2016-09-21
CN105955876B CN105955876B (zh) 2020-08-14

Family

ID=56911560

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610317302.0A Active CN105955876B (zh) 2016-05-13 2016-05-13 一种数据监控处理方法以及装置

Country Status (1)

Country Link
CN (1) CN105955876B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304310A (zh) * 2018-02-28 2018-07-20 厦门美图移动科技有限公司 一种日志分析方法及计算设备
CN108319541A (zh) * 2017-01-16 2018-07-24 上海大唐移动通信设备有限公司 一种日志文件分析方法及装置
CN108847997A (zh) * 2018-04-03 2018-11-20 郑州云海信息技术有限公司 一种通过api接口进行通信的方法及其装置
CN110032486A (zh) * 2019-03-06 2019-07-19 平安科技（深圳）有限公司 服务器测试方法、装置、计算机设备及存储介质
CN110032496A (zh) * 2019-04-19 2019-07-19 杭州玳数科技有限公司 一种支持多样化日志合并的日志采集方法及系统
CN111240928A (zh) * 2020-01-06 2020-06-05 上海闻泰信息技术有限公司 设备驱动自动化检测方法、装置、设备及存储介质
CN111352760A (zh) * 2020-02-27 2020-06-30 深圳市腾讯网域计算机网络有限公司 一种数据处理的方法以及相关装置
CN112800003A (zh) * 2021-01-20 2021-05-14 华云数据（厦门）网络有限公司 创建快照的推荐方法、快照创建方法、装置及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101533366A (zh) * 2009-03-09 2009-09-16 浪潮电子信息产业股份有限公司 一种服务器性能数据采集与分析的方法
US20100083046A1 (en) * 2008-09-30 2010-04-01 Fujitsu Limited Log management method and apparatus, information processing apparatus with log management apparatus and storage medium
CN103425568A (zh) * 2013-08-23 2013-12-04 新浪网技术(中国)有限公司 日志信息处理方法及装置
CN104216806A (zh) * 2014-07-24 2014-12-17 英方软件（上海）有限公司 一种文件系统序列化操作日志的捕获与传输方法及其装置
US20150046663A1 (en) * 2013-08-06 2015-02-12 Fuji Xerox Co., Ltd Information processing apparatus and recording medium
CN104714878A (zh) * 2013-12-11 2015-06-17 阿里巴巴集团控股有限公司 一种收集日志数据的方法及装置
CN105528280A (zh) * 2015-11-30 2016-04-27 中电科华云信息技术有限公司 系统日志与健康监控关系决定日志告警等级的方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100083046A1 (en) * 2008-09-30 2010-04-01 Fujitsu Limited Log management method and apparatus, information processing apparatus with log management apparatus and storage medium
CN101533366A (zh) * 2009-03-09 2009-09-16 浪潮电子信息产业股份有限公司 一种服务器性能数据采集与分析的方法
US20150046663A1 (en) * 2013-08-06 2015-02-12 Fuji Xerox Co., Ltd Information processing apparatus and recording medium
CN103425568A (zh) * 2013-08-23 2013-12-04 新浪网技术(中国)有限公司 日志信息处理方法及装置
CN104714878A (zh) * 2013-12-11 2015-06-17 阿里巴巴集团控股有限公司 一种收集日志数据的方法及装置
CN104216806A (zh) * 2014-07-24 2014-12-17 英方软件（上海）有限公司 一种文件系统序列化操作日志的捕获与传输方法及其装置
CN105528280A (zh) * 2015-11-30 2016-04-27 中电科华云信息技术有限公司 系统日志与健康监控关系决定日志告警等级的方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
侯婧媖: "信息系统平台日志监控报警工具的研制", 《大众用电》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108319541A (zh) * 2017-01-16 2018-07-24 上海大唐移动通信设备有限公司 一种日志文件分析方法及装置
CN108304310A (zh) * 2018-02-28 2018-07-20 厦门美图移动科技有限公司 一种日志分析方法及计算设备
CN108304310B (zh) * 2018-02-28 2021-04-16 厦门美图移动科技有限公司 一种日志分析方法及计算设备
CN108847997A (zh) * 2018-04-03 2018-11-20 郑州云海信息技术有限公司 一种通过api接口进行通信的方法及其装置
CN110032486A (zh) * 2019-03-06 2019-07-19 平安科技（深圳）有限公司 服务器测试方法、装置、计算机设备及存储介质
CN110032486B (zh) * 2019-03-06 2022-08-09 平安科技（深圳）有限公司 服务器测试方法、装置、计算机设备及存储介质
CN110032496A (zh) * 2019-04-19 2019-07-19 杭州玳数科技有限公司 一种支持多样化日志合并的日志采集方法及系统
CN110032496B (zh) * 2019-04-19 2023-10-13 杭州玳数科技有限公司 一种支持多样化日志合并的日志采集方法及系统
CN111240928A (zh) * 2020-01-06 2020-06-05 上海闻泰信息技术有限公司 设备驱动自动化检测方法、装置、设备及存储介质
CN111240928B (zh) * 2020-01-06 2024-04-09 上海闻泰信息技术有限公司 设备驱动自动化检测方法、装置、设备及存储介质
CN111352760A (zh) * 2020-02-27 2020-06-30 深圳市腾讯网域计算机网络有限公司 一种数据处理的方法以及相关装置
CN112800003A (zh) * 2021-01-20 2021-05-14 华云数据（厦门）网络有限公司 创建快照的推荐方法、快照创建方法、装置及电子设备

Also Published As

Publication number Publication date
CN105955876B (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
CN105955876A (zh) 一种数据监控处理方法以及装置
CN201993755U (zh) 实时数据库的数据过滤压缩存储系统
CN108509323A (zh) 基于日志分析的业务处理方法、装置及计算机设备
CN103617098B (zh) 基于数据变化的智能备份方法及智能备份系统
CN102955719B (zh) 疑似内存泄漏的确定方法及装置
CN102323873B (zh) 即时通信中用以触发图标回复的方法及系统
CN106452931B (zh) 监控指标及域值发现方法、域值调整方法及自动监控系统
CN104636240B (zh) 一种信息报表的获取方法及终端
CN103729446A (zh) 一种用户操作数据的处理方法、处理装置及服务器
CN113037567B (zh) 一种用于电网企业的网络攻击行为仿真系统的仿真方法
CN108737193A (zh) 一种故障预测方法及装置
CN109409849A (zh) 一种mes系统的审计追踪方法及系统
CN108021492A (zh) 一种告警合并方法及设备
WO2020211253A1 (zh) 分布式系统中主机数量弹性伸缩方法、装置和计算机设备
CN109086149A (zh) 一种微服务接口调用热点分析的方法
CN111800292A (zh) 基于历史流量的预警方法、装置、计算机设备及存储介质
EP3460769B1 (en) System and method for managing alerts using a state machine
CN109766028B (zh) 一种红外触摸屏触控分管系统和方法
CN110262955A (zh) 基于pinpoint的应用性能监控工具
US9183388B2 (en) Injustice detecting system, injustice detecting device and injustice detecting method
CN107357703A (zh) 一种终端应用耗电检测方法及服务器
EP1622309A2 (en) Method and system for treating events and data uniformly
CN112579391A (zh) 一种基于人工智能的分布式数据库自动运维方法及系统
CN102253785B (zh) 电阻式触摸屏的检测方法及检测装置
CN114331688A (zh) 一种银行柜面系统业务批量运行状态检测方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211230

Address after: Room 19F, Kungang science and technology building, 777 Huancheng South Road, Xishan District, Kunming City, Yunnan Province, 650000

Patentee after: Yunnan Tengyun Information Industry Co.,Ltd.

Address before: 2, 518000, East 403 room, SEG science and Technology Park, Zhenxing Road, Shenzhen, Guangdong, Futian District

Patentee before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.