CN102043594A - 分布式环境下实现输入输出踪迹收集回放的系统和方法 - Google Patents
分布式环境下实现输入输出踪迹收集回放的系统和方法 Download PDFInfo
- Publication number
- CN102043594A CN102043594A CN 201010618378 CN201010618378A CN102043594A CN 102043594 A CN102043594 A CN 102043594A CN 201010618378 CN201010618378 CN 201010618378 CN 201010618378 A CN201010618378 A CN 201010618378A CN 102043594 A CN102043594 A CN 102043594A
- Authority
- CN
- China
- Prior art keywords
- trace
- module
- playback
- file
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
一种分布式环境下实现I/OTrace收集回放的系统，包括I/OTrace收集与重放控制单元、I/OTrace采集单元、I/OTrace重放单元；所述I/OTrace收集与重放控制单元主要是实现测试机节点的管理，所述I/OTrace采集单元和I/OTrace重放单元主要实现获取主机信息向总控台进行注册，接收总控台的控制命令，执行相应的Trace收集与回放工作，解决了现有技术中I/O请求不可控，生成的Trace对存储系统的评价不方便，从而提出一种可以I/O请求可控，便于存储系统设计和评价的I/OTrace收集回放系统。
Description
技术领域
本发明涉及计算机存储领域，具体地说是一种分布式环境下实现I/OTrace收集回放的系统和方法。
背景技术
随着计算机的发展，存储系统目前已处于计算机系统的核心地位，在实际应用环境中，对存储系统的数据处理速度、可靠性和安全性都提出了严格的要求。对于任何一种存储系统，都存在自身的优势和缺陷，因此在实际应用环境下对存储系统进行测试，可以更加客观、公平的对被测系统进行评价，通过与其他存储系统进行对比，找到被测存储系统适合的最佳环境。
中国专利文献CN1945747B中公开了一种存储单元测试方法及其系统，所述测试方法包括选择存储单元测试类型；根据所选择的测试类型产生相应的测试激励信号并发送至待测模块；根据所述测试激励信号，对待测模块的存储单元索引表进行读写操作；生成相应的测试结果。该技术方案提供的存储单元测试方法及其系统测试功能较全面，且能有效减少工作量以及降低成本，但是该测试方法并不是在实际应用环境下对系统的测试，而是根据测试时预先设定的测试信号进行测试，因此不能全面的反映实际使用的环境下的存储系统性能。
在实际应用中，为了测试实际环境下存储系统的性能，获取Trace是非常关键的环节，Trace是指数据操作的记录集，其中包含了对磁盘的操作。常用的Trace收集工具都是以单机环境为基础，要进行多机Trace收集时操作复杂，得到的Trace集不能得到有效的管理和进一步的处理。基于Trace的分析被用于更有效的软硬件的设计，它也以频繁的被用于评估文件系统性能分析和改进。I/OTrace是对某一具体文件的I/O进行记录而形成，可以反映出这一文件系统的I/O请求情况,得到该实际应用环境下的存储系统的性能信息，但由于I/O请求不可控,因此生成的I/OTrace不可控，因此无法保证其可以综合反映该存储系统的性能，对存储子系统的设计和评价就显得很不方便。
发明内容
为此，本发明所要解决的技术问题在于现有技术中I/O请求不可控，对存储系统的评价不方便，从而提出一种可以I/O请求可控，便于存储系统设计和评价的I/OTrace收集回放系统。
为解决上述技术问题，本发明的一种分布式环境下实现I/OTrace收集回放的系统，包括：I/O Trace收集与重放控制单元、I/O Trace采集单元、I/O Trace重放单元；
（1）I/O Trace收集与重放控制单元，包括：
用户界面模块，提供针对整个系统的全局和单个节点的统一配置管理界面，方便用户集中管理Trace的采集与重放；
网络通信模块，通过网络与分布式系统中的I/OTrace采集单元和I/OTrace重放单元进行通信。
导入脚本模块，用于读入指定的Trace任务脚本；
脚本分析模块，分析读入的所述Trace任务脚本中的任务，生成Trace任务；
导入Trace模块，读入并分析所述Trace任务；
生成Trace模块，将所述导入Trace模块获取的Trace任务按指定格式输出到文件；
Trace任务调度模块，根据所述脚本分析模块中的所述Trace任务或者根据用户界面接收到的命令，对采集代理模块、重放代理模块、导入Trace模块、生成Trace模块、性能分析模块进行调度，完成相关任务；
Trace资源管理模块，用于对系统中所有Trace收集与重放工具进行管理，方便Trace任务调度模块对Trace工具的远程调度；
性能分析模块，对各节点反馈上来的性能报告进行分析整理，生成性能报告；
采集代理模块，接收Trace资源管理模块和Trace任务调度模块的命令，调用指定的远程的Trace采集工具，通过网络通信模块发给远程的所述Trace采集单元，并接收来自网络的反馈后再发给上层调用者；
重放代理模块，接收 Trace资源管理模块和Trace任务调度模块的命令，调用指定的远程的Trace重放工具，通过网络通信模块发给远程的所述Trace重放单元，收到来自网络的反馈后再发给上层调用者；
（2）I/O Trace采集单元，包括：
Trace采集控制模块，为用户配置管理所述I/O Trace采集单元提供接口；
I/O Trace缓冲池模块，用于缓存I/O Trace的请求；
文件I/O采集模块，用于截获文件系统对文件的读写I/O请求包，从请求包中获取读写的信息，并将这些信息保存到一个I/O Trace缓冲池中；
块I/O采集模块，用于截获块设备的读写I/O请求包，从请求包中获取读写的信息，并将这些信息保存到一个I/O Trace缓冲池中；
Trace后台回写模块，将I/O Trace缓冲池中的信息写入Trace日志文件，并且将I/O Trace缓冲池中的信息通过网络写回到所述I/OTrace收集与重放控制单元；
网络通信模块，用于与所述I/O Trace收集与重放控制单元通过网络进行通信。
（3）I/O Trace重放单元，包括：
文件I/O重放模块，完成文件I/O重放的具体动作；
块I/O重放模块，完成块I/O重放的具体动作；
Trace分析器模块，读取Trace文件，分析Trace的格式，将需要的信息组织成I/O请求数据结构，然后发给时间尺度调整模块；
时间尺度调整模块，用于按照用户设置的策略对收到的I/O请求数据结构进行重新调整，最后交给Trace重放模块；
Trace重放模块，用于根据Trace的类型来发送调用操作系统对应的I/O重放模块的指令；
性能统计模块，根据Trace重放模块的反馈信息，统计Trace的性能并给出报告；
Trace重放控制台模块，提供用户进行操作控制使用；
网络通信模块，用于与所述I/O Trace收集与回放总控制单元进行通信。
所述Trace重放模块中Trace的类型包括文件Trace和块Trace，对应的I/O重放模块为文件I/O重放模块和块I/O重放模块。
一种使用分布式环境下实现I/OTrace收集回放的系统的方法，如图1所示，包括如下步骤：
（1）用户通过用户界面模块对系统全局和单个节点进行统一配置和管理；
（2）由导入脚本模块读入指定的Trace任务脚本，由脚本分析模块分析所述Trace任务脚本中的任务，生成Trace任务；
（3）根据所述脚本分析模块中的所述Trace任务或者根据用户界面接收到的命令，所述Trace任务调度模块对采集代理模块、导入Trace模块、生成Trace模块、重放代理模块、性能分析模块进行调度，完成相关任务。
在所述步骤（3）中，Trace任务调度模块对采集代理模块的调用过程如下：接收Trace资源管理模块和Trace任务调度模块的命令，调用指定的远程的Trace采集工具，通过网络通信模块发给远程的所述Trace采集单元，并接收来自网络的反馈后再发给上层调用者。
所述Trace采集单元的工作过程如下：
若Trace采集控制模块发出收集文件I/OTrace的命令，如图4所示，过程如下：
（1）Trace采集控制模块发出收集文件I/OTrace的命令
（2）文件I/O采集模块截获文件系统对文件的读写I/O请求包，从请求包中获取读写的信息，并将这些信息保存到一个I/O Trace缓冲池中模块中；
（3）Trace后台回写模块根据预定策略将I/O Trace缓冲池中的信息写入Trace日志文件，并将I/O Trace缓冲池中的信息通过网络写回到所述I/OTrace收集与重放控制单元；
若Trace采集控制模块发出收集块I/OTrace的命令，如图5所示，过程如下：
（1）Trace采集控制模块发出收集块I/OTrace的命令
（2）块I/O采集模块截获块设备层的I/O请求包，并发到I/OTrace缓冲池中；
（3）Trace后台回写模块根据预定策略，将I/O Trace缓冲池中的信息写入Trace日志文件，并将I/O Trace缓冲池中的信息通过网络写回到所述I/OTrace收集与重放控制单元。
在所述步骤（4）中，所述Trace任务调度模块对重放代理模块的调用过程如下：接收 Trace资源管理模块和Trace任务调度模块的命令，调用指定的远程的Trace重放工具，通过网络通信模块发给远程的所述Trace重放单元，收到来自网络的反馈后再发给上层调用者。
所述Trace重放单元的过程如下：
（a）所述Trace重放控制台模块发出的命令为重放文件I/O Trace时，如图2所示：
步骤1：所述Trace重放控制台模块发出重放文件I/O Trace的命令；
步骤2：所述Trace分析器模块根据所述Trace重放控制台命令从所述I/OTrace收集与重放控制单元获取指定的Trace记录并进行分析，构造相应的I/O请求包，发到时间尺度调整模块；
步骤3：时间尺度调整模块根据用户指令对I/O请求包的时间尺度进行调整，调整后的请求包发送到Trace重放模块；
步骤4：所述Trace重放模块根据I/O请求包的类型，将其发至文件I/O重放模块；
步骤5：文件I/O重放模块将I/O请求包发给文件系统的相应模块；
（b）所述Trace重放控制台模块发出的命令为重放块I/O Trace时，如图3所示，
步骤1：所述Trace重放控制台模块发出重放文件I/O Trace的命令；
步骤2：所述Trace分析器模块根据所述Trace重放控制台命令从所述I/OTrace收集与重放控制单元获取指定的Trace记录并进行分析，构造相应的I/O请求包，发到时间尺度调整模块；
步骤3：时间尺度调整模块根据用户指令对I/O请求包的时间尺度进行调整，调整后的请求包发送到Trace重放模块；
步骤4：所述Trace重放模块根据I/O请求包的类型，将其发至文件I/O重放模块；
步骤5：文件I/O重放模块将I/O请求包发给文件系统的相应模块。
在所述步骤（4）中，所述Trace任务调度模块对导入Trace模块、生成Trace模块进行调用，读入并分析所述Trace任务，将获取的Trace任务记录按指定格式输出到文件。
在所述步骤（4）中，所述Trace任务调度模块对性能分析模块进行调用，对各节点反馈上来的性能报告进行分析整理，生成性能报告。
本发明的上述技术方案相比现有技术具有以下优点，
（1）本发明所述的分布式环境下实现I/OTrace收集回放的系统及方法，包括I/O Trace收集与重放控制单元、I/O Trace采集单元、I/O Trace重放单元，所述I/O Trace收集与重放控制单元主要是实现测试机节点的管理，对测试机进行Trace收集和回放测试的控制，接收从测试机发送来的Trace，并对所有采集到的Trace进行管理、分析，在Trace回放时能够设置回放策略，同时实时显示各台测试机在回放时的性能表现，便于对比观察；所述I/O Trace采集单元和I/O Trace重放单元主要实现获取主机信息向总控台进行注册，接收总控台的控制命令，执行相应的Trace收集与回放工作，在收集时向总控台发送收集到的Trace，回放时接收总控台发送过来的回放Trace集进行回放，并实时的向总控台返回当前回放的实时统计信息，这样，就实现了将各种典型的I/O请求按需要生成，解决了现有技术中的I/O请求不可控、对存储系统的设计和评价不方便的技术问题，可以对存储系统进行有效的测试和管理，有利于提高存储系统的性能。
（2）本发明所述的分布式环境下实现I/OTrace收集回放的系统，Trace的类型包括文件I/OTrace和块I/OTrace，对不同类型的I/OTrace采取不同的方式进行处理，更加具有针对性，更全面的获得I/OTrace的信息。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中
图1是为本发明所述系统的I/O Trace收集与重放控制单元结构图；
图2是本发明系统I/O Trace采集单元结构图；
图3本发明系统I/O Trace重放单元结构图；
图4本发明文件I/O Trace收集流程图；
图5本发明块I/O Trace收集流程图。
具体实施方式
本发明的一种分布式环境下实现I/OTrace收集回放的系统，包括：I/O Trace收集与重放控制单元、I/O Trace采集单元、I/O Trace重放单元；
（1）I/O Trace收集与重放控制单元，包括：
用户界面模块，提供针对整个系统的全局和单个节点的统一配置管理界面，方便用户集中管理Trace的采集与重放；
网络通信模块，通过网络与分布式系统中的I/OTrace采集单元和I/OTrace重放单元进行通信。
导入脚本模块，用于读入指定的Trace任务脚本；
脚本分析模块，分析读入的所述Trace任务脚本中的任务，生成Trace任务；
导入Trace模块，读入并分析所述Trace任务；
生成Trace模块，将所述导入Trace模块获取的Trace任务按指定格式输出到文件；
Trace任务调度模块，根据所述脚本分析模块中的所述Trace任务或者根据用户界面接收到的命令，对采集代理模块、重放代理模块、导入Trace模块、生成Trace模块、性能分析模块进行调度，完成相关任务；
Trace资源管理模块，用于对系统中所有Trace收集与重放工具进行管理，方便Trace任务调度模块对Trace工具的远程调度；
性能分析模块，对各节点反馈上来的性能报告进行分析整理，生成性能报告；
采集代理模块，接收Trace资源管理模块和Trace任务调度模块的命令，调用指定的远程的Trace采集工具，通过网络通信模块发给远程的所述Trace采集单元，并接收来自网络的反馈后再发给上层调用者；
重放代理模块，接收 Trace资源管理模块和Trace任务调度模块的命令，调用指定的远程的Trace重放工具，通过网络通信模块发给远程的所述Trace重放单元，收到来自网络的反馈后再发给上层调用者；
（2）I/O Trace采集单元，包括：
Trace采集控制模块，为用户配置管理所述I/O Trace采集单元提供接口；
I/O Trace缓冲池模块，用于缓存I/O Trace的请求；
文件I/O采集模块，用于截获文件系统对文件的读写I/O请求包，从请求包中获取读写的信息，并将这些信息保存到一个I/O Trace缓冲池中；
块I/O采集模块，用于截获块设备的读写I/O请求包，从请求包中获取读写的信息，并将这些信息保存到一个I/O Trace缓冲池中；
Trace后台回写模块，将I/O Trace缓冲池中的信息写入Trace日志文件，并且将I/O Trace缓冲池中的信息通过网络写回到所述I/OTrace收集与重放控制单元；
网络通信模块，用于与所述I/O Trace收集与重放控制单元通过网络进行通信。
（3）I/O Trace重放单元，包括：
文件I/O重放模块，完成文件I/O重放的具体动作；
块I/O重放模块，完成块I/O重放的具体动作；
Trace分析器模块，读取Trace文件，分析Trace的格式，将需要的信息组织成I/O请求数据结构，然后发给时间尺度调整模块；
时间尺度调整模块，用于按照用户设置的策略对收到的I/O请求数据结构进行重新调整，最后交给Trace重放模块；
Trace重放模块，用于根据Trace的类型来发给操作系统调用对应的I/O重放模块的指令；
性能统计模块，根据Trace重放模块的反馈信息，统计Trace的性能并给出报告；
Trace重放控制台模块，提供用户进行操作控制使用；
网络通信模块，用于与所述I/O Trace收集与回放总控制单元进行通信。
所述Trace重放模块中Trace的类型包括文件Trace和块Trace，对应的I/O重放模块为文件I/O重放模块和块I/O重放模块。
上述分布式环境下实现I/OTrace收集回放的系统的工作过程如下：
（1）用户通过用户界面模块对系统全局和单个节点进行统一配置和管理；
（2）由导入脚本模块读入指定的Trace任务脚本，由脚本分析模块分析所述Trace任务脚本中的任务，生成Trace任务；
（3）根据所述脚本分析模块中的所述Trace任务或者根据用户界面接收到的命令，所述Trace任务调度模块对采集代理模块、导入Trace模块、生成Trace模块、重放代理模块、性能分析模块进行调度，完成相关任务。
下面针对Trace任务调度模块调度不同的任务来给出其相应的过程：
1、Trace任务调度模块对采集代理模块的调用过程如下：接收Trace资源管理模块和Trace任务调度模块的命令，调用指定的远程的Trace采集工具，通过网络通信模块发给远程的所述Trace采集单元，并接收来自网络的反馈后再发给上层调用者。
所述Trace采集单元的工作过程如下：
若Trace采集控制模块发出收集文件I/OTrace的命令，过程如下：
（1）Trace采集控制模块发出收集文件I/OTrace的命令
（2）文件I/O采集模块截获文件系统对文件的读写I/O请求包，从请求包中获取读写的信息，并将这些信息保存到一个I/O Trace缓冲池中模块中；
（3）Trace后台回写模块根据预定策略将I/O Trace缓冲池中的信息写入Trace日志文件，并将I/O Trace缓冲池中的信息通过网络写回到所述I/OTrace收集与重放控制单元；
若Trace采集控制模块发出收集块I/OTrace的命令，过程如下：
（1）Trace采集控制模块发出收集块I/OTrace的命令
（2）块I/O采集模块截获块设备层的I/O请求包，并发到I/OTrace缓冲池中；
（3）Trace后台回写模块根据预定策略，将I/O Trace缓冲池中的信息写入Trace日志文件，并将I/O Trace缓冲池中的信息通过网络写回到所述I/OTrace收集与重放控制单元。
2、所述Trace任务调度模块对导入Trace模块、生成Trace模块进行调用，读入并分析所述Trace任务，将获取的Trace任务记录按指定格式输出到文件。
3、所述Trace任务调度模块对重放代理模块的调用过程如下：接收 Trace资源管理模块和Trace任务调度模块的命令，调用指定的远程的Trace重放工具，通过网络通信模块发给远程的所述Trace重放单元，收到来自网络的反馈后再发给上层调用者。
所述Trace重放单元的过程如下：
（a）所述Trace重放控制台模块发出的命令为重放文件I/O Trace时，
步骤1：所述Trace重放控制台模块发出重放文件I/O Trace的命令；
步骤2：所述Trace分析器模块根据所述Trace重放控制台命令从所述I/OTrace收集与重放控制单元获取指定的Trace记录并进行分析，构造相应的I/O请求包，发到时间尺度调整模块；
步骤3：时间尺度调整模块根据用户指令对I/O请求包的时间尺度进行调整，调整后的请求包发送到Trace重放模块；
步骤4：所述Trace重放模块根据I/O请求包的类型，将其发至文件I/O重放模块；
步骤5：文件I/O重放模块将I/O请求包发给文件系统的相应模块；
步骤6：性能统计模块根据Trace重放模块的反馈信息，统计Trace的性能并给出性能统计表。
（b）所述Trace重放控制台模块发出的命令为重放块I/O Trace时；
步骤1：所述Trace重放控制台模块发出重放文件I/O Trace的命令；
步骤2：所述Trace分析器模块根据所述Trace重放控制台命令从所述I/OTrace收集与重放控制单元获取指定的Trace记录并进行分析，构造相应的I/O请求包，发到时间尺度调整模块；
步骤3：时间尺度调整模块根据用户指令对I/O请求包的时间尺度进行调整，调整后的请求包发送到Trace重放模块；
步骤4：所述Trace重放模块根据I/O请求包的类型，将其发至文件I/O重放模块；
步骤5：文件I/O重放模块将I/O请求包发给文件系统的相应模块;
步骤6：性能统计模块根据Trace重放模块的反馈信息，统计Trace的性能并给出性能统计表。
4、所述Trace任务调度模块对性能分析模块进行调用，对各节点的性能统计模块反馈上来的性能统计表进行分析整理，生成性能报告。
显然，上述实施例仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (9)
1.一种分布式环境下实现I/OTrace收集回放的系统，其特征在于，包括：I/O Trace收集与重放控制单元、I/O Trace采集单元、I/O Trace重放单元； 所述I/O Trace收集与重放控制单元工作在服务器端，所述I/O Trace采集单元和所述I/O Trace重放单元工作在客户端，
（1）I/O Trace收集与重放控制单元，包括：
用户界面模块，提供针对整个系统的全局和单个节点的统一配置管理界面，方便用户集中管理Trace的采集与重放；
网络通信模块，通过网络与分布式系统中的I/OTrace采集单元和I/OTrace重放单元进行通信；
导入脚本模块，用于读入指定的Trace任务脚本；
脚本分析模块，分析读入的所述Trace任务脚本中的任务，生成Trace任务；
导入Trace模块，读入并分析所述Trace任务；
生成Trace模块，将所述导入Trace模块获取的Trace任务按指定格式输出到文件；
Trace任务调度模块，根据所述脚本分析模块中的所述Trace任务或者根据用户界面接收到的命令，对采集代理模块、重放代理模块、导入Trace模块、生成Trace模块、性能分析模块进行调度，完成相关任务；
Trace资源管理模块，用于对系统中所有Trace收集与重放工具进行管理，方便Trace任务调度模块对Trace工具的远程调度；
性能分析模块，对各节点反馈上来的性能报告进行分析整理，生成性能报告；
采集代理模块，接收Trace资源管理模块和Trace任务调度模块的命令，调用指定的远程的Trace采集工具，通过网络通信模块发给远程的所述Trace采集单元，并接收来自网络的反馈后再发给上层调用者；
重放代理模块，接收 Trace资源管理模块和Trace任务调度模块的命令，调用指定的远程的Trace重放工具，通过网络通信模块发给远程的所述Trace重放单元，收到来自网络的反馈后再发给上层调用者；
（2）I/O Trace采集单元，包括：
Trace采集控制模块，为用户配置管理所述I/O Trace采集单元提供接口；
I/O Trace缓冲池模块，用于缓存I/O Trace的请求；
文件I/O采集模块，用于截获文件系统对文件的读写I/O请求包，从请求包中获取读写的信息，并将这些信息保存到一个I/O Trace缓冲池中；
块I/O采集模块，用于截获块设备的读写I/O请求包，从请求包中获取读写的信息，并将这些信息保存到一个I/O Trace缓冲池中；
Trace后台回写模块，将I/O Trace缓冲池中的信息写入Trace日志文件，并且将I/O Trace缓冲池中的信息通过网络写回到所述I/OTrace收集与重放控制单元；
网络通信模块，用于与所述I/O Trace收集与重放控制单元通过网络进行通信；
（3）I/O Trace重放单元，包括：
文件I/O重放模块，完成文件I/O重放的具体动作；
块I/O重放模块，完成块I/O重放的具体动作；
Trace分析器模块，读取Trace文件，分析Trace的格式，将需要的信息组织成I/O请求数据结构，然后发给时间尺度调整模块；
时间尺度调整模块，用于按照用户设置的策略对收到的I/O请求数据结构进行重新调整，最后交给Trace重放模块；
Trace重放模块，用于根据Trace的类型来发给操作系统调用对应的I/O重放模块的指令；
性能统计模块，根据Trace重放模块的反馈信息，统计Trace的性能并给出报告；
Trace重放控制台模块，提供用户进行操作控制使用；
网络通信模块，用于与所述I/O Trace收集与回放总控制单元进行通信。
2.根据权利要求1所述的分布式环境下实现I/OTrace收集回放的系统，其特征在于，所述Trace重放模块中Trace的类型包括文件Trace和块Trace，对应的I/O重放模块为文件I/O重放模块和块I/O重放模块。
3.一种使用权利要求1-2的分布式环境下实现I/OTrace收集回放的系统的方法，其特征在于，包括如下步骤：
（1）用户通过用户界面模块对系统全局和单个节点进行统一配置和管理；
（2）由导入脚本模块读入指定的Trace任务脚本，由脚本分析模块分析所述Trace任务脚本中的任务，生成Trace任务；
（3）根据所述脚本分析模块中的所述Trace任务或者根据用户界面接收到的命令，所述Trace任务调度模块对采集代理模块、导入Trace模块、生成Trace模块、重放代理模块、性能分析模块进行调度，完成相关任务。
4.根据权利要求3所述的分布式环境下实现I/OTrace收集回放的方法，其特征在于：在所述步骤（3）中，Trace任务调度模块对采集代理模块的调用过程如下：接收Trace资源管理模块和Trace任务调度模块的命令，调用指定的远程的Trace采集工具，通过网络通信模块发给远程的所述Trace采集单元，并接收来自网络的反馈后再发给上层调用者。
5.根据权利要求3或4所述的分布式环境下实现I/OTrace收集回放的方法，其特征在于：所述Trace采集单元的工作过程如下：
若Trace采集控制模块发出收集文件I/OTrace的命令，过程如下：
（1）Trace采集控制模块发出收集文件I/OTrace的命令；
（2）文件I/O采集模块截获文件系统对文件的读写I/O请求包，从请求包中获取读写的信息，并将这些信息保存到一个I/O Trace缓冲池中模块中；
（3）Trace后台回写模块根据预定策略将I/O Trace缓冲池中的信息写入Trace日志文件，并将I/O Trace缓冲池中的信息通过网络写回到所述I/OTrace收集与重放控制单元；
若Trace采集控制模块发出收集块I/OTrace的命令，过程如下：
（1）Trace采集控制模块发出收集块I/OTrace的命令
（2）块I/O采集模块截获块设备层的I/O请求包，并发到I/OTrace缓冲池中；
（3）Trace后台回写模块根据预定策略，将I/O Trace缓冲池中的信息写入Trace日志文件，并将I/O Trace缓冲池中的信息通过网络写回到所述I/OTrace收集与重放控制单元。
6.根据权利要求5所述的分布式环境下实现I/OTrace收集回放的方法，其特征在于：在所述步骤（3）中，所述Trace任务调度模块对重放代理模块的调用过程如下：接收 Trace资源管理模块和Trace任务调度模块的命令，调用指定的远程的Trace重放工具，通过网络通信模块发给远程的所述Trace重放单元，收到来自网络的反馈后再发给上层调用者。
7.根据权利要求3或4或5或6所述的分布式环境下实现I/OTrace收集回放的方法，其特征在于：所述Trace重放单元的过程如下：
（a）所述Trace重放控制台模块发出的命令为重放文件I/O Trace时，
步骤1：所述Trace重放控制台模块发出重放文件I/O Trace的命令；
步骤2：所述Trace分析器模块根据所述Trace重放控制台命令从所述I/OTrace收集与重放控制单元获取指定的Trace记录并进行分析，构造相应的I/O请求包，发到时间尺度调整模块；
步骤3：时间尺度调整模块根据用户指令对I/O请求包的时间尺度进行调整，调整后的请求包发送到Trace重放模块；
步骤4：所述Trace重放模块根据I/O请求包的类型，将其发至文件I/O重放模块；
步骤5：文件I/O重放模块将I/O请求包发给文件系统的相应模块；
（b）所述Trace重放控制台模块发出的命令为重放块I/O Trace时；
步骤1：所述Trace重放控制台模块发出重放文件I/O Trace的命令；
步骤2：所述Trace分析器模块根据所述Trace重放控制台命令从所述I/OTrace收集与重放控制单元获取指定的Trace记录并进行分析，构造相应的I/O请求包，发到时间尺度调整模块；
步骤3：时间尺度调整模块根据用户指令对I/O请求包的时间尺度进行调整，调整后的请求包发送到Trace重放模块；
步骤4：所述Trace重放模块根据I/O请求包的类型，将其发至文件I/O重放模块；
步骤5：文件I/O重放模块将I/O请求包发给文件系统的相应模块。
8.根据权利要求3所述的分布式环境下实现I/OTrace收集回放的方法，其特征在于：在所述步骤（4）中，所述Trace任务调度模块对导入Trace模块、生成Trace模块进行调用，读入并分析所述Trace任务，将获取的Trace任务记录按指定格式输出到文件。
9.根据权利要求3或4或6或8所述的分布式环境下实现I/OTrace收集回放的方法，其特征在于：在所述步骤（3）中，所述Trace任务调度模块对性能分析模块进行调用，对各节点反馈上来的性能报告进行分析整理，生成性能报告。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201010618378 CN102043594A (zh) | 2010-12-31 | 2010-12-31 | 分布式环境下实现输入输出踪迹收集回放的系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201010618378 CN102043594A (zh) | 2010-12-31 | 2010-12-31 | 分布式环境下实现输入输出踪迹收集回放的系统和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102043594A true CN102043594A (zh) | 2011-05-04 |
Family
ID=43909758
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 201010618378 Pending CN102043594A (zh) | 2010-12-31 | 2010-12-31 | 分布式环境下实现输入输出踪迹收集回放的系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102043594A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102932464A (zh) * | 2012-11-06 | 2013-02-13 | 无锡江南计算技术研究所 | 一种存储系统的性能分析方法及装置 |
| CN104598216A (zh) * | 2013-10-31 | 2015-05-06 | 国际商业机器公司 | 用于实现业务智能报告的虚拟数据写回的方法和系统 |
| CN107515724A (zh) * | 2016-06-16 | 2017-12-26 | 伊姆西公司 | 用于再现存储系统的输入输出的方法和设备 |
| CN111913881A (zh) * | 2020-07-22 | 2020-11-10 | 华中科技大学 | 一种应用程序I/O trace的生成方法 |
| WO2021190354A1 (zh) * | 2020-03-26 | 2021-09-30 | 华为技术有限公司 | 一种采集追踪trace调用链的方法和电子设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6473848B2 (en) * | 1998-02-12 | 2002-10-29 | Bull, S.A. | Method for controlling memory access on a machine with non-uniform memory access and machine for implementing such a method |
| CN101526915A (zh) * | 2009-04-28 | 2009-09-09 | 中国人民解放军国防科学技术大学 | 并行模拟中支持踪迹文件并行输入输出的方法 |
-
2010
- 2010-12-31 CN CN 201010618378 patent/CN102043594A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6473848B2 (en) * | 1998-02-12 | 2002-10-29 | Bull, S.A. | Method for controlling memory access on a machine with non-uniform memory access and machine for implementing such a method |
| CN101526915A (zh) * | 2009-04-28 | 2009-09-09 | 中国人民解放军国防科学技术大学 | 并行模拟中支持踪迹文件并行输入输出的方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102932464A (zh) * | 2012-11-06 | 2013-02-13 | 无锡江南计算技术研究所 | 一种存储系统的性能分析方法及装置 |
| CN102932464B (zh) * | 2012-11-06 | 2015-10-07 | 无锡江南计算技术研究所 | 一种存储系统的性能分析方法及装置 |
| CN104598216A (zh) * | 2013-10-31 | 2015-05-06 | 国际商业机器公司 | 用于实现业务智能报告的虚拟数据写回的方法和系统 |
| CN104598216B (zh) * | 2013-10-31 | 2018-09-04 | 格芯公司 | 用于实现业务智能报告的虚拟数据写回的方法和系统 |
| CN107515724A (zh) * | 2016-06-16 | 2017-12-26 | 伊姆西公司 | 用于再现存储系统的输入输出的方法和设备 |
| CN107515724B (zh) * | 2016-06-16 | 2021-04-02 | 伊姆西Ip控股有限责任公司 | 用于再现存储系统的输入输出的方法和设备 |
| WO2021190354A1 (zh) * | 2020-03-26 | 2021-09-30 | 华为技术有限公司 | 一种采集追踪trace调用链的方法和电子设备 |
| CN111913881A (zh) * | 2020-07-22 | 2020-11-10 | 华中科技大学 | 一种应用程序I/O trace的生成方法 |
| CN111913881B (zh) * | 2020-07-22 | 2022-02-15 | 华中科技大学 | 一种应用程序I/O trace的生成方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101683321B1 (ko) | 분산 애플리케이션들을 모니터링 하는 방법 | |
| US7797585B1 (en) | System and method for handling trace data for analysis | |
| CN103684898B (zh) | 一种监测用户请求在分布式系统中运行的方法及装置 | |
| US7516209B2 (en) | Method and framework for tracking/logging completion of requests in a computer system | |
| EP2572294B1 (en) | System and method for sql performance assurance services | |
| US8601443B2 (en) | Method and system for correlating trace data | |
| US10116534B2 (en) | Systems and methods for WebSphere MQ performance metrics analysis | |
| US20110138365A1 (en) | Component statistics for application profiling | |
| CN101533366A (zh) | 一种服务器性能数据采集与分析的方法 | |
| EP3384391B1 (en) | Real-time change data from disparate sources | |
| CN101576846A (zh) | 软件的性能检测方法 | |
| CN102043594A (zh) | 分布式环境下实现输入输出踪迹收集回放的系统和方法 | |
| CN110704277A (zh) | 一种监测应用性能的方法、相关设备及存储介质 | |
| CN107733735B (zh) | 一种植入于压测宝中的脚本录制系统及方法 | |
| CN101616174A (zh) | 一种存储系统io处理路径动态跟踪实现优化系统性能的方法 | |
| CN103577310A (zh) | 记录软件调试日志的方法以及装置 | |
| CN110147470B (zh) | 一种跨机房数据比对系统及方法 | |
| CN114356785B (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
| CN107634878B (zh) | 一种性能测试管理平台 | |
| CN104734918A (zh) | 一种轻量级网页性能测试架构和方法 | |
| Weng et al. | Kmon: An in-kernel transparent monitoring system for microservice systems with ebpf | |
| CN111970151A (zh) | 虚拟及容器网络的流量故障定位方法及系统 | |
| CN117492403B (zh) | 一种大型仪器设备运行监控系统及方法 | |
| CN112612697A (zh) | 一种基于字节码技术的软件缺陷测试定位方法及系统 | |
| CN104967667A (zh) | 一种基于云服务的软件稳定性测试远程监控系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20110504 |
|
| AD01 | Patent right deemed abandoned |