CN113392005A - 大文件处理测试方法及系统 - Google Patents

Abstract

一种大文件处理测试方法及系统，涉及测试领域，可应用于金融领域和其他领域，所述方法包含：根据测试需求获得测试规则数据和测试环境数据；按预定流程处理待处理大文件，根据测试环境数据中环境信息采集对应服务器和数据库的运行数据、数据库中记录的异常重试字段和日志记录的处理信息，获取测试目标数据中待处理大文件内各文件的开始结束时间、处理结果、异常重试字段和异常处理信息；根据开始结束时间和运行数据生成图形数据；根据各文件的开始结束时间通过测试规则数据计算获得对应的处理效率，根据各文件的异常重试字段和异常处理信息获得异常重试情况和对应的重试原因；通过图形数据、处理效率、异常重试情况和重试原因生成测试报告。

Description

大文件处理测试方法及系统

技术领域

本发明涉及测试领域，可应用于金融领域和其他领域，尤指一种大文件处理测试方法及系统。

背景技术

在金融类应用软件中涉及较多的大文件提交功能，如企业网银的工资发放、工资单导入等功能，举例来说，超10万笔工资的发放、5万笔工资单的导入展示等。在测试工程中，需要测试大文件提交的功能是否正常、大文件的处理效率、大文件处理时系统性能是否正常、大文件处理过程中是否存在系统异常重试等方面。大文件处理时一般包括如下步骤：文件提交、文件扫描、文件预解析、文件解析、文件处理，如果是工资单发放还涉及授权、二级授权等功能，如果文件处理出现问题，还涉及文件数据回退处理等功能。在测试过程中，需要关注上述各个步骤的功能是否正常、各个步骤的处理时间、步骤处理过程中对应的性能表现、数据库的性能表现、处理过程中是否有异常重试以及异常重试的原因。现在的做法是：部署监控用于统计系统服务器性能、通过数据库AWR报告来判断数据库是否正常、通过查询数据库相关表和服务器日志的方式统计各个步骤的处理效率、通过数据库表和日志来判断步骤中是否有异常重试以及异常重试的原因。可以发现，大文件的处理对数据和环境的依赖较大，同时中间步骤过多，所以通常情况下要测试多次，每次的耗时均在2小时以上，人工耗费的时间和精力非常多。

发明内容

本发明目的在于提供一种大文件处理测试方法及系统，能够在大文件处理的过程中，自动收集大文件处理各个流程的处理效率、大文件处理时系统性能是否正常、大文件处理过程中是否有异常等；以此，节约大文件提交处理过程中的测试时间，减少人力使用，能够精准统计测试过程中每个步骤的处理效率、每个步骤是否存在异常情况以及定位异常的原因、每个步骤处理过程中系统和数据库的性能表现是否正常，最终达到一次测试覆盖功能测试、性能测试、异常测试等多个方面。

为达上述目的，本发明所提供的大文件处理测试方法，具体包含：根据待处理大文件的测试需求获得测试规则数据和测试环境数据；按预定流程处理所述待处理大文件，根据所述测试环境数据中环境信息采集对应服务器和数据库的运行数据、数据库中记录的异常重试字段和日志记录的处理信息，获取所述测试目标数据中待处理大文件内各文件的开始结束时间、处理结果、异常重试字段和异常处理信息；根据所述开始结束时间和所述运行数据获得各文件处理过程中的服务器和数据库的性能参数和处理结果，根据所述性能参数和所述处理结果生成图形数据；根据各文件的所述开始结束时间通过所述测试规则数据计算获得对应的处理效率，根据各文件的所述异常重试字段和所述异常处理信息获得异常重试情况和对应的重试原因；通过所述图形数据、所述处理效率、所述异常重试情况和所述重试原因生成测试报告。

在上述大文件处理测试方法中，优选的，所述测试规则数据包含处理效率的计算规则和异常重试规则；所述测试环境数据包含环境信息、服务器信息、数据库信息、测试场景和测试开始时间。

在上述大文件处理测试方法中，优选的，根据各文件的所述开始结束时间通过所述测试规则数据计算获得对应的处理效率还包含：当所述处理效率低于预设阈值时，于所述日志记录中获得对应文件的处理信息；根据所述处理信息获得所述处理效率低的原因。

在上述大文件处理测试方法中，优选的，根据所述测试环境数据中环境信息采集对应服务器的运行数据包含：根据所述环境信息和服务器信息，通过普罗米修斯监控体系采集对应服务器的运行数据，将所述运行数据按时间顺序存储至预定时序数据库。

在上述大文件处理测试方法中，优选的，根据所述性能参数和所述处理结果生成图形数据包含：根据预定时序数据库中的所述运行数据的时间顺序，以待处理大文件的各个处理流程构建图形数据。

在上述大文件处理测试方法中，优选的，以待处理大文件的各个处理流程构建图形数据包含：根据待处理大文件的各个处理流程于所述预定时序数据库中获得对应时间的运行数据；将所述运行数据中的CPU趋势数据与各个处理流程一一对应后构建图形数据。

在上述大文件处理测试方法中，优选的，所述方法还包含：根据所述开始结束时间调用数据库的AWR服务打印AWR报告，将AWR报告补入所述测试报告；其中，所述AWR报告与各文件的处理过程一一对应。

本发明还提供一种大文件处理测试系统，所述系统包含信息管理装置、数据采集装置和分析处理装置；所述信息管理装置用于根据待处理大文件的测试需求获得测试规则数据和测试环境数据；所述数据采集装置用于按预定流程处理所述待处理大文件，根据所述测试环境数据中环境信息采集对应服务器和数据库的运行数据、数据库中记录的异常重试字段和日志记录的处理信息，获取所述测试目标数据中待处理大文件内各文件的开始结束时间、处理结果、异常重试字段和异常处理信息；所述分析处理装置用于根据所述开始结束时间和所述运行数据获得各文件处理过程中的服务器和数据库的性能参数和处理结果，根据所述性能参数和所述处理结果生成图形数据；根据各文件的所述开始结束时间通过所述测试规则数据计算获得对应的处理效率，根据各文件的所述异常重试字段和所述异常处理信息获得异常重试情况和对应的重试原因；通过所述图形数据、所述处理效率、所述异常重试情况和所述重试原因生成测试报告。

在上述大文件处理测试系统中，优选的，所述数据采集装置包含服务器监控采集模块、定时查询数据模块和时序数据库；所述服务器监控采集模块用于根据所述环境信息和服务器信息，通过普罗米修斯监控体系采集对应服务器和数据库的运行数据，将所述运行数据按时间顺序存储至所述时序数据库；所述定时查询数据模块用于按预设周期采集数据库中记录的异常重试字段和日志记录的处理信息，并获取所述测试目标数据中待处理大文件内各文件的开始结束时间、处理结果、异常重试字段和异常处理信息。

在上述大文件处理测试系统中，优选的，所述分析处理装置包含性能数据处理模块、处理效率分析模块、异常重试判断模块和报告生成模块；所述性能数据处理模块用于根据所述开始结束时间和所述运行数据获得各文件处理过程中的服务器的性能参数和处理结果，根据所述性能参数和所述处理结果生成图形数据；所述处理效率分析模块用于根据各文件的所述开始结束时间通过所述测试规则数据计算获得对应的处理效率；所述异常重试判断模块用于根据所述异常重试字段和所述异常处理信息获得异常重试情况和对应的重试原因；所述报告生成模块用于通过所述图形数据、所述处理效率、所述异常重试情况和所述重试原因生成测试报告。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。

本发明的有益技术效果在于：一次测试能够覆盖功能测试、技术测试、性能测试、异常测试等多种测试场景；能够让测试人员准确定位出现问题的过程和时间，便于排查分析解决问题；部分场景下，应用软件存在异常重试机制，但是从前台无法查看，本发明能够让测试人员清楚异常重试的次数、异常重试的原因、以及异常重试是否有效；能够解决性能测试过程中的数据问题、环境问题，通过和功能测试相结合的方式完成性能测试。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1为本发明一实施例所提供的大文件处理测试方法的流程示意图；

图2为本发明一实施例所提供的大文件处理测试方法的应用流程示意图；

图3为本发明一实施例所提供的大文件处理测试系统的原理结构示意图；

图4为本发明一实施例所提供的数据采集装置的结构示意图；

图5为本发明一实施例所提供的分析处理装置的结构示意图；

图6为本发明一实施例所提供的大文件处理测试系统的整体结构示意图；

图7为本发明一实施例所提供的电子设备的结构示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

请参考图1所示，本发明所提供的大文件处理测试方法，具体包含：

S101根据待处理大文件的测试需求获得测试规则数据和测试环境数据；

S102按预定流程处理所述待处理大文件，根据所述测试环境数据中环境信息采集对应服务器和数据库的运行数据、数据库中记录的异常重试字段和日志记录的处理信息，获取所述测试目标数据中待处理大文件内各文件的开始结束时间、处理结果、异常重试字段和异常处理信息；

S103根据所述开始结束时间和所述运行数据获得各文件处理过程中的服务器和数据库的性能参数和处理结果，根据所述性能参数和所述处理结果生成图形数据；

S104根据各文件的所述开始结束时间通过所述测试规则数据计算获得对应的处理效率，根据各文件的所述异常重试字段和所述异常处理信息获得异常重试情况和对应的重试原因；

S105通过所述图形数据、所述处理效率、所述异常重试情况和所述重试原因生成测试报告。

其中，所述测试规则数据包含处理效率的计算规则和异常重试规则；所述测试环境数据包含环境信息、服务器信息、数据库信息、测试场景和测试开始时间。以此，能够在大文件处理的过程中，自动收集大文件处理各个流程的处理效率、大文件处理时系统性能是否正常、大文件处理过程中是否有异常等；从而节约大文件提交处理过程中的测试时间，减少人力使用，能够精准统计测试过程中每个步骤的处理效率、每个步骤是否存在异常情况以及定位异常的原因、每个步骤处理过程中系统和数据库的性能表现是否正常，最终达到一次测试覆盖功能测试、性能测试、异常测试等多个方面。

在本发明一实施例中，根据各文件的所述开始结束时间通过所述测试规则数据计算获得对应的处理效率还包含：当所述处理效率低于预设阈值时，于所述日志记录中获得对应文件的处理信息；根据所述处理信息获得所述处理效率低的原因。在实际工作中，当检测到某一文件处理效率远低于预设阈值时，可进一步根据日志记录中记录内容分析其效率降低的原因，如异常重试或其他等，从而提供给工作人员快速确定其问题出处并予以解决。

在本发明一实施例中，根据所述测试环境数据中环境信息采集对应服务器的运行数据包含：根据所述环境信息和服务器信息，通过普罗米修斯监控体系采集对应服务器的运行数据，将所述运行数据按时间顺序存储至预定时序数据库。其中，普罗米修斯监控体系(Prometheus)具有如下优点：多维度数据模型、灵活的查询语言、不依赖分布式存储，单个服务器节点是自主的、通过基于HTTP的pull方式采集时序数据、可以通过中间网关进行时序序列数据推送、通过服务发现或者静态配置来发现目标服务对象、支持多种多样的图标和页面展示，比如Grafana等；其基本原理是通过HTTP协议周期性抓取被监控组件的状态，任意组件只要提供对应的HTTP接口就可以接入监控，输出被监控组件信息的HTTP接口被叫做exporter。实际工作中，可根据用户录入的环境服务器ip信息，自动下发exporter到对应的服务器并启动exporter服务(exporter主要采集系统的CPU、内存、IO、流量等信息)，然后prometheus会从对应的exporter拉取上述数据，拉取的信息会按照时间顺序存储至自身的时序数据库。Exporter采集到的CPU、内存、IO信息作为服务器监控的主要信息。

在本发明一实施例中，根据所述性能参数和所述处理结果生成图形数据包含：根据预定时序数据库中的所述运行数据的时间顺序，以待处理大文件的各个处理流程构建图形数据。进一步的，以待处理大文件的各个处理流程构建图形数据包含：根据待处理大文件的各个处理流程于所述预定时序数据库中获得对应时间的运行数据；将所述运行数据中的CPU趋势数据与各个处理流程一一对应后构建图形数据。实际工作中，可将上述时序数据库中的时序数据按照大文件处理的各个过程绘制成对应的趋势图，如大文件处理过程中预解析的CPU趋势图，其后根据时间将其一一对应。当然，也可根据实际需要选择需要展示的图形数据，本发明在此并不做进一步限定。

在本发明一实施例中，所述方法还可包含：根据所述开始结束时间调用数据库的AWR服务打印AWR报告，将AWR报告补入所述测试报告；其中，所述AWR报告与各文件的处理过程一一对应。具体的，在实际工作中只要能够查询到的开始时间点和结束时间点，即可调用数据库提供的AWR服务，打印相关AWR报告。如文件解析过程开始时，数据库相关表会记录开始时间，文件解析完成后数据库相关表会记录完成时间，则根据这两个时间点打印对应的AWR快照点，最终将快照点上送给数据库提供的AWR服务打印解析过程中的数据库AWR报告。

请参考图2所示，在实际工作中本发明所提供的大文件处理测试方法的实施流程具体如下：

S201登记登记测试环境、服务器相关信息(ip、日志)、数据库相关信息(ip、实例、数据表、数据表字典)、处理效率的计算规则(如数据库表1字段A减去数据库表2字段B表示文件解析的时间)、异常重试规则(如数据库表1字段C如果数字为2则表示有异常情况，字段D记录了异常原因，以及异常重试情况下的日志文件)、测试场景、测试开始时间等信息。

S202将S201登记的信息注册到MySQL数据库。

S203将Prometheus采集器exporter自动下送到被采集服务器，采集系统相关性能数据。

S204表示Prometheus从MySQL数据库中拉取应用服务器等信息。

S205表示Prometheus拉取exporter采集到的性能数据。

S206将采集到的性能数据存储至时序数据库。

S207将时序数据库中的性能数据绘制成趋势图，如CPU趋势图，并将趋势图和大文件处理的各个过程做到一一对应。

S208定时执行数据库查询语句或者从日志中查询大文件处理过程中时间、状态、异常次数、异常原因等情况。

S209将S208查询到的数据存储在MySQL数据库。

S210根据S208查到的开始和结束时间，打印对应过程的数据库AWR报告，如解析的AWR报告。

S211计算大文件处理的各个过程的时间，如解析过程的结束时间减去开始时间则表示解析是处理时间。

S212进行异常重试次数的统计和原因定位。

S213将S207/S211/S212的数据统一整合为一份测试报告。

请参考图3所示，本发明还提供一种大文件处理测试系统，所述系统包含信息管理装置、数据采集装置和分析处理装置；所述信息管理装置用于根据待处理大文件的测试需求获得测试规则数据和测试环境数据；所述数据采集装置用于按预定流程处理所述待处理大文件，根据所述测试环境数据中环境信息采集对应服务器和数据库的运行数据、数据库中记录的异常重试字段和日志记录的处理信息，并获取所述测试目标数据中待处理大文件内各文件的开始结束时间、处理结果、异常重试字段和异常处理信息；所述分析处理装置用于根据所述开始结束时间和所述运行数据获得各文件处理过程中的服务器和数据库的性能参数和处理结果，根据所述性能参数和所述处理结果生成图形数据；根据各文件的所述开始结束时间通过所述测试规则数据计算获得对应的处理效率，根据所述异常重试字段和所述异常处理信息获得异常重试情况和对应的重试原因；通过所述图形数据、所述处理效率、所述异常重试情况和所述重试原因生成测试报告。

在实际工作中，信息管理装置，测试人员登记测试环境、服务器相关信息(ip、日志)、数据库相关信息(ip、实例、数据表、数据表字典)、处理效率的计算规则(如数据库表1字段A减去数据库表2字段B表示文件解析的时间)、异常重试规则(如数据库表1字段C如果数字为2则表示有异常情况，字段D记录了异常原因，以及异常重试情况下的日志文件)、测试场景、测试开始时间等信息。数据采集装置，服务器的监控采集模块、时序数据库、定时查询数据库表(如查询文件解析的完成时间语句)模块、数据库AWR打印模块。分析处理装置，将数据采集部分采集到的数据进行分析处理，包括通过数据库查询到的时间来计算处理效率、通过数据库查询到的异常重试来反馈给测试人员软件发生了何种异常、通过日志来定位分析效率慢的原因或者异常重试的原因、通过服务器监控数据绘制相应的图形(如测试期间CPU使用图，便于后续测试人员分析)、通过AWR打印模块生成测试期间的AWR报告，最终将上述信息整合到一份测试报告中，提供给测试人员进行分析评估。

请参考图4所示，所述数据采集装置包含服务器监控采集模块、定时查询数据模块和时序数据库；所述服务器监控采集模块用于根据所述环境信息和服务器信息，通过普罗米修斯监控体系采集对应服务器和数据库的运行数据，将所述运行数据按时间顺序存储至所述时序数据库；所述定时查询数据模块用于按预设周期采集数据库中记录的异常重试字段和日志记录的处理信息，并获取所述测试目标数据中待处理大文件内各文件的开始结束时间、处理结果、异常重试字段和异常处理信息。具体的，在实际工作中，监控采集模块会根据用户录入的环境服务器ip信息，自动下发exporter到对应的服务器并启动exporter服务(exporter主要采集系统的CPU、内存、IO、流量等信息)，然后prometheus会从对应的exporter拉取上述数据，拉取的信息会按照时间顺序存储至自身的时序数据库。Exporter采集到的CPU、内存、IO信息作为服务器监控的主要信息；定时查询数据表模块，会定时查询测试人员录入的数据库表和字段，记录监控其中的相关信息，如数据库1表a的字段A在0的情况下表示解析完成，则定时查询模块只要检测到此字段则表示解析完成。

在上述实施例中还可包含数据库AWR打印模块，所述数据库AWR打印模块根据定时查询数据表模块查询到的开始时间点和结束时间点，调用数据库提供的AWR服务，打印相关AWR报告。如文件解析过程开始时，数据库相关表会记录开始时间，文件解析完成后数据库相关表会记录完成时间，则根据这两个时间点打印对应的AWR快照点，最终将快照点上送给数据库提供的AWR服务打印解析过程中的数据库AWR报告。

请参考图5所示，在本发明一实施例中，所述分析处理装置包含性能数据处理模块、处理效率分析模块、异常重试判断模块和报告生成模块；所述性能数据处理模块用于根据所述开始结束时间和所述运行数据获得各文件处理过程中的服务器的性能参数和处理结果，根据所述性能参数和所述处理结果生成图形数据；所述处理效率分析模块用于根据各文件的所述开始结束时间通过所述测试规则数据计算获得对应的处理效率；所述异常重试判断模块用于根据所述异常重试字段和所述异常处理信息获得异常重试情况和对应的重试原因；所述报告生成模块用于通过所述图形数据、所述处理效率、所述异常重试情况和所述重试原因生成测试报告。实际工作中，所述分析处理装置主要包括四个方面，一是根据大文件处理各个步骤的开始结束时间在时序数据库中根据时间戳获取相应的性能数据，绘制成相关图形，同时根据开始结束时间获取AWR报告；二是根据各个步骤的开始结束时间计算步骤的处理效率，如解析效率；三是通过数据库记录的异常重试字段和日志记录的相关信息判断是否有异常重试发生以及异常重试的原因；四是将上述三个方面分析处理后的数据自动整合成一份测试报告，提供给测试人员。

为便于更清楚的理解本发明所提供的大文件处理测试系统的具体结构及连接方式，以下请参考图6所示，其中001,002属于信息管理部分，用于测试前登记该发明需要的相关信息(见上述描述)，其中001是登记平台，用于将测试的相关信息(如测试环境、服务器ip、数据线相关信息等内容，见上述)通过在线的方式进行登记，002是MySQL数据库，用于管理001登记的相关信息；003,004,005,006,007属于该发明的数据采集模块，用于在大文件处理过程中监控采集相关数据，其中003是监控采集，使用prometheus采集系统的性能数据(如CPU、内存、IO、网络等)，004是时序数据库，属于prometheus自带的时序数据库，用于存储003采集到的系统性能数据，005是定时查询数据模块，用于执行测试人员登记的查询语句(或者根据测试人员登记的数据库ip、实例、数据表、数据字段生成的查询语句)，将查询到的结果存储在MySQL数据库，同时根据查询到的结果打印相关的数据库AWR报告(如通过查询语句可以查询到大文件解析的开始时间和结束时间，则打印这两个时间的快照点，然后根据快照点打印对应的AWR报告)，006是MySQL数据库，用于保存005查询到的结果，007是数据库AWR打印模块，用于将005查询到各个步骤开始时间和结束时间生成数据库快照点，进而打印相关的数据库AWR报告；008,009,010,011,012,013属于该发明的分析处理部分，用于将数据采集部分采集到的数据进行分析处理，生成可用于测试人员查看分析的测试报告，其中008是性能数据处理模块，用于处理数据采集部分产生的相关性能数据，包括服务器性能数据和数据库性能，009是服务器性能数据处理模块，按照大文件处理的各个过程将时序数据库中的性能数据绘制成相应的图片，主要是趋势图，010是数据库性能处理模块，将数据采集部分生成的AWR报告和大文件处理的各个过程做到一一对应，体现出大文件处理各个过程的数据库性能，011是处理效率分析模块，主要是将数据采集部分查询到数据库相关时间按照既定规则(测试人员登记的)进行处理，如大文件处理过程中的解析效率是数据表1字段A记录的时间减去数据表2字段C记录的时间所得，如果数据库表中没有记录相关的时间，则需要去日志(日志也来源于测试人员登记)中查询各个过程的处理时间，012是异常重试判断模块，在数据采集部分中会执行相关的数据查询语句来判断是否大文件处理过程中有异常重试机制、重试了几次、是否记录相关的异常原因，同时去日志中查询相关的异常原因，013是报告生成模块，用于将上述分析处理的数据和结论统一整合到一份测试报告中，最终形成供测试人员查看和分析的测试报告。

具体的，001是登记平台，需要测试人员登记测试环境、服务器相关信息(ip、日志)、数据库相关信息(ip、实例、数据表、数据表字典)、处理效率的计算规则(如数据库表1字段A减去数据库表2字段B表示文件解析的时间)、异常重试规则(如数据库表1字段C如果数字为2则表示有异常情况，字段D记录了异常原因，以及异常重试情况下的日志文件)、测试场景、测试开始时间等信息。002是MySQL集群，用于存储001登记的相关数据。003是监控采集模块，使用的是开源系统prometheus进行服务器性能数据的采集，详情可见上述描述。004是时序数据库，用于存储003采集到的性能数据(主要包括CPU、内存、IO、带宽等信息)，是prometheus自带的时序数据库。005是定时查询数据模块，用于在数据库中查询相关的文件处理开始结束时间、处理状态、处理结果、异常状态、异常重试次数等结果，同时会在日志中查找处理时间、异常原因等信息。006是MySQL数据库，用于存储005中查询到的信息。007是数据库AWR打印模块，当005查询到大文件处理过程的开始结束时间后，触发打印模块，用于生成对应过程的数据库AWR报告，目的是尽量保证数据库AWR报告能够真实反应测试过程中的数据库性能，如解析过程的数据库性能。008是性能数据处理模块，主要包含服务器性能处理和数据库性能处理。009是服务器性能处理模块，主要将004中的时序数据按照大文件处理的各个过程绘制成对应的趋势图，如大文件处理过程中预解析的CPU趋势图。010是数据库性能模块，主要是将007生成的AWR报告和大文件处理的过程做到一一对应，如文件解析过程和AWR报告的一一对应。011是处理效率分析模块，是将006中存储的时间数据进行分析，如006存储了文件预解析的开始时间和结束时间，那么结束时间减去开始时间就是预解析的效率。012是异常重试判断模块，将006中存储的异常重试次数、原因和大文件处理过程做到一一对应，帮助测试人员了解整个大文件处理过程中发生的情况。013是报告生成模块，将009/010/011/012处理后的数据进行整合，生成一份大文件处理的测试报告，供测试人员查看和分析。

当然，上述实施例仅为本发明的一种可实施方式，并不对其做任何限定，本领域相关技术人员可根据实际需要对上述各模块做添加、删减或等同替换，本发明在此不再一一详举。

本发明的有益技术效果在于：一次测试能够覆盖功能测试、技术测试、性能测试、异常测试等多种测试场景；能够让测试人员准确定位出现问题的过程和时间，便于排查分析解决问题；部分场景下，应用软件存在异常重试机制，但是从前台无法查看，本发明能够让测试人员清楚异常重试的次数、异常重试的原因、以及异常重试是否有效；能够解决性能测试过程中的数据问题、环境问题，通过和功能测试相结合的方式完成性能测试。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。

如图7所示，该电子设备600还可以包括：通信模块110、输入单元120、音频处理单元130、显示器160、电源170。值得注意的是，电子设备600也并不是必须要包括图7中所示的所有部件；此外，电子设备600还可以包括图7中没有示出的部件，可以参考现有技术。

如图7所示，中央处理器100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器100接收输入并控制电子设备600的各个部件的操作。

其中，存储器140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器100可执行该存储器140存储的该程序，以实现信息存储或处理等。

输入单元120向中央处理器100提供输入。该输入单元120例如为按键或触摸输入装置。电源170用于向电子设备600提供电力。显示器160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。

该存储器140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器140还可以是某种其它类型的装置。存储器140包括缓冲存储器141(有时被称为缓冲器)。存储器140可以包括应用/功能存储部142，该应用/功能存储部142用于存储应用程序和功能程序或用于通过中央处理器100执行电子设备600的操作的流程。

存储器140还可以包括数据存储部143，该数据存储部143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器140的驱动程序存储部144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。

通信模块110即为经由天线111发送和接收信号的发送机/接收机110。通信模块(发送机/接收机)110耦合到中央处理器100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。

基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)110还经由音频处理器130耦合到扬声器131和麦克风132，以经由扬声器131提供音频输出，并接收来自麦克风132的音频输入，从而实现通常的电信功能。音频处理器130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器130还耦合到中央处理器100，从而使得可以通过麦克风132能够在本机上录音，且使得可以通过扬声器131来播放本机上存储的声音。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种大文件处理测试方法，其特征在于，所述方法包含：

根据待处理大文件的测试需求获得测试规则数据和测试环境数据；

按预定流程处理所述待处理大文件，根据所述测试环境数据中环境信息采集对应服务器和数据库的运行数据、数据库中记录的异常重试字段和日志记录的处理信息，获取所述测试目标数据中待处理大文件内各文件的开始结束时间、处理结果、异常重试字段和异常处理信息；

根据所述开始结束时间和所述运行数据获得各文件处理过程中的服务器和数据库的性能参数和处理结果，根据所述性能参数和所述处理结果生成图形数据；

根据各文件的所述开始结束时间通过所述测试规则数据计算获得对应的处理效率，根据各文件的所述异常重试字段和所述异常处理信息获得异常重试情况和对应的重试原因；

通过所述图形数据、所述处理效率、所述异常重试情况和所述重试原因生成测试报告。

2.根据权利要求1所述的大文件处理测试方法，其特征在于，所述测试规则数据包含处理效率的计算规则和异常重试规则；所述测试环境数据包含环境信息、服务器信息、数据库信息、测试场景和测试开始时间。

3.根据权利要求1所述的大文件处理测试方法，其特征在于，根据各文件的所述开始结束时间通过所述测试规则数据计算获得对应的处理效率还包含：

当所述处理效率低于预设阈值时，于所述日志记录中获得对应文件的处理信息；

根据所述处理信息获得所述处理效率低的原因。

4.根据权利要求1所述的大文件处理测试方法，其特征在于，根据所述测试环境数据中环境信息采集对应服务器的运行数据包含：

根据所述环境信息和服务器信息，通过普罗米修斯监控体系采集对应服务器的运行数据，将所述运行数据按时间顺序存储至预定时序数据库。

5.根据权利要求4所述的大文件处理测试方法，其特征在于，根据所述性能参数和所述处理结果生成图形数据包含：

根据预定时序数据库中的所述运行数据的时间顺序，以待处理大文件的各个处理流程构建图形数据。

6.根据权利要求5所述的大文件处理测试方法，其特征在于，以待处理大文件的各个处理流程构建图形数据包含：

根据待处理大文件的各个处理流程于所述预定时序数据库中获得对应时间的运行数据；

将所述运行数据中的CPU趋势数据与各个处理流程一一对应后构建图形数据。

7.根据权利要求1所述的大文件处理测试方法，其特征在于，所述方法还包含：根据所述开始结束时间调用数据库的AWR服务打印AWR报告，将AWR报告补入所述测试报告；其中，所述AWR报告与各文件的处理过程一一对应。

8.一种大文件处理测试系统，其特征在于，所述系统包含信息管理装置、数据采集装置和分析处理装置；

所述信息管理装置用于根据待处理大文件的测试需求获得测试规则数据和测试环境数据；

所述数据采集装置用于按预定流程处理所述待处理大文件，根据所述测试环境数据中环境信息采集对应服务器和数据库的运行数据、数据库中记录的异常重试字段和日志记录的处理信息，获取所述测试目标数据中待处理大文件内各文件的开始结束时间、处理结果、异常重试字段和异常处理信息；

所述分析处理装置用于根据所述开始结束时间和所述运行数据获得各文件处理过程中的服务器和数据库的性能参数和处理结果，根据所述性能参数和所述处理结果生成图形数据；根据各文件的所述开始结束时间通过所述测试规则数据计算获得对应的处理效率，根据各文件的所述异常重试字段和所述异常处理信息获得异常重试情况和对应的重试原因；通过所述图形数据、所述处理效率、所述异常重试情况和所述重试原因生成测试报告。

9.根据权利要求8所述的大文件处理测试系统，其特征在于，所述数据采集装置包含服务器监控采集模块、定时查询数据模块和时序数据库；

所述服务器监控采集模块用于根据所述环境信息和服务器信息，通过普罗米修斯监控体系采集对应服务器和数据库的运行数据，将所述运行数据按时间顺序存储至所述时序数据库；

所述定时查询数据模块用于按预设周期采集数据库中记录的异常重试字段和日志记录的处理信息，并获取所述测试目标数据中待处理大文件内各文件的开始结束时间、处理结果、异常重试字段和异常处理信息。

10.根据权利要求8所述的大文件处理测试系统，其特征在于，所述分析处理装置包含性能数据处理模块、处理效率分析模块、异常重试判断模块和报告生成模块；

所述性能数据处理模块用于根据所述开始结束时间和所述运行数据获得各文件处理过程中的服务器的性能参数和处理结果，根据所述性能参数和所述处理结果生成图形数据；

所述处理效率分析模块用于根据各文件的所述开始结束时间通过所述测试规则数据计算获得对应的处理效率；

所述异常重试判断模块用于根据所述异常重试字段和所述异常处理信息获得异常重试情况和对应的重试原因；

所述报告生成模块用于通过所述图形数据、所述处理效率、所述异常重试情况和所述重试原因生成测试报告。

11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一所述方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有由计算机执行权利要求1至7任一所述方法的计算机程序。

Images