CN100574225C - 日志的自动测试方法及自动测试系统 - Google Patents

Abstract

本发明公开了一种日志的自动测试方法和自动测试系统，适用于包括被测设备和日志存储器的日志系统。系统包括：测试控制模块、日志事件触发模块、以及日志监控模块。方法是在所述测试控制模块中设置测试用例，根据测试用例控制整个测试过程，在测试时，所述测试控制模块命令所述日志事件触发模块触发被测设备进行操作，并确定该操作产生对应日志的时间段以及对应的预期日志，日志监控模块从所述日志存储器中实时获取更新日志，并确定更新时间落入所述时间段内的更新日志，将所述更新日志和所述预期日志进行比较，根据比较结果记录测试日志。利用本发明，可实现对日志的自动化测试，并对日志产生时间进行精确控制，提高测试的精确度。

Description

日志的自动测试方法及自动测试系统

技术领域

本发明涉及通讯设备测试领域，尤其涉及一种对通讯设备日志系统的日志进行自动测试的方法及自动测试系统。

背景技术

在当今高速发展的信息社会，人们已经离不开通信网络，随着通信技术的成熟，承载通信网络的设备虽然越来越可靠，但是实际通信设备中又难免会出现错误的情况。因此，目前研制出了日志系统，用于记录通信设备的运行状态及操作内容，以备技术人员查看、作为调式通信设备的依据。日志系统以日志的形式记录通信设备内的各种运行状态和操作信息，生成日志文件，日志文件通常存储在日志服务器中。

为了保证日志系统中日志记录的正确性，对日志进行测试的工作就变得越来越重要了。传统的日志测试方法基本上是人工测试。下面以路由器的网络地址转换(Nat)日志测试为例进行说明：当测试人员在路由器上进行Nat转换条目的删除、增加的时候，Nat功能模块会生成日志条目，并上传到一个日志服务器上去存储；在测试日志的时候，测试人员根据自己的操作，预计将会上传到日志服务器上的日志内容，然后再到日志服务器上查看新上传的日志，分析新上传的日志是否和预期的日志内容一致，如果一致则测试成功，否则测试失败。

所述传统的日志测试方法由于是人工测试，因此十分耗费时间，测试效率太低。但是目前还没有一种针对日志的自动测试方法。

目前，在其它领域出现了以下两种自动测试的方法。

现有技术一：中国专利申请号为CN200410097244、公开日为2006年5月31日的中国专利申请文件中公开了一种告警自动测试方法。该方法中，将被测试设备、告警模拟仪器和一主计算机组成一测试系统，在所述主计算机内预先存储用于触发所述仪器输出告警模拟信号的客户配置文件和被测试设备正常告警情况下返回的数据信息；在所述主计算机中创建主线程和子线程；由所述主线程调用存储的客户配置文件，触发仪器产生模拟告警信号，将该模拟告警信号输入到被测试设备中，使被测设备产生告警；所述主计算机中的主线程通过告警子线程不断轮询被测设备产生的告警数据，并将该告警数据同预存的正常告警情况下的返回数据进行比较，若一致，则报告该告警测试正常；否则，判定系统告警故障，并记录测试结果。从而实现告警测试的自动化。

但是，上述现有技术一存在以下不足：一、该现有技术一主要说明的是一种测试告警信息是否正确的自动化测试系统，没有涉及到对日志存储功能的自动化测试，不能应用到日志系统的自动化测试中。二、告警事件触发和告警信息出现时间不能精确把握，而在日志系统中，日志文件中的日志记录是海量的，因此在测试时需要对由测试操作触发的日志的出现时间进行掌控，才能正确测试对应的日志。

现有技术二、美国专利号US6058493、授权公告日期为2000年5月2日的专利文件中公开了一种自动测试方案，该方案是针对计算机软件系统进行测试，可以自动执行一个测试程序，触发计算机软件执行测试操作，并记录测试操作的日志，根据记录的日志判断计算机软件是否可以正常运行。

但是，上述现有技术二存在以下缺点：1、该现有技术二的测试对象是计算机软件程序，因此该方案不能直接应用到日志测试领域。2、该现有技术二对日志出现时间没有做精确控制，而在日志系统中，日志文件中的日志记录是海量的，因此在测试时需要对由测试操作触发的日志的出现时间进行掌控，才能正确测试对应的日志。3、该现有技术二只考虑到单个事件的日志，如果多个事件运行，前一事件操作如没有清除可能会影响到下一时间操作产生的日志，因此清除操作在多测试事件连续运行时十分必要，因此现有技术二在多个事件连续运行的情况下不能实现正确测试。

发明内容

有鉴于此，本发明所要解决的技术问题在于提供一种日志的自动测试方法，以实现对日志的自动化测试，并对日志产生时间进行精确控制，提高测试的精确度。

本发明所要解决的另一技术问题在于提供一种日志的自动测试系统，同样可以实现对日志的自动化测试，并对日志产生时间进行精确控制，提高测试的精确度。

为了实现上述发明目的，本发明的主要技术方案为：

一种日志的自动测试方法，采用测试计算机对被测设备及其日志存储器进行测试操作，包括：

A、预先在测试计算机中存储测试事件信息，其中包括用于触发被测设备产生日志的操作信息、在正常情况下被测设备执行该操作产生的第一预期日志、以及从触发被测设备执行该操作到日志存储器产生对应日志所需的时延；

B、在测试时，由所述测试计算机从日志存储器中实时获取更新日志及其更新时间，读取预存的测试事件信息，触发被测设备执行该测试事件的操作，确定在正常情况下被测设备执行该操作产生的第一预期日志，并根据该操作对应的所述时延确定被测设备执行该操作所产生对应日志的时间段；

C、所述测试计算机从实时获取的更新日志中确定更新时间落在步骤B所确定的时间段内的更新日志；

D、所述测试计算机将步骤C所确定的更新日志与步骤B所确定的第一预期日志进行比较，记录比较结果。

优选地，所述预先存储的测试事件为一个以上，所述测试计算机按照测试事件的存储顺序，针对每个测试事件执行步骤B到步骤D。

优选地，所述测试事件信息中进一步包括：用于清除该测试事件对被测设备影响的反向操作信息、在正常情况下被测设备执行该反向操作产生的第二预期日志、以及从触发被测设备执行该反向操作到日志存储器产生对应日志所需的时延；

步骤D之后，进一步包括：

E、所述测试计算机对被测设备执行所述反向操作，确定在正常情况下由被测设备执行该反向操作产生的第二预期日志，并根据该反向操作对应的所述时延确定被测设备执行所述反向操作所产生对应日志的时间段；

F、所述测试计算机从实时获取的更新日志中确定更新时间落入步骤E所确定的时间段内的更新日志；

G、所述测试计算机将步骤F所确定到的更新日志与步骤E所确定的第二预期日志进行比较，记录比较结果。

优选地，所述预先存储的测试事件为一个以上，所述测试计算机按照测试事件的存储顺序，针对每个测试事件执行步骤B到步骤G。

优选地，所述确定被测设备执行具体操作所产生对应日志的时间段具体为：

确定所述被测设备执行所述操作的开始时间和结束时间，从预存的测试事件信息中查询所述操作产生对应日志所需的时延，将所述操作开始执行的时间作为所述时间段的开始时间，将所述操作执行结束时间加上该操作产生对应日志所需的时延作为所述时间段的结束时间。

一种日志的自动测试系统，适用于包括被测设备和日志存储器的日志系统，所述日志存储器用于动态记录被测设备的日志，所述自动测试系统包括：

日志事件触发模块，用于触发被测设备进行操作；

日志监控模块，用于从所述日志存储器中实时获取更新日志及其更新时间，从获取的更新日志中确定更新时间落入指定时间段内的更新日志；

测试控制模块，用于设置测试用例，根据所述测试用例控制整个测试过程；在测试时，所述测试控制模块命令所述日志事件触发模块触发被测设备进行操作，并确定该操作产生对应日志的时间段以及该操作对应的预期日志，将所述时间段发送给所述日志监控模块，日志监控模块从获取的更新日志中确定更新时间落在所述时间段内的更新日志，将确定的更新日志返回给所述测试控制模块，所述测试控制模块将日志监控模块返回的更新日志和所述预期日志进行比较，根据比较结果记录测试日志；

测试事件存储模块，用于存储测试事件的信息，其中包括从触发被测设备执行所述操作到日志存储器产生对应日志所需的时延，所述测试控制模块根据所述测试事件存储模块中存储的测试事件信息控制整个测试过程。

所述测试事件的信息还包括：测试事件描述信息、用于触发被测设备产生日志的操作信息，以及在正常情况下被测设备执行所述操作产生的第一预期日志。

优选的，所述测试事件信息中具体包括：正向操作信息和该正向操作信息的反向操作信息，在正常情况下被测设备执行所述正向操作产生的预期日志、以及从触发被测设备执行所述正向操作到日志存储器产生对应日志所需的时延，在正常情况下被测设备执行该反向操作产生的预期日志、以及从触发被测设备执行所述反向操作到日志存储器产生对应日志所需的时延；

所述测试控制模块先根据所述正向操作的所述相关信息控制测试，接着根据该正向操作的反向操作的相关信息控制测试。

优选的，所述测试事件存储模块设置在所述测试控制模块内；

或者，所述测试事件存储模块设置在所述日志事件触发模块内，在测试过程中，由所述日志事件触发模块查询该测试事件存储模块中的相关信息并发送给所述测试控制模块。

优选的，所述日志事件触发模块包括工具命令语言TCL命令接口，通过该TCL命令接口触发所述被测设备进行相关操作。

优选的，所述日志监控模块包括TCL命令接口，通过该TCL命令接口从所述日志存储器中实时获取更新日志。

与现有技术相比，本发明针对通信设备日志的特点，预先设置测试事件和对应的预期日志，触发被测设备进行测试事件的操作，并将实际生成的更新日志与对应的预期日志比较，并自动记录测试事件和比较结果，因此可以实现对通信设备日志的自动测试，降低人力成本，提高测试效率。

同时，本发明还可以自动确定测试事件对应操作触发日志的时间段，确定更新时间落入该时间段内的更新日志，并与预期日志比较，因此本发明可以在测试日志时对由测试操作触发的日志的出现时间进行精确控制，避免其它操作产生的日志干扰，从而提高了测试的精确度，这一点对于具有海量日志记录的通信设备日志文件尤其重要。

在通信设备中，当多个事件运行时，前一事件操作如没有清除可能会影响到下一时间操作产生的日志，因此本发明针对这个特点，还可以在执行完一个测试事件后，进一步执行该测试事件的清除操作，并进行相应的自动记录，从而在多个事件连续运行的情况下实现正确测试。

附图说明

图1为本发明所述自动测试系统的一种实施例的组成结构示意图；

图2为本发明所述方法的主要流程图；

图3为本发明所述日志自动测试系统执行本发明所述自动测试方法的一种具体流程图。

具体实施方式

下面通过具体实施例和附图对本发明做进一步详细说明。

本发明主要针对包括被测设备和日志存储器的日志系统，所述被测设备可以是通信设备，例如网关、路由器等，这些被测设备在运行的过程中，其动态的运行状态信息和操作内容信息都以日志的形式记录下来，并保存到所述日志存储器中。所述日志存储器的存在形式可以有多种，例如可以是日志文件、或日志数据库，也可以是专门的日志存储服务器等。本发明主要用于自动测试所述日志系统产生日志的正确性，从而方便用户判断日志系统的工作状态是否正常。

图1为本发明所述自动测试系统的一种实施例的组成结构示意图。参见图1，该实施例中，所述日志系统包括被测设备110和日志存储服务器111，所述日志存储服务器111是一种日志存储器，用于动态记录被测设备110的日志。所述自动测试系统与被测设备110和日志存储服务器111连接，主要包括测试控制模块101、日志事件触发模块102、以及日志监控模块103。

所述测试控制模块101中可预设测试用例，用户可以通过输入指令控制测试控制模块的操作，测试控制模块根据测试用例控制整个测试过程，命令所述日志事件触发模块102对被测设备110进行操作；并确定该操作产生对应日志的时间段以及该操作对应的预期日志，将所述时间段发送给所述日志监控模块103；所述日志监控模块103从所述日志存储服务器111中获取所有的更新日志和更新日志对应的更新时间，并从中查询更新时间落在所述时间段内的更新日志，将查询到的更新日志返回给测试控制模块101；测试控制模块将日志监控模块103返回的更新日志和所述预期日志进行比较，根据比较结果记录测试日志。所述测试用例就是由一个或一个以上测试事件组成的测试流程说明。

所述日志事件触发模块102用于根据测试控制模块101的指示对被测设备110进行相应的操作。该日志事件触发模块102具有一套工具命令语言(TCL，Tool Command Language)命令接口，通过该TCL命令接口触发所述被测设备110进行相关操作。

所述日志监控模块103用于实时获取日志存储服务器111上更新的日志，也就是说，当日志存储服务器111上有日志更新时，日志监控模块103就记录当前时间和更新的日志内容，本文中，所述更新的日志内容称为更新日志，对应的时间为更新时间。当日志监控模块103收到测试控制模块101发送的时间段后，在从实时获取的更新日志中查询更新时间落在所述时间段内的更新日志，并将查询到的更新日志返回给测试控制模块101。

进一步的，在查询完成之后，将所述时间段内以及之前的更新日志删除，以节省日志监控模块的数据存储量。所述日志监控模块103包括一套TCL命令接口，通过该TCL命令接口，可以获取所述日志存储服务器111的日志状态并实时获取日志，例如判断是否有日志更新，如果有日志更新，则获取更新日志。

所述测试控制模块101中还包括测试事件存储模块(图1中没有标出)，用于存储测试事件的信息。该测试事件存储模块也可以设置在所述日志事件触发模块102中，当然也可以单独作为一个模块进行设置。

以下表1为所述测试事件存储模块中存储的测试事件信息的实例列表。

事件描述信息1	操作信息1	预期日志1	时延1
				事件描述信息2	操作信息2	预期日志2	时延2
……	……	……	……

表1

参见表1所示，所述测试事件存储模块中可以预先存储一个以上测试事件，每一个测试事件的信息详细包括：测试事件的描述信息、用于触发被测设备110产生日志的操作信息、预期日志以及时延。所述预期日志是在正常情况下被测设备110执行具体操作预期产生的对应日志，所述时延是从触发被测设备110执行具体操作到日志存储服务器111产生对应日志所需的时延。

所述事件描述信息是一个具体测试事件的标识，所述测试用例中可以按照测试顺序设置测试事件的描述信息，测试控制模块101可以根据事件描述信息查询到对应的测试事件信息，并依此进行测试控制。

当所述测试事件存储模块设置在所述测试控制模块101中时，测试控制模块101可以直接从该测试事件存储模块中读取并确定相关的信息。具体的过程可以为：依照测试用例进行某一测试事件时，按照测试用例中的事件描述信息查询测试事件存储模块，查询到对应的操作信息、预期日志、以及对应时延；命令日志事件触发模块102触发所述被测设备110执行所查询到的操作，并通过日志事件触发模块102确定被测设备110执行所述操作的开始时间和结束时间；然后确定被测设备110执行所述操作所产生日志的时间段，具体为：将所述时间段的开始时间确定为所述操作开始执行时间，将所述时间段的结束时间确定为所述操作执行结束时间加上所述查询到的时延。图1中所示为这种情况。

当所述测试事件存储模块设置在所述日志事件触发模块102中时，则测试控制模块101需要与日志事件触发模块102进行相关的信息交互以获得相关信息。具体的交互过程可以为：测试控制模块101依照测试用例进行某一测试事件时，发送该测试事件的描述信息给日志事件触发模块102；日志事件触发模块102收到事件描述后，查询所述测试事件存储模块，获取该事件描述对应的操作信息、预期日志、以及所述时延，触发被测设备110执行所查询到的操作，并将执行该操作的开始时间、结束时间、以及所述预期日志和所述时延发送给测试控制模块101；测试控制模块101收到所述信息后，确定被测设备110执行所述操作所产生日志的时间段，具体为：将所述时间段的开始时间确定为所述操作开始执行时间，将所述时间段的结束时间确定为所述操作执行结束的时间加上该操作产生对应日志所需的时延。

由于在多个事件运行时，前一事件的执行结果可能会影响到后一事件所产生的日志，因此，在本发明的一种优选实施方式中，在触发被测设备110执行完一个操作后，进一步执行该操作的反向操作，以消除前一操作的对后续测试的干扰。本实施例中，在一个测试事件中，可以包括两个操作，前一个操作称为正向操作，主要用于测试日志，后一个操作是该正向操作的反向操作，主要用于清除正向操作对后续测试事件的影响。例如，如果正向操作为配置信息操作，则反向操作为插销所述配置信息的操作；如果正向操作为配置信息操作且配置的信息在一定时延T后自动失效，则反向操作为等待该时延T。

以下表2为一个测试事件中包括正向和反向两个操作的测试事件信息的实例列表。

表2

如表2所示，上述两个测试事件中，都有正向操作和反向操作，对应的，还包括正向操作预期日志，即在正常情况下被测设备110执行所述正向操作产生的预期日志，以及该正向操作对应时延，即从触发被测设备110执行该正向操作到日志存储服务器111产生对应日志所需的时延；还包括反向操作预期日志，即在正常情况下被测设备110执行该反向操作产生的预期日志，以及该反向操作对应时延，即从触发被测设备110执行该反向操作到日志存储服务器111产生对应日志所需的时延。

对于上述具有正向操作和反向操作的测试事件，所述测试控制模块101可先根据所述正向操作的所述相关信息控制测试，接着根据该正向操作的反向操作的相关信息控制测试。

本发明中，上述自动测试系统实质上是一个测试计算机，采用该测试计算机，可以对被测设备110及其日志存储服务器111进行自动测试操作。

图2为本发明所述方法的主要流程图。参见图2，该流程主要包括：

步骤201、预先在测试计算机中存储测试事件信息，包括用于触发被测设备产生日志的操作信息、在正常情况下被测设备执行该操作产生的预期日志、以及从触发被测设备执行该操作到日志存储器产生对应日志所需的时延。具体的测试事件信息请参见上述表1和表2。

步骤202、在测试时，由所述测试计算机从日志存储器中实时获取更新日志及其更新时间，并读取预存的测试事件信息，触发被测设备执行该测试事件的操作，确定在正常情况下被测设备执行该操作产生的预期日志，确定被测设备执行所述操作产生对应日志的时间段。

此步骤中，确定被测设备执行操作产生对应日志的时间段的具体过程可以为：确定所述被测设备执行所述操作的开始时间和结束时间，从预存的测试事件信息中查询所述操作产生对应日志所需的时延，将所述操作开始执行的时间作为所述时间段的开始时间，将所述操作执行结束时间加上该操作产生对应日志所需的时延作为所述时间段的结束时间。

步骤203、所述测试计算机从实时获取的更新日志中确定更新时间落入步骤202所确定的时间段内的更新日志。

步骤204、所述测试计算机将步骤203所确定的更新日志与步骤202所确定的预期日志进行比较，记录测试事件和所述比较结果。

参见上述表2，作为一种具体实施例，所述测试事件信息中进一步包括：用于清除该测试事件对被测设备影响的反向操作信息、在正常情况下被测设备执行该反向操作产生的预期日志、以及从触发被测设备执行该反向操作到日志存储器产生对应日志所需的时延；步骤204之后，进一步包括：

步骤205、所述测试计算机触发被测设备执行所述反向操作，确定在正常情况下被测设备执行所述反向操作产生的预期日志，并确定被测设备执行所述反向操作所产生对应日志的时间段。

步骤206、所述测试计算机从实时获取的更新日志中确定更新时间落入步骤205所确定的时间段内的更新日志。

步骤207、所述测试计算机将步骤206所确定的更新日志与步骤205所确定的预期日志进行比较，记录测试事件和所述比较结果。

参见上述表1和表2，所述预先存储的测试事件可以为一个以上，所述测试计算机按照测试事件的存储顺序，针对每个测试事件都需要执行步骤202到步骤204，或者针对每个测试事件都需要执行步骤202到步骤207。

图3为本发明所述日志自动测试系统执行本发明所述自动测试方法的一种具体流程图。参见图3，该流程包括：

步骤301、从测试用例中获取待测试事件描述列表，按照测试需求查询得到第一条测试事件的信息，其中包括操作信息，在正常情况下被测设备执行该操作产生的预期日志、以及从触发被测设备执行该操作到日志存储器产生对应日志所需的时延。假设本实施例中的正向操作为配置操作，反向操作为撤销配置操作，正向操作对应的时延为T1，反向操作对应的时延为T2。

步骤302～步骤303、调用日志事件触发模块以及日志监控模块；命令日志事件触发模块触发被测设备执行所述配置操作，并确定被测设备执行该配置操作的开始时间和结束时间，确定配置操作所产生对应日志的时间段为：从配置操作开始时间开始，到配置操作结束时间加上所述时延T1结束；日志监控模块在从日志存储器实时获取的更新日志中，确定更新时间落入所述时间段内的更新日志。

步骤304～步骤306、判断所确定的更新日志和所述配置操作的预期日志是否匹配，如果是，则记录当前的测试事件和匹配正确的测试结果，执行步骤307；否则，记录当前的测试事件以及匹配错误的测试结果，执行步骤307。

步骤307、调用所述配置操作的反向操作，即撤销配置操作。

步骤308～步骤309、调用日志事件触发模块以及日志监控模块；命令日志事件触发模块触发被测设备执行所述撤销配置操作，并确定被测设备执行该撤销配置操作的开始时间和结束时间，确定该撤销配置操作所产生对应日志的时间段为：从该撤销配置操作开始时间开始，到该撤销配置操作结束时间加上所述时延T2结束；日志监控模块在从日志存储器实时获取的更新日志中，确定更新时间落在所述时间段内的更新日志。

步骤310～步骤312、判断所确定的更新日志和所述撤销配置操作的预期日志是否匹配，如果是，则记录当前的测试事件和匹配正确的测试结果，执行步骤313；否则，记录当前的测试事件以及匹配错误的测试结果，结束本流程。

步骤313、判断所述待测试事件描述列表中是否还有待测的测试事件，如果有，则返回步骤302和步骤303，开始测试下一测试事件；否则，结束本流程。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (11)

1、一种日志的自动测试方法，其特征在于，采用测试计算机对被测设备及其日志存储器进行测试操作，包括：

A、预先在测试计算机中存储测试事件信息，其中包括用于触发被测设备产生日志的操作信息、在正常情况下被测设备执行该操作产生的第一预期日志、以及从触发被测设备执行该操作到日志存储器产生对应日志所需的时延；

B、在测试时，由所述测试计算机从日志存储器中实时获取更新日志及其更新时间，读取预存的测试事件信息，触发被测设备执行该测试事件的操作，确定在正常情况下被测设备执行该操作产生的第一预期日志，并根据该操作对应的所述时延确定被测设备执行该操作所产生对应日志的时间段；

C、所述测试计算机从实时获取的更新日志中确定更新时间落在步骤B所确定的时间段内的更新日志；

D、所述测试计算机将步骤C所确定的更新日志与步骤B所确定的第一预期日志进行比较，记录比较结果。

2、根据权利要求1所述的自动测试方法，其特征在于，所述预先存储的测试事件为一个以上，所述测试计算机按照测试事件的存储顺序，针对每个测试事件执行步骤B到步骤D。

3、根据权利要求1所述的自动测试方法，其特征在于，所述测试事件信息中进一步包括：用于清除该测试事件对被测设备影响的反向操作信息、在正常情况下被测设备执行该反向操作产生的第二预期日志、以及从触发被测设备执行该反向操作到日志存储器产生对应日志所需的时延；

步骤D之后，进一步包括：

E、所述测试计算机对被测设备执行所述反向操作，确定在正常情况下由被测设备执行该反向操作产生的第二预期日志，并根据该反向操作对应的所述时延确定被测设备执行所述反向操作所产生对应日志的时间段；

F、所述测试计算机从实时获取的更新日志中确定更新时间落入步骤E所确定的时间段内的更新日志；

G、所述测试计算机将步骤F所确定到的更新日志与步骤E所确定的第二预期日志进行比较，记录比较结果。

4、根据权利要求3所述的自动测试方法，其特征在于，所述预先存储的测试事件为一个以上，所述测试计算机按照测试事件的存储顺序，针对每个测试事件执行步骤B到步骤G。

5、根据权利要求1或3所述的自动测试方法，其特征在于，所述确定被测设备执行具体操作所产生对应日志的时间段具体为：

确定所述被测设备执行所述操作的开始时间和结束时间，从预存的测试事件信息中查询所述操作产生对应日志所需的时延，将所述操作开始执行的时间作为所述时间段的开始时间，将所述操作执行结束时间加上该操作产生对应日志所需的时延作为所述时间段的结束时间。

6、一种日志的自动测试系统，用于包括被测设备和日志存储器的日志系统，所述日志存储器用于动态记录被测设备的日志，其特征在于，所述自动测试系统包括：

日志事件触发模块，用于触发被测设备进行操作；

日志监控模块，用于从所述日志存储器中实时获取更新日志及其更新时间，从获取的更新日志中确定更新时间落入指定时间段内的更新日志；

测试控制模块，用于设置测试用例，根据所述测试用例控制整个测试过程；在测试时，所述测试控制模块命令所述日志事件触发模块触发被测设备进行操作，并确定该操作产生对应日志的时间段以及该操作对应的预期日志，将所述时间段发送给所述日志监控模块，日志监控模块从获取的更新日志中确定更新时间落在所述时间段内的更新日志，将确定的更新日志返回给所述测试控制模块，所述测试控制模块将日志监控模块返回的更新日志和所述预期日志进行比较，根据比较结果记录测试日志；

测试事件存储模块，用于存储测试事件的信息，其中包括从触发被测设备执行所述操作到日志存储器产生对应日志所需的时延，所述测试控制模块根据所述测试事件存储模块中存储的测试事件信息控制整个测试过程。

7、根据权利要求6所述的自动测试系统，其特征在于，

所述测试事件的信息还包括：测试事件描述信息、用于触发被测设备产生日志的操作信息，以及在正常情况下被测设备执行所述操作产生的第一预期日志。

8、根据权利要求7所述的自动测试系统，其特征在于，

所述测试事件信息中具体包括：正向操作信息和该正向操作信息的反向操作信息，在正常情况下被测设备执行所述正向操作产生的第一预期日志、以及从触发被测设备执行所述正向操作到日志存储器产生对应日志所需的时延，在正常情况下被测设备执行该反向操作产生的第二预期日志、以及从触发被测设备执行所述反向操作到日志存储器产生对应日志所需的时延；

所述测试控制模块先根据所述正向操作的所述相关信息控制测试，接着根据该正向操作的反向操作的相关信息控制测试。

9、根据权利要求7或8所述的自动测试系统，其特征在于，

所述测试事件存储模块设置在所述测试控制模块内；

或者，所述测试事件存储模块设置在所述日志事件触发模块内，在测试过程中，由所述日志事件触发模块查询该测试事件存储模块中的相关信息并发送给所述测试控制模块。

10、根据权利要求6所述的自动测试系统，其特征在于，所述日志事件触发模块包括工具命令语言TCL命令接口，通过该TCL命令接口触发所述被测设备进行相关操作。

11、根据权利要求6所述的自动测试系统，其特征在于，所述日志监控模块包括TCL命令接口，通过该TCL命令接口从所述日志存储器中实时获取更新日志。

Images