CN103368762A - 大数据对比测试方法、系统及装置 - Google Patents

Abstract

本发明公开了一种大数据对比测试方法，包括如下步骤：分别向第一被测系统和第二被测系统发送查询信息；分别从所述第一被测系统和第二被测系统获取提醒日志信息，并根据所述提醒日志信息生成所述第一被测系统和第二被测系统的初步测试报告；再次分别向所述第一被测系统和第二被测系统重发所述查询信息；以及分别从所述第一被测系统和第二被测系统获取调试日志信息，并根据所述调试日志信息生成所述第一被测系统和第二被测系统的测试报告。本发明还公开了一种大数据对比测试系统、大数据对比装置、提醒日志专家分析装置和调试日志专家分析装置。本发明可以提高大数据对比发现问题后的分析和定位问题根源的效率。

Description

大数据对比测试方法、系统及装置

技术领域

本发明涉及网络通信技术领域，特别设计一种大数据对比方法、大数据对比系统、大数据对比装置、提醒日志专家分析装置和调试日志专家分析装置。

背景技术

传统的大数据对比测试中，当出现新旧结果不一致时，采用人工的分析方式获取差异问题。采用上述分析方式，除了需要搜集大量的中间结果来用于问题分析外，还要求分析人员对系统有深入的了解且具有相当的问题分析经验。此外，传统的对于问题分析定位的经验传承采用文档分享的形式，但是随着系统功能的升级，文档的形式很难保证这种经验可以得到及时有效的传承。

除了上述提到的缺陷外，采用人工的分析方式获取差异问题还存在一个严重的问题，无法实现自动定位，具体包括：

(1)当大数据对比结果出现问题时，收集中间数据的过程非常的繁琐；

(2)对于返回大量广告的查询信息query，中间过程数据非常的庞大，通常能够达到数万条，人为的去从这些中间过程数据中分析问题非常的耗时，并且效率低下；

(3)对于随机的问题，第二次发送查询信息query收集中间数据可能和第一次发生问题的数据不一致，从而导致上述随机问题难以分析；

(4)当某些升级无法屏蔽该部分升级对旧系统的影响时，无法进行大数据对比测试。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明的第一个目的在于提出一种大数据对比测试方法，该方法可以提高大数据对比发现问题后的分析和定位问题根源的效率。本发明的第二个目的在于提供一种大数据对比测试系统。本发明的第三个目的在于提供一种大数据对比装置。本发明的第四个目的在于提供一种提醒日志专家分析装置。本发明的第五个目的在于提供一种调试日志专家分析装置。

为实现上述目的，本发明第一方面的实施例提供了一种大数据对比测试方法，包括如下步骤：分别向第一被测系统和第二被测系统发送查询信息；分别从所述第一被测系统和第二被测系统获取提醒日志信息，并根据所述提醒日志信息生成所述第一被测系统和第二被测系统的初步测试报告；再次分别向所述第一被测系统和第二被测系统重发所述查询信息；以及分别从所述第一被测系统和第二被测系统获取调试日志信息，并根据所述调试日志信息生成所述第一被测系统和第二被测系统的测试报告。

根据本发明实施例的大数据对比测试方法，可以在发现系统出现问题后，自动收集中间过程的数据并进行分析，从而实现对问题根源的自动定位，极大地提升大数据对比发现问题后的分析和定位问题根源的效率。

本发明第二方面的实施例提供了一种大数据对比测试系统，包括：第一被测系统和第二被测系统；大数据对比装置，所述大数据对比装置分别与所述第一被测系统和第二被测系统相连，用于分别向所述第一被测系统和第二被测系统发送查询信息，并分别从所述第一被测系统和第二被测系统获取提醒日志信息，以及再次分别向所述第一被测系统和第二被测系统重发所述查询信息，和分别从所述第一被测系统和第二被测系统获取调试日志信息；提醒日志专家分析装置，所述提醒日志专家分析装置与所述大数据对比装置相连，用于根据所述提醒日志信息生成所述第一被测系统和第二被测系统的初步测试报告；以及调试日志专家分析装置，所述调试日志专家分析装置与所述大数据对比装置相连，用于根据所述调试日志信息生成所述第一被测系统和第二被测系统的测试报告。

根据本发明实施例的大数据对比测试系统，可以在发现系统出现问题后，自动收集中间过程的数据并进行分析，从而实现对问题根源的自动定位，极大地提升大数据对比发现问题后的分析和定位问题根源的效率。

本发明第三方面的实施例提供了一种大数据对比装置，包括：查询信息发送模块，用于向第一被测系统和第二被测系统发送查询信息；获取模块，用于从所述第一被测系统和第二被测系统获取提醒日志信息和调试日志信息；以及发送模块，用于向所述提醒日志专家分析装置发送所述提醒日志信息，并向所述调试日志专家分析装置发送调试日志信息，以使所述提醒日志专家分析装置根据所述提醒日志信息生成所述第一被测系统和第二被测系统的初步测试报告，并使所述调试日志专家分析装置根据所述调试日志信息生成所述第一被测系统和第二被测系统的测试报告。

根据本发明实施例的大数据对比装置，可以在发现系统出现问题后，自动收集中间过程的数据并进行分析，从而实现对问题根源的自动定位，极大地提升大数据对比发现问题后的分析和定位问题根源的效率。

本发明第四方面的实施例提供了一种提醒日志专家分析装置，包括：第一接收模块，用于接收大数据对比装置发送的提醒日志信息；第一抽取模块，用于从所述提醒日志信息中抽取事实；以及第一生成模块，用于根据预设的提醒日志规则集对所述事实进行推理以生成所述初步测试报告。

根据本发明实施例的提醒日志专家分析装置，可以在发现系统出现问题后，自动收集中间过程的数据并进行分析，从而实现对问题根源的初步的自动定位，极大地提升大数据对比发现问题后的分析和定位问题根源的效率。

本发明第五方面的实施例提供了一种调试日志专家分析装置，包括：第二接收模块，用于接收大数据对比装置发送的调试日志信息；第二抽取模块，用于从所述调试日志信息中抽取事实；以及第二生成模块，用于根据预设的调试日志规则集对所述事实进行推理以生成所述测试报告。

根据本发明实施例的调试日志专家分析装置，可以在发现系统出现问题后，自动收集中间过程的数据并进行分析，收集数据更为详细，从而实现对问题根源的详尽的自动定位，定位精度高且极大地提升大数据对比发现问题后的分析和定位问题根源的效率。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的大数据对比测试方法的流程图；

图2为根据本发明实施例的大数据对比测试方法的系统框架；

图3为根据本发明实施例的NOTICE和DEBUG专家分析装置的工作原理图；

图4为根据本发明实施例的大数据对比测试系统的结构图；

图5为根据本发明实施例的提醒日志专家分析装置的结构图；

图6为根据本发明实施例的调试日志专家分析装置的结构图；以及

图7为根据本发明实施例的大数据对比装置的结构图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

下面参考图1至图3描述根据本发明实施例的大数据对比测试方法。

如图1所示，本发明实施例提供的大数据对比测试方法包括如下步骤：

步骤S101，分别向第一被测系统和第二被测系统发送查询信息。其中，第一被测系统可以为升级后的系统，第二被测系统可以为升级前的系统。其中，第一被测系统和第二被测系统可以为IMBS。

当发生问题时，大数据对比系统(BDA)向第一被测系统和第二被测系统发送查询请求(query请求)。

步骤S102，分别从第一被测系统和第二被测系统获取提醒日志信息，并根据提醒日志信息生成第一被测系统和第二被测系统的初步测试报告。

第一被测系统和第二被测系统在接收到查询请求后，根据查询请求分别返回提醒日志信息(NOTICE日志)。大数据对比系统根据上述第一被测系统和第二被测系统返回的提醒日志信息生成第一被测系统和第二被测系统的初步测试报告。

具体地，首先从提醒日志信息中抽取事实(FACTS)，并根据预设的提醒日志规则集对上述事实进行推理以生成初步测试报告。

在本发明的一个实施例中，采用CLIPS推理机制，根据提醒日志规则集对事实进行推理，生成初步测试报告。

在本发明的一个实施例中，提醒日志规则集包括输入数据对比和各个阶段的统计数据对比。

具体地，提醒日志信息可以包括多个属性的统计信息。例如：拍卖词数量、请求广告条数、各个阶段检索到的广告条数等。

提醒日志信息通常用于收集一次请求的过程概要数据。这类数据通常只由于统计分析。但实际上，概要数据也可以提供很多问题分析的关键数据。

通过对NOTICE日志信息的各个字段的分析，整理出各个概要数据代表的详细含义及影响该数据的相关功能点，建立用于NOTICE日志分析的NOTICE规则集。当结果出现差异问题时，基于NOTICE日志的专家系统可以很好的对问题进行初步定位。对于出现的随机问题，上述分析结果可以缩小后续排查的范围。

NOTICE规则集与整个检索流程相匹配。具体地，首先判断输入数据是否一致，即对从提醒日志信息中抽取的事实进行判断，然后判断各个阶段的统计数据是否一致。如果某个阶段的统计数据存在差异，则可以初步定位出该阶段发生了问题。

但是，通过NOTICE规则集无法定位到发生问题的具体原因，而只能给出初步的分析结果。并且，由于缺少详细数据，导致无法定位到属性值计算错误的问题。因此，需要从第一被测系统和第二被测系统获取详细的测试报告。

步骤S103，再次分别向第一被测系统和第二被测系统重发查询信息。

大数据对比系统再次分别向第一被测系统和第二被测系统发送查询信息(query信息)。

步骤S104，分别从第一被测系统和第二被测系统获取调试日志信息，并根据调试日志信息生成第一被测系统和第二被测系统的测试报告。

第一被测系统和第二被测系统接收到大数据对比系统重发的查询信息后，向大数据对比系统返回调试日志信息(DEBUG信息)。大数据对比系统根据接收到的调试日志信息生成第一被测系统和第二被测系统的测试报告。

具体地，大数据对比系统从调试日志信息中抽取事实，并根据预设的调试日志规则集(DEBUG规则集)对上述事实进行推理以生成测试报告。

在本发明的一个实施例中，根据调试日志规则采用CLIPS推理机制集对事实进行推理，生成测试报告。

利用DEBUG规则集获取的数据比NOTICE规则集获得的数据更为精细，从而DEBUG规则集比NOTICE规则集的更加细化，进而可以达到定位出发生问题的具体原因的目的。例如，对于触发出的广告，在NOTICE规则集中只能判断触发条数是否一致。而在DEBUG规则集中，则可以对触发出的广告的多个属性进行一一判定，不同的属性值的异常对应不同的原因。

在本发明的一个实施例中，调试日志规则集中的规则和提醒日志规则集中的规则具有不同的优先级。

DEBUG数据可以详尽地收集第一被测系统和第二被测系统整个处理过程的中间数据。其中，中间数据的数据量较大，可以多至数万条。如果采用人为方式进行分析，则工作量分长达。通过收集QA(Quality Assurance，品质保证)和RD的分析问题的过程和方法，将其通过规则集的形式进行描述，从而将认为的分析过程自动化。并且由于收集到的数据非常详尽，相比基于NOTICE日志的专家系统，其定位问题的准确度更高，也更接近问题的根源。

由于采用CLIPS推理机制对事实进行推理，如果某个事实可以被多个规则触发，则可以判断存在冲突。按照CLIPS的解决方案可以有深度有限或广度有限等策略可供选择。并且，在不同的情况下可以采用不同的策略。

为了防止出现非预期的推理，在NOTICE规则集和DEBUG规则集的设计过程中，通过对准入的规则设置较高的优先级来保证该准入的规则可以被优先触发。在这些准入规则中生成不同的事实以控制后续规则的触发顺序，从而可以有效地避免一条触发多条规则时出现结果不可预期的问题，从而可以保证结果分析的可靠性。

在生成测试报告后，将步骤S102中生成的初步测试报告和步骤S104中生成的测试报告进行对比以对第一被测系统和第二被测系统进行差异(diff)分析。

第一被测系统为第二被测系统的升级系统。在第二被测系统升级到第一被测系统的过程中，对于无法屏蔽差异问题(diff)的升级，旧的大数据对比方法无法使用。但是结合基于DEBUG日志的专家系统后，每次的差异问题(diff)出现都能够定位出问题的根源。如果每次请求diff的原因均为预期的，则可以认为这次大数据对比测试的结果通过。

如图2和图3所示，当大数据对比过程中发现有差异问题(diff)时，首先收集第一被测系统和第二被测系统的提醒日志信息(NOTICE日志信息)并利用NOTICE规则集进行分析，从而得到初步测试报告。然后，采集第一被测系统和第二被测系统的调试日志信息(DEBUG日志信息)，并重新发送查询请求，收集第一被测系统和第二被测系统的DEBUG信息发送给DEBUG专家分析装置分析，从而得到测试报告。测试报告相对于初步测试报告更为详细。并且，大数据对比系统可以从测试报告中剔除掉个性化的信息，例如：ID信息。然后，对测试报告进行唯一化，从而得到简略的测试报告。当大数据对比完成后，将简略的测试报告和预期diff进行对比，如果对比一致，则表明上述diff为预期的，大数据对比通过，否则判断失败并将所有报告发送给测试人员进行分析。

根据本发明实施例的大数据对比测试方法，可以在发现系统出现问题后，自动收集中间过程的数据并进行分析，从而实现对问题根源的自动定位，极大地提升大数据对比发现问题后的分析和定位问题根源的效率。

下面参考图4描述根据本发明实施例的大数据对比测试系统400。

如图4所示，本发明实施例提供的大数据对比测试系统400，包括第一被测系统410、第二被测系统420、大数据对比装置430、提醒日志专家分析装置440和调试日志专家分析装置450。其中，大数据对比装置430分别与第一被测系统410和第二被测系统420相连，用于分别向第一被测系统410和第二被测系统420发送查询信息，并分别从第一被测系统410和第二被测系统420获取提醒日志信息，以及再次分别向第一被测系统410和第二被测系统420重发查询信息，分别从第一被测系统410和第二被测系统420获取调试日志信息。提醒日志专家分析装置440与大数据对比装置430相连，用于根据提醒日志信息生成信息第一被测系统410和第二被测系统420的初步测试报告。调试日志专家分析装置450与大数据对比装置430相连，用于根据调试日志信息生成第一被测系统410和第二被测系统420的测试报告。

在本发明的一个实施例中，第一被测系统为升级后的系统，第二被测系统为升级后的系统。其中，第一被测系统410和第二被测系统420可以为IMBS。

当发生问题时，大数据对比装置430向第一被测系统410和第二被测系统420发送查询请求(query请求)。

第一被测系统410和第二被测系统420在接收到查询请求后，根据查询请求分别返回提醒日志信息(NOTICE日志)。大数据对比装置430获取从第一被测系统410和第二被测系统420返回的提醒日志信息。

提醒日志专家分析装置440接收大数据对比装置430发送的提醒日志信息，并从提醒日志信息中抽取事实(FACTS)，并根据预设的提醒日志规则集对上述事实进行推理以生成初步测试报告。

下面参考5描述根据本发明实施例的提醒日志专家分析装置440。如图5所示，提醒日志专家分析装置440包括第一接收模块441、第一抽取模块442和第一生成模块443。其中，第一接收模块441用于接收大数据对比装置430发送的提醒日志信息，第一抽取模块442用于从提醒日志信息中抽取事实(FACTS)，第一生成模块443用于根据预设的提醒日志规则集对事实进行推理以生成初步测试报告。

在本发明的一个实施例中，第一生成模块443采用CLIPS推理机制，根据提醒日志规则集对事实进行推理，生成初步测试报告。其中，提醒日志规则集包括输入数据对比和各个阶段的统计数据对比。具体地，提醒日志信息可以包括多个属性的统计信息。例如：拍卖词数量、请求广告条数、各个阶段检索到的广告条数等。

提醒日志信息通常用于收集一次请求的过程概要数据。这类数据通常只由于统计分析。但实际上，概要数据也可以提供很多问题分析的关键数据。

提醒日志专家分析装置440通过对NOTICE日志信息的各个字段的分析，整理出各个概要数据代表的详细含义及影响该数据的相关功能点，建立用于NOTICE日志分析的NOTICE规则集。当结果出现差异问题时，基于NOTICE日志的专家系统可以很好的对问题进行初步定位。对于出现的随机问题，上述分析结果可以缩小后续排查的范围。

NOTICE规则集与整个检索流程相匹配。具体地，第一生成模块443首先判断输入数据是否一致，即对从提醒日志信息中抽取的事实进行判断，然后判断各个阶段的统计数据是否一致。如果某个阶段的统计数据存在差异，则可以初步定位出该阶段发生了问题。

但是，利用提醒日志专家分析装置440通过NOTICE规则集无法定位到发生问题的具体原因，而只能给出初步的分析结果。并且，由于缺少详细数据，导致无法定位到属性值计算错误的问题。因此，需要从第一被测系统和第二被测系统获取详细的测试报告。

为了获得详细的测试报告，大数据对比装置430再次分别向第一被测系统410和第二被测系统420发送查询信息(query信息)。

第一被测系统410和第二被测系统420接收到大数据对比装置430重发的查询信息后，向大数据对比装置430返回调试日志信息(DEBUG信息)。大数据对比装置430从第一被测系统410和第二被测系统420获取调试日志信息，并将调试日志信息发送至调试日志专家分析装置450。

下面参考图6描述根据本发明实施例调试日志专家分析装置450。

如图6所示，调试日志专家分析装置450包括第二接收模块451、第二抽取模块452和第二生成模块453。其中，第二接收模块451用于接收大数据对比装置发送的调试日志信息，第二抽取模块452用于上述调试日志信息中抽取事实，第二生成模块453用于根据预设的调试日志规则集对事实进行推理以生成测试报告。

具体地，第二抽取模块452从调试日志信息中抽取事实，第二生成模块453根据预设的调试日志规则集(DEBUG规则集)对上述事实进行推理以生成测试报告。

在本发明的一个实施例中，第二生成模块453根据调试日志规则采用CLIPS推理机制集对事实进行推理，生成测试报告。

调试日志专家分析装置450利用DEBUG规则集获取的数据比提醒日志专家分析装置430利用NOTICE规则集获得的数据更为精细，从而DEBUG规则集比NOTICE规则集的更加细化，进而可以达到定位出发生问题的具体原因的目的。例如，对于触发出的广告，在NOTICE规则集中只能判断触发条数是否一致。而在DEBUG规则集中，则可以对触发出的广告的多个属性进行一一判定，不同的属性值的异常对应不同的原因。

在本发明的一个实施例中，调试日志规则集中的规则和提醒日志规则集中的规则具有不同的优先级。

DEBUG数据可以详尽地收集第一被测系统和第二被测系统整个处理过程的中间数据。其中，中间数据的数据量较大，可以多至数万条。如果采用人为方式进行分析，则工作量分长达。通过收集QA和RD的分析问题的过程和方法，将其通过规则集的形式进行描述，从而将认为的分析过程自动化。并且由于收集到的数据非常详尽，相比基于NOTICE日志的专家系统，其定位问题的准确度更高，也更接近问题的根源。

由于第二生成模块453采用CLIPS推理机制对事实进行推理，如果某个事实可以被多个规则触发，则可以判断存在冲突。按照CLIPS的解决方案可以有深度有限或广度有限等策略可供选择。并且，在不同的情况下可以采用不同的策略。

为了防止出现非预期的推理，在NOTICE规则集和DEBUG规则集的设计过程中，通过对准入的规则设置较高的优先级来保证该准入的规则可以被优先触发。在这些准入规则中生成不同的事实以控制后续规则的触发顺序，从而可以有效地避免一条触发多条规则时出现结果不可预期的问题，从而可以保证结果分析的可靠性。

在本发明的一个实施例中，大数据对比装置430还用于将初步测试报告和测试报告进行比对以对第一被测系统410和第二被测系统420进行差异分析。

第一被测系统410为第二被测系统420的升级系统。在第二被测系统420升级到第一被测系统410的过程中，对于无法屏蔽差异问题(diff)的升级，旧的大数据对比方法无法使用。但是结合基于DEBUG日志的专家系统后，每次的差异问题(diff)出现都能够定位出问题的根源。如果每次请求diff的原因均为预期的，则可以认为这次大数据对比测试的结果通过。

根据本发明实施例的大数据对比测试系统，可以在发现系统出现问题后，自动收集中间过程的数据并进行分析，从而实现对问题根源的自动定位，极大地提升大数据对比发现问题后的分析和定位问题根源的效率。

下面参考图7描述根据本发明实施例的大数据对比装置。

如图7所示，本发明实施例提供的大数据对比装置包括：查询信息发送模块431、获取模块432和发送模块433。其中，查询信息发送模块431用于向第一被测系统410和第二被测系统420发送查询信息，获取模块432用于从第一被测系统410和第二被测系统获取提醒日志信息和调试日志信息，发送模块433用于向提醒日志专家分析装置发送提醒日志信息，并向调试日志专家分析装置发送调试日志信息，以使提醒日志专家分析装置根据提醒日志信息生成第一被测系统和第二被测系统的初步测试报告，并使调试日志专家分析装置根据调试日志信息生成第一被测系统和第二被测系统的测试报告。

在本发明的一个实施例中，第一被测系统410为升级后的系统，第二被测系统420为升级前的系统。其中，第一被测系统410和第二被测系统420可以为IMBS。

当发生问题时，查询信息发送模块431向第一被测系统410和第二被测系统420发送查询请求(query请求)。

第一被测系统410和第二被测系统420在接收到查询请求后，根据查询请求分别返回提醒日志信息(NOTICE日志)。获取模块432获取从第一被测系统410和第二被测系统420返回的提醒日志信息。并由发送模块433将提醒日志信息发送给提醒日志专家分析装置。

提醒日志专家分析装置接收发送模块433发送的提醒日志信息，并从提醒日志信息中抽取事实(FACTS)，并根据预设的提醒日志规则集对上述事实进行推理以生成初步测试报告。

在本发明的又一个实施例中，大数据对比装置430还包括接收模块434和对比模块435。其中，接收模块434用于接收提醒日志专家分析装置生成的初步测试报告。

但是，利用提醒日志专家分析装置通过NOTICE规则集无法定位到发生问题的具体原因，而只能给出初步的分析结果。并且，由于缺少详细数据，导致无法定位到属性值计算错误的问题。因此，需要从第一被测系统410和第二被测系统420获取详细的测试报告。

为了获得详细的测试报告，查询信息发送模块431再次分别向第一被测系统410和第二被测系统420发送查询信息(query信息)。

第一被测系统410和第二被测系统420接收到查询信息发送模块431重发的查询信息后，向获取模块432返回调试日志信息(DEBUG信息)，并由发送模块433将调试日志信息发送至调试日志专家分析装置。

调试日志专家分析装置接收发送模块433发送的调试日志信息，并从调试日志信息中抽取事实(FACTS)，并根据预设的调试日志规则集对上述事实进行推理以生成测试报告。接收模块434还用于接收调试日志专家分析装置生成的测试报告。

在本发明的一个实施例中，大数据对比装置430还包括对比模块435，用于将初步测试报告和测试报告进行比对以对第一被测系统410和第二被测系统420进行差异分析。

第一被测系统410为第二被测系统420的升级系统。在第二被测系统420升级到第一被测系统410的过程中，对于无法屏蔽差异问题(diff)的升级，旧的大数据对比方法无法使用。但是结合基于DEBUG日志的专家系统后，每次的差异问题(diff)出现都能够定位出问题的根源。如果每次请求diff的原因均为预期的，则可以认为这次大数据对比测试的结果通过。

根据本发明实施例的大数据对比装置，可以在发现系统出现问题后，自动收集中间过程的数据并进行分析，从而实现对问题根源的自动定位，极大地提升大数据对比发现问题后的分析和定位问题根源的效率。

本发明的实施例还提供了一种提醒日志专家分析装置，包括第一接收模块、第一抽取模块和第一生成模块。其中，第一接收模块用于接收大数据对比装置发送的提醒日志信息，第一抽取模块用于从提醒日志信息中抽取事实，第一生成模块用于根据预设的提醒日志规则集对事实进行推理以生成初步测试报告。

在本发明的又一个实施例中，提醒日志规则集中的规则具有不同的优先级。

在本发明的一个实施例中，第一生成模块采用CLIPS推理机制，根据提醒日志规则集对事实进行推理，生成初步测试报告。其中，提醒日志规则集包括输入数据对比和各个阶段的统计数据对比。具体地，提醒日志信息可以包括多个属性的统计信息。例如：拍卖词数量、请求广告条数、各个阶段检索到的广告条数等。

提醒日志信息通常用于收集一次请求的过程概要数据。这类数据通常只由于统计分析。但实际上，概要数据也可以提供很多问题分析的关键数据。

提醒日志专家分析装置通过对NOTICE日志信息的各个字段的分析，整理出各个概要数据代表的详细含义及影响该数据的相关功能点，建立用于NOTICE日志分析的NOTICE规则集。当结果出现差异问题时，基于NOTICE日志的专家系统可以很好的对问题进行初步定位。对于出现的随机问题，上述分析结果可以缩小后续排查的范围。

NOTICE规则集与整个检索流程相匹配。具体地，第一生成模块首先判断输入数据是否一致，即对从提醒日志信息中抽取的事实进行判断，然后判断各个阶段的统计数据是否一致。如果某个阶段的统计数据存在差异，则可以初步定位出该阶段发生了问题。

根据本发明实施例的提醒日志专家分析装置，可以在发现系统出现问题后，自动收集中间过程的数据并进行分析，从而实现对问题根源的初步的自动定位，极大地提升大数据对比发现问题后的分析和定位问题根源的效率。

本发明的实施例还提供了一种调试日志专家分析装置，包括第二接收模块、第二抽取模块和第二生成模块。其中，第二接收模块用于接收大数据对比装置发送的调试日志信息，第二抽取模块用于从调试日志信息中抽取事实，第二生成模块用于根据预设的调试日志规则集对事实进行推理以生成测试报告。

具体地，第二抽取模块从调试日志信息中抽取事实，第二生成模块根据预设的调试日志规则集(DEBUG规则集)对上述事实进行推理以生成测试报告。

在本发明的一个实施例中，调试日志规则集中的规则具有不同的优先级。

在本发明的一个实施例中，第二生成模块根据调试日志规则采用CLIPS推理机制集对事实进行推理，生成测试报告。由于第二生成模块采用CLIPS推理机制对事实进行推理，如果某个事实可以被多个规则触发，则可以判断存在冲突。按照CLIPS的解决方案可以有深度有限或广度有限等策略可供选择。并且，在不同的情况下可以采用不同的策略。

调试日志专家分析装置利用DEBUG规则集获取的数据比提醒日志专家分析装置利用NOTICE规则集获得的数据更为精细，从而DEBUG规则集比NOTICE规则集的更加细化，进而可以达到定位出发生问题的具体原因的目的。例如，对于触发出的广告，在NOTICE规则集中只能判断触发条数是否一致。而在DEBUG规则集中，则可以对触发出的广告的多个属性进行一一判定，不同的属性值的异常对应不同的原因。

DEBUG数据可以详尽地收集第一被测系统和第二被测系统整个处理过程的中间数据。其中，中间数据的数据量较大，可以多至数万条。如果采用人为方式进行分析，则工作量分长达。通过收集QA和RD的分析问题的过程和方法，将其通过规则集的形式进行描述，从而将认为的分析过程自动化。并且由于收集到的数据非常详尽，相比基于NOTICE日志的专家系统，其定位问题的准确度更高，也更接近问题的根源。

为了防止出现非预期的推理，在NOTICE规则集和DEBUG规则集的设计过程中，通过对准入的规则设置较高的优先级来保证该准入的规则可以被优先触发。在这些准入规则中生成不同的事实以控制后续规则的触发顺序，从而可以有效地避免一条触发多条规则时出现结果不可预期的问题，从而可以保证结果分析的可靠性。

根据本发明实施例的调试日志专家分析装置，可以在发现系统出现问题后，自动收集中间过程的数据并进行分析，收集数据更为详细，从而实现对问题根源的详尽的自动定位，定位精度高且极大地提升大数据对比发现问题后的分析和定位问题根源的效率。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，″计算机可读介质″可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (22)

1.一种大数据对比测试方法，其特征在于，包括以下步骤：

分别向第一被测系统和第二被测系统发送查询信息；

分别从所述第一被测系统和第二被测系统获取提醒日志信息，并根据所述提醒日志信息生成所述第一被测系统和第二被测系统的初步测试报告；

再次分别向所述第一被测系统和第二被测系统重发所述查询信息；以及

分别从所述第一被测系统和第二被测系统获取调试日志信息，并根据所述调试日志信息生成所述第一被测系统和第二被测系统的测试报告。

2.如权利要求1所述的大数据对比测试方法，其特征在于，还包括：

将所述初步测试报告和所述测试报告进行比对以对所述第一被测系统和所述第二被测系统进行差异分析。

3.如权利要求1所述的大数据对比测试方法，其特征在于，所述根据提醒日志信息生成所述第一被测系统和第二被测系统的初步测试报告进一步包括：

从所述提醒日志信息中抽取事实；以及

根据预设的提醒日志规则集对所述事实进行推理以生成所述初步测试报告。

4.如权利要求3所述的大数据对比测试方法，其特征在于，所述提醒日志规则集包括输入数据对比和各个阶段的统计数据对比。

5.如权利要求1-4任一项所述的大数据对比测试方法，其特征在于，所述根据调试日志信息生成第一被测系统和第二被测系统的测试报告进一步包括：

从所述调试日志信息中抽取事实；以及

根据预设的调试日志规则集对所述事实进行推理以生成所述测试报告。

6.如权利要求1-5任一项所述的大数据对比测试方法，其特征在于，所述调试日志规则集和所述提醒日志规则集中的规则具有不同的优先级。

7.如权利要求1-6任一项所述的大数据对比测试方法，其特征在于，所述第一被测系统为升级后的系统，所述第二被测系统为升级前的系统。

8.一种大数据对比测试系统，其特征在于，包括：

第一被测系统和第二被测系统；

大数据对比装置，所述大数据对比装置分别与所述第一被测系统和第二被测系统相连，用于分别向所述第一被测系统和第二被测系统发送查询信息，并分别从所述第一被测系统和第二被测系统获取提醒日志信息，以及再次分别向所述第一被测系统和第二被测系统重发所述查询信息，和分别从所述第一被测系统和第二被测系统获取调试日志信息；

提醒日志专家分析装置，所述提醒日志专家分析装置与所述大数据对比装置相连，用于根据所述提醒日志信息生成所述第一被测系统和第二被测系统的初步测试报告；以及

调试日志专家分析装置，所述调试日志专家分析装置与所述大数据对比装置相连，用于根据所述调试日志信息生成所述第一被测系统和第二被测系统的测试报告。

9.如权利要求8所述的大数据对比测试系统，其特征在于，所述大数据对比装置还用于将所述初步测试报告和所述测试报告进行比对以对所述第一被测系统和所述第二被测系统进行差异分析。

10.如权利要求8所述的大数据对比测试系统，其特征在于，所述提醒日志专家分析装置包括：

第一接收模块，用于接收所述大数据对比装置发送的提醒日志信息；

第一抽取模块，用于从所述提醒日志信息中抽取事实；以及

第一生成模块，用于根据预设的提醒日志规则集对所述事实进行推理以生成所述初步测试报告。

11.如权利要求10所述的大数据对比测试系统，其特征在于，所述提醒日志规则集包括输入数据对比和各个阶段的统计数据对比。

12.如权利要求10所述的大数据对比测试系统，其特征在于，所述调试日志专家分析装置包括：

第二接收模块，用于接收所述大数据对比装置发送的调试日志信息；

第二抽取模块，用于从所述调试日志信息中抽取事实；以及

第二生成模块，用于根据预设的调试日志规则集对所述事实进行推理以生成所述测试报告。

13.如权利要求12所述的大数据对比测试系统，其特征在于，所述调试日志规则集和所述提醒日志规则集中的规则具有不同的优先级。

14.如权利要求8所述的大数据对比测试系统，其特征在于，所述第一被测系统为升级后的系统，所述第二被测系统为升级前的系统。

15.一种大数据对比装置，其特征在于，包括：

查询信息发送模块，用于向第一被测系统和第二被测系统发送查询信息；

获取模块，用于从所述第一被测系统和第二被测系统获取提醒日志信息和调试日志信息；以及

发送模块，用于向所述提醒日志专家分析装置发送所述提醒日志信息，并向所述调试日志专家分析装置发送调试日志信息，以使所述提醒日志专家分析装置根据所述提醒日志信息生成所述第一被测系统和第二被测系统的初步测试报告，并使所述调试日志专家分析装置根据所述调试日志信息生成所述第一被测系统和第二被测系统的测试报告。

16.如权利要求15所述的大数据对比装置，其特征在于，还包括：

接收模块，用于接收所述提醒日志专家分析装置生成的所述初步测试报告，并接收所述调试日志专家分析装置生成的所述测试报告；以及

对比模块，用于将所述初步测试报告和所述测试报告进行比对以对所述第一被测系统和所述第二被测系统进行差异分析。

17.如权利要求15所述的大数据对比装置，其特征在于，所述第一被测系统为升级后的系统，所述第二被测系统为升级前的系统。

18.一种提醒日志专家分析装置，其特征在于，包括：

第一接收模块，用于接收大数据对比装置发送的提醒日志信息；

第一抽取模块，用于从所述提醒日志信息中抽取事实；以及

第一生成模块，用于根据预设的提醒日志规则集对所述事实进行推理以生成所述初步测试报告。

19.如权利要求18所述的提醒日志专家分析装置，其特征在于，所述提醒日志规则集包括输入数据对比和各个阶段的统计数据对比。

20.如权利要求18所述的提醒日志专家分析装置，其特征在于，所述提醒日志规则集中的规则具有不同的优先级。

21.一种调试日志专家分析装置，其特征在于，包括：

第二接收模块，用于接收大数据对比装置发送的调试日志信息；

第二抽取模块，用于从所述调试日志信息中抽取事实；以及

第二生成模块，用于根据预设的调试日志规则集对所述事实进行推理以生成所述测试报告。

22.如权利要求21所述的调试日志专家分析装置，其特征在于，所述调试日志规则集中的规则具有不同的优先级。

Images