CN112199233A - 一种elasticsearch可视化数据的校验方法、装置及设备 - Google Patents

Abstract

本申请公开了一种elasticsearch可视化数据的校验方法、装置及设备。通过将已设置的测试用例中用于获取可视化数据的条件参数转化为ES原生查询语句和ES可视化数据查询接口条件参数，降低了ES原生查询语句的编写难度，提高了校验可视化数据的效率；通过设定好的程序一同获取用于校验该可视化数据的标准数据和待校验的可视化数据，然后校验可视化数据和标准数据是否匹配，如果匹配，则确定可视化数据通过校验，最终减少了ES中的数据动态变化对校验可视化数据的影响，提高了校验结果的准确性。

Description

一种elasticsearch可视化数据的校验方法、装置及设备

技术领域

本申请涉及计算机领域，特别涉及一种elasticsearch可视化数据的校验方法、装置及设备。

背景技术

在使用ES(elasticsearch，一个分布式的RESTFUL风格的搜索和数据分析引擎)中数据转化成的可视化数据时，需要保证可视化数据的准确性，因此要对可视化数据的准确性进行校验。

对可视化数据进行校验需要用到ES原生查询语句，但是由于ES原生查询语句的编写难度较大，在需要校验的可视化数据较多时，校验的效率也较低；同时ES中的数据动态变化较快，会影响校验结果的准确性。

发明内容

本申请提供了elasticsearch可视化数据的校验方法、装置及设备，以降低ES原生查询语句的编写难度和提高校验elasticsearch可视化数据的准确性。

根据本申请实施例的第一方面，提供一种elasticsearch可视化数据的校验方法，包括：

将已设置的测试用例中用于获取可视化数据的条件参数转化为ES原生查询语句和ES可视化数据查询接口条件参数；所述测试用例对应所述ES可视化数据查询接口和待校验的可视化数据；

通过ES可视化数据查询接口查询到与所述ES可视化数据查询接口条件参数对应的可视化数据；以及通过所述ES原生查询语句查询到用于校验可视化数据的标准数据；

校验所述可视化数据与所述标准数据是否匹配，如果是，确定所述可视化数据通过校验。

可选的，所述将已设置的测试用例中的条件参数转化为ES原生查询语句和ES可视化数据查询接口参数，包括：

依据所述条件参数生成指定格式的ES可视化数据查询接口条件参数；所述ES可视化数据查询接口条件参数至少包括所述条件参数中的参数值；

依据所述条件参数生成指定格式的ES原生查询语句；所述ES原生查询语句至少包括所述条件参数中的参数值。

可选的，所述指定格式为JSON格式。

可选的，所述条件参数中的参数值至少包括：

第一参数值，用于表示可视化数据的查询范围信息；

第二参数值，用于表示获取可视化数据执行的动作；

第三参数值，用于表示可视化数据的查询范围信息对应的查询类型。

可选的，所述校验所述可视化数据与所述标准数据是否匹配包括：

若ES可视化数据查询接口返回的可视化数据与ES原生查询语句返回的标准数据的数据格式不一致，则将可视化数据、标准数据转换成同一格式的数据；

比较格式转换后的可视化数据与标准数据在同一位置上的数据是否一致，如果是，则确定所述可视化数据与标准数据匹配，否则，确定所述可视化数据与标准数据不匹配。

可选的，将可视化数据、标准数据转换成同一格式的数据包括：

将ES可视化数据查询接口返回的可视化数据的数据格式转换成第二格式，所述第二格式为ES原生查询语句返回的标准数据的数据格式；

或者，

将ES可视化数据查询接口返回的可视化数据与ES原生查询语句返回的标准数据的数据格式转换成指定的第三格式。

根据本申请实施例的第二方面，提供一种elasticsearch可视化数据的校验方法，该装置包括：

条件参数转化单元，用于将已设置的测试用例中用于获取可视化数据的条件参数转化为ES原生查询语句和ES可视化数据查询接口条件参数；所述测试用例对应所述ES可视化数据查询接口和待校验的可视化数据；

查询单元，用于通过ES可视化数据查询接口查询到与所述ES可视化数据查询接口条件参数对应的可视化数据；以及通过所述ES原生查询语句查询到用于校验可视化数据的标准数据；

校验单元，用于校验所述可视化数据与所述标准数据是否匹配，如果是，确定所述可视化数据通过校验。

可选的，所述条件参数转化单元将已设置的测试用例中的条件参数转化为ES原生查询语句和ES可视化数据查询接口参数，包括：

依据所述条件参数生成指定格式的ES可视化数据查询接口条件参数；所述ES可视化数据查询接口条件参数至少包括所述条件参数中的参数值；

依据所述条件参数生成指定格式的ES原生查询语句；所述ES原生查询语句至少包括所述条件参数中的参数值。

可选的，所述校验单元校验所述可视化数据与所述标准数据是否匹配，包括：

若ES可视化数据查询接口返回的可视化数据与ES原生查询语句返回的标准数据的数据格式不一致，则将可视化数据、标准数据转换成同一格式的数据；

比较格式转换后的可视化数据与标准数据在同一位置上的数据是否一致，如果是，则确定所述可视化数据与标准数据匹配，否则，确定所述可视化数据与标准数据不匹配。

根据本申请实施例的第三方面，提供一种电子设备，包括：

一种电子设备，该电子设备包括：处理器和存储器；

所述存储器，用于存储机器可执行指令；

所述处理器，用于读取并执行所述存储器存储的机器可执行指令，以实现如上所述的方法。

本申请的实施例提供的技术方案可以包括以下有益效果：

由以上技术方案可知，本申请提供的方案可以将测试用例中的条件参数自动转化为ES原生查询语句和ES可视化数据查询接口条件参数，降低了ES原生查询语句的编写难度，提高了测试效率；通过设定好的程序一同获取用于校验该可视化数据的标准数据和待校验的可视化数据，然后校验可视化数据和标准数据是否匹配，如果匹配，则确定可视化数据通过校验，最终减少了ES中数据动态变化对校验可视化数据的影响，提高了校验结果的准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本说明书的原理。

图1是本申请提供的elasticsearch可视化数据的校验方法的流程图；

图2是本申请提供的使用Excel编写测试用例的示意图；

图3是本申请中的一种elasticsearch可视化数据的校验装置示意图；

图4是本申请提供的另一种elasticsearch可视化数据的校验装置示意图；

图5是本申请提供的电子设备结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。

参见图1，图1为本申请提供的方法流程图。作为一个实施例，图1所示的流程可以应用于电子设备，比如计算机，本实施例并不具体限定。

首先介绍一下本申请中涉及到的技术，本申请实施例中的elasticsearch(ES)是一个分布式的RESTFUL风格的搜索和数据分析引擎，一般用于大数据分析、检索、存储等业务，有数据量大、种类多、实时动态变化的特点。其中，RESTFUL是一种基于HTTP的网络应用程序的设计风格和开发方式，可以使用XML格式定义或JSON格式定义。本申请实施例中的ES中的接口为基于HTTP协议，以JSON为数据交互格式的RESTFUL API。

可选的，本申请实施例中，ES中的数据和ES原生查询语句的格式都是JSON。通过ES原生查询语句对ES中的数据进行查询时，ES返回的数据格式也是JSON格式。

可选的，本申请实施例中的可视化数据是为了能更直观的参考ES中数据，将ES中的数据可视化后的数据。ES中的实现可视化数据的展示是通过ES可视化数据查询接口对ES中的数据进行查询，然后将查询到的数据给前端，通过饼图、折线图、柱状图、列表等形式进行展示。这里的ES可视化数据查询接口也是基于HTTP协议，以JSON为数据交互格式的RESTFUL API。

基于上面描述，下面对图1所示流程进行描述：

如图1所示，该流程可以包括以下步骤：

步骤101，将已设置的测试用例中用于获取可视化数据的条件参数转化为ES原生查询语句和ES可视化数据查询接口条件参数；所述测试用例对应所述ES可视化数据查询接口和待校验的可视化数据。

具体实现时，在步骤101中，所述测试用例是根据待校验的可视化数据得到的，一个测试用例对应一个待校验的可视化数据，并对应一个ES可视化数据查询接口。测试用例中至少包含获取待校验的可视化数据时用到的ES可视化数据查询接口编号，和至少一个用于获取待校验的可视化数据时用到的条件参数。

测试用例中的ES可视化数据查询接口编号用于在具体实施时，用于指示执行本实施例的程序查找ES可视化数据查询接口，所述ES可视化数据查询接口的信息保存在本地文档或数据库中。

测试用例中的条件参数要根据待校验的可视化数据的查询条件获得，比如要查询可视化数据在某个时间范围内，这时条件参数为指定的时间范围，表示在指定的时间范围内查询对应的可视化数据。一个测试用例可以包含多个条件参数。

可选的，测试用例中的一个条件参数包括至少包括三个参数值，其中第一参数值用于表示可视化数据的查询范围信息；第二参数值，用于表示获取可视化数据执行的动作；第三参数值，用于表示可视化数据的查询范围信息对应的查询类型。

可选的，测试用例的设计使用易于使用的文档即可，以Excel编写测试用例为例，图2举例示出使用Excel编写测试用例的示意图。参见图2中的用例case1，用例case1中的ES可视化数据查询接口编号为inter001，用于获取待校验的可视化数据时用到的条件参数有两个，分别是条件1和条件2，每个条件参数有三个参数值，三个参数值的名称依次是字段、动作和值。case1中的条件1表示在可视化数据的查询范围信息为time时，查询ES数据库中包含time的数据，获取time1到time2时间范围内的数据。条件2表示在条件1所查询出的数据中继续查询，条件2中的查询范围信息为field0，field0为一个具体的数据属性名，比如field0可以具体为load_time(网页加载时间)，表示在条件1所查询到的数据中查询包含有load_time的数据；aggs表示对根据查询范围信息查询到的数据进行聚合分组以获得可视化数据，聚合就是对查询到的同一类的数据进行统计，分组是对不同类型的数据进行分组，比如将load_time按照1s,5s,10s,15s,20s分组；value0表示查询范围信息对应的查询类型，value0可以为一个数值，比如5，表示按照一定规则获取5条不同类型的聚合分组后的数据。本实施例中举例只是便于理解，并不是具体限定。

本实施例中，如何将条件参数转化为ES原生查询语句和ES可视化数据查询接口条件参数，具体过程会在下面描述步骤101如何将测试用例中的条件参数转化为ES可视化数据查询接口条件参数和ES原生查询语句中详细说明。

步骤102，通过ES可视化数据查询接口查询到与所述ES可视化数据查询接口条件参数对应的可视化数据；以及通过所述ES原生查询语句查询到用于校验可视化数据的标准数据。

作为一个实施例，步骤102中查询与所述ES可视化数据查询接口条件参数对应的可视化数据和用于校验可视化数据的标准数据是多线程并发执行的，在具体实现时，执行上述步骤用到的线程的个数根据实际执行情况确定，这里不限制并发执行的线程个数。

本实施例中，ES可视化数据查询接口用于使用ES可视化数据查询接口条件参数获取待校验的可视化数据。

可选的，ES可视化数据查询接口具体实现查询可视化数据，是通过将ES可视化数据查询接口条件参数发送到对应的ES可视化数据查询接口，然后执行该ES可视化数据查询接口，得到与所述ES可视化数据查询接口条件参数对应的可视化数据。

本实施例中，ES原生查询语句用于获取用于校验可视化数据的标准数据。本实施例中，如果待校验的可视化数据是准确的，那么通过ES原生查询语句获取的标准数据应该与待校验的可视化数据应当是匹配的。

可选的，ES原生查询语句具体实现查询用于校验可视化数据的标准数据，是通过将ES原生查询语句写到HTTP请求中，然后执行该HTTP请求来获取用于校验可视化数据的标准数据。

步骤103，校验所述可视化数据与所述标准数据是否匹配，如果是，确定所述可视化数据通过校验；如果否，确定所述可视化数据未通过校验。

作为一个实施例，在步骤103中校验所述可视化数据与所述标准数据是否匹配时，需要先确定ES可视化数据查询接口返回的可视化数据与ES原生查询语句返回的标准数据的数据是否一致。

如果ES可视化数据查询接口返回的可视化数据与ES原生查询语句返回的标准数据的数据格式不一致，要将可视化数据、标准数据转换成同一格式的数据。

具体实现时，可以将所述可视化数据的校验结果写入对应的如图2所示的测试用例中的执行结果中，所述执行结果在对应的测试用例未执行前设置为空。

可选的，步骤103中将可视化数据、标准数据转换成同一格式的数据有两种方式，具体过程会在下面描述步骤103如何将可视化数据、标准数据转换成同一格式的数据并对可视化数据进行校验中详细说明。

至此，图1所示的方法的流程结束。

根据图1所示的实施例，将测试用例中的条件参数自动转化为ES原生查询语句和ES可视化数据查询接口条件参数，降低了ES原生查询语句的编写难度，提高了测试效率；通过设定好的程序执行ES原生查询语句获取用于校验该可视化数据的标准数据，同时执行ES可视化数据查询接口获取待校验的可视化数据，使两个数据一同被获取；然后校验可视化数据和标准数据是否匹配，如果匹配，则确定可视化数据通过校验，最终减少了ES中数据动态变化对校验可视化数据的影响，提高了校验结果的准确性。

下面描述步骤101如何将测试用例中的条件参数转化为ES可视化数据查询接口条件参数和ES原生查询语句：

具体实现时，可以依据所述条件参数生成JSON格式的ES可视化数据查询接口条件参数，所生成的ES可视化数据查询接口条件参数包括所述条件参数中的参数值；依据所述条件参数生成JSON格式的ES原生查询语句，所述ES原生查询语句包括所述条件参数中的参数值。

还是以图2所示的测试用例中的用例case1为例，将用例case1中条件1和条件2转化为JSON格式的ES可视化数据查询接口条件参数，具体格式为：{"time":[time1,time2],"field0":value0}；将用例case1中条件1和条件2转化为JSON格式ES原生查询语句，具体格式为：

以上通过一个实施例描述步骤101中如何将测试用例中的条件参数转化为ES可视化数据查询接口条件参数和ES原生查询语句，只是为便于理解，并不是具体限定。

下面描述步骤103如何将可视化数据、标准数据转换成同一格式的数据并对可视化数据进行校验：

作为一个实施例，可以将可视化数据查询接口返回的可视化数据的数据格式转换成第二格式，其中第二格式是与ES原生查询语句返回的标准数据的一样的数据格式。在具体实施例中，可视化数据的数据格式种类较多，比如可视化数据可以是折线图、饼状图等格式，但ES原生查询语句返回的标准数据的数据格式只有一种为JSON格式，因此在将可视化数据、标准数据转换成同一格式的数据时，将可视化数据的数据格式转换为JSON格式效率更高。

在另一个实施例中，可以将可视化数据查询接口返回的可视化数据与ES原生查询语句返回的标准数据的数据格式转换成指定的第三格式。本申请实施例中所述指定的第三格式可以是可视化数据查询接口返回的可视化数据与ES原生查询语句返回的标准数据都可以转换的任意一种数据格式，本申请并不具体限定。

进一步的，将可视化数据、标准数据转换成同一格式的数据后，需要比较格式转换后的可视化数据与标准数据是否一致，比较方式是将格式转换后的可视化数据和标准数据中的数据按照顺序一一对应并比较。

如果格式转换后的可视化数据和标准数据中的数据的大小和位置都一致，则确定所述可视化数据与标准数据匹配，否则，确定所述可视化数据与标准数据不匹配。

需要说明的是，上述方法实施例在具体实现时，可以在一个时间段内对一个测试用例执行，也可以在一个时间段内通过多线程对多个测试用例并发执行，本申请不对上述实施例的执行对象的数量和执行时机进行限定。

以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述：

参见图3，图3为本申请提供的一种elasticsearch可视化数据的校验装置示意图。该装置包括：

条件参数转化单元，用于将已设置的测试用例中用于获取可视化数据的条件参数转化为ES原生查询语句和ES可视化数据查询接口条件参数；所述测试用例对应所述ES可视化数据查询接口和待校验的可视化数据。

查询单元，用于通过ES可视化数据查询接口查询到与所述ES可视化数据查询接口条件参数对应的可视化数据；以及通过所述ES原生查询语句查询到用于校验可视化数据的标准数据。

校验单元，用于校验所述可视化数据与所述标准数据是否匹配，如果是，确定所述可视化数据通过校验。

作为一个实施例，所述条件参数转化单元具体用于依据所述条件参数生成指定格式的ES可视化数据查询接口条件参数；所述ES可视化数据查询接口条件参数至少包括所述条件参数中的参数值；依据所述条件参数生成指定格式的ES原生查询语句；所述ES原生查询语句至少包括所述条件参数中的参数值。

所述校验单元具体用于当ES可视化数据查询接口返回的可视化数据与ES原生查询语句返回的标准数据的数据格式不一致时，将可视化数据、标准数据转换成同一格式的数据；并比较格式转换后的可视化数据与标准数据在同一位置上的数据是否一致，如果是，则确定所述可视化数据与标准数据匹配，否则，确定所述可视化数据与标准数据不匹配。

在通过图3所示的装置校验可视化数据时，可以在一个时间段内通过多线程对多个测试用例并发执行，校验多个可视化数据。

可选的，作为另一个实施例，可以通过如图4所示的装置校验可视化数据，一次只执行一个测试用例，在得到所述测试用例对应的可视化数据的校验结果后，重新执行装置中条件转化模块，循环上述方法流程，直到将所有待执行的测试用例执行完。

通过上述和本申请方法实施例对应的装置实施例，将测试用例中的条件参数自动转化为ES原生查询语句和ES可视化数据查询接口条件参数，降低了ES原生查询语句的编写难度，提高了测试效率；通过设定好的程序一同获取用于校验该可视化数据的标准数据和待校验的可视化数据，然后校验可视化数据和标准数据是否匹配，如果匹配，则确定可视化数据通过校验，最终减少了ES中数据动态变化对校验可视化数据的影响，提高了校验结果的准确性。

至此，完成图3和图4所示装置的结构图。

对应地，本申请还提供了上述装置的硬件结构图，具体如图5所示。如图5所示，该硬件结构包括：处理器和存储器。

其中，所述存储器，用于存储机器可执行指令；

所述处理器，用于读取并执行所述存储器存储的机器可执行指令，以实现如图1所示的队列资源管理方法。

作为一个实施例，存储器可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，存储器可以是：易失存储器、非易失性存储器或者类似的存储介质。具体地，存储器可以是RAM(Radom Access Memory，随机存取存储器)、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、DVD等)，或者类似的存储介质，或者它们的组合。

至此，完成图5所示设备的描述。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种elasticsearch可视化数据的校验方法，其特征在于，所述方法包括：

将已设置的测试用例中用于获取可视化数据的条件参数转化为ES原生查询语句和ES可视化数据查询接口条件参数；所述测试用例对应所述ES可视化数据查询接口和待校验的可视化数据；

通过ES可视化数据查询接口查询到与所述ES可视化数据查询接口条件参数对应的可视化数据；以及通过所述ES原生查询语句查询到用于校验可视化数据的标准数据；

校验所述可视化数据与所述标准数据是否匹配，如果是，确定所述可视化数据通过校验。

2.根据权利要求1所述的方法，其特征在于，所述将已设置的测试用例中的条件参数转化为ES原生查询语句和ES可视化数据查询接口参数，包括：

依据所述条件参数生成指定格式的ES可视化数据查询接口条件参数；所述ES可视化数据查询接口条件参数至少包括所述条件参数中的参数值；

依据所述条件参数生成指定格式的ES原生查询语句；所述ES原生查询语句至少包括所述条件参数中的参数值。

3.根据权利要求2所述的方法，其特征在于，所述指定格式为JSON格式。

4.根据权利要求2所述的方法，其特征在于，所述条件参数中的参数值至少包括：

第一参数值，用于表示可视化数据的查询范围信息；

第二参数值，用于表示获取可视化数据执行的动作；

第三参数值，用于表示可视化数据的查询范围信息对应的查询类型。

5.根据权利要求1所述的方法，其特征在于，所述校验所述可视化数据与所述标准数据是否匹配，包括：

若ES可视化数据查询接口返回的可视化数据与ES原生查询语句返回的标准数据的数据格式不一致，则将可视化数据、标准数据转换成同一格式的数据；

比较格式转换后的可视化数据与标准数据在同一位置上的数据是否一致，如果是，则确定所述可视化数据与标准数据匹配，否则，确定所述可视化数据与标准数据不匹配。

6.根据权利要求5所述的方法，其特征在于，将可视化数据、标准数据转换成同一格式的数据包括：

将ES可视化数据查询接口返回的可视化数据的数据格式转换成第二格式，所述第二格式为ES原生查询语句返回的标准数据的数据格式；

或者，

将ES可视化数据查询接口返回的可视化数据与ES原生查询语句返回的标准数据的数据格式转换成指定的第三格式。

7.一种elasticsearch可视化数据的校验装置，其特征在于，所述装置包括：

条件参数转化单元，用于将已设置的测试用例中用于获取可视化数据的条件参数转化为ES原生查询语句和ES可视化数据查询接口条件参数；所述测试用例对应所述ES可视化数据查询接口和待校验的可视化数据；

查询单元，用于通过ES可视化数据查询接口查询到与所述ES可视化数据查询接口条件参数对应的可视化数据；以及通过所述ES原生查询语句查询到用于校验可视化数据的标准数据；

校验单元，用于校验所述可视化数据与所述标准数据是否匹配，如果是，确定所述可视化数据通过校验。

8.根据权利要求7所述的装置，其特征在于，所述条件参数转化单元将已设置的测试用例中的条件参数转化为ES原生查询语句和ES可视化数据查询接口参数，包括：

依据所述条件参数生成指定格式的ES可视化数据查询接口条件参数；所述ES可视化数据查询接口条件参数至少包括所述条件参数中的参数值；

依据所述条件参数生成指定格式的ES原生查询语句；所述ES原生查询语句至少包括所述条件参数中的参数值。

9.根据权利要求7所述的装置，其特征在于，所述校验单元校验所述可视化数据与所述标准数据是否匹配，包括：

若ES可视化数据查询接口返回的可视化数据与ES原生查询语句返回的标准数据的数据格式不一致，则将可视化数据、标准数据转换成同一格式的数据；

比较格式转换后的可视化数据与标准数据在同一位置上的数据是否一致，如果是，则确定所述可视化数据与标准数据匹配，否则，确定所述可视化数据与标准数据不匹配。

10.一种电子设备，其特征在于，该电子设备包括：处理器和存储器；

所述存储器，用于存储机器可执行指令；

所述处理器，用于读取并执行所述存储器存储的机器可执行指令，以实现如权利要求1至6任一方法。

Images