CN112597011B

CN112597011B - 一种基于多语言的算子测试用例生成和优化方法

Info

Publication number: CN112597011B
Application number: CN202011487254.2A
Authority: CN
Inventors: 洪小林
Original assignee: Survey Point Big Data Suzhou Co ltd
Current assignee: Survey Point Big Data Suzhou Co ltd
Priority date: 2020-12-16
Filing date: 2020-12-16
Publication date: 2024-04-16
Anticipated expiration: 2040-12-16
Also published as: CN112597011A

Abstract

本发明公开了一种基于多语言的算子测试用例生成和优化方法，属于算子测试用例生成和优化方法技术领域，包括以下步骤：S1、导入工程，在JAVAIDE中创建一个java工程，S2、创建入口启动类，使用CalcTest.jar中的CalcMain创建入口启动类，S3、创建算子描述文件.xml和算子类实现文件.java，S4、启动算子测试平台，S5、将算子打成jar包；本发明在算子测试平台中添加了CalcResult和LogUtil两种工具类，算子提供与离线数据分析平台UI的信息交互工具，CalcResult.warnMessage，用于向UI输出报警信息，计算不停止，CalcResult.errorMessage，用于向UI输出错误信息，计算应即刻停止并return，使用这两个工具向UI发送信息，会在算子右侧给出惊叹图标或红叉图标。鼠标移到该图标会弹出算法需要报警或报错的信息。

Description

一种基于多语言的算子测试用例生成和优化方法

技术领域

本发明属于算子测试用例生成和优化方法技术领域，具体涉及一种基于多语言的算子测试用例生成和优化方法。

背景技术

计算机编程语言是程序设计的最重要的工具，它是指计算机能够接受和处理的、具有一定语法规则的语言。从计算机诞生至今，计算机语言经历了机器语言、汇编语言和高级语言几个阶段，在所有的程序设计语言中，只有机器语言编制的源程序能够被计算机直接理解和执行，用其它程序设计语言编写的程序都必须利用语言处理程序“翻译”成计算机所能识别的机器语言程序。

随着网络系统的不断发展，C、C++等语言编程都遇到了一定问题。在这一情况下，Java语言因其对网络环境的适应性，进而成为了网络软件编程的主要语言，本发明提出一种基于多语言的算子测试用例生成和优化方法对Java语言算子进行测试。

发明内容

本发明的目的在于提供一种基于多语言的算子测试用例生成和优化方法，以解决上述背景技术中提出现有技术中的问题。

本发明采用了如下技术方案：

一种基于多语言的算子测试用例生成和优化方法，包括以下步骤：

S1、导入工程，在JAVAIDE中创建一个java工程，工程目录中不要有中文、空格等特殊符号，导入算子测试平台的CalcTest.jar；IDE推荐使用IntelliJ IDEA CommunityEdition；

S2、创建入口启动类，使用CalcTest.jar中的CalcMain创建入口启动类；一般建议创建在src根目录下；

S3、创建算子描述文件.xml和算子类实现文件.java；在xml中，所有参数定义都放在<moduleParam>标记中，在该标记中，要给算子定义一个参数，请使用<calcRow>标记，每个参数均使用一对<calcRow></calcuRow>，使用XML文件描述算子定义信息及自动化参数界面配置相关定义信息，算子定义分为：算子ID，算子版本，算子作者，算子描述，算子说明，算子创建时间，算子全限定名，数据源输入定义，参数定义，输出定义，执行操作定义，通过解析xml文件，系统根据这些定义自动生产算子配置UI界面；

S4、启动算子测试平台；

S5、将算子打成jar包。

优选的，所述S2步骤中在创建入口启动类前，需要首先引入如下两个类。

优选的，所述步骤S3中先创建算子描述文件xml，算子描述文件用来描述算子的基本信息和参数信息；算子描述文件.xml应和算子名保持一致，否则无法解析.xml中算子包名，无法实例化算子。

优选的，所述步骤S4中启动算子测试平台有以下步骤：1)启动，2)选择算子，3)选择数据源，4)填写参数，5)运行算子，输出结果。

优选的，所述步骤S5中写好的算子，在导出jar包前需在src根目录下加入application.xml，application.xml中指定该jar包内哪个xml文件是算子配置文件，将xmlName指向算子xml文件，从Src下的目录开始写起。

优选的所述步骤S4中在算子开发测试平台下开发算子需要一下几个步骤：1)准备用于测试的CSV文件；CSV文件可以根据需要准备各种数据，比如正常数据、异常数据、特别数据等；2)规划算子的包路径、算子名称；3)编写算子的xml文件；4)编写算子的算法文件；使用算子开发测试平台对所编算子进行单步测试重复上面3-4的步骤。

本发明的技术效果和优点：本发明提出的一种基于多语言的算子测试用例生成和优化方法，与现有技术相比，具有以下优点：

本发明在算子测试平台中添加了CalcResult和LogUtil两种工具类，算子提供与离线数据分析平台UI的信息交互工具，CalcResult.warnMessage，用于向UI输出报警信息，计算不停止，CalcResult.errorMessage，用于向UI输出错误信息，计算应即刻停止并return，使用这两个工具向UI发送信息，会在算子右侧给出惊叹图标或红叉图标。鼠标移到该图标会弹出算法需要报警或报错的信息。

附图说明

图1为本发明的流程框图；

图2为本发明步骤S4算子测试平台运行框图；

图3为本发明实参map传入算子的参数示意图；

图4为本发明算子开发测试平台流程框图；

图5为本发明按速率过滤算子的基本信息定义部分示意图；

图6为本发明通过实参传入算子的参数示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了如图1-6所示的一种基于多语言的算子测试用例生成和优化方法，包括以下步骤：

S1、导入工程，在JAVAIDE中创建一个java工程，工程目录中不要有中文、空格等特殊符号，导入算子测试平台的CalcTest.jar。IDE推荐使用IntelliJ IDEA CommunityEdition；

在IntelliJ IDEA中导入jar，请选择创建的项目->右键->Open ModuleSettings，在“Project Settings”->“Libraries”选项卡下进行添加；

S2、创建入口启动类，使用CalcTest.jar中的CalcMain创建入口启动类，一般建议创建在src根目录下，在创建入口启动类前，需要首先引入如下两个类。

入口启动类用于在算法编写中启动算法测试平台。在需要测试自己编写的算法时，只需通过CalcStart的Debug模式，便可以进入算法测试平台；

S3、创建算子描述文件.xml和算子类实现文件.java，先创建算子描述文件xml，算子描述文件用来描述算子的基本信息和参数信息。算子描述文件.xml应和算子名保持一致，否则无法解析.xml中算子包名，无法实例化算子在.xml文件的<moduleClassRouter>中指明该算子的类实现文件.java。

在工程中创建算子类实现文件，即java文件。算子类必须继承并实现CalculateBase接口。该接口要求算子必须实现Dataset<Row>calculate()方法。在calculate方法内部，实现我们要编写的算法。

Calculate()方法有三个入参。第一个参数是Dataset<Row>[]datasets。该参数代表算法要处理的数据源。datasets是Dataset<Row>数组形式，表示算法可以接受多个Dataset<Row>对象。该特性对应到模型IDE中，表示该算子可以接受来自多个算子的数据结果。在算法开发测试平台上，可以通过为算子选择多个csv文件的方式，为算子的Dataset<Row>[]datasets赋值。算法开发测试平台，会按照csv文件名的第一个下划线前面的数字作为数组下标，传递到算子中，需从零开始按顺序往后给csv文件命名，如果只选中一个csv数据源，则该csv文件名前缀没有要求。第二个参数是Map<String,String>rule，算子的参数及它的设定值以map结构传入，xml中参数id作为map的键。第三个参数是SparkSessionspark。它代表全局spark服务。

在编写SparkSql时，标签名应该从传入进来的dataset中获取，在计算平台中，为了避免多个输入中的标签名重复，会加上一些前缀，所以在算子中需动态获取标签名。下面是获取dataset中标签方法。

StructType schema＝datasets[i].schema()；

StructField[]fields＝schema.fields()；

String tagNames＝""；

for(int j＝1；j<fields.length；j++){

//第0列为时间戳，数据列从1开始

String name＝fields[j].name()；

//在使用标签的时候，需要将标签名用``(数字键1左边的符号)括起来，防止标签名有含有特殊符号

tagNames+＝"`"+name+"`,"；//注意，双引号后面不是单引号，是1左边符号，这是spark SQL的特殊要求。

}

用于测试的csv数据文件应放入工程的input文件夹中，算法开发测试平台会自动扫描该文件夹中的测试数据csv文件。如果没有该文件夹请手动创建。

计算结果数据将会输出到output目录中.如果没有output目录，会在根目录下自动生成；

xml具体的编写规则可以查看算子界面描述规则文档。

测试平台中添加了CalcResult和LogUtil两种工具类。

算子提供与离线数据分析平台UI的信息交互工具，如下：

CalcResult.warnMessage("输出内容",map)，用于向UI输出报警信息，计算不停止；

CalcResult.errorMessage("输出内容",map)，用于向UI输出错误信息，计算应即刻停止并return。

使用这两个工具向UI发送信息，会在算子右侧给出惊叹图标或红叉图标。鼠标移到该图标会弹出算法需要报警或报错的信息；

CalcResult.calcProgress("输出字符串",map)，用于在页面显示算子计算进度；

算子提供与离线数据分析平台Log界面信息交互工具，如下：

LogUtil.log(要输出到日志的ds,ds的前多少条数据,map)

LogUtil.log(要输出到日志的ds数组,ds数组中每个ds的前多少条数据,map)

LogUtil.log("要输出到日志的字符串",map)

LogUtil.log(捕获到的异常信息e,map)

算子的其他编写注意事项，请参考算子模板Template.java；

算子XML文件中的参数定义部分，决定了该算子在数据分析平台的UI界面上有哪些参数可以设定并通过实参传入算子；

所述步骤S3在xml中，所有参数定义都放在<moduleParam>标记中，在该标记中，要给算子定义一个参数，请使用<calcRow>标记。每个参数均使用一对<calcRow></calcuRow>，一个算子可以定义多个参数，参数数量没有限制，考虑到UI界面长度，一般参数数量在10个以内，UI界面较为美观；

S4、启动算子测试平台，1)启动，编写好算子类和对应的xml文件后，启动入口类CalcStart，2)选择算子，选择一个算子,系统会根据选中的算子,解析对应的xml文件生成界面，3)选择数据源，数据源csv文件名称必须以数字加下划线开头，

a.可以选择已经上传过的数据源,也可以上传新的数据源.

b.如果只上传了数据源,未选择数据源,则会将上传的文件作为数据源传入算子中.

c.如果即选择了数据源,也上传了数据源,系统会将下拉框中选择的数据源传入算子中，4)填写参数，5)运行算子，输出结果，如果在xml文件中配置了正则表达式,则会在失去焦点时,校验数值是否合法,给出弹框提示，运行时，会校验csv文件格式，可以选择继续运行，也可以取消。

参数填写完成，,点击运行，算子将会执行。算子的计算结果中时间序列的标签名需是timestamp，如果输出的dataset中没有timestamp的标签名，会当成无时间序列的结果输出。计算结果将会以csv文件的形式放到output目录下.算子的结果会将数组拆分输出到多个csv文件中，文件名：输出名_数组下标_当前年月日时分秒；

用于测试的csv数据源文件格式要求如下:

首行默认为标签名。标签名顺序必须与离线数据分析平台保持一致。第一列标签名必须为timestamp，后三列标签名为endtime、timespan、status。从第二列开始，为真正的数据标签名称。

首列为时间序列，格式样例:支持四种格式

a.2017/03/04 14:02:03

b.2017-03-04 14:02:03

c.十位秒值时间戳

d.十三位毫秒值时间戳

如果没有秒值，请在Excel中进行设置；

特别注意：时间格式必须有秒，否则会报错。

说明：时间列载入后转为sparkSQL的LongType类型，实际值是UTC毫秒数。

其余列需能被解析成Double类型，为null时，替换成0

在CalculateUtils工具类中有list,array,row转Dataset的方法，有需要直接调用即可。

离线计算引擎的数据集结构。离线计算引擎数据集导入后形成的dataframe，第0列是timestamp。从第1列开始是被选定标签的实时值。在所有标签实时值后还有三列，分别是endtime、timespan、status。

endtime是各标签该行数据数值持续的截止时刻。在数据从实时数据库导入时，该endtime就是下一行数据的timestamp。

timespan是各标签该行数据数值持续的时长。Timespan＝endtime-timestamp，其单位为毫秒。

status表示该行数据中，状态位异常的那些标签的列号。用标签名加分号来表示。如”tag1；tag2”，表示tag1和tag2数据状态位异常。

在从数据源读取数据的过程中，提供复选项“过滤状态位异常数据”。如果不选则该项，则导入所有数据，同时将状态位异常的数据识别出来，写入status字段。如果勾选该项，则直接删除状态位异常的时间段对应所有标签的数据。

在编写算法时，要对这两种方式导入的数据集区别，有所了解。

算子开发测试平台读取CSV数据时，会自动为数据添加endtime、timespan、status。Status均为0.

离线计算引擎的数据结构。离线计算引擎数据主要分为两种。一种是工况算子。工况算子的计算结果是一系列时间窗。DataFrame结构由两个字段构成，starttime、endtime；

在算子开发测试平台下开发算子需要一下几个步骤：

1、准备用于测试的CSV文件。CSV文件可以根据需要准备各种数据，比如正常数据、异常数据、特别数据等。

2、规划算子的包路径、算子名称。

3、编写算子的xml文件。

4、编写算子的算法文件。

使用算子开发测试平台对所编算子进行单步测试重复上面3-4的步骤。

在<calcRow></calcuRow>中，用于描述参数的标记有以下几种：

其中<inputType>可以为参数定义控件类型，可选控件类型如下：

S5、将算子打成jar包，在导出jar包前需在src根目录下加入application.xml，application.xml中指定该jar包内哪个xml文件是算子配置文件，将xmlName指向算子xml文件，从Src下的目录开始写起，算子导出成jar包，IDEA版本：

选择File->Project Structure：

在弹出的Project Structure界面中，选择Artifacts，点击+，选择JAR，选择Empty。

在Artifact配置窗口中，先配置Name，此Name决定生成jar包的名字，建议采用算法名称加版本号来命名，比如SpeedFilter_1.0。主要版本号与xml中描述的版本号要一致。另外注意面板上jar的输出位置。

在离线数据平台上传算法是，jar名称对于算法平台并不重要。平台主要依靠解析xml文件内的算子名称和算子版本信息来对算子进行管理。如果上传的算子名称和版本信息与已经注册的算子完全相同，则平台认定为重复算子。无法上传；

在右侧双击要加入jar包的项目。使其移动到左侧jar下面。然后点击下面“OK”，最后，选择Build->Build Artifacts。选择设置好的jar包目标进行编译，在对应位置就可以看到生成的jar包；

选择特定算子文件，打成jar包：

将特定文件打包，而非整个工程。(使用这种打包方式，文件需要提前编译一遍，在out/production下形成class文件)

选择File->Project Structure。在弹出的Project Structure界面中，选择Artifacts，设定想要的打包名称，选中刚才新建的jar包，点击右键，选择创建目录。目录结构保持和xml文件中moduleClassRouter的目录层次一致，目录必须一层一层的建，不能使用cn.gdzs.spanfilter.xxxxd的方式来建。这样建立的并不是分层目录。如下图，cn、gdzs、spanfilter、speedfilter分步建，选中最里层文件夹，在弹出的文件选择窗口，选择要打包的编译好的算子文件目录。编译好的算子文件在工程目录中out/production文件夹下。

注意，选择需要打包的算子目录，不是算子文件。这个目录实际上包含了算子类的编译文件。选定该文件夹，就是要将该文件夹下的所有文档一起打包。

这里选择目录的原因是，有些算子，再自己的目录下除了选自java文件，还可能有其他独立写的类文件。这种情况下，这些类文件都会编译到out/production算子对应的目录下，这些编译好的class文件，都需要打包。

如果算子仅有算子本身的java文件。这一步，也可以不选择文件夹，而直接选择out/production算子对应的目录下，该算子的class文件，再将application.xml文件添加到jar包中。注意，要保持和cn同级。选中最上层jar包层，点击加号，选择File，最后，选择Build->Build Artifacts。选择设置好的jar包目标进行编译。

编译jar生成在put/artifacts/SpeedFilter_0_9文件夹下，在IDE中修改程序后，不能直接进行选择Build->Build Artifacts。此时，修改的内容还没有被重新编译到class文件内。必须先对项目进行整体编译，然后再进行Build Artifacts；

使用到第三方jar包时的打包方式：

如果算法使用了第三方jar，在打包时需要把该jar包也加入到自己的算子jar包中。只需在上一个环节操作的基础上，增加一下操作。

在刚才创建的jar层，选择+号，选择Extracted directory。含义是将制定的jar解压缩成class文件到指定位置，选择需要加入到自己包的jar库文件。比如libs下的breeze库文件；

选择后可以看到，自己的jar包又多了一项内容，选择Build->Build Artifacts。选择设置好的jar包目标进行编译。可以看到breeze文件已经解压成class文件，一起加入到自己的jar中。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于多语言的算子测试用例生成和优化方法，其特征在于：包括以下步骤：

S1、导入工程，在JAVAIDE中创建一个java工程，工程目录中不要有中文、空格特殊符号，导入算子测试平台的CalcTest.jar；IDE使用IntelliJ IDEA Community Edition；

S2、创建入口启动类，使用CalcTest.jar中的CalcMain创建入口启动类；创建在src根目录下；

在创建入口启动类前，需要首先引入如下两个类；

import cn.cloudata.calcTest.utils.CalcMain;

import java.net.URL;

创建入口启动类CalcStart；

测试平台中添加了CalcResult和LogUtil两种工具类；

算子提供与离线数据分析平台UI的信息交互工具，如下：

CalcResult.warnMessage，用于向UI输出报警信息，计算不停止；

CalcResult.errorMessage，用于向UI输出错误信息，计算应即刻停止并return；

S4、启动算子测试平台；

启动算子测试平台有以下步骤：1）启动，2）选择算子，3）选择数据源，4）填写参数，5）运行算子，输出结果；

在算子开发测试平台下开发算子需要以下几个步骤：步骤一：准备用于测试的CSV文件；CSV文件可以根据需要准备各种数据；步骤二：规划算子的包路径、算子名称；步骤三：编写算子的xml文件；步骤四：编写算子的算法文件；使用算子开发测试平台对所编算子进行单步测试重复上面步骤三至步骤四的步骤；

S5、将算子打成jar包。

2.根据权利要求1所述的一种基于多语言的算子测试用例生成和优化方法，其特征在于：所述步骤S3中先创建算子描述文件.xml，算子描述文件用来描述算子的基本信息和参数信息；算子描述文件.xml应和算子名保持一致，否则无法解析.xml中算子包名，无法实例化算子。

3.根据权利要求1所述的一种基于多语言的算子测试用例生成和优化方法，其特征在于：所述步骤S5中写好的算子，在导出jar包前需在src根目录下加入application.xml，application.xml中指定该jar包内哪个xml文件是算子配置文件，将xmlName指向算子xml文件，从Src下的目录开始写起。