CN116594887A - 一种基于cfd软件的自动化测试方法及系统 - Google Patents

Abstract

本发明公开了一种基于CFD软件的自动化测试方法及系统，包括：针对CFD软件建立测试方案、进行用例管理，调度自动化化测试、自动化执行测试用例/收集测试数据、生成测试报告，最终完成CFD的整个自动化测试。本发明的优点是：大大提高了测试工作的效率，提供更为全面，且多维度测试数据分析，提供测试覆盖率、更好的进行缺陷定位，规范CFD软件开发。为测试人员提供了更为灵活的自动化测试方法及一个可扩展的软件系统。

Description

一种基于CFD软件的自动化测试方法及系统

技术领域

本发明涉及涉及软件测试技术领域，特别涉及一种基于CFD软件的自动化测试方法及系统。

背景技术

软件测试是确保软件的质量重要的手段、确认软件以正确的方式做了你所期望的事情。随着软件业蓬勃发展，各种软件需求纷繁而来，在潮起潮落的IT洪流中，软件项目越来越凸现大型化、复杂化的发展趋势。随之而来，软件中错误发生的几率也大大增加，其中潜在的缺陷与故障所造成损失不断发生。同时软件系统中的质量问题可能造成严重损失，甚至灾难，因此软件质量问题已为软件开发中的焦点问题。而软件测试作为软件质量保证的重要手段，越来越受到重视，成为了软件开发过程中不可或缺的流程，并伴随其始末。然而软件测试是一个工作繁杂，且具有一定重复性的工作，其工作量和时间耗费巨大。对可靠性要求更高的大型软件系统，其测试工作已占到整个软件项目工作量的50％～60％。

传统的手工测试虽然仍为基本方式，但自动化测试得到了越来越广泛的运用。自动化测试是把以人为驱动的测试行为转化为机器执行的一种过程。自动化工具将测试用例中描述的规程一步步自动执行，并得到实际结果与期望结果的比较，自动判定测试用例执行的通过情况。在此过程中，大大地节省人力、时间或硬件资源，提高测试效率。由于自动化测试这些优点，越来越多的软件测试引入自动化测试技术。近年来，受益于计算机水平的不断提高、成本的不断下降，以及国家在科研领域的持续投入，涌现大量自知识产权的计算流体力学CFD(Computational Fluid Dynamics)软件。这些CFD软件需要在开发过程中进行单元测试、集成测试，保证软件质量。同时需要还需要对CFD软件进行验证与确认。为了适应大量、复杂的CFD软件测试活动，提供测试效率，CFD软件自动化测试亟待解决。其中，CFD自动化测试包括率测试用例的生成，测试执行，测试报告自动生是整个自动化测试的焦点问题。

针对上述中的相关技术，发明人认为现有CFD软件自动测试过程中，测试用例生成、测试自动执行、测试报告生成是CFD软件自动化生成的必备功能。

发明内容

为了解决现有软件测试过程中，软件测试用例大多依靠人工编写、手工执行、手工收集测试数据，较为费时费力且往往很难满足CFD软件测试需求，影响软件测试质量与效率，本申请提供一种基于CFD软件的自动化测试方法及系统。

为了实现以上发明目的，本发明采取的技术方案如下：

一种软件测试用测试实例生成方法，包括以下步骤：

建立CFD软件测试方案：根据CFD软件的配置文件，分析软件的输入和输出参数，包括：名称、类型、参数输入格式要求，配置输出参数的展示形式；

建立CFD软件测试用例：根据选择参数生成算法，由算法设置自动生成测试输入参数，并自动组合生成测试用例。最后由用户给出用例执行的预期结果及断言方式，最终完成测试用例的批量生成。

设置测试用例执行方式，包括：立即执行、定时执行、周期执行和触发执行；其中周期测试采用CRON定义。

自动完成测试用例执行：在项目管理服务器上下载被测软件，设置测试参数、测试文件、在指定测试环境下，执行被测件，并收集执行数据；

测试报告生成：根据测试用例执行结果及选定的测试报告模版，将测试数据以相应的格式渲染到PDF报告中。为被测文件生成按需定制的、不可篡改的测试报告。

进一步地，所述建立CFD软件测试方案具体包括以下步骤：

获取CFD软件相关文件及配置文件，并解析配置文件。

对输入参数信息进行分析，获取输入参数列表、参数类型、参数名称和参数格式信息。

对软件运行组件流程进行分析，获取组件运行流信息。

对软件输出参数进行分析，获取输出参数列表、参数名称和参数类型，并配置输出参数的展示形式。所述展示形式包括：二维曲线图、二维柱状图、二维饼图、文本展示和文件下载。

进一步地，所述依据建立CFD软件测试用例，具体包括以下步骤：

针对每输入一个参数，选择参数生成算法，配置生成参数，自动生成输入参数或参数文件。

参数生成算法，包括：等比数列、等差数列、随机数、字典法和公式法。

进一步地，所述依据自动完成测试用例执行，具体包括以下步骤：

系统根据设置执行策略由调度管理进行测试执行调度，及负载均衡及约束。

测试执行调度过程包括：提交测试参数及测试运行命令到运行服务器，并将测试执行情况消息广播到内部网络。

开启测试数据收集事务线程，实时收集执行服务器返回数据，包括：执行状态数据和执行返回数据，执行服务器状态信息。

进一步地，所述依据测试报告生成，具体包括以下步骤：

设计并管理测试报告模版：测试报告模版采用WORD到DOCX格式，测试报告模版的内容包括：测试内容、报告样式、测试数据图形和测试数据表格。所述管理测试报告内部参数采用JSON格式数据。

测试报告数据获取：基于测试执行，提取与所述测试报告模版相关联的统计数据，用于生成测试结果汇总页面，

所述统计数据包括：测试用例的总数、测试用例通过率、测试用例执行时间、测试用例组件执行时间、测试用例执行时间对比图和测试组件执行时间对比图。

测试报告WORD格式生成：将测试数据，转换为JSON格式，将数据渲染到所述WORD报告中，数据渲染包括：渲染简单文本、表格和图像。

测试报告PDF格式生成：将测试数据，转换为JSON格式，将数据渲染到WORD报告中，并添加水印。最后将文档转换成PDF格式，包括图片格式及普通格式。并为文档添加编辑密码，防止文档被篡改。

本发明还公开了一种基于CFD软件的自动化测试系统，包括：APP应用中心、数据中心、集群计算服务器、CFD自动化测试平台。

APP应用中心负责管理CFD所有应用程序，管理CFD应用程序基本信息，及该应用下所以曾经执行过的任务，包括测试任务和其它应用发起的执行任务。

数据中心主要负责管理APP相关的文件信息及文件存储。其文件类型包括：APP的配置文件、APP编译后的发布程序、APP相关算例文件、PP相关输入文件和APP相关输出文件。

计算集群服务负责APP运行。该服务接收其它服务发起执行请求，并将执行后的过程数据，结果数据发布给发起方。同时对于输出的文件保存到数据中心，方便发起方进行后处理。

CFD自动化测试平台负责APP测试。该平台用于CFD软件APP的测试方案、测试用例管理、测试执行管理、测试报告管理。

进一步地，CFD自动化测试平台包括：CFD软件测试方案管理模块、测试方案基础信息管理模块、测试用例管理模块、测试执行管理模块和测试报告管理模块；

CFD软件测试方案管理模块，用于管理具体的软件测试方案。

测试方案基础信息管理模块，用于存储和调用包括：测试输入参数、输出参数和测试组件信息的基础信息。

测试用例管理模块，用于存储和调用包括：测试输入数据、测试预期输出、断言方式、测试算法插件管理和测试数据生成的测试用例信息。

测试执行管理模块，用于运行包括：测试执行设置、测试执行启动、测试数据收集、测试状态更新的测试执行方法。

测试报告管理模块，用于测试模板管理和测试报告渲染的功能。

与现有技术相比，本发明的优点在于：相对于目前大多数CFD测试仍然为手工测试而言，本发明大大提高了测试工作的效率。同时在测试数据的收集、整理、分析上更为全面，且多维度，能够更好的进行缺陷定位，规范CFD软件开发。同时相当目前存在的自动化测试而且，本方法提供了可扩展的测试用例生成方法、可定制测试执行策略、以及自动化测试数据收集、整理、分析、报告生成。为测试人员提供了更为灵活的自动化测试方法及一个可扩展的软件系统。

附图说明

图1是本申请实施例中一种基于CFD软件的自动化测试方法中测试方案建立流程框图；

图2是本申请实施例中一种基于CFD软件的自动化测试方法中测试用例建立流程框图；

图3是本申请实施例中一种基于CFD软件的自动化测试方法中测试用例执行流程框图；

图4是本申请实施例中一种基于CFD软件的自动化测试方法中测试过程数据收集流程框图；

图5是本申请实施例中一种基于CFD软件的自动化测试方法中测试报告生成流程框图；

图6是本申请实施例中一种基于CFD软件的自动化测试系统网络结构图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下根据附图并列举实施例，对本发明做进一步详细说明。

如图1所示，一种CFD软件自动化测试方法中测试方案建立流程,在本方法中，包括以下步骤：

第一步需要从APP应用中心中获取CFD应用APP相关信息，包括APP的名称、版本、发布日期、相关文件信息。其中APP相关文件存放在数据中心。

第二步从数据中下载APP对应的配置文件，配置文件包含CFD应用APP输入参数，输出参数，运行组件及运行组件运行的流程信息。这些信息对于CFD应用APP的测试用例的创建的基础。

第三步解析CFD应用APP的配置文件，抽象出用于测试用例生成的测试方案基础信息类，该类主要包含APP输入参数对象序列、APP输出参数对象序列、组件对象序列。其中APP输入参数对象类包含：参数ID、参数名称、参数类型、参数样例；APP输出参数对象类包含：参数ID、参数名称、参数类型、参数表现形式；APP组件执行类，该类包含组件名称，组件ID，组件执行顺序。根据配置文件，建立测试方案运行基本信息对象。最后根据分析出的方案输入、输出生成对应的UI界面设计结构数据，该结构数据包括显示控件类型、数据格式化验证方式、显示名称、输入提示等。

如图2所示，一种CFD软件自动化测试方法中测试用例设计流程,在本方法中，包括以下步骤：

第一步获取测试方案的测试方案基础信息，包括UI显示界面结构数据，方案被测试APP基本信息。

第二步根据UI显示界面结构数据，动态渲染生成输入参数的表单页面。

第三步建立测试输入数据。该步骤中，需要选择数据生成算法，在设计中采用插件方式，集成多种数据生成方法，动态加载，根据数据生成算法设置，生成用例输入数据。数据生成插件需要满足下面接口设计：

加载算法的过程为：先调用getUIData方法，获取显示界面，然后渲染界面，用用户配置算法参数，再调用genData或genDataFile方法生成参数或者输入文件。

第四步组合生成的参数，生成测试用例列表。同时提供测试用例顺序的调整。

第五步，生成测试方案下的测试测试用例实体，抽象的测试用例类包括测试用例ID、测试用例名称、对应测试方案、适用软件版本、测试输入参数列表、预期输出参数列表、测试执行顺序号。其中APP输入参数对象类包含：参数ID、参数名称、参数类型、测试输入数据值；APP输出参数对象类包含：参数ID、参数名称、参数类型、参数表现形式、预期输出值、预期比对形式(包括恒等、对比精度、横等、精度比较、范围比较、公式比较)。最后将测试用的文件上传到数据中心统一管理。

如图3所示，一种CFD软件自动化测试方法中测试用例执行流程,测试用例的执行针对测试执行方案的设置。在本方法中，测试执行方式包括立即执行、周期执行、指定时间执行。其中周期执行才CRON表达式定义。CRON表达式，适用于周期性执行、日常维护、在某时刻需要完成的任务等场景,它是一个具有时间含义的字符串，字符串以5～6个空格隔开，分为6～7个域，格式为X X X X X X X。其中X是一个域的占位符。最后一个代表年份的域非必须，可省略。单个域有多个取值时，使用半角逗号,隔开取值。每个域可以是确定的取值，也可以是具有逻辑意义的特殊字符。每个域最多支持一个前导零。在测试用例执行流程包括以下步骤：

第一步获取测试执行相关数据，包括测试方案相关信息、被测件相关信息、测试用例列表。其中被测件相关信息需要到APP应用中心获取。

第二步查询计算服务器工作状态，如果计算服务器工作正常，则执行测试用例，如果不正常，放弃执行。这个步骤中需要向集群计算服务器发起请求。

第三步逐一执行测试用例。每一个测试用例执行包括以下内容：建立测试用例执行实体对象，该对象抽象为测试用例执行类，其包括测试用例描述，输入参数列表、创建时间、执行开始时间、用例执行时间、执行通过状态、执行异常信息，组件执行列表。其中组件执行信息包括组件基本信息，组件执行开始时间、组件执行时间、组件执行顺序。同时在APP应用中心建立对于的测试用例执行任务。

第四步建立异步收集测试用例执行数据任务，执行测试用例过程数据收集工作。

第五步返回用户执行启动完成消息。

如图4所示，为异步收集测试用例执行数据任务流程。该任务由测试用例执行请求成功后被启动。任务启动后接收集群计算中心发送的测试用例执行消息，消息类型有7种，类型包括：

1)测试用例执行任务创建信息

2)测试用例执行任务开始执行信息

3)测试用例组件执行信息

4)测试用例执行任务执行状态变更信息

5)测试用例执行状态变更信息

6)测试用例输出返回值信息

7)集群计算中心重启及异常信息

平台实时接收这7类消息，用于更新测试用例的执行时间及执行状态；更新测试用例组件执行的时间及执行状态；保存测试用例的执行输出结果；对比预期结果和实际输出，更新测试用例的通过情况；其中测试用例执行任务的执行最后状态还需要更新到APP应用中心的任务管理；最后测试用例执行输出中的如果存在文件，需要在数据中心下载，保存到本地，进行数据备份。在整个过程中，对所有的接收信息进行日志记录，便于后处理分析。

如图5所示，为一种CFD软件自动化测试方法中测试报告生成流程。报告生成是一种耗时、耗资源的请求。本方法采用异步生成。用户可选择生成单一或多用例执行情况的报告。用户提交生成请求后，立即返回后，系统采用排队处理生成渲染报告处理，生成结束后，通过通知方式通知用户下载报告。这两个部分流程分别为：

1)用户提交报告生成请求，请求包括测试用例集、测试报告生成模版。系统将查询报告数据，如果数据完备，则将请求插入到生成报告队列后返回受理提交信息，否则返回受理失败，并给出失败原因。

2)测试报告生成流程。该方法循环读取生成报告队列中数据，如果队列为空这阻塞，否则执行报告生成任务。其步骤如下：

第一步查询报告涉及到的被测件APP信息，测试方案信息、测试用例信息、测试用例执行信息、测试用例输入参数信息、测试用例实际输出信息、测试用例预期输出信息、测试用例组件执行信息。

第二步将获取测试数据进行整理，生成测试用的归一数据，该数据格式为JSON格式。

第三步获取测试报告模版，该模版包括模版基本数据，及模版对应的DOCX格式文件。

第四步生成报告中的图形。系统根据测试用例执行情况、测试组件执行情况以及测试报告生成模版需求生成报告中需要显示的图形，包括统计图及对比图。图形显示类型包括饼图、曲线图、柱状图。

第五步渲染文档。该方法将测试JSON数据以及图形渲染到模版文件中。该步骤主要采用到技术Apache POI对WORD文件进行渲染。

第六步渲染后，保存文件，并通过Web Socket方式通知用户，下载文件。

如图6所示，为一种CFD软件自动化测试系统的网络结构图。该图中包括APP应用中心、数据中心、计算集群服务、CFD自动化测试平台。各个平台服务作用如下：

APP应用中心负责管理CFD所有应用程序，管理CFD应用程序基本信息，及该应用下所以曾经执行过的任务，包括测试任务和其它应用发起的执行任务。

数据中心主要负责管理APP相关的文件信息及文件存储。其文件类型包括APP的配置文件，APP编译后的发布程序，APP相关算例文件，APP相关输入文件、APP相关输出文件。

计算集群服务负责APP运行。该服务接收其它服务发起执行请求，并将执行后的过程数据，结果数据发布给发起方。同时对于输出的文件保存到数据中心，方便发起方进行后处理。

CFD自动化测试平台负责APP测试。该平台用于CFD软件APP的测试方案、测试用例管理、测试执行管理、测试报告管理。

所述基于CFD软件的自动化测试系统，采用如下的技术方案：系统以B/S架构为基础，前后端分离的方式开发，采用MySQL做数据库，保存测试方案、测试用例、测试执行、测试报告相关数据。在系统中采用异步任务方式，分别测试执行任务的发布，测试政务的执行，测试执行结果数据的收集，计算集群状态数据收集。

系统后端采用J2EE框架，采用3层模型：Controller控制层、Service业务逻辑服务层、Dao数据访问层。控制层负责请求转发，接受客户端传过来的参数，并传给Service处理，再将返回值传给客户端。Sevice层专注业务逻辑处理，对于其中需要的数据库操作，都通过Dao去实现。Dao层主要做数据持久层的工作，负责与数据库、文件系统底层交互，属于比较基础的操作，具体到对于某个表、某个实体的增删改查，不涉及业务逻辑，只是达到按某个条件获得指定数据的要求。同时在后端系统中引入异步任务，定时任务，周期任务，分别完成测试执行任务的发布，测试政务的执行，测试执行结果数据的收集，计算集群状态数据收集，报告渲染。在系统中还开通了WebSocket通信。WebSocket是一种在单个TCP连接上进行全双工通信的协议。在WebSocket API中，浏览器和服务器只需要完成一次握手，两者之间就直接可以创建持久性的连接，并进行双向数据传输。服务端主要通过WebSocket将测试执行任务情况，测试执行结果，计算集群的状态异常，测试报告渲染状态等信息发送到客户端。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的实施方法，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (7)

1.一种软件测试用测试实例生成方法，其特征在于，包括以下步骤：

建立CFD软件测试方案：根据CFD软件的配置文件，分析软件的输入和输出参数，包括：名称、类型、参数输入格式要求，配置输出参数的展示形式；

建立CFD软件测试用例：根据选择参数生成算法，由算法设置自动生成测试输入参数，并自动组合生成测试用例；最后由用户给出用例执行的预期结果及断言方式，最终完成测试用例的批量生成；

设置测试用例执行方式，包括：立即执行、定时执行、周期执行和触发执行；其中周期测试采用CRON定义；

自动完成测试用例执行：在项目管理服务器上下载被测软件，设置测试参数、测试文件、在指定测试环境下，执行被测件，并收集执行数据；

测试报告生成：根据测试用例执行结果及选定的测试报告模版，将测试数据以相应的格式渲染到PDF报告中；为被测文件生成按需定制的、不可篡改的测试报告。

2.根据权利要求1所述的一种软件测试用测试实例生成方法，其特征在于：所述建立CFD软件测试方案具体包括以下步骤：

获取CFD软件相关文件及配置文件，并解析配置文件；

对输入参数信息进行分析，获取输入参数列表、参数类型、参数名称和参数格式信息；

对软件运行组件流程进行分析，获取组件运行流信息；

对软件输出参数进行分析，获取输出参数列表、参数名称和参数类型，并配置输出参数的展示形式；所述展示形式包括：二维曲线图、二维柱状图、二维饼图、文本展示和文件下载。

3.根据权利要求1所述的一种软件测试用测试实例生成方法，其特征在于：所述依据建立CFD软件测试用例，具体包括以下步骤：

针对每输入一个参数，选择参数生成算法，配置生成参数，自动生成输入参数或参数文件；

参数生成算法，包括：等比数列、等差数列、随机数、字典法和公式法。

4.根据权利要求1所述的一种软件测试用测试实例生成方法，其特征在于：所述依据自动完成测试用例执行，具体包括以下步骤：

系统根据设置执行策略由调度管理进行测试执行调度，及负载均衡及约束；

测试执行调度过程包括：提交测试参数及测试运行命令到运行服务器，并将测试执行情况消息广播到内部网络；

开启测试数据收集事务线程，实时收集执行服务器返回数据，包括：执行状态数据和执行返回数据，执行服务器状态信息。

5.根据权利要求1所述的一种软件测试用测试实例生成方法，其特征在于：所述依据测试报告生成，具体包括以下步骤：

设计并管理测试报告模版：测试报告模版采用WORD到DOCX格式，测试报告模版的内容包括：测试内容、报告样式、测试数据图形和测试数据表格；所述管理测试报告内部参数采用JSON格式数据；

测试报告数据获取：基于测试执行，提取与所述测试报告模版相关联的统计数据，用于生成测试结果汇总页面，

所述统计数据包括：测试用例的总数、测试用例通过率、测试用例执行时间、测试用例组件执行时间、测试用例执行时间对比图和测试组件执行时间对比图；

测试报告WORD格式生成：将测试数据，转换为JSON格式，将数据渲染到所述WORD报告中，数据渲染包括：渲染简单文本、表格和图像；

测试报告PDF格式生成：将测试数据，转换为JSON格式，将数据渲染到WORD报告中，并添加水印；最后将文档转换成PDF格式，包括图片格式及普通格式；并为文档添加编辑密码，防止文档被篡改。

6.一种基于CFD软件的自动化测试系统，其特征在于，包括：APP应用中心、数据中心、集群计算服务器、CFD自动化测试平台；

APP应用中心负责管理CFD所有应用程序，管理CFD应用程序基本信息，及该应用下所以曾经执行过的任务，包括测试任务和其它应用发起的执行任务；

数据中心主要负责管理APP相关的文件信息及文件存储；其文件类型包括：APP的配置文件、APP编译后的发布程序、APP相关算例文件、PP相关输入文件和APP相关输出文件；

计算集群服务负责APP运行；该服务接收其它服务发起执行请求，并将执行后的过程数据，结果数据发布给发起方；同时对于输出的文件保存到数据中心，方便发起方进行后处理；

CFD自动化测试平台负责APP测试；该平台用于CFD软件APP的测试方案、测试用例管理、测试执行管理、测试报告管理。

7.根据权利要求1所述的一种基于CFD软件的自动化测试系统，其特征在于：CFD自动化测试平台包括：CFD软件测试方案管理模块、测试方案基础信息管理模块、测试用例管理模块、测试执行管理模块和测试报告管理模块；

CFD软件测试方案管理模块，用于管理具体的软件测试方案；

测试方案基础信息管理模块，用于存储和调用包括：测试输入参数、输出参数和测试组件信息的基础信息；

测试用例管理模块，用于存储和调用包括：测试输入数据、测试预期输出、断言方式、测试算法插件管理和测试数据生成的测试用例信息；

测试执行管理模块，用于运行包括：测试执行设置、测试执行启动、测试数据收集、测试状态更新的测试执行方法；

测试报告管理模块，用于测试模板管理和测试报告渲染的功能。