CN108897695A - 一种需求侧设备的互联测试方法及系统 - Google Patents

Abstract

本发明提供一种需求侧设备的互联测试方法及系统，根据测试需求选择相应协议，确定需求侧设备的有限状态机；采用有限状态机，在预先定义的测试用例库中获取能够覆盖需求侧设备所有状态的测试用例；根据获取的测试用例对需求侧设备进行检测，输出一致性及性能测试结果报告，在保障不同互动主体之间的互操作能力的同时，对需求侧设备的性能进行测试，提升互联业务的实施效率，并通过闭环测试方式减少测试中的人工干预，提升测试效率。通过本发明提供的方法和系统，实现了需求侧管理相关项目实施过程中系统/设备的互联互通，降低项目实施成本，提高项目执行效率，从而推动需求侧管理产业的规模化、规范化开展。

Description

一种需求侧设备的互联测试方法及系统

技术领域

本发明涉及一种测试方法，尤其一种需求侧互联设备的一致性及调节性能联合测试方法及系统，属于需求侧系统/设备通信协议一致性测试的技术领域。

背景技术

新电改为能源服务业创造了更广阔的市场，出台的电力市场改革9号文鼓励推进发用电计划改革，允许园区、拥有分布式电源的用户、公共服务行业、节能服务公司和发电企业等组件售电主体从事售电业务。能源互联网为能源服务业提供了新的平台，以互联网技术支撑高效优质能源服务，提供远程监控服务、信息服务，帮助用户进行能量管理。在分布式发电设备、储能设备、用电设备等环节部署各类能效检测终端以实现发电、用电自平衡，形成“源-网-荷”互动区域型能源互联网络。但需求侧典型设备/系统种类繁多、接口不一，使得能源互联网中各设备难以互联互通。同时，需求侧设备的性能各异，会使得需求侧的实际调节效果产生较大的差距。因此，需要一套完善的需求侧设备检查方法，一方面对其协议一致性进行测试，以实现各个设备之间互联互通的需求，另一方面需要对其实际性能进行测试，以保证需求侧设备的实际调节效果。

现阶段，所展开的需求响应试点项目实际上在制造过程中没有统一的终端技术规范，不同厂商设备功能性能差别较大、互联接口不统一，大部分需求响应一致性测试实验还未能得到全面应用，有关规约还需在应用中进一步完善，缺乏需求侧设备的一致性与性能联合测试方法，从而难以对众多的需求侧互联设备进行客观的评价。

发明内容

为了解决现有技术中存在的问题，本发明提出一种需求侧设备的互联测试方法及系统，保障不同互动主体之间的互操作能力，提升互联业务的实施效率，并通过闭环测试方式减少测试中的人工干预，提升测试效率。

为了实现上述发明目的，本发明采取如下技术方案：

一种需求侧设备互联测试方法，所述方法包括：

根据测试需求选择相应协议，确定需求侧设备的有限状态机；

采用所述有限状态机，在预先定义的测试用例库中获取能够覆盖所述需求侧设备所有状态的测试用例；

根据获取的测试用例对需求侧设备进行检测，输出一致性及性能测试结果报告。

优选的，所述测试需求包括：测试方式信息和用户测试需求信息；其中，

所述测试方式信息，包括单个测试案例和单个测试功能；

所述用户测试需求信息，包括需求侧设备的协议实现一致性声明和性能测试声明。

优选的，通过下式确定需求侧设备的有限状态机：

M＝(S,S₀,E,T)

其中，M为需求侧设备的有限状态机，S为需求侧设备状态，S₀为需求侧设备接入网络的初始状态，E为触发需求侧设备状态的转移调控信号，T为控制需求侧设备开断和功率档位变换的状态转移函数。

优选的，所述根据获取的测试用例对需求侧设备进行检测包括：

将一致性测试软件平台与需求侧设备进行交互；

通过一致性测试软件平台的人机界面读取并解析测试用例；

根据测试用例的类型执行测试用例，生成执行所述测试用例的结果报文；

基于所述结果报文对需求侧设备进行一致性测试和性能测试。

进一步地，所述测试用例的类型包括：削峰填谷类、紧急负荷控制类和新能源消纳类。

进一步地，，所述读取并解析测试用例具体包括：读取所述测试用例的语法语义、解析脚本逻辑、记录测试逻辑的步骤日志和调用内部通信库操作。

进一步地，所述基于结果报文对需求侧设备进行一致性测试包括：判断测试用例执行后的结果报文与需求侧互联设备的协议实现一致性声明是否相同；若相同，则一致性测试通过；若不相同，则所述一致性测试失败。

进一步地，所述基于结果报文对需求侧设备进行性能测试包括：在所述结果报文中获取需求侧设备的性能指标参数，判断所述性能指标参数是否满足需求侧设备的性能测试声明的标准，若满足，则性能测试通过；若不满足，则性能测试失败；其中，所述需求侧设备的性能指标包括可调功率、信号处理时间和调节速度。

一种需求侧设备互联测试系统，所述系统包括：

确定模块，用于根据测试需求选择相应协议，确定需求侧设备的有限状态机；

选择模块，用于采用所述有限状态机，在预先定义的测试用例库中获取能够覆盖所述需求侧设备所有状态的测试用例；

测试模块，用于根据获取的测试用例对需求侧设备进行检测，输出一致性及性能测试结果报告。

优选的，所述确定模块包括：

确定单元，用于通过下式确定需求侧设备的有限状态机：

M＝(S,S₀,E,T)

其中，M为需求侧设备的有限状态机，S为需求侧设备状态，S₀为需求侧设备接入网络的初始状态，E为触发需求侧设备状态的转移调控信号，T为控制需求侧设备开断和功率档位变换的状态转移函数。

优选的，所述测试模块包括：

交互单元，用于将一致性测试软件平台与需求侧设备进行交互；

读取单元，用于通过一致性测试软件平台的人机界面读取并解析测试用例；

执行单元，用于根据测试用例的类型执行测试用例，生成执行所述测试用例的结果报文；

测试单元，用于基于所述结果报文对需求侧设备进行一致性测试和性能测试。

进一步地，所述测试单元包括：

一致性测试子单元，用于判断测试用例执行后的结果报文与需求侧互联设备的协议实现一致性声明是否相同；若相同，则一致性测试通过；若不相同，则所述一致性测试失败。

性能测试子单元，用于在所述结果报文中获取需求侧设备的性能指标参数，判断所述性能指标参数是否满足需求侧设备的性能测试声明的标准，若满足，则性能测试通过；若不满足，则性能测试失败；其中，所述需求侧设备的性能指标包括可调功率、信号处理时间和调节速度。

与最接近的现有技术相比，本发明的有益效果在于：

本发明提出一种需求侧设备的互联测试方法及系统，根据测试需求选择相应协议，确定需求侧设备的有限状态机；采用有限状态机，在预先定义的测试用例库中获取能够覆盖需求侧设备所有状态的测试用例；根据获取的测试用例对需求侧设备进行检测，输出一致性及性能测试结果报告。改善了需求侧资源参与能源互联过程中，不同产业单位生产的需求侧系统/设备难以互联互通的问题，并利用一致性测试技术对需求侧系统/设备的通信一致性进行检验，保障需求侧管理相关项目实施过程中系统/设备的互联互通，同时对需求侧设备的性能进行测试，降低项目实施成本，提高项目执行效率，推动需求侧管理产业的规模化、规范化开展。基于闭环测试方式减少了一致性测试中的人工操作环节，无需人工对测试用例进行下载、修改和上传保存的操作，从而提高测试效率和质量。

附图说明

图1是本发明实施例中互联测试方法总流程图；

图2是本发明实施例中所有测试用例检测方法流程图；

图3是本发明实施例中读取并解析测试用例方法流程图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

如图一所示，提供一种需求侧设备的互联测试方法，包括：

S1：根据测试需求选择相应协议，确定需求侧设备的有限状态机；

S2：采用所述有限状态机，在预先定义的测试用例库中获取能够覆盖所述需求侧设备所有状态的测试用例；

S3：根据获取的测试用例对需求侧设备进行检测，输出一致性及性能测试结果报告。

步骤S1中的测试需求包括：测试方式信息和用户测试需求信息；其中，测试方式信息，包括单个测试案例和单个测试功能；

用户测试需求信息，包括协议实现一致性声明和性能测试声明。

步骤S1有限状态机指定了所有可能的状态及状态间跳转的条件，然后设一个初始状态输入给这台机器，机器就会自动运转，或最后处于终止状态。用一个有向图代表有限状态机，有向图的节点代表状态，有向边代表变迁，在每一条变迁上都标记了状态转换之间的输入和输出。有限状态机可以用一个四元组来表示；具体地，通过下式确定测试所需的有限状态机：

M＝(S,S₀,E,T)

其中，M为需求侧设备的有限状态机，S为需求侧设备可能存在的状态，S₀为需求侧设备接入网络之后的初始状态，E为调控或请求信号，用以触发需求侧设备状态的转移，这些信号包含在状态机外所发生的事件产生的信号，也包括状态机内部发生的一些事件产生的信号，如验证事件信号，异常事件信号等，当事件发生时，状态机依据当前所在状态的不同会转移到不同的状态。T为需求侧设备开断及各个功率档位变换的状态转移函数，具体指的是从S*E→S的状态转移函数的合集，如当状态机处于某一状态S₁时事件E₁工发生，状态机的状态转移为S₂。对于有限状态机的程序实现，最常见的即通过switch...case语句来判断当前系统所处的状态，使用case分支来进行匹配并执行相应的动作，除了这种实现方法外，还可以采用事件表驱动法以及面向对象的设计方法对其进行实现。

步骤S2根据用户输入的测试需求选择测试协议，并根据通信库函数、封装函数等，在一致性测试软件平台的人机界面编写测试方法，形成测试用例。

如图2所示，步骤S3根据获取的测试用例对需求侧设备进行检测包括：

a，将一致性测试软件平台与需求侧设备进行交互；

b，通过一致性测试软件平台的人机界面读取并解析测试用例，测试用例采用可扩展标记语言(XML)读取与解析；

首先根据需求侧设备的有限状态机从用例库中选择合适的用例形成测试用例组；如图3所示，用户打开文档并确定根节点后，可从所选择的测试用例组中选取测试用例，并按照实际工况进行编辑。

其次通过一致性测试软件平台的人机界面读取测试用例的语法语义、解析脚本逻辑、记录测试逻辑的步骤日志和调用内部通信库操作；

其中，测试用例包括：削峰填谷类、紧急负荷控制类以及新能源消纳类。

c，根据测试用例的类型执行测试用例，生成执行所述测试用例的结果报文；

d，基于所述结果报文对需求侧设备进行一致性测试和性能测试。

最后记录每个用例的测试结果，判断用例组内所有用例是否都执行完毕，如果都执行完，则生成一致性测试以及性能测试的总体测试报告。

步骤d基于结果报文对需求侧设备进行一致性测试包括：判断测试用例执行后的结果报文与需求侧互联设备的协议实现一致性声明是否相同；若相同，则一致性测试通过；若不相同，则所述一致性测试失败。

基于结果报文对需求侧设备进行性能测试包括：在所述结果报文中获取需求侧设备的性能指标参数，判断所述性能指标参数是否满足需求侧设备的性能测试声明的标准，若满足，则性能测试通过；若不满足，则性能测试失败；其中，所述需求侧设备的性能指标包括可调功率、信号处理时间和调节速度。

具体包括：程序依据测试中间结果、测试报文交互等信息，自动判别测试结果，即判断测试用例执行后的结果报文与用户提供的协议实现一致性声明涉及的协议预期结果是否相同；测试用例的结果判断有通过、失败两种状态：若一致，则一致性测试通过；若不一致，则所述一致性测试失败：

通过(Pass)——测试用例执行后得到的报文与用户提供的协议实现一致性声明涉及的协议预期的结果相一致，即证实了被测设备该服务的协议实现与被测协议要求一致；

失败(Fail)——测试用例执行后得到的报文与用户提供的协议实现一致性声明涉及的协议预期的结果不一致，即证实了被测设备该服务的协议实现与被测协议要求不一致。

程序在执行用例的过程中，自动对被测设备的性能指标，即可调功率、信号处理时间以及调节速度性能指标进行记录，并与用户提供的性能测试声明进行对比，性能测试结果有通过与失败两种状态：

通过(Pass)——测试用例执行后得到的性能指标优于用户提供的性能测试声明指标，则性能测试通过；

失败(Fail)——测试用例执行后得到的性能指标劣于用户提供的性能测试声明指标，则性能测试不通过。

最后对所有的测试用例的结果进行记录与统计，形成该需求侧设备总体的一致性测试结果报告与性能测试报告。

基于同一发明构思，本发明还提供一种需求侧设备互联测试系统，包括：

确定模块，用于根据测试需求选择相应协议，确定需求侧设备的有限状态机；

选择模块，用于采用所述有限状态机，在预先定义的测试用例库中获取能够覆盖所述需求侧设备所有状态的测试用例；

测试模块，用于根据获取的测试用例对需求侧设备进行检测，输出一致性及性能测试结果报告。

确定模块包括：

确定单元，用于通过下式确定需求侧设备的有限状态机：

M＝(S,S₀,E,T)

其中，M为需求侧设备的有限状态机，S为需求侧设备状态，S₀为需求侧设备接入网络的初始状态，E为触发需求侧设备状态的转移调控信号，T为控制需求侧设备开断和功率档位变换的状态转移函数。

测试模块包括：

交互单元，用于将一致性测试软件平台与需求侧设备进行交互；

读取单元，用于通过一致性测试软件平台的人机界面读取并解析测试用例；

执行单元，用于根据测试用例的类型执行测试用例，生成执行所述测试用例的结果报文；

测试单元，用于基于所述结果报文对需求侧设备进行一致性测试和性能测试。

测试单元包括：

一致性测试子单元，用于判断测试用例执行后的结果报文与需求侧互联设备的协议实现一致性声明是否相同；若相同，则一致性测试通过；若不相同，则所述一致性测试失败。

性能测试子单元，用于在所述结果报文中获取需求侧设备的性能指标参数，判断所述性能指标参数是否满足需求侧设备的性能测试声明的标准，若满足，则性能测试通过；若不满足，则性能测试失败；其中，所述需求侧设备的性能指标包括可调功率、信号处理时间和调节速度。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

Claims (12)

1.一种需求侧设备互联测试方法，其特征在于，所述方法包括：

根据测试需求选择相应协议，确定需求侧设备的有限状态机；

采用所述有限状态机，在预先定义的测试用例库中获取能够覆盖所述需求侧设备所有状态的测试用例；

根据获取的测试用例对需求侧设备进行检测，输出一致性及性能测试结果报告。

2.如权利要求1所述的方法，其特征在于，所述测试需求包括：测试方式信息和用户测试需求信息；其中，

所述测试方式信息，包括单个测试案例和单个测试功能；

所述用户测试需求信息，包括需求侧设备的协议实现一致性声明和性能测试声明。

3.如权利要求1所述的方法，其特征在于，通过下式确定需求侧设备的有限状态机：

M＝(S,S₀,E,T)

其中，M为需求侧设备的有限状态机，S为需求侧设备状态，S₀为需求侧设备接入网络的初始状态，E为触发需求侧设备状态的转移调控信号，T为控制需求侧设备开断和功率档位变换的状态转移函数。

4.如权利要求1所述的方法，其特征在于，所述根据获取的测试用例对需求侧设备进行检测包括：

将一致性测试软件平台与需求侧设备进行交互；

通过一致性测试软件平台的人机界面读取并解析测试用例；

根据测试用例的类型执行测试用例，生成执行所述测试用例的结果报文；

基于所述结果报文对需求侧设备进行一致性测试和性能测试。

5.如权利要求4所述的方法，其特征在于，所述测试用例的类型包括：削峰填谷类、紧急负荷控制类和新能源消纳类。

6.如权利要求4所述的方法，其特征在于，所述读取并解析测试用例具体包括：读取所述测试用例的语法语义、解析脚本逻辑、记录测试逻辑的步骤日志和调用内部通信库操作。

7.如权利要求4所述的方法，其特征在于，所述基于结果报文对需求侧设备进行一致性测试包括：判断测试用例执行后的结果报文与需求侧互联设备的协议实现一致性声明是否相同；若相同，则一致性测试通过；若不相同，则所述一致性测试失败。

8.如权利要求4所述的方法，其特征在于，所述基于结果报文对需求侧设备进行性能测试包括：在所述结果报文中获取需求侧设备的性能指标参数，判断所述性能指标参数是否满足需求侧设备的性能测试声明的标准，若满足，则性能测试通过；若不满足，则性能测试失败；其中，所述需求侧设备的性能指标包括可调功率、信号处理时间和调节速度。

9.一种需求侧设备互联测试系统，其特征在于，所述系统包括：

确定模块，用于根据测试需求选择相应协议，确定需求侧设备的有限状态机；

选择模块，用于采用所述有限状态机，在预先定义的测试用例库中获取能够覆盖所述需求侧设备所有状态的测试用例；

测试模块，用于根据获取的测试用例对需求侧设备进行检测，输出一致性及性能测试结果报告。

10.如权利要求9所述的系统，其特征在于，所述确定模块包括：

确定单元，用于通过下式确定需求侧设备的有限状态机：

M＝(S,S₀,E,T)

其中，M为需求侧设备的有限状态机，S为需求侧设备状态，S₀为需求侧设备接入网络的初始状态，E为触发需求侧设备状态的转移调控信号，T为控制需求侧设备开断和功率档位变换的状态转移函数。

11.如权利要求9所述的系统，其特征在于，所述测试模块包括：

交互单元，用于将一致性测试软件平台与需求侧设备进行交互；

读取单元，用于通过一致性测试软件平台的人机界面读取并解析测试用例；

执行单元，用于根据测试用例的类型执行测试用例，生成执行所述测试用例的结果报文；

测试单元，用于基于所述结果报文对需求侧设备进行一致性测试和性能测试。

12.如权利要求11所述的系统，其特征在于，所述测试单元包括：

一致性测试子单元，用于判断测试用例执行后的结果报文与需求侧互联设备的协议实现一致性声明是否相同；若相同，则一致性测试通过；若不相同，则所述一致性测试失败。

性能测试子单元，用于在所述结果报文中获取需求侧设备的性能指标参数，判断所述性能指标参数是否满足需求侧设备的性能测试声明的标准，若满足，则性能测试通过；若不满足，则性能测试失败；其中，所述需求侧设备的性能指标包括可调功率、信号处理时间和调节速度。