CN108089987A - 功能验证方法和装置 - Google Patents

Abstract

本发明提供了一种功能验证方法和装置，其中，所述方法包括：读取用户编写的配置文件；根据配置文件对待验证模块进行配置；对所述待验证模块的功能进行自动检查。本发明实施例能够对待验证模块的功能进行自动检查，不仅提高了验证结果的正确性，而且功能验证的效率较高。

Description

功能验证方法和装置

技术领域

本发明涉及计算机技术领域，尤其是涉及一种功能验证方法和装置。

背景技术

随着网络端点设备吞吐量的不断增大和交换机应用场景的愈加复杂，包路由和包交换的功能复杂度不断增加，例如包路由存储缓存的类型数变多，且深度成倍增加，包交换数据缓存变大，队列维护和队列调度逻辑级数变多，传统的功能验证方法已很难实现对复杂包路由和包交换功能的验证。

传统的功能验证主要通过直接测试的方式，针对各子功能点逐一编写测试用例，完成点对点的测试，且检查方式多数以日志分析和波形分析为主，不能实现自动化比对，无法精确保证验证结果的正确性，功能验证效率较低。

发明内容

有鉴于此，本发明的目的在于提供一种功能验证方法和装置，以缓解了现有技术中存在的不能实现自动化比对，无法精确保证验证结果的正确性，功能验证效率较低的技术问题。

第一方面，本发明实施例提供了一种功能验证方法，所述方法包括：

读取用户编写的配置文件；

根据配置文件对待验证模块进行配置；

对所述待验证模块的功能进行自动检查。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述根据配置文件对待验证模块进行配置，包括：

根据所述配置文件生成第一测试包；

将所述第一测试包输入至所述待验证模块，以使所述待验证模块的路由配置范围为所述待验证模块的全部路由地址，数据配置为随机数，以及，动作配置为随机写和随机读。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述对所述待验证模块的功能进行自动检查，包括：

接收所述待验证模块输出的与所述第一测试包对应的第一实际包；

根据所述待验证模块输出的第一实际包对所述待验证模块的写和读功能进行自动检查。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述根据配置文件对待验证模块进行配置，包括：

根据所述配置文件生成第二测试包；

将所述第二测试包输入至所述待验证模块，以使所述待验证模块的全部输出端口同时发送流量，所述待验证模块的各个输出端口的流量大小随机，以及，所述待验证模块的流量突发度随机。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述对所述待验证模块的功能进行自动检查，包括：

接收所述待验证模块输出的与所述第二测试包对应的第二实际包；

根据所述第二测试包生成第一预期包；

利用所述第一预期包对所述第二实际包进行自动检查。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述根据配置文件对待验证模块进行配置，包括：

根据所述配置文件生成第三测试包；

将所述第三测试包输入至所述待验证模块，以使所述待验证模块的全部输出端口发送非拥塞流量，以及，定义各输出端口的预输出流量。

结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述对所述待验证模块的功能进行自动检查，包括：

接收所述待验证模块输出的与所述第三测试包对应的第三实际包；

根据所述第三实际包计算所述各输出端口的实际输出流量；

根据所述第三测试包读取所述待验证模块的所述各输出端口的预输出流量；

利用所述各输出端口的实际输出流量和其对应输出端口的预输出流量，对所述各输出端口的所述输出流量的吞吐量进行自动检查。

结合第一方面，本发明实施例提供了第一方面的第七种可能的实施方式，其中，所述方法还包括：

计算所述待验证模块处理所述第一测试包、所述第二测试包或所述第三测试包的时间延迟。

第二方面，本发明实施例还提供了一种功能验证装置，包括：

用户配置解析器，用以读取用户编写的配置文件；

配置模块，用于根据配置文件对待验证模块进行配置；

自动检查模块，用于对所述待验证模块的功能进行自动检查。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述配置模块包括：

流量产生单元，用于根据所述配置文件生成第一测试包、第二测试包或第三测试包；

传输单元，用于将所述第一测试包、所述第二测试包或所述第三测试包输入至所述待验证模块；

所述自动检查模块包括：

接收单元，用于接收所述待验证模块发送的第一实际包或第二实际包；

预期产生单元，用于根据所述第二测试包生成第一预期包；

自动检查单元，用于根据所述待验证模块输出的第一实际包对所述待验证模块的写和读功能进行自动检查，还用于利用所述第一预期包对所述第二实际包进行自动检查；

统计单元，用于利用所述各输出端口的实际输出流量和其对应输出端口的预输出流量，对所述各输出端口的所述输出流量的吞吐量进行自动检查，还用于计算所述待验证模块处理所述第一测试包、所述第二测试包或所述第三测试包的时间延迟。

本发明实施例带来了以下有益效果：本发明实施例首先读取用户编写的配置文件；然后根据配置文件对待验证模块进行配置；最后对所述待验证模块的功能进行自动检查。

本发明实施例能够对待验证模块的功能进行自动检查，与人工检查相比，不仅提高了验证结果的正确性，而且功能验证的效率较高。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种功能验证方法的流程图；

图2为本发明实施例提供的一种对待验证模块的读写功能验证方法的流程图；

图3为本发明实施例提供的一种对待验证模块输出的实际包验证方法的流程图；

图4为本发明实施例提供的一种对待验证模块输出流量的吞吐量验证方法的流程图；

图5为本发明实施例提供的一种功能验证装置的结构框图；

图6为本发明实施例提供的功能验证装置的配置模块的结构框图；

图7为本发明实施例提供的功能验证装置的自动检查模块的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前传统的功能验证主要通过直接测试的方式，针对各子功能点逐一编写测试用例，完成点对点的测试，且检查方式多数以日志分析和波形分析为主，不能实现自动化比对，无法精确保证验证结果的正确性，功能验证效率较低，在包路由与包交换功能的逻辑级数和深度两个维度都增多的前提下，依靠传统的验证方法很难覆盖到各子功能点，且各子功能点的交叉点很难冲击到，同时人工检查的方式无法精确保证验证结果的正确性且效率较低，直接测试方式已难以保证功能验证的完备性，造成功能推出时间滞后或由于严重缺陷导致功能开发迭代而引起损失。

功能验证方法包含EDA仿真验证和FPGA原型验证两类。传统的验证流程中，EDA仿真验证和FPGA原型验证是两种独立的验证方法，且EDA仿真验证往往开始于FPGA原型验证之前，但无法做到将EDA仿真验证中的配置流程和测试用例，复用到FPGA原型验证中，造成进行FPGA原型验证时大量的时间浪费在定位配置流程和测试用例问题，而非逻辑功能本身的正确性上，引起人力和物力的浪费。基于此，本发明实施例提供的一种功能验证方法和装置，可以对待验证模块的功能进行自动检查，不仅提高了验证结果的正确性，而且功能验证的效率较高。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种功能验证方法进行详细的介绍，本发明实施例是基于通用验证方法学(Universal VerificationMethodology，UVM)，搭建针对包路由与包交换功能的随机验证平台，图1为本发明实施例提供的一种功能验证方法的流程图，如图1所示，该方法包括一下步骤。

步骤S101，读取用户编写的配置文件。

本发明实施例所述的用户编写的配置文件可以转化为FPGA测试配置文件，可以实现配置复用与测试结果一致性检查。

具体的，所述配置文件为测试用例，可以通过编写用户配置解析器来读取用户提供的配置文件。

步骤S102，根据配置文件对待验证模块进行配置。

具体的，所述配置文件约束越严格，对所述待验证模块进行的配置就越固定，越接近于直接用例，配置文件约束越放松，对所述待验证模块进行的配置就越随机，越接近于随机用例。

步骤S103，对所述待验证模块的功能进行自动检查。

具体的，对所述待验证模块的功能进行自动检查包括但不限于：对所述待验证模块的写和读功能进行自动检查，对所述待验证模块输出的实际包进行自动检查，以及对所述待验证模块的各输出端口输出流量的吞吐量进行自动检查。

具体的，可以通过收集各用户关注的功能点，保证验证的完备性。例如收集包路由配置和读取的地址值，收集包路由配置地址和数据的位翻转，收集包交换各端口流量的包类型、包标号、包长度、吞吐量和带宽抖动等属性。

本发明实施例首先读取用户编写的配置文件；然后根据配置文件对待验证模块进行配置；最后对所述待验证模块的功能进行自动检查。本发明实施例能够对待验证模块的功能进行自动检查，与人工检查相比，不仅提高了验证结果的正确性，而且功能验证的效率较高。

为了便于对本发明实施例提供的方案进行充分的说明，下面分别对待验证模块的各个功能的验证进行详细说明。

图2为本发明实施例提供的一种对待验证模块的读写功能验证方法的流程图，如图2所示，对待验证模块的读写功能验证时，步骤S102包括以下步骤：

步骤S1021，根据所述配置文件生成第一测试包；

步骤S1022，将所述第一测试包输入至所述待验证模块，以使所述待验证模块的路由配置范围为所述待验证模块的全部路由地址，数据配置为随机数，以及，动作配置为随机写和随机读。

步骤S103包括以下步骤包括：

步骤S1031，接收所述待验证模块输出的与所述第一测试包对应的第一实际包；

步骤S1032，根据所述待验证模块输出的第一实际包对所述待验证模块的写和读功能进行自动检查。

具体的，首先读取用户编写的配置文件；然后根据所述配置文件生成第一测试包，将所述第一测试包输入至所述待验证模块，以使所述待验证模块的路由配置范围为所述待验证模块的全部路由地址，数据配置为随机数，以及，动作配置为随机写和随机读；其次接收所述待验证模块输出的与所述第一测试包对应的第一实际包；最后根据所述待验证模块输出的第一实际包对所述待验证模块的写和读功能进行自动检查。

图3为本发明实施例提供的一种对待验证模块输出的实际包验证方法的流程图，如图3所示，步骤S102包括以下步骤：

S1023，根据所述配置文件生成第二测试包；

S1024，将所述第二测试包输入至所述待验证模块，以使所述待验证模块的全部输出端口同时发送流量，所述待验证模块的各个输出端口的流量大小随机，以及，所述待验证模块的流量突发度随机。

步骤S103包括以下步骤包括：

S1033，接收所述待验证模块输出的与所述第二测试包对应的第二实际包；

S1034，根据所述第二测试包生成第一预期包；

S1035，利用所述第一预期包对所述第二实际包进行自动检查。

具体的，首先读取用户编写的配置文件；然后根据所述配置文件生成第二测试包，将所述第二测试包输入至所述待验证模块，以使所述待验证模块的全部输出端口同时发送流量，所述待验证模块的各个输出端口的流量大小随机，以及，所述待验证模块的流量突发度随机；其次接收所述待验证模块输出的与所述第二测试包对应的第二实际包；再根据所述第二测试包生成第一预期包；最后利用所述第一预期包对所述第二实际包进行自动检查。

具体的，当所述第二实际包与所述第一预期包一致时，则说明所述待验证模块正常输出包的功能没有损坏；当所述第二实际包与所述第一预期包不一致时，则说明所述待验证模块正常输出包的功能出现异常。

图4为本发明实施例提供的一种对待验证模块输出流量的吞吐量验证方法的流程图，如图4所示，步骤S102包括以下步骤：

S1025，根据所述配置文件生成第三测试包；

S1026，将所述第三测试包输入至所述待验证模块，以使所述待验证模块的全部输出端口发送非拥塞流量，以及，定义各输出端口的预输出流量。

步骤S103包括以下步骤包括：

S1036，接收所述待验证模块输出的与所述第三测试包对应的第三实际包；

S1037，根据所述第三实际包计算所述各输出端口的实际输出流量；

S1038，根据所述第三测试包读取所述待验证模块的所述各输出端口的预输出流量；

S1039，利用所述各输出端口的实际输出流量和其对应输出端口的预输出流量，对所述各输出端口的所述输出流量的吞吐量进行自动检查。

具体的，首先读取用户编写的配置文件；然后根据所述配置文件生成第三测试包，将所述第三测试包输入至所述待验证模块，以使所述待验证模块的全部输出端口发送非拥塞流量，以及，定义各输出端口的预输出流量；其次接收所述待验证模块输出的与所述第三测试包对应的第三实际包；再根据所述第三实际包计算所述各输出端口的实际输出流量，根据所述第三测试包读取所述待验证模块的所述各输出端口的预输出流量；最后利用所述各输出端口的实际输出流量和其对应输出端口的预输出流量，对所述各输出端口的所述输出流量的吞吐量进行自动检查。

具体的，当所述待测试模块的各个输出端口的实际输出流量与对应的所述预输出流量的偏差处于预设偏差范围内，则说明待测试模块的各个输出端口的输出流量的吞吐量为正常吞吐量；当所述待测试模块的至少一个输出端口的实际输出流量与对应的所述预输出流量的偏差超过预设偏差范围，则说明待测试模块存在输出端口的输出流量的吞吐量异常。

本发明实施例提供的功能验证方法方法还包括：计算所述待验证模块处理所述第一测试包、所述第二测试包或所述第三测试包的时间延迟。

具体的，当所述待验证模块接收的测试包时，计算所述待验证模块处理该测试包的延迟，并统计各个端口处理测试包的最大延迟和最小延迟，在仿真运行结束时显示，同时将统计结果记录在日志文件中。

在本发明的又一实施例中，还提供了一种功能验证装置，图5为本发明实施例提供的一种功能验证装置的结构框图，如图5所示该装置包括：

用户配置解析器11，用以读取用户编写的配置文件；

配置模块12，用于根据配置文件对待验证模块进行配置；

自动检查模块13，用于对所述待验证模块的功能进行自动检查。

图6为本发明实施例提供的功能验证装置的配置模块的结构框图，如图6所示，配置模块12包括：

流量产生单元121，用于根据所述配置文件生成第一测试包、第二测试包或第三测试包；

传输单元122，用于将所述第一测试包、所述第二测试包或所述第三测试包输入至所述待验证模块；

图7为本发明实施例提供的功能验证装置的自动检查模块的结构框图，如图7所示，自动检查模块13包括：

接收单元131，用于接收所述待验证模块发送的第一实际包或第二实际包；

预期产生单元132，用于根据所述第二测试包生成第一预期包；

自动检查单元133，用于根据所述待验证模块输出的第一实际包对所述待验证模块的写和读功能进行自动检查，还用于利用所述第一预期包对所述第二实际包进行自动检查；

统计单元134，用于利用所述各输出端口的实际输出流量和其对应输出端口的预输出流量，对所述各输出端口的所述输出流量的吞吐量进行自动检查，还用于计算所述待验证模块处理所述第一测试包、所述第二测试包或所述第三测试包的时间延迟。

从图1中可得，本发明实施例提供的功能验证装置还包括：

覆盖率收集模块14，用于收集用户关注的功能点；

时钟产生模块15，用于产生功能验证装置进行功能验证的时钟和待验证模块的时钟；

复位产生模块16，用于产生功能验证装置进行功能验证的复位和待验证模块的复位。

本发明实施例所提供的进行功能验证方法的计算机程序产品，包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种功能验证方法，其特征在于，所述方法包括：

读取用户编写的配置文件；

根据配置文件对待验证模块进行配置；

对所述待验证模块的功能进行自动检查。

2.根据权利要求1所述的功能验证方法，其特征在于，所述根据配置文件对待验证模块进行配置，包括：

根据所述配置文件生成第一测试包；

将所述第一测试包输入至所述待验证模块，以使所述待验证模块的路由配置范围为所述待验证模块的全部路由地址，数据配置为随机数，以及，动作配置为随机写和随机读。

3.根据权利要求2所述的功能验证方法，其特征在于，所述对所述待验证模块的功能进行自动检查，包括：

接收所述待验证模块输出的与所述第一测试包对应的第一实际包；

根据所述待验证模块输出的第一实际包对所述待验证模块的写和读功能进行自动检查。

4.根据权利要求1所述的功能验证方法，其特征在于，所述根据配置文件对待验证模块进行配置，包括：

根据所述配置文件生成第二测试包；

将所述第二测试包输入至所述待验证模块，以使所述待验证模块的全部输出端口同时发送流量，所述待验证模块的各个输出端口的流量大小随机，以及，所述待验证模块的流量突发度随机。

5.根据权利要求4所述的功能验证方法，其特征在于，所述对所述待验证模块的功能进行自动检查，包括：

接收所述待验证模块输出的与所述第二测试包对应的第二实际包；

根据所述第二测试包生成第一预期包；

利用所述第一预期包对所述第二实际包进行自动检查。

6.根据权利要求1所述的功能验证方法，其特征在于，所述根据配置文件对待验证模块进行配置，包括：

根据所述配置文件生成第三测试包；

将所述第三测试包输入至所述待验证模块，以使所述待验证模块的全部输出端口发送非拥塞流量，以及，定义各输出端口的预输出流量。

7.根据权利要求6所述的功能验证方法，其特征在于，所述对所述待验证模块的功能进行自动检查，包括：

接收所述待验证模块输出的与所述第三测试包对应的第三实际包；

根据所述第三实际包计算各所述输出端口的实际输出流量；

根据所述第三测试包读取所述待验证模块的各所述输出端口的预输出流量；

利用各所述输出端口的所述实际输出流量和其对应输出端口的所述预输出流量，对各所述输出端口的所述输出流量的吞吐量进行自动检查。

8.根据权利要求1-7任一项所述的功能验证方法，其特征在于，所述方法还包括：

计算所述待验证模块处理所述第一测试包、所述第二测试包或所述第三测试包的时间延迟。

9.一种功能验证装置，其特征在于，包括：

用户配置解析器，用以读取用户编写的配置文件；

配置模块，用于根据配置文件对待验证模块进行配置；

自动检查模块，用于对所述待验证模块的功能进行自动检查。

10.根据权利要求9所述的功能验证装置，其特征在于，

所述配置模块包括：

流量产生单元，用于根据所述配置文件生成第一测试包、第二测试包或第三测试包；

传输单元，用于将所述第一测试包、所述第二测试包或所述第三测试包输入至所述待验证模块；

所述自动检查模块包括：

接收单元，用于接收所述待验证模块发送的第一实际包或第二实际包；

预期产生单元，用于根据所述第二测试包生成第一预期包；

自动检查单元，用于根据所述待验证模块输出的第一实际包对所述待验证模块的写和读功能进行自动检查，还用于利用所述第一预期包对所述第二实际包进行自动检查；

统计单元，用于利用各所述输出端口的实际输出流量和其对应输出端口的预输出流量，对各所述输出端口的所述输出流量的吞吐量进行自动检查，还用于计算所述待验证模块处理所述第一测试包、所述第二测试包或所述第三测试包的时间延迟。