CN111859830A - 一种验证计划及报告的生成方法、装置、设备及存储介质 - Google Patents
一种验证计划及报告的生成方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111859830A CN111859830A CN202010614641.1A CN202010614641A CN111859830A CN 111859830 A CN111859830 A CN 111859830A CN 202010614641 A CN202010614641 A CN 202010614641A CN 111859830 A CN111859830 A CN 111859830A
- Authority
- CN
- China
- Prior art keywords
- verification
- test
- report
- test cases
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012795 verification Methods 0.000 title claims abstract description 194
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012360 testing method Methods 0.000 claims abstract description 210
- 238000013507 mapping Methods 0.000 claims abstract description 42
- 230000000007 visual effect Effects 0.000 claims abstract description 42
- 230000006870 function Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000005192 partition Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000012423 maintenance Methods 0.000 abstract description 3
- 238000007726 management method Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 230000007547 defect Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000012552 review Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/30—Circuit design
- G06F30/32—Circuit design at the digital level
- G06F30/33—Design verification, e.g. functional simulation or model checking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/177—Editing, e.g. inserting or deleting of tables; using ruled lines
- G06F40/18—Editing, e.g. inserting or deleting of tables; using ruled lines of spreadsheets
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Operations Research (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Marketing (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- Stored Programmes (AREA)
Abstract
本发明公开了一种验证计划及报告的生成方法、装置、设备及存储介质；本方案包括：根据验证计划中预先定义的属性及声明，设置不同验证计划与测试用例之间的映射关系，对测试用例在层次结构中进行等级划分生成划分结果；利用预先设定的配置文件对所有测试用例的测试结果进行分析生成测试用例的可视化报告。可见，本申请中的验证计划为利用HVP标准语法规则生成的，HVP是文本格式，可便于对验证计划进行版本维护；并且，本申请通过定义属性及声明，可实现自动生成映射关系及层级结构；在生成可视化报告时，可根据报告展示方式的需求，自定义设置配置文件，从而自动生成有利于项目管理的可视化报告。
Description
技术领域
本发明涉及芯片验证技术领域，更具体地说，涉及一种验证计划及报告的生成方法、装置、设备及存储介质。
背景技术
随着大规模集成电路系统设计的飞速发展，集成电路规模越来越大。芯片验证在芯片研发过程中所占的比率越来越重，同时芯片验证有着一整套完备的流程，从硬件系统定义贯穿到硅后测试部分。一般情况下，每一个项目在进行瀑布式开发时，验证团队也会在细分的流程中完成相应的任务，每一个验证节点都会进行一些重要检查点的回顾工作，所以验证周期也是一个不断反复、螺旋上升的过程。参见图1，为现有技术中模块功能验证完备周期示意图；该图罗列出了模块功能验证的各个关键点并使之成为一个周期，在验证周期中包含了多个检查点。
第一个检查点：验证计划的回顾。验证周期的起始点从创建验证计划开始，验证计划需要参照系统工程师给出的功能详述文档。接着验证人员开发验证环境，在创建验证环境的过程中，验证人员一般会邀请设计人员和系统人员一起回顾验证计划，确保验证计划没有明显的遗漏。
第二个检查点：验证代码检查。硬件设计经过一定数量的激励测试，验证人员就可以准备回归(regression)测试。回归测试在项目中期到项目开发后期是不断执行的，回归测试结果的分析对项目进度以及项目执行有着重要的作用。这个检查点的作用是通过对回归测试结果以及验证代码的回顾，发现遗漏的测试激励、不恰当的随机约束及代码结构的缺陷等。
第三个检查点：流片前验证完备性检查。一般这项检查验证管理者会根据checklist来将验证进度做量化的综合评定，最后判断是否完成验证任务。
上述只是针对模块验证的一个周期流程，对于大的SoC(System-on-a-Chip，系统芯片)芯片，模块验证阶段、子系统验证阶段、系统级验证阶段和最后的网表验证阶段等都需要验证经理整理大量的表格和图表去检查验证的状态，并对验证进度有合理的把控。
目前，针对大部分芯片公司验证报告生成流程存在以下问题：验证计划大部分采用excel，不利于版本的管理；结果提取及反标需要花费大量的时间，即使采用项目管理工具也需要按照规则导入相应的文件，模块、子系统及系统不能很好的区分。生成的报告无法直观反映验证瓶颈及个人进度，项目经理无法合理的分配人力资源，导致可定制化报告无法正常产生。
发明内容
本发明的目的在于提供一种验证计划及报告的生成方法、装置、设备及存储介质，以通过对验证计划的调整，生成可定制的可视化报告。
为实现上述目的，本发明提供一种验证计划及报告的生成方法，包括：
获取验证计划，所述验证计划为利用HVP标准语法规则生成，所述验证计划通过预先定义的属性描述测试用例，通过预先定义的声明描述验证计划的层次结构；
根据所述验证计划中预先定义的属性及声明，设置不同验证计划与测试用例之间的映射关系，并对测试用例在层次结构中进行等级划分生成划分结果；所述层次结构中的等级包括：系统级、子系统级和模块级；
运行测试用例对芯片进行测试后，利用预先设定的配置文件及所述映射关系、所述划分结果，对所有测试用例的测试结果进行分析，生成测试用例的可视化报告。
其中，所述获取验证计划之后，还包括：
自动提取每个验证计划中的属性及声明，并通过excel表格进行显示。
其中，所述属性包括：测试用例的功能属性、负责人属性、更新历史属性；所述声明包括：模块级层次结构、子系统级层次结构和系统级模块名。
其中，根据所述验证计划中预先定义的属性及声明，设置不同验证计划与测试用例之间的映射关系，并对测试用例在层次结构中进行等级划分生成划分结果，包括：
根据测试用例的属性中记载的功能点，确定每个功能点与对应的验证计划之间的映射关系，确定每个验证计划与对应的测试用例之间的映射关系；
根据验证计划的声明中记录的层次结构，确定在所述层次结构中与系统级对应的测试用例、与子系统级对应的测试用例、与模块级对应的测试用例，生成测试用例在层次结构中的划分结果。
其中，所述配置文件中包括：报告基础信息和可视化报告设置信息；所述可视化报告设置信息用来设置报告展示的方式，包括：系统级报告展示方式、子系统级报告展示方式、模块级报告展示方式、个人报告展示方式。
其中，利用预先设定的配置文件及所述映射关系、所述划分结果，对所有测试用例的测试结果进行分析，生成测试用例的可视化报告，包括：
获取每个测试用例的测试结果；
利用所述映射关系对所述测试结果进行处理，获得与每个验证计划对应的测试用例的测试结果；利用所述划分结果对所述测试结果进行处理，获得不同层次结构的测试结果；所述测试结果包括系统级测试用例的测试结果、子系统级测试用例的测试结果和模块级测试用例的测试结果；
利用所述配置文件及每个验证计划对应的测试用例的测试结果、不同层次结构的测试结果，生成可视化报告。
为实现上述目的，本发明进一步提供一种验证计划及报告的生成装置，包括：
获取模块，用于获取验证计划，所述验证计划为利用HVP标准语法规则生成，所述验证计划通过预先定义的属性描述测试用例，通过预先定义的声明描述验证计划的层次结构；
设置模块，用于根据所述验证计划中预先定义的属性及声明，设置不同验证计划与测试用例之间的映射关系，并对测试用例在层次结构中进行等级划分生成划分结果；所述层次结构中的等级包括：系统级、子系统级和模块级；
报告生成模块，用于在运行测试用例对芯片进行测试后，利用预先设定的配置文件及所述映射关系、所述划分结果，对所有测试用例的测试结果进行分析，生成测试用例的可视化报告。
其中，本方案还包括：
显示模块，用于自动提取每个验证计划中的属性及声明，并通过excel表格进行显示。
为实现上述目的，本发明进一步提供一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述的可视化报告的生成方法的步骤。
为实现上述目的，本发明进一步提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的可视化报告的生成方法的步骤。
通过以上方案可知，本发明实施例提供的一种验证计划及报告的生成方法，包括：获取验证计划，验证计划为利用HVP标准语法规则生成，验证计划通过预先定义的属性描述测试用例，通过预先定义的声明描述验证计划的层次结构；根据验证计划中预先定义的属性及声明，设置不同验证计划与测试用例之间的映射关系，并对测试用例在层次结构中进行等级划分生成划分结果；层次结构中的等级包括：系统级、子系统级和模块级；运行测试用例对芯片进行测试后，利用预先设定的配置文件及映射关系、划分结果，对所有测试用例的测试结果进行分析，生成测试用例的可视化报告。
可见，在本申请中的验证计划为利用HVP标准语法规则生成的，HVP是文本格式，可便于对验证计划进行版本维护；并且，本申请通过定义属性及声明，可实现自动生成映射关系及层级结构；在生成可视化报告时，可根据报告展示方式的需求，自定义设置配置文件，从而自动生成有利于项目管理的可视化报告。本发明还公开了一种验证计划及报告的生成装置、设备及存储介质，同样能实现上述技术效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中模块功能验证完备周期示意图；
图2为现有方案中的QC项目管理流程图；
图3为现有方案中子系统级的报告产生及提取流程
图4为本发明实施例公开的一种验证计划及报告的生成方法流程示意图；
图5为本发明实施例公开的分级定义结构示意图；
图6为本发明实施例公开的结构化定义示意图；
图7为本发明实施例公开的配置文件示意图；
图8a为本发明实施例公开的系统级验证生成的总报告柱状图；
图8b为本发明实施例公开的系统级验证生成的总报告曲线图；
图9a为本发明实施例公开的各模块的回归测试结果统计柱状图；
图9b为本发明实施例公开的各模块的回归测试结果统计曲线图；
图10a为本发明实施例公开的所有人的个人进度折线图；
图10b为本发明实施例公开的部分人的个人进度折线图；
图11为本发明实施例公开的一种验证计划及报告的生成装置结构示意图；
图12为本发明实施例公开的一种电子设备结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，目前无论芯片的尺寸有多大，验证人员和验证经理都需要对自己负责的模块或者芯片做量化的验证管理。除了常见的Excel表格管理以外，也可以使用其他验证管理工具进行管理，但是无论是哪种管理方式都需要考虑以下几点来保证验证的快速收敛：
验证计划和进度管理(verification plan and progress management)
文件版本控制管理(file version control and management)
项目环境及人员调度管理(project environment and resource controlmanagement)
缺陷率跟踪管理(defect tracking management)
目前现有的项目管理软件，如HP公司的QC(Qualitycenter，质量中心)，只针对前期的验证管理以及缺陷追踪，参见图2，为现有方案中的QC项目管理流程图，在验证的各个过程中，可以生成excel表格对验证状态进行跟踪，但这种项目管理软件无法根据项目的需求直观地看出芯片验证各个阶段的瓶颈及项目资源分配是否合理。
参见图3，为现有方案中子系统级的报告产生及提取流程，主要分为以下步骤：前期验证计划提取，中期验证计划与测试用例之间的映射，后期回归测试结果的反标，完成以上三个步骤后，生成excel表格；各个模块表格生成后，通过excel自带函数，生成所需针对模块级报告图，分析模块进度；各个模块表格均生成后，整合各模块结果，生成子系统级报告图。
可以看出，目前芯片公司验证报告生成流程存在：验证计划版本管理难、层级不好区分、无法正常产生可定制化报告。为了解决上述问题，本发明实施例公开了一种验证计划及报告的生成方法、装置、设备及存储介质，以通过对验证计划的调整，生成可定制的可视化报告。
参见图4，本发明实施例提供的一种验证计划及报告的生成方法流程示意图；通过图4可以看出，该方法包括：
S101、获取验证计划，该验证计划为利用HVP标准语法规则生成，该验证计划通过预先定义的属性描述测试用例，通过预先定义的声明描述验证计划的层次结构；
需要说明的是，本方案主要针对传统的项目管理软件做了如下两点改进：
1、验证计划：利用HVP标准的语法规则生成验证计划，通过对HVP中属性的控制以及层级结构的定义，完成测试用例与验证计划的映射，完成验证等级的划分，完成层次结构的划分，如：模块级、子系统级、系统级。
2、可视化验证报告生成：在芯片验证的各个阶段，由于需要了解各个层次等级的验证状况，需要了解个人的验证进度、以及缺陷的修复进度。本方案通过定制的配置文件自动生成有利于项目管理的报告，合理地优化和调配资源，使项目平滑进展。
具体来说，在S101中，本申请需要利用Synopsys公司提出的结构化验证计划HVP，定义适合芯片验证的属性和声明，其中，该属性包括：测试用例的功能属性、负责人属性、更新历史属性；声明包括：模块级层次结构、子系统级层次结构和系统级模块名。参见表1，为本申请公开的属性定义表；参见表2，为本申请公开的声明定义表。通过表1中属性的定义，可以知道每一个测试用例的相关功能、负责人以及更新历史等信息，通过表2中声明的定义，可以知道层次结构相关信息。并且，本申请中的属性及声明的定义均可自定制，并支持可扩展，并不局限于表1和表2所示。需要说明的是，本申请提供的验证计划相对于excel格式的验证计划来说，由于HVP是文本格式，在Git或者ClearCase上可便于版本维护。
表1
表2
S102、根据验证计划中预先定义的属性及声明，设置不同验证计划与测试用例之间的映射关系，并对测试用例在层次结构中进行等级划分生成划分结果；层次结构中的等级包括：系统级、子系统级和模块级；
其中，本申请的S102具体可以包括：根据测试用例的属性中记载的功能点，确定每个功能点与对应的验证计划之间的映射关系，确定每个验证计划与对应的测试用例之间的映射关系；根据验证计划的声明中记录的层次结构，确定在所述层次结构中与系统级对应的测试用例、与子系统级对应的测试用例、与模块级对应的测试用例，生成测试用例在层次结构中的划分结果。
具体来说，本申请通过对HVP层次化的定义，可自动完成测试用例和验证计划的映射。参见图5，为本发明实施例公开的分级定义结构示意图；通过层次化结构的定义，脚本利用递归的方法完成功能点、测试用例及验证计划之间的映射，如：在一级结构功能定义中，可确定功能点，在二级结构验证计划中，可确定与该功能点具有映射关系的验证计划，在三级结构验证用例中，可确定与每个验证计划具有映射关系的测试用例。并且，本发明针对方法的定义及层级结构的划分均支持嵌套和扩展，这样增加了灵活性也提高了验证人员的效率。参见图6，为本发明实施例公开的结构化定义示意图；在本方案中，可通过测试用例的命名规则及声明记录的层次结构，完成测试用例在模块级、子系统级、系统级的划分。图6左为HVP的定义，根据定义就可生成图6右的层次化结构。参见表3，为图6层次化结构中关键字描述解释。
表3
需要说明的是，本申请在上述过程对验证计划所执行的操作，均可通过脚本自动抽取关键信息，从而为后续可视化报告生成奠定基础。并且，本申请获取验证计划之后，还可自动提取每个验证计划中的属性及声明，并通过excel表格进行显示。也即：本申请还可以通过脚本自动抽取HVP信息，生成excel表格，便于验证回顾。参见表4，为本申请实施例公开的excel表格。
表4
| Project | Testname | Owner | Verificationobjects | Description | Function | Random | Type | Priority | Status | Options | Comment | UpdateHistory |
| ICRun | tesc1 | user1 | VO1 | verify PCIE | clock | yes | C | High | Unknown | |||
| ICRun | test2 | user2 | VO2 | verify CPU | low powe | no | sv | Medium | Pass | cnt_value＝1 | ||
| ICRun | test3 | user2 | VO3 | verify DDR | performa | yes | c | Low | Fail | |||
| ICRum | test4 | user3 | VO4 | verify USB | reset | yes | c+sv | High | Unknown |
S103、运行测试用例对芯片进行测试后，利用预先设定的配置文件及所述映射关系、所述划分结果，对所有测试用例的测试结果进行分析，生成测试用例的可视化报告。
其中，利用预先设定的配置文件及所述映射关系、所述划分结果，对所有测试用例的测试结果进行分析，生成测试用例的可视化报告，包括：
获取每个测试用例的测试结果；利用所述映射关系对所述测试结果进行处理，获得与每个验证计划对应的测试用例的测试结果；利用所述划分结果对所述测试结果进行处理，获得不同层次结构的测试结果；所述测试结果包括系统级测试用例的测试结果、子系统级测试用例的测试结果和模块级测试用例的测试结果；利用所述配置文件及每个验证计划对应的测试用例的测试结果、不同层次结构的测试结果，生成可视化报告。
其中，所述配置文件中包括：报告基础信息和可视化报告设置信息；所述可视化报告设置信息用来设置报告展示的方式，包括：系统级报告展示方式、子系统级报告展示方式、模块级报告展示方式、个人报告展示方式。
需要说明的是，本申请可在生成测试结果后，可利用上述提取的映射关系及划分结果对测试结果进行分类，如：将每个人负责的测试用例的测试结果进行分类，或者将子系统级的测试用例的测试结果进行分类，或者将模块级的测试用例的测试结果进行分类等等。所以本申请对测试结果进行自动分类后，如果工作人员需要在芯片验证的各个阶段知道各个模块、子系统及系统的验证状态、测试用例的通过率以及每个人的进度，便可设置配置文件，该配置文件中包括：记录测试结果的存放路径、报告存放位置、版本的报告基础信息，以及记录报告展示方式的可视化报告设置信息等。通过该配置文件，可生成可视化的满足需求的报告。参见图7，为本发明实施例公开的配置文件示意图，表5为配置文件的说明。
表5
需要说明的是，配置文件设置后，便可通过脚本对测试用例的测试结果进行自动化处理，提取测试用例状态以及层级结构相关信息，生成最终的可视化报告；需要说明的是，如果将实现自动可视化报告生成的脚本集成到回归测试工具中，就可在回归测试工具生成测试结果后，一键自动生成所需要的报告；通过这种方式，工作人员可根据自己的需求修改配置文件，从而生成相应的定制的可视化报告；本申请中的可视化报告可生成柱状图和曲线图两种类型。参见图8a，为本申请实施例公开的系统级验证生成的总报告柱状图，参见图8b，为本申请实施例公开的系统级验证生成的总报告曲线图。
通过图8a和8b可以看出，优先级p1/p2的测试用例都在随着时间的推移稳步的增长，同时生成的报告是用pyecharts脚本自动生成，报告可交互，可以看到任意一天每一种优先级测试用例通过的数目。但是总报告无法反映各个模块、子系统以及个人的验证进度，在这种情况下，需要更详细的报告来判断验证的瓶颈，以及是否需要进行资源重新划分。参见图9a，为本申请实施例公开的各模块的回归测试结果统计柱状图，参见图9b，为本申请实施例公开的各模块的回归测试结果统计曲线图。从图9a模块的柱状图可以看出，PCIe所要构建的测试用例最多，虽然每天进度都在增长，但是相对于其他模块有所延误。从曲线图可以看出在2月12日，Uart已经完成了验证工作，就可以将Uart的验证人员合理的划分到PCIe等其他模块，实现人力的调度。最后，本发明也可以生成个人的进度报告，参见图10a，为本申请实施例公开的所有人的个人进度折线图，参见图10b，为本申请实施例公开的部分人的个人进度折线图。并且，本申请还可选择关键的模块、关键的人、关键的时间来查看测试报告，从而实现了报告的灵活显示。
需要说明的是，在一个大规模的芯片验证中，包含的子系统、模块可能高达几十个几百个，验证经理整理每天的进度报告需要花费大量的时间，生成的报告需要整合调配，为了高效的完成上述工作，可视化直观的报告生成方法及其重要，通过自动的、可视化的、可交互的、可配置的回归测试报告生成方法，可以节省验证经理大量时间并且可以根据报告合理的调配资源。其次，配置文件可以动态调整，支持更多需求。并且，本方案是基于python脚本开发，可方便集成到回归测试工具中。
综上可以看出，本申请通过验证计划的自动化提取以及层次的划分，节省了验证工程师大量的书写文本的时间，同时也便于版本管理以及项目之间的继承，自动可视化报告的生成可以节省验证经理的时间以及项目管理工具的相关费用，同时使项目进度管理以及人员调配更加合理。
下面对本发明实施例提供的生成装置进行介绍，下文描述的生成装置与上文描述的生成方法可以相互参照。
参见图11，本发明实施例提供的一种验证计划及报告的生成装置，包括：
获取模块100，用于获取验证计划，所述验证计划为利用HVP标准语法规则生成，所述验证计划通过预先定义的属性描述测试用例，通过预先定义的声明描述验证计划的层次结构；
设置模块200，用于根据所述验证计划中预先定义的属性及声明，设置不同验证计划与测试用例之间的映射关系，并对测试用例在层次结构中进行等级划分生成划分结果；所述层次结构中的等级包括：系统级、子系统级和模块级；
报告生成模块300，用于在运行测试用例对芯片进行测试后，利用预先设定的配置文件及所述映射关系、所述划分结果，对所有测试用例的测试结果进行分析，生成测试用例的可视化报告。
其中，本方案还包括：
显示模块，用于自动提取每个验证计划中的属性及声明，并通过excel表格进行显示。
其中，所述属性包括：测试用例的功能属性、负责人属性、更新历史属性；所述声明包括：模块级层次结构、子系统级层次结构和系统级模块名。
其中，所述设置模块包括：
映射关系确定单元，用于根据测试用例的属性中记载的功能点，确定每个功能点与对应的验证计划之间的映射关系，确定每个验证计划与对应的测试用例之间的映射关系；
划分结果生成单元，用于根据验证计划的声明中记录的层次结构，确定在所述层次结构中与系统级对应的测试用例、与子系统级对应的测试用例、与模块级对应的测试用例，生成测试用例在层次结构中的划分结果。
其中，所述配置文件中包括：报告基础信息和可视化报告设置信息；所述可视化报告设置信息用来设置报告展示的方式，包括：系统级报告展示方式、子系统级报告展示方式、模块级报告展示方式、个人报告展示方式。
其中，报告生成模块包括：
获取单元，用于获取每个测试用例的测试结果；
处理单元，用于利用所述映射关系对所述测试结果进行处理，获得与每个验证计划对应的测试用例的测试结果；利用所述划分结果对所述测试结果进行处理，获得不同层次结构的测试结果；所述测试结果包括系统级测试用例的测试结果、子系统级测试用例的测试结果和模块级测试用例的测试结果；
报告生成单元，用于利用所述配置文件及每个验证计划对应的测试用例的测试结果、不同层次结构的测试结果，生成可视化报告。
参见图11，为本发明实施例还公开一种电子设备，包括：
存储器11，用于存储计算机程序；
处理器12，用于执行所述计算机程序时实现上述方法实施例所述的可视化报告的生成方法的步骤。
在本实施例中，设备可以是PC(Personal Computer，个人电脑)，也可以是智能手机、平板电脑、掌上电脑、便携计算机等终端设备。
该设备可以包括存储器11、处理器12和总线13。
其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是设备的内部存储单元，例如该设备的硬盘。存储器11在另一些实施例中也可以是设备的外部存储设备，例如设备上配备的插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括设备的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于设备的应用软件及各类数据，例如执行上述生成方法的程序代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行上述生成方法的程序代码等。
该总线13可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
进一步地，设备还可以包括网络接口14，网络接口14可选的可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该设备与其他电子设备之间建立通信连接。
可选地，该设备还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在设备中处理的信息以及用于显示可视化的用户界面。
图11仅示出了具有组件11-14的设备，本领域技术人员可以理解的是，图11示出的结构并不构成对设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
本发明实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法实施例所述的可视化报告的生成方法的步骤。
其中，该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种验证计划及报告的生成方法，其特征在于，包括：
获取验证计划，所述验证计划为利用HVP标准语法规则生成，所述验证计划通过预先定义的属性描述测试用例，通过预先定义的声明描述验证计划的层次结构；
根据所述验证计划中预先定义的属性及声明，设置不同验证计划与测试用例之间的映射关系，并对测试用例在层次结构中进行等级划分生成划分结果；所述层次结构中的等级包括：系统级、子系统级和模块级；
运行测试用例对芯片进行测试后，利用预先设定的配置文件及所述映射关系、所述划分结果，对所有测试用例的测试结果进行分析，生成测试用例的可视化报告。
2.根据权利要求1所述的生成方法，其特征在于，所述获取验证计划之后，还包括：
自动提取每个验证计划中的属性及声明，并通过excel表格进行显示。
3.根据权利要求1所述的生成方法，其特征在于，所述属性包括：测试用例的功能属性、负责人属性、更新历史属性；所述声明包括：模块级层次结构、子系统级层次结构和系统级模块名。
4.根据权利要求3所述的生成方法，其特征在于，根据所述验证计划中预先定义的属性及声明，设置不同验证计划与测试用例之间的映射关系，并对测试用例在层次结构中进行等级划分生成划分结果，包括：
根据测试用例的属性中记载的功能点，确定每个功能点与对应的验证计划之间的映射关系，确定每个验证计划与对应的测试用例之间的映射关系；
根据验证计划的声明中记录的层次结构，确定在所述层次结构中与系统级对应的测试用例、与子系统级对应的测试用例、与模块级对应的测试用例，生成测试用例在层次结构中的划分结果。
5.根据权利要求1所述的生成方法，其特征在于，
所述配置文件中包括：报告基础信息和可视化报告设置信息；所述可视化报告设置信息用来设置报告展示的方式，包括：系统级报告展示方式、子系统级报告展示方式、模块级报告展示方式、个人报告展示方式。
6.根据权利要求5所述的生成方法，其特征在于，利用预先设定的配置文件及所述映射关系、所述划分结果，对所有测试用例的测试结果进行分析，生成测试用例的可视化报告，包括：
获取每个测试用例的测试结果；
利用所述映射关系对所述测试结果进行处理，获得与每个验证计划对应的测试用例的测试结果；利用所述划分结果对所述测试结果进行处理，获得不同层次结构的测试结果；所述测试结果包括系统级测试用例的测试结果、子系统级测试用例的测试结果和模块级测试用例的测试结果；
利用所述配置文件及每个验证计划对应的测试用例的测试结果、不同层次结构的测试结果，生成可视化报告。
7.一种验证计划及报告的生成装置，其特征在于，包括：
获取模块，用于获取验证计划，所述验证计划为利用HVP标准语法规则生成，所述验证计划通过预先定义的属性描述测试用例，通过预先定义的声明描述验证计划的层次结构；
设置模块，用于根据所述验证计划中预先定义的属性及声明，设置不同验证计划与测试用例之间的映射关系，并对测试用例在层次结构中进行等级划分生成划分结果；所述层次结构中的等级包括：系统级、子系统级和模块级；
报告生成模块，用于在运行测试用例对芯片进行测试后，利用预先设定的配置文件及所述映射关系、所述划分结果，对所有测试用例的测试结果进行分析，生成测试用例的可视化报告。
8.根据权利要求7所述的生成装置，其特征在于，还包括：
显示模块，用于自动提取每个验证计划中的属性及声明，并通过excel表格进行显示。
9.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述的可视化报告的生成方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的可视化报告的生成方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010614641.1A CN111859830A (zh) | 2020-06-30 | 2020-06-30 | 一种验证计划及报告的生成方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010614641.1A CN111859830A (zh) | 2020-06-30 | 2020-06-30 | 一种验证计划及报告的生成方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111859830A true CN111859830A (zh) | 2020-10-30 |
Family
ID=72988864
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010614641.1A Pending CN111859830A (zh) | 2020-06-30 | 2020-06-30 | 一种验证计划及报告的生成方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111859830A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112527587A (zh) * | 2020-12-03 | 2021-03-19 | 深圳大普微电子科技有限公司 | 一种验证进度确定方法、装置、设备及可读存储介质 |
| CN112527636A (zh) * | 2020-12-01 | 2021-03-19 | 浙江中航通飞研究院有限公司 | 一种航电系统的简化验证方法 |
| CN112559318A (zh) * | 2020-11-02 | 2021-03-26 | 浙江诺诺网络科技有限公司 | 一种测试用例生成方法、装置及电子设备和存储介质 |
| CN112597018A (zh) * | 2020-12-22 | 2021-04-02 | 未来电视有限公司 | 接口测试用例生成方法、装置、设备及存储介质 |
| CN112613255A (zh) * | 2020-12-10 | 2021-04-06 | 海光信息技术股份有限公司 | 多环境协同回归方法、装置、设备、存储介质 |
| CN114580590A (zh) * | 2021-11-15 | 2022-06-03 | 天纺标检测认证股份有限公司 | 一种快速分配存取的报告管理方法 |
| CN117094301A (zh) * | 2023-10-17 | 2023-11-21 | 北京云枢创新软件技术有限公司 | 一种验证计划的创建系统 |
| CN117332760A (zh) * | 2023-09-28 | 2024-01-02 | 北京云枢创新软件技术有限公司 | 一种验证计划辅助编辑方法、电子设备及存储介质 |
| CN117369906A (zh) * | 2023-12-07 | 2024-01-09 | 成都市楠菲微电子有限公司 | Pcie验证平台、方法、装置、存储介质及电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103279419A (zh) * | 2013-06-09 | 2013-09-04 | 浪潮电子信息产业股份有限公司 | 一种基于b/s结构系统的自动化版本验证方法及系统 |
| CN103823747A (zh) * | 2012-11-16 | 2014-05-28 | 上海华虹集成电路有限责任公司 | 自动回归测试的方法 |
| CN104407973A (zh) * | 2014-11-25 | 2015-03-11 | 珠海格力电器股份有限公司 | 一种自动化单元测试的实现方法及装置 |
| CN104834595A (zh) * | 2015-02-15 | 2015-08-12 | 网易（杭州）网络有限公司 | 一种可视化自动测试方法及系统 |
| CN108897724A (zh) * | 2018-07-03 | 2018-11-27 | 天津芯海创科技有限公司 | 功能完成进度确定方法及装置 |
| CN109558290A (zh) * | 2018-11-12 | 2019-04-02 | 平安科技（深圳）有限公司 | 服务器、接口自动化测试方法及存储介质 |
-
2020
- 2020-06-30 CN CN202010614641.1A patent/CN111859830A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103823747A (zh) * | 2012-11-16 | 2014-05-28 | 上海华虹集成电路有限责任公司 | 自动回归测试的方法 |
| CN103279419A (zh) * | 2013-06-09 | 2013-09-04 | 浪潮电子信息产业股份有限公司 | 一种基于b/s结构系统的自动化版本验证方法及系统 |
| CN104407973A (zh) * | 2014-11-25 | 2015-03-11 | 珠海格力电器股份有限公司 | 一种自动化单元测试的实现方法及装置 |
| CN104834595A (zh) * | 2015-02-15 | 2015-08-12 | 网易（杭州）网络有限公司 | 一种可视化自动测试方法及系统 |
| CN108897724A (zh) * | 2018-07-03 | 2018-11-27 | 天津芯海创科技有限公司 | 功能完成进度确定方法及装置 |
| CN109558290A (zh) * | 2018-11-12 | 2019-04-02 | 平安科技（深圳）有限公司 | 服务器、接口自动化测试方法及存储介质 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112559318A (zh) * | 2020-11-02 | 2021-03-26 | 浙江诺诺网络科技有限公司 | 一种测试用例生成方法、装置及电子设备和存储介质 |
| CN112527636A (zh) * | 2020-12-01 | 2021-03-19 | 浙江中航通飞研究院有限公司 | 一种航电系统的简化验证方法 |
| CN112527587A (zh) * | 2020-12-03 | 2021-03-19 | 深圳大普微电子科技有限公司 | 一种验证进度确定方法、装置、设备及可读存储介质 |
| CN112613255B (zh) * | 2020-12-10 | 2023-01-24 | 海光信息技术股份有限公司 | 多环境协同回归方法、装置、设备、存储介质 |
| CN112613255A (zh) * | 2020-12-10 | 2021-04-06 | 海光信息技术股份有限公司 | 多环境协同回归方法、装置、设备、存储介质 |
| CN112597018A (zh) * | 2020-12-22 | 2021-04-02 | 未来电视有限公司 | 接口测试用例生成方法、装置、设备及存储介质 |
| CN114580590A (zh) * | 2021-11-15 | 2022-06-03 | 天纺标检测认证股份有限公司 | 一种快速分配存取的报告管理方法 |
| CN114580590B (zh) * | 2021-11-15 | 2023-07-04 | 天纺标检测认证股份有限公司 | 一种快速分配存取的报告管理方法 |
| CN117332760A (zh) * | 2023-09-28 | 2024-01-02 | 北京云枢创新软件技术有限公司 | 一种验证计划辅助编辑方法、电子设备及存储介质 |
| CN117332760B (zh) * | 2023-09-28 | 2024-05-10 | 北京云枢创新软件技术有限公司 | 一种验证计划辅助编辑方法、电子设备及存储介质 |
| CN117094301A (zh) * | 2023-10-17 | 2023-11-21 | 北京云枢创新软件技术有限公司 | 一种验证计划的创建系统 |
| CN117094301B (zh) * | 2023-10-17 | 2024-01-26 | 北京云枢创新软件技术有限公司 | 一种验证计划的创建系统 |
| CN117369906A (zh) * | 2023-12-07 | 2024-01-09 | 成都市楠菲微电子有限公司 | Pcie验证平台、方法、装置、存储介质及电子设备 |
| CN117369906B (zh) * | 2023-12-07 | 2024-02-09 | 成都市楠菲微电子有限公司 | Pcie验证平台、方法、装置、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111859830A (zh) | 一种验证计划及报告的生成方法、装置、设备及存储介质 | |
| WO2020233330A1 (zh) | 批量测试方法、装置及计算机可读存储介质 | |
| US7669180B2 (en) | Method and apparatus for automated risk assessment in software projects | |
| US8689188B2 (en) | System and method for analyzing alternatives in test plans | |
| EP2778929B1 (en) | Test script generation system | |
| Bokhari et al. | Metrics for requirements engineering and automated requirements tools | |
| CN102231194A (zh) | 一种管理对象的生命周期的方法和系统 | |
| CN111768096A (zh) | 基于算法模型的评级方法、装置、电子设备及存储介质 | |
| Kumar et al. | Conceptualizing “COBieEvaluator” A rule based system for tracking asset changes using COBie datasheets | |
| CN113434542B (zh) | 数据关系识别方法、装置、电子设备及存储介质 | |
| CN114840531A (zh) | 基于血缘关系的数据模型重构方法、装置、设备及介质 | |
| US20230394591A1 (en) | Systems and Methods for Benefit Plan Quality Assurance and Certification | |
| CN110750435A (zh) | 一种测试用例的管理方法和装置 | |
| CN116822926A (zh) | 一种延误统计及分析方法、装置、电子设备及存储介质 | |
| Kumar et al. | Conceptualizing “COBieEvaluator”: an application for data mining COBie datasets to track asset changes throughout project lifecycle | |
| CN114168121B (zh) | 一种基于代码工厂模式开发软件系统、终端和存储介质 | |
| CN114722789B (zh) | 数据报表集成方法、装置、电子设备及存储介质 | |
| CN102591779A (zh) | 基于工作流的通用软件测试过程模型的建立方法 | |
| CN114896164A (zh) | 接口优化方法、装置、电子设备及存储介质 | |
| KR101748378B1 (ko) | 개발공정에서의 응용프로그램의 성능관리 시스템 및 그 방법 | |
| Wang et al. | Quantitative analysis of requirements evolution across multiple versions of an industrial software product | |
| CN113051171A (zh) | 接口测试方法、装置、设备及存储介质 | |
| CN112596828A (zh) | 基于应用的弹窗生成方法、装置、电子设备及存储介质 | |
| CN105204383B (zh) | 应用伺服系统的生成方法和装置 | |
| CN116991364B (zh) | 基于大数据的软件开发系统管理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201030 |