CN112612882A - 检阅报告生成方法、装置、设备和存储介质 - Google Patents

Abstract

本申请提供一种检阅报告生成方法、装置、设备和存储介质，该方法包括：获取验证环境的每个检查项的待检报告信息，并读取所述检查项的上一轮检阅结果，每个所述检查项包括至少一个被测对象；判断所述待检报告信息中，是否具有在所述上一轮检阅结果中被标记为预设标签的目标被测对象；若所述待检报告信息中具有所述目标被测对象，则从所述上一轮检阅结果中提取所述目标被测对象的第一检阅信息；将所述目标被测对象的第一检阅信息合并到所述待检报告信息中，生成所述检查项的当前检阅报告。本申请针对每个检查项提供自动化的脚本，结合当前回归的结果和上一轮检阅后的报告来产生当前的检阅报告，完成自动反标，降低后续检阅工作量，提高检阅效率。

Description

检阅报告生成方法、装置、设备和存储介质

技术领域

本申请涉及集成电路技术领域，具体而言，涉及一种检阅报告生成方法、装置、设备和存储介质。

背景技术

SOC(System on Chip，系统级芯片)，是由多个具有特定功能的集成电路组合在一个芯片上形成的系统或产品，其中包含完整的硬件系统及其承载的嵌入式软件。

随着信息技术的发展，SOC功能越来越多，规模越来越大，随之与其对应的验证环境也越来越复杂，一般而言会存在不同层级的验证环境，比如最底层的IP环境，中间层的子系统环境以及顶层的SOC环境。每一个验证环境，都会通过不停迭代的回归测试对芯片电路设计进行验证，满足通过率和覆盖率的要求，并在项目后期，按照检查表(Checklist)逐项对验证环境进行检查完成结项，称之为Signoff。验证环境越来越复杂，如何在既定的项目周期内持续地对验证环境的质量进行检查并收敛，以完成最终的Signoff也就显得十分重要。

现有技术方案中，一般是由验证人员对验证环境打上标签(Tag)进行回归，并对回归结果进行分析，根据Checklist逐项检查产生报告，对报告进行人工检阅，并汇总统计得到最终的状态，这就存在以下问题：

对于一个验证环境的检查项，大多都不是检查一次就通过，而是需要根据当前的检查结果进行反复修改直至达到项目质量要求，这个迭代的过程意味着检查是多轮次的，重复工作量很大。由于每一个验证环境的检查项目众多，一个项目通常又有众多的验证环境，通过人工统计的方式获得单个以及总体验证环境在项目不同阶段的质量检查状态，过程繁琐重复，又容易出错，会占据项目管理人员非常多的工作量。

发明内容

本申请实施例的目的在于提供一种检阅报告生成方法、装置、设备和存储介质，针对每一个检查项提供自动化的脚本，结合当前回归的结果和上一轮检阅后的报告来产生当前的检阅报告，完成自动反标，降低了后续检阅工作量，提高检阅效率。

本申请实施例第一方面提供了一种检阅报告生成方法，包括：获取验证环境的每个检查项的待检报告信息，并读取所述检查项的上一轮检阅结果，每个所述检查项包括至少一个被测对象；判断所述待检报告信息中，是否具有在所述上一轮检阅结果中被标记为预设标签的目标被测对象；若所述待检报告信息中具有所述目标被测对象，则从所述上一轮检阅结果中提取所述目标被测对象的目标检阅信息；将所述目标被测对象的目标检阅信息合并到所述待检报告信息中，生成所述检查项的当前检阅报告。

于一实施例中，所述预设标签为确认标签；所述目标被测对象为被标记为所述确认标签的第一被测对象；所述方法还包括：若所述待检报告信息中具有所述第一被测对象，则从所述上一轮检阅结果中提取所述第一被测对象的第一检阅信息；将所述第一被测对象的第一检阅信息合并到所述待检报告信息中，生成所述检查项的当前检阅报告。

于一实施例中，所述预设标签为修正标签，所述目标被测对象为被标记为所述修正标签的第二被测对象；所述方法还包括：若所述待检报告信息中具有所述第二被测对象，则从所述上一轮检阅结果中提取所述第二被测对象的第二检阅信息，所述第二检阅信息中去除了上一轮对所述第二被测对象的检阅结论；将所述第二检阅信息合并到所述待检报告信息中，生成所述检查项的当前检阅报告。

于一实施例中，还包括：接收复用配置信息；基于所述复用配置信息，判断所述验证环境是否被配置有源环境和复用检查项；若所述验证环境被配置有所述源环境和所述复用检查项，读取所述复用检查项在所述源环境中的复用检阅报告；将所述复用检阅报告的内容合并到所述复用检查项在所述验证环境中的所述当前检阅报告中，生成所述验证环境的最终检阅报告。

于一实施例中，还包括：所述验证环境为多个；将多个所述验证环境的相同检查项的当前检阅报告合并，生成跨环境检查项报告。

于一实施例中，还包括：所述验证环境为多个；将所述验证环境的检阅结果按照所属的所述检查项进行分组存储，生成每个所述验证环境的索引报告。

于一实施例中，还包括：将多个所述验证环境的索引报告按照所属的所述验证环境进行存储，生成跨环境的环境维度索引报告。

于一实施例中，还包括：所述验证环境为多个；将每个所述检查项的检阅结果按照所属的所述验证环境进行分组存储，生成每个所述检查项的索引报告。

于一实施例中，还包括：将多个所述验证环境的每个所述检查项的索引报告按照所属的所述检查项进行存储，生成跨环境的检查项维度索引报告。

本申请实施例第二方面提供了一种检阅报告生成装置，包括：获取模块，用于获取验证环境的每个检查项的待检报告信息，并读取所述检查项的上一轮检阅结果，每个所述检查项包括至少一个被测对象；第一判断模块，用于判断所述待检报告信息中，是否具有在所述上一轮检阅结果中被标记为预设标签的目标被测对象；第一提取模块，用于若所述待检报告信息中具有所述目标被测对象，则从所述上一轮检阅结果中提取所述目标被测对象的目标检阅信息；第一合并模块，用于将所述目标被测对象的目标检阅信息合并到所述待检报告信息中，生成所述检查项的当前检阅报告。

于一实施例中，所述预设标签为确认标签；所述目标被测对象为被标记为所述确认标签的第一被测对象；所述第一提取模块用于：若所述待检报告信息中具有所述第一被测对象，则从所述上一轮检阅结果中提取所述第一被测对象的第一检阅信息；所述第一合并模块用于，将所述第一被测对象的第一检阅信息合并到所述待检报告信息中，生成所述检查项的当前检阅报告。

于一实施例中，所述预设标签为修正标签，所述目标被测对象为被标记为所述修正标签的第二被测对象；所述装置还包括：第二提取模块，用于若所述待检报告信息中具有所述第二被测对象，则从所述上一轮检阅结果中提取所述第二被测对象的第二检阅信息，所述第二检阅信息中去除了上一轮对所述第二被测对象的检阅结论；第二合并模块，用于将所述第二检阅信息合并到所述待检报告信息中，生成所述检查项的当前检阅报告。

于一实施例中，还包括：接收模块，用于接收复用配置信息；第三判断模块，用于基于所述复用配置信息，判断所述验证环境是否被配置有源环境和复用检查项；读取模块，用于若所述验证环境被配置有所述源环境和所述复用检查项，读取所述复用检查项在所述源环境中的复用检阅报告；第三合并模块，用于将所述复用检阅报告的内容合并到所述复用检查项在所述验证环境中的所述当前检阅报告中，生成所述验证环境的最终检阅报告。

于一实施例中，还包括：第四合并模块，用于所述验证环境为多个；将多个所述验证环境的相同检查项的当前检阅报告合并，生成跨环境检查项报告。

于一实施例中，还包括：存储模块，用于所述验证环境为多个；将所述验证环境的检阅结果按照所属的所述检查项进行分组存储，生成每个所述验证环境的索引报告。

于一实施例中，所述存储模块还用于：将多个所述验证环境的索引报告按照所属的所述验证环境进行存储，生成跨环境的环境维度索引报告。

于一实施例中，所述存储模块还用于：所述验证环境为多个；将每个所述检查项的检阅结果按照所属的所述验证环境进行分组存储，生成每个所述检查项的索引报告。

于一实施例中，所述存储模块还用于：将多个所述验证环境的每个所述检查项的索引报告按照所属的所述检查项进行存储，生成跨环境的检查项维度索引报告。

本申请实施例第三方面提供了一种电子设备，包括：存储器，用以存储计算机程序；处理器，用以执行本申请实施例第一方面及其任一实施例的方法，以对集成电路验证环境的检阅报告进行汇总。

本申请实施例第四方面提供了一种非暂态电子设备可读存储介质，包括：程序，当其藉由电子设备运行时，使得所述电子设备执行本申请实施例第一方面及其任一实施例的方法。

本申请提供的检阅报告生成方法、装置、设备和存储介质，通过在每一个检查项在产生自动报告时，除了分析当前回归结果外，同时会读取已完成检阅的上一轮回归的报告结果，对于相同的检查对象，如果上一轮已经有确认的结果，则可以继承上一轮的检阅结果来完成自动反标，进而生成反标后的当前检阅报告，减少人为干预工作量，提高检阅质量监管效率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请一实施例的电子设备的结构示意图；

图2为本申请一实施例的验证环境质量检查场景示意图；

图3A为本申请一实施例的检阅报告生成方法的流程示意图；

图3B为本申请一实施例的检阅报告生成方法的流程示意图；

图4为本申请一实施例的检阅报告生成方法的流程示意图；

图5为本申请一实施例的IP和子系统验证环境二次反标示意图；

图6为本申请一实施例的检阅报告生成装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

如图1所示，本实施例提供一种电子设备1，包括：至少一个处理器11和存储器12，图1中以一个处理器为例。处理器11和存储器12通过总线10连接。存储器12存储有可被处理器11执行的指令，指令被处理器11执行，以使电子设备1可执行下述的实施例中方法的全部或部分流程，以对集成电路验证环境的检阅报告进行汇总。

于一实施例中，电子设备1可以是手机、平板电脑、笔记本电脑、台式计算机等设备。

请参看图2，其为本申请一实施例的验证环境质量检查场景，其中：

设计电路的验证环境首先进行回归测试，然后由自动报告层基于回归结果和用户配置接口对检查表中的检查项产生检查报告，此处检查报告就是待检报告信息。

接着由跨标签收敛层基于上一轮回归已检阅结果对当前产生的待检报告进行自动反标，如此能保留每一轮检阅的结果标至最终检阅报告，通常可以给每一轮回归打上标签，因此把这一层基于不同轮次回归的质量管理，称之为跨标签收敛层。

如果存在二次反标配置表，跨环境收敛层会启动从源环境收集检查项状态，并将其二次反标到本环境(当前验证环境)的操作。

自动汇总层进而对反标后(可以是跨标签的一次反标，也可以是跨环境的二次反标)的报告进行统计，产生汇总索引报告。用户可以根据汇总索引报告的指示，明确哪些检查项需要人工检阅，并将检阅结果标注在自动报告层。对确实有问题的部分，在验证环境中进行修正以备下一轮的回归。除了验证环境的新回归可以触发整个流程，用户在标注完自动报告之后也可以手动触发这个流程，来查看经过检阅之后的质量检查进度。

请参看图3A，其为本申请一实施例的检阅报告生成方法，该方法可由图1所示的电子设备1来执行，并可以应用于如图2所示的集成电路的验证环境质量检查场景中，以对集成电路验证环境的检阅报告进行自动汇总。该方法包括如下步骤：

步骤301：获取验证环境的每个检查项的待检报告信息，并读取检查项的上一轮检阅结果，每个检查项包括至少一个被测对象。

在本步骤中，基于如图2所示的场景，可以首先由脚本自动地分析验证环境回归结果，针对每一个检查项自动产生检查报告，该检查报告就是待检报告信息。每个检查项包括至少一个被测对象，自动报告层里每一个自动报告的具体做法，跟检查表里的每一个检查项具体是什么密切相关。自动报告层是人机交互层，用户根据自动报告层的输出，进行检阅活动，并将检阅结果标注到自动报告层的输出表里。即可通过该输出表获得每个检查项的待检报告信息，与此同时，可以从历史数据库中读取检查项的上一轮检阅结果。

步骤302：预设标签为确认标签，判断待检报告信息中，是否具有在上一轮检阅结果中被标记为确认标签的第一被测对象。若是，进入步骤303，否则，进入步骤305。

在本步骤中，在每一轮检阅中，通常被提取的待检查对象检阅之后会有两种预设标签结果：1.该对象状态是预期的，可以忽略，可以被标记为确认标签。2.该对象状态是错误的，需要修正，可以被标记为修正标签，即预设标签至少可以包括：确认标签和/或修正标签。上述标签结果会记录在每一轮的检阅结果中。若预设标签为确认标签，则目标被测对象为被标记为确认标签的第一被测对象。如果待检报告信息中报告了第一被测对象，说明第一被测对象在上一轮检阅结果中被标记为确认标签，则进入步骤303，否则可以进入步骤305。

步骤303：从上一轮检阅结果中提取第一被测对象的第一检阅信息。

在本步骤中，若待检报告信息中具有第一被测对象，说明在上一轮检阅结果中，第一被测对象被标记为确认标签，说明第一被测对象虽然在回归时被检查报告出来，但是该对象状态是预期的，可以忽略。为了避免重复对该第一被测对象进行检阅，可以将其检阅结果进行复用，因此首先从上一轮检阅结果中提取第一被测对象的第一检阅信息。此时，第一检阅信息就是目标检阅信息。步骤304：将第一被测对象的第一检阅信息合并到待检报告信息中，生成检查项的当前检阅报告。

在本步骤中，通过将第一被测对象的第一检阅信息合并到待检报告信息中，从而实现对于被标记为确认标签的第一被测对象的反标操作，自动反标操作会让新的检阅报告直接继承上一轮报告的检阅结果。第一检阅信息包含了上一轮中对第一被测对象的检阅结论，同时也会继承其他跟检阅过程有关的信息，例如检阅者，检阅结论的理由等等，以此生成检查项的当前检阅报告。

步骤305：输出待检报告信息。

在本步骤中，若待检报告信息中没有第一被测对象，说明不存在已检阅的被测对象可以复用，比如在首轮检阅之前，在该验证环境内所有的待测对象都不存在可复用的检阅结果，则输出所有待测对象的待检报告信息，以供检阅人员对其进行检阅。

请参看图3B，其为本申请一实施例的检阅报告生成方法，该方法可由图1所示的电子设备1来执行，并可以应用于如图2所示的集成电路的验证环境质量检查场景中，以对集成电路验证环境的检阅报告进行自动汇总。该方法包括如下步骤：

步骤S1：获取验证环境的每个检查项的待检报告信息，并读取检查项的上一轮检阅结果，每个检查项包括至少一个被测对象。详细参见上述实施例中对步骤301的描述。

步骤S2：预设标签为修正标签，判断待检报告信息中，是否具有在上一轮检阅结果中被标记为修正标签的第二被测对象。若是，进入步骤S3，否则，进入步骤S5。

在本步骤中，如上述，预设标签可以包括修正标签，在每一轮检阅中，修正标签的结果可以是：该对象状态是错误的，需要修正。上述标签结果会记录在每一轮的检阅结果中。若预设标签为修正标签，则目标被测对象为被标记为修正标签的第二被测对象。第二被测对象在上一轮检阅结果中被标记为修正标签，如果修正的结论已经得到正确执行，本轮的待检报告信息中将不会出现该第二被测对象。如果修正结论还没有得到执行，或者执行完了并没有清除该第二被测对象存在的问题，则本轮的待检报告信息中还是会出现该第二被测对象的报告信息。因此，如果待检报告信息中报告了第二被测对象，则进入步骤33，否则可以进入步骤35。

步骤S3：从上一轮检阅结果中提取第二被测对象的第二检阅信息。第二检阅信息中去除了上一轮对第二被测对象的检阅结论。

在本步骤中，若待检报告信息中具有第二被测对象，则说明，虽然上一轮检阅结果中第二被测对象被标记为修正标签，但是经过修正、再次回归后，第二被测对象依然被报告出来存在问题，说明上一轮的检阅结论可能是不正确的，此时，从上一轮检阅结果中提取第二被测对象的第二检阅信息，第二检阅信息中去除了上一轮对第二被测对象的不正确的检阅结论。此时第二检阅信息就是目标检阅信息。

步骤S4：将第二检阅信息合并到待检报告信息中，生成检查项的当前检阅报告。

在本步骤中，通过将第二检阅信息合并到待检报告信息中，从而实现对于被标记为修正标签的第二被测对象的反标操作，可以让当前检阅报告继承上一轮检阅结果中针对第二被测对象的除检阅结论之外其他检阅相关信息(比如检阅者、检阅理由等)，由此提示针对第二被测对象的上一轮的检阅结论可能是不正确的，同时迅速定位需要对该第二被测对象进行再次检阅，并提供上一次的检阅理由作为其重新工作的参考。

步骤S5：输出待检报告信息。详细参见上述实施例中对步骤305的描述。上述检阅报告生成方法，在每一个检查项产生自动报告时，除了分析当前回归结果外，同时会读取已完成检阅的上一轮回归的报告结果，对于相同的检查对象，如果上一轮已经有确认的结果，则可以继承上一轮的检阅结果来完成自动反标，进而生成反标后的当前检阅报告，减少人为干预工作量，提高检阅质量监管效率。

请参看图4，其为本申请一实施例的检阅报告生成方法，该方法可由图1所示的电子设备1来执行，并可以应用于如图2所示的集成电路的验证环境质量检查场景中，以对集成电路验证环境的检阅报告进行自动汇总。该方法包括如下步骤：

步骤401：获取验证环境的每个检查项的待检报告信息，并读取检查项的上一轮检阅结果，每个检查项包括至少一个被测对象。详细参见上述实施例中对步骤301的描述。

步骤402：判断待检报告信息中，是否具有在上一轮检阅结果中被标记为确认标签的第一被测对象。若是进入步骤403，否则进入步骤405，详细参见上述实施例中对步骤302的描述。

步骤403：若待检报告信息中具有第一被测对象，则从上一轮检阅结果中提取第一被测对象的第一检阅信息。详细参见上述实施例中对步骤303的描述。

步骤404：将第一被测对象的第一检阅信息合并到待检报告信息中，生成检查项的当前检阅报告。然后进入步骤405。详细参见上述实施例中对步骤304的描述。

需要说明的是，在步骤404之后，可以进入步骤405，也可以直接进入步骤408，图4中以在步骤404之后进入步骤405为例进行说明，不作为对本实施例方案的唯一限制流程。

步骤405：判断待检报告信息中是否具有在上一轮检阅结果中被标记为修正标签的第二被测对象。若是，进入步骤406，否则，可以进入步骤408。

在本步骤中，第二被测对象可以是检阅结果为上述步骤302中的标签结果2：该对象状态是错误的，需要修正，可以被标记为修正标签。第二被测对象在上一轮检阅结果中被标记为修正标签，如果修正的结论已经得到正确执行，本轮的待检报告信息中将不会出现该第二被测对象。如果修正结论还没有得到执行，或者执行完了并没有清除该第二被测对象存在的问题，则本轮的待检报告信息中还是会出现该第二被测对象的报告信息。因此，为了进一步利用已检阅的资源，无论待检报告信息中是否有第一被测对象，都可以进一步判断待检报告信息中是否存在第二被测对象的报告信息，若是，进入步骤406，否则，可以进入步骤408。

步骤406：从上一轮检阅结果中提取第二被测对象的第二检阅信息，第二检阅信息中去除了上一轮对第二被测对象的检阅结论。

在本步骤中，若待检报告信息中具有第二被测对象，则说明，虽然上一轮检阅结果中第二被测对象被标记为修正标签，但是经过修正、再次回归后，第二被测对象依然被报告出来存在问题，说明上一轮的检阅结论可能是不正确的，此时，从上一轮检阅结果中提取第二被测对象的第二检阅信息，第二检阅信息中去除了上一轮对第二被测对象的不正确的检阅结论。

步骤407：将第二检阅信息合并到待检报告信息中，生成检查项的当前检阅报告。

在本步骤中，通过将第二检阅信息合并到待检报告信息中，可以让当前检阅报告继承上一轮检阅结果中，针对第二被测对象的除检阅结论之外其他检阅相关信息(比如检阅者、检阅理由等)，由此提示针对第二被测对象的上一轮的检阅结论可能是不正确的，同时迅速定位需要对该第二被测对象进行再次检阅，并提供上一次的检阅理由作为其重新工作的参考。

通常一个检查项都有一个包含了很多检查对象的清单，上述有针对性的自动反标，能够最大程度地保留检阅过程的信息给新一轮工作，让检阅者无需对已经明确的问题花费时间，而将精力花在结论出错，以及还没有检阅的对象上，大大提高了检阅的效率。

于一实施例中，对于可以复用其他验证环境检阅结果的检查项，可以基于跨环境收敛方法对检阅报告进行处理。与跨标签收敛不同的是，跨环境收敛并不能应用于检查表的每一个检查项，而是取决于检查对象本身。跨环境的收敛，适用于包含了相同电路设计的验证环境之间。比如从一个IP(Intellectual Property，称为知识产权，在芯片设计领域一般指较为独立的一个可以复用的电路设计)环境到子系统环境再到SOC环境，对电路设计本身的检查很大可能是一样的。而一个项目典型的验证分层，即是按从IP到子环境再到SOC来安排的。因此跨环境收敛方法对一个典型的验证项目管理也是非常有效的。可以通过用户配置来指明哪些检查项在哪些环境间可以实现从源环境到目标环境的复用，再由脚本根据用户的配置，自动地将相同的检查对象检阅结果从源环境反标到目标环境。如果步骤401至步骤407是一次反标，可以把跨环境收敛的过程称之为二次反标，把这一层的管理，称之为跨环境收敛层。

具体跨环境收敛可以包括如下步骤：

步骤408：接收复用配置信息。

在本步骤中，可以通过对用户开放配置接口的方式，接收用户对复用项目的配置信息。针对不同的验证环境，则向用户开放配置接口，指明哪些检查项在哪些环境间可以实现从源环境到目标环境的复用，对于目标环境而言，当源环境检查报告完成检阅并更新后，即可将其反标到前述自动反标后的报告中，称之为二次反标。

在实际应用中，收敛层的二次反标还可以基于验证平台的层级和相互关系进一步分为横向和纵向两种。假设一个项目的验证平台如图5所示，其可以分解为若干个IP环境(比如验证环境A0、验证环境A1、验证环境B、验证环境C、验证环境D)以及由他们组成的子系统验证环境X。几种在实际中常见的情况如下：

1.验证环境A0和验证环境A1共享同一个设计电路，却使用不同的验证平台。通常这种情况发生在芯片设计较为复杂、需要多种验证平台从不同角度去验证来保证芯片设计质量的情况下。

2.验证环境X包含了验证环境A0/验证环境A1、验证环境B、验证环境C、验证环境D的设计电路。这是典型的不同级别验证平台，司职不同的验证目标。

上述两种情况中，都属于可以跨环境复用检阅结果的情况，用户可以根据实际需要配置。

步骤409：基于复用配置信息，判断验证环境是否被配置有源环境和复用检查项。若是，进入步骤410，否则进入步骤412。

在本步骤中，复用配置信息中可以包含用户针对当前验证环境配置的可以复用的源环境，以及对应的复用检查项。如果复用配置信息不为空，则进入步骤410，否则，复用配置信息为空，说明当前验证环境没有被配置复用的检阅信息，可以直接进入步骤412。

步骤410：读取复用检查项在源环境中的复用检阅报告。

在本步骤中，若验证环境被配置有源环境和复用检查项，比如：假设图5中所有的电路设计相关检查项都可以进行二次反标，则对应于此的复用配置信息可以如表1所示：

表1不同验证环境检查项二次反标的复用配置信息

表1中为多个验证环境的复用配置信息表，假设当前验证环境为目标环境A1，则其对应的源环境为A0，复用检查项为设计相关检查0，则可以读取设计相关检查0在源环境A0的复用检阅报告。

步骤411：将复用检阅报告的内容合并到复用检查项在验证环境中的当前检阅报告中，生成验证环境的最终检阅报告。

在本步骤中，比如验证环境A0和验证环境A1共享同一个设计，因此设计相关项的检查对两者应该是类似的，当对验证环境A1进行检查时，在自动报告层和跨标签收敛层运行完毕后，根据用户配置，还会读取验证环境A0指定项的检查报告，将其状态合并到当前检阅报告中，生成验证环境A1的最终检阅报告，这个称之为横向二次反标，如图5中箭头1所示。

于一实施例中，验证环境X包含了验证环境A0/验证环境A1、验证环境B、验证环境C、验证环境D的设计电路，因此设计相关项的检查对两者应该是类似的，当对验证环境X进行检查时，在自动报告层和跨标签收敛层运行完毕后，根据用户配置，还会读取前述IP级验证环境指定项的检查报告，将其状态合并到当前报告中，这个称之为纵向二次反标，如图5中箭头2所示。

上述设计相关的检查项在跨环境收敛的操作只是一种举例。任何在验证环境之间共享的相同项都适用于跨环境收敛。比如有两个环境使用了相同的验证组件，那么针对这个验证组件的检查项就可以做跨环境收敛。再比如环境之间一定是使用了相同的库文件，那么针对库的检查项就可以做跨环境收敛。用户只要根据检查表的具体内容，筛选出可复用的项，按照表1的要求输入配置信息。对于目标环境而言，首先完成本环境的跨标签收敛，接着根据二次反标配置表，提取源环境的检阅报告完成跨环境收敛，达到不同验证环境间检查项的复用。一个典型的项目，验证平台之间的相关性很大，通过这种自动处理，能够最大程度的复用一个平台的检阅结果，让检阅者无需对在其他平台已经明确的问题花费时间，而将精力花在目标平台本身的检查项上，大大提高了检阅的目的性和效率。

于一实施例中，验证环境为多个。将多个验证环境的相同检查项的当前检阅报告合并，生成跨环境检查项报告。在实际使用中，在步骤407之后，对于多个验证环境，也可以不选择二次反标，而是将不同验证环境的相同检查项的检阅报告合并为一个新的跨环境检查项报告，这种方法的好处在于只需要检阅一个报告，就可以覆盖所有的环境。

于一实施例中，实际场景中，一个验证环境的跨标签收敛层是在其内部闭环的，而它的跨环境收敛层则基于二次反标配置表里(比如表1)所列的源环境，涉及了验证环境与验证环境之间的信息交互。由于每一个验证环境的检查项目众多，一个项目通常又有众多的验证环境，验证环境与验证环境之间，又存在了依赖关系。如果通过人工统计的方式获得单个以及总体验证环境在项目不同阶段的质量检查状态，过程繁琐重复，又容易出错，会占据项目管理人员非常多的工作量。因此，本实施例提出了质量管理的第三层——自动汇总层(如图2中所示)，其具体方法可以包括如下步骤：

步骤412：验证环境为多个。将验证环境的检阅结果按照所属的检查项进行分组存储，生成每个验证环境的索引报告。

在本步骤中，为了便于查阅检阅结果，可以对检阅结果进行有条理的分组存储和展示。可以通过如图2所示的自动汇总层来实现分组存储。在此之前可以先获取需要被处理的检阅结果，该检阅结果中可以包括复用的检阅结果和/或人工检阅的结果。

如图2所示，自动汇总层可以分为两部分，分别为作用于单个验证环境的自动汇总层-1和作用于多个验证环境的自动汇总层-2。

自动汇总层-1首先作用于单个验证环境，在当前验证环境的跨标签收敛层和跨环境收敛层完成自动反标，并产生报告之后，自动汇总层1进一步分析每个检查项报告，提取检阅状态。自动报告层的变动，例如每一次用户将检阅结果标注在自动报告层，或者用户决定基于最新回归启动新一轮质量检查的时候(也就是有新的自动报告产生)，都可以通过跨标签收敛层->跨环境收敛层->自动汇总层的递进执行，来刷新验证环境的汇总索引报告，查看当前质量检查进度。比如可以将验证环境的检阅结果按照所属的检查项进行分组存储，自动生成单个验证环境的索引报告，如表2.1所示：

表2.1单个验证环境的索引报告

其中，Checklist Item表示单个验证环境的各个检查项。Progress表示检查报告检阅的进度。Original Report则包含了指向原始报告的链接，原始报告可以是对应检查项的检阅结果报告，链接可以根据跨环境收敛->跨标签收敛的路径提供不同层面的报告。最后的summary项则为通过公式自动计算出的该验证环境下所有检查项进度的平均值，代表了该验证环境检阅的总体进度。

于一实施例中，举例验证环境env0的索引报告如下：

表2.2验证环境env0的索引报告

于一实施例中，举例验证环境env1的索引报告如下：

表2.3验证环境env1的索引报告

于一实施例中，举例验证环境env2的索引报告如下：

表2.4验证环境env2的索引报告

于一实施例中，验证环境为多个。将每个检查项的检阅结果按照所属的验证环境进行分组存储，生成每个检查项的索引报告。

在实际中，可以从不同的维度对特定检查项item_i的各个验证环境的进度Progress进行分组存储，比如还可以将每个检查项的检阅结果按照所属的验证环境进行分组存储，分别生成每个检查项的索引报告。举例如下：检查项item-0的索引报告如表3.1所示：

表3.1检查项item-0的索引报告

检查项item-1的索引报告如表3.2所示：

表3.2检查项item-1的索引报告

检查项item-2的索引报告如表3.3所示：

表3.3检查项item-2的索引报告

检查项item-3的索引报告如表3.4所示：

表3.4检查项item-3的索引报告

检查项item-4的索引报告如表3.5所示：

表3.5检查项item-4的索引报告

步骤413：将多个验证环境的索引报告按照所属的验证环境进行存储，生成跨环境的环境维度索引报告。

在本步骤中，当所有验证环境的自动汇总层-1运行完毕，产生索引报告后，可以继续对索引报告分析，提取表2.1至表2.4中的相关信息，自动产生基于所有验证环境的不同维度的跨环境检查报告。

将多个验证环境的索引报告按照所属的验证环境进行分组存储，生成跨环境的环境维度索引报告，举例如下：

表4.1跨环境的环境维度索引报告

其中，Env代表每一个验证环境。Progress代表该验证环境检查报告的检阅进度，即对应表2.1至表2.4中的summary项。Original Report为指向该验证环境索引报告的链接。比如link_0就是指向如表2.2所示的验证环境env0的索引报告，其中包含验证环境env0的所有checklist item项。基于表2.1至表2.4的实际场景，验证环境env0、验证环境env1和验证环境env2形成的跨环境的环境维度索引报告如表4.2所示：

表4.2跨环境的环境维度索引报告

于一实施例中，将多个验证环境的每个检查项的索引报告按照所属的检查项进行存储，生成跨环境的检查项维度索引报告。

跨环境的索引报告也可以从检查项维度进行分组，每个检查项的索引报告生成的跨环境的检查项维度索引报告举例如表5.1所示：

表5.1跨环境的检查项维度索引报告

其中Item代表不同的检查项。Progress代表该检查项的总体检阅进度，即所有验证环境对应的表3.1至表3.5中该检查项Progress的平均值。Original Report为指向该检查项的索引报告的链接。基于表3.1至表3.5中所有检查项生成的跨环境的检查项维度索引报告，如表5.2所示：

表5.2跨环境的检查项维度索引报告

综上，基于跨环境索引报告，可以掌握整个项目所有验证环境质量管理的进度，通过分层定义的报告及其内部的链接则可以很容易定位到任意的具体报告。

上述检阅报告生成方法，对于一个验证环境，通过自动报告层、跨标签收敛层将上一轮已检阅的报告自动反标到当前报告的流程，通过跨环境收敛层基于用户配置将其他环境已检阅的报告自动反标到本环境，实现环境之间质量检查工作的复用，通过自动汇总层将不同检查项检查报告的结果汇总统计，形成每个验证环境以及整个项目的质量管理，自动地完成对特定检查项的检查、报告、收敛、汇总以及追踪，将原先需要大量人力介入的重复性的工作自动化，提升了质量管理的效率。

请参看图6，其为本申请一实施例的检阅报告生成装置600，该装置可应用于图1所示的电子设备1，并可以应用于如图2所示的集成电路的验证环境质量检查场景中，以对集成电路验证环境的检阅报告进行自动汇总。该装置包括：获取模块601、第一判断模块602、第一提取模块603和第一合并模块604，各个模块的原理关系如下：

获取模块601，用于获取验证环境的每个检查项的待检报告信息，并读取检查项的上一轮检阅结果，每个检查项包括至少一个被测对象。详细参见上述实施例中对步骤301的描述。

第一判断模块602，用于判断待检报告信息中，是否具有在上一轮检阅结果中被标记为预设标签的目标被测对象。详细参见上述实施例中对步骤302的描述。

第一提取模块603，用于若待检报告信息中具有目标被测对象，则从上一轮检阅结果中提取目标被测对象的第一检阅信息。详细参见上述实施例中对步骤303的描述。

第一合并模块604，用于将目标被测对象的第一检阅信息合并到待检报告信息中，生成检查项的当前检阅报告。详细参见上述实施例中对步骤304的描述。

于一实施例中，预设标签为确认标签。目标被测对象为被标记为确认标签的第一被测对象。第一提取模块603用于：若待检报告信息中具有第一被测对象，则从上一轮检阅结果中提取第一被测对象的第一检阅信息。第一合并模块604用于，将第一被测对象的第一检阅信息合并到待检报告信息中，生成检查项的当前检阅报告。详细参见上述实施例中对步骤303至步骤304的描述。

于一实施例中，预设标签为修正标签，目标被测对象为被标记为修正标签的第二被测对象。该装置还包括：第二提取模块605，用于若待检报告信息中具有第二被测对象，则从上一轮检阅结果中提取第二被测对象的第二检阅信息，第二检阅信息中去除了上一轮对第二被测对象的检阅结论。第二合并模块606，用于将第二检阅信息合并到待检报告信息中，生成检查项的当前检阅报告。详细参见上述实施例中对步骤405至步骤407的描述。

于一实施例中，还包括：接收模块607，用于接收复用配置信息。第三判断模块608，用于基于复用配置信息，判断验证环境是否被配置有源环境和复用检查项。读取模块609，用于若验证环境被配置有源环境和复用检查项，读取复用检查项在源环境中的复用检阅报告。第三合并模块610，用于将复用检阅报告的内容合并到复用检查项在验证环境中的当前检阅报告中，生成验证环境的最终检阅报告。详细参见上述实施例中对步骤408至步骤411的描述。

于一实施例中，还包括：第四合并模块611，用于验证环境为多个。将多个验证环境的相同检查项的当前检阅报告合并，生成跨环境检查项报告。详细参见上述实施例中对相关方法的描述。

于一实施例中，还包括：存储模块612，用于将验证环境的检阅结果按照所属的检查项进行分组存储，生成验证环境的索引报告。详细参见上述实施例中对步骤412的描述。

于一实施例中，存储模块612还用于：验证环境为多个。将多个验证环境的索引报告按照所属的验证环境进行分组存储，生成跨环境的环境维度索引报告。详细参见上述实施例中对步骤413的描述。

于一实施例中，存储模块612还用于：验证环境为多个。将每个检查项的检阅结果按照所属的验证环境进行分组存储，生成每个检查项的索引报告。详细参见上述实施例中对相关方法的描述。

于一实施例中，存储模块612还用于：将多个验证环境的每个检查项的索引报告按照所属的检查项进行分组存储，生成跨环境的检查项维度索引报告。详细参见上述实施例中对相关方法的描述。

上述检阅报告生成装置600的详细描述，请参见上述实施例中相关方法步骤的描述。

本申请实施例还提供了一种非暂态电子设备可读存储介质，包括：程序，当其在电子设备上运行时，使得电子设备可执行上述实施例中方法的全部或部分流程。其中，存储介质可为磁盘、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(RandomAccess Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等。存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (15)

1.一种检阅报告生成方法，其特征在于，包括：

获取验证环境的每个检查项的待检报告信息，并读取所述检查项的上一轮检阅结果，每个所述检查项包括至少一个被测对象；

判断所述待检报告信息中，是否具有在所述上一轮检阅结果中被标记为预设标签的目标被测对象；

若所述待检报告信息中具有所述目标被测对象，则从所述上一轮检阅结果中提取所述目标被测对象的目标检阅信息；

将所述目标被测对象的目标检阅信息合并到所述待检报告信息中，生成所述检查项的当前检阅报告。

2.根据权利要求1所述的方法，其特征在于，所述预设标签为确认标签；所述目标被测对象为被标记为所述确认标签的第一被测对象；所述方法还包括：

若所述待检报告信息中具有所述第一被测对象，则从所述上一轮检阅结果中提取所述第一被测对象的第一检阅信息；

将所述第一被测对象的第一检阅信息合并到所述待检报告信息中，生成所述检查项的当前检阅报告。

3.根据权利要求1所述的方法，其特征在于，所述预设标签为修正标签，所述目标被测对象为被标记为所述修正标签的第二被测对象；所述方法还包括：

若所述待检报告信息中具有所述第二被测对象，则从所述上一轮检阅结果中提取所述第二被测对象的第二检阅信息，所述第二检阅信息中去除了上一轮对所述第二被测对象的检阅结论；

将所述第二检阅信息合并到所述待检报告信息中，生成所述检查项的当前检阅报告。

4.根据权利要求1所述的方法，其特征在于，还包括：

接收复用配置信息；

基于所述复用配置信息，判断所述验证环境是否被配置有源环境和复用检查项；

若所述验证环境被配置有所述源环境和所述复用检查项，读取所述复用检查项在所述源环境中的复用检阅报告；

将所述复用检阅报告的内容合并到所述复用检查项在所述验证环境中的所述当前检阅报告中，生成所述验证环境的最终检阅报告。

5.根据权利要求1所述的方法，其特征在于，还包括：

所述验证环境为多个；将多个所述验证环境的相同检查项的当前检阅报告合并，生成跨环境检查项报告。

6.根据权利要求1所述的方法，其特征在于，还包括：

所述验证环境为多个；将所述验证环境的检阅结果按照所属的所述检查项进行分组存储，生成每个所述验证环境的索引报告。

7.根据权利要求6所述的方法，其特征在于，还包括：

将多个所述验证环境的索引报告按照所属的所述验证环境进行存储，生成跨环境的环境维度索引报告。

8.根据权利要求1所述的方法，其特征在于，还包括：

所述验证环境为多个；将每个所述检查项的检阅结果按照所属的所述验证环境进行分组存储，生成每个所述检查项的索引报告。

9.根据权利要求8所述的方法，其特征在于，还包括：

将多个所述验证环境的每个所述检查项的索引报告按照所属的所述检查项进行存储，生成跨环境的检查项维度索引报告。

10.一种检阅报告生成装置，其特征在于，包括：

获取模块，用于获取验证环境的每个检查项的待检报告信息，并读取所述检查项的上一轮检阅结果，每个所述检查项包括至少一个被测对象；

第一判断模块，用于判断所述待检报告信息中，是否具有在所述上一轮检阅结果中被标记为预设标签的目标被测对象；

第一提取模块，用于若所述待检报告信息中具有所述目标被测对象，则从所述上一轮检阅结果中提取所述目标被测对象的目标检阅信息；

第一合并模块，用于将所述目标被测对象的目标检阅信息合并到所述待检报告信息中，生成所述检查项的当前检阅报告。

11.根据权利要求10所述的装置，其特征在于，所述预设标签为确认标签；所述目标被测对象为被标记为所述确认标签的第一被测对象；所述第一提取模块用于：

若所述待检报告信息中具有所述第一被测对象，则从所述上一轮检阅结果中提取所述第一被测对象的第一检阅信息；

所述第一合并模块用于，将所述第一被测对象的第一检阅信息合并到所述待检报告信息中，生成所述检查项的当前检阅报告。

12.根据权利要求10所述的装置，其特征在于，所述预设标签为修正标签，所述目标被测对象为被标记为所述修正标签的第二被测对象；所述装置还包括：

第二提取模块，用于若所述待检报告信息中具有所述第二被测对象，则从所述上一轮检阅结果中提取所述第二被测对象的第二检阅信息，所述第二检阅信息中去除了上一轮对所述第二被测对象的检阅结论；

第二合并模块，用于将所述第二检阅信息合并到所述待检报告信息中，生成所述检查项的当前检阅报告。

13.根据权利要求10所述的装置，其特征在于，还包括：

接收模块，用于接收复用配置信息；

第三判断模块，用于基于所述复用配置信息，判断所述验证环境是否被配置有源环境和复用检查项；

读取模块，用于若所述验证环境被配置有所述源环境和所述复用检查项，读取所述复用检查项在所述源环境中的复用检阅报告；

第三合并模块，用于将所述复用检阅报告的内容合并到所述复用检查项在所述验证环境中的所述当前检阅报告中，生成所述验证环境的最终检阅报告。

14.一种电子设备，其特征在于，包括：

存储器，用以存储计算机程序；

处理器，用以执行如权利要求1至9中任一项所述的方法，以对集成电路验证环境的检阅报告进行汇总。

15.一种非暂态电子设备可读存储介质，其特征在于，包括：程序，当其藉由电子设备运行时，使得所述电子设备执行权利要求1至9中任一项所述的方法。

Images