CN108595340A - 一种汽车主动安全系统测试场景的自动生成方法 - Google Patents

Abstract

本发明涉及一种主动安全系统测试场景的自动生成方法，属于汽车主动安全系统测试领域。该方法包括以下步骤：S1：计算得到衡量测试场景有效性的两个评价指标，即场景的复杂度指标以及场景中影响因素的重要度指标；S2：将两个评价指标用来指导改进的组合测试算法的测试场景生成过程；S3：得到测试场景集合，利用评价指标对生成场景的有效性进行评价；S4：将测试场景集合应用于待测主动安全系统的测试与评价。本发明可以使得最终生成的测试场景集合在具备传统组合的测试算法利用小规模的测试场景集合，即可实现较高的故障覆盖率的优点的同时，大幅提高集合中测试场景的整体有效性，从而有效降低测试成本，显著提高测试效率。

Description

一种汽车主动安全系统测试场景的自动生成方法

技术领域

本发明属于汽车主动安全系统测试领域，涉及一种汽车主动安全系统测试场景的自动生成方法。

背景技术

随着主动安全系统在提高现代车辆的乘坐舒适性和驾驶安全性等方面扮演着越来越重要的作用，对于主动安全系统的开发与应用需求也愈加迫切。除了主动安全系统功能和算法的研究之外，测试与评价作为主动安全系统研发中的重要环节，可以及时发现产品问题，保证系统功能的正确性与可靠性，有效提高产品的开发效率。

测试场景可以把产品的测试需求转化为具有可实施性及可操作性的测试流程，便于对产品需求的合理性进行验证；并且能够掌握并拓展测试范围，发现待测系统中潜在的产品缺陷。因而，测试场景的设计方法在测试与评价环节中的重要性不言而喻。当前，国内外的部分汽车厂商与科研院所采用的主动安全系统测试场景设计方法直接沿用了国内外标准化机构制定的测试标准中规定的测试场景，这些测试场景中工况较为简单且数量较少，无法实现对实际交通场景中复杂测试环境的有效模拟；另一部分则采用“穷尽测试”方法来对所有交通环境中的影响因素组合进行遍历，虽然能够保证良好的覆盖度，但测试场景个数会随着场景中包含的影响因素个数增加而呈指数性爆炸增长，从而严重增加测试成本，降低测试效率。而软件测试领域中的组合测试算法能够在测试效率和测试覆盖率之间做出合理平衡，无疑可以为主动安全系统的测试提供有效思路。然而，传统的组合测试算法大多集中于研究如何缩小测试场景集的规模，对于如何在减少生成测试场景个数的同时提高场景整体的有效性则并没有过多研究。

发明内容

有鉴于此，本发明的目的在于提供一种主动安全系统测试场景的自动生成方法，该方法在传统组合测试算法的基础上做出改进，利用测试场景的复杂度指标与场景中影响因素的重要度指标来指导测试场景的生成。使得最终生成的测试场景集合在具备传统组合测试算法利用小规模的测试场景集合即可实现较高的故障覆盖率的优点的同时，大幅提高集合中测试场景的整体有效性。

为达到上述目的，本发明提供如下技术方案：一种主动安全系统测试场景的自动生成方法，包括以下步骤：

S1：计算得到衡量测试场景有效性的两个评价指标，即场景的复杂度指标以及场景中影响因素的重要度指标；

S2：将两个评价指标用来指导改进的组合测试算法的测试场景生成过程；

S3：得到测试场景集合，利用评价指标对生成场景的有效性进行评价；

S4：将测试场景集合应用于待测主动安全系统的测试与评价。

进一步，步骤S1中，所述评价指标通过任意的量化评价方法计算得到，如层次分析法、熵值法等；所述场景中影响因素的重要度指标包括以下两方面：影响因素的重要度指标和影响因素对应取值的重要度指标。

进一步，步骤S2中，所述改进的组合测试算法使用红黑树算法来优化影响因素取值组合的搜索与删除功能。

进一步，步骤S2中，所述改进的组合测试算法每次生成一个新的测试场景；当为场景中的影响因素赋值时，优先从仍未被覆盖的影响因素取值组合中选择重要度指标之和最大的组合；当选择重要度指标之和最大的组合时，若有多个组合同时满足条件，则使用字典序算法来保证主动安全系统测试的确定性与可重复性要求。

进一步，步骤S2中，所述改进的组合测试算法的测试效果受到两个因素影响：测试场景生成个数和复杂度提升系数；

所述复杂度提升系数用于设置影响因素取值组合的重要度指标之和的最低门限值；当选择重要度指标之和小于门限值的影响因素取值组合为新的测试场景中的对应影响因素赋值后，为测试场景中的剩余待赋值影响因素赋予对应取值范围内重要度指标最大的取值；

所述能够达到最佳测试效果的复杂度提升系数通过统计方法计算得到。

进一步，所述改进的组合测试算法中增加约束条件，用于减少无效的、矛盾的或实际条件下不可能存在的影响因素取值组合。

进一步，所述门限值θ的计算公式如下：

其中β为复杂度提升系数，ω_i为影响因素f_i的重要度指标，γ_i,k为影响因素取值v_i,k的重要度指标，i表示影响因素的个数，k表示影响因素对应取值的个数，N为测试场景中包含的影响因素个数；

所述最佳测试效果max(Z^β)的计算公式如下：

则在算法中选择能够得到最佳测试效果max(Z^β)的复杂度提升系数β；其中S₁为复杂度指标的均值对测试效果的影响大小，S₂为测试场景个数对测试效果的影响大小，为复杂度提升系数为β时生成的测试场景的复杂度指标的均值，M^β为复杂度提升系数为β时生成的测试场景的个数，为选取的所有采样点的均值，为选取的所有采样点的标准差；

其中，l为在复杂度提升系数的取值范围内选取的总采样点个数，h表示选取的第h个采样点，为在第h个采样点复杂度提升系数为β时生成的测试场景个数。

本发明的有益效果在于：本发明提供的一种主动安全系统测试场景的自动生成方法，在传统软件测试方法中的组合测试算法的基础上做出改进，利用两个衡量测试场景有效性的指标——即场景的复杂度指标以及场景中影响因素的重要度指标来指导场景的生成过程并对算法的生成结果做出评价。本发明中提出的方法既可以解决当今普遍应用在主动安全系统测试领域中“测试标准”定义的测试场景过于简单且数量较少的问题，又可以解决由“穷尽测试”方法所生成的测试场景数量过多而导致的测试成本过高问题，同时还能够解决直接应用传统组合测试算法所生成的测试场景集合中复杂场景占比较低的问题。该方法可以使得最终生成的测试场景集合在具备传统组合测试算法利用小规模的测试场景集合即可实现较高的故障覆盖率的优点的同时，大幅提高集合中测试场景的整体有效性，从而有效降低测试成本，显著提高测试效率。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本发明所述汽车主动安全系统测试场景的自动生成方法结构示意图；

图2为实施例中影响因素取值组合的生成方法示例图；

图3为实施例中改进组合测试算法复杂度提升系数β与测试效果Z^β的关系示意图；

图4为实施例中改进组合测试算法相对于ISO测试标准中定义的测试场景与穷尽测试算法生成测试场景的个数对比示意图；

图5为实施例中改进组合测试算法相对于传统组合测试算法PICT，AllPairs以及AETG生成测试场景个数与场景复杂度指标分布的对比示意图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

本发明提供的一种主动安全系统测试场景的自动生成方法，在传统组合测试算法的基础上做出改进，利用测试场景的复杂度指标与场景中影响因素的重要度指标来指导测试场景的生成并可对算法的生成结果做出评价，实现对主动安全系统的测试与评价，如图1所示，包括以下步骤：

S1：计算得到衡量测试场景有效性的两个评价指标，即场景的复杂度指标以及场景中影响因素的重要度指标；

所述评价指标可通过任意合理的量化评价方法计算得到，如层次分析法、熵值法等。

所述场景中影响因素的重要度指标包括以下两方面：影响因素的重要度指标和影响因素对应取值的重要度指标。

S2：将两个评价指标用来指导改进的组合测试算法的测试场景生成。

所述改进的组合测试算法使用红黑树算法来优化影响因素取值组合的搜索与删除功能。

所述改进的组合测试算法每次生成一个新的测试场景。当为场景中的影响因素赋值时，优先从仍未被覆盖的影响因素取值组合中选择重要度指标之和最大的组合。

当选择重要度指标之和最大的组合时，若有多个组合同时满足条件，则使用字典序算法来保证主动安全系统测试的确定性与可重复性要求。

所述改进的组合测试算法的测试效果受到两个因素影响：测试场景生成个数和复杂度提升系数。

所述S2中复杂度提升系数可用来设置影响因素取值组合的重要度指标之和的最低门限值。当选择重要度指标之和小于门限值的影响因素取值组合为新的测试场景中的对应影响因素赋值后，为测试场景中的剩余待赋值影响因素赋予对应取值范围内重要度指标最大的取值。

所述能够达到最佳测试效果的复杂度提升系数可以通过统计方法计算得到。

所述改进的组合测试算法中可以增加约束条件，以减少无效的、矛盾的或实际条件下不可能存在的影响因素取值组合。

S3：得到测试场景集合，将两个评价指标用来对生成场景的有效性进行评价。

S4：将测试场景集合应用于待测主动安全系统的测试与评价。

实施例

1)选用合理的量化方法计算得到衡量测试场景有效性的两个评价指标，即场景的复杂度指标以及场景中影响因素的重要度指标。

2)将两个评价指标用来指导改进的组合测试算法的测试场景生成。

3)得到测试场景集合，将两个评价指标用来对生成场景的有效性进行评价。

4)将测试场景集合应用于待测主动安全系统的测试与评价。

选择合理的量化方法计算得到衡量测试场景有效性的场景的复杂度指标和场景中影响因素的重要度指标ω_i,γ_i,k。

影响因素的重要度指标ω_i,γ_i,k包括以下两方面：影响因素f_i的重要度指标ω_i和影响因素取值v_i,k的重要度指标γ_i,k。其中，i表示影响因素的个数，k表示影响因素对应取值的个数。上述两种重要度指标均可通过合理的量化方法，如层次分析法、熵值法等方法计算得到。

场景的复杂度指标由场景中所有影响因素及其对应取值的重要度指标乘积之和计算得到：

其中，N为测试场景中包含的影响因素个数。

将得到的两个评价指标用来指导改进的组合测试算法的测试场景生成。

选择需要覆盖的影响因素取值组合维度，即组合力度n。

图2为实施例中组合力度n＝2时的影响因素取值组合的生成方法示例图，如图2所示，输入影响因素f_i及其重要度指标ω_i，影响因素取值v_i,k及其重要度指标γ_i,k。生成由所有需要被覆盖到的n维影响因素取值组合所构成的集合Uncovered。

输入约束条件，即不必要、不合理和现实中不可能发生的影响因素取值组合。将不满足约束条件的n维影响因素取值组合从集合Uncovered中删去，得到新的Uncovered集合。

本发明将Uncovered中的所有n维影响因素取值组合按照组合重要度由大到小的顺序存储在红黑树中，来优化影响因素取值组合的搜索与删除功能。组合重要度α_p可通过如下公式计算：

其中，p＝1,2,...,|Uncovered|，Uncovered_p为Uncovered集合中的第p个n维影响因素取值组合。

输入门限值θ。

本发明中的门限值θ的计算公式如下：

其中，β为复杂度提升系数，可以通过统计方法计算得到具有最佳测试效果max(Z^β)的复杂度提升系数β，最佳测试效果的计算公式如下：

其中，为复杂度提升系数为β时生成的测试场景的复杂度指标的均值，M^β为复杂度提升系数为β时生成的测试场景的个数。S₁为复杂度指标的均值对测试效果的影响大小，S₂为测试场景个数对测试效果的影响大小。

S₁，S₂的取值可选用合理的量化方法计算得到，如层次分析法等。可由如下公式得到：

其中，表示复杂度提升系数为β时第m个测试场景的复杂度指标。

又由于与M^β两变量属于不同的数量级，因此需要选用合理的线性变换方法把它们放在同一参考系中。如使用Z-标准化方法得到处理后的M^β*：

其中，为选取的所有采样点M^β的均值，σ^β为选取的所有采样点M^β的标准差；

其中，l为在复杂度提升系数的取值范围内选取的采样点个数，h表示选取的第h个采样点，为在第h个采样点复杂度提升系数为β时生成的测试场景个数。

并可使用同样的处理方法得到

由于测试场景个数M^β*的增加会导致测试成本增加，从而对测试效果Z^β产生负面影响。因此，需要转变M^β*的符号。

最终得到最佳测试效果max(Z^β)的计算公式如下：

其中，为选取的所有采样点的均值，为选取的所有采样点的标准差。则在算法中选择能够得到最佳测试效果max(Z^β)的复杂度提升系数β，如图3所示。

假设，我们已经得到了r个测试场景，则第r+1个测试场景的生成方法如下：

1)从集合Uncovered中选择组合重要度α_p最大的n维影响因素取值组合，若有多个组合同时满足条件，则使用字典序算法来保证主动安全系统测试的确定性与可重复性要求。将该组合中的影响因素取值赋予第r+1个测试场景中的对应影响因素，并将该组合从集合Uncovered中删去。转到步骤2)。

2)如果步骤1)中选择的n维影响因素取值组合的组合重要度α_p≤θ，转到步骤3)。否则，若α_p＞θ，转到步骤6)。

3)为第r+1个测试场景中的未赋值影响因素f_i选择能够使得影响因素重要度与取值重要度的乘积最大，即能够得到max(ω_iγ_i,k)的取值v_i,k。如果影响因素f_i的取值v_i,k与已经赋值的影响因素的取值形成的组合不满足约束条件，则跳过该取值v_i,k，重复步骤3)。否则，若满足约束条件，转到步骤4)。

4)为对应影响因素f_i执行赋值操作。若第r+1个测试场景中仍有影响因素未赋值，重复步骤3)。否则，转到步骤5)。

5)第r+1个测试场景生成完毕。将所有被第r+1个测试场景覆盖到的n维影响因素取值组合从集合Uncovered中删去。转到步骤9)。

6)继续从集合Uncovered中选择组合重要度最大的n维影响因素取值组合，若有多个组合同时满足条件，则使用字典序算法来保证主动安全系统测试的确定性与可重复性要求。如果该组合中的影响因素取值与第r+1个测试场景中已经赋值的影响因素取值矛盾，则跳过该组合，重复步骤6)。否则，转到步骤7)。

7)如果该组合中的影响因素取值与第r+1个测试场景中已经赋值的影响因素取值不满足约束条件，则跳过该组合，重复步骤6)。否则，转到步骤8)。

8)将该组合的影响因素对应取值赋予第r+1个测试场景中的对应未赋值影响因素，并将该组合从集合Uncovered中删去。如果在第r+1个测试场景中仍存在影响因素未被赋值，转到步骤6)。否则，第r+1个测试场景生成完毕，转到步骤9)。

9)将第r+1个测试场景添加到测试场景集合T中。

重复步骤1)至步骤9)直至集合测试场景集合T生成完毕。

得到测试场景集合T后，即可用测试场景的复杂度指标评价该场景的有效性，并可用集合T中全部测试场景的复杂度指标总体分布情况来评价基于复杂度的测试场景自动生成算法的有效性。最后，便可将测试场景集合T应用于待测主动安全系统的测试与评价。其中，采用本发明所述方法的有益效果详见图4、图5，图4为实施例中改进组合测试算法相对于ISO测试标准中定义的测试场景与穷尽测试算法生成测试场景的个数对比示意图；图5为实施例中改进组合测试算法相对于传统组合测试算法PICT，AllPairs以及AETG生成测试场景个数与场景复杂度指标分布的对比示意图。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (7)

1.一种汽车主动安全系统测试场景的自动生成方法，其特征在于，该方法包括以下步骤：

S1：计算得到衡量测试场景有效性的两个评价指标，即场景的复杂度指标以及场景中影响因素的重要度指标；

S2：将两个评价指标用来指导改进的组合测试算法的测试场景生成过程；

S3：得到测试场景集合，利用评价指标对生成场景的有效性进行评价；

S4：将测试场景集合应用于待测主动安全系统的测试与评价。

2.根据权利要求1所述一种汽车主动安全系统测试场景的自动生成方法，其特征在于，步骤S1中，所述评价指标通过任意的量化评价方法计算得到；所述场景中影响因素的重要度指标包括以下两方面：影响因素的重要度指标和影响因素对应取值的重要度指标。

3.根据权利要求1所述一种汽车主动安全系统测试场景的自动生成方法，其特征在于，步骤S2中，所述改进的组合测试算法使用红黑树算法来优化影响因素取值组合的搜索与删除功能。

4.根据权利要求1所述一种汽车主动安全系统测试场景的自动生成方法，其特征在于，步骤S2中，所述改进的组合测试算法每次生成一个新的测试场景；当为场景中的影响因素赋值时，优先从仍未被覆盖的影响因素取值组合中选择重要度指标之和最大的组合；当选择重要度指标之和最大的组合时，若有多个组合同时满足条件，则使用字典序算法来保证主动安全系统测试的确定性与可重复性要求。

5.根据权利要求1所述一种汽车主动安全系统测试场景的自动生成方法，其特征在于，步骤S2中，所述改进的组合测试算法的测试效果受到两个因素影响：测试场景生成个数和复杂度提升系数；

所述复杂度提升系数用于设置影响因素取值组合的重要度指标之和的最低门限值；当选择重要度指标之和小于门限值的影响因素取值组合为新的测试场景中的对应影响因素赋值后，为测试场景中的剩余待赋值影响因素赋予对应取值范围内重要度指标最大的取值；

所述能够达到最佳测试效果的复杂度提升系数通过统计方法计算得到。

6.根据权利要求5所述一种汽车主动安全系统测试场景的自动生成方法，其特征在于，

所述门限值θ的计算公式如下：

其中β为复杂度提升系数，ω_i为影响因素f_i的重要度指标，γ_i,k为影响因素取值v_i,k的重要度指标，i表示影响因素的个数，k表示影响因素对应取值的个数，N为测试场景中包含的影响因素个数；

所述最佳测试效果max(Z^β)的计算公式如下：

则在算法中选择能够得到最佳测试效果max(Z^β)的复杂度提升系数β；其中S₁为复杂度指标的均值对测试效果的影响大小，S₂为测试场景个数对测试效果的影响大小，为复杂度提升系数为β时生成的测试场景的复杂度指标的均值，M^β为复杂度提升系数为β时生成的测试场景的个数，为选取的所有采样点的均值，为选取的所有采样点的标准差；

其中，l为在复杂度提升系数的取值范围内选取的总采样点个数，h表示选取的第h个采样点，为在第h个采样点复杂度提升系数为β时生成的测试场景个数。

7.根据权利要求1所述一种汽车主动安全系统测试场景的自动生成方法，其特征在于，步骤S2中，所述改进的组合测试算法中增加约束条件，用于减少无效的、矛盾的或实际条件下不可能存在的影响因素取值组合。