CN111580500A - 一种针对自动驾驶汽车安全性的评价方法 - Google Patents

Abstract

本发明提供了一种针对自动驾驶汽车安全性的评价方法，将安全性测试所得到的试验结果按照逻辑场景参数空间的边界进行对称化处理，将对称处理之后的试验数据进行标准化处理；初步计算试验数据的聚类中心，当聚类中心只有一个时使用单高斯模型聚类方法对试验数据进行聚类，当聚类中心存在多个时使用高斯混合模型进行聚类、统计得到的高斯模型参数，删除因对称处理产生的多余高斯分布；使用危险域离散度、危险域范围、场景危险率对该逻辑场景下的自动驾驶安全性进行评价；本方法不但可以描述发现自动驾驶汽车设计缺陷的困难程度，还可以描述自动驾驶汽车设计缺陷的影响范围，并能通过量化的方式描述自动驾驶汽车在逻辑场景中的安全性。

Description

一种针对自动驾驶汽车安全性的评价方法

技术领域

本发明属于自动驾驶汽车测试技术领域，涉及一种针对自动驾驶汽车安全性的评价方法，尤其涉及一种多维度测试场景下自动驾驶安全性的评价方法。

背景技术

随着深度学习、云计算、大数据等技术的不断提高，实现自动驾驶汽车的量产已具备了技术可能性。由于自动驾驶在减少污染、提升安全、降低拥堵等方面的优势，自动驾驶已成为汽车产业的未来趋势。然而，如何保证自动驾驶汽车的安全性成为制约自动驾驶进一步发展的障碍。由于自动驾驶功能的不断提高，其可应用的场景逐渐变得复杂，影响自动驾驶安全性的因素也变得越来越多。

现有的自动驾驶测试多着重于测试方法，以发明专利《一种自动驾驶测试场景再现模拟方法、装置及系统》(申请号201910223012.3：)、发明专利《一种自动驾驶车辆测试仿真场景生成方法》(申请号：201910443763.6)、发明专利《一种自动驾驶仿真测试场景的生成方法及生成系统》(申请号：201910797521.7) 这类测试方法类专利为例，其首先通过收集自动驾驶的行驶环境信息，然后分析其发生事故或存在危险的关键场景，提取场景中要素及参数变化范围，最后通过一定的装置及方法在仿真的环境中进行重现。

这些相关专利对于如何评价其安全性则稍显薄弱，大多只分析了测试场景的生成方法，而对于后续如何评价自动驾驶的安全性未进行详细的描述。由于自动驾驶汽车应用场景的复杂性，使用简单的单一测试用例的通过性评价不能表现其整体性能，应基于统计数据的方式，从统计分析的角度出发，才能对其进行评价。

发明内容

为了解决现有评价方法的缺失，本发明提供一种自动驾驶汽车安全性评价方法。

本发明是采用如下技术方案实现的：

一种针对自动驾驶汽车安全性的评价方法，用于测试和评价自动驾驶算法的安全性，基于一种基于场景的自动驾驶汽车测试方法，基于场景的测试方法根据客户需要自行选择自动驾驶汽车测试逻辑场景，按照被测算法的功能自行设定逻辑场景参数空间范围，考虑传感器精度、算法效率、算法精度、测试平台运行频率、测试平台性能将逻辑场景中的连续参数进行离散化处理获得具体测试用例，使用穷举法将得到的所有具体测试用例在仿真环境下进行测试，所有具体测试用例的试验结果中发生碰撞的情况所对应的具体测试用例参数形成数据集合X₁，数据集合X₁为一个数据矩阵，矩阵的每一行为一个具体测试用例所对应的一组场景要素参数，矩阵的每一列为一类场景要素参数的所有值，基于这种测试方法获得具体场景要素数据集合X₁，本方法设定具体场景要素数据集合X₁的数据处理流程并设定安全性评价指标，对自动驾驶汽车安全性进行评价，其特征在于，本方法的具体步骤如下：

步骤一、将具体场景要素数据集合X₁按照如下数据处理流程进行处理：

将试验数据对称化处理：以所选逻辑场景的场景要素参数类型建立坐标系，各个坐标轴所对应的内容即为逻辑场景中不同的场景要素参数类型；逻辑场景中不同场景要素参数对应的参数空间均存在上限和下限，危险边界为理论情况下容易发生危险的参数空间位置的上限或下限；将具体场景要素数据集合X₁在建立的坐标系下根据不同的场景要素危险边界数值形成的坐标轴按顺序进行对称化处理，即具体场景要素数据集合X₁以列为单位发生改变，每次对称时发生对称的列以该类型参数的危险边界数值为对称轴产生新数据，其他未发生对称的列数值不变，其他未发生对称的列复制并且其数值按照之前的对应顺序与复制后的列形成新的对称后的数据；每次对称后将对称得到的新数据和原始数据一起作为下次对称的原始数据；对称化处理完成后得到对称化处理后的数据集合X₂，X₂的矩阵定义与X₁相同；

将对称化处理后的试验数据集合X₂进行标准化处理，得到标准化处理后的坐标系中的试验数据集X：采用Z-score归一化方法对危险参数进行标准化处理，如式(1)所示：

式中，x_f是标准化处理后的数据集合X的第f维参数列向量，b_f是对称化处理后数据集合X₂矩阵的第f维参数列向量，b_{f_mean}是对称化处理后数据集合X₂矩阵的第f维参数的均值，s_f是对称化处理后数据集合X₂矩阵的第f维参数的标准差，下角标f代表逻辑场景的第f个维度即X₁矩阵的第f列也就是第f类场景要素，d为所选逻辑场景的变量维度总数即X₁矩阵的列数也就是场景要素类型的数量；

初步计算标准化处理后的坐标系中的试验数据集合X的聚类中心数目：采用计算组内残差平方和的方式计算危险参数聚类中心数量，组内残差平方和是指所有聚类中每个类内的要素距离其聚类中心的误差的平方的总和，如式(2) 所示；采用K-means聚类方法对数据集合进行聚类，聚类中心g设置为1到10 分别聚类10次，分别计算这10次聚类结果的组内残差平方和；当组内残差平方和变化速率变慢时，即认为增大聚类数目也不能对聚类结果进行有效的提高，该速率变化的拐点数即为聚类中心数目；

式中，Y为组内残差平方和，m为所有数据点的数量即标准化处理后的坐标系中的试验数据集合X的行数，x’为使用初步聚类得到的不同聚类的聚类中心；

选择后续聚类方式：当计算得到的聚类中心只有一个时，使用单高斯模型聚类方法对试验数据进行聚类，当聚类中心存在多个时，使用高斯混合模型进行聚类；

单高斯模型聚类：单高斯模型聚类方法的公式如(3)所示：

式中，P(x|θ_s)为单一高斯模型概率密度函数，θ_s为高斯模型的参数，包括均值和标准差，Σ为用来描述各维变量相关度的协方差矩阵，μ为危险参数向量的均值，由于数据已经经过了对称化和标准化处理，所以若只存在单高斯型的情况下经过处理后分布的均值为0，标准差为1；

高斯混合模型聚类：高斯混合模型聚类又名EM聚类算法，通过迭代进行 E-step和M-step来获得如式(4)所示的高斯混合模型；

式中，G(x|θ)为高斯混合模型概率密度函数，φ(x|θ_k)为高斯混合模型中的不同高斯分布，θ为高斯混合模型的参数，包括第k个单高斯模型的权重α_k和模型参数θ_k，θ_k包括均值μ_k和标准差σ_k，K为单个高斯模型的总个数即计算得到的聚类中心数量；

统计得到的高斯模型参数：统计单高斯模型聚类或高斯混合模型聚类的聚类后的所有高斯分布的均值、标准差；

删除因对称处理产生的多余高斯分布：删除除坐标原点位置处其他因对称处理产生的多余高斯分布，这些需要删除的多余的高斯分布的特点是均值存在对称、标准差相同，这类高斯分布只需要保留原始的一个；

步骤二、确定自动驾驶安全性评价指标，定义逻辑场景中发生碰撞的具体测试用例参数聚类得到的连续分布参数范围即聚类得到的高斯分布范围为被测自动驾驶算法在该逻辑场景下的危险域，本方法提出的安全性评价指标包括危险域离散度、危险域范围和场景危险率：

危险域离散度：本方法使用危险域离散度用来表示进行测试时发现危险的困难程度，包括两部分，一是不同危险域相对于逻辑场景中最危险边界点的距离，最危险边界点为给定的逻辑场景参数空间中各个参数维度的危险边界的交点，二是不同危险域之间的相对距离；由于数据经过对称化及标准化处理，逻辑场景中最危险边界点转化成为标准化处理后的坐标系内的坐标原点，不同聚类中心相对于标准化处理后的坐标系的坐标原点的欧氏距离d_b即为不同危险域相对于最危险边界点的距离；其他不同危险域之间的相对距离用类间距离d_s表示，下标k表示不同的高斯分布，d_b-k为不同高斯分布的欧式距离，d_s-k为不同高斯分布的类间距离，如式(5)和(6)所示；

式中，μ_k为聚类中心的位置即高斯分布的均值，μ_mean为除原点外的聚类中心的均值，下标k表示不同的聚类；

第k个危险域的危险域离散度d_{h_k}为：

d_{h_k}＝a·d_{b_k}+c·d_{s_k} (7)

式中，a和c均为权重系数，a和c的具体数值根据测试所选逻辑场景任意定义，a和c的和为1；

危险域范围：本方法使用危险域范围作为自动驾驶安全性另一个评价指标，用来描述被测逻辑场景中发生碰撞的具体测试用例形成的连续分布的危险域的覆盖范围；危险域范围S_k综合考虑参数的危险程度及其分布范围，采用高斯分布标准差表示，第k个危险域的危险域范围S_k为：

式中，ω为不同维度参数的重要程度系数，σ_k为高斯分布的标准差，f代表逻辑场景的第f个维度即X₁矩阵的第f列也就是第f类场景要素，ω采用层次分析法确定，通过建立参数判别矩阵并计算矩阵最大特征值和其对应的加权向量，在检验经过一致性通过后，最大特征值对应的加权向量即为不同参数的重要程度ω；

场景危险率：本方法将危险域离散度和危险域范围两个指标进行耦合，建立可量化的聚类评价指标——场景危险率R_d；

场景危险率R_d如式(9)所示：

式中，S₁为标准化处理后的坐标系中的坐标原点处的危险域范围，S_min为理论最小危险域范围，即在给定场景下，假设自动驾驶汽车以理想状态进行操作计算得到的危险域范围，该计算流程与公式(1)至(8)的流程相同且为保证数据的可比性，计算S_min值的标准化过程即公式(1)时，其标准化过程应将理想危险参数映射到测试危险参数域进行修正，修正过程如(10)所示：

式中s_{k_v}为理论最优算法数据处理计算标准化过程中使用的标准差参数即具体场景要素数据集合X₁不同列数值的标准差，s_{k_t}为被测算法试验结果在标准化过程中使用的标准差参数即理想情况测试结果中发生碰撞的具体场景要素数据集合不同列数值的标准差；

由式(9)可知，场景危险率R_d的值越小，则表示所测试的自动驾驶算法在给定的多维度逻辑场景下安全性越好，其下限值为1，如果场景危险率R_d的值超过1.5，则表示所测试的自动驾驶算法的安全性就比较差，需要进一步优化。

进一步的技术方案包括：

高斯混合模型聚类的具体过程为：

高斯混合模型聚类别称为EM聚类算法，其将数据参数集合分解为多个高斯概率密度函数分布组成的模型，如公式(4)所示：

式中，G(x|θ)为高斯混合模型概率密度函数，φ(x|θ_k)为高斯混合模型中的不同高斯分布，θ为高斯混合模型的参数，包括第k个单高斯模型的权重α_k和模型参数θ_k，θ_k包括均值μ_k和标准差σ_k，K为单个高斯模型的个数；

通过极大似然法对θ进行估计：

θ^*＝argmaxL(θ) (11)

应用迭代算法对上式进行求解，EM算法的E-step为计算Q函数，Q函数代表给定第p轮迭代的参数θ^p之后高斯混合模型G(x|θ^p)与给定数据之间的相似程度，如公式(14)所示；

式中，

称为后概率事件，即表示第j个观测数据来自第k个高斯密度函数的概率，其如公式(5)所示：

EM算法中的M-step为最大化Q函数，当计算第(p+1)步的参数θ^p+1时，对第p步的α_k、μ_k、σ_k求偏导并使其等于0，就可以使得Q函数极大化；

重复进行EM算法的E-step和M-step直至模型收敛即可得到高斯混合模型 G(x|θ)，即为所求的高斯混合模型。

K-means聚类算法的过程如下：

(1)自行确定g值，即希望得到的聚类数量，本方法中g的值设定为1到 10；

(2)从数据集合X₂中随机选择g个数据点作为聚类中心；

(3)对数据集X₂中每一个点，计算其与每一个聚类中心的欧式距离，将其划分到欧式距离最近的聚类中心所属的聚类；

(4)将所有数据归好聚类后，共有g个聚类，重新计算这g个聚类的聚类中心；

(5)如果新计算出来每个聚类的聚类中心和原来选择的各个聚类的聚类中心之间的欧式距离小于等于设置的阈值，则表示重新计算的质心的位置变化不大，结果收敛，即聚类已经达到期望的结果，算法终止；

(6)如果新计算出来每个聚类的聚类中心和原来选择的各个聚类的聚类中心之间的欧式距离大于设置的阈值，则表示算法结果差，将新计算得到的聚类中心作为初始聚类中心，重新进行3-5步。

与现有技术相比本发明的有益效果是：

本发明提供的一种针对自动驾驶汽车安全性的评价方法，可充分考虑自动驾驶汽车在真实环境行驶时的统计学规律，不但可以描述发现自动驾驶汽车设计缺陷的困难程度，还可以描述自动驾驶汽车设计缺陷的影响范围，并能通过量化的方式描述自动驾驶汽车在逻辑场景中的安全性。该评价方法可以满足自动驾驶评价领域对自动驾驶汽车安全性评价的需求，具有广泛的应用前景。

附图说明

下面结合附图对本发明作进一步的说明：

图1为本发明提供的一种针对自动驾驶汽车安全性的评价方法的流程框图；

图2为本发明实施例提供的本方法步骤一的数据处理流程示意图；

图3为本发明实施例提供的一种被测逻辑场景的示意图；

图4为本发明实施提供的一种该测试场景下某种自动驾驶算法的试验结果图；

图5为将图3中的实验结果经过本发明实施提供的数据处理所得到的结果示意图；

图6为本发明实施例测试场景示例下的理想算法的减速度与时间曲线。

图7为本发明实施提供的一种该测试场景下理想算法的试验结果图。

具体实施方式

下面结合附图对本发明作详细的描述：

为了解决当前自动驾驶安全性尚无可靠评价方法的难题，本发明实施提供了一种基于多维度逻辑场景的自动驾驶安全性测试方法，其通过对该逻辑场景下自动驾驶的试验数据进行统计分析，使用统计的方式对自动驾驶的安全性进行评价，在本发明实施例中，以前车紧急制动的逻辑场景作为案例进行描述。

步骤一、将具体场景要素数据集合X₁按照如下数据处理流程进行处理：

将试验数据对称化处理，对称化处理的好处在于将试验数据处理成一个完整的高斯分布并将数据分布的中心转移到逻辑场景危险边界的交点：以所选逻辑场景的场景要素参数类型建立坐标系，各个坐标轴所对应的内容即为逻辑场景中不同的场景要素参数类型；逻辑场景中不同场景要素参数对应的参数空间均存在上限和下限，危险边界为理论情况下容易发生危险的参数空间位置的上限或下限，以本发明所选择的前车紧急制动场景为例，前车制动时本车的速度越大则本车与前车发生碰撞的风险越大，因此场景参数中的本车速度应选择其上限作为危险边界；将具体场景要素数据集合X₁在建立的坐标系下根据不同的场景要素危险边界数值形成的坐标轴按顺序进行对称化处理，即具体场景要素数据集合X₁以列为单位发生改变，每次对称时发生对称的列以该类型参数的危险边界数值为对称轴产生新数据，其他未发生对称的列数值不变，其他未发生对称的列复制并且其数值按照之前的对应顺序与复制后的列形成新的对称后的数据；每次对称后将对称得到的新数据和原始数据一起作为下次对称的原始数据(以数据(20，30)、(25，30)、(25，35)为例，其危险边界为(15，40)，首先将第一维数据进行对称，(20 25 25)关于15的对称数据为(10 5 5)，第二维数据不变并与第一维的对称数据按照原本的顺序进行结合得到第一维对称后的数据(10，30)，(5，30)，(5，35)，此时的数据包括(20，30)、(25，30)、 (25，35)，(10，30)，(5，30)，(5，35)，然后将该组数据的第二维进行对称， (30 30 35 30 30 35)关于40的对称数据为(50 50 45 50 50 45)，第一维数据不变并与第二维的对称数据按照原本的顺序进行结合得到第二维对称后的数据 (20，50)，(25，50)，(25，45)，(10，50)，(5，50)，(5，45)，最终得到完全对称后的数据(20，30)、(25，30)、(25，35)，(10，30)，(5，30)，(5， 35)，(20，50)，(25，50)，(25，45)，(10，50)，(5，50)，(5，45))；对称化处理完成后得到对称化处理后的数据集合X₂，X₂的矩阵定义与X₁相同；

将对称化处理后的试验数据集合X₂进行标准化处理，得到标准化处理后的坐标系中的试验数据集X，标准化处理的意义是在于将不同维度之间数据的差异尺度处理至相同尺度，从而避免基于距离的聚类方法(本发明使用的基于高斯模型的聚类和K-means聚类)产生失误：采用Z-score归一化方法对危险参数进行标准化处理，如式(1)所示：

式中，x_f是标准化处理后的数据集合X的第f维参数列向量，b_f是对称化处理后数据集合X₂矩阵的第f维参数列向量，b_{f_mean}是对称化处理后数据集合X₂矩阵的第f维参数的均值，s_f是对称化处理后数据集合X₂矩阵的第f维参数的标准差，下角标f代表逻辑场景的第f个维度即X₁矩阵的第f列也就是第f类场景要素，d为所选逻辑场景的变量维度总数即X₁矩阵的列数也就是场景要素类型的数量；

标准化处理过程中首先计算不同列数据的均值和标准差，然后将该列的均值和标准差带入公式(1)之中，然后将这一列的每一个数值带入公式(1)之中，从而得到这一列每一个数据的标准化处理后的数据，将所有列的数据都经过标准化处理之后即可得到标准化处理后的数据集合X；

初步计算标准化处理后的坐标系中的试验数据集合X的聚类中心数目：采用计算组内残差平方和的方式计算危险参数聚类中心数量，组内残差平方和是指所有聚类中每个类内的要素距离其聚类中心的误差的平方的总和，如式(2) 所示；采用K-means聚类方法对数据集合X进行初步聚类，聚类中心g设置为 1到10分别聚类10次，分别计算这10次聚类结果的组内残差平方和；

K-means聚类算法的过程如下：

(1)自行确定g值，即希望得到的聚类数量，本方法中g的值设定为1到 10；

(2)从数据集合X₂中随机选择g个数据点作为聚类中心；

(3)对数据集X₂中每一个点，计算其与每一个聚类中心的欧式距离，将其划分到欧式距离最近的聚类中心所属的聚类；

(4)将所有数据归好聚类后，共有g个聚类，重新计算这g个聚类的聚类中心；

(5)如果新计算出来每个聚类的聚类中心和原来选择的各个聚类的聚类中心之间的欧式距离小于等于设置的阈值，则表示重新计算的质心的位置变化不大，结果收敛，即聚类已经达到期望的结果，算法终止；

(6)如果新计算出来每个聚类的聚类中心和原来选择的各个聚类的聚类中心之间的欧式距离大于设置的阈值，则表示算法结果差，将新计算得到的聚类中心作为初始聚类中心，重新进行3-5步。

当组内残差平方和变化速率变慢时，即认为增大聚类数目也不能对聚类结果进行有效的提高，该速率变化的拐点数即为聚类中心数目；

式中，Y为组内残差平方和，m为所有数据点的数量即标准化处理后的坐标系中的试验数据集合X的行数，x’为使用初步聚类得到的不同聚类的聚类中心；

选择后续聚类方式：当计算得到的聚类中心只有一个时，使用单高斯模型聚类方法对试验数据进行聚类，当聚类中心存在多个时，使用高斯混合模型进行聚类(基于高斯模型的聚类方法得到的高斯模型参数可用于进行后续的评价过程)；

单高斯模型聚类：单高斯模型聚类方法的公式如(3)所示：

式中，P(x|θ_s)为单一高斯模型概率密度函数，θ_s为高斯模型的参数，包括均值和标准差，Σ为用来描述各维变量相关度的协方差矩阵，μ为危险参数向量的均值，由于数据已经经过了对称化和标准化处理，所以若只存在单高斯型的情况下经过处理后分布的均值为0，标准差为1；

高斯混合模型聚类：高斯混合模型聚类又名EM聚类算法，通过迭代进行 E-step和M-step来获得如式(4)所示的高斯混合模型；

式中，G(x|θ)为高斯混合模型概率密度函数，φ(x|θ_k)为高斯混合模型中的不同高斯分布，θ为高斯混合模型的参数，包括第k个单高斯模型的权重α_k和模型参数θ_k，θ_k包括均值μ_k和标准差σ_k，K为单个高斯模型的总个数即计算得到的聚类中心数量；

通过极大似然法对θ进行估计：

θ^*＝argmaxL(θ) (11)

应用迭代算法对上式进行求解，EM算法的E-step为计算Q函数，Q函数代表给定第p轮迭代的参数θ^p之后高斯混合模型G(x|θ^p)与给定数据之间的相似程度，如公式(14)所示；

式中，

称为后概率事件，即表示第j个观测数据来自第k个高斯密度函数的概率，其如公式(14)所示：

EM算法中的M-step为最大化Q函数，当计算第(p+1)步的参数θ^p+1时，对第p步的α_k、μ_k、σ_k求偏导并使其等于0，就可以使得Q函数极大化；

重复进行EM算法的E-step和M-step直至模型收敛即可得到高斯混合模型 G(x|θ)，即为所求的高斯混合模型。

统计得到的高斯模型参数：统计单高斯模型聚类或高斯混合模型聚类的聚类后的所有高斯分布的均值、标准差；

删除因对称处理产生的多余高斯分布：删除除坐标原点位置处其他因对称处理产生的多余高斯分布，这些需要删除的多余的高斯分布的特点是均值存在对称、标准差相同，这类高斯分布只需要保留原始的一个(例如得到的几个高斯分布的参数(均值和标准差)为(0，5)、(2，2)、(-2，2)、(1，3)、(-1，3)，通过观察可以发现(2，2)和(-2，2)，(1，3)和(-1，3)的均值对称，标准差相同，这就说明(-2，2)和(-1，3)是因对称化处理产生的多余高斯分布，应删除，结果只需要保留均值和方差为(0，5)、(2，2)、(1，3)的这三组高斯分布)；

步骤二、确定自动驾驶安全性评价指标，定义逻辑场景中发生碰撞的具体测试用例参数聚类得到的连续分布参数范围(即聚类得到的高斯分布范围)为被测自动驾驶算法在该逻辑场景下的危险域，本方法提出的安全性评价指标包括危险域离散度、危险域范围和场景危险率：

危险域离散度：本方法使用危险域离散度用来表示进行测试时发现危险的困难程度，包括两部分，一是不同危险域相对于逻辑场景中最危险边界点的距离，最危险边界点为给定的逻辑场景参数空间中各个参数维度的危险边界的交点，二是不同危险域之间的相对距离(由于最危险边界点是最容易发生危险的位置，因此该处可以视为危险发生的基本点，其他位置发生事故与该处的位置越远则表明其被发现的难度越大，同时若存在多个分布，且他们之间分布的距离越大则不同分布发现的难度也越大)；由于数据经过对称化及标准化处理，逻辑场景中最危险边界点转化成为标准化处理后的坐标系内的坐标原点，不同聚类中心相对于标准化处理后的坐标系的坐标原点的欧氏距离d_b即为不同危险域相对于最危险边界点的距离，；其他不同危险域之间的相对距离用类间距离d_s表示，下标k表示不同的高斯分布，d_b-k为不同高斯分布的欧式距离，d_s-k为不同高斯分布的类间距离，如式(5)和(6)所示；

式中，μ_k为聚类中心的位置即高斯分布的均值，μ_mean为除原点外的聚类中心的均值，下标k表示不同的聚类；

第k个危险域的危险域离散度d_{h_k}为：

d_{h_k}＝a·d_{b_k}+c·d_{s_k} (7)

式中，a和c均为权重系数，a和c的具体数值根据测试所选逻辑场景任意定义，a和c的和为1；

危险域范围：本方法使用危险域范围作为自动驾驶安全性另一个评价指标，用来描述被测逻辑场景中发生碰撞的具体测试用例形成的连续分布的危险域的覆盖范围，危险域的覆盖范围越大则表明被测算法发生事故的风险越大；危险域范围S_k综合考虑参数的危险程度及其分布范围，采用高斯分布标准差表示，第k个危险域的危险域范围S_k为：

式中，ω为不同维度参数的重要程度系数，σ_k为高斯分布的标准差，f代表逻辑场景的第f个维度即X₁矩阵的第f列也就是第f类场景要素，ω采用层次分析法确定，通过建立参数判别矩阵并计算矩阵最大特征值和其对应的加权向量，在检验经过一致性通过后，最大特征值对应的加权向量即为不同参数的重要程度ω；

场景危险率：本方法将危险域离散度和危险域范围两个指标进行耦合，建立可量化的聚类评价指标——场景危险率R_d；

场景危险率R_d如式(9)所示：

式中，S₁为标准化处理后的坐标系中的坐标原点处的危险域范围，S_min为理论最小危险域范围，即在给定场景下，假设自动驾驶汽车以理想状态进行操作计算得到的危险域范围，该计算流程与公式(1)至(8)的流程相同且为保证数据的可比性，计算S_min值的标准化过程即公式(1)时，其标准化过程应将理想危险参数映射到测试危险参数域进行修正，修正过程如(10)所示：

式中s_{k_v}为理论最优算法数据处理计算标准化过程中使用的标准差参数即具体场景要素数据集合X₁不同列数值的标准差，s_{k_t}为被测算法试验结果在标准化过程中使用的标准差参数即理想情况测试结果中发生碰撞的具体场景要素数据集合不同列数值的标准差；

由式(9)可知，场景危险率R_d的值越小，则表示所测试的自动驾驶算法在给定的多维度逻辑场景下安全性越好，其下限值为1，如果场景危险率R_d的值超过1.5，则表示所测试的自动驾驶算法的安全性就比较差，需要进一步优化。参见图3，本发明以前车紧急制动作为示例测试场景。需要说明的是，本案例仅在本次发明中起示例作用，本文所提出的测试评价方法不局限于该案例，对于其他测试场景仍可使用本发明后续提出的评价方法。本发明选择本车初速度v₁、前车与本车之间的初始距离d、前车初速度v₂作为逻辑场景的测试参数。接下来对该示例场景进行描述，被测自动驾驶车辆以初始速度v₁在中间车道向前行驶；前车在本车前距离d处以初速度v₂向前行驶，并以8m/s²的减速度进行减速，持续1.5s；之后，前车以3m/s²的加速度加速，持续3s；最后前车以1m /s²的加速度缓慢加速直至30m/s。在本发明实施例中，选择本车初速度v₁、前车与本车之间的初始距离d、前车初速度v₂作为逻辑场景的测试参数，它们的参数空间范围分别为[15m/s，30m/s]、[30m，50m]、[25m/s，35m/s]。当选择其他测试场景时，可参照本实施案例进行具体设置。

参照图2中的第1步和第2步，根据传感器精度、软件平台仿真频率、算法精度等对逻辑场景进行离散化处理，以车载毫米波雷达工作精度为例，其远距离精度为±0.5m，中距离精度为±0.25m，因此考虑传感器精度可选距离单位为 1m进行离散。同理考虑其他因素，本文最终选择的速度的离散单位为1m/s，距离的离散单位为1m，并使用穷举的方法在仿真环境下完成了3696次试验。

参照图4，本发明对该示例进行了试验并得到了某算法相应的试验数据结果，其中82组发生碰撞的测试用例对应的参数即为评价所需要的试验参数集合X₁。

参见图2第3步，对试验数据进行对称化处理。通过对本示例逻辑场景进行分析可知，前车制动时本车的初速度越大发生碰撞的风险越大，前车制动时前车与本车之间的距离越短发生碰撞的风险越大，前车制动时前车的速度越小发生碰撞的风险越大，根据分析可知本案例中针对该测试场景选择的对称轴分别为：本车初速度v₁为30m/s的坐标轴、前车与本车之间的初始距离d为30m 的坐标轴、前车初速度v₂为25m/s的坐标轴，将试验得到的试验数据根据这三个坐标轴分别进行对称化处理得到数据集合X₂。

参见图2第4步，对对称化处理后的数据集合X₂进行标准化处理，将数据集合X₂的每一列都按照公式(1)进行标准化处理，首先计算每一列数据的均值，然后将每一列数据的均值带入公式(1)进行计算，标准化过程的数据集均值为(30，30，25)，标准差为(5.2366，1.2987，1.2223)，将这两组数据带入公式(1)对数据集合X₂进行标准化处理得到数据集合X。

参见图5，该图即为该示例的试验数据经过对称处理及标准处理后的试验数据集合X的图像。

参照图2第5步，计算对称处理及标准化处理后的试验数据聚类中心数量。

本实施例中将数据集合X带入K-means聚类之中，并将K-means聚类的聚类中心数量分别设置为1至10进行聚类，计算聚类中心为1至10时的每个聚类过程的组内残差平方和，计算得到当聚类中心设置为1时组内残差平方和的变化即较慢，因此数据集合X的聚类中心数目为1。

参照图2第6步，运行图2中第7步单高斯模型聚类。

参照图2第8步，将试验数据进行单高斯模型聚类，将数据集合X的数据带入公式(3)中。

参照图2第9步，得到的高斯模型均值为0，标准差为1。

参照图2第10步，由于仅有标准化处理后的坐标系下的一个高斯分布，因此本次聚类无需删除多余聚类。

参照发明中提到的危险域离散度，本次示例中数据仅存在一个聚类，将得到的高斯分布参数带入公式(5)(6)(7)，最终计算得到该高斯分布对应的危险域离散度为0。

参照发明中提到的危险域范围的计算公式(8)，计算本次示例数据的危险域范围。

首先计算本发明示例的不同参数的重要程度系数w，根据层次分析方法，本发明建立的参数判别矩阵如式(15)所示，该判别矩阵的从上到下/从左至右的参数类型为本车速度、本车与前车距离、前车速度：

计算得到该矩阵的最大特征值为3.004，对应的加权向量为[0.1220，0.6483，0.2297]。随后进行层次分析法的一致性检验，结果通过，因此得到的加权向量 [0.1220，0.6483，0.2297]即为本示例中不同参数的重要程度系数w。

将上述数据带入危险域范围的计算公式(8)，计算得到的本示例的危险域范围为1。

参照发明中提到的场景危险率的计算过程，计算本示例用数据的场景危险率。首先计算理论最小危险域范围S_min。

参照图6，该图为理论情况下该场景中的最优算法制动减速度变化图。

参照图7，图7即为将图6的最优算法带入该逻辑场景中进行试验所得到的数据结果。

将图7中的数据进行图2中的第3步对称化处理，得到处理后的数据均值为 (30，30，25)、标准差为(2.2669，0.8660，0.9280)。按照式(10)将该对称化处理后的数据进行修正处理，得到修正后的高斯分布标准差为(0.4329， 0.6668，0.7592)。

参照发明中提到的危险域范围计算公式(8)，将修正后的标准差数据和之前计算得到的不同参数的重要程度系数w带入公式(8)得到S_min的数值为0.4435。

参照发明中提到的场景危险率计算过程公式(9)，最终得到该示例的场景危险率为3.5071，大于1.5，示例中算法的安全性差。

Claims (3)

1.一种针对自动驾驶汽车安全性的评价方法，用于测试和评价自动驾驶算法的安全性，基于一种基于场景的自动驾驶汽车测试方法，基于场景的测试方法根据客户需要自行选择自动驾驶汽车测试逻辑场景，按照被测算法的功能自行设定逻辑场景参数空间范围，考虑传感器精度、算法效率、算法精度、测试平台运行频率、测试平台性能将逻辑场景中的连续参数进行离散化处理获得具体测试用例，使用穷举法将得到的所有具体测试用例在仿真环境下进行测试，所有具体测试用例的试验结果中发生碰撞的情况所对应的具体测试用例参数形成数据集合X₁，数据集合X₁为一个数据矩阵，矩阵的每一行为一个具体测试用例所对应的一组场景要素参数，矩阵的每一列为一类场景要素参数的所有值，基于这种测试方法获得具体场景要素数据集合X₁，本方法设定具体场景要素数据集合X₁的数据处理流程并设定安全性评价指标，对自动驾驶汽车安全性进行评价，其特征在于，本方法的具体步骤如下：

步骤一、将具体场景要素数据集合X₁按照如下数据处理流程进行处理：

将试验数据对称化处理：以所选逻辑场景的场景要素参数类型建立坐标系，各个坐标轴所对应的内容即为逻辑场景中不同的场景要素参数类型；逻辑场景中不同场景要素参数对应的参数空间均存在上限和下限，危险边界为理论情况下容易发生危险的参数空间位置的上限或下限；将具体场景要素数据集合X₁在建立的坐标系下根据不同的场景要素危险边界数值形成的坐标轴按顺序进行对称化处理，即具体场景要素数据集合X₁以列为单位发生改变，每次对称时发生对称的列以该类型参数的危险边界数值为对称轴产生新数据，其他未发生对称的列数值不变，其他未发生对称的列复制并且其数值按照之前的对应顺序与复制后的列形成新的对称后的数据；每次对称后将对称得到的新数据和原始数据一起作为下次对称的原始数据；对称化处理完成后得到对称化处理后的数据集合X₂，X₂的矩阵定义与X₁相同；

将对称化处理后的试验数据集合X₂进行标准化处理，得到标准化处理后的坐标系中的试验数据集X：采用Z-score归一化方法对危险参数进行标准化处理，如式(1)所示：

式中，x_f是标准化处理后的数据集合X的第f维参数列向量，b_f是对称化处理后数据集合X₂矩阵的第f维参数列向量，b_{f_mean}是对称化处理后数据集合X₂矩阵的第f维参数的均值，s_f是对称化处理后数据集合X₂矩阵的第f维参数的标准差，下角标f代表逻辑场景的第f个维度即X₁矩阵的第f列也就是第f类场景要素，d为所选逻辑场景的变量维度总数即X₁矩阵的列数也就是场景要素类型的数量；

初步计算标准化处理后的坐标系中的试验数据集合X的聚类中心数目：采用计算组内残差平方和的方式计算危险参数聚类中心数量，组内残差平方和是指所有聚类中每个类内的要素距离其聚类中心的误差的平方的总和，如式(2)所示；采用K-means聚类方法对数据集合进行聚类，聚类中心g设置为1到10分别聚类10次，分别计算这10次聚类结果的组内残差平方和；当组内残差平方和变化速率变慢时，即认为增大聚类数目也不能对聚类结果进行有效的提高，该速率变化的拐点数即为聚类中心数目；

式中，Y为组内残差平方和，m为所有数据点的数量即标准化处理后的坐标系中的试验数据集合X的行数，x’为使用初步聚类得到的不同聚类的聚类中心；

选择后续聚类方式：当计算得到的聚类中心只有一个时，使用单高斯模型聚类方法对试验数据进行聚类，当聚类中心存在多个时，使用高斯混合模型进行聚类；

单高斯模型聚类：单高斯模型聚类方法的公式如(3)所示：

式中，P(x|θ_s)为单一高斯模型概率密度函数，θ_s为高斯模型的参数，包括均值和标准差，Σ为用来描述各维变量相关度的协方差矩阵，μ为危险参数向量的均值，由于数据已经经过了对称化和标准化处理，所以若只存在单高斯型的情况下经过处理后分布的均值为0，标准差为1；

高斯混合模型聚类：高斯混合模型聚类又名EM聚类算法，通过迭代进行E-step和M-step来获得如式(4)所示的高斯混合模型；

式中，G(x|θ)为高斯混合模型概率密度函数，φ(x|θ_k)为高斯混合模型中的不同高斯分布，θ为高斯混合模型的参数，包括第k个单高斯模型的权重α_k和模型参数θ_k，θ_k包括均值μ_k和标准差σ_k，K为单个高斯模型的总个数即计算得到的聚类中心数量；

统计得到的高斯模型参数：统计单高斯模型聚类或高斯混合模型聚类的聚类后的所有高斯分布的均值、标准差；

删除因对称处理产生的多余高斯分布：删除除坐标原点位置处其他因对称处理产生的多余高斯分布，这些需要删除的多余的高斯分布的特点是均值存在对称、标准差相同，这类高斯分布只需要保留原始的一个；

步骤二、确定自动驾驶安全性评价指标，定义逻辑场景中发生碰撞的具体测试用例参数聚类得到的连续分布参数范围即聚类得到的高斯分布范围为被测自动驾驶算法在该逻辑场景下的危险域，本方法提出的安全性评价指标包括危险域离散度、危险域范围和场景危险率：

危险域离散度：本方法使用危险域离散度用来表示进行测试时发现危险的困难程度，包括两部分，一是不同危险域相对于逻辑场景中最危险边界点的距离，最危险边界点为给定的逻辑场景参数空间中各个参数维度的危险边界的交点，二是不同危险域之间的相对距离；由于数据经过对称化及标准化处理，逻辑场景中最危险边界点转化成为标准化处理后的坐标系内的坐标原点，不同聚类中心相对于标准化处理后的坐标系的坐标原点的欧氏距离d_b即为不同危险域相对于最危险边界点的距离；其他不同危险域之间的相对距离用类间距离d_s表示，下标k表示不同的高斯分布，d_b-k为不同高斯分布的欧式距离，d_s-k为不同高斯分布的类间距离，如式(5)和(6)所示；

式中，μ_k为聚类中心的位置即高斯分布的均值，μ_mean为除原点外的聚类中心的均值，下标k表示不同的聚类；

第k个危险域的危险域离散度d_{h_k}为：

d_{h_k}＝a·d_{b_k}+c·d_{s_k} (7)

式中，a和c均为权重系数，a和c的具体数值根据测试所选逻辑场景任意定义，a和c的和为1；

危险域范围：本方法使用危险域范围作为自动驾驶安全性另一个评价指标，用来描述被测逻辑场景中发生碰撞的具体测试用例形成的连续分布的危险域的覆盖范围；危险域范围S_k综合考虑参数的危险程度及其分布范围，采用高斯分布标准差表示，第k个危险域的危险域范围S_k为：

式中，ω为不同维度参数的重要程度系数，σ_k为高斯分布的标准差，f代表逻辑场景的第f个维度即X₁矩阵的第f列也就是第f类场景要素，ω采用层次分析法确定，通过建立参数判别矩阵并计算矩阵最大特征值和其对应的加权向量，在检验经过一致性通过后，最大特征值对应的加权向量即为不同参数的重要程度ω；

场景危险率：本方法将危险域离散度和危险域范围两个指标进行耦合，建立可量化的聚类评价指标——场景危险率R_d；

场景危险率R_d如式(9)所示：

式中，S₁为标准化处理后的坐标系中的坐标原点处的危险域范围，S_min为理论最小危险域范围，即在给定场景下，假设自动驾驶汽车以理想状态进行操作计算得到的危险域范围，该计算流程与公式(1)至(8)的流程相同且为保证数据的可比性，计算S_min值的标准化过程即公式(1)时，其标准化过程应将理想危险参数映射到测试危险参数域进行修正，修正过程如(10)所示：

式中s_{k_v}为理论最优算法数据处理计算标准化过程中使用的标准差参数即具体场景要素数据集合X₁不同列数值的标准差，s_{k_t}为被测算法试验结果在标准化过程中使用的标准差参数即理想情况测试结果中发生碰撞的具体场景要素数据集合不同列数值的标准差；

由式(9)可知，场景危险率R_d的值越小，则表示所测试的自动驾驶算法在给定的多维度逻辑场景下安全性越好，其下限值为1，如果场景危险率R_d的值超过1.5，则表示所测试的自动驾驶算法的安全性就比较差，需要进一步优化。

2.根据权利要求1所述的一种针对自动驾驶汽车安全性的评价方法，其特征在于，高斯混合模型聚类的具体过程为：

高斯混合模型聚类别称为EM聚类算法，其将数据参数集合分解为多个高斯概率密度函数分布组成的模型，如公式(4)所示：

式中，G(x|θ)为高斯混合模型概率密度函数，φ(x|θ_k)为高斯混合模型中的不同高斯分布，θ为高斯混合模型的参数，包括第k个单高斯模型的权重α_k和模型参数θ_k，θ_k包括均值μ_k和标准差σ_k，K为单个高斯模型的个数；

通过极大似然法对θ进行估计：

θ^*＝arg max L(θ) (11)

应用迭代算法对上式进行求解，EM算法的E-step为计算Q函数，Q函数代表给定第p轮迭代的参数θ^p之后高斯混合模型G(x|θ^p)与给定数据之间的相似程度，如公式(14)所示；

式中，

称为后概率事件，即表示第j个观测数据来自第k个高斯密度函数的概率，其如公式(5)所示：

EM算法中的M-step为最大化Q函数，当计算第(p+1)步的参数θ^p+1时，对第p步的α_k、μ_k、σ_k求偏导并使其等于0，就可以使得Q函数极大化；

重复进行EM算法的E-step和M-step直至模型收敛即可得到高斯混合模型G(x|θ)，即为所求的高斯混合模型。

3.根据权利要求1所述的一种针对自动驾驶汽车安全性的评价方法，其特征在于，K-means聚类算法的过程如下：

(1)自行确定g值，即希望得到的聚类数量，本方法中g的值设定为1到10；

(2)从数据集合X₂中随机选择g个数据点作为聚类中心；

(3)对数据集X₂中每一个点，计算其与每一个聚类中心的欧式距离，将其划分到欧式距离最近的聚类中心所属的聚类；

(4)将所有数据归好聚类后，共有g个聚类，重新计算这g个聚类的聚类中心；

(5)如果新计算出来每个聚类的聚类中心和原来选择的各个聚类的聚类中心之间的欧式距离小于等于设置的阈值，则表示重新计算的质心的位置变化不大，结果收敛，即聚类已经达到期望的结果，算法终止；

(6)如果新计算出来每个聚类的聚类中心和原来选择的各个聚类的聚类中心之间的欧式距离大于设置的阈值，则表示算法结果差，将新计算得到的聚类中心作为初始聚类中心，重新进行3-5步。

Images