CN113420975A - 一种系统性能的评测方法及装置 - Google Patents

Abstract

本申请提供一种系统性能的评测方法及装置，该方法先确定目标指标对上属目标准则的第一主观模糊权重、目标指标对上属目标准则的第一客观评价权重，由第一主观模糊权重和第一客观评价权重，得到目标指标对上属目标准则的第一综合权重，再确定目标准则对上属目标模块的第二主观模糊权重、目标模块对自动驾驶系统的第三主观模糊权重，根据第一综合权重、第二主观模糊权重、第三主观模糊权重，得到目标指标对自动驾驶系统的整体权重，最后根据整体权重和目标指标对应的关联系数，得到自动驾驶系统的综合评价值。本申请将专家经验和历史数据结合，利用模糊层次分析法、熵权法以及灰色关联分析法对系统性能进行评测，提高了评测结果的准确性。

Description

一种系统性能的评测方法及装置

技术领域

本申请涉及自动驾驶领域，尤其涉及一种系统性能的评测方法及装置。

背景技术

随着自动驾驶汽车研究的不断深入，人们对自动驾驶系统的整体性能要求越来越高，其中，自动驾驶汽车(Autonomous vehicles；Self-driving automobile)又称无人驾驶汽车、电脑驾驶汽车、或轮式移动机器人，是一种通过电脑系统实现无人驾驶的智能汽车。

为研究自动驾驶系统的整体性能，提出了多种自动驾驶系统的整体性能的评测方法，其中，传统的系统的性能评测方法主要分为两种，第一种是针对自动驾驶系统中的各个模块进行单独评测，再基于各个模块的评测结果通过简单的线性叠加得到系统的评估结果，第二种是基于测试开发人员的主观经验，根据自动驾驶汽车在实际路测中的表现得到系统的整体性能评估结果。

在对现有方案的研究和实践过程中，本申请的发明人发现第一种传统方案中没有考虑到各指标对系统作用的差异性，只是对各个模块的评测结果进行简单叠加得到的结果，因此，将其作为系统的评测结果不够准确。第二种传统方案中，因为测试人员的主观感受存在较大差异性，所以依赖测试人员的主观感受得到评测结果也不准确。

发明内容

本申请提供一种系统性能的评测方法及装置，以提高系统的性能测评结果的准确性。

一方面，本申请提供一种系统性能的评测方法，包括：

根据评测需求确定自动驾驶系统、所述自动驾驶系统下属的目标模块、所述目标模块下属的目标准则、所述目标准则下属的目标指标；

获取所述目标指标对上属目标准则的第一主观模糊权重和第一客观评价权重；

根据所述目标指标对上属目标准则的第一主观模糊权重和第一客观评价权重，确定所述目标指标对上属目标准则的第一综合权重；

获取所述目标准则对上属目标模块的第二主观模糊权重和所述目标模块对所述自动驾驶系统的第三主观模糊权重；

根据所述目标指标对上属目标准则的第一综合权重、所述目标准则对上属目标模块的第二主观模糊权重、所述目标模块对所述自动驾驶系统的第三主观模糊权重，确定所述目标指标对所述自动驾驶系统的整体权重；

通过车载设备获取所述目标指标的第二实际数以及所述目标指标的第二实际数与参考序列的关联系数；

根据所述目标指标对所述自动驾驶系统的整体权重、所述目标指标的第二实际数与所述参考序列的关联系数，得到所述自动驾驶系统的综合评价值；

展示所述自动驾驶系统的综合评价值，以便于评测所述自动驾驶系统的性能。

可选地，在本申请一些可能的实现方式中，在所述获取所述目标指标间的第一模糊数以及所述目标指标的第一实际数的步骤之前，还包括：

获取多个来源下的目标指标间的评分；

基于预设语义转换表，将所述评分转化成对应的第一模糊数。

可选地，在本申请一些可能的实现方式中，获取所述目标指标对上属目标准则的第一主观模糊权重和第一客观评价权重的步骤，包括：

获取所述目标指标间的第一模糊数以及所述目标指标的第一实际数；

根据所述目标指标间的第一模糊数，构建多个来源对应的多个第一模糊矩阵；

将所述多个第一模糊矩阵进行整合，得到所述目标指标对上属目标准则的第一模糊矩阵；

对所述第一模糊矩阵去模糊化处理，得到所述目标指标对上属目标准则的第一主观模糊权重；

根据所述目标指标的第一实际数确定所述目标指标对上属目标准则的第一客观评价权重。

可选地，在本申请一些可能的实现方式中，所述获取所述目标准则对上属目标模块的第二主观模糊权重和所述目标模块对所述自动驾驶系统的第三主观模糊权重的步骤，包括：

根据所述目标准则间的第二模糊数，确定所述目标准则对上属目标模块的第二主观模糊权重；

根据所述目标模块间的第三模糊数，确定所述目标模块对所述自动驾驶系统的第三主观模糊权重。

可选地，在本申请一些可能的实现方式中，所述通过车载设备获取所述目标指标的第二实际数以及所述目标指标的第二实际数与参考序列的关联系数的步骤，包括：

通过车载设备获取所述目标指标的第二实际数；

根据所述目标指标的标准数值生成参考序列，并确定所述目标指标的第二实际数与所述参考序列的关联系数。

可选地，在本申请一些可能的实现方式中，所述对所述第一模糊矩阵去模糊化处理，得到所述目标指标对上属目标准则的第一主观模糊权重的步骤，包括：

对所述第一模糊矩阵去模糊化处理，得到所述目标指标对上属目标准则的待处理第一主观模糊权重；

对所述待处理第一主观模糊权重进行归一化处理，得到所述目标指标对上属目标准则的第一主观模糊权重。

可选地，在本申请一些可能的实现方式中，所述根据所述目标指标的第一实际数确定所述目标指标对上属目标准则的第一客观评价权重的步骤，包括：

根据所述目标指标的第一实际数，确定所述目标指标对上属目标准则的第一客观矩阵；

对所述第一客观矩阵进行熵权法计算，得到所述目标指标对上属目标准则的第一客观评价权重。

可选地，在本申请一些可能的实现方式中，所述根据所述目标指标的第一实际数，确定所述目标指标对上属目标准则的第一客观矩阵的步骤，包括：

获取所述目标指标的多个测量样本；

根据所述多个测量样本，构建初始客观矩阵；

对所述初始客观矩阵进行标准化处理，得到所述目标指标对上属目标准则的第一客观矩阵。

可选地，在本申请一些可能的实现方式中，所述根据所述目标指标的标准数值生成参考序列，并确定所述目标指标的第二实际数与所述参考序列的关联系数的步骤，包括：

对所述目标指标的第二实际数进行无量纲化处理，得到所述目标指标的无量纲数；

根据所述目标指标的标准数值生成参考序列；

基于所述参考序列对所述目标指标的无量纲数进行灰色关联度计算，得到所述目标指标的第二实际数与所述参考序列的关联系数。

可选地，在本申请一些可能的实现方式中，所述根据所述目标指标对所述自动驾驶系统的整体权重、所述目标指标的第二实际数与所述参考序列的关联系数，得到所述自动驾驶系统的综合评价值的步骤，包括：

针对所述目标指标，将所述目标指标对所述自动驾驶系统的整体权重与所述目标指标的第二实际数与所述参考序列的关联系数对应相乘，得到所述目标指标对应的关联度；

将所述关联度累计相加，得到所述自动驾驶系统的综合评价值。

一方面，本申请提供一种系统性能的评测装置，其包括：

第一确定模块，用于根据评测需求确定自动驾驶系统下属的目标模块、所述目标模块下属的目标准则、所述目标准则下属的目标指标；

第一获取模块，用于获取所述目标指标对上属目标准则的第一主观模糊权重和第一客观评价权重；

第二确定模块，用于根据所述目标指标对上属目标准则的第一主观模糊权重和第一客观评价权重，确定所述目标指标对上属目标准则的第一综合权重；

第二获取模块，用于获取所述目标准则对上属目标模块的第二主观模糊权重和所述目标模块对所述自动驾驶系统的第三主观模糊权重；

第三确定模块，用于根据所述目标指标对上属目标准则的第一综合权重、所述目标准则对上属目标模块的第二主观模糊权重、所述目标模块对所述自动驾驶系统的第三主观模糊权重，确定所述目标指标对所述自动驾驶系统的整体权重；

第三获取模块，用于通过车载设备获取所述目标指标的第二实际数以及所述目标指标的第二实际数与参考序列的关联系数；

第四确定模块，用于根据所述目标指标对所述自动驾驶系统的整体权重、所述目标指标的第二实际数与所述参考序列的关联系数，得到所述自动驾驶系统的综合评价值；

展示模块，用于展示所述自动驾驶系统的综合评价值，以便于评测所述自动驾驶系统的性能。

在一种实施例中，第一获取模块包括：

第一获取子模块，用于获取所述目标指标间的第一模糊数以及所述目标指标的第一实际数；

第一构建子模块，用于根据所述目标指标间的第一模糊数，构建多个来源对应的多个第一模糊矩阵；

第一整合子模块，用于将所述多个第一模糊矩阵进行整合，得到所述目标指标对上属目标准则的第一模糊矩阵；

第一确定子模块，用于对所述第一模糊矩阵去模糊化处理，得到所述目标指标对上属目标准则的第一主观模糊权重；

第二确定子模块，用于根据所述目标指标的第一实际数确定所述目标指标对上属目标准则的第一客观评价权重。

在一种实施例中，第二获取模块，包括：

第三确定子模块，用于根据所述目标准则间的第二模糊数，确定所述目标准则对上属目标模块的第二主观模糊权重；

第四确定子模块，用于根据所述目标模块间的第三模糊数，确定所述目标模块对所述自动驾驶系统的第三主观模糊权重。

在一种实施例中，第三获取模块，包括：

第二获取子模块，用于通过车载设备获取所述目标指标的第二实际数；

第五确定子模块，用于根据所述目标指标的标准数值生成参考序列，并确定所述目标指标的第二实际数与所述参考序列的关联系数。

在一种实施例中，第一确定子模块具体用于：对所述第一模糊矩阵去模糊化处理，得到所述目标指标对上属目标准则的待处理第一主观模糊权重；对所述待处理第一主观模糊权重进行归一化处理，得到所述目标指标对上属目标准则的第一主观模糊权重。

在一种实施例中，第二确定子模块具体用于：根据所述目标指标的第一实际数，确定所述目标指标对上属目标准则的第一客观矩阵；对所述第一客观矩阵进行熵权法计算，得到所述目标指标对上属目标准则的第一客观评价权重，其中：所述根据所述目标指标的第一实际数，确定所述目标指标对上属目标准则的第一客观矩阵的步骤，包括：获取所述目标指标的多个测量样本；根据所述多个测量样本，构建初始客观矩阵；对所述初始客观矩阵进行标准化处理，得到所述目标指标对上属目标准则的第一客观矩阵。

在一种实施例中，第五确定子模块具体用于：对所述目标指标的第二实际数进行无量纲化处理，得到所述目标指标的无量纲数；根据所述目标指标的标准数值生成参考序列；基于所述参考序列对所述目标指标的无量纲数进行灰色关联度计算，得到所述目标指标的第二实际数与所述参考序列的关联系数。

在一种实施例中，第四确定模块包括：

第六确定子模块，用于针对所述目标指标，将所述目标指标对所述自动驾驶系统的整体权重与所述目标指标的第二实际数与所述参考序列的关联系数对应相乘，得到所述目标指标对应的关联度；

第六确定子模块，用于将所述关联度累计相加，得到所述自动驾驶系统的综合评价值。

一方面，本申请提供了一种服务器，其包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行程序时实现如上述方法的步骤。

一方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有多条指令，所述指令适于由处理器加载以执行上述方法中的步骤。

有益效果：本申请提供一种系统性能的评测方法及装置，该方法先确定目标指标对上属目标准则的第一主观模糊权重、目标指标对上属目标准则的第一客观评价权重，由第一主观模糊权重和第一客观评价权重，得到目标指标对上属目标准则的第一综合权重，再确定目标准则对上属目标模块的第二主观模糊权重、目标模块对自动驾驶系统的第三主观模糊权重，根据第一综合权重、第二主观模糊权重、第三主观模糊权重，得到目标指标对自动驾驶系统的整体权重，最后根据整体权重和目标指标对应的关联系数，得到自动驾驶系统的综合评价值，最后展示自动驾驶系统的综合评价值，以便于评测所述自动驾驶系统的性能。本申请将专家经验和历史数据结合，利用模糊层次分析法、熵权法以及灰色关联分析法对系统性能进行评测，不仅可以实现对系统性能的整体评价，也可以实现对系统各指标的单独评价，可以有效地规避因人主观感受的不同造成的评测结果差异，提高了评测结果的准确性。

附图说明

为了更清楚地说明本申请中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请提供的系统性能的评测场景示意图。

图2为本申请提供的系统性能的评测方法的一种流程示意。

图3为本申请提供的系统性能的评测装置的一种结构示意图。

图4为本申请提供的系统分层示意图。

图5为本申请提供的服务器的结构示意图。

具体实施方式

下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请的描述中，需要理解的是，说明书和权利要求书以及附图中的术语“第一”、“第二”等适用于区别类似的对象，而不必用于描述特定的顺序或先后次序，应理解这样使用的术语在适当的情况下可以互换，以便这里描述的实施例能够以除了在附图或者描述的内容以外的顺序实施。此外，术语“包括”以及它们的任何变形，意图在于覆盖不排他的包含。

在本申请中，所述目标模块主要是指在自动驾驶系统中根据功能划分的模块，例如：感知模块、定位模块、预测模块、规划模块、控制模块等；所述目标准则是指目标模块中主要关注的性能，例如：准确性、稳定性、舒适性等；所述目标指标是指主要影响目标准则的指标，例如：影响控制模块的舒适性的指标有：平均冲击度、最大冲击度、最大加速度等；影响控制模块准确性的指标有：加速度最大偏差、速度最大偏差等。

在本申请中，多个来源下的目标指标的评分包括但不局限于不同的专家评分。

在本申请中，对于两个系统之间的因素，其随时间或不同对象而变化的关联性大小的量度，称为关联度。在系统发展过程中，若两个因素变化的趋势具有一致性，即同步变化程度较高，即可谓二者关联程度较高；反之，则较低。因此，灰色关联分析方法，是根据因素之间发展趋势的相似或相异程度，亦即“灰色关联度”，作为衡量因素间关联程度的一种方法，两个系统可以理解为一个是本申请中的项目标指标都达到标准状态下的理想系统，另一个是目标指标在实际状态下的实际系统，通过灰色关联度计算得到实际系统中目标指标的实际数与理想系统中指标的标准数值间的关联度大小，指标的实际数与标准数值间的相关度越大表示该项指标更接近标准数值，也就是该项指标评分更高。

请参阅图1，图1为本申请提供的系统性能的评测场景示意图，如图1所示，将自动驾驶系统分为以下四个层次，目标层、模块层、准则层、指标层，模块层包括：感知模块、控制模块等；感知模块包括：准确性1、稳定性等；控制模块包括：准确性2、舒适性等；准确性1包括：静态障碍物识别准确性平均值、动态障碍物识别准确性平均值；稳定性包括：不同类别障碍物识别准确率标准差、同一类别不同障碍物识别准确率最大偏差等；准确性2包括加速度最大偏差、速度最大偏差；舒适性包括平均冲击度、最大冲击度等。将自动驾驶系统分为四个层次后，再对自动驾驶系统进行性能评测。

自动驾驶系统的性能评测方法为：获取静态障碍物识别准确性平均值(目标指标1)相对于自身(目标指标1)的第一模糊数a₁₁、静态障碍物识别准确性平均值(目标指标1)相对于动态障碍物识别准确性平均值(目标指标2)的第一模糊数a₁₂、动态障碍物识别准确性平均值(目标指标2)相对于静态感知平均值(目标指标1)的第一模糊数a₂₁、动态障碍物识别准确性平均值(目标指标2)相对于自身(目标指标2)的第一模糊数a₂₂；不同类别障碍物识别准确率标准差(目标指标3)相对于自身(目标指标3)的第一模糊数a₃₃、不同类别障碍物识别准确率标准差(目标指标3)相对于同一类别不同障碍物识别准确率最大偏差(目标指标4)的第一模糊数a₃₄、同一类别不同障碍物识别准确率最大偏差(目标指标4)相对于自身(目标指标4)的第一模糊数a₄₄、同一类别不同障碍物识别准确率最大偏差(目标指标4)相对于不同类别障碍物识别准确率标准差(目标指标3)的第一模糊数a₄₃；加速度最大偏差(目标指标5)相对于自身(目标指标5)的第一模糊数a₅₅、加速度最大偏差(目标指标5)相对于速度最大偏差(目标指标6)的第一模糊数a₅₆、速度最大偏差(目标指标6)相对于自身(目标指标6)的第一模糊数a₆₆、速度最大偏差(目标指标6)相对于加速度最大偏差(目标指标5)的第一模糊数a₆₅；平均冲击度(目标指标7)相对于自身(目标指标7)的第一模糊值a₇₇、平均冲击度(目标指标7)相对于最大冲击度(目标指标8)的第一模糊值a₇₈、最大冲击度(目标指标8)相对于自身(目标指标8)的第一模糊值a₈₈、最大冲击度(目标指标8)相对于平均冲击度(目标指标7)的第一模糊值a₈₇，以及静态障碍物识别准确性平均值的第一实际数b₁、动态障碍物识别准确性平均值b₂、不同类别障碍物识别准确率标准差b₃、同一类别不同障碍物识别准确率最大偏差b₄、加速度最大偏差b₅、速度最大偏差b₆、平均冲击度b₇、最大冲击度b₈。

下一步，根据目标指标间的第一模糊数确定静态障碍物识别准确性平均值对准确性1的第一主观模糊权重W_{index_rule_f}11、动态障碍物识别准确性平均值对准确性1的第一主观模糊权重W_{index_rule_f}12、不同类别障碍物识别准确率标准差对稳定性的第一主观模糊权重W_{index_rule_f}21、同一类别不同障碍物识别准确率最大偏差对稳定性的第一主观模糊权重W_{index_rule_f}22、加速度最大偏差对准确性2的第一主观模糊权重W_{index_rule_f}31、速度最大偏差对准确性2的第一主观模糊权重W_{index_rule_f}32、平均冲击度对舒适性的第一主观模糊权重W_{index_rule_f}41、最大冲击度对舒适性的第一主观模糊权重W_{index_rule_f}42；根据目标指标的第一实际数确定静态障碍物识别准确性平均值对准确性1的第一客观评价权重W_{index_rule_e}11、动态障碍物识别准确性平均值对准确性1的第一客观评价权重W_{index_rule_e}12、不同类别障碍物识别准确率标准差对稳定性的第一客观评价权重W_{index_rule_e}21、同一类别不同障碍物识别准确率最大偏差对稳定性的第一客观评价权重W_{index_rule_e}22、加速度最大偏差对准确性2的第一客观评价权重W_{index_rule_e}31、速度最大偏差对准确性2的第一客观评价权重W_{index_rule_e}32、平均冲击度对舒适性的第一客观评价权重W_{index_rule_e}41、最大冲击度对舒适性的第一客观评价权重W_{index_rule_e}42。

再根据所述目标指标对上属目标准则的第一主观模糊权重和第一客观评价权重，确定所述目标指标对上属目标准则的第一综合权重，静态障碍物识别准确性平均值对准确性1的第一综合权重为W_{index_rule_s}11、动态障碍物识别准确性平均值对准确性1的第一综合权重W_{index_rule_s}12、不同类别障碍物识别准确率标准差对稳定性的第一综合权重W_{index_rule_ s}21、同一类别不同障碍物识别准确率最大偏差对稳定性的第一综合权重W_{index_rule_s}22、加速度最大偏差对准确性2的第一综合权重W_{index_rule_s}31、速度最大偏差对准确性2的第一综合权重W_{index_rule_s}31、平均冲击度对舒适性的第一综合权重W_{index_rule_s}41、最大冲击度对舒适性的第一综合权重W_{index_rule_s}42。

下一步，根据所述目标准则间的第二模糊数，确定所述目标准则对上属目标模块的第二主观模糊权重，如上所述，先确定准确性1(目标准则1)相对于自身(目标准则1)的第二模糊数c₁₁、准确性1(目标准则1)相对于稳定性(目标准则2)的第二模糊数c₁₂、稳定性(目标准则2)相对于自身(目标准则2)的第二模糊数c₂₂、稳定性(目标准则2)相对于准确性1(目标准则1)的第二模糊数c₂₁、准确性2(目标准则3)相对于自身(目标准则3)的第二模糊数c₃₃、准确性2(目标准则3)相对于舒适性(目标准则4)的第二模糊数c₃₄、舒适性(目标准则4)相对于自身(目标准则4)的第二模糊数c₄₄、舒适性(目标准则4)相对于准确性2(目标准则3)的第二模糊数c₄₃；根据所述目标准则间的第二模糊数，确定所述目标准则对上属目标模块的第二主观模糊权重，即：得到准确性1对感知模块的第二主观模糊权重W_{rule_module_f}11、稳定性对感知模块的第二主观模糊权重W_{rule_module_f}12、准确性2对控制模块的第二主观模糊权重W_{rule_module_f}21、舒适性对控制模块的第二主观模糊权重W_{rule_module_f}22。

再根据所述目标模块间的第三模糊数，确定所述目标模块对所述自动驾驶系统的第三主观模糊权重，如上述内容所述，先确定感知模块(目标模块1)相对于自身(目标模块1)的第三模糊数d₁、感知模块(目标模块1)相对于控制模块(目标模块2)的第三模糊数d₂、控制模块(目标模块2)相对于自身(目标模块2)的第三模糊数d₃、控制模块(目标模块2)相对于感知模块(目标模块1)的第三模糊数d₄，确定目标模块对所述自动驾驶系统的第三主观模糊权重，即：得到感知模块对目标层的第三主观模糊权重、控制模块对目标层的第三主观模糊权重W_{module_target_f}2。

再根据目标指标对上属目标准则的第一综合权重、目标准则对上属目标模块的第二主观模糊权重、目标模块对所述自动驾驶系统的第三主观模糊权重，确定目标指标对所述自动驾驶系统的整体权重，即：静态障碍物识别准确性平均值(目标指标1)对目标层的整体权重W1＝W_{index_rule_s}11×W_{rule_module_f}11×W_{module_target_f}1、动态障碍物识别准确性平均值(目标指标2)对目标层的整体权重W2＝W_{index_rule_s}12×W_{rule_module_f}11×W_{module_target_f}1、不同类别障碍物识别准确率标准差(目标指标3)对目标层的整体权重W3＝W_{index_rule_s}21×W_{rule_module_f}12×W_{module_target_f}1、同一类别不同障碍物识别准确率最大偏差(目标指标4)对目标层的整体权重W4＝W_{index_rule_s}22×W_{rule_module_f}12×W_{module_target_f}1、加速度最大偏差(目标指标5)对目标层的整体权重W5＝W_{index_rule_s}31×W_{rule_module_f}21×W_{module_target_f}2、速度最大偏差(目标指标6)对目标层的整体权重W6＝W_{index_rule_s}32×W_{rule_module_f}21×W_{module_target_ f}2、平均冲击度(目标指标7)对目标层的整体权重W7＝W_{index_rule_s}41×W_{rule_module_f}22×W_{module_target_f}2、最大冲击度(目标指标8)对目标层的整体权重W8＝W_{index_rule_s}42×W_{rule_module_f}22×W_{module_target_f}2。

下一步，通过车载设备获取所述目标指标的第二实际数，其中，第二实际数是根据在实际路测中得到的历史数据；根据所述目标指标的标准数值生成参考序列，其中标准数是各项指标的理想数值，并确定目标指标的第二实际数与所述参考序列的关联系数；例如：在软件版本1下，目标指标1对应的第二是实际数为s₁、目标指标2对应的第二是实际数为s₂、目标指标3对应的第二是实际数为s₃，以此类推，目标指标8对应的第二是实际数为s₈；目标指标1对应的标准数为z₁、目标指标2对应的标准数为z₂、目标指标3对应的标准数为z₃，以此类推，目标指标8对应的标准数为z₈，则根据所述目标指标的标准数值生成参考序列为(z₁、z₂、z₃、z₄、z₅、z₆、z₇、z₈)，根据灰色关联度计算，得到目标指标1与参考序列的关联系数r₁、目标指标2与参考序列的关联系数r₂、目标指标3与参考序列的关联系数r₃、目标指标4与参考序列的关联系数r₄、目标指标5与参考序列的关联系数r₅、目标指标6与参考序列的关联系数r₆、目标指标7与参考序列的关联系数r₇、目标指标8与参考序列的关联系数r₈。

最后，根据所述目标指标对所述自动驾驶系统的整体权重、所述目标指标的第二实际数与所述参考序列的关联系数，得到所述自动驾驶系统的综合评价值，例如：软件版本1下自动驾驶系统的综合评价值Q1＝(W1×r₁)+(W2×r₂)+(W3×r₃)+(W4×r₄)+(W5×r₅)+(W6×r₆)+(W7×r₇)+(W8×r₈)，参考上述内容可以得到软件版本2下自动驾驶系统的综合评价值Q2、软件版本3下自动驾驶系统的综合评价值Q3、软件版本4下自动驾驶系统的综合评价值Q4，最后，展示自动驾驶系统的综合评价值，以便于评测所述自动驾驶系统的性能，自动驾驶系统的综合评价值越高对应的软件版本的系统性能越好。

需要说明的是，图1所示的系统场景示意图仅仅是一个示例，本申请描述的场景是为了更加清楚的说明本申请的技术方案，并不构成对于本申请提供的技术方案的限定，本领域普通技术人员可知，随着系统的演变和新业务场景的出现，本申请提供的技术方案对于类似的技术问题，同样适用。

以下分别进行详细说明。需说明的是，以下实施例的序号不作为对实施例优选顺序的限定。

图2为本申请提供的系统性能的评测方法的一种流程示意；请参阅图2，该系统性能的评测方法包括：

在步骤201中，根据评测需求确定自动驾驶系统下属的目标模块、目标模块下属的目标准则、目标准则下属的目标指标。

图4为本申请提供的系统分层示意图，自动驾驶系统下属模块为：目标模块1、目标模块2，目标模块1下属准则为：目标准则1、目标准则2，目标模块2下属准则为：目标准则3、目标准则4，目标准则1下属指标为：目标指标1、目标指标2，目标准则2下属指标为：目标指标3、目标指标4，目标准则3下属指标为：目标指标5、目标指标6，目标准则4下属指标为：目标指标7、目标指标8。

在步骤202中，获取目标指标对上属目标准则的第一主观模糊权重和第一客观评价权重。

在一种实施例中，所述获取所述目标指标对上属目标准则的第一主观模糊权重和第一客观评价权重的步骤，包括：获取所述目标指标间的第一模糊数以及所述目标指标的第一实际数；根据所述目标指标间的第一模糊数，构建多个来源对应的多个第一模糊矩阵；将所述多个第一模糊矩阵进行整合，得到所述目标指标对上属目标准则的第一模糊矩阵；对所述第一模糊矩阵去模糊化处理，得到所述目标指标对上属目标准则的第一主观模糊权重；根据所述目标指标的第一实际数确定所述目标指标对上属目标准则的第一客观评价权重。

在一种实施例中，在所述获取所述目标指标间的第一模糊数以及所述目标指标的第一实际数的步骤之前，还包括：获取多个来源下的目标指标间的评分；基于预设语义转换表，将所述评分转化成对应的第一模糊数。

以下内容为例进行说明，多个来源下的目标指标间的评分来自多位专家对目标指标间的评分，专家1对目标指标1相对于目标指标2的评分是“稍微重要”；目标指标3相对于目标指标4的评分是“重要”；目标指标5相对于目标指标6的评分是“稍微重要”；目标指标7相对于目标指标8的评分是“稍微重要”，表1为预设语义转换表，根据表1所示的转换关系可以将专家评分转换成对应的三角模糊数，其中，模糊数的形态有很多，包括了正态分布、梯形分布、三角形分布、S型分布等。以下仅以三角分布为例来说明，用(l,m,u)的参数形式表示。其中，l≤m≤u，l，m，u分别代表模糊集的下限值、中值、上限值。

根据表1中的对应关系将专家1评分转换成对应的三角模糊数，目标指标1相对于目标指标1的评分转化成的第一模糊数a₁₁为(1,1,1)；目标指标1相对于目标指标2的评分转化成的第一模糊数a₁₂为(1,2,3)；目标指标3相对于目标指标3的评分转化成的第一模糊数a₃₃为(1,1,1)，目标指标3相对于目标指标4的评分转化成的第一模糊数a₃₄为(3,5,7)；目标指标5相对于目标指标5的评分转化成的第一模糊数a₅₅为(1,1,1)，目标指标5相对于目标指标6的评分转化成的第一模糊数a₅₆为(1,2,3)；目标指标7相对于目标指标7的评分转化成的第一模糊数a₇₇为(1,1,1)；目标指标7相对于目标指标8的评分转化成的第一模糊数a₇₈为(1,2,3)。

表1

在模糊数转换中，a_ij代表指标i相对指标j的重要程度的模糊数，当i≠j时，l_ji＝1/u_ij，m_ji＝1/m_ij，u_ji＝1/u_ij，当i＝j时，l_ij＝l_ji＝1，m_ij＝m_ji＝1，u_ij＝u_ji＝1，(公式1)，根据上述转换关系，可以得到目标指标2相对于目标指标2的评分转化成的第一模糊数a₂₂为(1,1,1)；目标指标2相对于目标指标1的评分转化成的第一模糊数a₂₁为(1/3,1/2,1)；目标指标4相对于目标指标4的评分转化成的第一模糊数a₄₄为(1,1,1)；目标指标4相对于目标指标3的评分转化成的第一模糊数a₄₃为(1/7,1/5,1/3)；目标指标6相对于目标指标6的评分转化成的第一模糊数a₆₆为(1,1,1)；目标指标6相对于目标指标5的评分转化成的第一模糊数a₆₅为(1/3,1/2,1)；目标指标8相对于目标指标8的评分转化成的第一模糊数a₈₈为(1,1,1)；目标指标8相对于目标指标7的评分转化成的第一模糊数a₈₇为(1/3,1/2,1)。

如上述内容中得到的专家1对目标指标间的第一模糊数，确定目标指标对上属目标准则的第一模糊矩阵，模糊矩阵对应关系如表2所示。

表2

矩阵A	目标指标1	目标指标2	…	目标指标n
					目标指标1	a<sub>11</sub>	a<sub>12</sub>		a<sub>1n</sub>
目标指标2	a<sub>21</sub>	a<sub>22</sub>		a<sub>2n</sub>
					…
目标指标n	a<sub>n1</sub>	a<sub>n2</sub>		a<sub>nn</sub>

根据目标指标间的第一模糊数，得到目标指标对上属目标准则的第一模糊矩阵的常见形式为：

例如：专家1评分对应的目标指标1和目标指标2对上述准确性1的第一模糊矩阵A₁₂为

目标指标3和目标指标4对上述稳定性的第一模糊矩阵A₂₁为

目标指标5和目标指标6对上述准确性2的第一模糊矩阵A₃₁为

目标指标7和目标指标8对上述舒适性的第一模糊矩阵A₄₁为

根据所述目标指标间的第一模糊数，构建多个来源对应的多个第一模糊矩阵；将所述多个第一模糊矩阵进行整合，得到目标指标对上属目标准则的第一模糊矩阵的步骤详细说明如下：

如上所述，将专家2对目标指标的评分转换成对应的第一模糊矩阵，假设，专家2评分对应的目标指标1和目标指标2对上述准确性1的第一模糊矩阵为A’₁₂，目标指标3和目标指标4对上述稳定性的第一模糊矩阵为A’₂₁，目标指标5和目标指标6对上述准确性2的第一模糊矩阵为A’₃₁，目标指标7和目标指标8对上述舒适性的第一模糊矩阵为A’₄₁，再将专家1评分对应的第一模糊矩阵与专家2评分对应的第一模糊矩阵进行整合。

例如：模糊矩阵

模糊矩阵

将A1、A2进行整合得到的矩阵：

为说明方便假设专家1与专家2的对目标指标间的评分完全相同(实际上可能会不完全相同)，根据上述公式2，将目标指标1和目标指标2对上述准确性1的第一模糊矩阵A₁₂、A’₁₂进行整合，得到目标指标1和目标指标2对上述准确性1整合后的第一模糊矩阵A1，由计算可知，即A1＝A₁₂＝A’₁₂，将目标指标3和目标指标4对上述稳定性的第一模糊矩阵A₂₁、A’₂₁进行整合，得到目标指标3和目标指标4对上述稳定性整合后的第一模糊矩阵A2，由计算可知A2＝A₂₁＝A’₂₁，将目标指标5和目标指标6对上述准确性2的第一模糊矩阵A₃₁、A’₃₁进行整合，得到目标指标5和目标指标6对上述准确性2整合后的第一模糊矩阵A3，由计算可知A3＝A₃₁＝A’₃₁，目标指标7和目标指标8对上述舒适性的第一模糊矩阵A₄₁、A’₄₁进行整合，得到目标指标7和目标指标8对上述舒适性整合后的第一模糊矩阵A4，由计算可知A4＝A₄₁＝A’₄₁。

得到第一模糊矩阵后，下一步就需要对第一模糊矩阵去模糊化处理，得到目标指标对上属目标准则的第一主观模糊权重。

在一种实施例中，所述对所述第一模糊矩阵去模糊化处理，得到所述目标指标对上属目标准则的第一主观模糊权重的步骤，包括：对所述第一模糊矩阵去模糊化处理，得到所述目标指标对上属目标准则的待处理第一主观模糊权重；对所述待处理第一主观模糊权重进行归一化处理，得到所述目标指标对上属目标准则的第一主观模糊权重。其中，先对第一模糊矩阵进行初始处理，得到目标指标对应的第一初始权重，再对第一初始权重进行去模糊化计算得到待处理第一主观模糊权重，最后，对待处理第一主观模糊权重进行归一化处理，得到目标指标对上属目标准则的第一主观模糊权重。

以下内容为具体的计算方法，去模糊化的计算公式为：

i＝1,2,3…n，其中，假设：模糊数a₁＝(l₁,m₁,u₁)，模糊数a₂＝(l₂,m₂,u₂)，则模糊数间的运算公式为：a₁+a₂＝(l₁+l₂,m₁+m₂,u₁+u₂)，a₁×a₂＝(l₁l₂,m₁m₂,u₁u₂)；1/a₁＝(1/u₁,1/m₁,1/l₁)(公式4)。由第一模糊矩阵A1来计算目标指标1和目标值2分别对准确性1的第一主观模糊权重W_{index_rule_f}11和W_{index_rule_f}12，例如

第一步：目标指标1的第一初始权重计算过程如下：

目标指标2的第一初始权重计算过程如下：

第二步：将第一初始权重进行去模糊化计算得到待处理第一主观模糊权重。

计算公式如下：

W’_{index_rule_f}iy＝P(D_i≥D₁，D₂，D_i,….D_n)＝minP(D_i≥D_j)，j＝1，2，…n，j≠i，其中，i代表第i个目标指标，j代表第j个目标指标，y代表第i个目标指标的上属目标准则为目标准则y，W’_{index_rule_f}iy代表目标指标i对上属目标准则y的待处理第一主观模糊权重，D_i≥D_j表示第i个目标指标的待处理第一主观模糊权重大于等于第j个目标指标的待处理第一主观模糊权重，P(D_i≥D_j)代表第i个目标指标的待处理第一主观模糊权重大于等于第j个目标指标的待处理第一主观模糊权重的可能度，minP(D_i≥D_j)代表第i个目标指标的待处理第一主观模糊权重大于等于第j个目标指标的待处理第一主观模糊权重的可能度中的最小值。

例如：有3个目标指标，则目标指标1对上属目标准则的待处理第一主观模糊权重W’_{index_rule_f}3等于P(D₁≥D₂)、P(D₁≥D₃)中可能度的最小值，若P(D₁≥D₂)＝y1，P(D₁≥D₃)＝y2，且y2≥y1，则W’_{index_rule_f}3＝P(D₁≥D₂)＝y1，D_i和D_j分别代表第i和j个指标的待处理第一主观模糊权重。

计算目标指标1和目标指标2对上属目标准则的待处理第一主观模糊权重步骤如下：

W’_{index_rule_f}11＝P(D₁≥D₂)＝1，(m₁≥m₂)

最后一步，将待处理第一主观模糊权重进行归一化处理，得到目标指标对上属目标准则的第一主观模糊权重，因为不同指标往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理，原始数据经过归一化处理后，指标处于同一数量级，便于进行综合对比评价。

归一化计算公式：

其中，

W_{index_rule_f} iy表示第i个目标指标对上属目标准则y的第一主观模糊权重。

由上述公式6可知，第1个目标指标对上属目标准则1的第一主观模糊权重

由上述公式6可知，第2个目标指标对上属目标准则1的第一主观模糊权重

目标指标3和目标指标4的分别对上属目标准则2的第一主观模糊权重记为W_{index_rule_f} 21和W_{index_rule_f} 22，目标指标5和目标指标6的分别对上属目标准则3的第一主观模糊权重记为W_{index_rule_f} 31和W_{index_rule_f} 32，目标指标7和目标指标8的分别对上属目标准则4的第一主观模糊权重记为W_{index_rule_f} 41和W_{index_rule_f} 42，其计算过程参考上述内容，在此不做赘述。

以上内容是对获取目标指标对上属目标准则的第一主观模糊权重进行的详细举例说明，以下内容将对获取目标指标对上属目标准则的第一客观评价权重进行详细举例说明。

在一种实施例中，所述根据所述目标指标的第一实际数确定所述目标指标对上属目标准则的第一客观评价权重的步骤，包括：根据所述目标指标的第一实际数，确定所述目标指标对上属目标准则的第一客观矩阵；对所述第一客观矩阵进行熵权法计算，得到所述目标指标对上属目标准则的第一客观评价权重。

在一种实施例中，所述根据所述目标指标的第一实际数，确定所述目标指标对上属目标准则的第一客观矩阵的步骤，包括：获取所述目标指标的多个测量样本；根据所述多个测量样本，构建初始客观矩阵；对所述初始客观矩阵进行标准化处理，得到所述目标指标对上属目标准则的第一客观矩阵。

其中，从测量样本中获取目标指标的数据为初始数据，初始数据需要经过标准化处理后才能转换成标准化数据，即上文中的第一实际数，下面进行举例说明，获取所述目标指标的多个测量样本，其中，多个测量样本可以是实际路测中得到的历史数据，例如：第1个测量样本里面，静态障碍物识别准确性平均值(目标指标1)大小为：2；动态障碍物识别准确性平均值(目标指标2)的大小为3；不同类别障碍物识别准确率标准差(目标指标3)的大小为1；同一类别不同障碍物识别准确率最大偏差(目标指标4)的大小为2；加速度最大偏差(目标指标5)的大小为1；速度最大偏差(目标指标6)的大小为3；平均冲击度(目标指标7)的大小为2；最大冲击度(目标指标8)的大小为1，即测量样本1中目标指标的第一实际数依次为：2，3，1，2，1，3，2，1，根据上述步骤获取测量样本2中目标指标的第一实际数依次为：2，2，2，2，2，2，2，2；测量样本3中目标指标的第一实际数依次为：1，1，1，1，1，1，1，1。在实际计算中会选取大量的测量样本，在此为方便说明只选取3个测量样本，上述数据取值只是为方便说明，实际中目标指标取值不等于本申请中所取，初始客观矩阵的形式为

其中，目标指标的测量样本有m个，目标指标有n个，d_ij为第i个测量样本的第j个目标指标的初始数据。

第一步：构建初始客观矩阵，由测量样本1、测量样本2、测量样本3中的数据，可以构建初始客观矩阵b，

第二步：对初始客观矩阵进行标准化处理，得到目标指标对上属目标准则的第一客观矩阵，即对初始客观矩阵中的初始数据进行标准化处理，标准化处理与上述内容中的归一化处理效果相同，在此不做赘述。

标准化后得到的第一客观矩阵

其中，i＝1,2,3…m,j＝1,2,3…n，D_ij代表第i个测量样本中的第j个目标指标的标准数据即第一实际数。

由标准化计算公式可知，D_ij＝d_1j/(d_1j+d_2j+d_3j+…d_mj)(公式7)，其中，d_1j表示第1个测量样本中第j个目标指标的初始数据，d_2j表示第2个测量样本中第j个目标指标的初始数据；D_mj表示第m个测量样本中第j个目标指标的初始数据，由上述公式7计算可得第一客观矩阵

接下来计算目标指标的信息熵

其中，E_j表示第j个指标的信息熵，以下分别计算目标指标的信息熵。

目标指标1的信息熵

目标指标2的信息熵

以此类推，目标指标8的信息熵

下一步，根据目标指标的信息熵，得到目标指标对目标准则层的第一综合客观评价权重W_{index_rule_e}，W_{index_rule_e} i表示第i个目标指标对目标准则层的第一综合客观评价权重，

由公式9可得到目标指标1对目标准则层的第一综合客观评价权重

由公式9可得到目标指标2对上述目标准则层的第一综合客观评价权重

依次类推，可以得到目标指标3和目标指标4的分别对目标准则层的第一综合客观评价权重记为W_{index_rule_e}3和W_{index_rule_e}4，目标指标5和目标指标6的分别对目标准则层的第一综合客观评价权重记为W_{index_rule_e} 5和W_{index_rule_e} 6，目标指标7和目标指标8的分别对目标准则层的第一客观评价权重记为W_{index_rule_e}7和W_{index_rule_e}8。

最后一步，在得到各个目标指标对目标准则层的第一综合客观评价权重后，需要对各个目标指标对目标准则层的第一综合客观评价权重进行归一化处理,得到各个目标指标对上属目标准则的第一综合评价权重。

归一化公式为：

其中，W_{index_rule_e}iy表示第i个目标指标对上属目标准则y的第一客观评价权重，W_{index_rule_e} i表示第i个目标指标对目标准则层的第一综合客观评价权重，num表示目标准则y下的目标指标总数。

由公式10可得到目标指标1对上述目标准则1的第一客观评价权重

目标指标2对上述目标准则1的第一客观评价权重

目标指标3上属目标准则2的第一客观评价权重

目标指标4上属目标准则2的第一客观评价权重记

以此类推，求出目标指标5和目标指标6的分别对上属目标准则3的第一客观评价权重W_{index_rule_e} 31和W_{index_rule_e} 32，目标指标7和目标指标8的分别对上属目标准则4的第一客观评价权重W_{index_rule_e} 41和W_{index_rule_e}42。

在步骤203中，根据目标指标对上属目标准则的第一主观模糊权重和第一客观评价权重，确定目标指标对上属目标准则的第一综合权重。

在上述内容中，已经确定目标指标对上属目标准则的第一主观迷糊权重和第一客观评价权重，接下来就是根据目标指标对上属目标准则的第一主观迷糊权重和第一客观评价权重，确定目标指标对上属目标准则的第一综合权重，第一综合权重计算公式为

其中，W_{index_rule_s} iy表示第i个目标指标对上属目标准则y的第一综合权重，W_{index_rule_f} iy表示第i个目标指标对上属目标准则y的第一主观模糊权重，W_{index_rule_e} iy表示第i个目标指标对上属目标准则y的第一客观评价权重，num表示目标准则y下的目标指标总数，则目标指标1对上属目标准则1的第一综合权重

目标指标2对上属目标准则1的第一综合权重

目标指标3对上属目标准则2的第一综合权重

以此类推，目标指标7对上述目标准则4的第一综合权重

目标指标8对上述目标准则4的第一综合权重

在步骤204中，获取目标准则对上属目标模块的第二主观模糊权重和目标模块对自动驾驶系统的第三主观模糊权重。

在一种实施例中，所述获取所述目标准则对上属目标模块的第二主观模糊权重和所述目标模块对所述自动驾驶系统的第三主观模糊权重的步骤，包括：根据所述目标准则间的第二模糊数，确定所述目标准则对上属目标模块的第二主观模糊权重；根据所述目标模块间的第三模糊数，确定所述目标模块对所述自动驾驶系统的第三主观模糊权重。

因为不同决策者的期望存在一定差异，所以模糊层次分析法是确定目标准则对上属目标模块权重的主要手段，参考上述步骤202中的举例内容，首先根据专家评分，将评分转化成目标准则间的第二模糊数，专家对目标准则1相对于目标准则2的评分是“稍微重要”；目标准则3相对于目标准则4的评分是“重要”，则目标准则1相对于目标准则2的评分转化成的第二模糊数c₁₂为(1,2,3)；目标准则3相对于目标准则3的评分转化成的第二模糊数c₃₃为(1,1,1)，目标准则3相对于目标准则4的评分转化成的第二模糊数c₃₄为(3,5,7),由公式1中的转换关系可以得到则目标准则2相对于目标准则1的评分转化成的第二模糊数c₂₁为(1/3,1/2,1)；目标准则4相对于目标准则4的评分转化成的第二模糊数c₄₄为(1,1,1)，目标准则4相对于目标准则3的评分转化成的第二模糊数c₄₃为(1/7,1/5,1/3)，由上述模糊数可以得到专家评分对应的目标准则1和目标准则2对上述目标模块1的第二模糊矩阵C1为

由上述模糊数可以得到专家评分对应的目标准则3和目标准则4对上述目标模块2的第二模糊矩阵C2为

由第二模糊矩阵C1可以得到目标准则1和目标准则2的第二初始权重，再根据目标准则1和目标准则2的第二初始权重得到待处理第二主观模糊权重，最后根据目标准则1和目标准则2的待处理第二主观模糊权重，得到目标准则1和目标准则2的分别对上属目标模块的第二主观模糊权重，W_{index_rule_f}iy表示第i个目标准则对上属目标模块y的第二主观模糊权重。

由计算可知，第1个目标准则对上属目标模块1的第二主观模糊权重

第2个目标指标对上属目标准则1的第二主观模糊权重

详细计算方法参考上述第一主观模糊权重的计算方法，目标准则3和目标准则4的分别对上属目标模块2的第二主观模糊权重记为W_{rule_module_f} 21和W _{rule_module_f} 22。

对于目标层与模块层的权重而言，该层级涉及各模块对于整个系统的影响，考虑到各评价者对于系统的关注点存在差异，所以采用模糊层次分析法用于确定目标模块对自动驾驶系统的权重，参考上述步骤202中的举例内容，首先根据专家评分，将评分转化成目标模块间的第三模糊数，专家对目标模块1相对于目标模块2的评分是“稍微重要”，则目标模块1相对于目标模块2的评分转化成的第三模糊数d₁₂为(1,2,3)；目标模块1相对于目标模块1的评分转化成的第三模糊数d₁₁为(1,1,1),由公式1中的转换关系可以得到则目标模块2相对于目标模块1的评分转化成的第三模糊数d₂₁为(1/3,1/2,1)；目标模块2相对于目标模块2的评分转化成的第一模糊数d₂₂为(1,1,1)，由上述模糊数可以得到专家评分对应的目标模块1和目标模块2对上述自动驾驶系统的第三模糊矩阵D1为

由第三模糊矩阵D1可以得到目标模块1和目标模块2的第三初始权重，再根据目标模块1和目标模块2的第三初始权重得到待处理第三主观模糊权重，最后根据目标模块1和目标模块2的待处理第三主观模糊权重，得到目标模块1和目标模块2的分别对上属自动驾驶系统的第三主观模糊权重，W_{module_target_f} i表示第i个目标准则对上属性能的第二主观模糊权重。

由计算可知，第1个目标模块对上属自动驾驶系统的第三主观模糊权重

第2个目标模块对上属自动驾驶系统的第三主观模糊权重

详细计算方法参考上述第一主观模糊权重的计算方法。

在步骤205中，根据目标指标对上属目标准则的第一综合权重、目标准则对上属目标模块的第二主观模糊权重、目标模块对自动驾驶系统的第三主观模糊权重，确定目标指标对自动驾驶系统的整体权重。

根据目标指标对上属目标准则的第一综合权重、目标准则对上属目标模块的第二主观模糊权重、目标模块对所述自动驾驶系统的第三主观模糊权重，确定目标指标对所述自动驾驶系统的整体权重，即：静态障碍物识别准确性平均值(目标指标1)对目标层的整体权重W1＝W_{index_rule_s}11×W_{rule_module_f}11×W_{module_target_f}1、动态障碍物识别准确性平均值(目标指标2)对目标层的整体权重W2＝W_{index_rule_s}12×W_{rule_module_f}11×W_{module_target_f}1、不同类别障碍物识别准确率标准差(目标指标3)对目标层的整体权重W3＝W_{index_rule_s}21×W_{rule_module_f}12×W_{module_target_f}1、同一类别不同障碍物识别准确率最大偏差(目标指标4)对目标层的整体权重W4＝W_{index_rule_s}22×W_{rule_module_f}12×W_{module_target_f}1、加速度最大偏差(目标指标5)对目标层的整体权重W5＝W_{index_rule_s}31×W_{rule_module_f}21×W_{module_target_f}2、速度最大偏差(目标指标6)对目标层的整体权重W6＝W_{index_rule_s}32×W_{rule_module_f}21×W_{module_target_ f}2、平均冲击度(目标指标7)对目标层的整体权重W7＝W_{index_rule_s}41×W_{rule_module_f}22×W_{module_target_f}2、最大冲击度(目标指标8)对目标层的整体权重W8＝W_{index_rule_s}42×W_{rule_module_f}22×W_{module_target_f}2。

在步骤206中，通过车载设备获取目标指标的第二实际数以及目标指标的第二实际数与参考序列的关联系数。

在一种实施例中，获取所述目标指标的第二实际数；根据所述目标指标的标准数值生成参考序列，并确定所述目标指标的第二实际数与所述参考序列的关联系数。

目标指标的第二实际数可以是通过车载设备在实际路测中得到的历史数据，车载设备包括但不局限于激光雷达等传感器，软件版本1中，静态障碍物识别准确性平均值(目标指标1)的第二实际数大小为：2；动态障碍物识别准确性平均值(目标指标2)的第二实际数大小为3；不同类别障碍物识别准确率标准差(目标指标3)的第二实际数大小为1；同一类别不同障碍物识别准确率最大偏差(目标指标4)的第二实际数大小为2；加速度最大偏差(目标指标5)的第二实际数大小为1；速度最大偏差(目标指标6)的第二实际数大小为3；平均冲击度(目标指标7)的第二实际数大小为2；最大冲击度(目标指标8)的第二实际数大小为1，即测量样本1中目标指标的第一实际数依次为：2，3，1，2，1，3，2，1，根据上述步骤获取测量样本2中目标指标的第一实际数依次为：2，2，2，2，2，2，2，2；测量样本3中目标指标的第一实际数依次为：1，1，1，1，1，1，1，1，上述数据取值只是为方便说明，实际中目标指标取值不等于本申请中所取。

在一种实施例中，所述根据所述目标指标的标准数值生成参考序列，并确定所述目标指标的第二实际数与所述参考序列的关联系数的步骤，包括：对所述目标指标的第二实际数进行无量纲化处理，得到所述目标指标的无量纲数；根据所述目标指标的标准数值生成参考序列；基于所述参考序列对所述目标指标的无量纲数进行灰色关联度计算，得到所述目标指标的第二实际数与所述参考序列的关联系数。

无量纲化处理效果与上述归一化处理、标准化处理效果相同，假设上述第二实际数在进行无量纲化处理后数据不变，因此在获取目标指标对应的第二实际数之后进行下一步，即：根据所述目标指标的标准数值生成参考序列，其中，目标指标的标准数值都为3，则参考序列为{X₀}＝{3，3，3，3，3，3，3，3}，关联系数计算公式：

其中，r_ij表示第i个版本软件下对应的第j个目标指标的第二实际数，R_oj表示第j个目标指标的标准数，r(r_ij,R_oj)表示第i个版本软件下对应的第j个目标指标与理想参考序列的关联系数，式中，λ为分辨因子，通常取值范围为[0,1]。根据不同的情况选取对应的分辨因子，

a表示：先得到第i个版本软件下对应的所有目标指标的第二实际数与对应的目标指标的标准数间的绝对值的最小值a_i，再在所有a_i中找出最小值，该最小值即为a，b表示：先得到第i个版本软件下对应的所有目标指标的第二实际数与对应的目标指标的标准数间差的绝对值的最大值b_i，再在所有b_i中找出最大值，该最大值即为b，以下举例说明，a、b的求解方法。

如表3所示为|r_ij-R_oj|的取值大小，即：版本软件下对应的目标指标的第二实际数与目标指标的标准数间差的绝对值，如表三所示，第1个版本下目标指标的最小值a₁为0，第2个版本下目标指标的最小值a₂为1，第3个版本下目标指标的最小值a₃为2，又因为a₁、a₂、a₃中最小值为0，因此，a的值为0；第1个版本下目标指标的最大值b₁为2，第2个版本下目标指标的最大值b₂为1，第3个版本下目标指标的最大值b₃为2，又因为b₁、b₂、b₃中最大值为2，因此，b的值为2。

表3

根据上述公式12可以求出不同版本软件下对应的个目标指标与理想参考序列的关联系数，在分辨因子λ取0.5的情况下，第1个软件版本中第1个目标指标的关联度

第1个软件版本中第2个目标指标的关联度

第1个软件版本中第3个目标指标的关联度

第1个软件版本中第4个目标指标的关联度

第1个软件版本中第5个目标指标的关联度

第1个软件版本中第6个目标指标的关联度

第1个软件版本中第7个目标指标的关联度

第1个软件版本中第8个目标指标的关联度

由上述计算方法可以得到第2个软件版本中第1个目标指标的关联度r(r₂₁,R_o1)、第2个软件版本中第2个目标指标的关联度r(r₂₂,R_o2)、第2个软件版本中第3个目标指标的关联度r(r₂₃,R_o3)、第2个软件版本中第4个目标指标的关联度r(r₂₄,R_o4)、第2个软件版本中第5个目标指标的关联度r(r₂₅,R_o5)、第2个软件版本中第6个目标指标的关联度r(r₂₆,R_o6)、第2个软件版本中第7个目标指标的关联度r(r₂₇,R_o7)、第2个软件版本中第8个目标指标的关联度r(r₂₈,R_o8)；第3个软件版本中第1个目标指标的关联度r(r₃₁,R_o1)、第3个软件版本中第2个目标指标的关联度r(r₃₂,R_o2)、第3个软件版本中第3个目标指标的关联度r(r₃₃,R_o3)、第3个软件版本中第4个目标指标的关联度r(r₃₄,R_o4)、第3个软件版本中第5个目标指标的关联度r(r₃₅,R_o5)、第3个软件版本中第6个目标指标的关联度r(r₃₆,R_o6)、第3个软件版本中第7个目标指标的关联度r(r₃₇,R_o7)、第3个软件版本中第8个目标指标的关联度r(r₃₈,R_o8)。

在步骤207中，根据目标指标对自动驾驶系统的整体权重、目标指标的第二实际数与参考序列的关联系数，得到自动驾驶系统的综合评价值。

在一种实施例中，所述根据所述目标指标对所述自动驾驶系统的整体权重、所述目标指标的第二实际数与所述参考序列的关联系数，得到所述自动驾驶系统的综合评价值的步骤，包括：针对所述目标指标，将所述目标指标对所述自动驾驶系统的整体权重与所述目标指标的第二实际数与所述参考序列的关联系数对应相乘，得到所述目标指标对应的关联度；将所述关联度累计相加，得到所述自动驾驶系统的综合评价值。

在得到上述目标指标对自动驾驶系统的整体权重、目标指标的第二实际数与参考序列的关联系数之后，就可以根据上述数据计算自动驾驶系统的综合评价值，第i个版本软件下自动驾驶系统综合评价值

其中，W_j表示第j个目标指标对自动驾驶系统的整体权重，例如：第1个版本软件下自动驾驶系统综合评价值

根据上述计算方法可以得出第2个版本软件下自动驾驶系统综合评价值Q2，第3个版本软件下自动驾驶系统综合评价值Q3。

在步骤208中，展示自动驾驶系统的综合评价值，以便于评测自动驾驶系统的性能。

最后根据综合评价值的大小可以判断哪个软件版本下的自动驾驶系统更好，若Q3>Q2>Q1，则软件版本1下的系统性能更好。

本申请提供一种系统性能的评测方法及装置，该方法先确定目标指标对上属目标准则的第一主观模糊权重、目标指标对上属目标准则的第一客观评价权重，由第一主观模糊权重和第一客观评价权重，得到目标指标对上属目标准则的第一综合权重，再确定目标准则对上属目标模块的第二主观模糊权重、目标模块对自动驾驶系统的第三主观模糊权重，根据第一综合权重、第二主观模糊权重、第三主观模糊权重，得到目标指标对自动驾驶系统的整体权重，最后根据整体权重和目标指标对应的关联系数，得到自动驾驶系统的综合评价值。本申请将专家经验和历史数据结合，利用灰色关联分析法对系统性能进行评测，不仅可以实现对同一个软件版本下的系统性能的整体评价，也可以实现同时对多个软件版本下的系统性能进行整体评价，通过评测结果来横向比较不同软件版本下的系统性能，不仅提高了评测结果的准确性，也提高了测评效率。

为便于更好的实施本申请提供的系统性能的评测方法，本申请还提供一种基于上述系统性能的评测方法的装置。其中名词的含义与上述系统性能的评测方法中相同，具体实现细节可以参考方法实施例中的说明。

图3为本申请提供的系统性能的评测装置的一种结构示意图，请参阅图3，该系统性能的评测装置包括以下模块：

第一确定模块301，用于根据评测需求确定自动驾驶系统下属的目标模块、所述目标模块下属的目标准则、所述目标准则下属的目标指标；

第一获取模块302，用于获取所述目标指标对上属目标准则的第一主观模糊权重和第一客观评价权重；

第二确定模块303，用于根据所述目标指标对上属目标准则的第一主观模糊权重和第一客观评价权重，确定所述目标指标对上属目标准则的第一综合权重；

第二获取模块304，用于获取所述目标准则对上属目标模块的第二主观模糊权重和所述目标模块对所述自动驾驶系统的第三主观模糊权重；

第三确定模块305，用于根据所述目标指标对上属目标准则的第一综合权重、所述目标准则对上属目标模块的第二主观模糊权重、所述目标模块对所述自动驾驶系统的第三主观模糊权重，确定所述目标指标对所述自动驾驶系统的整体权重；

第三获取模块306，用于通过车载设备获取所述目标指标的第二实际数以及所述目标指标的第二实际数与参考序列的关联系数；

第四确定模块307，用于根据所述目标指标对所述自动驾驶系统的整体权重、所述目标指标的第二实际数与所述参考序列的关联系数，得到所述自动驾驶系统的综合评价值；

展示模块308，用于展示所述自动驾驶系统的综合评价值，以便于评测所述自动驾驶系统的性能。

在一种实施例中，第一获取模块302，包括：

第一获取子模块，用于获取所述目标指标间的第一模糊数以及所述目标指标的第一实际数；

第一构建子模块，用于根据所述目标指标间的第一模糊数，构建多个来源对应的多个第一模糊矩阵；

第一整合子模块，用于将所述多个第一模糊矩阵进行整合，得到所述目标指标对上属目标准则的第一模糊矩阵；

第一确定子模块，用于对所述第一模糊矩阵去模糊化处理，得到所述目标指标对上属目标准则的第一主观模糊权重；

第二确定子模块，用于根据所述目标指标的第一实际数确定所述目标指标对上属目标准则的第一客观评价权重。

在一种实施例中，第二获取模块304，包括：

第三确定子模块，用于根据所述目标准则间的第二模糊数，确定所述目标准则对上属目标模块的第二主观模糊权重；

第四确定子模块，用于根据所述目标模块间的第三模糊数，确定所述目标模块对所述自动驾驶系统的第三主观模糊权重。

在一种实施例中，第三获取模块306，包括：

第二获取子模块，用于通过车载设备获取所述目标指标的第二实际数；

第五确定子模块，用于根据所述目标指标的标准数值生成参考序列，并确定所述目标指标的第二实际数与所述参考序列的关联系数。

在一种实施例中，第一确定子模块具体用于：对所述第一模糊矩阵去模糊化处理，得到所述目标指标对上属目标准则的待处理第一主观模糊权重；对所述待处理第一主观模糊权重进行归一化处理，得到所述目标指标对上属目标准则的第一主观模糊权重。

在一种实施例中，第二确定子模块具体用于：根据所述目标指标的第一实际数，确定所述目标指标对上属目标准则的第一客观矩阵；对所述第一客观矩阵进行熵权法计算，得到所述目标指标对上属目标准则的第一客观评价权重，其中：所述根据所述目标指标的第一实际数，确定所述目标指标对上属目标准则的第一客观矩阵的步骤，包括：获取所述目标指标的多个测量样本；根据所述多个测量样本，构建初始客观矩阵；对所述初始客观矩阵进行标准化处理，得到所述目标指标对上属目标准则的第一客观矩阵。

在一种实施例中，第五确定子模块具体用于：对所述目标指标的第二实际数进行无量纲化处理，得到所述目标指标的无量纲数；根据所述目标指标的标准数值生成参考序列；基于所述参考序列对所述目标指标的无量纲数进行灰色关联度计算，得到所述目标指标的第二实际数与所述参考序列的关联系数。

在一种实施例中，第四确定模块307包括：

第六确定子模块，用于针对所述目标指标，将所述目标指标对所述自动驾驶系统的整体权重与所述目标指标的第二实际数与所述参考序列的关联系数对应相乘，得到所述目标指标对应的关联度；

第六确定子模块，用于将所述关联度累计相加，得到所述自动驾驶系统的综合评价值。

以上各模块的具体实施可参见前面的实施例，在此不再赘述。

请参阅图5，相应的，本申请还提供一种服务器，如图5所示，其示出了本申请所涉及的服务器的结构示意图，具体来讲：

该服务器可以包括一个或者一个以上处理核心的处理器501、一个或一个以上计算机可读存储介质的存储器502、电源503和输入单元504等部件。本领域技术人员可以理解，图5中示出的服务器结构并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器501是该服务器的控制中心，利用各种接口和线路连接整个服务器的各个部分，通过运行或执行存储在存储器502内的软件程序和/或模块，以及调用存储在存储器502内的数据，执行服务器的各种功能和处理数据，从而对服务器进行整体监控。可选的，处理器501可包括一个或多个处理核心；优选的，处理器501可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器501中。

存储器502可用于存储软件程序以及模块，处理器501通过运行存储在存储器502的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器502还可以包括存储器控制器，以提供处理器501对存储器502的访问。

服务器还包括给个部件供电的电源503，优选的，电源503可以通过电源管理系统与处理器501逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源503还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该服务器还可包括输入单元504，该输入单元504可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，服务器还可以包括显示子模块等，在此不再赘述。具体在本实施例中，服务器中的处理器501会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器502中，并由处理器501来运行存储在存储器502中的应用程序，从而实现各种功能，如下：

根据评测需求确定自动驾驶系统下属的目标模块、所述目标模块下属的目标准则、所述目标准则下属的目标指标；

获取所述目标指标对上属目标准则的第一主观模糊权重和第一客观评价权重；

根据所述目标指标对上属目标准则的第一主观模糊权重和第一客观评价权重，确定所述目标指标对上属目标准则的第一综合权重；

获取所述目标准则对上属目标模块的第二主观模糊权重和所述目标模块对所述自动驾驶系统的第三主观模糊权重；

根据所述目标指标对上属目标准则的第一综合权重、所述目标准则对上属目标模块的第二主观模糊权重、所述目标模块对所述自动驾驶系统的第三主观模糊权重，确定所述目标指标对所述自动驾驶系统的整体权重；

通过车载设备获取所述目标指标的第二实际数以及所述目标指标的第二实际数与参考序列的关联系数；

根据所述目标指标对所述自动驾驶系统的整体权重、所述目标指标的第二实际数与所述参考序列的关联系数，得到所述自动驾驶系统的综合评价值；

展示所述自动驾驶系统的综合评价值，以便于评测所述自动驾驶系统的性能。

在上述实施例中，对各个实施例的描述都有侧重，某个实施例中没有详述的部分，可以参见上文针对系统性能的评测方法的详细描述，此处不再赘述。

本领域普通技术人员可以理解，上述实施例的种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请所提供的任一种方法中的步骤。例如，该指令可以执行如下步骤：

根据评测需求确定自动驾驶系统下属的目标模块、所述目标模块下属的目标准则、所述目标准则下属的目标指标；

获取所述目标指标对上属目标准则的第一主观模糊权重和第一客观评价权重；

根据所述目标指标对上属目标准则的第一主观模糊权重和第一客观评价权重，确定所述目标指标对上属目标准则的第一综合权重；

获取所述目标准则对上属目标模块的第二主观模糊权重和所述目标模块对所述自动驾驶系统的第三主观模糊权重；

根据所述目标指标对上属目标准则的第一综合权重、所述目标准则对上属目标模块的第二主观模糊权重、所述目标模块对所述自动驾驶系统的第三主观模糊权重，确定所述目标指标对所述自动驾驶系统的整体权重；

通过车载设备获取所述目标指标的第二实际数以及所述目标指标的第二实际数与参考序列的关联系数；

根据所述目标指标对所述自动驾驶系统的整体权重、所述目标指标的第二实际数与所述参考序列的关联系数，得到所述自动驾驶系统的综合评价值；

展示所述自动驾驶系统的综合评价值，以便于评测所述自动驾驶系统的性能。

以上个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该计算器可读存储介质中所存储的指令，可以执行本申请所提供的任一种方法中的步骤，因此，可以实现本申请所提供的任一种方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请所提供的一种系统性能的评测方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种系统性能的评测方法，其特征在于，所述方法包括：

根据评测需求确定自动驾驶系统下属的目标模块、所述目标模块下属的目标准则、所述目标准则下属的目标指标；

获取所述目标指标对上属目标准则的第一主观模糊权重和第一客观评价权重；

根据所述目标指标对上属目标准则的第一主观模糊权重和第一客观评价权重，确定所述目标指标对上属目标准则的第一综合权重；

获取所述目标准则对上属目标模块的第二主观模糊权重和所述目标模块对所述自动驾驶系统的第三主观模糊权重；

根据所述目标指标对上属目标准则的第一综合权重、所述目标准则对上属目标模块的第二主观模糊权重、所述目标模块对所述自动驾驶系统的第三主观模糊权重，确定所述目标指标对所述自动驾驶系统的整体权重；

通过车载设备获取所述目标指标的第二实际数以及所述目标指标的第二实际数与参考序列的关联系数；

根据所述目标指标对所述自动驾驶系统的整体权重、所述目标指标的第二实际数与所述参考序列的关联系数，得到所述自动驾驶系统的综合评价值；

展示所述自动驾驶系统的综合评价值，以便于评测所述自动驾驶系统的性能。

2.如权利要求1所述的系统性能的评测方法，其特征在于，所述获取所述目标指标对上属目标准则的第一主观模糊权重和第一客观评价权重的步骤，包括：

获取所述目标指标间的第一模糊数以及所述目标指标的第一实际数；

根据所述目标指标间的第一模糊数，构建多个来源对应的多个第一模糊矩阵；

将所述多个第一模糊矩阵进行整合，得到所述目标指标对上属目标准则的第一模糊矩阵；

对所述第一模糊矩阵去模糊化处理，得到所述目标指标对上属目标准则的第一主观模糊权重；

根据所述目标指标的第一实际数确定所述目标指标对上属目标准则的第一客观评价权重。

3.如权利要求1所述的系统性能的评测方法，其特征在于，所述获取所述目标准则对上属目标模块的第二主观模糊权重和所述目标模块对所述自动驾驶系统的第三主观模糊权重的步骤，包括：

根据所述目标准则间的第二模糊数，确定所述目标准则对上属目标模块的第二主观模糊权重；

根据所述目标模块间的第三模糊数，确定所述目标模块对所述自动驾驶系统的第三主观模糊权重。

4.如权利要求1所述的系统性能的评测方法，其特征在于，所述通过车载设备获取所述目标指标的第二实际数以及所述目标指标的第二实际数与参考序列的关联系数的步骤，包括：

通过车载设备获取所述目标指标的第二实际数；

根据所述目标指标的标准数值生成参考序列，并确定所述目标指标的第二实际数与所述参考序列的关联系数。

5.如权利要求2所述的系统性能的评测方法，其特征在于，所述对所述第一模糊矩阵去模糊化处理，得到所述目标指标对上属目标准则的第一主观模糊权重的步骤，包括：

对所述第一模糊矩阵去模糊化处理，得到所述目标指标对上属目标准则的待处理第一主观模糊权重；

对所述待处理第一主观模糊权重进行归一化处理，得到所述目标指标对上属目标准则的第一主观模糊权重。

6.如权利要求2所述的系统性能的评测方法，其特征在于，所述根据所述目标指标的第一实际数确定所述目标指标对上属目标准则的第一客观评价权重的步骤，包括：

根据所述目标指标的第一实际数，确定所述目标指标对上属目标准则的第一客观矩阵；

对所述第一客观矩阵进行熵权法计算，得到所述目标指标对上属目标准则的第一客观评价权重。

7.如权利要求6所述的系统性能的评测方法，其特征在于，所述根据所述目标指标的第一实际数，确定所述目标指标对上属目标准则的第一客观矩阵的步骤，包括：

获取所述目标指标的多个测量样本；

根据所述多个测量样本，构建初始客观矩阵；

对所述初始客观矩阵进行标准化处理，得到所述目标指标对上属目标准则的第一客观矩阵。

8.如权利要求4所述的系统性能的评测方法，其特征在于，所述根据所述目标指标的标准数值生成参考序列，并确定所述目标指标的第二实际数与所述参考序列的关联系数的步骤，包括：

对所述目标指标的第二实际数进行无量纲化处理，得到所述目标指标的无量纲数；

根据所述目标指标的标准数值生成参考序列；

基于所述参考序列对所述目标指标的无量纲数进行灰色关联度计算，得到所述目标指标的第二实际数与所述参考序列的关联系数。

9.如权利要求1所述的系统性能的评测方法，其特征在于，所述根据所述目标指标对所述自动驾驶系统的整体权重、所述目标指标的第二实际数与所述参考序列的关联系数，得到所述自动驾驶系统的综合评价值的步骤，包括：

针对所述目标指标，将所述目标指标对所述自动驾驶系统的整体权重与所述目标指标的第二实际数与所述参考序列的关联系数对应相乘，得到所述目标指标对应的关联度；

将所述关联度累计相加，得到所述自动驾驶系统的综合评价值。

10.一种系统性能的评测装置，其特征在于，包括：

第一确定模块，用于根据评测需求确定自动驾驶系统下属的目标模块、所述目标模块下属的目标准则、所述目标准则下属的目标指标；

第一获取模块，用于获取所述目标指标对上属目标准则的第一主观模糊权重和第一客观评价权重；

第二确定模块，用于根据所述目标指标对上属目标准则的第一主观模糊权重和第一客观评价权重，确定所述目标指标对上属目标准则的第一综合权重；

第二获取模块，用于获取所述目标准则对上属目标模块的第二主观模糊权重和所述目标模块对所述自动驾驶系统的第三主观模糊权重；

第三确定模块，用于根据所述目标指标对上属目标准则的第一综合权重、所述目标准则对上属目标模块的第二主观模糊权重、所述目标模块对所述自动驾驶系统的第三主观模糊权重，确定所述目标指标对所述自动驾驶系统的整体权重；

第三获取模块，用于通过车载设备获取所述目标指标的第二实际数以及所述目标指标的第二实际数与参考序列的关联系数；

第四确定模块，用于根据所述目标指标对所述自动驾驶系统的整体权重、所述目标指标的第二实际数与所述参考序列的关联系数，得到所述自动驾驶系统的综合评价值；

展示模块，用于展示所述自动驾驶系统的综合评价值，以便于评测所述自动驾驶系统的性能。

Images