CN113064839B - 一种系统评测方法及装置 - Google Patents

Abstract

本发明提供一种系统评测方法及装置；该方法先根据评测需求确定目标系统及其下属的目标模块，然后获取场景数据和评测参数，并存储场景数据，其中，评测参数包括对比参数和评测级别，而对比参数包括软件版本标识和应用场景标识，评测级别包括系统级别或者模块级别，接着根据该评测参数对该场景数据进行处理，得到各目标模块的回放数据，最后根据各目标模块的回放数据，确定评测结果。本发明提供的方法通过利用历史数据实现数据回放，能针对不同系统版本之间或者不同业务场景之间，对系统或者模块实现相对精确的量化分析，从而提高评测效率。

Description

一种系统评测方法及装置

技术领域

本发明涉及自动驾驶技术领域，尤其涉及一种系统评测方法及装置。

背景技术

随着自动驾驶技术的发展，无人驾驶汽车在实际道路中的渗透越来越多。但是当前自动驾驶系统仍然受到了诸多因素的挑战，因此对自动驾驶系统的评测显得十分重要。

当前对于自动驾驶系统的评测，很多都只能通过实际的路测数据针对单一模块进行分析，对于多模块的综合分析评测较少，而已有的多模块的综合分析评测方法也只是以各项指标的线性叠加为主，评测的有效性和效率不高且适用范围较小。

因此，当前对于自动驾驶技术系统的评测方法存在评测的有效性和效率不高且适用范围较小等技术问题，需要改进。

发明内容

本发明提供一种系统评测方法及装置，用于缓解当前系统评测方法存在评测的有效性和效率不高且适用范围较小等技术问题。

为了解决上述技术问题，本发明提供以下技术方案：

本发明提供一种系统评测方法，包括：

根据评测需求确定目标系统及其下属的目标模块；

获取并存储场景数据，所述场景数据包括路测场景数据、各目标模块的典型测试场景数据以及性能测试数据；

获取评测参数，所述评测参数包括对比参数以及评测级别，所述对比参数包括软件版本标识和应用场景标识，所述评测级别包括系统级别或者模块级别；

根据所述评测参数对所述场景数据进行处理，得到所述各目标模块的回放数据；

根据各目标模块的回放数据，确定评测结果。

相应的，本发明还提供一种系统评测装置，包括：

第一确定模块，用于根据评测需求确定目标系统及其下属的目标模块；

第一获取模块，用于获取并存储场景数据，所述场景数据包括路测场景数据、各目标模块的典型测试场景数据以及性能测试数据；

第二获取模块，用于获取评测参数，所述评测参数包括对比参数以及评测级别，所述对比参数包括软件版本标识和应用场景标识，所述评测级别包括系统级别或者模块级别；

数据处理模块，用于根据所述评测参数对所述场景数据进行处理，得到所述各目标模块的回放数据；

第二确定模块，用于根据各目标模块的回放数据，确定评测结果。

相应的，本发明还提供一种电子设备，其包括处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于运行所述存储器内的计算机程序，以执行上述方法中的步骤。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，指令适于处理器进行加载，以执行上述方法中的步骤。

有益效果：本发明提供了一种系统评测方法及装置；该方法先根据评测需求确定目标系统及其下属的目标模块，然后获取并存储场景数据，该场景数据包括路测场景数据、各目标模块的典型测试场景数据以及性能测试数据，然后获取评测参数，该评测参数包括对比参数和评测级别，而对比参数包括软件版本标识和应用场景标识，评测级别包括系统级别或者模块级别，接着根据该评测参数对该场景数据进行处理，得到各目标模块的回放数据，最后根据各目标模块的回放数据，确定评测结果。本发明的场景数据较为全面，提高了测试场景的覆盖度；而回放数据的生成有效的利用了历史场景数据，降低了因实际场景复现难对系统或者模块评测的影响，同时根据回放数据和评测参数，实现了纵向对比系统或者模块在不同软件版本之间表现的差异性或者横向对比了系统或者模块在不同场景数据于特定软件版本下表现的差异，扩大了评测的适用范围，对系统或者模块实现了相对精确的量化分析，提高了评测的效率和有效性。

附图说明

下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技术方案及其它有益效果显而易见。

图1是本发明提供的评测系统的场景示意图。

图2是本发明提供的系统评测方法的一种流程示意图。

图3是本发明提供的系统架构的示意图。

图4是本发明提供的系统评测方法的另一种流程示意图。

图5是本发明提供的系统中模块评测方法的流程示意图。

图6是本发明提供的系统评测装置的结构示意图。

图7是本发明提供的电子设备的结构示意图。

具体实施方式

下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本发明中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本发明中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本发明方案的目的。

在本发明中，目标系统可以是整个自动驾驶系统，目标模块可以是前述整个自动驾驶系统中的各个主要模块，包括但不限于感知模块、融合模块、定位模块、预测模块、规划模块以及控制模块等。

在本发明中，场景数据包括路测场景数据、各目标模块的典型测试场景数据以及性能测试数据等；具体地，路测场景数据包含但不限于自动驾驶车辆在实际路测过程中从起步、加速、跟车、变道、减速、停车等全过程，以及自动驾驶车辆在不同地区、不同时段、不同车流量等交通情况下的典型路测数据场景片段以及对于某些极限场景而自主设计产生的场景片段；各目标模块的典型测试场景数据以及性能测试数据指的是自动驾驶车辆中的主要模块，例如感知模块、融合模块、定位模块、预测模块、规划模块以及控制模块等在一些典型的路测数据场景下的模块自身的信息和性能数据等。其中，典型路测数据场景指的是实际车辆行驶过程中最普通、最常见的场景，主要来源于自然驾驶场景数据，通过在车辆配备不同类型传感器，记录自然驾驶中的实际情况，典型场景一级分类通常按照行驶区域进行分类，包括高速、城市快速、城市道路、停车场等基本区域，车辆动作分为循线，变道，加、减速等情况；此外，还可以对历史自然场景数据进行参数化统计分析，利用历史场景数据和参数仿真出不同影响因素下的场景数据，例如极限场景数据、危险场景数据等。

在本发明中，回放数据是指依托于自身搭建的自动驾驶仿真测试平台针对不同软件版本或者不同模块基于原始的路测场景数据在不同的原始场景数据库条件下实现数据的回放，以生成该自动驾驶系统或者模块针对新版本下的数据。

本发明提供一种系统评测方法、装置、电子设备以及计算机可读存储介质。

请参阅图1，图1为本发明提供的评测系统的场景示意图，如图1所示，该评测系统可以包括服务器及终端，服务器和终端之间通过各种网关组成的互联网等方式连接通信，该评测系统包括服务器101、数据获取终端102以及软件终端103，其中：

服务器101可以是独立的服务器，也可以是服务器组成的服务器网络或者服务器集群；例如，本发明中所描述的服务器，其包括但不限于计算机、网络主机、数据库服务器、存储服务器以及应用服务器或者多个服务器构成的云服务器，其中云服务器由基于云计算（Cloud Computing）的大量计算机或者网络服务器构成。

数据获取终端102包括装备有数据采集单元的自动驾驶车辆以及数据仿真单元。其中，数据采集单元包括但不限于摄像头、激光雷达、全球导航卫星系统（GNSS）以及不同类型的传感器等，通过数据采集单元记录自动驾驶中实际的场景情况；数据仿真单元主要用于对采集的历史场景数据进行参数化统计分析，仿真生成不同影响因素下的场景数据，例如事故场景数据、极限场景数据、危险场景数据等。

软件终端103主要用于提供不同的软件版本以实现不同软件版本下的系统评测功能。

本发明提出了一种基于服务器和终端的评测系统，该评测系统可以用于评测自动驾驶系统的表现性能，也可以用于评测自动驾驶系统中各个模块的表现性能。首先，通过数据获取终端102采集自动驾驶过程中的实际场景数据或者仿真生成的场景数据等，然后将其上传至服务器101进行存储，服务器101根据用户的评测需求确定需要测评的目标系统及其下属的目标模块，然后从其存储服务器中获取该目标系统及其下属的目标模块对应的场景数据，接着获取用户确定的评测参数，该评测参数包括对比参数以及评测级别，而对比参数又包括软件版本标识和应用场景标识，评测级别包括系统级别或者模块级别，其中，软件版本标识由用户通过操作软件终端103发送至服务器101，根据该评测参数，确定是对相同应用场景、不同软件版本下的系统还是模块进行纵向评测、或者对相同软件版本、不同应用场景下的系统还是模块进行横向评测等，对该系统或者模块对应的场景数据进行处理，得到各目标模块的回放数据，最后，服务器101根据各目标模块的回放数据，确定最终的评测结果。通过该评测系统获取的场景数据较为全面，提高了测试场景的覆盖度，同时，有效地利用历史数据集实现了对各个不同软件版本或者不同场景于特定软件版本下的数据回放，降低因实际场景复现难对系统评估结果造成的影响，还实现了纵向对比各个不同软件版本之间的系统/模块的表现差异性，或者横向对比各个不同场景数据集于特定软件版本下系统/模块的表现差异性，提高了评测的效率和准确性。

需要说明的是，图1所示的评测系统的场景示意图仅仅是一个示例，本发明描述的服务器以及场景是为了更加清楚地说明本发明的技术方案，并不构成对于本发明提供的技术方案的限定，本领域普通技术人员可知，随着系统的演变和新业务场景的出现，本发明提供的技术方案对于类似的技术问题，同样适用。以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。

综合上述评测系统的场景，下面将对本发明中系统评测方法进行详细的介绍，请参阅图2，图2为本发明提供的系统评测方法的一种流程示意图，如图2所示，本发明提供的系统评测方法至少包括以下步骤：

S201：根据评测需求确定目标系统及其下属的目标模块。

评测需求可以由用户自主选择是对整个自动驾驶系统进行评测，还是对自动驾驶系统中的各个模块进行评测，还是对整个自动驾驶系统和该系统中的各个模块都进行评测；该评测需求也可以是由系统默认选择。

S202：获取并存储场景数据，场景数据包括路测场景数据、各目标模块的典型测试场景数据以及性能测试数据。

在本发明中，评测系统中的数据获取终端通过采集自动驾驶过程中的实际场景数据或者利用历史场景数据进行仿真来获取场景数据，并将这些获取的场景数据上传至服务器进行存储，从而完善服务器中的场景数据库。然后服务器可以根据不同的任务需求自动筛选与提取对应的场景数据，作为后续分析的输入。

需要说明的是，场景数据指的是场景对应的数据，该数据可以包括在该场景在自动驾驶车辆在行驶过程中的自车信息（例如速度、加速度等）、环境信息（其他车辆、行人）等。其中，在自动驾驶技术领域，场景又可以分为典型场景、边角场景以及危险场景等，而不同的场景下又包括不同自然条件（例如天气、光线等），不同道路类型（例如路面状态、车道线类型等），不同交通参与者（例如车辆、行人位置以及速度等），不同环境类型（例如高速道路、小区道路、商场周边道路、乡村道路等）在内的多类型测试用例，不同的场景由不同的测试用例组成。具体地，典型场景是实际车辆行驶过程中最普通、最常见的场景，主要来源于自然驾驶场景数据，通过在车辆配备不同类型传感器，记录自然驾驶中的实际情况；边角场景是实际车辆行驶过程中遇到的出现概率较小的场景，场景多来源于自然采集，同时也有部分数据来源于施工标准等其他数据；危险场景主要涵盖恶劣天气环境、复杂道路交通以及典型交通事故，是实际车辆发生事故或即将要发生事故的场景，场景数据多来源于事故数据的复现和自然驾驶场景数据中场景的数据延伸（如利用历史场景数据进行仿真）等。

S203：获取评测参数，评测参数包括对比参数以及评测级别，对比参数包括软件版本标识和应用场景标识，评测级别包括系统级别或者模块级别。

评测参数可以由用户自主确定也可以由系统默认确定。具体地，需要确定对比参数和评测级别，其中，评测级别决定了该评测系统是对整个自动驾驶系统进行评测还是对自动驾驶系统中的模块进行评测，对比参数决定了是基于不同的软件版本进行纵向对比，还是基于特定软件版本下的不同应用场景进行横向对比。

S204：根据评测参数对场景数据进行处理，得到各目标模块的回放数据。

在一种实施例中，可以有效的利用历史场景数据完成对各个不同软件版本或不同场景于特定软件版本下的数据回放，其步骤可以包括：获取各目标模块的模块类型；根据所述评测参数和各目标模块的模块类型，确定各目标模块的数据回放方式；根据各目标模块的数据回放方式以及所述场景数据，生成各目标模块的回放数据。其中，数据回放指的是不需要进行实际的路测，而是利用历史行情模拟实时行情得到回放数据的过程，例如对历史路测过程中采集到的除自车信息（如车速、加速度、位置等）外的信息（如周边的障碍物信息、红绿灯信息等）进行回关，并给定原始车辆一个自车初始状态，通过仿真，得到新的软件版本或者新的应用场景下的数据。

具体地，模块类型可以包括控制模块、追踪模块、规划模块、预测模块、定位模块、感知模块以及融合模块等，不同的模块数据回放的方式可能不同。根据评测参数可以确定是要得到各个模块在不同软件版本下的回放数据还是要得到各个模块在不同应用场景下的回放数据，而系统的回放数据可以由各个模块的回放数据得到。

需要说明的是，历史场景数据不同得到的回放数据也就不一样，软件版本不同得到的回放数据也不一样。

S205：根据各目标模块的回放数据，确定评测结果。

在一种实施例中，根据各目标模块的回放数据确定评测结果的步骤可以包括：获取评测体系结构，所述评测体系结构包括目标系统、所述目标系统下属的目标模块、各目标模块下属的目标准则、各目标准则下属的目标指标；根据各目标模块的回放数据，计算得到各目标模块下属的各目标准则的各目标指标；根据所述评测体系结构，对各目标指标进行融合计算得到评测结果。

其中，评测体系结构是基于多指标多模块算法分析得到的，目标系统也可以称为目标层，即为整个自动驾驶系统；各目标系统下属的目标模块也可以称为模块层，对应自动驾驶的各个主要模块，包括但不限于感知模块、融合模块、定位模块、预测模块、规划模块以及控制模块等；各目标模块下属的目标准则也可以称为准则层，主要包含各个目标模块主要关注的特性如识别的准确性、驾驶的平顺性、控制的稳定性等。例如感知模块主要关注对障碍物识别的准确性、预测模块主要关注对障碍物或者周边其他车辆未来行动轨迹预测的准确性、定位模块主要关注定位的精度、规划模块主要关注对轨迹规划的合理性以及有效性、控制模块主要关注控制精度的高低、控制最终驾驶的舒适性和安全性等；各目标准则下属的目标指标也可以称为指标层，即为基于实际路测数据结合各个模块分析计算出来的各项指标，比如控制精度、控制准确性、驾驶舒适性、安全性等，最后基于各个模块输出的指标，验证整个驾驶系统或者驾驶系统中模块的合理性、安全性和稳定性等性能，从而得到最终的评测结果。

具体地，根据评测体系结构，对各目标指标进行融合计算得到评测结果的步骤可以包括：根据评测级别，确定各目标指标对所述目标系统的系统权重值或者各目标指标对上属目标模块的模块权重值；对各目标指标进行归一化处理，得到各目标指标的归一化指标；根据各目标指标对所述目标系统的系统权重值或者各目标指标对上属目标模块的模块权重值、以及各目标指标的归一化指标，确定评测结果。

本发明提供的系统评测方法可以实现对整个自动驾驶系统的评测，同时还可以向下兼容实现对自动驾驶系统中各个模块的评估。因此，需要先根据评测级别，确定评测对象，根据测评对象确定对应的权重值，如果测评对象是整个自动驾驶系统，那么对应的就是各目标指标对目标系统的系统权重值，根据系统权重值和归一化后的目标指标，确定系统评测结果；如果测评对象是系统中的模块，那么对应的就是各目标指标对目标模块的模块权重值，最后根据模块权重值和归一化后的目标指标，确定模块评测结果。

当该评测系统是对自动驾驶系统进行评测时，请参阅图4，图4所示是本发明提供的系统评测方法的另一种流程示意图。通过对各个维度内的目标指标、目标准则、目标模块以及目标系统的层级元素的权重计算，实现对自动驾驶系统的多指标融合评价。

S410：各目标指标的提取与计算。

目标指标的计算主要是基于场景数据结合各个模块分析计算出来的，目标指标包括控制精度、安全性等。

S420：各目标指标对目标系统的系统权重值的设计与计算。

在一种实施例中，确定各目标指标对目标系统的系统权重值的步骤可以包括：获取各目标指标对上属目标准则的第一层级权重值；获取各目标准则对上属目标模块的第二层级权重值；获取各目标模块对所述目标系统的第三层级权重值；根据各目标指标对上属目标准则的第一层级权重值、各目标准则对上属目标模块的第二层级权重值以及各目标模块对所述目标系统的第三层级权重值，确定各目标指标对所述目标系统的系统权重值。为了同时兼顾专家经验对于各项指标或者各类性能分析的优劣，同时考虑到各个指标的实际分布情况，对于指标权重的设计采用了模糊层次分析法（FAHP）与熵权法(EWM)的组合。

其中，S421：采用模糊层次分析法和熵权法的融合算法计算各目标指标对上属目标准则的第一层级权重值。

在一种实施例中，获取各目标指标对上属目标准则的第一层级权重值的步骤可以 包括：获取各目标指标的多个模糊判断矩阵；整合各目标指标的多个模糊判断矩阵，得到各 目标指标的第一目标模糊判断矩阵；对各目标指标的第一目标模糊判断矩阵进行去模糊化 处理，得到各目标指标的第一指标权重值；获取各目标指标的信息熵和第二指标权重值；根 据各目标指标的信息熵和第二指标权重值以及各目标指标的第一指标权重值，确定各目标 指标对上属目标准则的第一层级权重值。具体地，通过将各项指标的信息熵、第二指标权重 值，以及第一指标权重值累乘并归一化后可以确定目标指标对上述目标准则的第一层级权 重值

，公式1为

的计算过程：

（公式1）

式中，

代表目标指标对上述目标准则的第一层级权重值。

为主观评价方法模糊层次分析法下的第一指标权重值，

为客观评价方法熵权法下的第二指标权重值，

代表第R个规则 下的评价指标总数。

S422：采用模糊层次分析法计算各目标准则对上属目标模块的第二层级权重值。

在一种实施例中，获取各目标准则对上属目标模块的第二层级权重值的步骤可以 包括：获取各目标准则的多个模糊判断矩阵；整合各目标准则的多个模糊判断矩阵，得到各 目标准则的第二目标模糊判断矩阵；对各目标准则的第二目标模糊判断矩阵进行去模糊化 处理，得到各目标准则对上属目标模块的第二层级权重值。具体地，考虑到目标准则对上属 目标模块中每一类指标的数值的不确定性，直接采用模糊层次分析法整体计算该层级的第 二层级权重值

。

S423：采用模糊层次分析法计算各目标模块对上属目标系统的第三层级权重值。

在一种实施例中，获取各目标模块对目标系统的第三层级权重值的步骤可以包 括：获取各目标模块的多个模糊判断矩阵；整合各目标模块的多个模糊判断矩阵，得到各目 标模块的第三目标模糊判断矩阵；对各目标模块的第三目标模糊判断矩阵进行去模糊化处 理，得到各目标模块对所述目标系统的第三层级权重值。具体地，考虑到目标模块对上属目 标系统中每一类指标的数值的不确定性，也同样直接采用模糊层次分析法整体计算该层级 的第三层级权重值

。

具体地，上述第一指标权重值、第二层级权重值以及第三层级权重值都是基于模糊层次分析法得到的，模糊层次分析法采用的标度值是模糊数。而模糊判断矩阵是通过将评价专家重要程度判断的语言化描述转换成相应的模糊数，包括正态分布、梯形分布、三角形分布、S型分布等构建的，而不同的评价专家的打分结果会构建出不同的判断矩阵，在计算最终的模糊判断矩阵时，通过对多个专家矩阵结果进行模糊数的整合进而得到整体的模糊判断矩阵，然后对其进行去模糊化处理，将其转换为最终的指标权重，即本发明中涉及到的第一指标权重值、第二层级权重值以及第三层级权重值。

具体地，上述第二指标权重值是基于数据驱动的熵权法计算得到的，熵权法是一种根据各项评价指标本身所包含信息的有序程度的特征来决定指标权重的客观评价方法。

最后，根据将目标指标对上属目标准则的第一层级权重值

、各目标准 则对上属目标模块的第二层级权重值

以及各目标模块对所述目标系 统的第三层级权重值

进行累乘，即可计算出各目标指标对所述目标 系统的系统权重值

，公式2为系统权重值

的计算过程：

（公式2）

S430：对各目标指标进行归一化处理。

在一种实施例中，对各目标指标进行归一化处理的步骤可以包括：获取各目标指 标的历史评测数据和专家评测数据；根据各目标指标的历史评测数据和专家评测数据，确 定各目标指标的极大值和极小值；根据各目标指标的极大值和极小值，对各目标指标进行 归一化处理，得到各目标指标的归一化指标。对于各项指标，基于历史评测数据以及专家经 验，获取各项指标的极值，并通过最大最小方法（Max-Min方法）对各项指标进行归一化处 理，以避免各项指标因实际数据的大小差异影响结果。公式3为目标指标的归一化指标

计算过程：

（公式3）

式中，

为第i项指标归一化以后的结果，

为第i项指标的 最大值，

为第i项指标的最小值。

S440：计算目标系统的评测结果。

结合上述计算的各目标指标相对于目标系统的系统权重值，以及各项目标指标的 归一化指标，即可计算该目标系统的评测结果。公式4为目标系统的评测结果

计 算过程：

（公式4）

式中，

为第i项目标指标对于目标系统的系统权重值，

为第i项指标归一化以后的结果。如此即可以计算得到针对整个自动驾驶系统在不同软件 版本或者不同场景于特定软件版本下的评测分析结果，即可以完成对整个自动驾驶系统的 纵向或者横向的量化比较分析。

当该评测系统是对自动驾驶系统的各个模块进行评测时，请参阅图5，图5所示是本发明提供的模块评测方法的流程示意图。通过对各个维度内的目标指标、目标准则以及目标模块的层级元素的权重计算，实现对自动驾驶系统中各模块的多指标融合评价。

S510：各目标指标的提取与计算。

目标指标的计算主要是基于场景数据结合各个模块分析计算出来的，目标指标包括控制精度、控制准确性等。

S520：各目标指标对目标模块的模块权重值的设计与计算。

在一种实施例中，确定各目标指标对目标模块的模块权重值的步骤可以包括：获取各目标指标对上属目标准则的第一层级权重值；获取各目标准则对上属目标模块的第二层级权重值；根据各目标指标对上属目标准则的第一层级权重值和各目标准则对上属目标模块的第二层级权重值，确定各目标指标对上属目标模块的模块权重值。为了同时兼顾专家经验对于各项指标或者各类性能分析的优劣，同时考虑到各个指标的实际分布情况，对于指标权重的设计采用了模糊层次分析法与熵权法的组合。

其中，S521：采用模糊层次分析法和熵权法的融合算法计算各目标指标对上属目标准则的第一层级权重值。

其实现方式与S421相同，在此不再赘述。

S522：采用模糊层次分析法计算各目标准则对上属目标模块的第二层级权重值。

其实现方式与S422相同，在此不再赘述。

最后，根据将目标指标将上属目标准则的第一层级权重值

和各目标准 则对上属目标模块的第二层级权重值

进行累乘，即可计算出各目标指 标对上属目标模块的模块权重值

，公式5为模块权重值

的计 算过程：

（公式5）

S530：对各目标指标进行归一化处理。

其实现方式与S430相同，在此不再赘述。

S540：计算目标模块的评测结果。

结合上述计算的各目标指标相对于目标模块的模块权重值，以及各项目标指标的 归一化指标，即可计算该目标系统的评测结果。公式6为目标模块的评测结果

计 算过程：

（公式6）

式中，

为第i项目标指标对于目标模块的模块权重值，

为第i项指标归一化以后的结果。如此即可以计算得到针对各个模块在不同软件 版本或者不同场景于特定软件版本下的评测分析结果，即可以完成对各个模块的纵向或者 横向的量化比较分析。

基于上述系统评测方法，可以把该评测系统划分为三个层级，具体地，请参阅图3，图3所示为本发明提供的系统架构的示意图。如图3所示，该系统可以具体分为三层，分别是场景数据层、数据回放层以及系统评价层。

其中，场景数据层主要用于场景数据的存储、连接与提取，针对当前评测方法中的场景库不全面的问题。本发明的系统评测方法提供了较为全面的场景数据库，其主要包含如下几类：1、路测场景数据库，包含但不限于自动驾驶车辆在实际路测过程中从起步，加速，跟车，变道，减速，停车等全过程，以及车辆在不同地区，不同时间段，不同车流等交通情况下的典型路测数据场景片段以及对于某些极限场景而自主设计产生的场景片段（比如利用历史场景数据进行数据回放）；2、各个不同模块的典型测试场景与性能测试数据集；3、针对特定问题的场景数据集。

本发明中的场景数据层具备一个相对完整的基于实际车辆测试工况的场景库，并且可以根据不同的任务需求自动筛选与提取对应的场景数据，作为后续分析的输入。具体地，场景数据层中存储有多条不同场景的数据，每一条数据都有相应的标签，本发明提供的评测系统，只需要按需提取相关的场景数据进行评测即可。例如场景库中有一两千条场景数据，但是只需要评测控制模块的性能，因此只需要提取与控制模块最相关的50条场景数据进行评测；又例如针对场景覆盖测试，由于场景覆盖测试主要是用于测试整体的通用表现，因此一般会选取绝大部分或者关联度密切的全部的场景数据进行评测；还例如针对城市道路这一应用场景进行系统评测，会在场景数据库中提取与城市道路最相关的场景数据进行评测等。

其中，数据回放层存储有原始测试数据以及回放后的数据，数据回放层主要是基于不同的软件版本或者不同的应用场景于特定软件版本下针对不同的模块实现数据回放。本发明提供的数据回放层可以用于实现S204的步骤，其主要是依托于搭建的自动驾驶仿真测试平台针对不同的场景在不同的软件版本条件下，利用历史场景数据实现不同模块的数据回放，已生成该自动驾驶系统或者模块针对新版本或者新应用场景下的数据，以供后续进行多指标融合与系统评价。

其中，系统评价层主要是基于数据回放层得到的数据针对不同系统或者模块进行对应的指标计算，并基于自主设计的多模块多指标评测算法对其进行评价与分析，其目标主要是基于计算获取的整个系统或者各个模块的各项独立的评测指标，并运用相关的指标融合算法实现对各个离散指标的汇总计算，进行实现对整个系统或者模块的量化评价，以最终针对整体的评估输出对应的评测结果。

具体地，系统评价层基于自主设计的多模块多指标评测算法构建了评测体系结构，该评测体系结构主要包含四个子模块，分别是目标系统（即目标层）、目标模块（即模块层）、目标准则（即准则层）以及目标指标（即指标层）。而目标模块（即模块层）中的模块包括控制模块、追踪模块、规划模块、预测模块、定位模块以及感知模块等。通过基于模糊层次分析法和熵权法的融合算法来实现对各个维度内各个层级元素的权重计算，以实现对某一模块或者整个自动驾驶系统的多指标融合评价，实现对系统或者模块的量化评价，达到对各个模块或者系统在不同软件版本之间或者在特定软件版本下的不同应用场景之间的比较分析。例如，要比较不同应用场景之间自动驾驶系统表现的差异性：此时有场景A和场景B，用同一个软件版本分别对自动驾驶系统在场景A和场景B下的表现进行评测，得到场景A下的综合评分为C，场景B下的综合评分为D，通过比较综合评分C和综合评分D得到最终的评测结果，即该自动驾驶系统在哪一个场景下的表现更好。若要比较不同软件版本之间自动驾驶系统表现的差异性：此时用软件版本X和软件版本Y对该自动驾驶系统进行评测，固定输入的场景S，得到软件版本X下的综合评分M，软件版本Y下的综合评分N，通过比较综合评分M和综合评分N即可得到最终的评测结果，得到自动驾驶系统在哪个测试软件下的测试评价效果更好。

本发明提供的评测系统，可以实现对全场景的自动驾驶系统以及模块的数据回放，并结合专家经验以及客观数据分层分步实现对不同场景于特定软件版本条件下或者不同软件版本下的整个自动驾驶系统以及不同模块的量化评估分析，有效解决了当前评测的适用范围较小的问题。一方面，当前的评测方法可能只是针对某一指标进行单独的测试评价分析，而本发明提供的评测系统可以将多个指标进行融合，从而达到整体评价的效果。另一方面，当前的评测系统更多的是在模块层面进行测试评价，对整个系统的量化评估方案较少，而本发明提供的评测系统把整个自动驾驶系统分为多个模块，然后通过数据回放，对各个模块的指标进行融合计算，最终实现对整个系统的评价。

基于上述实施例的内容，本发明提供了一种系统评测装置。该系统评测装置用于执行上述方法实施例中提供的系统评测方法，具体地，请参阅图6，该装置包括：

第一确定模块601，用于根据评测需求确定目标系统及其下属的目标模块；

第一获取模块602，用于获取并存储场景数据，所述场景数据包括路测场景数据、各目标模块的典型测试场景数据以及性能测试数据；

第二获取模块603，用于获取评测参数，所述评测参数包括对比参数以及评测级别，所述对比参数包括软件版本标识和应用场景标识，所述评测级别包括系统级别或者模块级别；

数据处理模块604，用于根据所述评测参数对所述场景数据进行处理，得到所述各目标模块的回放数据；

第二确定模块605，用于根据各目标模块的回放数据，确定评测结果。

在一种实施例中，数据处理模块604包括：

第三获取模块，用于获取各目标模块的模块类型；

方式确定模块，用于根据所述评测参数和各目标模块的模块类型，确定各目标模块的数据回放方式；

回放数据生成模块，用于根据各目标模块的数据回放方式以及所述场景数据，生成各目标模块的回放数据。

在一种实施例中，第二确定模块605包括：

第四获取模块，用于获取评测体系结构，所述评测体系结构包括目标系统、所述目标系统下属的目标模块、各目标模块下属的目标准则、各目标准则下属的目标指标；

指标计算模块，用于根据各目标模块的回放数据，计算得到各目标模块下属的各目标准则的各目标指标；

融合计算模块，用于根据所述评测体系结构，对各目标指标进行融合计算得到评测结果。

在一种实施例中，融合计算模块包括：

权重值确定模块，用于根据评测级别，确定各目标指标对所述目标系统的系统权重值或者各目标指标对上属目标模块的模块权重值；

归一化模块，用于对各目标指标进行归一化处理，得到各目标指标的归一化指标；

第三确定模块，用于根据各目标指标对所述目标系统的系统权重值或者各目标指标对上属目标模块的模块权重值、以及各目标指标的归一化指标，确定评测结果。

在一种实施例中，权重值确定模块包括：

第五获取模块，用于获取各目标指标对上属目标准则的第一层级权重值；

第六获取模块，用于获取各目标准则对上属目标模块的第二层级权重值；

第七获取模块，用于获取各目标模块对所述目标系统的第三层级权重值；

系统权重值确定模块，用于根据各目标指标对上属目标准则的第一层级权重值、各目标准则对上属目标模块的第二层级权重值以及各目标模块对所述目标系统的第三层级权重值，确定各目标指标对所述目标系统的系统权重值。

在一种实施例中，权重值确定模块还包括：

第五获取模块，用于获取各目标指标对上属目标准则的第一层级权重值；

第六获取模块，用于获取各目标准则对上属目标模块的第二层级权重值；

模块权重值确定模块，用于根据各目标指标对上属目标准则的第一层级权重值和各目标准则对上属目标模块的第二层级权重值，确定各目标指标对上属目标模块的模块权重值。

在一种实施例中，第五获取模块包括：

第一矩阵获取模块，用于获取各目标指标的多个模糊判断矩阵；

第一整合模块，用于整合各目标指标的多个模糊判断矩阵，得到各目标指标的第一目标模糊判断矩阵；

第一模糊处理模块，用于对各目标指标的第一目标模糊判断矩阵进行去模糊化处理，得到各目标指标的第一指标权重值；

第八获取模块，用于获取各目标指标的信息熵和第二指标权重值；

第一模块权重值确定子模块，用于根据各目标指标的信息熵和第二指标权重值以及各目标指标的第一指标权重值，确定各目标指标对上属目标准则的第一层级权重值。

在一种实施例中，第六获取模块包括：

第二矩阵获取模块，用于获取各目标准则的多个模糊判断矩阵；

第二整合模块，用于整合各目标准则的多个模糊判断矩阵，得到各目标准则的第二目标模糊判断矩阵；

第二模糊处理模块，用于对各目标准则的第二目标模糊判断矩阵进行去模糊化处理，得到各目标准则对上属目标模块的第二层级权重值。

在一种实施例中，第七获取模块包括：

第三矩阵获取模块，用于获取各目标模块的多个模糊判断矩阵；

第三整合模块，用于整合各目标模块的多个模糊判断矩阵，得到各目标模块的第三目标模糊判断矩阵；

第三模糊处理模块，用于对各目标模块的第三目标模糊判断矩阵进行去模糊化处理，得到各目标模块对所述目标系统的第三层级权重值。

在一种实施例中，归一化模块包括：

评测数据获取模块，用于获取各目标指标的历史评测数据和专家评测数据；

极值确定模块，用于根据各目标指标的历史评测数据和专家评测数据，确定各目标指标的极大值和极小值；

归一化处理子模块，用于根据各目标指标的极大值和极小值，对各目标指标进行归一化处理，得到各目标指标的归一化指标。

本发明的系统评测装置，可以用于执行前述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

区别于当前的技术，本发明提供的系统评测装置，设置了第一获取模块、第二获取模块、数据处理模块以及第二确定模块。通过第一获取模块可以获取到相对完整的自动驾驶车辆测试场景库，包含了很多实际路测中的场景和一些极限测试场景，其中还包含了针对各目标模块单独的测试场景以及针对整个驾驶系统的车辆测试场景集，从而提高了测试的覆盖度；通过第二获取模块，可以获取到评测参数，评测参数又包括对比参数和评测级别，通过数据处理模块基于场景数据库完成对各个不同软件版本或者不同场景于特定软件版本下的数据回放，可以有效利用历史数据集，降低因实际场景复现难对系统评估结果造成的影响，同时还能实现纵向对比各个不同软件版本之间的系统/模块的表现差异性，或者横向对比各个不同场景数据集于特定软件版本下系统/模块的表现差异性；通过第二确定模块，实现对多模块多指标的数据进行有效的融合计算评估，避免了当前技术中仅仅只能通过离散指标或者通过专家经验而评估的情形，有效降低了因个人主观因素而产生的评价差异，此外，相较于简单的指标线性组合或者仅依赖于专家经验的层次分析法，本发明采用了融合专家经验以及基于数据驱动的评测方法，充分且更为科学的考虑了各个指标的差异性，提高了评测的效率和有效性。

相应的，本发明还提供一种电子设备，该电子设备包括服务器或者终端等。

如图7所示，该电子设备可以包括有一个或者一个以上处理核心的处理器701、无线（WiFi，Wireless Fidelity)模块702、有一个或一个以上计算机可读存储介质的存储器703、音频电路704、显示单元705、输入单元706、传感器707、电源708、以及射频（RF，RadioFrequency）电路709等部件。本领域技术人员可以理解，图7中示出的电子设备的结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器701是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器703内的软件程序和/或模块，以及调用存储在存储器703内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。在一种实施例中，处理器701可包括一个或多个处理核心；优选的，处理器701可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器701中。

WiFi属于短距离无线传输技术，电子设备通过无线模块702可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图7示出了无线模块702，但是可以理解的是，其并不属于终端的必需构成，完全可以根据需要在不改变发明的本质的范围内而省略。

存储器703可用于存储软件程序以及模块，处理器701通过运行存储在存储器703的计算机程序以及模块，从而执行各种功能应用以及数据处理。存储器703可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据终端的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器703可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器703还可以包括存储器控制器，以提供处理器701和输入单元706对存储器703的访问。

音频电路704包括扬声器，扬声器可提供用户与电子设备之间的音频接口。音频电路704可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，扬声器将收集的声音信号转换为电信号，由音频电路704接收后转换为音频数据，再将音频数据输出处理器701处理后，经射频电路709发送给比如另一电子设备，或者将音频数据输出至存储器703以便进一步处理。音频电路704还可能包括耳塞插孔，以提供外设耳机与电子设备的通信。

显示单元705可用于显示由用户输入的信息或提供给用户的信息以及终端的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元705可包括显示面板，在一种实施例中，可以采用液晶显示器（LCD，Liquid CrystalDisplay）、有机发光二极管（OLED，Organic Light-Emitting Diode）等形式来配置显示面板。

输入单元706可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，在一个具体的实施例中，输入单元706可包括触敏表面以及其他输入设备。触敏表面，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作（比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作），并根据预先设定的程式驱动相应的连接装置。在一种实施例中，触敏表面可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器701，并能接收处理器701发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面，输入单元706还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键（比如音量控制按键、开关按键等）、轨迹球、鼠标、操作杆等中的一种或多种。

电子设备还可包括至少一种传感器707，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度；至于电子设备还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

电子设备还包括给各个部件供电的电源708（比如电池），优选的，电源可以通过电源管理系统与处理器701逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源708还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

射频电路709可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器701处理；另外，将涉及上行的数据发送给基站。通常，射频电路709包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块（SIM，Subscriber Identity Module）卡、收发信机、耦合器、低噪声放大器（LNA，Low Noise Amplifier）、双工器等。此外，射频电路709还可以通过无线通信与网络和其他设备通信。无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统（GSM，Global System of Mobile communication）、通用分组无线服务（GPRS，GeneralPacket Radio Service）、码分多址（CDMA，Code Division Multiple Access）、宽带码分多址（WCDMA，Wideband Code Division Multiple Access）、长期演进（LTE，Long TermEvolution)、电子邮件、短消息服务（SMS，Short Messaging Service)等。

尽管未示出，电子设备还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，电子设备中的处理器701会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器703中，并由处理器701来运行存储在存储器703中的应用程序，从而实现以下功能：

根据评测需求确定目标系统及其下属的目标模块；

获取并存储场景数据，所述场景数据包括路测场景数据、各目标模块的典型测试场景数据以及性能测试数据；

获取评测参数，所述评测参数包括对比参数以及评测级别，所述对比参数包括软件版本标识和应用场景标识，所述评测级别包括系统级别或者模块级别；

根据所述评测参数对所述场景数据进行处理，得到所述各目标模块的回放数据；

根据各目标模块的回放数据，确定评测结果。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文的详细描述，此处不再赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于计算机可读存储介质中，并由处理器进行加载和执行。

为此，本发明提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以实现以下功能：

根据评测需求确定目标系统及其下属的目标模块；

获取并存储场景数据，所述场景数据包括路测场景数据、各目标模块的典型测试场景数据以及性能测试数据；

获取评测参数，所述评测参数包括对比参数以及评测级别，所述对比参数包括软件版本标识和应用场景标识，所述评测级别包括系统级别或者模块级别；

根据所述评测参数对所述场景数据进行处理，得到所述各目标模块的回放数据；

根据各目标模块的回放数据，确定评测结果。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该计算机可读存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，Random Access Memory）、磁盘或光盘等。

由于该计算机可读存储介质中所存储的指令，可以执行本发明所提供的任一种方法中的步骤，因此，可以实现本发明所提供的任一种方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

同时，本发明提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。例如，实现以下功能：

根据评测需求确定目标系统及其下属的目标模块；

获取并存储场景数据，所述场景数据包括路测场景数据、各目标模块的典型测试场景数据以及性能测试数据；

获取评测参数，所述评测参数包括对比参数以及评测级别，所述对比参数包括软件版本标识和应用场景标识，所述评测级别包括系统级别或者模块级别；

根据所述评测参数对所述场景数据进行处理，得到所述各目标模块的回放数据；

根据各目标模块的回放数据，确定评测结果。

以上对本发明所提供的系统评测方法、装置、电子设备以及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种系统评测方法，其特征在于，包括：

根据评测需求确定目标系统及其下属的目标模块；

获取并存储场景数据，所述场景数据包括路测场景数据、各目标模块的典型测试场景数据以及性能测试数据；

获取评测参数，所述评测参数包括对比参数以及评测级别，所述对比参数包括软件版本标识和应用场景标识，所述评测级别包括系统级别或者模块级别；

根据所述评测参数对所述场景数据进行处理，得到所述各目标模块的回放数据；

获取评测体系结构，所述评测体系结构包括目标系统、所述目标系统下属的目标模块、各目标模块下属的目标准则、各目标准则下属的目标指标；

根据各目标模块的回放数据，计算得到各目标模块下属的各目标准则的各目标指标；

根据评测级别，确定各目标指标对所述目标系统的系统权重值或者各目标指标对上属目标模块的模块权重值；

对各目标指标进行归一化处理，得到各目标指标的归一化指标；

根据各目标指标对所述目标系统的系统权重值或者各目标指标对上属目标模块的模块权重值、以及各目标指标的归一化指标，确定评测结果。

2.根据权利要求1所述的系统评测方法，其特征在于，所述根据评测级别，确定各目标指标对所述目标系统的系统权重值的步骤，包括：

获取各目标指标对上属目标准则的第一层级权重值；

获取各目标准则对上属目标模块的第二层级权重值；

获取各目标模块对所述目标系统的第三层级权重值；

根据各目标指标对上属目标准则的第一层级权重值、各目标准则对上属目标模块的第二层级权重值以及各目标模块对所述目标系统的第三层级权重值，确定各目标指标对所述目标系统的系统权重值。

3.根据权利要求1所述的系统评测方法，其特征在于，所述根据评测级别，确定各目标指标对上属目标模块的模块权重值的步骤，包括：

获取各目标指标对上属目标准则的第一层级权重值；

获取各目标准则对上属目标模块的第二层级权重值；

根据各目标指标对上属目标准则的第一层级权重值和各目标准则对上属目标模块的第二层级权重值，确定各目标指标对上属目标模块的模块权重值。

4.根据权利要求2或3任一权利要求所述的系统评测方法，其特征在于，所述获取各目标指标对上属目标准则的第一层级权重值的步骤，包括：

获取各目标指标的多个模糊判断矩阵；

整合各目标指标的多个模糊判断矩阵，得到各目标指标的第一目标模糊判断矩阵；

对各目标指标的第一目标模糊判断矩阵进行去模糊化处理，得到各目标指标的第一指标权重值；

获取各目标指标的信息熵和第二指标权重值；

根据各目标指标的信息熵和第二指标权重值以及各目标指标的第一指标权重值，确定各目标指标对上属目标准则的第一层级权重值。

5.根据权利要求2或3任一项权利要求所述的系统评测方法，其特征在于，所述获取各目标准则对上属目标模块的第二层级权重值的步骤，包括：

获取各目标准则的多个模糊判断矩阵；

整合各目标准则的多个模糊判断矩阵，得到各目标准则的第二目标模糊判断矩阵；

对各目标准则的第二目标模糊判断矩阵进行去模糊化处理，得到各目标准则对上属目标模块的第二层级权重值。

6.根据权利要求2所述的系统评测方法，其特征在于，所述获取各目标模块对所述目标系统的第三层级权重值的步骤，包括：

获取各目标模块的多个模糊判断矩阵；

整合各目标模块的多个模糊判断矩阵，得到各目标模块的第三目标模糊判断矩阵；

对各目标模块的第三目标模糊判断矩阵进行去模糊化处理，得到各目标模块对所述目标系统的第三层级权重值。

7.根据权利要求1所述的系统评测方法，其特征在于，所述对各目标指标进行归一化处理，得到各目标指标的归一化指标的步骤，包括：

获取各目标指标的历史评测数据和专家评测数据；

根据各目标指标的历史评测数据和专家评测数据，确定各目标指标的极大值和极小值；

根据各目标指标的极大值和极小值，对各目标指标进行归一化处理，得到各目标指标的归一化指标。

8.一种系统评测装置，其特征在于，包括：

第一确定模块，用于根据评测需求确定目标系统及其下属的目标模块；

第一获取模块，用于获取并存储场景数据，所述场景数据包括路测场景数据、各目标模块的典型测试场景数据以及性能测试数据；

第二获取模块，用于获取评测参数，所述评测参数包括对比参数以及评测级别，所述对比参数包括软件版本标识和应用场景标识，所述评测级别包括系统级别或者模块级别；

数据处理模块，用于根据所述评测参数对所述场景数据进行处理，得到所述各目标模块的回放数据；

第四获取模块，用于获取评测体系结构，所述评测体系结构包括目标系统、所述目标系统下属的目标模块、各目标模块下属的目标准则、各目标准则下属的目标指标；

指标计算模块，用于根据各目标模块的回放数据，计算得到各目标模块下属的各目标准则的各目标指标；

权重值确定模块，用于根据评测级别，确定各目标指标对所述目标系统的系统权重值或者各目标指标对上属目标模块的模块权重值；

归一化模块，用于对各目标指标进行归一化处理，得到各目标指标的归一化指标；

第三确定模块，用于根据各目标指标对所述目标系统的系统权重值或者各目标指标对上属目标模块的模块权重值、以及各目标指标的归一化指标，确定评测结果。

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于运行所述存储器内的计算机程序，以执行权利要求1至7任一项所述的系统评测方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，指令适于处理器进行加载，以执行权利要求1至7任一项所述的系统评测方法中的步骤。

Images