CN111338973A - 基于场景的自动驾驶仿真测试评价服务云平台及应用方法 - Google Patents

Abstract

本发明公开一种基于场景的自动驾驶仿真测试评价服务云平台及应用方法，用于自动驾驶仿真测试使用，设置客户端、云端和后台管理端，客户端通过功能模块界面将相应的功能操作需求传递给云端，云端根据功能操作需求，驱动相应的功能模块执行相应的功能；后台管理端对云端和客户端实施管理和维护。在平台应用上，包括数据上传、数据融合、场景提取、场景标注、场景分析、场景生成、仿真分析、测试评价的功能应用。本发明将场景数据库、场景提取与标注、场景分析、场景生成、仿真分析以及测试评价等整个工具链集成到云端，实现了自动驾驶仿真数据和测试评价资源的统一调度、管理与使用，提高了测试效率。

Description

基于场景的自动驾驶仿真测试评价服务云平台及应用方法

技术领域

本发明涉及智能网联汽车测试与评价技术领域，尤其涉及一种基于场景的自动驾驶仿真测试与评价服务云平台及该平台的应用方法。

背景技术

智能网联汽车利用车载传感器进行环境感知，并融合现代通信与网络技术实现智能信息共享，通过智慧决策和协调控制等过程实现安全、舒适、节能、高效行驶。随着传感、通信、决策和控制等技术的快速发展，当前智能网联汽车正逐步由辅助驾驶向自动驾驶乃至无人驾驶的方向发展。对于L3及以上级别的自动驾驶汽车，安全性的验证尤为重要，根据兰德公司（RAND Corporation）的研究报告表明，若要证明无人驾驶车辆比人类驾驶车辆更安全，需要至少完成110亿英里的测试，或在各种交通场景下同时对100辆车进行7×24小时全天候测试至少500年。与传统测试相比，自动驾驶汽车功能定义复杂，行为环境多样，涉及乘客、驾驶员、车辆、交通、基础设施等多个交互维度，其测试评价对象已从传统汽车的人、车二元独立系统变为人－车－环境-任务的强耦合系统。传统汽车测试方法已无法满足自动驾驶汽车的测试认证需求，需要有效地结合虚拟仿真测试技术，降低受控封闭场地、公共道路等真实世界测试环境的测试量，以此提高测试效率。

由于自动驾驶汽车的测试场景数量和复杂程度呈指数的增长，要实现高速高效的完成自动驾驶汽车的虚拟仿真测试与评价，需要以下技术的支撑：海量的自动驾驶数据、自然驾驶数据以及交通事故数据，高覆盖率测试场景的快速生成，人-车-交通联合仿真系统的快速搭建，自动化测试以及综合性能评价报告的快速生成。其中任一技术不仅需要专业的知识背景，而且需要大量的人力物力。为了加快仿真运行速度和降低仿真成本，百度和华为等公司研发了自动驾驶仿真云平台为用户提供自动驾驶仿真与训练的平台。但是，目前已有的自动驾驶仿真云平台更多关注的是给用户提供仿真系统环境，缺乏从数据采集、数据存储、数据管理、测试用例生成到仿真系统搭建的系统平台，不利于将企业已采集的实车试验数据等快速转换为有价值的测试用例，并形成人-车-交通联合仿真系统。因此，如何解决从数据采集、数据存储、数据管理、场景生成、仿真系统搭建、自动化测试到综合评价等自动驾驶测试与评价过程中资源和工具链的共享和统一管理，有效缩减自动驾驶汽车的研发成本和周期，提高汽车企业的自动驾驶研发能力，是当今的任务主题。

发明内容

针对现有技术的不足，本发明提出了一种基于场景的自动驾驶仿真测试评价服务云平台及应用方法。本发明提供自动驾驶汽车的研发与测评全工具链的应用云平台，实现了对自动驾驶的仿真、测试及评价过程中资源和工具链的共享和统一管理，不仅克服了传统自动驾驶虚拟仿真测试方法的存储和计算效率有限的问题，同时针对自动驾驶测试场景数据采集难、数据量大、管理难、测试场景库的建设成本高以及人-车-交通联合仿真系统的建设周期长等问题，将数据采集、数据存储、数据管理、场景提取与标注、场景分析、场景生成与转换、仿真分析以及测试评价等工具链迁移到云端，实现了各资源和工具的按需自动分配与调用。

基于上述目的，本发明提供一种基于场景的自动驾驶仿真测试评价服务云平台，它包括客户端、云端和后台管理端；

所述客户端包括有个人中心和功能模块界面，客户通过个人中心进行注册、登录以及个人信息维护，通过功能模块界面进行相应的功能操作；所述功能模块界面设置有：数据上传界面、数据融合界面、场景提取界面、场景标注界面、场景分析界面、场景生成界面、仿真分析界面、测试评价界面；客户通过所述功能模块界面将相应的功能操作需求传递给云端，所述云端根据功能操作需求，驱动相应的模块执行相应的功能；

所述云端包括有数据库、平台功能池以及计算服务与资源管理模块；其中，平台功能池与所述客户端的功能模块界面对应地设置有：数据上传模块、数据融合模块、场景提取模块、场景标注模块、场景分析模块、场景生成模块、仿真分析模块、测试评价模块；

所述后台管理端包括客户管理模块和系统维护模块，对所述云端和客户端实施管理和维护。

进一步，所述数据库，包括通过自动驾驶、自然驾驶以及场地试验等采集的原始数据，以及经过数据融合、场景提取、场景标注、场景分析、场景生成、仿真分析、测试评价得到的结果数据，原始数据和结果数据都通过数据库管理模块管理和调用。

进一步，所述计算服务与资源管理模块，实现对数据资源、硬件资源以及软件资源的配置与管理。

进一步，在客户端中：

所述数据上传界面包括数据接口、数据源和数据存储路径的选择界面；

所述数据融合界面包括需要融合的数据源、参数、传感器的选择界面和融合算法的选择界面，以及融合结果的展示界面；

所述场景提取界面包括数据源的选择界面，需要提取的自由行驶、切入、切出、跟驰、换道、泊车等提取场景功能类型的选择界面，以及提取结果的展示界面；

所述场景标注界面包括数据源的选择界面，各动、静态场景要素的标注界面以及存储界面；

所述场景分析界面包括需要分析的数据源、功能场景和场景要素的选择界面，分析方法的选择界面，以及分析结果的展示界面；

所述场景生成界面包括生成方式的选择界面、参数设置界面以及生成结果展示界面；

所述仿真分析界面包括算法上传界面、车辆参数配置界面、测试场景管理界面，以及仿真运行状态界面、仿真分析结果展示界面；

所述测试评价界面包括数据源选择界面、评价标准选择界面，以及评价结果展示界面。

进一步，所述客户端，以web端或APP形式呈现。

进一步，在所述云端的平台功能池中：

所述数据上传模块，实现对多种数据来源以及不同采集设备的分类存储和上传；所述多种数据来源，包括有自然驾驶数据、自动驾驶数据、场地测试数据、真实道路数据以及交通事故数据，作为原始数据上传；

所述数据融合模块，实现多种采集设备数据的信息融合，产生数据融合结果；

所述场景提取模块，对数据融合结果进行自动化清洗、切分、提取有效片段，实现自由行驶、切入、切出、跟驰、换道等不同场景的提取与分类存储，产生场景提取结果；

所述场景标注模块，采用自动标注和人工标注相结合的方式，对所提取场景的动态和静态场景要素进行描述并存储，产生场景标注结果；

所述场景分析模块，根据场景标注结果筛选场景片段，对关键参数进行统计分析，产生场景分析结果；

所述场景生成模块，以场景标注和场景分析结果为依据，实现测试场景的重构或测试用例的批量化生成以及分类存储，形成测试场景库；

所述仿真分析模块，根据客户端的需求，调用测试场景库中相应的测试场景，通过仿真软件实现测试场景的自动化测试，产生仿真分析结果；

所述仿真分析模块包括有自动化测试模块和仿真软件池，自动化测试模块，根据客户端测试场景管理的设置结果自动调用场景库中相应的测试场景形成测试用例，调用并控制各仿真软件的执行参数，实现批量测试场景的自动化测试；所述仿真软件池，包括建立场景模型、传感器模型以及车辆动力学模型所需要的仿真软件；

所述测试评价模块，是根据客户端的需求，调用需要评价的仿真分析结果，根据相关标准对仿真分析结果做出综合性能评价，产生测试评价结果；

所述测试评价模块包括有测试结果数据调用模块、测试标准池以及性能评价模块，所述测试结果数据调用模块根据客户端测试数据来源的选择结果调用数据库中的相应数据，所述测试标准池包括国内、外相关法规、评价规范、测试标准以及自定义标准等，所述性能评价模块根据结果数据和测试标准给出综合性能评价结果。

平台功能池中的各模块呈现的功能是相互独立且完整的，在客户端可以对各模块进行灵活调用。

基于上述目的，本发明还提供一种基于场景的自动驾驶仿真测试评价服务云平台的应用方法，在平台上可以实现对数据上传、数据融合、场景提取、场景标注、场景分析、场景生成、仿真分析、测试评价的功能应用；其中，

1）进行数据上传时，通过客户端选择和确认数据接口类型、数据源以及数据存储路径，而后云端调用数据上传模块，将数据上传并存储到数据库中；

2）进行数据融合时，通过客户端选择和确认需要进行融合的数据源、参数、传感器类型以及融合算法，而后云端调用数据融合模块，根据客户端的选择，完成数据融合，并将融合结果存储到数据库中；

3）进行场景提取时，通过客户端选择需要提取场景的数据源以及场景功能类型，而后云端调用场景提取模块，根据客户端选择的数据源调用融合后的数据，并根据客户端选择的场景功能类型完成相应类型的提取，并将结果存储到数据库中；

4）进行场景标注时，首先通过客户端选择需要标注的数据源，而后云端调用场景标注模块，根据需要标注的数据源调用数据库中相应的数据，然后再通过客户端分别进行动态、静态场景要素的标注，云端再将标注结果存储到数据库中；

5）进行场景分析时，通过客户端选择功能场景类型、数据源、分析参数以及分析方法，而后云端调用场景分析模块，根据客户端选择的功能场景类型和数据源调用数据库中相应的数据，完成场景分析，并将结果存储到数据库中；

6）进行场景生成时，通过客户端选择场景生成的方式以及相关参数，而后云端调用场景生成模块，根据客户端的生成方式和相关参数的选择，调用数据库中场景分析和场景标注的结果，完成场景生成，并将结果存储到数据库中；

7）进行仿真分析时，通过客户端完成算法上传、车辆参数配置、测试场景选择，而后云端调用仿真分析模块，根据车辆参数设置结果和测试场景选择结果调用场景库中相应的测试场景形成测试用例，然后通过算法实现测试用例的自动化仿真测试；仿真结果存储到数据库中；

8）进行测试评价时，通过客户端完成数据来源和评价标准的选择，而后云端调用测试评价模块，根据客户端选定的结果调用数据库中相应的数据进行性能评价分析，完成后将结果存储到数据库中。

进一步，所述数据上传、数据融合、场景提取、场景标注、场景分析、场景生成、仿真分析、测试评价的功能应用，为独立且并列应用。

进一步，所述数据融合、场景提取、场景标注、场景分析、场景生成、仿真分析、测试评价的结果，同时可在所述客户端的功能模块界面上予以展示。

与现有技术相比较，本发明体现的优点是，将场景数据库、场景提取与标注、场景分析、场景生成、仿真分析以及测试评价等整个工具链集成到云端，实现自动驾驶仿真数据和测试评价资源的统一调度、管理与使用，实现场景数据的共享，降低仿真和测试成本，提高测试效率。

附图说明

图1是基于场景的自动驾驶仿真测试评价服务云平台示意图；

图2是利用该云平台完成自动驾驶仿真测试评价全过程的流程图。

具体实施方式

图1为基于场景的自动驾驶仿真测试评价服务云平台示意图。云平台的建立旨在将自然驾驶数据库、场景提取与标注、场景分析、场景生成、场景转换、场景库下载、仿真分析以及测试评价等资源及工具链进行统一管理，实现资源共享和企业的互联互通，同时为客户提供定制化、灵活组件式的工具链服务，降低自动驾驶仿真和测试成本，提高测试效率。

本发明的基于场景的自动驾驶仿真测试评价服务云平台，包括云端、客户端和后台管理端三大部分。云端包括数据库、平台功能池和计算服务与资源管理模块。客户端包括功能模块界面和个人中心。后台管理主要包括客户管理和系统维护两个模块。

云端的数据库包含原始数据和经过数据融合、场景提取、场景标注、场景分析、场景生成、仿真分析以及测试评价得到各类结果数据，包括有：数据融合结果、场景提取结果、场景标注结果、场景分析结果、测试场景库、仿真分析结果以及测试评价结果；同时这些数据的存储、调用和监测由数据库管理模块来实现，数据库管理模块是数据库中设置的一个管理模块。

平台功能池包括数据上传模块、数据融合模块、场景提取模块、场景标注模块、场景分析模块、场景生成模块、仿真分析模块以及测试评价模块等功能模块，各模块相互独立，分别由客户端各功能界面的输入来调用。数据上传模块对自然驾驶数据、自动驾驶数据、场地测试数据、真实道路数据以及交通事故数据等多种数据来源以及不同采集设备进行上传与分类存储。数据融合模块按需调用数据，并进行多种采集设备（传感器）信息的融合，包括合并相同信息，去除冗余信息等。场景提取模块对融合后的数据进行自动化清洗、切分、提取有效片段，实现自由行驶、切入、切出、跟驰、换道等不同场景的分类存储。场景标注模块采用自动标注和人工标注相结合的方式，对动态、静态场景要素（包括道路交通、天气等）进行详细描述并存储。场景分析模块根据场景标注结果自动筛选场景片段，对关键参数进行统计分析，并输出场景分析报告。场景生成模块以场景标注和场景分析结果为依据，实现测试场景的重构或测试用例的批量化生成以及分类存储。仿真分析模块主要包括自动化测试模块和仿真软件池，自动化测试模块根据客户端测试场景管理的设置结果自动调用场景库中相应的测试场景形成测试用例，并调用并控制仿真软件池中仿真软件的执行参数，实现批量测试场景的自动化测试。仿真软件池中包括建立场景模型、传感器模型以及车辆动力学模型所需要的仿真软件。测试评价模块主要包括测试结果数据调用模块，测试标准池以及性能评价模块三部分，测试结果数据调用模块根据客户端选定的测试数据来源调用数据库中的相应数据，并根据测试标准池中国内、外相关法规、评价规范、测试标准以及自定义标准等给出相应的评价结果。

客户端主要包括功能模块界面以及个人中心。功能模块界面包括数据上传界面、数据融合界面、场景提取界面、场景标注界面、场景分析界面、场景生成界面、仿真分析界面以及测试评价界面；客户端通过功能模块界面的输入实现对云端相应模块的驱动与调用，以及查看和下载相应的结果。数据上传界面包括数据接口、数据源以及数据存储路径等选择界面。数据融合界面包括需要融合的数据、传感器类型和融合算法的选择界面，以及融合结果的展示界面。场景提取界面包括需要提取的自由行驶、切入、切出、跟驰、换道、泊车等场景功能和数据源的选择界面，以及提取结果的展示界面。场景标注界面包括各动、静态场景要素的标注界面包括天气状况、道路交通状况、目标车行驶状态、障碍物等。场景分析界面包括需要分析的功能场景和场景要素的选择界面，以及分析方法选择界面和结果展示界面。场景生成界面包括自定义参数生成或批量随机生成等不同生成方式的选择界面，以及参数设置界面、生成结果展示界面。仿真分析界面包括算法上传界面、车辆参数配置界面、测试场景管理界面，以及仿真测试状态、结果查看和下载界面。测试评价界面包括测试数据来源选择界面，评价标准以及评价结果展示界面。

后台管理端包括客户管理模块和系统维护模块。所述客户管理模块包括用户的身份与权限管理。所述系统维护模块包括安全管理、安全审计、日志分析、云平台安全补丁、虚拟化安全、数据安全及多用户足隔离等功能。

图2提供一种利用该云平台完成自动驾驶仿真测试评价全过程的流程图。客户从客户端登录，根据客户权限激活不同的功能界面，可以实现的功能有：数据上传、数据融合、场景提取、场景标注、场景分析、场景生成、仿真分析、测试评价等功能应用。

（1）客户进行数据上传时，则进入数据上传界面，依次选择和确认数据接口类型、数据来源以及数据存储路径，完成后自动调用云端数据上传模块，上传数据并存储到数据库管理模块内。

（2）客户进行数据融合时，则进入数据融合界面，依次选择和确认需要进行融合的数据来源、参数、传感器类型以及融合算法，完成后自动调用云端数据融合模块，云端数据融合模块则根据客户端选择的数据来源路径自动调用原始数据，完成融合后将结果存储到数据库中数据融合结果内。

（3）客户进行场景提取时，则进入场景提取界面，选择需要提取场景的数据源以及场景功能类型，而后调用云端场景提取模块，云端场景提取模块则根据客户端选择的数据源调用融合后的数据，并根据客户端选择的场景功能类型完成相应类型的提取，并将结果存储到数据库中场景提取结果中。

（4）客户进行场景标注时，则进入场景标注界面，依次选择需要标注的数据源，云端则根据需要数据源调用数据库中相应的数据，客户端则再分别进行动静态场景要素的标注，完成后将结果存储到数据库中场景标注结果内。

（5）客户进行场景分析时，则进入场景分析界面，依次选择功能场景类型、数据源、场景要素以及分析方法后，自动调用云端场景分析模块，场景分析模块则根据客户端选择的功能场景类型和数据源调用数据库中相应的数据，完成场景分析后将结果存储到数据库中场景分析结果内，同时云端将场景分析结果传输到客户端并在结果展示界面呈现。

（6）客户进行场景生成时，则进入场景生成界面，依次选择场景生成的方式以及相关参数后，云端场景生成模块则根据客户端的生成方式和相关参数的选定结果自动调用数据库中场景分析和场景标注的结果完成场景生成任务将结果自动存储到数据库中场景库中，将结果传输到客户端的结果展示界面呈现。

（7）客户进行仿真分析时，则进入仿真分析界面，依次完成算法上传、车辆参数配置、测试场景管理选择后，自动调用云端仿真分析模块。云端仿真分析模块内的自动化测试模块则根据客户端车辆参数的配置结果和测试场景的选择结果自动调用场景库中相应的测试场景形成测试用例，并调用并控制仿真软件池中仿真软件的执行参数，实现批量测试场景的自动化测试。

（8）客户进行测试评价时，则进入测试评价界面，依次完成数据来源和评价标准的选定。云端测试评价模块则根据客户端选定的结果调用数据库中相应的数据进行性能评价分析，完成后将结果存储到数据库中测试评价结果内，同时将结果传输到客户端的结果展示界面供客户参看与下载。

Claims (10)

1.一种基于场景的自动驾驶仿真测试评价服务云平台，其特征在于：包括客户端、云端和后台管理端；

所述客户端设置有个人中心和功能模块界面，客户通过所述个人中心进行注册、登录和个人信息维护，通过所述功能模块界面进行功能操作；其中，所述功能模块界面设置有：数据上传界面、数据融合界面、场景提取界面、场景标注界面、场景分析界面、场景生成界面、仿真分析界面、测试评价界面；客户通过所述功能模块界面将相应的功能操作需求传递给云端，所述云端根据功能操作需求，驱动相应的模块执行相应的功能；

所述云端包括有数据库、平台功能池以及计算服务与资源管理模块；其中，所述平台功能池与所述客户端的功能模块界面对应地设置有：数据上传模块、数据融合模块、场景提取模块、场景标注模块、场景分析模块、场景生成模块、仿真分析模块、测试评价模块；

所述后台管理端包括客户管理模块和系统维护模块，对所述云端和客户端实施管理和维护。

2.根据权利要求1所述的基于场景的自动驾驶仿真测试评价服务云平台，其特征在于：

所述数据上传界面包括：数据接口、数据源和数据存储路径的选择界面；

所述数据融合界面包括：需要融合的数据源、参数、传感器、融合算法的选择界面以及融合结果的展示界面；

所述场景提取界面包括：数据源、需要提取的场景功能类型的选择界面以及提取结果的展示界面；

所述场景标注界面包括：数据源的选择界面，各动、静态场景要素的标注界面以及存储界面；

所述场景分析界面包括：需要分析的数据源、功能场景、场景要素、分析方法的选择界面以及分析结果的展示界面；

所述场景生成界面包括：生成方式、参数设置的选择界面以及生成结果展示界面；

所述仿真分析界面包括：算法上传、车辆参数配置、测试场景管理界面以及仿真运行状态、仿真分析结果展示界面；

所述测试评价界面包括：测试数据源、评价标准选择界面以及评价结果展示界面。

3.根据权利要求1或2所述的基于场景的自动驾驶仿真测试评价服务云平台，其特征在于：所述客户端：以web端或APP形式呈现。

4.根据权利要求1所述的基于场景的自动驾驶仿真测试评价服务云平台，其特征在于：所述数据库，包括采集的原始数据，以及经过数据融合、场景提取、场景标注、场景分析、场景生成、仿真分析、测试评价得到的结果数据，所述原始数据和结果数据都通过数据库管理模块管理和调用。

5.根据权利要求1所述的基于场景的自动驾驶仿真测试评价服务云平台，其特征在于：所述计算服务与资源管理模块，实现对数据资源、硬件资源以及软件资源的配置与管理。

6.根据权利要求1或4或5所述的基于场景的自动驾驶仿真测试评价服务云平台，其特征在于：

所述数据上传模块：实现对多种数据来源以及不同采集设备的分类存储与上传；

所述数据融合模块：实现多种采集设备数据的信息融合，产生数据融合结果；

所述场景提取模块：通过对所述数据融合结果进行自动化清洗、切分、提取有效片段，实现不同场景的提取与分类存储，产生场景提取结果；

所述场景标注模块：采用自动标注和人工标注相结合的方式，对所提取场景的动态和静态场景要素进行描述并存储，产生场景标注结果；

所述场景分析模块：根据场景标注结果筛选场景片段，对关键参数进行统计分析，产生场景分析结果；

所述场景生成模块：以场景标注和场景分析结果为依据，实现测试场景的重构或测试用例场景的批量生成以及分类存储，形成测试场景库；

所述仿真分析模块：根据客户端的需求，调用测试场景库中相应的测试场景，通过仿真软件实现测试场景的自动化测试，产生仿真分析结果；

所述测试评价模块：根据客户端的需求，调用需要评价的仿真分析结果，根据相关标准对仿真分析结果做出综合性能评价，产生测试评价结果。

7.根据权利要求6所述的基于场景的自动驾驶仿真测试评价服务云平台，其特征在于：所述多种数据来源，包括有自然驾驶数据、自动驾驶数据、场地测试数据、真实道路数据以及交通事故数据。

8.一种对权利要求1～7之一所述的基于场景的自动驾驶仿真测试评价服务云平台的应用方法，其特征在于：包括对数据上传、数据融合、场景提取、场景标注、场景分析、场景生成、仿真分析、测试评价的功能应用；其中，

1）进行数据上传时，通过客户端选择和确认数据接口类型、数据源以及数据存储路径，而后云端调用数据上传模块，将数据上传并存储到数据库中；

2）进行数据融合时，通过客户端选择和确认需要进行融合的数据源、参数、传感器类型以及融合算法，而后云端调用数据融合模块，根据客户端的选择，完成数据融合，并将融合结果存储到数据库中；

3）进行场景提取时，通过客户端选择需要提取场景的数据源以及场景功能类型，而后云端调用场景提取模块，根据客户端选择的数据源调用融合后的数据，并根据客户端选择的场景功能类型完成相应类型的提取，并将结果存储到数据库中；

4）进行场景标注时，首先通过客户端选择需要标注的数据源，而后云端调用场景标注模块，根据需要标注的数据源调用数据库中相应的数据，然后再通过客户端分别进行动态、静态场景要素的标注，云端再将标注结果存储到数据库中；

5）进行场景分析时，通过客户端选择功能场景类型、数据源、分析参数以及分析方法，而后云端调用场景分析模块，根据客户端选择的功能场景类型和数据源调用数据库中相应的数据，完成场景分析，并将结果存储到数据库中；

6）进行场景生成时，通过客户端选择场景生成的方式以及相关参数，而后云端调用场景生成模块，根据客户端的生成方式和相关参数的选择，调用数据库中场景分析和场景标注的结果，完成场景生成，并将结果存储到数据库中；

7）进行仿真分析时，通过客户端完成算法上传、车辆参数配置、测试场景选择，而后云端调用仿真分析模块，根据车辆参数设置结果和测试场景选择结果调用场景库中相应的测试场景形成测试用例，然后通过算法实现测试用例的自动化仿真测试；仿真结果存储到数据库中；

8）进行测试评价时，通过客户端完成数据来源和评价标准的选择，而后云端调用测试评价模块，根据客户端选定的结果调用数据库中相应的数据进行性能评价分析，完成后将结果存储到数据库中。

9.根据权利要求8所述的应用方法，其特征在于：所述数据上传、数据融合、场景提取、场景标注、场景分析、场景生成、仿真分析、测试评价的功能应用，为独立且并列应用。

10.根据权利要求8或9所述的应用方法，其特征在于：所述数据融合、场景提取、场景标注、场景分析、场景生成、仿真分析、测试评价的结果，同时在所述客户端的功能模块界面上展示。

Images