CN117724982A - 仿真测评方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请涉及自动化仿真技术领域，特别涉及一种仿真测评方法、装置、车辆及存储介质，其中，方法包括：获取被测软件的目标测试功能；根据目标测试功能调用对应测试用例，并将测试用例加载至仿真模型，利用仿真模型对目标测试功能进行仿真测试；根据仿真测试过程的测试数据生成目标测试功能的测试结果。由此，解决了相关技术中人工测试导致工作效率低下，费时费力等问题。

Description

仿真测评方法、装置、电子设备及存储介质

技术领域

本申请涉及自动化仿真技术领域，特别涉及一种仿真测评方法、装置、电子设备及存储介质。

背景技术

智能驾驶的测试验证和有效快速迭代是考验智能驾驶技术提升的关键。通常的测试验证手段是实车上路测试、仿真测试。相关技术中，实车测试费时费力，针对性不强，通过人工测试的方式工作效率低下。

发明内容

本申请提供一种仿真测评方法、装置、电子设备及存储介质，以解决相关技术中人工测试导致工作效率低下，费时费力等问题。

本申请第一方面实施例提供一种仿真测评方法，包括以下步骤：获取被测软件的目标测试功能；根据所述目标测试功能调用对应测试用例，并将所述测试用例加载至仿真模型，利用所述仿真模型对所述目标测试功能进行仿真测试；根据仿真测试过程的测试数据生成所述目标测试功能的测试结果。。

可选地，所述目标测试功能包括感知功能、预测功能、规划功能和控制功能中的一个或多个。

可选地，所述仿真模型包括车辆动力学模型、传感器模型、驾驶员模型和场景渲染模型中的一个或多个。

可选地，所述根据仿真测试过程的测试数据生成所述目标测试功能的测试结果，包括：获取仿真测试过程的所述仿真模型的仿真测试数据；对所述仿真测试数据进行在线评测得到所述目标测试功能的测试结果。

可选地，所述根据仿真测试过程的测试数据生成所述目标测试功能的测试结果，还包括：获取仿真测试过程的所述仿真模型的仿真测试数据；对所述仿真测试数据进行离线评测得到所述目标测试功能的测试结果。

可选地，在利用所述仿真模型对所述目标测试功能进行仿真测试的过程中，还包括：设置仿真模型的场景信息和车辆位姿信息；基于所述被测软件发出的目标信号控制车辆执行预设动作。

可选地，在根据仿真测试过程的测试数据生成所述目标测试功能的测试结果之后，包括：发送所述测试结果至预设终端。

本申请第二方面实施例提供一种仿真测评装置，包括：获取模块，用于获取被测软件的目标测试功能；调用模块，用于根据所述目标测试功能调用对应测试用例，并将所述测试用例加载至仿真模型，利用所述仿真模型对所述目标测试功能进行仿真测试；生成模块，用于根据仿真测试过程的测试数据生成所述目标测试功能的测试结果。

可选地，所述目标测试功能包括感知功能、预测功能、规划功能和控制功能中的一个或多个。

可选地，所述仿真模型包括车辆动力学模型、传感器模型、驾驶员模型和场景渲染模型中的一个或多个。

可选地，所述生成模块进一步用于：获取仿真测试过程的所述仿真模型的仿真测试数据；对所述仿真测试数据进行在线评测得到所述目标测试功能的测试结果。

可选地，所述生成模块进一步用于：获取仿真测试过程的所述仿真模型的仿真测试数据；对所述仿真测试数据进行离线评测得到所述目标测试功能的测试结果。

可选地，所述调用模块进一步用于：设置仿真模型的场景信息和车辆位姿信息；基于所述被测软件发出的目标信号控制车辆执行预设动作。

可选地，还包括：发送模块，用于在根据仿真测试过程的测试数据生成所述目标测试功能的测试结果之后，发送所述测试结果至预设终端。

本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的仿真测评方法。

本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的仿真测评方法。

由此，本申请至少具有如下有益效果：

本申请实施例可以根据被测软件的目标测试功能调用对应的测试用例，并将其加载至仿真模型，利用仿真模型对被测软件的目标测试功能进行仿真测试，并生成测试结果，实现了自动化测试，无需手动或是实车进行测试，有效提高测试效率。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本申请实施例提供的一种仿真测评方法的流程图；

图2为根据本申请实施例提供的仿真测评的总体组成结构示意图；

图3为根据本申请实施例提供的在环自动化仿真测评方法的总体数据流示意图；

图4为根据本申请实施例提供的在环自动化仿真测评方法的总体流程示意图；

图5为根据本申请实施例提供的在线评测示意图；

图6为根据本申请实施例提供的离线评测示意图；

图7为根据本申请实施例的仿真测评装置的示例图；

图8为根据本申请实施例的电子设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的仿真测评方法、装置、电子设备及存储介质。针对上述背景技术中提到的人工测试导致工作效率低下，费时费力的问题，本申请提供了一种仿真测评方法，在该方法中，根据被测软件的目标测试功能调用对应的测试用例，并将其加载至仿真模型，利用仿真模型对被测软件的目标测试功能进行仿真测试，并生成测试结果，能够实现自动化测试，有效提高测试效率。由此，解决了相关技术中人工测试导致工作效率低下，费时费力等问题。

具体而言，图1为本申请实施例所提供的一种仿真测评方法的流程示意图。

如图1所示，该仿真测评方法包括以下步骤：

在步骤S101中，获取被测软件的目标测试功能。

其中，目标测试功能包括感知功能、预测功能、规划功能和控制功能中的一个或多个。

可以理解的是，本申请实施例可以获取被测软件的目标测试功能，以便于后续对目标测试功能进行仿真测试。

在步骤S102中，根据目标测试功能调用对应测试用例，并将测试用例加载至仿真模型，利用仿真模型对目标测试功能进行仿真测试。

其中，仿真模型包括车辆动力学模型、传感器模型、驾驶员模型和场景渲染模型中的一个或多个。

可以理解的是，本申请实施例可以根据目标测试功能调用对应的测试用例，并将其加载至仿真模型，利用仿真模对目标测试功能进行仿真测试，以便于根据仿真测试过程的测试数据生成目标测试功能的测试结果。

需要说明的是，根据辅助驾驶功能设计测试用例库，功能包含横向和纵向功能，覆盖预警类和作动类功能，通过分析场景构成的基础元素分类构建冒烟测试和全量测试的用例库。

在本申请实施例中，在利用仿真模型对目标测试功能进行仿真测试的过程中，还包括：设置仿真模型的场景信息和车辆位姿信息；基于被测软件发出的目标信号控制车辆执行预设动作。

其中，预设动作可以是转向、前进、倒车等动作，可根据实际情况进行调整，不做具体限定。

可以理解的是，本申请实施例可以设置仿真模型的场景信息和车辆位姿信息，从而渲染整个仿真模型的场景以及车辆数据，并基于被测软件发出的目标信号控制车辆执行预设动作，以实现自动化测试。

具体而言，建立被测软件桌面运行环境和VTD的通讯，将VTD的场景信息和车辆位姿信息传递给被测软件，同时将被测软件计算出来的车辆控制信号给到VTD的车辆动力学模型。

在步骤S103中，根据仿真测试过程的测试数据生成目标测试功能的测试结果。

可以理解的是，本申请实施例可以根据仿真测试过程的测试数据生成目标测试功能的测试结果，实现了自动化测试，无需手动或是实车进行测试，有效提高测试效率。

在本申请实施例中，根据仿真测试过程的测试数据生成目标测试功能的测试结果，包括：获取仿真测试过程的仿真模型的仿真测试数据；对仿真测试数据进行在线评测得到目标测试功能的测试结果。

可以理解的是，本申请实施例可以对仿真测试数据进行在线评测得到目标测试功能的测试结果。

需要说明的是，建立在线评测规则，用于判断当次测试是否结束，主要考虑发生碰撞、偏出道路等已发生危险情况。

具体而言，根据软件功能选择需要测试的测试用例，逐条加载用例库中的测试用例；启动桌面运行环境下的软件和VTD(Virtual Test Drive，虚拟试验驱动器)，确认功能软件正常运行，VTD正常执行预设的测试场景，实时通讯正常；被测软件和VTD运行过程中，实时监控运行状态，如果出现碰撞或偏出道路等危险情况或满足测试用例结束条件如满足时间、里程、速度等条件，则结束当前测试；将当前测试的数据存储到本地，用于后续离线评测；当前测试用例结束后判断是否还有需要测试的用例，如果有则加载该用例进行测试并保存结果，直到完成所有测试。

在本申请实施例中，根据仿真测试过程的测试数据生成目标测试功能的测试结果，还包括：获取仿真测试过程的仿真模型的仿真测试数据；对仿真测试数据进行离线评测得到目标测试功能的测试结果。

可以理解的是，本申请实施例对仿真测试数据进行离线评测得到目标测试功能的测试结果。

需要说明的是，建立针对不同功能和场景的离线评价规则，根据功能的作用不同，设置安全性评价指标、舒适性评价指标、合规性评价指标，包括是否发生碰撞、急刹、画龙、抖动等细分指标；在线测试结束后，调用离线评测模块，依次读取测试结果数据并根据评价规则判断当次测试结果是否通过，然后将结果填充到测试报告的模板中。

具体而言，逐条加载在线测试中保存下来的测试结果数据；根据测试条目类别加载场景通过标准，并根据通过标准中设计到的指标提取数据中的相关条目；判断数据是否满足场景通过标准，并将结果存储到测试报告中；判断是否存在还需要评测的数据条目，如果有则进行加载评测流程，直到完成所有数据的评测；统计整体通过情况，将结果填写到测试报告中，并存在在云平台上。

在本申请实施例中，在根据仿真测试过程的测试数据生成目标测试功能的测试结果之后，包括：发送测试结果至预设终端。

其中，预设终端可以是电脑终端或手机端，不做具体限定。

可以理解的是，本申请实施例在生成测试结果后发送至预设终端，以便于以此为基础更新软件和测试用例库，完成迭代更新。

根据本申请实施例提出的仿真测评方法，根据被测软件的目标测试功能调用对应的测试用例，并将其加载至仿真模型，利用仿真模型对被测软件的目标测试功能进行仿真测试，并生成测试结果，能够实现自动化测试，有效提高测试效率。

下面将结合图2至图6对本申请的仿真测评方法进行详细阐述，具体步骤如下：

步骤1，根据辅助驾驶功能设计测试用例库，功能包含横向和纵向功能，覆盖预警类和作动类功能，通过分析场景构成的基础元素分类构建冒烟测试和全量测试的用例库。

步骤2，建立针对不同功能和场景的离线评价规则，根据功能的作用不同，设置安全性评价指标、舒适性评价指标、合规性评价指标，包括是否发生碰撞、急刹、画龙、抖动等细分指标。同时建立在线评测规则，用于判断当次测试是否结束，主要考虑发生碰撞、偏出道路等已发生危险情况。

步骤3，建立被测软件桌面运行环境和VTD的通讯，将VTD的场景信息和车辆位姿信息传递给被测软件，同时将被测软件计算出来的车辆控制信号给到VTD的车辆动力学模型。

部署genkins服务，当开发人员更新软件代码时会自动将更新的代码下载到测试服务器上，并集成到测试环境中。

步骤4，自动化测试模块将被测软件最新的版本集成到测试环境中，同时根据被测软件功能调用不同的测试用例集并顺序加载到VTD中，同步调用被测软件运行环境执行模型在线测试，并将测试数据存储到本地文件中。

如果在运行过程中发生碰撞或偏出道路等严重危险的情况，或者满足本次测试的结束条件，如满足时间、路程、速度要求等，则终止本次测试。本次测试结束后，检查是否还有需要执行的测试用例，如果有则进行测试，如果没有则执行离线评测。

根据软件功能选择需要测试的测试用例，逐条加载用例库中的测试用例；启动桌面运行环境下的软件和VTD，确认功能软件正常运行，VTD正常执行预设的测试场景，实时通讯正常；被测软件和VTD运行过程中，实时监控运行状态，如果出现碰撞或偏出道路等危险情况或满足测试用例结束条件如满足时间、里程、速度等条件，则结束当前测试；将当前测试的数据存储到本地，用于后续离线评测；当前测试用例结束后判断是否还有需要测试的用例，如果有则加载该用例进行测试并保存结果，直到完成所有测试。

步骤5，在线测试结束后，调用离线评测模块，依次读取测试结果数据并根据评价规则判断当次测试结果是否通过，然后将结果填充到测试报告的模板中。

逐条加载在线测试中保存下来的测试结果数据；根据测试条目类别加载场景通过标准，并根据通过标准中设计到的指标提取数据中的相关条目；判断数据是否满足场景通过标准，并将结果存储到测试报告中；判断是否存在还需要评测的数据条目，如果有则进行加载评测流程，直到完成所有数据的评测；统计整体通过情况，将结果填写到测试报告中，并存在在云平台上。

步骤6，测试报告生成后，将报告上传到云平台并通过邮件通知测试和开发人员查看，此方法能在软件开发过程中快速帮助开发人员检查软件逻辑错误，有效减轻测试人员工作量，加快软件迭代效率。

综上，本申请通过引入专业的车辆动力学软件解决车辆模型不准确的问题，仿真结果更贴近实际效果；通过自动化测试和评价模块完成测试和评价任务，有效提高测试效率和一致性，避免占用开发人员用于测试的时间，提高软件迭代效率；和测试人员驾驶测试车辆进行上路测试相比，本方法不受人员、车辆、时间等因素限制，部署完自动测试框架后，就可以实时监控软件版本，发生软件更新时，自动触发测试任务并生成测试报告，节省人力物力；每次测试自动化执行并存储结果，测试一致性好，便于问题复现和分析，同时可以对比历史版本软件结果，统计软件迭代过程中的问题数和新增关闭情况。

其次参照附图描述根据本申请实施例提出的仿真测评装置。

图7是本申请实施例的仿真测评装置的方框示意图。

如图7所示，该仿真测评装置10包括：获取模块100、调用模块200和生成模块300。

其中，获取模块100用于获取被测软件的目标测试功能；调用模块200用于根据目标测试功能调用对应测试用例，并将测试用例加载至仿真模型，利用仿真模型对目标测试功能进行仿真测试；生成模块300用于根据仿真测试过程的测试数据生成目标测试功能的测试结果。

在本申请实施例中，目标测试功能包括感知功能、预测功能、规划功能和控制功能中的一个或多个。

在本申请实施例中，仿真模型包括车辆动力学模型、传感器模型、驾驶员模型和场景渲染模型中的一个或多个。

在本申请实施例中，生成模块300进一步用于：获取仿真测试过程的仿真模型的仿真测试数据；对仿真测试数据进行在线评测得到目标测试功能的测试结果。

在本申请实施例中，生成模块300进一步用于：获取仿真测试过程的仿真模型的仿真测试数据；对仿真测试数据进行离线评测得到目标测试功能的测试结果。

在本申请实施例中，调用模块200进一步用于：设置仿真模型的场景信息和车辆位姿信息；基于被测软件发出的目标信号控制车辆执行预设动作。

在本申请实施例中，还包括：发送模块，用于在根据仿真测试过程的测试数据生成目标测试功能的测试结果之后，发送测试结果至预设终端。

需要说明的是，前述对仿真测评方法实施例的解释说明也适用于该实施例的仿真测评装置，此处不再赘述。

根据本申请实施例提出的仿真测评装置，根据被测软件的目标测试功能调用对应的测试用例，并将其加载至仿真模型，利用仿真模型对被测软件的目标测试功能进行仿真测试，并生成测试结果，能够实现自动化测试，有效提高测试效率。

图8为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：

存储器801、处理器802及存储在存储器801上并可在处理器802上运行的计算机程序。

处理器802执行程序时实现上述实施例中提供的仿真测评方法。

进一步地，电子设备还包括：

通信接口803，用于存储器801和处理器802之间的通信。

存储器801，用于存放可在处理器802上运行的计算机程序。

存储器801可能包含高速RAM(Random Access Memory，随机存取存储器)存储器，也可能还包括非易失性存储器，例如至少一个磁盘存储器。

如果存储器801、处理器802和通信接口803独立实现，则通信接口803、存储器801和处理器802可以通过总线相互连接并完成相互间的通信。总线可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral Component，外部设备互连)总线或EISA(Extended Industry Standard Architecture，扩展工业标准体系结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器801、处理器802及通信接口803，集成在一块芯片上实现，则存储器801、处理器802及通信接口803可以通过内部接口完成相互间的通信。

处理器802可能是一个CPU(Central Processing Unit，中央处理器)，或者是ASIC(Application Specific Integrated Circuit，特定集成电路)，或者是被配置成实施本申请实施例的一个或多个集成电路。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的仿真测评方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或多项的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列，现场可编程门阵列等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种仿真测评方法，其特征在于，包括以下步骤：

获取被测软件的目标测试功能；

根据所述目标测试功能调用对应测试用例，并将所述测试用例加载至仿真模型，利用所述仿真模型对所述目标测试功能进行仿真测试；

根据仿真测试过程的测试数据生成所述目标测试功能的测试结果。

2.根据权利要求1所述的仿真测评方法，其特征在于，所述目标测试功能包括感知功能、预测功能、规划功能和控制功能中的一个或多个。

3.根据权利要求1所述的仿真测评方法，其特征在于，所述仿真模型包括车辆动力学模型、传感器模型、驾驶员模型和场景渲染模型中的一个或多个。

4.根据权利要求1所述的仿真测评方法，其特征在于，所述根据仿真测试过程的测试数据生成所述目标测试功能的测试结果，包括：

获取仿真测试过程的所述仿真模型的仿真测试数据；

对所述仿真测试数据进行在线评测得到所述目标测试功能的测试结果。

5.根据权利要求1或4所述的仿真测评方法，其特征在于，所述根据仿真测试过程的测试数据生成所述目标测试功能的测试结果，还包括：

获取仿真测试过程的所述仿真模型的仿真测试数据；

对所述仿真测试数据进行离线评测得到所述目标测试功能的测试结果。

6.根据权利要求1所述的仿真测评方法，其特征在于，在利用所述仿真模型对所述目标测试功能进行仿真测试的过程中，还包括：

设置仿真模型的场景信息和车辆位姿信息；

基于所述被测软件发出的目标信号控制车辆执行预设动作。

7.根据权利要求1所述的仿真测评方法，其特征在于，在根据仿真测试过程的测试数据生成所述目标测试功能的测试结果之后，包括：

发送所述测试结果至预设终端。

8.一种仿真测评装置，其特征在于，包括：

获取模块，用于获取被测软件的目标测试功能；

调用模块，用于根据所述目标测试功能调用对应测试用例，并将所述测试用例加载至仿真模型，利用所述仿真模型对所述目标测试功能进行仿真测试；

生成模块，用于根据仿真测试过程的测试数据生成所述目标测试功能的测试结果。

9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-7任一项所述的仿真测评方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-7任一项所述的仿真测评方法。