CN113742220A - 有限自动驾驶系统正向开发过程中的仿真测试方法 - Google Patents

有限自动驾驶系统正向开发过程中的仿真测试方法 Download PDF

Info

Publication number
CN113742220A
CN113742220A CN202110927876.0A CN202110927876A CN113742220A CN 113742220 A CN113742220 A CN 113742220A CN 202110927876 A CN202110927876 A CN 202110927876A CN 113742220 A CN113742220 A CN 113742220A
Authority
CN
China
Prior art keywords
test
simulation
scene
script
automatic driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110927876.0A
Other languages
English (en)
Other versions
CN113742220B (zh
Inventor
舒德伟
何博
梁锋华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Changan Automobile Co Ltd
Original Assignee
Chongqing Changan Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Changan Automobile Co Ltd filed Critical Chongqing Changan Automobile Co Ltd
Priority to CN202110927876.0A priority Critical patent/CN113742220B/zh
Publication of CN113742220A publication Critical patent/CN113742220A/zh
Application granted granted Critical
Publication of CN113742220B publication Critical patent/CN113742220B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3684Test management for test design, e.g. generating new test cases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3688Test management for test execution, e.g. scheduling of test suites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3692Test management for test results analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种有限自动驾驶系统正向开发过程中的仿真测试方法,将传统的测试用例拆分成三部分,之间通过ID建立映射关系。其中测试概述负责分析系统需求,挖掘测试点并统筹测试脚本编写与场景设计;测试步骤文档负责将概述的内容进一步细化,具体到可操作层面;场景设计文档负责定义场景,通过改变场景元素的取值即可设计出不同的场景。本发明将测试用例模块化,解决了编写难度大,维护困难的问题。

Description

有限自动驾驶系统正向开发过程中的仿真测试方法
技术领域
本发明属于汽车测试技术领域,具体涉及有限自动驾驶系统正向开发过程中的仿真测试方法。
背景技术
随着技术的发展,汽车有限自动驾驶系统的功能越来越复杂,还涉及到软件的迭代与更新,在量产前需要海量的测试用例与测试场景来对自动驾驶系统进行验证和训练。在系统研发过程中,测试验证的时间越早,开发成本越低,验证的时间越晚,开发成本越高。在开发早期进行仿真测试能快速高效地发现问题,加速整个算法迭代和收敛速度,从整体上提高开发效率,降低开发成本。自动驾驶系统的开发都遵从仿真到实车测试的过程,仿真实验作为一种零风险、快速迭代、可复现的测试方法,为自动驾驶技术上路测试奠定了坚实的基础,在正向开发中快速有效地验证算法的正确性与性能。
目前针对基于模型的有限自动驾驶系统在正向开发过程中没有系统性的仿真测试方法,基于需求的测试需要先根据需求文档编写测试用例,再编写测试脚本,再执行测试,最后生成测试报告。使用此方法,存在以下问题:
(1)自动驾驶系统的测试用例文档包含信息量大,嵌套关系复杂,编写难度大,维护困难;
(2)自动驾驶系统过于复杂,通过一个测试用例文档难以保证测试结果唯一性,容易导致两名测试人员执行结果不一致;
(3)编写测试脚本与测试用例在内容上存在重复性,整体效率低。
因此,有必要开发一种有限自动驾驶系统正向开发过程中的仿真测试方法。
发明内容
本发明的目的是提供一种有限自动驾驶系统正向开发过程中的仿真测试方法,通过组合测试概述文档、测试步骤文档和测试场景文档形成测试用例,并于PreScan/Matlab软件中自动化执行测试,最终自动化生成测试报告的仿真测试方法。
本发明所述的一种有限自动驾驶系统正向开发过程中的仿真测试方法,包括以下步骤:
步骤1,搭建仿真测试环境和根据系统需求与验证准则配置测试概述文档,该测试概述文档包括测试概述编号、来源、测试概述内容、测试场景、备注信息、测试意见、开发意见和需求意见,以及仿真测试执行过程中需要的所有信号接口和阈值参数;
步骤2,并行开展测试步骤文档编写和场景设计文档编写,其中,测试步骤文档包括时序的操作步骤、期望输入条件、期望输入、期望输出条件和期望输出,用于自动化生成仿真测试脚本;场景设计文档包括仿真场景的道路配置和车辆信息,用于自动化生成仿真测试场景;
步骤3,并行开展测试脚本编写、场景信息文件生成、仿真场景文件生成和仿真测试平台释放;
步骤4,联调测试脚本与仿真场景,配置仿真测试平台;
步骤5,运行测试脚本执行测试;在Matlab和PreScan以及CarSim的联合仿真环境下,Matlab提供算法模型以及测试脚本的运行环境;PreScan提供传感器模型、虚拟仿真场景,在Matlab中通过接口进行数据交互;CarSim提供车辆动力学模型,在Matlab中通过接口进行数据交互;
步骤6,分析测试结果并自动化生成测试报告,测试结果分为4种:pass、fail、blocked、error;
步骤7,根据测试报告判断测试是否通过,若通过测试,则结束该轮迭代测试;若不通过,则对问题进行记录并反馈。
可选地,所述步骤2中,场景设计文档中的道路配置包括直道长度、弯道半径、弯道长度、上坡坡度、上坡长度、下坡坡度、下坡长度、车道宽度和车道线信息。
可选地,所述步骤2中,场景设计文档中的车辆信息包括目标车信息和主车信息,目标车信息包括目标车个数、目标车车速和目标车加速度,主车信息包括主车设定车速、主车车速和跟车距离。
可选地,所述步骤3中,所述测试脚本包括初始化脚本、过程操作脚本和自动化判断脚本。
可选地,所述步骤3中,所述场景信息文件包括仿真停止时间、驾驶员设定车速、主车实际车速和跟车距离。
可选地,所述步骤3中,所述仿真场景文件生成指的是根据场景设计文档的内容生成仿真平台可用的仿真场景文件。
可选地,所述步骤3中,所述仿真测试平台包括场景仿真软件、车辆动力学软件和被测算法。
本发明具有以下优点:
(1)本发明将传统的测试用例拆分成三部分,之间通过ID建立映射关系。其中测试概述负责分析系统需求,挖掘测试点并统筹测试脚本编写与场景设计;测试步骤文档负责将概述的内容进一步细化,具体到可操作层面;场景设计文档负责定义场景,通过改变场景元素的取值即可设计出不同的场景。将测试用例模块化,解决了编写难度大,维护困难的问题。
(2)本发明引入测试默认值的模式,对于测试概述中未声明变更的输入量,在测试执行过程中保持其默认值不变,解决了不同测试员人多次测试结果不一致的问题。
(3)本发明优化了测试脚本编写方法,通过定义关键词、语义替换的方式编写测试步骤文档,用脚本生成测试脚本的方式极大程度上提高了测试脚本编写效率。
附图说明
图1是本实施例的总体流程图;
图2是本实施例提供的测试概述编写流程图。
具体实施方式
以下结合附图对本发明进行详细的说明。
如图1所示,本实施例中,一种有限自动驾驶系统正向开发过程中的仿真测试方法,包括以下步骤:
步骤1,释放迭代版本交付物,搭建仿真测试环境;根据迭代版本交付物配置评审系统需求与验证准则,判断是否满足可测试性,若满足,则根据评审系统需求与验证准则编写测试概述文档,该测试概述文档包含测试概述编号、来源、测试概述内容、测试场景、备注信息、测试意见、开发意见和需求意见等信息,以及仿真测试执行过程中需要的所有信号接口、阈值参数;若不满足,则修改系统需求与验证准则。与此同时需判断算法接口是否变更,若变更需重新搭建仿真测试环境。
步骤2,并行开展测试步骤文档编写和场景设计文档编写。测试步骤文档包含了时序的操作步骤、期望输入条件、期望输入、期望输出条件、期望输出,是根据测试概述文档来编写的,用于自动化生成仿真测试脚本;场景设计文档包含仿真场景的道路配置、车辆信息,道路配置包含直道长度、弯道半径、弯道长度、上坡坡度、上坡长度、下坡坡度、下坡长度、车道宽度、车道线信息等,其中,车辆信息包括目标车个数、目标车车速、目标车加速度等信息,主车包括主车设定车速、主车车速和跟车距离等信息,用于自动化生成仿真测试场景。
步骤3,并行开展测试脚本编写、场景信息文件生成、仿真场景文件生成和仿真测试平台释放工作。测试脚本包括初始化脚本、过程操作脚本和自动化判断脚本;场景信息文件包含仿真停止时间,驾驶员设定车速、主车实际车速、跟车距离;仿真场景文件生成指的是根据场景设计文档的内容生成仿真平台可用的仿真场景文件;仿真测试平台包括场景仿真软件、车辆动力学软件、被测算法,通过信号连接形成闭环测试。
步骤4,联调测试脚本与仿真场景,配置仿真测试平台。测试脚本与仿真场景虽然输入文档都为测试概述,但两者在开发过程中相对并行独立,需要在测试前以既定的规则将它们组合放置在相应的路径下;且在编写脚本的过程中可能会遇到平台不适配的问题,需要在此步骤做适配工作。
步骤5,运行测试脚本执行测试。在Matlab和PreScan以及CarSim的联合仿真环境下:1.Matlab用于提供算法模型以及测试脚本的运行环境;2.PreScan用于提供传感器模型、虚拟仿真场景,在Matlab中通过接口进行数据交互;3.CarSim用于提供车辆动力学模型,在Matlab中通过接口进行数据交互。
步骤6,分析测试结果并自动化生成测试报告。测试结果分为4种:pass、fail、blocked、error。对于结果为pass的用例需做好数据记录;对于结果为fail的用例需仔细分析原因,定位问题到具体负责的开发团队;对于结果为block的用例需要分析是在哪一步条件未满足,多为测试平台或者测试脚本的问题;对于结果为error的用例主要原因是软件BUG,需要记录好错误日志。
步骤7,根据测试报告判断测试是否通过。通过则结束该轮迭代测试;不通过则由DTM系统对问题进行记录并反馈到开发人员与项目管理员,待修改算法之后再进行测试。
图2是本实施例提供的测试概述编写流程图。
表1是本实施例提供的测试步骤文档示意图;表2是本实施例提供的场景设计文档示意图。
Figure BDA0003209158380000041
表1
Figure BDA0003209158380000051
表2
本方法引入测试默认值的模式,对于测试概述中未声明变更的输入量,在测试执行过程中保持其默认值不变,解决了不同测试员人多次测试结果不一致的问题。
本方法将传统的测试用例拆分成三部分,之间通过ID建立映射关系。其中测试概述负责分析系统需求,挖掘测试点并统筹测试脚本编写与场景设计;测试步骤文档负责将概述的内容进一步细化,具体到可操作层面;场景设计文档负责定义场景,通过改变场景元素的取值即可设计出不同的场景。将测试用例模块化,解决了编写难度大,维护困难的问题。
本方法引入测试默认值的模式,对于测试概述中未声明变更的输入量,在测试执行过程中保持其默认值不变,解决了不同测试员人多次测试结果不一致的问题。
本方法优化了测试脚本编写方法,通过定义关键词、语义替换的方式编写测试步骤文档,用脚本生成测试脚本的方式极大程度上提高了测试脚本编写效率。

Claims (7)

1.一种有限自动驾驶系统正向开发过程中的仿真测试方法,其特征在于,包括以下步骤:
步骤1,搭建仿真测试环境和根据系统需求与验证准则配置测试概述文档,该测试概述文档包括测试概述编号、来源、测试概述内容、测试场景、备注信息、测试意见、开发意见和需求意见,以及仿真测试执行过程中需要的所有信号接口和阈值参数;
步骤2,并行开展测试步骤文档编写和场景设计文档编写,其中,测试步骤文档包括时序的操作步骤、期望输入条件、期望输入、期望输出条件和期望输出,用于自动化生成仿真测试脚本;场景设计文档包括仿真场景的道路配置和车辆信息,用于自动化生成仿真测试场景;
步骤3,并行开展测试脚本编写、场景信息文件生成、仿真场景文件生成和仿真测试平台释放;
步骤4,联调测试脚本与仿真场景,配置仿真测试平台;
步骤5,运行测试脚本执行测试;在Matlab和PreScan以及CarSim的联合仿真环境下,Matlab提供算法模型以及测试脚本的运行环境;PreScan提供传感器模型、虚拟仿真场景,在Matlab中通过接口进行数据交互;CarSim提供车辆动力学模型,在Matlab中通过接口进行数据交互;
步骤6,分析测试结果并自动化生成测试报告,测试结果分为4种:pass、fail、blocked、error;
步骤7,根据测试报告判断测试是否通过,若通过测试,则结束该轮迭代测试;若不通过,则对问题进行记录并反馈。
2.根据权利要求1所述的有限自动驾驶系统正向开发过程中的仿真测试方法,其特征在于:所述步骤2中,场景设计文档中的道路配置包括直道长度、弯道半径、弯道长度、上坡坡度、上坡长度、下坡坡度、下坡长度、车道宽度和车道线信息。
3.根据权利要求2所述的有限自动驾驶系统正向开发过程中的仿真测试方法,其特征在于:所述步骤2中,场景设计文档中的车辆信息包括目标车信息和主车信息,目标车信息包括目标车个数、目标车车速和目标车加速度,主车信息包括主车设定车速、主车车速和跟车距离。
4.根据权利要求1至3任一所述的有限自动驾驶系统正向开发过程中的仿真测试方法,其特征在于:所述步骤3中,所述测试脚本包括初始化脚本、过程操作脚本和自动化判断脚本。
5.根据权利要求4所述的有限自动驾驶系统正向开发过程中的仿真测试方法,其特征在于:所述步骤3中,所述场景信息文件包括仿真停止时间、驾驶员设定车速、主车实际车速和跟车距离。
6.根据权利要求5所述的有限自动驾驶系统正向开发过程中的仿真测试方法,其特征在于:所述步骤3中,所述仿真场景文件生成指的是根据场景设计文档的内容生成仿真平台可用的仿真场景文件。
7.根据权利要求6所述的有限自动驾驶系统正向开发过程中的仿真测试方法,其特征在于:所述步骤3中,所述仿真测试平台包括场景仿真软件、车辆动力学软件和被测算法。
CN202110927876.0A 2021-08-12 2021-08-12 有限自动驾驶系统正向开发过程中的仿真测试方法 Active CN113742220B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110927876.0A CN113742220B (zh) 2021-08-12 2021-08-12 有限自动驾驶系统正向开发过程中的仿真测试方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110927876.0A CN113742220B (zh) 2021-08-12 2021-08-12 有限自动驾驶系统正向开发过程中的仿真测试方法

Publications (2)

Publication Number Publication Date
CN113742220A true CN113742220A (zh) 2021-12-03
CN113742220B CN113742220B (zh) 2024-03-15

Family

ID=78730988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110927876.0A Active CN113742220B (zh) 2021-08-12 2021-08-12 有限自动驾驶系统正向开发过程中的仿真测试方法

Country Status (1)

Country Link
CN (1) CN113742220B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114356757A (zh) * 2021-12-22 2022-04-15 重庆长安汽车股份有限公司 一种基于有限自动驾驶仿真场景的测试条件配置方法
CN114355791A (zh) * 2021-12-24 2022-04-15 重庆长安汽车股份有限公司 用于智能驾驶冗余功能的仿真测试方法、系统及计算机可读存储介质
CN114356756A (zh) * 2021-12-22 2022-04-15 重庆长安汽车股份有限公司 一种智能驾驶模型开发的模型在环自动化测试方法
CN114355864A (zh) * 2021-12-28 2022-04-15 重庆长安汽车股份有限公司 用于智能驾驶模型开发的模型在环测试方法、系统及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6697961B1 (en) * 1999-09-17 2004-02-24 Nortel Networks Limited Method and system for describing predicates in disjuncts in procedures for test coverage estimation
JP2017084082A (ja) * 2015-10-27 2017-05-18 富士電機株式会社 シミュレーション装置、試験シナリオファイル作成方法、及び試験シナリオファイルを用いた試験方法
CN111767205A (zh) * 2020-04-03 2020-10-13 中国电力科学研究院有限公司 一种支持任务拆分的在线检测方法及系统
US20200379891A1 (en) * 2019-05-29 2020-12-03 Intelliframe, Inc. Methods, systems and computer program products for automated software testing
CN112115600A (zh) * 2020-09-11 2020-12-22 中国第一汽车股份有限公司 一种自动驾驶车辆的仿真系统
CN112835790A (zh) * 2021-01-22 2021-05-25 北京罗克维尔斯科技有限公司 自动驾驶软件的测试方法、装置、设备及介质
CN112835806A (zh) * 2021-02-26 2021-05-25 一汽解放汽车有限公司 一种仿真测试平台、方法及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6697961B1 (en) * 1999-09-17 2004-02-24 Nortel Networks Limited Method and system for describing predicates in disjuncts in procedures for test coverage estimation
JP2017084082A (ja) * 2015-10-27 2017-05-18 富士電機株式会社 シミュレーション装置、試験シナリオファイル作成方法、及び試験シナリオファイルを用いた試験方法
US20200379891A1 (en) * 2019-05-29 2020-12-03 Intelliframe, Inc. Methods, systems and computer program products for automated software testing
CN111767205A (zh) * 2020-04-03 2020-10-13 中国电力科学研究院有限公司 一种支持任务拆分的在线检测方法及系统
CN112115600A (zh) * 2020-09-11 2020-12-22 中国第一汽车股份有限公司 一种自动驾驶车辆的仿真系统
CN112835790A (zh) * 2021-01-22 2021-05-25 北京罗克维尔斯科技有限公司 自动驾驶软件的测试方法、装置、设备及介质
CN112835806A (zh) * 2021-02-26 2021-05-25 一汽解放汽车有限公司 一种仿真测试平台、方法及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114356757A (zh) * 2021-12-22 2022-04-15 重庆长安汽车股份有限公司 一种基于有限自动驾驶仿真场景的测试条件配置方法
CN114356756A (zh) * 2021-12-22 2022-04-15 重庆长安汽车股份有限公司 一种智能驾驶模型开发的模型在环自动化测试方法
CN114355791A (zh) * 2021-12-24 2022-04-15 重庆长安汽车股份有限公司 用于智能驾驶冗余功能的仿真测试方法、系统及计算机可读存储介质
CN114355791B (zh) * 2021-12-24 2023-06-02 重庆长安汽车股份有限公司 用于智能驾驶冗余功能的仿真测试方法、系统及存储介质
CN114355864A (zh) * 2021-12-28 2022-04-15 重庆长安汽车股份有限公司 用于智能驾驶模型开发的模型在环测试方法、系统及计算机可读存储介质
CN114355864B (zh) * 2021-12-28 2024-05-03 重庆长安汽车股份有限公司 用于智能驾驶模型开发的模型在环测试方法、系统及计算机可读存储介质

Also Published As

Publication number Publication date
CN113742220B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
CN113742220A (zh) 有限自动驾驶系统正向开发过程中的仿真测试方法
US8683442B2 (en) Software test case generation from a partial design model
US7681180B2 (en) Parameterized test driven development
US10705800B2 (en) Systems and methods for evaluating compliance of implementation code with a software architecture specification
CN108508867B (zh) 基于行为驱动脚本的车载控制器软件测试系统及方法
US11048487B1 (en) Syntactical change-resistant code generation
US20180101501A1 (en) Method for configuring a real or virtual electronic control unit
JP2014203314A (ja) Ecuシミュレーション装置
US20090282307A1 (en) Optimizing test code generation for verification environment
CN102279789A (zh) 生产阶段嵌入式系统的调试系统及其调试方法
CN117234926A (zh) 基于autosar架构的软件组件接口检查方法及装置
CN114356757A (zh) 一种基于有限自动驾驶仿真场景的测试条件配置方法
CN115794655A (zh) 一种台架测试方法及装置、电子设备
US20220138083A1 (en) Method for operating a control unit when testing software of the control unit, and method for operating a test computer when testing software of a control unit
CN115348200A (zh) 一种can通信功能测试方法及测试系统
Wiechowski et al. Arttest–a new test environment for model-based software development
CN113868766A (zh) 一种自动驾驶需求验证中提高仿真测试效率的测试方法
CN114218666A (zh) 一种仿真的前处理方法和装置
CN109857640A (zh) 一种基于原型设计的嵌入式代码提前验证方法
CN110955423B (zh) 一种模型设计方法、系统、存储介质和终端
JP6072547B2 (ja) アプリケーション・テストシステム
JP2004019508A (ja) 車両用制御装置の評価方法、および車両用制御装置の評価用信号の記録装置
Shin et al. Automated test case generation for automotive embedded software testing using XMI-based UML model transformations
CN117609030A (zh) 一种基于Kanzi的HMI自动化测试方法、系统及存储介质
Dadfarnia et al. Platform-Independent Debugging of Physical Interaction and Signal Flow Models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant