CN114064449A - 一种仿真测试报告生成方法、装置、电子设备及存储介质 - Google Patents

一种仿真测试报告生成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114064449A
CN114064449A CN202010783842.4A CN202010783842A CN114064449A CN 114064449 A CN114064449 A CN 114064449A CN 202010783842 A CN202010783842 A CN 202010783842A CN 114064449 A CN114064449 A CN 114064449A
Authority
CN
China
Prior art keywords
test
data
simulation
report
case
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010783842.4A
Other languages
English (en)
Inventor
刘陈明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SAIC Motor Corp Ltd
Shanghai Automotive Industry Corp Group
Original Assignee
SAIC Motor Corp Ltd
Shanghai Automotive Industry Corp Group
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SAIC Motor Corp Ltd, Shanghai Automotive Industry Corp Group filed Critical SAIC Motor Corp Ltd
Priority to CN202010783842.4A priority Critical patent/CN114064449A/zh
Publication of CN114064449A publication Critical patent/CN114064449A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3696Methods or tools to render software testable
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3684Test management for test design, e.g. generating new test cases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请实施例提供一种仿真测试报告生成方法、装置、电子设备及存储介质,该方法通过确定仿真测试软件对高级驾驶辅助系统ADAS的目标功能进行仿真测试的测试用例;获取仿真测试软件利用测试用例对ADAS进行仿真测试生成的测试数据;根据测试数据计算测试用例的测试结果;并获取预先设置的与目标功能对应的测试报告模板;进而基于测试报告模板,利用测试数据、测试用例和测试结果,生成测试用例的测试报告,可以实现仿真测试报告的自动生成,进而降低了人工编辑仿真测试报告的方式所存在的人工成本高、生成效率低,及易出错问题。

Description

一种仿真测试报告生成方法、装置、电子设备及存储介质
技术领域
本发明涉及自动驾驶汽车技术领域,更具体地说,涉及一种仿真测试报告生成方法、装置、电子设备及存储介质。
背景技术
相比于传统汽车,自动驾驶汽车的测试要求高,测试用例数量成倍增加。目前,应用于自动驾驶汽车功能测试方法主要分为三种:虚拟仿真测试、封闭场地测试及公共道路测试。封闭场地及公共道路测试付出代价与成本显著增加,测试周期长,测试成本高,场景覆盖率有限,且存在较大的安全风险;因此,虚拟仿真测试在自动驾驶功能验证,尤其高级自动驾驶功能验证方面体现出独特的优越性。
常见的汽车ADAS(Advanced Driver Assistance Systems,高级驾驶辅助系统)功能主要包括横纵向驾驶辅助系统,如LKA、LDW、LDP等横向功能,FCW、AEB、ACC等纵向功能。ADAS仿真测试的原理是利用仿真测试软件模拟汽车车辆动力学、传感器、道路、驾驶员等元素,对ADAS相关功能算法进行测试。目前主流的ADAS仿真测试软件有Prescan、CarMaker、Carsim、VTD等,仿真测试软件实现多样化的仿真场景,借助仿真测试软件,ADAS相关算法在多样化仿真场景中的功能表现得以测试。
目前通常由工程人员编辑仿真测试软件的仿真测试结果以生成仿真测试报告,这种仿真测试报告生成方式不仅人工成本高、生成效率低、而且易出错。尤其是随着仿真场景多样化的增加,用来对ADAS进行仿真测试的测试用例越来越多,需要编辑的仿真测试报告数量随之增多,这时工程人员编辑仿真测试报告所存在的人工成本高、生成效率低、易出错等问题愈加明显。
发明内容
有鉴于此,本申请提供一种仿真测试报告生成方法、装置、电子设备及存储介质,以实现仿真测试报告的自动生成,进而降低人工编辑仿真测试报告的方式所存在的人工成本高、生成效率低,及易出错问题。技术方案如下:
一种仿真测试报告生成方法,包括:
确定仿真测试软件对高级驾驶辅助系统ADAS的目标功能进行仿真测试的测试用例;
获取所述仿真测试软件利用所述测试用例对所述ADAS进行仿真测试生成的测试数据;
根据所述测试数据计算所述测试用例的测试结果;
获取预先设置的与所述目标功能对应的测试报告模板,所述测试报告模板指示与所述测试数据、所述测试用例和所述测试结果相关的参数项;
基于所述测试报告模板,利用所述测试数据、所述测试用例和所述测试结果,生成所述测试用例的测试报告。
优选的,所述根据所述测试数据计算所述测试用例的测试结果,包括:
获取所述测试用例携带的关键绩效指标KPI信息;
基于所述KPI信息指示的指标计算方式利用所述测试数据计算所述测试用例的指标信息;
根据所述指标信息和所述KPI信息指示的测试条件生成所述测试用例的测试结果,所述测试结果表征测试成功或测试失败。
优选的,所述获取预先设置的与所述目标功能对应的测试报告模板,包括:
查找预先设置的功能和测试报告模板的对应关系,获取与所述目标功能对应的测试报告模板;所述测试报告模板是响应用户对测试报告模板的构建操作生成的。
优选的,所述基于所述测试报告模板,利用所述测试数据、所述测试用例和所述测试结果,生成所述测试用例的测试报告,包括:
基于所述测试报告模板构建原始测试报告,所述原始测试报告携带所述参数项;
从所述测试数据、所述测试用例和所述测试结果中获取所述参数项指示的用于填入所述原始测试报告中的数据信息,所述数据信息包括所述测试数据中满足所述测试报告模板指示的图片属性的目标图片,所述测试用例中的关键参数信息,以及所述测试结果;
将所述数据信息填入所述原始测试报告生成所述测试用例的测试报告。
优选的,还包括:
确定所述测试报告模板指示的所述数据信息的目标数据格式;
将所述数据信息的数据格式转换成所述目标数据格式;
所述将所述数据信息填入所述原始测试报告生成所述测试用例的测试报告,包括:将转换成所述目标数据格式的所述数据信息填入所述原始测试报告生成所述测试用例的测试报告。
优选的,还包括:
确定所述测试报告模板指示的所述数据信息的目标样式信息;
调整所述测试报告中所述数据信息的样式信息为所述目标样式信息。
优选的,还包括:
获取所述仿真测试软件对所述ADAS进行仿真测试的测试用例列表和基于所述测试用例列表对所述ADAS进行仿真测试生成的测试数据列表;所述测试数据列表中测试数据对应的测试用例的顺序为所述测试用例列表中测试用例的顺序;
所述确定仿真测试软件对高级驾驶辅助系统ADAS的目标功能进行仿真测试的测试用例,包括:从所述测试用例列表中确定历史未被确定且排序最靠前的测试用例;
所述获取所述仿真测试软件利用所述测试用例对所述ADAS进行仿真测试生成的测试数据,包括:从所述测试数据列表中获取历史未被获取且排序最靠前的测试数据。
一种仿真测试报告生成装置,包括:
测试用例确定单元,用于确定仿真测试软件对高级驾驶辅助系统ADAS的目标功能进行仿真测试的测试用例;
测试数据获取单元,用于获取所述仿真测试软件利用所述测试用例对所述ADAS进行仿真测试生成的测试数据;
测试结果生成单元,用于根据所述测试数据计算所述测试用例的测试结果;
测试报告模板获取单元,用于获取预先设置的与所述目标功能对应的测试报告模板,所述测试报告模板指示与所述测试数据、所述测试用例和所述测试结果相关的参数项;
测试报告生成单元,用于基于所述测试报告模板,利用所述测试数据、所述测试用例和所述测试结果,生成所述测试用例的测试报告。
一种电子设备,包括:处理器以及存储器,所述处理器以及存储器通过通信总线相连;其中,所述处理器,用于调用并执行所述存储器中存储的程序;所述存储器,用于存储程序,所述程序用于实现所述仿真测试报告生成方法。
一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机可执行指令,所述计算机可执行指令用于执行所述仿真测试报告生成方法。
本申请实施例提供一种仿真测试报告生成方法、装置、电子设备及存储介质,该方法通过确定仿真测试软件对高级驾驶辅助系统ADAS的目标功能进行仿真测试的测试用例;获取仿真测试软件利用测试用例对ADAS进行仿真测试生成的测试数据;根据测试数据计算测试用例的测试结果;并获取预先设置的与目标功能对应的测试报告模板;进而基于测试报告模板,利用测试数据、测试用例和测试结果,生成测试用例的测试报告,可以实现仿真测试报告的自动生成,进而降低了人工编辑仿真测试报告的方式所存在的人工成本高、生成效率低,及易出错问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种仿真测试报告生成方法流程图;
图2为本申请实施例提供的一种测试用例列表示意图;
图3为本申请实施例提供的一种测试数据示意图;
图4为本申请实施例提供的一种基于测试报告模板,利用测试数据、测试用例和测试结果,生成测试用例的测试报告的方法流程图;
图5为本申请实施例提供的一种原始测试报告示意图;
图6为本申请实施例提供的一种测试报告示意图;
图7为本申请实施例提供的一种测试数据的有序存储示意图;
图8为本申请实施例提供的另一种测试用例示意图;
图9为本申请实施例提供的一种自定义的测试报告模板的示意图;
图10为本申请实施例提供的一种仿真测试报告生成装置示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例:
目前主流的ADAS仿真测试软件有Prescan、CarMaker、Carsim、VTD等,仿真测试软件实现多样化的仿真场景,借助仿真测试软件,ADAS相关算法在多样化仿真场景中的功能表现得以测试。据研数据统计,AEB紧急制动辅助系统仿真测试所需测试用例可分为8大类,细分为839例,而其它单一ADAS功能的仿真测试用例数量一般在1000以上。
目前主流场景仿真软件诸如Prescan、CarMaker和Carsim能够实现测试用例的自动化执行,但是在测试报告生成方面存在多方面的缺陷。首先,部分软件暂时不支持自动生成测试报告;其次,即使有的仿真软件能够生成测试报告,但是不同仿真软件生成的测试报告格式不同,而且无法自定义(如无法添加自定义的元素等),因此大部分OEM公司不会直接采纳仿真软件直接生成的报告;最后,仿真软件中测试报告储存格式单一,大多只支持储存为pdf的报告格式。
因此,目前通常需要工程人员基于仿真软件输出的测试报告/测试数据进行人工编辑,以生成用于向OEM公司提供的测试报告。由工程人员人工编辑的测试报告可以有统一的格式,且可以根据OEM公司的需求进行测试报告格式的自定义,而且经过人工编辑后的测试报告可以保存成OEM公司所需的存储格式。
然而由于ADAS功能开发周期有限,测试用例数量多,因而高效的测试效率是项目开发与测试的技术保障。仿真测试需要处理成百上千的测试用例报告,工程人员往往要花费大量的时间处理测试报告,多次重复性地复制粘贴操作可能引起位置粘贴不匹配等错误。手动处理测试报告,时间长,效率低,易出错。因此,自动生成自定义且统一格式的报告是很有必要的。
鉴于此,本申请实施例提供一种适用于ADAS仿真测试报告自动生成的方法,加快虚拟仿真测试方法在高级自动驾驶功能验证上的应用,从而加快自动驾驶功能的快速落地。
图1为本申请实施例提供的一种仿真测试报告生成方法流程图。
本申请实施例提供的如图1所示的仿真测试报告生成方法,对仿真测试软件对ADAS进行仿真测试所采用的测试用例进行规范化存储,以及对仿真测试软件利用测试用例对ADAS进行仿真测试得到的测试数据进行规范化存储,然后将测试用例和测试用例的测试数据作为本申请实施例提供的一种仿真测试报告生成方法的输入,遍历所有的测试用例,访问测试用例对应的测试数据,利用自定义的测试报告模板自动生成所有测试用例的测试报告。
如图1所示,该方法包括:
S101、确定仿真测试软件对高级驾驶辅助系统ADAS的目标功能进行仿真测试的测试用例;
仿真测试的测试用例一般为excel表格,定义了测试用例的编号、基本参数、KPI等关键信息。如图2所示,测试用例的excel表格详细描述了测试用例的参数,包括编号、测试时间、测试描述、常量、KPI判别条件等。
参见图3,测试用例的测试数据可能包括数据信息和图片信息,数据信息一般为.mat数据,图片信息一般包括一些关键图片元素,比如,Ay图片、jerk图片、offset图片、Takeover图片、Vx图片、Vy图片等等。
本申请实施例中,测试用例和测试数据均是在特定路径下逐一有序存储的,即,测试用例的存储顺序与测试用例的执行顺序相同;测试用例的测试数据的存储顺序也与测试用例的执行顺序相同。需要说明的是,存储的测试用例可以称为测试用例列表,存储的测试数据可以称为测试数据列表,测试数据列表中测试数据对应的测试用例的顺序为测试用例列表中测试用例的顺序。
比如,若一共存在三个测试用例,分别为测试用例1、测试用例2和测试用例3,测试用例1的测试数据为测试数据1,测试用例2的测试数据为测试数据2,测试用例3的测试数据为测试数据3;基于此,如果测试用例1、测试用例2和测试用例3的执行顺序依次为测试用例2、测试用例3和测试用例1;则测试用例列表中测试用例的存储顺序依次为测试用例2、测试用例3和测试用例1;测试数据列表中测试数据的存储顺序依次为测试数据2、测试数据3和测试数据1。
将仿真测试的测试用例的格式统一规范存储以及将测试数据的格式统一规范存储后,可以基于存储的测试用例列表和测试数据列表自动实现测试用例的测试报告的自动生成。
S102、获取仿真测试软件利用测试用例对ADAS进行仿真测试生成的测试数据;
本申请实施例基于存储的测试用例列表和测试数据列表进行测试报告的自动生成,在此过程中,首先遍历测试用例列表从测试用例列表中确定一个历史未被确定且排序最靠前的测试用例;以及,遍历测试数据列表从测试数据列表中获取一个历史未被获取且排序最靠前的测试数据。即,按照测试用例的执行顺序从测试用例列表中确定测试用例,并从测试数据列表中获取当前所确定的测试用例的测试数据,以便于根据当前所确定的测试用例和该测试用例的测试数据生成该测试用例的测试报告。
需要说明的是,遍历测试用例列表从测试用例列表中确定的一个历史未被确定且排序最靠前的测试用例,可以认为是确定的当前待进行测试报告生成的测试用例。
相应的,遍历测试数据列表从测试数据列表中获取的一个历史未被获取且排序最靠前的测试数据,可以认为是获取的仿真测试软件利用当前待进行测试报告生成的测试用例对ADAS进行仿真测试生成的测试数据。
S103、根据测试数据计算测试用例的测试结果;
本申请实施例,在确定当前待进行测试报告生成的测试用例以及该测试用例的测试数据后,可以根据该测试数据计算该测试用例的测试结果。
测试用例携带KPI(关键绩效指标)信息,KPI信息指示KPI判别条件,判断KPI判别条件表征指标计算方式和测试条件,基于指标计算方式利用测试用例的测试数据进行计算得到测试用例的指标信息,判断指标信息是否满足测试条件,如果指标信息满足测试条件,则生成表征测试用例测试成功的测试结果;如果指标信息不满足测试条件,则生成表征测试用例测试失败的测试结果。例如,KPI判别条件可以为评估车速、系统状态、加速请求等变量是否满足要求、某些信号的波动范围是否满足要求、某些信号的最大值/最小值不能超过阈值等。
S104、获取预先设置的与目标功能对应的测试报告模板,测试报告模板携带与测试数据、测试用例和测试结果相关的参数项;
本申请实施例中,预先设置有自定义的测试报告模板,ADAS中存在很多需要被测试的功能,针对ADAS中不同功能可以设置不同的测试报告模板。需要说明的是,可以基于项目需求根据不同功能自定义测试报告模板。
基于此,本申请实施例可以针对ADAS中每个功能,预先设置与该功能对应的测试报告模板,这样,在确定当前待进行测试报告生成的测试用例以及该测试用例的测试数据后,可以确定当前待进行测试报告生成的测试用例用于测试的ADAS的功能,为了便于区分,可以将该功能称为目标功能。进而,可以查找预先设置的功能和测试报告模板的对应关系,进而获取与目标功能对应的测试报告模板,以便于根据该获取到的测试报告模板生成当前待进行测试报告生成的测试用例的测试报告。
S105、基于测试报告模块,利用测试数据、测试用例和测试结果,生成测试用例的测试报告。
本申请实施例,测试报告模板指示与测试数据、测试用例和测试结果相关的参数项,且测试报告模板中还指示参数项的参数值的填充位置。这样,可以调用word的API,基于测试报告模板在word中新建页、新建表格等以构建原始测试报告,原始测试报告携带测试报告模板指示的参数项,并且,原始测试报告上设置有参数项的参数值的填充位置。
通过从测试数据、测试用例和测试结果中获取参数项的参数值,并将参数值填充到其在原始测试报告中的填充位置,便可以得到测试报告。其中,测试报告模板可以是响应用户对测试报告模板的构建操作生成的。即,响应用户对测试报告模板的自定义操作生成。
结合图4-6对本申请实施例提供的一种基于测试报告模板,利用测试数据、测试用例和测试结果,生成测试用例的测试报告的方法进行详细说明。其中,图4为本申请实施例提供的一种基于测试报告模板,利用测试数据、测试用例和测试结果,生成测试用例的测试报告的方法流程图,图5为本申请实施例提供的一种原始测试报告示意图,图6为本申请实施例提供的一种测试报告示意图。
如图4所示,该方法包括:
S401、基于测试报告模板构建原始测试报告,原始测试报告携带参数项;
本申请实施例,调用word的API,基于测试报告模板在word中新建页、新建表格等以构建原始测试报告,原始测试报告携带测试报告模板指示的参数项,并且,原始测试报告上设置有参数项的参数值的填充位置。原始测试报告如图5所示。
S402、从测试数据、测试用例和测试结果中获取参数项指示的用于填入原始测试报告中的数据信息;
本申请实施例中,数据信息可以认为是参数项的参数值,数据信息可以包括测试数据中满足测试报告模板指示的图片属性的目标图片,测试用例中的关键参数信息,以及测试结果。
测试数据包括数据信息和图片信息,图片属性与图片内容有关,比如,测试报告模板指示的图片属性为加速度图片时,将测试数据的图片信息中的加速度图片作为满足测试报告模板指示的图片属性的目标图片。
测试用例中的关键参数信息可以包括编号、测试时间、测试描述、常量和KPI判别条件中的任意一项或多项。
参见图6,测试结果在表征测试成功时,测试结果为“Pass”;测试结果在表征测试失败时,测试结果为“Fail”。
S403、将数据信息填入原始测试报告生成测试用例的测试报告。
进一步的,本申请实施例提供的一种测试报告生成方法,还可以确定测试报告模板指示的数据信息的目标数据格式;将数据信息的数据格式转换成目标数据格式;相应的,将数据信息填入原始测试报告生成测试用例的测试报告,包括:将转换成目标数据格式的数据信息填入原始测试报告生成测试用例的测试报告。
本申请实施例中,数据信息的数据格式可以为字体、字号等等,以上仅仅是本申请实施例提供的数据信息的数据格式的优选内容,有关数据信息的数据格式的具体内容,发明人可根据自己的需求进行设置,在此不做详细说明。
更进一步的,本申请实施例提供的一种测试报告生成方法还可以确定测试报告模板指示的数据信息的目标样式信息;调整测试报告中数据信息的样式信息为目标样式信息。
本申请实施例中,数据信息的目标样式信息与测试报告中数据信息所在单元格的单元格格式有关。
单元格格式可以为单元格的颜色、单元格中字体位置等等。以上仅仅是本申请实施例提供的单元格格式的优选内容,有关单元格格式的具体内容,发明人可根据自己的需求进行设置,在此不做详细说明。
数据信息的目标样式信息可以依据数据信息自动调整。比如,若数据信息为“Fail”时,数据信息所在单元格的填充色为“白色”;若数据信息为“Pass”时,数据信息所在单元格的填充色为“灰色”。
本申请实施例中,将数据信息填入到原始测试报告相应的填充位置,可以生成测试用例的测试报告。比如,将数据信息填入到如图5所示的原始测试报告可以生成如图6所示的测试报告。参见图6,所生成的测试报告中测试结果为“Pass”所生成的测试报告中测试结果所在单元格的填充色设置为了灰色。
基于本申请实施例提供的一种仿真测试报告生成方法,可以遍历测试用例列表,结合测试数据列表依次自动生成测试用例列表中每个测试用例的测试报告。
本申请提供的仿真测试报告生成方法实现了测试报告的自动生成,提高了测试效率。同时不同于场景仿真软件自动生成报告的方法,本发明方法支持报告的自动生成,支持对报告中图、表、文字、段落等元素进行模板自定义,而且保存格式为word,方便后期人工编辑和格式转换。因此,本申请提供的一种仿真测试报告生成方法具有很好的先进性和可行性。
本申请实施例提供的一种仿真报告生成方法对仿真测试的测试数据和测试用例的格式统一规范,对测试报告模板的格式进行自定义,以利用测试报告模板自动生成测试报告。下面结合实例对本申请实施例提供的一种仿真测试报告的生成方法进行详细描述:
步骤1:统一测试数据格式
当仿真软件大规模自动化执行测试用例时,其测试数据一般都会按顺序保存在特定的文件夹,文件夹的名称、路径和层级都会提前被定义,文件夹中也会保存测试用例执行时生成的某些图片元素。总而言之,仿真测试自动化执行的测试数据大多是按序存储的。因此,只需要统一存储格式即可。图7为测试数据的有序存储示意图。
步骤2:统一测试用例格式
ADAS功能的仿真测试用例一般在excel中编辑,通常包括以下五个方面,如图8所示,标记1表示测试用例的编号,以“FR_TC_LaC_001_1_01”为例,次末尾的“1”表示第一个测试序列,末尾“01”表示第一个case。标记2表示基本参数,如测试中的时间、初始速度、前车初始速度、巡航速度、曲率半径、时距等。标记3表示6个输出变量名,相同测试序列输出名相同。标记4表示对应测试用例的KPI判别条件。测试人员基于测试需求,在KPI判别条件中设定KPI的具体数学表达式,如关键输出信号的最值、跳变时刻、波动范围等需满足要求。标记5表示单次测试的通过性,用“Pass”或“Fail”填写,首字母大写。对测试用例的各个组成部分进行格式规范,才能利用本申请实施例提供的一种测试报告生成方法高效地处理这些信息。
参见图8,在进行测试用例存储时,将测试用例的测试结果也作为了测试用例中的信息,这样可以进一步实现测试用例和测试用例的测试结果之间的关联,基于如图8所示的测试用例和测试用例的测试数据便可直接生成测试用例的测试报告。与如图1所示测试报告生成方法之间的区别在于:如图1所示的测试报告生成方法所涉及到的测试用例中未携带测试用例的测试结果,在生成测试用例的测试报告时,还需要计算测试用例的测试结果,进而基于测试用例、测试用例的测试结果和测试用例的测试数据生成测试用例的测试报告。
步骤3:自定义测试报告模板
用于执行本申请实施例提供的一种仿真测试报告生成方法的脚本是基于Matlab软件进行开发的。利用Matlab访问office的接口API,可在Word中对测试报告进行模板的自定义。其主要功能包括对测试报告模板中的页面、文字、表格、图片等进行自定义设置,以满足测试报告的需求。其自定义测试报告模板的具体功能如图9所示,图9为本申请实施例提供的一种自定义的测试报告模板的示意图。
步骤4:编辑测试报告生成的脚本
用于执行本申请实施例提供的一种仿真测试报告生成方法的脚本包括三大部分,分别是测试报告模板定义部分、数据信息填入部分、测试结果计算部分。
报告模板定义部分主要是根据需求设计测试报告的格式,如插入logo,插入几行几列的表格,合并部分单元格,将部分单元格填充颜色调整为目标颜色(比如,黄色)等等。
数据信息填入部分主要是在对应区域编辑文字,对文字的大小、颜色、填充色等做处理,对图片的尺寸、位置等做处理。
测试结果计算部分主要是根据测试用例表格的输入信息,对特定信号进行判别,并以此作为KPI判别的依据,判定测试用例是否通过得到测试用例的测试结果。注明:测试用例的KPI,测试人员基于经验必须提前设定测试用例的KPI。本申请实施例提供的一种仿真测试报告生成方法读取这部分信息,并评价测试用例的测试数据中相关的输出信号是否满足要求,其作为Pass或Fail的依据。
本申请实施例提供的一种仿真测试报告生成方法实现了对仿真测试的数据格式和测试用例的格式统一规范,自定义测试报告的格式,并利用自定义的测试报告模板自动生成测试报告。以某一ADAS功能仿真测试报告的自动生成为例,近200个测试用例的报告自动生成只需15分钟左右,效率高且准确,有效地缓减手动压力及减小错误率,而同样工作量的测试报告手动编辑,大约需要2*24小时。
本申请实施例提供一种适用于ADAS仿真测试报告自动生成的方法,以实现自定义测试报告的格式,并且自动化生成测试报告。并形成统一的、系统的仿真测试报告自动生成的方法,提高仿真测试结果的有效性和科学性,加快虚拟仿真测试在自动驾驶功能验证中的实际应用,加快自动驾驶功能的开发与落地。
图10为本申请实施例提供的一种仿真测试报告生成装置示意图。
如图10所示,该装置包括:
测试用例确定单元1001,用于确定仿真测试软件对高级驾驶辅助系统ADAS的目标功能进行仿真测试的测试用例;
测试数据获取单元1002,用于获取仿真测试软件利用测试用例对ADAS进行仿真测试生成的测试数据;
测试结果生成单元1003,用于根据测试数据计算测试用例的测试结果;
测试报告模板获取单元1004,用于获取预先设置的与目标功能对应的测试报告模板,测试报告模板指示与测试数据、测试用例和测试结果相关的参数项;
测试报告生成单元1005,用于基于测试报告模板,利用测试数据、测试用例和测试结果,生成测试用例的测试报告。
本申请实施例中,优选的,测试结果生成单元包括:
信息获取单元,用于获取测试用例携带的关键绩效指标KPI信息;
指标信息计算到单元,用于基于KPI信息指示的指标计算方式利用测试数据计算测试用例的指标信息;
测试结果生成子单元,用于根据指标信息和KPI信息指示的测试条件生成测试用例的测试结果,测试结果表征测试成功或测试失败。
本申请实施例中,优选的,测试报告模板获取单元具体用于查找预先设置的功能和测试报告模板的对应关系,获取与目标功能对应的测试报告模板;测试报告模板是响应用户对测试报告模板的构建操作生成的。
本申请实施例中,优选的,测试报告生成单元包括:
原始测试报告构建单元,用于基于测试报告模板构建原始测试报告,原始测试报告携带参数项;
数据信息获取单元,用于从测试数据、测试用例和测试结果中获取参数项指示的用于填入原始测试报告中的数据信息,数据信息包括测试数据中满足测试报告模板指示的图片属性的目标图片,测试用例中的关键参数信息,以及测试结果;
测试报告生成子单元,用于将数据信息填入原始测试报告生成测试用例的测试报告。
进一步的,本申请实施例提供的一种仿真测试报告生成装置还包括:
目标数据格式确定单元,用于确定测试报告模板指示的数据信息的目标数据格式;
数据格式转换单元,用于将数据信息的数据格式转换成目标数据格式;
相应的,测试报告生成子单元,具体用于将转换成目标数据格式的数据信息填入原始测试报告生成测试用例的测试报告。
进一步的,本申请实施例提供的一种仿真测试报告生成装置还包括:
目标样式信息确定单元,用于确定测试报告模板指示的数据信息的目标样式信息;
调整单元,用于调整测试报告中数据信息的样式信息为目标样式信息。
进一步的,本申请实施例提供的一种仿真测试报告生成装置还包括列表获取单元,用于获取仿真测试软件对ADAS进行仿真测试的测试用例列表和基于测试用例列表对ADAS进行仿真测试生成的测试数据列表;测试数据列表中测试数据对应的测试用例的顺序为测试用例列表中测试用例的顺序。
相应的,测试用例确定单元,具体用于从测试用例列表中确定历史未被确定且排序最靠前的测试用例;
测试数据获取单元,具体用于从测试数据列表中获取历史未被获取且排序最靠前的测试数据。
进一步的,本申请实施例还提供一种电子设备,该电子设备包括处理器以及存储器,处理器以及存储器通过通信总线相连;其中,处理器,用于调用并执行存储器中存储的程序;存储器,用于存储程序,程序用于实现本申请实施例提供的一种仿真测试报告生成方法。
更进一步的,本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机可执行指令,计算机可执行指令用于执行本申请实施例提供的一种仿真测试报告生成方法。
本申请实施例提供一种仿真测试报告生成方法、装置、电子设备及存储介质,该方法通过确定仿真测试软件对高级驾驶辅助系统ADAS的目标功能进行仿真测试的测试用例;获取仿真测试软件利用测试用例对ADAS进行仿真测试生成的测试数据;根据测试数据计算测试用例的测试结果;并获取预先设置的与目标功能对应的测试报告模板;进而基于测试报告模板,利用测试数据、测试用例和测试结果,生成测试用例的测试报告,可以实现仿真测试报告的自动生成,进而降低了人工编辑仿真测试报告的方式所存在的人工成本高、生成效率低,及易出错问题。
以上对本发明所提供的一种仿真测试报告生成方法、装置、电子设备及存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素,或者是还包括为这些过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种仿真测试报告生成方法,其特征在于,包括:
确定仿真测试软件对高级驾驶辅助系统ADAS的目标功能进行仿真测试的测试用例;
获取所述仿真测试软件利用所述测试用例对所述ADAS进行仿真测试生成的测试数据;
根据所述测试数据计算所述测试用例的测试结果;
获取预先设置的与所述目标功能对应的测试报告模板,所述测试报告模板指示与所述测试数据、所述测试用例和所述测试结果相关的参数项;
基于所述测试报告模板,利用所述测试数据、所述测试用例和所述测试结果,生成所述测试用例的测试报告。
2.根据权利要求1所述的方法,其特征在于,所述根据所述测试数据计算所述测试用例的测试结果,包括:
获取所述测试用例携带的关键绩效指标KPI信息;
基于所述KPI信息指示的指标计算方式利用所述测试数据计算所述测试用例的指标信息;
根据所述指标信息和所述KPI信息指示的测试条件生成所述测试用例的测试结果,所述测试结果表征测试成功或测试失败。
3.根据权利要求1所述的方法,其特征在于,所述获取预先设置的与所述目标功能对应的测试报告模板,包括:
查找预先设置的功能和测试报告模板的对应关系,获取与所述目标功能对应的测试报告模板;所述测试报告模板是响应用户对测试报告模板的构建操作生成的。
4.根据权利要求1所述的方法,其特征在于,所述基于所述测试报告模板,利用所述测试数据、所述测试用例和所述测试结果,生成所述测试用例的测试报告,包括:
基于所述测试报告模板构建原始测试报告,所述原始测试报告携带所述参数项;
从所述测试数据、所述测试用例和所述测试结果中获取所述参数项指示的用于填入所述原始测试报告中的数据信息,所述数据信息包括所述测试数据中满足所述测试报告模板指示的图片属性的目标图片,所述测试用例中的关键参数信息,以及所述测试结果;
将所述数据信息填入所述原始测试报告生成所述测试用例的测试报告。
5.根据权利要求4所述的方法,其特征在于,还包括:
确定所述测试报告模板指示的所述数据信息的目标数据格式;
将所述数据信息的数据格式转换成所述目标数据格式;
所述将所述数据信息填入所述原始测试报告生成所述测试用例的测试报告,包括:将转换成所述目标数据格式的所述数据信息填入所述原始测试报告生成所述测试用例的测试报告。
6.根据权利要求5所述的方法,其特征在于,还包括:
确定所述测试报告模板指示的所述数据信息的目标样式信息;
调整所述测试报告中所述数据信息的样式信息为所述目标样式信息。
7.根据权利要求1所述的方法,其特征在于,还包括:
获取所述仿真测试软件对所述ADAS进行仿真测试的测试用例列表和基于所述测试用例列表对所述ADAS进行仿真测试生成的测试数据列表;所述测试数据列表中测试数据对应的测试用例的顺序为所述测试用例列表中测试用例的顺序;
所述确定仿真测试软件对高级驾驶辅助系统ADAS的目标功能进行仿真测试的测试用例,包括:从所述测试用例列表中确定历史未被确定且排序最靠前的测试用例;
所述获取所述仿真测试软件利用所述测试用例对所述ADAS进行仿真测试生成的测试数据,包括:从所述测试数据列表中获取历史未被获取且排序最靠前的测试数据。
8.一种仿真测试报告生成装置,其特征在于,包括:
测试用例确定单元,用于确定仿真测试软件对高级驾驶辅助系统ADAS的目标功能进行仿真测试的测试用例;
测试数据获取单元,用于获取所述仿真测试软件利用所述测试用例对所述ADAS进行仿真测试生成的测试数据;
测试结果生成单元,用于根据所述测试数据计算所述测试用例的测试结果;
测试报告模板获取单元,用于获取预先设置的与所述目标功能对应的测试报告模板,所述测试报告模板指示与所述测试数据、所述测试用例和所述测试结果相关的参数项;
测试报告生成单元,用于基于所述测试报告模板,利用所述测试数据、所述测试用例和所述测试结果,生成所述测试用例的测试报告。
9.一种电子设备,其特征在于,包括:处理器以及存储器,所述处理器以及存储器通过通信总线相连;其中,所述处理器,用于调用并执行所述存储器中存储的程序;所述存储器,用于存储程序,所述程序用于实现如权利要求1-7任意一项所述的仿真测试报告生成方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机可执行指令,所述计算机可执行指令用于执行权利要求1-7任意一项所述的仿真测试报告生成方法。
CN202010783842.4A 2020-08-06 2020-08-06 一种仿真测试报告生成方法、装置、电子设备及存储介质 Pending CN114064449A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010783842.4A CN114064449A (zh) 2020-08-06 2020-08-06 一种仿真测试报告生成方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010783842.4A CN114064449A (zh) 2020-08-06 2020-08-06 一种仿真测试报告生成方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114064449A true CN114064449A (zh) 2022-02-18

Family

ID=80232430

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010783842.4A Pending CN114064449A (zh) 2020-08-06 2020-08-06 一种仿真测试报告生成方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114064449A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115174425A (zh) * 2022-06-14 2022-10-11 东风汽车集团股份有限公司 一种以太网自动化测试方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115174425A (zh) * 2022-06-14 2022-10-11 东风汽车集团股份有限公司 一种以太网自动化测试方法及装置

Similar Documents

Publication Publication Date Title
CN106980560A (zh) 一种基于icd数据库多总线协议测试及仿真方法和平台
CN109102206A (zh) 一种汽车维修厂的评价方法及相关设备
CN112445197A (zh) 一种控制器版本信息校验的方法、处理器及整车测试系统
WO2022174838A1 (zh) 一种驾驶场景识别方法及其系统
CN114064449A (zh) 一种仿真测试报告生成方法、装置、电子设备及存储介质
CN114091383A (zh) 测试序列生成方法、装置、系统及相关设备
CN111369294B (zh) 软件造价估算方法及装置
CN115543809A (zh) 自动驾驶功能的测试场景库构建方法及装置
CN116402130A (zh) 模型训练方法、信息抽取方法、装置、电子设备及介质
CN116166533A (zh) 接口测试方法、装置、终端设备以及存储介质
CN112182413B (zh) 一种基于教学大数据的智能推荐方法及服务器
CN113010489A (zh) 一种数据迁移方法及系统
CN114398496A (zh) 文本的知识表示方法、装置、设备及计算机可读介质
CN111651362A (zh) 测试案例生成方法、装置、存储介质和计算机设备
CN116993396B (zh) 基于车辆用户标签的风险预警方法、计算机设备
CN115567340B (zh) Can总线的测试工程生成方法、装置、设备及介质
CN116092494B (zh) 语音交互方法、服务器和计算机可读存储介质
CN115544985B (zh) 基于地理计算语言的统计图制作方法、装置、设备及介质
CN111651196B (zh) 文档发布方法、装置及服务器
CN112015656B (zh) 一种工作流设计器的可视化调试方法及装置
CN116756050A (zh) 基于mbse的惯性产品用例分析方法、系统及存储介质
CN113408235A (zh) 参数处理方法、系统和计算机可读存储介质
CN114428724A (zh) 一种性能测试结果自动分析方法及装置
CN110879860A (zh) 一种文档管理方法、系统、电子设备及介质
CN117874183A (zh) 一种带有标注过程的人工智能模型人机交互方法及设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination