CN115048315B - 自动驾驶仿真测试结果的分析方法、装置和电子设备 - Google Patents
自动驾驶仿真测试结果的分析方法、装置和电子设备 Download PDFInfo
- Publication number
- CN115048315B CN115048315B CN202210799876.1A CN202210799876A CN115048315B CN 115048315 B CN115048315 B CN 115048315B CN 202210799876 A CN202210799876 A CN 202210799876A CN 115048315 B CN115048315 B CN 115048315B
- Authority
- CN
- China
- Prior art keywords
- target
- simulation test
- functional module
- function
- failure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 192
- 238000004088 simulation Methods 0.000 title claims abstract description 155
- 238000004458 analytical method Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 43
- 230000006870 function Effects 0.000 claims description 171
- 238000011156 evaluation Methods 0.000 claims description 72
- 230000015654 memory Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明提供了一种自动驾驶仿真测试结果的分析方法、装置和电子设备，包括：获取对多个测试用例进行一轮仿真测试后得到的多个仿真测试结果；根据各个仿真测试结果中的失败项对每种失败项对应的仿真测试结果的数量进行统计；基于每种失败项对应的仿真测试结果的数量在各种失败项中确定目标失败项；根据目标失败项与自动驾驶的各功能模块之间的关联关系，在各功能模块中确定存在问题的目标功能模块。本发明的自动驾驶仿真测试结果的分析方法能够对自动驾驶仿真测试结果进行自动分析，节省了时间，提高了效率，缓解了现有的通过人工方式对自动驾驶仿真测试结果进行分析的方法耗时严重、效率低下的技术问题。
Description
技术领域
本发明涉及自动驾驶的技术领域，尤其是涉及一种自动驾驶仿真测试结果的分析方法、装置和电子设备。
背景技术
对于自动驾驶车辆来说，进行仿真测试是保证自动驾驶车辆安全性的必要条件。
目前，在通过仿真系统对测试用例进行仿真测试后，会得到该测试用例对应的仿真测试结果(例如，对跟车测试用例进行仿真测试后，得到自适应巡航(ACC)未能保证与前车车距的仿真测试结果)，然后，再通过人工的方式对上述仿真测试结果(例如，相关日志、仿真数据和仿真状态)进行分析，得到最终的仿真测试结论，即确定出自动驾驶车辆中哪些功能模块是存在问题的，进而再针对性的对存在问题的功能模块进行修改。上述通过人工分析得到仿真测试结论的方式仅适用于仿真测试结果数量较少的情况，若同时执行了大规模的并行仿真，会在短时间内产生大量的仿真测试结果，若还通过人工分析的方式对上述仿真测试结果进行逐一分析，会耗费大量的时间，效率低下。
综上，现有的通过人工方式对自动驾驶仿真测试结果进行分析的方法存在耗时严重、效率低下的技术问题。
发明内容
有鉴于此，本发明的目的在于提供一种自动驾驶仿真测试结果的分析方法、装置和电子设备，以缓解现有的通过人工方式对自动驾驶仿真测试结果进行分析的方法耗时严重、效率低下的技术问题。
第一方面，本发明实施例提供了一种自动驾驶仿真测试结果的分析方法，包括：
获取对多个测试用例进行一轮仿真测试后得到的多个仿真测试结果；
根据各个所述仿真测试结果中的失败项对每种失败项对应的仿真测试结果的数量进行统计；
基于所述每种失败项对应的仿真测试结果的数量在各种失败项中确定目标失败项；
根据所述目标失败项与自动驾驶的各功能模块之间的关联关系，在所述各功能模块中确定存在问题的目标功能模块。
进一步的，基于所述每种失败项对应的仿真测试结果的数量在各种失败项中确定目标失败项，包括：
根据所述每种失败项对应的仿真测试结果的数量和每种失败项对应的权重对各种失败项进行加权计算，得到各种失败项对应的加权值；
根据所述各种失败项对应的加权值在所述各种失败项中确定目标失败项。
进一步的，根据所述目标失败项与自动驾驶的各功能模块之间的关联关系，在所述各功能模块中确定存在问题的目标功能模块，包括：
获取与所述目标失败项对应的目标功能依赖关系拓扑图，其中，所述目标功能依赖关系拓扑图为各功能和子功能之间的依赖关系，且所述目标功能依赖关系拓扑图中叶子节点为功能模块；
根据各个所述仿真测试结果中的各功能的评估值对相同功能对应的评估值进行求和，得到各种功能的评估值；
基于所述目标功能依赖关系拓扑图和所述各种功能的评估值确定所述目标功能依赖关系拓扑图中各功能模块的评估值；
根据与各功能模块相关联的测试用例的仿真测试结果，统计其中失败的测试用例数与所述相关联的测试用例的总数的比例，得到各功能模块的置信度；
根据所述各功能模块的评估值和所述各功能模块的置信度确定所述目标功能模块。
进一步的，基于所述目标功能依赖关系拓扑图和所述各种功能的评估值确定所述目标功能依赖关系拓扑图中各功能模块的评估值，包括：
根据所述目标功能依赖关系拓扑图确定与第一功能模块存在依赖关系的目标功能，其中，所述第一功能模块为遍历所述目标功能依赖关系拓扑图中的任意功能模块；
将所述目标功能的评估值进行求和，得到所述第一功能模块的评估值，进而得到所述各功能模块的评估值。
进一步的，根据所述各功能模块的评估值和所述各功能模块的置信度确定所述目标功能模块，包括：
将所述各功能模块的评估值与对应的功能模块的置信度进行乘积运算，得到各功能模块的乘积结果；
根据所述各功能模块的乘积结果确定所述目标功能模块。
进一步的，所述方法还包括：
对所述目标功能模块进行修改，得到修改后的目标功能模块，并返回执行获取对多个测试用例进行一轮仿真测试后得到的多个仿真测试结果的步骤，直至满足预设的退出仿真测试的条件为止。
进一步的，所述方法还包括：
对所述修改后的目标功能模块进行标记，并根据下一轮分析确定的所述目标功能模块判定所述修改后的目标功能模块是否已得到改善。
第二方面，本发明实施例还提供了一种自动驾驶仿真测试结果的分析装置，包括：
获取单元，用于获取对多个测试用例进行一轮仿真测试后得到的多个仿真测试结果；
统计单元，用于根据各个所述仿真测试结果中的失败项对每种失败项对应的仿真测试结果的数量进行统计；
第一确定单元，用于基于所述每种失败项对应的仿真测试结果的数量在各种失败项中确定目标失败项；
第二确定单元，用于根据所述目标失败项与自动驾驶的各功能模块之间的关联关系，在所述各功能模块中确定存在问题的目标功能模块。
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一项所述的方法的步骤。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述机器可运行指令在被处理器调用和运行时，所述机器可运行指令促使所述处理器运行上述第一方面任一项所述的方法。
在本发明实施例中，提供了一种自动驾驶仿真测试结果的分析方法，包括：获取对多个测试用例进行一轮仿真测试后得到的多个仿真测试结果；根据各个仿真测试结果中的失败项对每种失败项对应的仿真测试结果的数量进行统计；基于每种失败项对应的仿真测试结果的数量在各种失败项中确定目标失败项；根据目标失败项与自动驾驶的各功能模块之间的关联关系，在各功能模块中确定存在问题的目标功能模块。通过上述描述可知，本发明的自动驾驶仿真测试结果的分析方法能够对自动驾驶仿真测试结果进行自动分析，节省了时间，提高了效率，缓解了现有的通过人工方式对自动驾驶仿真测试结果进行分析的方法耗时严重、效率低下的技术问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种自动驾驶仿真测试结果的分析方法的流程图；
图2为本发明实施例提供的在各功能模块中确定存在问题的目标功能模块的方法流程图；
图3为本发明实施例提供的与NOA功能对应的目标功能依赖关系拓扑图的示意图；
图4为本发明实施例提供的一种自动驾驶仿真测试结果的分析装置的示意图；
图5为本发明实施例提供的一种电子设备的示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有技术中，一般通过人工方式对自动驾驶仿真测试结果进行分析，从而确定出自动驾驶车辆中存在问题的功能模块。该人工分析的方式耗时严重，效率低下。
基于此，本发明的自动驾驶仿真测试结果的分析方法能够对自动驾驶仿真测试结果进行自动分析，节省了时间，提高了效率。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种自动驾驶仿真测试结果的分析方法进行详细介绍。
实施例一：
根据本发明实施例，提供了一种自动驾驶仿真测试结果的分析方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种自动驾驶仿真测试结果的分析方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，获取对多个测试用例进行一轮仿真测试后得到的多个仿真测试结果；
具体的，本发明的自动驾驶仿真测试结果的分析方法可以应用于自动驾驶仿真测试结果的分析系统中，上述多个测试用例具体可以为批量的测试用例，例如，上千的测试用例、上万的测试用例等，其中，一个测试用例经过一轮仿真测试得到对应的一个仿真测试结果。
步骤S104，根据各个仿真测试结果中的失败项对每种失败项对应的仿真测试结果的数量进行统计；
在本发明实施例中，失败项包括：发生碰撞、违反交通规则(具体可以包括：闯红灯、压车道线等)、功能点失败(具体可以包括：车道保持偏离车道、ACC未能保证与前车车距、AEB未刹车等)、舒适性(具体可以包括：顿挫、急刹车、急加速、急转弯、车速变化异常等)等非驾驶预期，本发明实施例对上述4种失败项不进行具体限制，还可以包括其它失败项。
例如，同时对1000个测试用例进行了一轮仿真测试，得到了1000个仿真测试结果，其中发生碰撞对应的仿真测试结果的数量为246，违反交通规则对应的仿真测试结果的数量为254，功能点失败对应的仿真测试结果的数量为346，舒适性对应的仿真测试结果的数量为154。
步骤S106，基于每种失败项对应的仿真测试结果的数量在各种失败项中确定目标失败项；
步骤S108，根据目标失败项与自动驾驶的各功能模块之间的关联关系，在各功能模块中确定存在问题的目标功能模块。
上述目标功能模块可以为一个，也可以为多个，本发明实施例对上述目标功能模块的数量不进行具体限制。
下述内容再对上述步骤S106和步骤S108进行详细介绍，在此不再赘述。
在本发明实施例中，提供了一种自动驾驶仿真测试结果的分析方法，包括：获取对多个测试用例进行一轮仿真测试后得到的多个仿真测试结果；根据各个仿真测试结果中的失败项对每种失败项对应的仿真测试结果的数量进行统计；基于每种失败项对应的仿真测试结果的数量在各种失败项中确定目标失败项；根据目标失败项与自动驾驶的各功能模块之间的关联关系，在各功能模块中确定存在问题的目标功能模块。通过上述描述可知，本发明的自动驾驶仿真测试结果的分析方法能够对自动驾驶仿真测试结果进行自动分析，节省了时间，提高了效率，缓解了现有的通过人工方式对自动驾驶仿真测试结果进行分析的方法耗时严重、效率低下的技术问题。
在本发明的一个可选实施例中，上述步骤S106，基于每种失败项对应的仿真测试结果的数量在各种失败项中确定目标失败项，具体包括如下步骤：
(1)根据每种失败项对应的仿真测试结果的数量和每种失败项对应的权重对各种失败项进行加权计算，得到各种失败项对应的加权值；
具体的，每种失败项对应的权重为根据人类的经验预设得到的，每种失败项对应的权重用于表征其对应的失败项的危险程度/重要性，其中，对于上述4种失败项来讲，发生碰撞的权重、违反交通规则的权重、功能点失败的权重和舒适性的权重依次减小。
(2)根据各种失败项对应的加权值在各种失败项中确定目标失败项。
具体的，将各种失败项对应的加权值中，最大加权值对应的失败项作为目标失败项。例如，确定得到的目标失败项为功能点失败，可以进一步确定哪一小项对应的仿真测试结果的数量最多，再将数量最多对应的小项确定为最终的目标失败项，例如，功能点失败中NOA功能对应的数量最多，那么确定的最终的目标失败项即为NOA功能。
在本发明的一个可选实施例中，参考图2，上述步骤S108，根据目标失败项与自动驾驶的各功能模块之间的关联关系，在各功能模块中确定存在问题的目标功能模块，具体包括如下步骤：
步骤S201，获取与目标失败项对应的目标功能依赖关系拓扑图，其中，目标功能依赖关系拓扑图为各功能和子功能之间的依赖关系，且目标功能依赖关系拓扑图中叶子节点为功能模块；
具体的，如上述内容中的描述，确定的最终的目标失败项为NOA功能，那么就获取与NOA功能对应的目标功能依赖关系拓扑图，如图3所示，其中，目标功能依赖关系拓扑图为各功能和子功能之间的依赖关系，且目标功能依赖关系拓扑图中叶子节点为功能模块。
步骤S202，根据各个仿真测试结果中的各功能的评估值对相同功能对应的评估值进行求和，得到各种功能的评估值；
例如，跟车测试用例1的仿真测试结果中，ACC功能的评估值为0.9，LKA功能的评估值为0.3；跟车测试用例2的仿真测试结果中，ACC功能的评估值为0.6，LKA功能的评估值为0.5，那么可以得到ACC功能的评估值为0.9+0.6＝1.5，LKA功能的评估值为0.3+0.5＝0.8。
上述各个仿真测试结果中的各功能的评估值用于表征其对应的功能存在问题的严重性，为0～1之间的数值，0表示没有问题，1表示严重问题。
上述得到的各种功能的评估值的结果用于表示每个功能的有效性情况，可以根据有效程度给出自动驾驶的功能的排序，用于开发人员解决问题优先级。如，上述ACC功能的评估值为1.5，LKA功能的评估值为0.8，那么开发人员解决问题的优先级为先解决ACC功能的问题，再解决LKA功能的问题。
步骤S203，基于目标功能依赖关系拓扑图和各种功能的评估值确定目标功能依赖关系拓扑图中各功能模块的评估值；
具体的，基于目标功能依赖关系拓扑图和各种功能的评估值确定目标功能依赖关系拓扑图中各功能模块的评估值，具体包括：
(1)根据目标功能依赖关系拓扑图确定与第一功能模块存在依赖关系的目标功能，其中，第一功能模块为遍历目标功能依赖关系拓扑图中的任意功能模块；
(2)将目标功能的评估值进行求和，得到第一功能模块的评估值，进而得到各功能模块的评估值。
下面以一个具体的举例进行说明，如图3所示，若第一功能模块为轨迹规划模块，与轨迹规划模块存在依赖关系的目标功能包括：ACC功能、ISLC功能、TLC功能、NOA功能和ALC功能，那么将ACC功能的评估值、ISLC功能的评估值、TLC功能的评估值、NOA功能的评估值和ALC功能的评估值进行求和，就得到了轨迹规划模块的评估值，其它的功能模块的评估值的计算过程与此相似，在此不再举例说明。
步骤S204，根据与各功能模块相关联的测试用例的仿真测试结果，统计其中失败的测试用例数与相关联的测试用例的总数的比例，得到各功能模块的置信度；
步骤S205，根据各功能模块的评估值和各功能模块的置信度确定目标功能模块。
具体的，根据各功能模块的评估值和各功能模块的置信度确定目标功能模块，具体包括：
(1)将各功能模块的评估值与对应的功能模块的置信度进行乘积运算，得到各功能模块的乘积结果；
(2)根据各功能模块的乘积结果确定目标功能模块。
具体的，可以将各功能模块的乘积结果中，最大的乘积结果对应的功能模块作为目标功能模块；也可以将各功能模块的乘积结果进行降序排列，将位于前N个的乘积结果对应的功能模块作为目标功能模块；还可以是将大于预设乘积阈值的乘积结果对应的功能模块作为目标功能模块，本发明实施例对上述确定目标功能模块的具体过程不进行具体限制。
在本发明的一个可选实施例中，该方法还包括：
对目标功能模块进行修改，得到修改后的目标功能模块，并返回执行获取对多个测试用例进行一轮仿真测试后得到的多个仿真测试结果的步骤，直至满足预设的退出仿真测试的条件为止。
上述预设的退出仿真测试的条件可以为仿真测试的轮数达到预设轮数阈值的条件，还可以为所有目标功能模块都得到改善的条件。
在本发明的一个可选实施例中，该方法还包括：
对修改后的目标功能模块进行标记，并根据下一轮分析确定的目标功能模块判定修改后的目标功能模块是否已得到改善。
具体的，若下一轮分析确定的目标功能模块中不包含上述修改后的目标功能模块，则说明修改后的目标功能模块已得到改善；若下一轮分析确定的目标功能模块中还包含上述修改后的目标功能模块，则说明修改后的目标功能模块未得到改善。
另外，将多轮仿真测试后，分析得到的目标功能模块和标记的目标功能模块进行对比，确定修改的错误率。例如，分析得到的目标功能模块为3个，标记的目标功能模块同样是上述分析得到的3个目标功能模块，也就是说修改后的目标功能模块依然是存在问题的，那么说明修改的错误率为100％，得到的上述错误率用于供项目经理进行使用，辅助项目经理确定项目进度。
本发明的自动驾驶仿真测试结果的分析方法能够对大量仿真测试结果进行自动分析汇总，清楚的展示出存在问题的目标功能模块，以便开发人员有针对性的对目标功能模块进行修改，简单快捷，分析的效率高。
实施例二：
本发明实施例还提供了一种自动驾驶仿真测试结果的分析装置，该自动驾驶仿真测试结果的分析装置主要用于执行本发明实施例一中所提供的自动驾驶仿真测试结果的分析方法，以下对本发明实施例提供的自动驾驶仿真测试结果的分析装置做具体介绍。
图4是根据本发明实施例的一种自动驾驶仿真测试结果的分析装置的示意图，该装置主要包括：获取单元10、统计单元20、第一确定单元30和第二确定单元40，其中：
获取单元，用于获取对多个测试用例进行一轮仿真测试后得到的多个仿真测试结果；
统计单元，用于根据各个仿真测试结果中的失败项对每种失败项对应的仿真测试结果的数量进行统计；
第一确定单元，用于基于每种失败项对应的仿真测试结果的数量在各种失败项中确定目标失败项；
第二确定单元，用于根据目标失败项与自动驾驶的各功能模块之间的关联关系，在各功能模块中确定存在问题的目标功能模块。
在本发明实施例中，提供了一种自动驾驶仿真测试结果的分析装置，包括：获取对多个测试用例进行一轮仿真测试后得到的多个仿真测试结果；根据各个仿真测试结果中的失败项对每种失败项对应的仿真测试结果的数量进行统计；基于每种失败项对应的仿真测试结果的数量在各种失败项中确定目标失败项；根据目标失败项与自动驾驶的各功能模块之间的关联关系，在各功能模块中确定存在问题的目标功能模块。通过上述描述可知，本发明的自动驾驶仿真测试结果的分析装置能够对自动驾驶仿真测试结果进行自动分析，节省了时间，提高了效率，缓解了现有的通过人工方式对自动驾驶仿真测试结果进行分析的方法耗时严重、效率低下的技术问题。
可选地，第一确定单元还用于：根据每种失败项对应的仿真测试结果的数量和每种失败项对应的权重对各种失败项进行加权计算，得到各种失败项对应的加权值；根据各种失败项对应的加权值在各种失败项中确定目标失败项。
可选地，第二确定单元还用于：获取与目标失败项对应的目标功能依赖关系拓扑图，其中，目标功能依赖关系拓扑图为各功能和子功能之间的依赖关系，且目标功能依赖关系拓扑图中叶子节点为功能模块；根据各个仿真测试结果中的各功能的评估值对相同功能对应的评估值进行求和，得到各种功能的评估值；基于目标功能依赖关系拓扑图和各种功能的评估值确定目标功能依赖关系拓扑图中各功能模块的评估值；根据与各功能模块相关联的测试用例的仿真测试结果，统计其中失败的测试用例数与相关联的测试用例的总数的比例，得到各功能模块的置信度；根据各功能模块的评估值和各功能模块的置信度确定目标功能模块。
可选地，第二确定单元还用于：根据目标功能依赖关系拓扑图确定与第一功能模块存在依赖关系的目标功能，其中，第一功能模块为遍历目标功能依赖关系拓扑图中的任意功能模块；将目标功能的评估值进行求和，得到第一功能模块的评估值，进而得到各功能模块的评估值。
可选地，第二确定单元还用于：将各功能模块的评估值与对应的功能模块的置信度进行乘积运算，得到各功能模块的乘积结果；根据各功能模块的乘积结果确定目标功能模块。
可选地，该装置还用于：对目标功能模块进行修改，得到修改后的目标功能模块，并返回执行获取对多个测试用例进行一轮仿真测试后得到的多个仿真测试结果的步骤，直至满足预设的退出仿真测试的条件为止。
可选地，该装置还用于：对修改后的目标功能模块进行标记，并根据下一轮分析确定的目标功能模块判定修改后的目标功能模块是否已得到改善。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
如图5所示，本申请实施例提供的一种电子设备600，包括：处理器601、存储器602和总线，所述存储器602存储有所述处理器601可执行的机器可读指令，当电子设备运行时，所述处理器601与所述存储器602之间通过总线通信，所述处理器601执行所述机器可读指令，以执行如上述自动驾驶仿真测试结果的分析方法的步骤。
具体地，上述存储器602和处理器601能够为通用的存储器和处理器，这里不做具体限定，当处理器601运行存储器602存储的计算机程序时，能够执行上述自动驾驶仿真测试结果的分析方法。
处理器601可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器601中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器601可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processing，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器602，处理器601读取存储器602中的信息，结合其硬件完成上述方法的步骤。
对应于上述自动驾驶仿真测试结果的分析方法，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述自动驾驶仿真测试结果的分析方法的步骤。
本申请实施例所提供的自动驾驶仿真测试结果的分析装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
再例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述车辆标记方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (9)
1.一种自动驾驶仿真测试结果的分析方法，其特征在于，包括：
获取对多个测试用例进行一轮仿真测试后得到的多个仿真测试结果；
根据各个所述仿真测试结果中的失败项对每种失败项对应的仿真测试结果的数量进行统计；
基于所述每种失败项对应的仿真测试结果的数量在各种失败项中确定目标失败项；
根据所述目标失败项与自动驾驶的各功能模块之间的关联关系，在所述各功能模块中确定存在问题的目标功能模块；
其中，根据所述目标失败项与自动驾驶的各功能模块之间的关联关系，在所述各功能模块中确定存在问题的目标功能模块，包括：
获取与所述目标失败项对应的目标功能依赖关系拓扑图，其中，所述目标功能依赖关系拓扑图为各功能和子功能之间的依赖关系，且所述目标功能依赖关系拓扑图中叶子节点为功能模块；
根据各个所述仿真测试结果中的各功能的评估值对相同功能对应的评估值进行求和，得到各种功能的评估值；
基于所述目标功能依赖关系拓扑图和所述各种功能的评估值确定所述目标功能依赖关系拓扑图中各功能模块的评估值；
根据与各功能模块相关联的测试用例的仿真测试结果，统计其中失败的测试用例数与所述相关联的测试用例的总数的比例，得到各功能模块的置信度；
根据所述各功能模块的评估值和所述各功能模块的置信度确定所述目标功能模块。
2.根据权利要求1所述的方法，其特征在于，基于所述每种失败项对应的仿真测试结果的数量在各种失败项中确定目标失败项，包括：
根据所述每种失败项对应的仿真测试结果的数量和每种失败项对应的权重对各种失败项进行加权计算，得到各种失败项对应的加权值；
根据所述各种失败项对应的加权值在所述各种失败项中确定目标失败项。
3.根据权利要求1所述的方法，其特征在于，基于所述目标功能依赖关系拓扑图和所述各种功能的评估值确定所述目标功能依赖关系拓扑图中各功能模块的评估值，包括：
根据所述目标功能依赖关系拓扑图确定与第一功能模块存在依赖关系的目标功能，其中，所述第一功能模块为遍历所述目标功能依赖关系拓扑图中的任意功能模块；
将所述目标功能的评估值进行求和，得到所述第一功能模块的评估值，进而得到所述各功能模块的评估值。
4.根据权利要求1所述的方法，其特征在于，根据所述各功能模块的评估值和所述各功能模块的置信度确定所述目标功能模块，包括：
将所述各功能模块的评估值与对应的功能模块的置信度进行乘积运算，得到各功能模块的乘积结果；
根据所述各功能模块的乘积结果确定所述目标功能模块。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述目标功能模块进行修改，得到修改后的目标功能模块，并返回执行获取对多个测试用例进行一轮仿真测试后得到的多个仿真测试结果的步骤，直至满足预设的退出仿真测试的条件为止。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
对所述修改后的目标功能模块进行标记，并根据下一轮分析确定的所述目标功能模块判定所述修改后的目标功能模块是否已得到改善。
7.一种自动驾驶仿真测试结果的分析装置，其特征在于，包括：
获取单元，用于获取对多个测试用例进行一轮仿真测试后得到的多个仿真测试结果；
统计单元，用于根据各个所述仿真测试结果中的失败项对每种失败项对应的仿真测试结果的数量进行统计；
第一确定单元，用于基于所述每种失败项对应的仿真测试结果的数量在各种失败项中确定目标失败项；
第二确定单元，用于根据所述目标失败项与自动驾驶的各功能模块之间的关联关系，在所述各功能模块中确定存在问题的目标功能模块；
其中，所述第二确定单元还用于：获取与所述目标失败项对应的目标功能依赖关系拓扑图，其中，所述目标功能依赖关系拓扑图为各功能和子功能之间的依赖关系，且所述目标功能依赖关系拓扑图中叶子节点为功能模块；根据各个所述仿真测试结果中的各功能的评估值对相同功能对应的评估值进行求和，得到各种功能的评估值；基于所述目标功能依赖关系拓扑图和所述各种功能的评估值确定所述目标功能依赖关系拓扑图中各功能模块的评估值；根据与各功能模块相关联的测试用例的仿真测试结果，统计其中失败的测试用例数与所述相关联的测试用例的总数的比例，得到各功能模块的置信度；根据所述各功能模块的评估值和所述各功能模块的置信度确定所述目标功能模块。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有机器可运行指令，所述机器可运行指令在被处理器调用和运行时，所述机器可运行指令促使所述处理器运行上述权利要求1至6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210799876.1A CN115048315B (zh) | 2022-07-06 | 2022-07-06 | 自动驾驶仿真测试结果的分析方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210799876.1A CN115048315B (zh) | 2022-07-06 | 2022-07-06 | 自动驾驶仿真测试结果的分析方法、装置和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115048315A CN115048315A (zh) | 2022-09-13 |
| CN115048315B true CN115048315B (zh) | 2024-09-17 |
Family
ID=83164835
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210799876.1A Active CN115048315B (zh) | 2022-07-06 | 2022-07-06 | 自动驾驶仿真测试结果的分析方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115048315B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109947641A (zh) * | 2019-02-20 | 2019-06-28 | 北京百佑科技有限公司 | 自动化测试方法及装置 |
| CN114416581A (zh) * | 2022-01-25 | 2022-04-29 | 中国农业银行股份有限公司 | 一种测试失败原因确定方法、装置及设备 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5694540A (en) * | 1994-12-15 | 1997-12-02 | Lucent Technologies Inc. | Automated software regression test and compilation system |
| JP2001101255A (ja) * | 1999-10-01 | 2001-04-13 | Toshiba Corp | 機能テスト支援システム、機能テスト支援方法およびハードウエア記述モデル |
| US7505872B2 (en) * | 2002-09-11 | 2009-03-17 | International Business Machines Corporation | Methods and apparatus for impact analysis and problem determination |
| US7334222B2 (en) * | 2002-09-11 | 2008-02-19 | International Business Machines Corporation | Methods and apparatus for dependency-based impact simulation and vulnerability analysis |
| US10152407B1 (en) * | 2016-05-19 | 2018-12-11 | Ingram Micro, Inc. | Optimization of analysis of automated test results |
| CN110635962B (zh) * | 2018-06-25 | 2022-12-16 | 阿里巴巴集团控股有限公司 | 用于分布式系统的异常分析方法及装置 |
| US11010285B2 (en) * | 2019-01-24 | 2021-05-18 | International Business Machines Corporation | Fault detection and localization to generate failing test cases using combinatorial test design techniques |
| CN112256553A (zh) * | 2019-07-22 | 2021-01-22 | 百度(中国)有限公司 | 一种应用软件测试方法、装置及电子设备 |
| US20210064518A1 (en) * | 2019-08-27 | 2021-03-04 | Shield34 LTD. | Methods Circuits Devices Systems and Functionally Associated Machine Executable Code For Automatic Failure Cause Identification in Software Code Testing |
| CN113064824B (zh) * | 2021-03-31 | 2022-12-02 | 重庆紫光华山智安科技有限公司 | 结果分析方法和装置、电子设备及存储介质 |
| CN113238930B (zh) * | 2021-04-26 | 2024-05-31 | 南方电网电力科技股份有限公司 | 软件系统的测试方法、装置、终端设备和存储介质 |
| CN113392000B (zh) * | 2021-06-10 | 2024-01-30 | 卫宁健康科技集团股份有限公司 | 测试用例执行结果分析方法、装置、设备及存储介质 |
| CN113626242A (zh) * | 2021-08-11 | 2021-11-09 | 中国银行股份有限公司 | 一种数据处理方法、装置及电子设备 |
| CN114461520A (zh) * | 2022-01-13 | 2022-05-10 | 内蒙古蒙商消费金融股份有限公司 | 一种软件测试方法、装置及电子设备 |
| CN114329108B (zh) * | 2022-03-15 | 2022-06-28 | 武汉力通通信有限公司 | 基于芯片功能电路仿真测试的生产情况分析方法及系统 |
-
2022
- 2022-07-06 CN CN202210799876.1A patent/CN115048315B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109947641A (zh) * | 2019-02-20 | 2019-06-28 | 北京百佑科技有限公司 | 自动化测试方法及装置 |
| CN114416581A (zh) * | 2022-01-25 | 2022-04-29 | 中国农业银行股份有限公司 | 一种测试失败原因确定方法、装置及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115048315A (zh) | 2022-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111091287A (zh) | 风险对象识别方法、装置以及计算机设备 | |
| CN113326639B (zh) | 一种自动驾驶测试场景的确定方法、装置及电子设备 | |
| CN113485931B (zh) | 测试方法、装置、电子设备及计算机可读存储介质 | |
| CN111784173B (zh) | Ab实验数据处理方法、装置、服务器及介质 | |
| CN112327806B (zh) | 自动驾驶的测试方法、装置、电子设备和存储介质 | |
| CN114491383B (zh) | 桥梁监测的异常数据处理方法及系统 | |
| CN110781605A (zh) | 广告投放模型测试方法、装置、计算机设备及存储介质 | |
| CN115048315B (zh) | 自动驾驶仿真测试结果的分析方法、装置和电子设备 | |
| CN111783883A (zh) | 一种异常数据的检测方法及装置 | |
| CN114511409B (zh) | 用户样本处理方法、装置及电子设备 | |
| CN111382052A (zh) | 代码质量评价方法、装置及电子设备 | |
| CN111142898B (zh) | 一种基于群体智能模式的数据防泄漏终端升级方法及系统 | |
| CN112882854B (zh) | 一种请求异常的处理方法及装置 | |
| CN113658426A (zh) | 一种车辆事故识别方法及装置 | |
| CN111045875B (zh) | 车辆事故检测方法及相关设备 | |
| CN112199247B (zh) | 一种无业务状态下Docker容器进程活性的检查方法及装置 | |
| CN110008098B (zh) | 评估业务流程中的节点的运行状况的方法和装置 | |
| CN112822166A (zh) | 一种异常进程检测方法、装置、设备及介质 | |
| CN113905400B (zh) | 网络优化处理方法、装置、电子设备及存储介质 | |
| WO2024135506A1 (ja) | 情報通知方法及び情報通知装置 | |
| CN113239236B (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN117493820B (zh) | 一种数据要素处理方法和装置 | |
| CN111243250B (zh) | 一种基于报警数据的维保预警方法、装置及设备 | |
| US20220166643A1 (en) | Vehicle data analysis device and vehicle data analysis method | |
| CN115391144A (zh) | 报警阈值的确定方法、装置、计算机设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |