CN116127854B - 一种自动驾驶虚拟测试场景生成方法、系统及设备 - Google Patents
一种自动驾驶虚拟测试场景生成方法、系统及设备 Download PDFInfo
- Publication number
- CN116127854B CN116127854B CN202310245307.7A CN202310245307A CN116127854B CN 116127854 B CN116127854 B CN 116127854B CN 202310245307 A CN202310245307 A CN 202310245307A CN 116127854 B CN116127854 B CN 116127854B
- Authority
- CN
- China
- Prior art keywords
- scene
- driving
- countermeasure
- virtual
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000004088 simulation Methods 0.000 claims abstract description 77
- 238000012360 testing method Methods 0.000 claims abstract description 28
- 238000010801 machine learning Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 10
- 230000001172 regenerating effect Effects 0.000 claims abstract description 6
- 238000004590 computer program Methods 0.000 claims description 16
- 230000008485 antagonism Effects 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 12
- 238000012795 verification Methods 0.000 claims description 7
- 230000008929 regeneration Effects 0.000 claims description 3
- 238000011069 regeneration method Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000005457 optimization Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011076 safety test Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种自动驾驶虚拟测试场景生成方法、系统及设备。该方法包括：根据场景类型以及场景参数生成随机虚拟驾驶场景；在每个所述随机虚拟驾驶场景中进行仿真模拟驾驶，记录仿真驾驶结果；将随机虚拟驾驶场景作为样本，将仿真驾驶结果作为标签，训练机器学习模型，构建驾驶推理模型；利用对抗样本生成算法生成驾驶推理模型的对抗场景；在对抗场景中进行仿真模拟驾驶，验证对抗场景是否满足预期结果；若是，确对抗场景为关键测试场景，输出并保存对抗场景；关键测试场景为最终的自动驾驶虚拟测试场景；若否，重新生成驾驶推理模型的对抗场景，直至满足预期结果。本发明能够提高拟测试场景生成效率以及场景多样性。
Description
技术领域
本发明涉及自动驾驶系统安全测试领域，特别是涉及一种自动驾驶虚拟测试场景生成方法、系统及设备。
背景技术
在自动驾驶汽车的开发和应用环节中，对自动驾驶系统进行测试是必不可少的环节。为解决在自然道路下对自动驾驶智能进行测试效率低下问题，研究人员们提出了基于场景的测试方法。该类方法总结了一些重要的驾驶过程，例如跟车、切入、变道、过十字路口等，并将场景参数化，从而实现对场景的控制。静态参数可以控制道路类型、天气、物体位置等，而动态参数可以控制车辆和行人的运动状态。现有的场景生成方法大致两种，数据驱动的方法和基于启发式优化的方法。数据驱动的方式从真实的交通记录中提取重要的场景参数，构建测试场景。然而该类场景的多样性很容易受到交通数据集的限制。基于启发式优化的场景生成方法通过最小化某个目标来生成场景，最常用的目标是预计碰撞时间(TTC)。然而该类方法由于需要进行大量的仿真驾驶，生成场景的效率通常很低；并且由于启发式优化容易局部收敛，会生成大量过于极端的测试场景。
发明内容
本发明的目的是提供一种自动驾驶虚拟测试场景生成方法、系统及设备，以解决虚拟测试场景生成效率低且易生成大量过于极端的测试场景的问题。
为实现上述目的，本发明提供了如下方案：
一种自动驾驶虚拟测试场景生成方法，包括：
获取场景类型以及场景参数，并根据所述场景类型以及所述场景参数生成随机虚拟驾驶场景；所述场景参数包括天气参数、道路类型参数、车辆位置参数以及车辆速度参数；
令自动驾驶系统控制虚拟车辆在每个所述随机虚拟驾驶场景中进行仿真模拟驾驶，记录仿真驾驶结果；
将所述随机虚拟驾驶场景作为样本，将所述仿真驾驶结果作为标签，训练机器学习模型，构建驾驶推理模型；
利用对抗样本生成算法生成所述驾驶推理模型的对抗场景；
令自动驾驶系统控制虚拟车辆在所述对抗场景中进行仿真模拟驾驶，验证所述对抗场景是否满足预期结果；
若是，确定所述对抗场景为关键测试场景，输出并保存所述对抗场景；关键测试场景为最终的自动驾驶虚拟测试场景；
若否，重新生成所述驾驶推理模型的对抗场景，直至满足所述预期结果。
可选的，记录仿真驾驶结果，具体包括：
当车辆发生碰撞，将所述仿真驾驶结果记录为1；
当车辆未发生碰撞，将所述仿真驾驶结果记录为0。
可选的，利用对抗样本生成算法生成所述驾驶推理模型的对抗场景，具体包括：
利用对抗样本生成算法攻击所述驾驶推理模型，生成对抗样本；所述对抗样本为所述驾驶推理模型认为会引起所述自动驾驶系统碰撞的样本；
根据所述对抗样本修改所述随机虚拟驾驶场景，生成所述驾驶推理模型的对抗场景。
可选的，验证所述对抗场景是否满足预期结果，具体包括：
获取所述自动驾驶系统控制虚拟车辆在所述对抗场景中进行仿真模拟驾驶的仿真驾驶结果；
当所述仿真驾驶结果为1，确定所述对抗场景满足所述预期结果；
当所述仿真驾驶结果为0，确定所述对抗场景不满足所述预期结果。
一种自动驾驶虚拟测试场景生成系统，包括：
场景随机生成模块，用于获取场景类型以及场景参数，并根据所述场景类型以及所述场景参数生成随机虚拟驾驶场景；所述场景参数包括天气参数、道路类型参数、车辆位置参数以及车辆速度参数；
驾驶仿真模块，用于令自动驾驶系统控制虚拟车辆在每个所述随机虚拟驾驶场景中进行仿真模拟驾驶，记录仿真驾驶结果；
数据建模模块，用于将所述随机虚拟驾驶场景作为样本，将所述仿真驾驶结果作为标签，训练机器学习模型，构建驾驶推理模型；
对抗攻击模块，用于利用对抗样本生成算法生成所述驾驶推理模型的对抗场景；
验证模块，用于令自动驾驶系统控制虚拟车辆在所述对抗场景中进行仿真模拟驾驶，验证所述对抗场景是否满足预期结果；
关键测试场景确定模块，用于若是，确定所述对抗场景为关键测试场景，输出并保存所述对抗场景；关键测试场景为最终的自动驾驶虚拟测试场景；
对抗场景重新生成模块，用于若否，重新生成所述驾驶推理模型的对抗场景，直至满足所述预期结果。
可选的，所述驾驶仿真模块，具体包括：
第一记录单元，用于当车辆发生碰撞，将所述仿真驾驶结果记录为1；
第二记录单元，用于当车辆未发生碰撞，将所述仿真驾驶结果记录为0。
可选的，所述对抗攻击模块，具体包括：
对抗样本生成单元，用于利用对抗样本生成算法攻击所述驾驶推理模型，生成对抗样本；所述对抗样本为所述驾驶推理模型认为会引起所述自动驾驶系统碰撞的样本；
对抗场景生成单元，用于根据所述对抗样本修改所述随机虚拟驾驶场景，生成所述驾驶推理模型的对抗场景。
可选的，所述验证模块，具体包括：
仿真驾驶结果获取单元，用于获取所述自动驾驶系统控制虚拟车辆在所述对抗场景中进行仿真模拟驾驶的仿真驾驶结果；
预期结果满足确定单元，用于当所述仿真驾驶结果为1，确定所述对抗场景满足所述预期结果；
预期结果不满足确定单元，用于当所述仿真驾驶结果为0，确定所述对抗场景不满足所述预期结果。
一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述所述的自动驾驶虚拟测试场景生成方法。
一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的自动驾驶虚拟测试场景生成方法。
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供了一种自动驾驶虚拟测试场景生成方法、系统及设备，采用驾驶推理模型代替自动驾驶系统仿真驾驶，更加快速地获得仿真驾驶结果反馈，拟测试场景生成的时间消耗大大降低，提高了拟测试场景生成效率；此外，使用了对抗样本生成算法来生成场景，避免了局部收敛的问题，提高了场景多样性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的自动驾驶虚拟测试场景生成方法流程图；
图2为本发明所提供的自动驾驶虚拟测试场景生成系统框架示意图；
图3为本发明所提供的自动驾驶虚拟测试场景生成系统的模块关系图；
图4为本发明所提供的自动驾驶虚拟测试场景生成系统的工作流程图；
图5为本发明所提供的测试场景类型示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种自动驾驶虚拟测试场景生成方法、系统及设备，能够提高拟测试场景生成效率以及场景多样性。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
如图1所示，本发明提供了一种自动驾驶虚拟测试场景生成方法，包括：
步骤101：获取场景类型以及场景参数，并根据所述场景类型以及所述场景参数生成随机虚拟驾驶场景；所述场景参数包括天气参数、道路类型参数、车辆位置参数以及车辆速度参数。
步骤102：令自动驾驶系统控制虚拟车辆在每个所述随机虚拟驾驶场景中进行仿真模拟驾驶，记录仿真驾驶结果。
在实际应用中，记录仿真驾驶结果，具体包括：当车辆发生碰撞，将所述仿真驾驶结果记录为1；当车辆未发生碰撞，将所述仿真驾驶结果记录为0。
步骤103：将所述随机虚拟驾驶场景作为样本，将所述仿真驾驶结果作为标签，训练机器学习模型，构建驾驶推理模型。
步骤104：利用对抗样本生成算法生成所述驾驶推理模型的对抗场景。
在实际应用中，步骤104具体包括：利用对抗样本生成算法攻击所述驾驶推理模型，生成对抗样本；所述对抗样本为所述驾驶推理模型认为会引起所述自动驾驶系统碰撞的样本；根据所述对抗样本修改所述随机虚拟驾驶场景，生成所述驾驶推理模型的对抗场景。
步骤105：令自动驾驶系统控制虚拟车辆在所述对抗场景中进行仿真模拟驾驶，验证所述对抗场景是否满足预期结果；若是，执行步骤106，若否，重新执行步骤104。
在实际应用中，验证所述对抗场景是否满足预期结果，具体包括：获取所述自动驾驶系统控制虚拟车辆在所述对抗场景中进行仿真模拟驾驶的仿真驾驶结果；当所述仿真驾驶结果为1，确定所述对抗场景满足所述预期结果；当所述仿真驾驶结果为0，确定所述对抗场景不满足所述预期结果。
步骤106：确定所述对抗场景为关键测试场景，输出并保存所述对抗场景；关键测试场景为最终的自动驾驶虚拟测试场景。
实施例二
一种自动驾驶虚拟测试场景生成系统，包括：
场景随机生成模块，用于获取场景类型以及场景参数，并根据所述场景类型以及所述场景参数生成随机虚拟驾驶场景；所述场景参数包括天气参数、道路类型参数、车辆位置参数以及车辆速度参数。
驾驶仿真模块，用于令自动驾驶系统控制虚拟车辆在每个所述随机虚拟驾驶场景中进行仿真模拟驾驶，记录仿真驾驶结果。
在实际应用中，所述驾驶仿真模块，具体包括：第一记录单元，用于当车辆发生碰撞，将所述仿真驾驶结果记录为1；第二记录单元，用于当车辆未发生碰撞，将所述仿真驾驶结果记录为0。
数据建模模块，用于将所述随机虚拟驾驶场景作为样本，将所述仿真驾驶结果作为标签，训练机器学习模型，构建驾驶推理模型。
对抗攻击模块，用于利用对抗样本生成算法生成所述驾驶推理模型的对抗场景。
在实际应用中，所述对抗攻击模块，具体包括：对抗样本生成单元，用于利用对抗样本生成算法攻击所述驾驶推理模型，生成对抗样本；所述对抗样本为所述驾驶推理模型认为会引起所述自动驾驶系统碰撞的样本；对抗场景生成单元，用于根据所述对抗样本修改所述随机虚拟驾驶场景，生成所述驾驶推理模型的对抗场景。
验证模块，用于令自动驾驶系统控制虚拟车辆在所述对抗场景中进行仿真模拟驾驶，验证所述对抗场景是否满足预期结果。
在实际应用中，所述验证模块，具体包括：仿真驾驶结果获取单元，用于获取所述自动驾驶系统控制虚拟车辆在所述对抗场景中进行仿真模拟驾驶的仿真驾驶结果；预期结果满足确定单元，用于当所述仿真驾驶结果为1，确定所述对抗场景满足所述预期结果；预期结果不满足确定单元，用于当所述仿真驾驶结果为0，确定所述对抗场景不满足所述预期结果。
关键测试场景确定模块，用于若是，确定所述对抗场景为关键测试场景，输出并保存所述对抗场景；关键测试场景为最终的自动驾驶虚拟测试场景。
对抗场景重新生成模块，用于若否，重新生成所述驾驶推理模型的对抗场景，直至满足所述预期结果。
如图2-图4所示，场景随机生成模块用于根据使用者输入的场景类型、场景参数和取值范围生成随机虚拟驾驶场景。
在实际应用中，生成随机虚拟驾驶场景：虚拟驾驶场景可以通过参数来表示，例如道路类型、天气、车辆位置、车辆速度等等，参数的取值范围也是有限的，例如车辆的速度基本位于0km/s和100km/s之间。场景生成者需要首先定义好场景的参数和参数的取值范围，并提供给实现本方法的软件。例如想要生成的场景类型包含第一参数Pm1，第二参数Pm2，第三参数Pm3三个参数，该参数是由技术人员自行设计和确定的，取值范围分别是[Pm1L，Pm1H]，[Pm2L，Pm2H]，[Pm3L，Pm3H]，其中，Pm1L为第一参数Pm1的取值下限，Pm1H为第一参数Pm1的取值上限，Pm2L为第一参数Pm2的取值下限，Pm2H为第一参数Pm2的取值上限，Pm3L为第一参数Pm3的取值下限，Pm3H为第一参数Pm3的取值上限。
随后本发明在取值范围内进行随机均匀采样，生成多组随机的参数值，获得多个随机虚拟驾驶场景。随机均匀采样的数学原理如公式所示，设a为场景参数的取值下限，b为参数的取值上限，则参数取值为x的概率f(x)等于：
其中，x为a，b之间的任意数值。
生成的随机虚拟驾驶场景通过向量[p1，p2，p3]表达，其中，p1、p2、p3分别为随机生成的参数Pm1、Pm2、Pm3的具体取值。例如：[6.5，12.1，10.0]、[8.5，9.7，11，2]等。
驾驶仿真模块与其余所有模块连接，驾驶仿真模块用于根据场景类型、场景参数值构建虚拟场景，连接自动驾驶系统，让自动驾驶系统在虚拟场景中进行仿真驾驶，并记录仿真驾驶结果。
在实际应用中，随机虚拟驾驶场景仿真驾驶：驾驶仿真平台根据场景类型和生成的参数值[p1，p2，p3]构建虚拟驾驶场景，通过3D建模，将场景可视地展现出来。
例如根据天气参数生成天气、根据道路类型参数生成道路、根据车辆位置参数生成车辆、根据车辆速度参数控制车辆运动。随后平台连接自动驾驶系统，自动驾驶系统控制虚拟车辆在虚拟驾驶场景中进行仿真驾驶。
上述生成了多个随机虚拟驾驶场景，需要在每一个随机虚拟驾驶场景中都进行模拟驾驶，观察并记录仿真驾驶的结果。例如车辆是否发生碰撞，碰撞结果记为1，未碰撞结果记为0。
数据建模模块，与所述驾驶仿真模块和对抗攻击模块连接，用于从驾驶仿真模块获取仿真数据，建立驾驶推理模型，驾驶推理模型可以根据场景参数推断仿真驾驶结果。
在实际应用中，建立驾驶推理模型：将上述生成的随机虚拟驾驶场景为样本，获得的对应仿真驾驶结果为标签，例如：样本[6.5，12.1，10.0]的标签为0，样本[8.5，9.7，11，2]的标签为1。通过这些样本和标签的组合训练机器学习模型，获得驾驶推理模型。
驾驶推理模型能够根据场景参数预测驾驶结果，例如向场景推理模型输入一个场景[8.5，9.7，11，2]，则模型会推测自动驾驶系统在这个场景中进行驾驶的结果为0还是1。
对抗攻击模块，与其余所有模块连接，用于针对驾驶推理模型生成对抗样本，使得模型认为生成的对抗场景为关键场景。
在实际应用中，对抗场景生成：利用对抗样本生成算法针对驾驶推理模型生成对抗场景。
对抗样本生成算法能够生成欺骗机器学习模型的样本，使得机器学习模型认为生成的样本归属于特定的类别。在本方法中，一个样本指的就是一个驾驶场景，而我们希望获得的场景类别是能够引发车辆碰撞事故的场景。因此通过对抗样本生成算法攻击驾驶推理模型，生成驾驶推理模型认为会引起自动驾驶系统碰撞的样本。假设通过随机采样生成了一个随机虚拟驾驶场景[a，b，c]，由于场景是随机的，因此该场景的仿真驾驶结果可能是0，也可能是1。这一步的目的就是通过对抗样本生成算法修改这个随机虚拟驾驶场景，得到对抗场景[a*，b*，c*]，使得将[a*，b*，c*]输入驾驶推理模型后，驾驶推理模型会输出1。
在实际应用中，关键场景验证，在驾驶仿真软件中重建步骤(4)中生成的对抗场景，使自动驾驶系统在其中进行仿真驾驶，验证对抗场景是否满足预期结果，例如观察驾驶过程中是否会发生碰撞。满足预期模拟结果的对抗场景则为关键测试场景，将关键场景输出并保存。
例如：生成[a*，b*，c*]后，驾驶仿真软件会根据[a*，b*，c*]生成3D的虚拟驾驶场景，然后连接自动驾驶系统，自动驾驶系统控制仿真车辆在虚拟场景中行驶，观察仿真驾驶的结果是否真的为1。如果确实为1，则保存该场景，作为生成的测试场景。
实施例三
(1)如图5所示，本实施例中的场景参数有三个：变道速度、变道触发距离和变道距离。本实例中设定他们的取值范围分别为50km/h～70km/h、10m～20m、7m～15m。场景随机生成模块通过对各参数进行均匀采样，生成了100个随机场景。
(2)本实施例采用CARLA驾驶仿真平台进行场景模拟，选择的被测自动驾驶系统为CARLA内置的自动驾驶功能。通过Carla ScenarioRunner库编写代码，创建虚拟切入驾驶场景，并根据场景参数调整场景，然后连接自动驾驶车辆在场景中进行驾驶。本实施例欲生成的关键场景是引发碰撞的场景，因此在场景模拟时主要观察自动驾驶系统是否发生碰撞。本实施例对上一步生成的100个随机场景进行测试，被测自动驾驶系统在其中22个场景中发生了碰撞，78个场景下未发生碰撞。
(3)本实施例将(1)(2)两步中的100个随机场景和它们的模拟结果作为训练集，训练一个神经网络网络模型作为自动驾驶系统的代理模型。神经网络的结构为(3，200，300，300，200，2)。神经网络的优化方式采用Adam优化，采用的损失函数为BCE损失，BCE损失的形式如下，其中p(x)为模型输出的预测概率，y是真实标签。
Loss＝-(y log(p(x))+(1-y)log(1-p(x)))
表1为训练得到的神经网络性能表，如表1所示。
表1
| 指标 | ACC | Precision | Recall | F1 |
| 结果 | 92.0％ | 75.0％ | 81.8％ | 78.3％ |
(4)针对第(3)步生成的代理模型，本实施例使用了FGSM算法来生成对抗样本，目的是生成会被代理模型判断为能够引发碰撞的场景。FGSM算法的公式如下所示。
其中S表示任意随机虚拟场景，Sadv表示生成的对抗场景，J表示交叉熵函数，表示代理模型对S求梯度，sign为符号函数，ε为用于缩放的常数，ytrue为S的标签，在本实施例中为是否发生碰撞。
(5)在第(4)步中，本实施例通过FGSM算法生成了40个场景，再次通过Carla平台和Scenario Runner工具对场景进行重建，并让自动驾驶系统在场景中进行模拟驾驶。结果发现在40个场景中，35个场景引发了碰撞，这35个场景被作为关键场景输出并保存。
实施例四
本发明实施例提供一种电子设备包括存储器及处理器，该存储器用于存储计算机程序，该处理器运行计算机程序以使电子设备执行实施例一提供的自动驾驶虚拟测试场景生成方法。
在实际应用中，上述电子设备可以是服务器。
在实际应用中，电子设备包括：至少一个处理器(processor)、存储器(memory)、总线及通信接口(Communications Interface)。
其中：处理器、通信接口、以及存储器通过通信总线完成相互间的通信。
通信接口，用于与其它设备进行通信。
处理器，用于执行程序，具体可以执行上述实施例所述的方法。
具体地，程序可以包括程序代码，该程序代码包括计算机操作指令。
处理器可能是中央处理器CPU，或者是特定集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器，用于存放程序。存储器可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
基于以上实施例的描述，本申请实施例提供一种存储介质，其上存储有计算机程序指令，计算机程序指令可被处理器执行以实现任意实施例所述的方法
本申请实施例提供的自动驾驶虚拟测试场景生成系统以多种形式存在，包括但不限于：
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网性能。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)其他具有数据交互功能的电子设备。
至此，已经对本主题的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序，以实现期望的结果。在某些实施方式中，多任务处理和并行处理可以是有利的。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。本领域内的技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、
数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带、磁盘存储或其他磁性存储设备
或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定事务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行事务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种自动驾驶虚拟测试场景生成方法，其特征在于，包括：
获取场景类型以及场景参数，并根据所述场景类型以及所述场景参数生成随机虚拟驾驶场景；所述场景参数包括天气参数、道路类型参数、车辆位置参数以及车辆速度参数；
令自动驾驶系统控制虚拟车辆在每个所述随机虚拟驾驶场景中进行仿真模拟驾驶，记录仿真驾驶结果；
将所述随机虚拟驾驶场景作为样本，将所述仿真驾驶结果作为标签，训练机器学习模型，构建驾驶推理模型；
利用对抗样本生成算法生成所述驾驶推理模型的对抗场景，具体包括：
利用对抗样本生成算法攻击所述驾驶推理模型，生成对抗样本；所述对抗样本为所述驾驶推理模型认为会引起所述自动驾驶系统碰撞的样本；
根据所述对抗样本修改所述随机虚拟驾驶场景，生成所述驾驶推理模型的对抗场景；
令自动驾驶系统控制虚拟车辆在所述对抗场景中进行仿真模拟驾驶，验证所述对抗场景是否满足预期结果；
若是，确定所述对抗场景为关键测试场景，输出并保存所述对抗场景；关键测试场景为最终的自动驾驶虚拟测试场景；
若否，重新生成所述驾驶推理模型的对抗场景，直至满足所述预期结果。
2.根据权利要求1所述的自动驾驶虚拟测试场景生成方法，其特征在于，记录仿真驾驶结果，具体包括：
当车辆发生碰撞，将所述仿真驾驶结果记录为1；
当车辆未发生碰撞，将所述仿真驾驶结果记录为0。
3.根据权利要求2所述的自动驾驶虚拟测试场景生成方法，其特征在于，验证所述对抗场景是否满足预期结果，具体包括：
获取所述自动驾驶系统控制虚拟车辆在所述对抗场景中进行仿真模拟驾驶的仿真驾驶结果；
当所述仿真驾驶结果为1，确定所述对抗场景满足所述预期结果；
当所述仿真驾驶结果为0，确定所述对抗场景不满足所述预期结果。
4.一种自动驾驶虚拟测试场景生成系统，其特征在于，包括：
场景随机生成模块，用于获取场景类型以及场景参数，并根据所述场景类型以及所述场景参数生成随机虚拟驾驶场景；所述场景参数包括天气参数、道路类型参数、车辆位置参数以及车辆速度参数；
驾驶仿真模块，用于令自动驾驶系统控制虚拟车辆在每个所述随机虚拟驾驶场景中进行仿真模拟驾驶，记录仿真驾驶结果；
数据建模模块，用于将所述随机虚拟驾驶场景作为样本，将所述仿真驾驶结果作为标签，训练机器学习模型，构建驾驶推理模型；
对抗攻击模块，用于利用对抗样本生成算法生成所述驾驶推理模型的对抗场景；所述对抗攻击模块，具体包括：
对抗样本生成单元，用于利用对抗样本生成算法攻击所述驾驶推理模型，生成对抗样本；所述对抗样本为所述驾驶推理模型认为会引起所述自动驾驶系统碰撞的样本；
对抗场景生成单元，用于根据所述对抗样本修改所述随机虚拟驾驶场景，生成所述驾驶推理模型的对抗场景；
验证模块，用于令自动驾驶系统控制虚拟车辆在所述对抗场景中进行仿真模拟驾驶，验证所述对抗场景是否满足预期结果；
关键测试场景确定模块，用于若是，确定所述对抗场景为关键测试场景，输出并保存所述对抗场景；关键测试场景为最终的自动驾驶虚拟测试场景；
对抗场景重新生成模块，用于若否，重新生成所述驾驶推理模型的对抗场景，直至满足所述预期结果。
5.根据权利要求4所述的自动驾驶虚拟测试场景生成系统，其特征在于，所述驾驶仿真模块，具体包括：
第一记录单元，用于当车辆发生碰撞，将所述仿真驾驶结果记录为1；
第二记录单元，用于当车辆未发生碰撞，将所述仿真驾驶结果记录为0。
6.根据权利要求5所述的自动驾驶虚拟测试场景生成系统，其特征在于，所述验证模块，具体包括：
仿真驾驶结果获取单元，用于获取所述自动驾驶系统控制虚拟车辆在所述对抗场景中进行仿真模拟驾驶的仿真驾驶结果；
预期结果满足确定单元，用于当所述仿真驾驶结果为1，确定所述对抗场景满足所述预期结果；
预期结果不满足确定单元，用于当所述仿真驾驶结果为0，确定所述对抗场景不满足所述预期结果。
7.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行如权利要求1-3中任一项所述的自动驾驶虚拟测试场景生成方法。
8.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-3中任一项所述的自动驾驶虚拟测试场景生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310245307.7A CN116127854B (zh) | 2023-03-15 | 2023-03-15 | 一种自动驾驶虚拟测试场景生成方法、系统及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310245307.7A CN116127854B (zh) | 2023-03-15 | 2023-03-15 | 一种自动驾驶虚拟测试场景生成方法、系统及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116127854A CN116127854A (zh) | 2023-05-16 |
| CN116127854B true CN116127854B (zh) | 2024-01-09 |
Family
ID=86294134
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310245307.7A Active CN116127854B (zh) | 2023-03-15 | 2023-03-15 | 一种自动驾驶虚拟测试场景生成方法、系统及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116127854B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116469292B (zh) * | 2023-06-20 | 2023-08-25 | 长沙图灵教育科技有限公司 | 一种电商仿真教学管理系统及教学培训方法 |
| CN117762816B (zh) * | 2024-01-08 | 2024-10-18 | 中科南京软件技术研究院 | 自动驾驶系统仿真测试方法、系统、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110795818A (zh) * | 2019-09-12 | 2020-02-14 | 腾讯科技（深圳）有限公司 | 一种确定虚拟测试场景方法、装置、电子设备和存储介质 |
| CN113609784A (zh) * | 2021-08-18 | 2021-11-05 | 清华大学 | 一种交通极限场景生成方法、系统、设备和存储介质 |
| CN114462486A (zh) * | 2021-12-28 | 2022-05-10 | 浙江大华技术股份有限公司 | 图像处理模型的训练方法、图像处理方法及相关装置 |
-
2023
- 2023-03-15 CN CN202310245307.7A patent/CN116127854B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110795818A (zh) * | 2019-09-12 | 2020-02-14 | 腾讯科技（深圳）有限公司 | 一种确定虚拟测试场景方法、装置、电子设备和存储介质 |
| CN113609784A (zh) * | 2021-08-18 | 2021-11-05 | 清华大学 | 一种交通极限场景生成方法、系统、设备和存储介质 |
| CN114462486A (zh) * | 2021-12-28 | 2022-05-10 | 浙江大华技术股份有限公司 | 图像处理模型的训练方法、图像处理方法及相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116127854A (zh) | 2023-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116127854B (zh) | 一种自动驾驶虚拟测试场景生成方法、系统及设备 | |
| Masuda et al. | Rule‐based searching for collision test cases of autonomous vehicles simulation | |
| CN111798828B (zh) | 合成音频检测方法、系统、移动终端及存储介质 | |
| CN110210058B (zh) | 符合车辆动力学的参考线生成方法、系统、终端和介质 | |
| CN113608881B (zh) | 内存分配方法、装置、设备、可读存储介质及程序产品 | |
| CN108959388A (zh) | 信息生成方法及装置 | |
| CN115544637A (zh) | 一种车路协同多维性能评估测试方法以及装置 | |
| CN115907143A (zh) | 车辆动态响应的预测方法及装置 | |
| CN117218482A (zh) | 模型训练方法、视频处理方法、装置及电子设备 | |
| CN112784867A (zh) | 利用合成图像训练深度神经网络 | |
| CN117521625A (zh) | 问答方法、装置、电子设备及介质 | |
| CN111767630A (zh) | 一种应用于智能驾驶的虚拟仿真测试方法及装置 | |
| CN113743317A (zh) | 基于生成对抗网络的车牌图片生成方法、介质和设备 | |
| CN117473032A (zh) | 基于一致扩散的场景级多智能体轨迹生成方法及装置 | |
| CN110186470B (zh) | 符合车辆动力学的参考线生成系统、终端和使用方法 | |
| CN111645687A (zh) | 变道策略确定方法、装置及存储介质 | |
| CN112561000B (zh) | 基于组合模型的分类方法、装置、设备及存储介质 | |
| US20180018411A1 (en) | Method and apparatus of building agent for test of unmanned vehicle | |
| US11106738B2 (en) | Real-time tree search with pessimistic survivability trees | |
| CN113986752A (zh) | 一种基于粒子群算法的aeb算法失效场景搜索方法 | |
| CN111914482A (zh) | 用于自动驾驶测试的行驶工况生成方法及系统 | |
| Petrovic et al. | Ontology-Driven Generation of Interactive 3D Worlds | |
| CN117786416B (zh) | 一种模型训练方法、装置、设备、存储介质及产品 | |
| CN116629462B (zh) | 一种多智能体统一交互轨迹预测方法、系统、设备和介质 | |
| CN111090269A (zh) | 基于生成对抗网络的传感器模拟方法、装置和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |