CN114998534A - 基于随机生成和调整策略相结合的自动驾驶场景生成方法 - Google Patents

基于随机生成和调整策略相结合的自动驾驶场景生成方法 Download PDF

Info

Publication number
CN114998534A
CN114998534A CN202210467685.5A CN202210467685A CN114998534A CN 114998534 A CN114998534 A CN 114998534A CN 202210467685 A CN202210467685 A CN 202210467685A CN 114998534 A CN114998534 A CN 114998534A
Authority
CN
China
Prior art keywords
vehicle
ego
vehicles
scene
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210467685.5A
Other languages
English (en)
Inventor
张昱
龚磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202210467685.5A priority Critical patent/CN114998534A/zh
Publication of CN114998534A publication Critical patent/CN114998534A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation

Abstract

本发明涉及一种基于随机生成和调整策略相结合的自动驾驶场景生成方法及系统，其方法包括：S1：对仿真器的地图信息进行处理，随机选取合适的道路区域放置自身车辆EGO；S2：确定所述自身车辆EGO的可视范围，在所述可视范围区域的道路上随机生成其他车辆，并通过基础调整对出界车辆以及重叠车辆进行调整，得到初始场景；S3：根据用户对最终场景的需求，通过高级调整，基于所述自身车辆EGO的前视图像中所述车辆的二维包围框像素区域高度、截断比例以及遮挡比例对所述初始场景中车辆位置进行调整，得到最终场景。本发明提供的方法能够节省人力物力，且能够测试现实中难以设置的危险场景，有助于快速发现自动驾驶系统存在的安全隐患。

Description

基于随机生成和调整策略相结合的自动驾驶场景生成方法
技术领域
本发明涉及自动驾驶领域，具体涉及一种基于随机生成和调整策略相结合的自动驾驶场景生成方法及系统。
背景技术
随着自动驾驶技术的不断普及，人们对自动驾驶的安全性的要求也逐步提高。自动驾驶系统需要能够对复杂且多样化的驾驶场景做出及时迅速的反应，从而避免事故的发生。因此，人们迫切需要对自动驾驶系统模型进行全面验证，无论是在性能上还是在鲁棒性上，以确保自动驾驶的安全性。感知系统是自动驾驶系统中的关键模块，用于感知周围环境中的静态或动态的物体。随着深度学习在视觉感知等任务上取得的巨大成就，基于深度学习(DNN)的感知模型成为自动驾驶系统获取环境信息的主要方式。因此，对这些感知模型的性能和鲁棒性进行全面的评估对分析和提高自动驾驶安全性具有十分重要的意义。
DNN感知模型需要在训练数据上进行训练，因此训练数据的质量决定了这些模型的实用性。通常的验证方法是在一个独立于训练集的验证集上测试模型，判断感知模型是否过拟合或是否具有鲁棒性。常用的数据包括公开的数据集和收集的数据。然而，公开数据集通常缺乏足够的训练数据和测试数据，由于在使用前必须对数据进行预处理和适当标记，因此收集真实世界的数据可能会很慢且代价高昂。另一方面，自动驾驶系统更倾向于在罕见场景的和危险场景中出现问题。然而，由于这些场景的性质，收集描述这种不寻常情况的数据可能是昂贵的，而且难以规模化。建立一支能够在所有可能的测试环境中运行数十亿小时的实体车队是不切实际的。因此，如何快速大量的生成驾驶场景，且生成的场景能够符合用户要求以及反应真实世界中的驾驶情况，成为一个亟待解决的问题。
发明内容
为了解决上述技术问题，本发明提供一种基于随机生成和调整策略相结合的自动驾驶场景生成方法及系统。
本发明技术解决方案为：一种基于随机生成和调整策略相结合的自动驾驶场景生成方法，包括：
步骤S1：对仿真器的地图信息进行处理，随机选取合适的道路区域放置自身车辆EGO；
步骤S2：确定所述自身车辆EGO的可视范围，在所述可视范围区域的道路上随机生成其他车辆，并通过基础调整对出界车辆以及重叠车辆进行调整，得到初始场景；
步骤S3：根据用户对最终场景的需求，通过高级调整，基于所述自身车辆EGO的前视图像中所述车辆的二维包围框像素区域高度、截断比例以及遮挡比例对所述初始场景中车辆位置进行调整，得到最终场景。
本发明与现有技术相比，具有以下优点：
本发明公开了一种基于随机生成和调整策略相结合的自动驾驶场景生成方法，通过在仿真器中快速大量生成模拟驾驶场景，并从仿真传感器中收集合成数据，开发者能够测试自动驾驶系统在不同场景下的性能表现。本发明提供的方法能够有效的节省人力物力，且能够测试现实中难以设置的危险场景，有助于快速发现自动驾驶系统存在的安全隐患，从而帮助算法设计者完善自动驾驶系统设计，提高整体安全性。
附图说明
图1为本发明实施例中一种基于随机生成和调整策略相结合的自动驾驶场景生成方法的流程图；
图2为本发明实施例中地图信息示意图；
图3为本发明实施例中自身车辆EGO示意图；
图4为本发明实施例中其他车辆示意图；
图5为本发明实施例中EGO前视图像中的车辆二维包围框示意图；
图6为本发明实施例中EGO前视图像中车辆的截断比例示意图；
图7为本发明实施例中EGO前视图像中车辆的遮挡比例示意图；
图8为本发明实施例中一种基于随机生成和调整策略相结合的自动驾驶场景生成系统的结构框图。
具体实施方式
本发明提供了一种基于随机生成和调整策略相结合的自动驾驶场景生成方法，能够有效的节省人力物力，且能够测试现实中难以设置的危险场景，有助于快速发现自动驾驶系统存在的安全隐患，从而帮助算法设计者完善自动驾驶系统设计，提高整体安全性。
实施例一
如图1所示，本发明实施例提供的一种基于随机生成和调整策略相结合的自动驾驶场景生成方法，包括下述步骤：
步骤S1：对仿真器的地图信息进行处理，随机选取合适的道路区域放置自身车辆EGO；
步骤S2：确定自身车辆EGO的可视范围，在可视范围区域的道路上随机生成其他车辆，并通过基础调整对出界车辆以及重叠车辆进行调整，得到初始场景；
步骤S3：根据用户对最终场景的需求，通过高级调整，基于自身车辆EGO的前视图像中车辆的二维包围框像素区域高度、截断比例以及遮挡比例对初始场景中车辆位置进行调整，得到最终场景。
在一个实施例中，上述步骤S1：对仿真器的地图信息进行处理，随机选取合适的道路区域放置自身车辆EGO，具体包括：
步骤S11：提取地图信息中的道路R，道路R的车道L，以及车道L的中心线C的数据信息；
本发明实施例使用但不限于使用开源自动驾驶仿真器Carla，其中的地图数据格式为OpenDrive格式，提取仿真器中的地图信息，得到道路R，道路R的车道L，以及车道L的中心线C，如图2所示。
步骤S12：随机选取中心线C上一点p，作为自身车辆EGO的位置，将EGO的朝向h设为点p在C处的切线方向。
如图3所示，选择交叉路口的一条车道上中心线上的点p放置EGO，由于此时EGO正在转弯，因此将其朝向h设为点p在C处的切线方向。
在一个实施例中，上述步骤S2：确定自身车辆的可视范围，在可视范围区域的道路上随机生成其他车辆，并通过基础调整对出界车辆以及重叠车辆进行调整，得到初始场景，具体包括：
步骤S21：将EGO可视范围区域定义为PEGO，将地图中的道路区域定义为PR，将二者重叠区域定义为PI；
如图2所示，EGO前方扇形区域为其可视范围区域PEGO，与道路的重叠区域为斜线区域PI，即为后续生成驾驶场景所在的区域。
步骤S22：在PI中随机选择一点p放置新的车辆O，重复n次，可得到n辆新生成的车辆，用
Figure BDA0003625109910000041
表示生成的n辆车的集合；
如图4所示，在PI区域中，选择交叉路口上点p放置车辆O，由于此时O正在弯道，pc为车道中心线上与p最近的点，车辆O的朝向与pc曲线上的切线方向相同；
步骤S23：对于车辆边界超过道路边界的车辆Oi，设其位置为pi，根据公式(1)调整其位置；
Figure BDA0003625109910000042
其中，(xi，yi)为Oi在二维俯视平面的坐标系下的坐标；(xc，yc)为Oi所在的车道的中心线上与Oi最近的点pc在二维俯视平面坐标系下的坐标；
由于在PI区域中随机选择位置放置车辆，因此车辆的边缘可能会超过道路边界，因此多次需要调整车辆位置，使其向车道中心线方向靠拢，并最终使得车辆完全置于车道之上；
步骤S24：重复步骤S23，直到Oi的边界不再超出车道边界，且保持Oi的朝向与pc点处的切线方向相同；
步骤S25：将所有的重叠的车辆进行分组，使得同组之内的任何一个车辆都至少和本组内另外一个车辆重叠，并且不同组之间任何两辆车辆都不会重叠；
步骤S26：对母一组平辆集合
Figure BDA0003625109910000043
随机选择该组中的一个车辆作为保留车辆并移除与其相交的车辆；判断剩余车辆之间是否还有重叠，若有重叠则对剩余的车辆继续移除操作，直到该组的保留车辆之间不存在重叠。
经过上述步骤的基础调整，可得到了符合基本物理规则和一般交通规则的初始场景。在该初始场景的基础上，可根据用户的需求，进行高级调整，得到不同难易程度的驾驶场景。
在一个实施例中，上述步骤S3：根据用户对最终场景的需求，通过高级调整，基于自身车辆EGO的前视图像中车辆的二维包围框像素区域高度、截断比例以及遮挡比例对初始场景中车辆位置进行调整，得到最终场景，具体包括：
步骤S31：获取车辆在仿真器世界中的三维包围框的坐标，令三维包围框的点p的坐标为(x，y，z)，则将该点坐标投影到EGO的图像传感器所采集的二维图像，即EGO的前视图像的坐标如公式(2)所示，由此可得到每个车辆的二维包围框，根据二维包围框的高度可计算车辆与EGO之间的距离；
Figure BDA0003625109910000051
其中，intrinsic，extrinsic分别为EGO图像传感器的内参矩阵和外参矩阵，(x',y')为点p在EGO图像传感器所采集的二维图像坐标系中的坐标；
如图5所示，为EGO前视图像中的车辆二维包围框；根据二维包围框的高度，可以计算车辆和EGO之间的距离；
步骤S32：根据车辆二维包围框的坐标与前视图像的坐标，计算二维包围框在前视图像中的截断比例，计算车辆出现在EGO的可视范围的比例；
如图6所示，EGO前视图像的左上角为前视图像坐标系的原点(0，0)，图像区域的范围为图像坐标系原点至图像右下角点的坐标构成的区域。当车辆只有部分出现在前视图像中时，使用公式(2)计算得到的车辆的二维包围框会出现超出前视图像的区域范围的情况，例如图6中的框1的左侧部分超出了EGO前视图像的范围，因此计算得到其左上角和左下角的y轴坐标为小于0的负值，此时将二维包围框进行截断，只保留其位于前视图像区域内的部分，即框2。此时该车辆的截断比例即为框2的面积与框1的面积之比。
步骤S33：获取每个车辆在被遮挡的情况下实例分割图像，以及每个车辆在完全没有被遮挡时的实例分割图像，计算二者分割区域面积比例，可得到车辆的遮挡比例；
如图7所，利用仿真器提取EGO前视图像中车辆在被遮挡的情况下实例分割图像。再通过移除其他车辆，只保留该车辆在完全没有被遮挡时的实例分割图像，重复该步骤，直到提取到EGO前视图像中每个车辆在完全没有遮挡时的实例分割图像。计算每个车辆被遮挡和完全没被遮挡的实例分割图像的面积比例，可得到每个车辆的遮挡比例；
步骤S34：根据车辆的二维包围框的像素区域高度，车辆二维包围框的截断比例以及车辆的遮挡比例，设置车辆在目标检测任务中的难易程度；用户通过选择难易程度以实现对最终场景的设置；
本发明实施例根据车辆的二维包围框的像素区域高度，截断比例以及遮挡比例，设置车辆在自动驾驶场景中的三种难易程度：简单、中等和困难。用户可以根据自身需要，选择对应的难易程度。
当车辆的二维包围框的像素区域高度大于40时：遮挡比例为0且截断比例位于区间[0,0.15)时，检测难易程度为简单；遮挡比例位于区间(0,0.5)且截断比例位于区间[0,0.3)，或者遮挡比例为0且截断比例位于区间[0.15,0.3)时，检测难易程度为中等，其他情况为困难；
当车辆的二维包围框的像素区域高度大于25小于40时：遮挡比例位于区间[0,0.5)且截断比例位于区间[0,0.3)，检测难易程度为中等，其他情况为困难；
当车辆的二维包围框的像素区域高度小于25：检测难易程度为困难。
步骤S35：通过高级调整，对初始场景中的车辆的位置和朝向进行迭代调整，每次调整过后重新计算二维包围框的像素区域高度、截断比例以及遮挡比例，直到生成满足要求的最终场景。
对生成的初始场景计算每个车辆的二维包围框的像素区域高度、截断比例以及遮挡比例，并按照步骤S34评估每个车辆的检测难易程度，并判断该场景是否符合要求，对不符合要求的场景，例如，用户要求生成一个具有困难程度车辆的场景，而生成的场景中只有简单或中等程度车辆，执行以下操作：赋予场景中的每一个车辆固定初速度v，并令每一个车辆沿其当前所在的道路的方向前进时间t，在此期间，每隔
Figure BDA0003625109910000061
时间便对新生成的场景按照步骤S34重新评估，若在t时间内，存在新的场景符合要求，便停止调整并输出新的场景。当t时间后仍未发现满足要求的场景，则调整车辆位置并重新进行计算。
本发明公开了一种基于随机生成和调整策略相结合的自动驾驶场景生成方法，通过在仿真器中快速大量生成模拟驾驶场景，并从仿真传感器中收集合成数据，开发者能够测试自动驾驶系统在不同场景下的性能表现。本发明提供的方法能够有效的节省人力物力，且能够测试现实中难以设置的危险场景，有助于快速发现自动驾驶系统存在的安全隐患，从而帮助算法设计者完善自动驾驶系统设计，提高整体安全性。
实施例二
如图8所示，本发明实施例提供了一种基于随机生成和调整策略相结合的自动驾驶场景生成系统，包括下述模块：
场景初始化模块41，用于对仿真器的地图信息进行处理，随机选取合适的道路区域放置自身车辆EGO；
初始场景生成模块42，用于确定自身车辆的可视范围，在可视范围区域的道路上随机生成其他车辆，并通过基础调整对出界车辆以及重叠车辆进行调整，得到初始场景；
最终场景生成模块43，用于根据用户对最终场景的需求，通过高级调整，基于自身车辆EGO的前视图像中车辆的二维包围框像素区域高度、截断比例以及遮挡比例对初始场景中车辆位置进行调整，得到最终场景。
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (5)

1.一种基于随机生成和调整策略相结合的自动驾驶场景生成方法，其特征在于，包括：
步骤S1：对仿真器的地图信息进行处理，随机选取合适的道路区域放置自身车辆EGO；
步骤S2：确定所述自身车辆EGO的可视范围，在所述可视范围区域的道路上随机生成其他车辆，并通过基础调整对出界车辆以及重叠车辆进行调整，得到初始场景；
步骤S3：根据用户对最终场景的需求，通过高级调整，基于所述自身车辆EGO的前视图像中所述车辆的二维包围框像素区域高度、截断比例以及遮挡比例对所述初始场景中车辆位置进行调整，得到最终场景。
2.根据权利要求1所述的基于随机生成和调整策略相结合的自动驾驶场景生成方法，其特征在于，所述步骤S1：对仿真器的地图信息进行处理，随机选取合适的道路区域放置自身车辆EGO，具体包括：
步骤S11：提取地图信息中的道路R，道路R的车道L，以及车道L的中心线C的数据信息；
步骤S12：随机选取中心线C上一点p，作为所述自身车辆EGO的位置，将EGO的朝向h设为点p在C处的切线方向。
3.根据权利要求1所述的基于随机生成和调整策略相结合的自动驾驶场景生成方法，其特征在于，所述步骤S2：确定所述自身车辆的可视范围，在所述可视范围区域的道路上随机生成其他车辆，并通过基础调整对出界车辆以及重叠车辆进行调整，得到初始场景，具体包括：
步骤S21：将EGO可视范围区域定义为PEGO，将地图中的道路区域定义为PR，将二者重叠区域定义为PI；
步骤S22：在PI中随机选择一点p放置新的车辆O，重复n次，可得到n辆新生成的车辆，用
Figure FDA0003625109900000011
表示生成的n辆车的集合；
步骤S23：对于车辆边界超过道路边界的车辆Oi，设其位置为pi，根据公式(1)调整其位置；
Figure FDA0003625109900000012
其中，(xi,yi)为Oi在二维俯视平面的坐标系下的坐标；(xc,yc)为Oi所在的车道的中心线上与Oi最近的点pc在二维俯视平面坐标系下的坐标；
步骤S24：重复步骤S23，直到Oi的边界不再超出车道边界，且保持Oi的朝向与pc点处的切线方向相同；
步骤S25：将所有的重叠的车辆进行分组，使得同组之内的任何一个车辆都至少和本组内另外一个车辆重叠，并且不同组之间任何两辆车辆都不会重叠；
步骤S26：对每一组车辆集合
Figure FDA0003625109900000022
随机选择该组中的一个车辆作为保留车辆并移除与其相交的车辆；判断剩余车辆之间是否还有重叠，若有重叠则对剩余的车辆继续移除操作，直到该组的保留车辆之间不存在重叠。
4.根据权利要求1所述的基于随机生成和调整策略相结合的自动驾驶场景生成方法，其特征在于，所述步骤S3：根据用户对最终场景的需求，通过高级调整，基于所述自身车辆EGO的前视图像中所述车辆的二维包围框像素区域高度、截断比例以及遮挡比例对所述初始场景中车辆位置进行调整，得到最终场景，具体包括：
步骤S31：获取所述车辆在仿真器世界中的三维包围框的坐标，令所述三维包围框的点p的坐标为(x,y,z),则将该点坐标投影到EGO的图像传感器所采集的二维图像，即EGO的前视图像的坐标如公式(2)所示，由此可得到每个车辆的二维包围框，根据所述二维包围框的高度可计算所述车辆与EGO之间的距离；
Figure FDA0003625109900000021
其中，intrinsic,extrinsic分别为EGO图像传感器的内参矩阵和外参矩阵，(x',y')为点p在EGO图像传感器所采集的二维图像坐标系中的坐标；
步骤S32：根据所述车辆二维包围框的坐标与所述前视图像的坐标，计算所述二维包围框在所述前视图像中的截断比例，计算所述车辆出现在EGO的可视范围的比例；
步骤S33：获取每个所述车辆在被遮挡的情况下实例分割图像，以及每个所述车辆在完全没有被遮挡时的实例分割图像，计算二者分割区域面积比例，可得到所述车辆的遮挡比例；
步骤S34：根据所述车辆的二维包围框的像素区域高度，所述车辆二维包围框的截断比例以及所述车辆的遮挡比例，设置所述车辆在目标检测任务中的难易程度；用户通过选择所述难易程度以实现对最终场景的设置；
步骤S35：通过高级调整，对所述初始场景中的车辆的位置和朝向进行迭代调整，每次调整过后重新计算所述二维包围框的像素区域高度、截断比例以及遮挡比例，直到生成满足要求的最终场景。
5.一种基于随机生成和调整策略相结合的自动驾驶场景生成系统，其特征在于，包括下述模块：
场景初始化模块，用于对仿真器的地图信息进行处理，随机选取合适的道路区域放置自身车辆EGO；
初始场景生成模块，用于确定所述自身车辆的可视范围，在所述可视范围区域的道路上随机生成其他车辆，并通过基础调整对出界车辆以及重叠车辆进行调整，得到初始场景；
最终场景生成模块，用于根据用户对最终场景的需求，通过高级调整，基于所述自身车辆EGO的前视图像中所述车辆的二维包围框像素区域高度、截断比例以及遮挡比例对所述初始场景中车辆位置进行调整，得到最终场景。
CN202210467685.5A 2022-04-29 2022-04-29 基于随机生成和调整策略相结合的自动驾驶场景生成方法 Pending CN114998534A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210467685.5A CN114998534A (zh) 2022-04-29 2022-04-29 基于随机生成和调整策略相结合的自动驾驶场景生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210467685.5A CN114998534A (zh) 2022-04-29 2022-04-29 基于随机生成和调整策略相结合的自动驾驶场景生成方法

Publications (1)

Publication Number Publication Date
CN114998534A true CN114998534A (zh) 2022-09-02

Family

ID=83025695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210467685.5A Pending CN114998534A (zh) 2022-04-29 2022-04-29 基于随机生成和调整策略相结合的自动驾驶场景生成方法

Country Status (1)

Country Link
CN (1) CN114998534A (zh)

Similar Documents

Publication Publication Date Title
CN111161349B (zh) 物体姿态估计方法、装置与设备
CN111179152B (zh) 一种道路标识识别方法及装置、介质、终端
JP5223675B2 (ja) 車両検知装置，車両検知方法並びに車両検知プログラム
JP2013239168A (ja) 連続型道路分割体の検知方法及び連続型道路分割体の検知装置
CN101400001A (zh) 一种视频帧深度图的生成方法及系统
CN111259878A (zh) 一种检测文本的方法和设备
CN104200426A (zh) 图像插值方法和装置
CN111091023A (zh) 一种车辆检测方法、装置及电子设备
CN113536935A (zh) 一种工程现场的安全监测方法及设备
CN111062331A (zh) 图像的马赛克检测方法、装置、电子设备及存储介质
CN114519819B (zh) 一种基于全局上下文感知的遥感图像目标检测方法
CN108345007B (zh) 一种障碍物识别方法和装置
JP2014016710A (ja) 対象物検出装置及びプログラム
JP7258632B2 (ja) 物体検出装置
CN112446353A (zh) 基于深度卷积神经网络的视频图像道线检测方法
CN116994084A (zh) 区域入侵检测模型训练方法及区域入侵检测方法
JP2012048326A (ja) 画像処理装置及びプログラム
CN110059544B (zh) 一种基于道路场景的行人检测方法和系统
CN114998534A (zh) 基于随机生成和调整策略相结合的自动驾驶场景生成方法
CN106780541A (zh) 一种改进的背景减除方法
US20220404503A1 (en) Three-dimensional object detection with ground removal intelligence
WO2022017133A1 (zh) 一种点云数据处理方法及装置
CN115145253A (zh) 端到端自动驾驶方法、系统及自动驾驶模型的训练方法
JP7204087B2 (ja) 対象物認識装置
CN113902927A (zh) 一种融合了图像与点云信息的综合信息处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination