CN112069643B - 一种自动驾驶仿真场景生成方法及装置 - Google Patents

Abstract

本公开的实施例公开了一种自动驾驶仿真场景生成方法及装置，涉及数据处理技术领域。本公开的实施例的主要技术方案包括：根据车辆行驶产生的视频数据以及车辆本身姿态数据确定静态道路场景信息；从所述视频数据中识别出交通参与者；根据所述视频数据以及所述车辆本身姿态数据，通过预设的视频测距算法确定所述车辆以及所述交通参与者的行驶速度、运动轨迹及位置信息；整合所述车辆以及所述交通参与者的速度、运动轨迹及位置信息与所述静态道路场景信息形成自动驾驶仿真场景。

Description

一种自动驾驶仿真场景生成方法及装置

技术领域

本公开的实施例涉及数据处理技术领域，特别是涉及一种自动驾驶仿真场景生成方法及装置。

背景技术

随着科学技术的飞速的发展，依靠自动驾驶系统等智能控制模组辅助驾驶人安全行驶或替代驾驶人对车辆进行操控的智能车辆被广泛的应用在人们的生活中。为了确保智能车辆的安全性，需要在自动驾驶仿真场景下对智能车辆进行大量的测试，以便基于测试对智能车辆的自动驾驶能力以及其对交通环境的适应能力进行评价。

目前，对智能车辆测试的自动驾驶仿真场景都是完全虚拟的环境，仿真环境中的场景基本使用人工编辑或者随机生成的。这种人工编辑或者随机生成的自动驾驶仿真场景相对单一且过于理想化，无法完整体现真实世界的交通状态的复杂性。

发明内容

有鉴于此，本公开的实施例提出了一种自动驾驶仿真场景生成方法及装置，主要目的在于使自动驾驶仿真场景更接近于真实驾驶情况。本公开的实施例主要提供如下技术方案：

第一方面，本公开的实施例提供了一种自动驾驶仿真场景生成方法，所述方法包括：

根据车辆行驶产生的视频数据以及车辆本身姿态数据，确定静态道路场景信息；

从所述视频数据中识别出交通参与者；

根据所述视频数据以及所述车辆本身姿态数据，通过预设的视频测距算法确定所述车辆以及所述交通参与者的行驶速度、运动轨迹及位置信息；

整合所述车辆以及所述交通参与者的速度、运动轨迹及位置信息与所述静态道路场景信息，形成自动驾驶仿真场景。

第二方面，本公开的实施例提供了一种自动驾驶仿真场景生成装置，所述装置包括：

第一确定单元，用于根据车辆行驶产生的视频数据以及车辆本身姿态数据，确定静态道路场景信息；

识别单元，用于从所述视频数据中识别出交通参与者；

第二确定单元，用于根据所述视频数据以及所述车辆本身姿态数据，通过预设的视频测距算法确定所述车辆以及所述交通参与者的行驶速度、运动轨迹及位置信息；

整合单元，用于整合所述车辆以及所述交通参与者的速度、运动轨迹及位置信息与所述静态道路场景信息，形成自动驾驶仿真场景。

第三方面，本公开的实施例提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行第一方面所述的自动驾驶仿真场景生成方法。

第四方面，本公开的实施例提供了一种人机交互装置，所述装置包括存储介质；及一个或者多个处理器，所述存储介质与所述处理器耦合，所述处理器被配置为执行所述存储介质中存储的程序指令；所述程序指令运行时执行第一方面所述的自动驾驶仿真场景生成方法。

借由上述技术方案，本公开的实施例提供的自动驾驶仿真场景生成方法及装置，根据车辆行驶产生的视频数据以及车辆本身姿态数据确定静态道路场景信息，并根据视频数据以及车辆本身姿态数据，通过预设的视频测距算法确定车辆以及交通参与者的行驶速度、运动轨迹及位置信息。最后整合车辆以及交通参与者的速度、运动轨迹及位置信息与静态道路场景信息，形成自动驾驶仿真场景。可见，本公开的实施例依据真实交通世界中车辆行驶产生的真实视频数据以及车辆本身姿态数据来生成自动驾驶仿真场景，生成的自动驾驶仿真场景更接近真实世界的真实情况，使得后续依据自动驾驶仿真场景进行自动驾驶测试更接近真实情况，从而提升仿真测试的有效性。

上述说明仅是本公开的实施例技术方案的概述，为了能够更清楚了解本公开的实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本公开的实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本公开的实施例的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本公开的实施例的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本公开的实施例提供的一种自动驾驶仿真场景生成方法的流程图；

图2示出了本公开的实施例提供的一种自动驾驶仿真场景的示意图；

图3示出了本公开的实施例提供的另一种自动驾驶仿真场景生成方法的流程图；

图4示出了本公开的实施例提供的一种自动驾驶仿真场景生成装置的组成框图；

图5示出了本公开的实施例提供的另一种自动驾驶仿真场景生成装置的组成框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

第一方面，本公开的实施例提供了一种自动驾驶仿真场景生成方法，如图1所示，所述方法主要包括：

101、根据车辆行驶产生的视频数据以及车辆本身姿态数据，确定静态道路场景信息。

具体的，车辆行驶产生的视频数据是车辆在行驶过程中由车载摄像头(比如，车载前置摄像头)采集到的视频数据。该视频数据中包括有多帧图像以及每一帧图像分别对应的本车辆的采集位置信息(比如，GPS坐标)以及采集时间。车辆本身姿态数据可以包括但不限于车辆的GPS位置信息(该GPS位置信息可以形成车辆的行驶轨迹)、车辆所处经纬度、车辆所处海拔高度、车辆朝向角、俯仰角、横滚角中的至少一种。需要说明的是，为了得到更接近于真实交通环境的仿真场景，需要数量超过预设数量阈值的车辆在行驶中产生的视频数据以及车辆本身姿态数据。比如预设数量阈值为1000。

具体的，确定的静态道路场景信息可以包括但不限于道路尺寸信息、车道信息以及交通标识物信息。由于道路尺寸信息、车道信息以及交通标识物信息均是基于采集的真实交通世界中的视频数据以及车辆本身姿态数据确定的，因此道路尺寸信息、车道信息以及交通标识物信息均是真实交通世界真实存在的，在基于这些静态道路场景信息构建仿真场景时，使得仿真场景更接近于真实世界的情况。

102、从所述视频数据中识别出交通参与者。

具体的，从所述视频数据中识别出交通参与者可以为：采用预设的识别检测算法分别对视频数据中的每帧图像进行识别，从而识别出视频数据所涉及的所有交通参与者。其中，分别对视频数据中的每帧图像进行识别的过程为：在每帧图像中依据从左到右从上到下的规则划分出多个相邻的识别区域，然后采用识别检测算法对各个识别区域分别识别。预设的识别检测算法可以包括但不限于目标检测YOLO算法。

在实际应用中，识别出的交通参与者可以包括但不限于行人、车辆、自行车、电动车、滑板车等会产生移动的对象。由于交通参与者是从视频数据中识别出的，因此交通参与者是真实交通世界真实存在的对象，在基于这些交通参与者构建仿真场景时，使得仿真场景更接近于真实世界的情况。

103、根据所述视频数据以及所述车辆本身姿态数据，通过预设的视频测距算法确定所述车辆以及所述交通参与者的行驶速度、运动轨迹及位置信息。

具体的，视频数据中包括有多帧图像以及每一帧图像分别对应的采集位置信息以及采集时间。车辆本身姿态数据可以包括但不限于GPS位置信息(该GPS位置信息可以形成车辆的行驶轨迹)、车辆所处经纬度、车辆所处海拔高、车辆朝向角、俯仰角、横滚角中的至少一种。因此，基于每一帧图像分别对应的采集位置信息以及车辆本身姿态数据中的车辆朝向角便可以确定出每一帧图像分别对应的车辆位置信息以及车辆朝向角。然后，基于每一帧图像分别对应的车辆的位置信息，通过图像测距方法确定每一帧图像中的交通参与者相对于车辆的位置，然后根据交通参与者相对车辆的位置、车辆的位置信息和车辆朝向角，计算每一帧图像中的交通参与者的位置信息。基于每一帧图像对应的车辆的位置信息以及每一帧图像中交通参与者的位置信息，分别确定车辆以及交通参与者的运动轨迹。基于每一帧图像产生的时间、每一帧图像对应的车辆的位置信息以及每一帧图像中交通参与者的位置信息分别确定车辆与交通参与者的行驶速度。

104、整合所述车辆以及所述交通参与者的速度、运动轨迹及位置信息与所述静态道路场景信息，形成自动驾驶仿真场景。

具体的，在对车辆以及交通参与者的速度、运动轨迹及位置信息与静态道路场景信息进行整合，可以依据预设的N种场景要求来进行。对每一种场景要求对应的数据进行分类，从而形成N种场景要求对应的N种场景数据库。在需要搭建M种场景要求对应的仿真场景时，则利用M场景要求对应的场景数据库进行搭建。M小于等于N。其中，N种场景要求可以包括但不限于变道场景要求、驶出匝道场景要求、并线场景要求、行驶场景要求、超车场景要求中的至少一种，每种场景要求中分别包括静态道路场景要求(该静态道路场景要求可以包括但不限于车道线的数量、车道线之间的距离、车道线距道路边缘的距离、车道线的坐标轨迹、停止线、人行横道等地面标识、交通信号灯和交通标识牌的位置及种类中的至少一种或多种)、交通参与者的类型(交通参与者可以包括但不限于行人、车辆、自行车、电动车和滑板车中的至少一种)、车辆与交通参与者之间的速度要求以及位置要求。

示例性的，场景要求包括如下内容：三个车道线、车道线之间的距离为3米、交通参与者为一辆卡车和一辆小轿车、车辆分别与卡车和小轿车之间的速度要求以及位置要求。则基于该场景要求，整合车辆以及交通参与者的速度、运动轨迹及位置信息与静态道路场景信息，形成如图2所示的自动驾驶仿真场景。

需要说明的是，车辆行驶中产生的视频数据以及车辆本身姿态数据是车辆在真实交通环境中遇到的所有的场景所产生的数据，因此在构建场景数据库时可以构建类型丰富的场景数据库，从而可以形成满足不同场景的自动驾驶仿真场景，从而提高仿真测试的准确性。

本公开的实施例提供的自动驾驶仿真场景生成方法，根据车辆行驶产生的视频数据以及车辆本身姿态数据确定静态道路场景信息，并根据视频数据以及车辆本身姿态数据，通过预设的视频测距算法确定车辆以及交通参与者的行驶速度、运动轨迹及位置信息。最后整合车辆以及交通参与者的速度、运动轨迹及位置信息与静态道路场景信息形成自动驾驶仿真场景。可见，本公开的实施例依据真实交通世界中车辆行驶产生的真实视频数据以及车辆本身姿态数据来生成自动驾驶仿真场景，生成的自动驾驶仿真场景更接近真实世界的真实情况，使得后续依据自动驾驶仿真场景进行自动驾驶测试更接近真实情况，从而提升仿真测试的有效性。

第二方面，依据第一方面所述的方法，本公开的另一个实施例还提供了一种自动驾驶仿真场景生成方法，如图3所示，所述方法主要包括：

201、获取车辆行驶产生的视频数据以及车辆本身姿态数据。

具体的，为了得到更接近于真实交通环境的仿真场景，需要获取数量超过预设数量阈值个车辆在行驶中产生的视频数据以及车辆本身姿态数据。

202、匹配所述车辆本身姿态数据中的位置数据与预设的地图数据，得到所述车辆行驶过的道路数据。

具体的，车辆本身姿态数据中的位置数据可以是形成车辆的行驶轨迹的GPS位置信息。将GPS位置信息形成的行驶轨迹与预设的地图数据相匹配，将与行驶轨迹相匹配的道路数据确定为车辆真实行驶过的道路数据，该道路数据中可以包括但不限于道路名称、道路轨迹坐标、道路宽度。

203、基于所述道路数据以及与所述道路数据对应的视频数据，通过预设的图像测距算法得到道路尺寸信息。

具体的，道路尺寸信息包括路长和路宽。通过道路数据中的道路宽度确定路宽。通过预设的图像测距算法从道路数据对应的视频数据的多帧图像中计算出路长，该路长为车辆真实行驶过的路长。

204、从所述道路数据对应的视频数据中，识别车道信息以及交通标识物信息。

具体的，采用预设的图像识别算法从道路数据对应的视频数据的多帧图像中，识别出车道线信息以及交通标识物信息。其中，车道信息可以包括但不限于车道线的数量、车道线之间的距离、车道线距道路边缘的距离、车道线的坐标轨迹以及停止线、人行横道等地面标识。交通标识物信息可以包括但不限于交通信号灯、交通标识牌的位置及种类。

205、整合所述道路尺寸信息、所述车道信息以及所述交通标识物信息，形成所述静态道路场景信息。

206、采用预设的识别检测算法从所述视频数据所涉及的图像中识别出所有的交通参与者。

具体的，从所述视频数据中识别出交通参与者可以为：采用预设的识别检测算法分别对视频数据中的每帧图像进行识别，从而识别出视频数据所涉及的所有交通参与者。其中，分别对视频数据中的每帧图像进行识别的过程为：在每帧图像中依据从左到右从上到下的规则划分出多个相邻的识别区域，然后采用识别检测算法对各个识别区域分别识别。预设的识别检测算法可以包括但不限于目标检测YOLO算法。

具体的，为了区分各个交通参与者，可以对识别出的交通参与者进行标识。该标识的具体型式可以基于业务要求确定，比如车辆可以用车牌进行标识，行人可以利用预设的编码进行标识。

207、对识别出的交通参与者进行去重处理。

具体的，由于一个交通参与者可以出现在多帧图像中，为了后续可以清楚的区别交通参与者，需要将识别出的交通参与者进行去重处理，从而减少后续确定交通参与者的行驶速度、运动轨迹及位置信息的处理量。

208、基于所述车辆本身姿态数据以及所述视频数据，确定所述视频数据的每一帧图像对应的车辆的位置信息，以及通过预设的视频测距算法确定每一帧所述图像中所述交通参与者的位置信息。

具体的，基于所述车辆本身姿态数据以及所述视频数据，确定所述视频数据的每一帧图像对应的车辆的位置信息，以及通过预设的视频测距算法确定每一帧所述图像中所述交通参与者的位置信息，包括：基于所述车辆本身姿态数据确定视频数据的每一帧图像对应的所述车辆的位置信息以及车辆朝向角；采用预设的图像测距算法，确定每一帧所述图像中的交通参与者相对于所述车辆的位置；基于所述车辆的位置信息以及车辆朝向角、所述交通参与者相对于所述车辆的位置确定每一帧图像中所述交通参与者的位置信息。

具体的，视频数据中包括有多帧图像以及每一帧图像对应的采集位置信息以及采集时间。每帧图像的采集位置信息即为每帧图像对应的车辆的位置信息。车辆本身姿态数据中包括有车辆在各个GPS位置信息分别对应的车辆朝向角，将与图像的采集位置信息匹配的车辆朝向角确定为图像对应的车辆的车辆朝向角。从车辆朝向角可以判别出车辆向哪个方向行驶。

具体的，采用预设的图像测距算法，确定每一帧图像中的交通参与者相对于所述车辆的位置，该位置为交通参与者在图像所用坐标系中相对于车辆的位置坐标。

具体的，根据交通参与者在图像所用坐标系中相对于车辆的位置坐标以及车辆的绝对GPS位置和车辆朝向角，经过坐标转换将交通参与者在图像所用坐标系中相对于车辆的位置坐标转换为交通参与者的绝对GPS位置，该绝对GPS位置即为交通参与者的位置信息。

209、基于每一帧所述图像对应的所述车辆的位置信息以及每一帧所述图像中所述交通参与者的位置信息，分别确定所述车辆以及所述交通参与者的运动轨迹。

具体的，车辆的运动轨迹的确定方法为：确定每一帧图像对应的采集位置信息，串联每一帧图像对应的采集位置信息，得到针对车辆的运动轨迹。

具体的，交通参与者的运动轨迹的确定方法为：针对每一个交通参与者均执行：判断包括该交通参与者的图像是否均为连续采集到的图像，若判断均为连续采集到的图像，则确定包括该交通参与者的图像中交通参与者的位置信息，串联确定的位置信息得到针对交通参与者的运动轨迹。若判断不是连续采集到的图像，则从包括该交通参与者的图像中选取连续采集的图像，并确定这些图像中交通参与者的位置信息，串联确定的位置信息得到针对交通参与者的运动轨迹，需要说明的是，当包括该交通参与者的图像仅为一个或包括该交通参与者的图像不与其他的包括该交通参与者的图像为连续采集关系时，则将该图像中交通参与者的位置信息确定为针对交通参与者的运行轨迹。

210、基于每一帧所述图像产生的时间、每一帧所述图像对应的所述车辆的位置信息以及每一帧所述图像中所述交通参与者的位置信息，分别确定所述车辆与所述交通参与者的行驶速度。

具体的，基于每一帧所述图像产生的时间、每一帧所述图像对应的所述车辆的位置信息以及每一帧所述图像中所述交通参与者的位置信息，分别确定所述车辆与所述交通参与者的行驶速度，包括：对于任意相邻的两帧图像分别执行：确定所述两帧图像产生的间隔时间；基于所述两帧图像分别对应的所述车辆的位置信息确定所述车辆的车辆行驶距离，将所述车辆行驶距离与所述间隔时间的比值确定为所述车辆的行驶速度；基于两帧图像中所述交通参与者的位置信息确定所述交通参与者的参与者行驶距离，将所述参与者行驶距离与所述间隔时间的比值确定为所述交通参与者的行驶速度。

具体的，在确定车辆的行驶速度时，根据相邻的两帧图像的采集时间，确定这两个图像产生的间隔时间，该间隔时间也是车辆的行驶时间。相邻的两帧图像对应的采集位置(GPS坐标)之间的距离即为车辆的行驶距离。在计算行驶距离时，利用两点之间的距离公式即可计算得到。在得到行驶时间和行驶距离之后，即可将行驶距离与行驶时间之间的比值确定为车辆的行驶速度。

具体的，在确定交通参与者的行驶速度时，根据相邻的两帧图像的采集时间，确定这两个图像产生的间隔时间，该间隔时间也是交通参与者的行驶时间。相邻的两帧图像中的交通参与者的位置(GPS坐标)之间的距离即为交通参与者的行驶距离。在计算行驶距离时，利用两点之间的距离公式即可计算得到。在得到行驶时间和行驶距离之后，即可将行驶距离与行驶时间之间的比值确定为交通参与者的行驶速度。需要说明的是，当交通参与者仅在两帧图像中一帧图像上出现时，说明该交通参与者速度大于车辆的速度，很快远离车辆的车载摄像头的拍摄区域。则根据相邻的两帧图像的采集时间，确定这两个图像产生的间隔时间，该间隔时间也是交通参与者的行驶时间。确定交通参与者的运动方向是否与车辆的车辆朝向角朝向一致；若一致，则利用包含交通参与者的图像中交通参与者的位置(GPS坐标)与另一帧图像中车辆朝向角朝向对应的图像边缘的位置之间的垂直距离确定为交通参与者的行驶距离。在得到行驶时间和行驶距离之后，即可将行驶距离与行驶时间之间的比值确定为交通参与者的行驶速度。若不一致，则利用包含交通参与者的图像中交通参与者的位置(GPS坐标)与另一帧图像中与车辆朝向角朝向的反向对应的图像边缘的位置之间的垂直距离即为交通参与者的行驶距离。在得到行驶时间和行驶距离之后，即可将行驶距离与行驶时间之间的比值确定为交通参与者的行驶速度。

211、整合所述车辆以及所述交通参与者的速度、运动轨迹及位置信息与所述静态道路场景信息，形成自动驾驶仿真场景。

具体的，整合所述车辆以及所述交通参与者的速度、运动轨迹及位置信息与所述静态道路场景信息形成自动驾驶仿真场景的过程至少包括如下两种：

第一种，获取所述车辆的CAN数据；整合所述CAN数据、所述交通参与者的速度、所述运动轨迹及所述位置信息形成动态道路场景信息；整合所述静态道路场景信息以及所述动态道路场景信息形成自动驾驶仿真场景。

具体的，车辆的CAN数据中包括有车辆的踏板开合度变化、车速、加速时长等驾驶行为信息，将CAN数据、交通参与者的速度、运动轨迹及位置信息形成动态道路场景信息，更能准确体现出真实的驾驶情况。

第二种，依据N种场景要求，对所述车辆以及所述交通参与者的速度、运动轨迹及位置信息与所述静态道路场景信息进行分类整合，分别形成每种所述场景要求各自对应的场景数据；在收到针对任一种目标场景要求对应的场景生成请求时，基于所述目标场景要求对应的场景数据形成针对所述场景生成请求对应的自动驾驶仿真场景。

具体的，N种场景要求可以包括但不限于变道场景要求、驶出匝道场景要求、并线场景要求中的至少一种，每种场景要求中分别包括车辆与交通参与者之间的速度要求以及位置要求。

具体的，依据场景要求，从车辆以及交通参与者的速度、运动轨迹及位置信息与静态道路场景信息提取与场景要求匹配的数据，基于提取的数据建立针对场景要求的场景数据库。这些场景数据库类型丰富，可以覆盖真实交通世界的场景情况。

具体的，在收到针对任一种目标场景要求对应的场景生成请求时，基于目标场景要求对应的场景数据库形成针对场景生成请求对应的自动驾驶仿真场景，该仿真场景无需人工输入数据，可以依据场景数据库自动建立，从而降低人工成本。

第三方面，依据图1或图3所示的方法，本公开的另一个实施例还提供了一种自动驾驶仿真场景生成装置，如图4所示，所述装置主要包括：

第一确定单元31，用于根据车辆行驶产生的视频数据以及车辆本身姿态数据，确定静态道路场景信息；

识别单元32，用于从所述视频数据中识别出交通参与者；

第二确定单元33，用于根据所述视频数据以及所述车辆本身姿态数据，通过预设的视频测距算法确定所述车辆以及所述交通参与者的行驶速度、运动轨迹及位置信息；

整合单元34，用于整合所述车辆以及所述交通参与者的速度、运动轨迹及位置信息与所述静态道路场景信息，形成自动驾驶仿真场景。

本公开的实施例提供的自动驾驶仿真场景生成装置，根据车辆行驶产生的视频数据以及车辆本身姿态数据确定静态道路场景信息，并根据视频数据以及车辆本身姿态数据，通过预设的视频测距算法确定车辆以及交通参与者的行驶速度、运动轨迹及位置信息。最后整合车辆以及交通参与者的速度、运动轨迹及位置信息与静态道路场景信息形成自动驾驶仿真场景。可见，本公开的实施例依据真实交通世界中车辆行驶产生的真实视频数据以及车辆本身姿态数据来生成自动驾驶仿真场景，生成的自动驾驶仿真场景更接近真实世界的真实情况，使得后续依据自动驾驶仿真场景进行自动驾驶测试更接近真实情况，从而提升仿真测试的有效性。

在一些实施例中，如图5所示，第二确定单元33包括：

第一确定模块331，用于基于所述车辆本身姿态数据以及所述视频数据，通过预设的视频测距算法确定所述视频数据的每一帧图像中所述车辆和所述交通参与者的位置信息；

第二确定模块332，用于基于每一帧所述图像中所述车辆和所述交通参与者的位置信息，分别确定所述车辆以及所述交通参与者的运动轨迹；

第三确定模块333，用于基于每一帧所述图像产生的时间以及每一帧所述图像中的车辆的位置信息以及交通参与者的位置信息，分别确定所述车辆与所述交通参与者的行驶速度。

在一些实施例中，如图5所示，第一确定模块331，包括：

第一确定子模块3311，用于基于所述车辆本身姿态数据，确定视频数据的每一帧图像中所述车辆的位置信息以及车辆朝向角；

第二确定子模块3312，用于采用预设的图像测距算法，确定每一帧所述图像中的交通参与者相对于所述车辆的位置；

第三确定子模块3313，用于基于所述车辆的位置信息以及车辆朝向角、所述交通参与者相对于所述车辆的位置，确定每一帧图像中所述交通参与者的位置信息。

在一些实施例中，如图5所示，第三确定模块333，用于对于任意相邻的两帧图像分别执行：确定所述两帧图像产生的间隔时间；基于所述两帧图像中所述车辆的位置信息，确定所述车辆的车辆行驶距离，将所述车辆行驶距离与所述间隔时间的比值确定为所述车辆的行驶速度；基于所述两帧图像中所述交通参与者的位置信息，确定所述交通参与者的参与者行驶距离，将所述参与者行驶距离与所述间隔时间的比值确定为所述交通参与者的行驶速度。

在一些实施例中，如图5所示，整合单元34包括：

获取模块341，用于获取所述车辆的CAN数据；

第一整合模块342，用于整合所述CAN数据、所述交通参与者的速度、所述运动轨迹及所述位置信息形成动态道路场景信息；整合所述静态道路场景信息以及所述动态道路场景信息，形成自动驾驶仿真场景。

在一些实施例中，如图5所示，整合单元34包括：

第二整合模块343，用于依据N种场景要求，对所述车辆以及所述交通参与者的速度、运动轨迹及位置信息与所述静态道路场景信息进行分类整合，分别形成每种所述场景要求各自对应的场景数据；

形成模块344，用于在接收到针对任一种目标场景要求对应的场景生成请求时，基于所述目标场景要求对应的场景数据，形成针对所述场景生成请求的自动驾驶仿真场景。

在一些实施例中，如图5所示，第一确定单元31包括：

匹配模块311，用于匹配所述车辆本身姿态数据中的位置数据与预设的地图数据，得到所述车辆行驶过的道路数据；

第四确定模块312，用于基于所述道路数据，通过预设的图像测距算法得到道路尺寸信息；从所述道路数据对应的视频数据中识别车道信息以及交通标识物信息；整合所述道路尺寸信息、所述车道信息以及所述交通标识物信息，形成所述静态道路场景信息。

在一些实施例中，如图5所示，识别单元32包括：

识别模块321，用于采用预设的识别检测算法从所述视频数据所涉及的图像中识别出所有的交通参与者；

去重模块322，用于对识别出的交通参与者进行去重处理。

第三方面的实施例提供的自动驾驶仿真场景生成装置，可以用以执行第一方面或第二方面的实施例所提供的自动驾驶仿真场景生成方法，相关的用于的含义以及具体的实施方式可以参见第一方面或第二方面的实施例中的相关描述，在此不再详细说明。

第四方面，本公开的实施例提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行第一方面或第二方面所述的自动驾驶仿真场景生成方法。

存储介质可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

第五方面，本公开的实施例提供了一种人机交互装置，所述装置包括存储介质；及一个或者多个处理器，所述存储介质与所述处理器耦合，所述处理器被配置为执行所述存储介质中存储的程序指令；所述程序指令运行时执行第一方面或第二方面所述的自动驾驶仿真场景生成方法。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开的实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开的实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照本公开的实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本公开的实施例可提供为方法、系统或计算机程序产品。因此，本公开的实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本公开的实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种自动驾驶仿真场景生成方法，其特征在于，所述方法包括：

根据车辆行驶产生的视频数据以及车辆本身姿态数据，确定静态道路场景信息；

从所述视频数据中识别出交通参与者；

根据所述视频数据以及所述车辆本身姿态数据，通过预设的视频测距算法确定所述车辆以及所述交通参与者的行驶速度、运动轨迹及位置信息；

整合所述车辆以及所述交通参与者的速度、运动轨迹及位置信息与所述静态道路场景信息，形成自动驾驶仿真场景；

所述根据所述视频数据以及所述车辆本身姿态数据，通过预设的视频测距算法确定所述车辆以及所述交通参与者的行驶速度、运动轨迹及位置信息，包括：

基于所述车辆本身姿态数据以及所述视频数据，确定所述视频数据的每一帧图像对应的车辆的位置信息，以及通过预设的视频测距算法确定每一帧所述图像中所述交通参与者的位置信息；

基于每一帧所述图像对应的所述车辆的位置信息以及每一帧所述图像中所述交通参与者的位置信息，分别确定所述车辆以及所述交通参与者的运动轨迹；

基于每一帧所述图像产生的时间、每一帧所述图像对应的所述车辆的位置信息以及每一帧所述图像中所述交通参与者的位置信息，分别确定所述车辆与所述交通参与者的行驶速度。

2.根据权利要求1所述的方法，其特征在于，所述基于所述车辆本身姿态数据以及所述视频数据，确定所述视频数据的每一帧图像对应的车辆的位置信息，以及通过预设的视频测距算法确定每一帧所述图像中所述交通参与者的位置信息，包括：

基于所述车辆本身姿态数据，确定视频数据的每一帧图像对应的所述车辆的位置信息以及车辆朝向角；

采用预设的图像测距算法，确定每一帧所述图像中的交通参与者相对于所述车辆的位置；

基于所述车辆的位置信息以及车辆朝向角、所述交通参与者相对于所述车辆的位置，确定每一帧图像中所述交通参与者的位置信息。

3.根据权利要求1所述的方法，其特征在于，所述基于每一帧所述图像产生的时间、每一帧所述图像对应的所述车辆的位置信息以及每一帧所述图像中所述交通参与者的位置信息，分别确定所述车辆与所述交通参与者的行驶速度，包括：

对于任意相邻的两帧图像分别执行：

确定所述两帧图像产生的间隔时间；

基于所述两帧图像分别对应的所述车辆的位置信息，确定所述车辆的车辆行驶距离，将所述车辆行驶距离与所述间隔时间的比值确定为所述车辆的行驶速度；

基于所述两帧图像中所述交通参与者的位置信息，确定所述交通参与者的参与者行驶距离，将所述参与者行驶距离与所述间隔时间的比值确定为所述交通参与者的行驶速度。

4.根据权利要求1所述的方法，其特征在于，所述整合所述车辆以及所述交通参与者的速度、运动轨迹及位置信息与所述静态道路场景信息形成自动驾驶仿真场景，包括：

获取所述车辆的CAN数据；

整合所述CAN数据、所述交通参与者的速度、所述运动轨迹及所述位置信息，形成动态道路场景信息；

整合所述静态道路场景信息以及所述动态道路场景信息，形成自动驾驶仿真场景。

5.根据权利要求1所述的方法，其特征在于，所述整合所述车辆以及所述交通参与者的速度、运动轨迹及位置信息与所述静态道路场景信息，形成自动驾驶仿真场景，包括：

依据N种场景要求，对所述车辆以及所述交通参与者的速度、运动轨迹及位置信息与所述静态道路场景信息进行分类整合，分别形成每种所述场景要求各自对应的场景数据；

在接收到针对任一种目标场景要求对应的场景生成请求时，基于所述目标场景要求对应的场景数据，形成针对所述场景生成请求的自动驾驶仿真场景。

6.根据权利要求1-5中任一所述的方法，其特征在于，所述根据车辆行驶产生的视频数据以及车辆本身姿态数据确定静态道路场景信息，包括：

匹配所述车辆本身姿态数据中的位置数据与预设的地图数据，得到所述车辆行驶过的道路数据；

基于所述道路数据，通过预设的图像测距算法得到道路尺寸信息；

从所述道路数据对应的视频数据中识别车道信息以及交通标识物信息；

整合所述道路尺寸信息、所述车道信息以及所述交通标识物信息，形成所述静态道路场景信息。

7.根据权利要求1-5中任一所述的方法，其特征在于，所述从所述视频数据中识别出交通参与者，包括：

采用预设的识别检测算法从所述视频数据所涉及的图像中识别出所有的交通参与者；

对识别出的交通参与者进行去重处理。

8.一种自动驾驶仿真场景生成装置，其特征在于，所述装置包括：

第一确定单元，用于根据车辆行驶产生的视频数据以及车辆本身姿态数据，确定静态道路场景信息；

识别单元，用于从所述视频数据中识别出交通参与者；

第二确定单元，用于根据所述视频数据以及所述车辆本身姿态数据，通过预设的视频测距算法确定所述车辆以及所述交通参与者的行驶速度、运动轨迹及位置信息；

整合单元，用于整合所述车辆以及所述交通参与者的速度、运动轨迹及位置信息与所述静态道路场景信息，形成自动驾驶仿真场景；

所述第二确定单元包括：

第一确定模块，用于基于所述车辆本身姿态数据以及所述视频数据，确定所述视频数据的每一帧图像对应的车辆的位置信息，以及通过预设的视频测距算法确定每一帧所述图像中所述交通参与者的位置信息；

第二确定模块，用于基于每一帧所述图像对应的所述车辆的位置信息以及每一帧所述图像中所述交通参与者的位置信息，分别确定所述车辆以及所述交通参与者的运动轨迹；

第三确定模块，用于基于每一帧所述图像产生的时间、每一帧所述图像对应的所述车辆的位置信息以及每一帧所述图像中所述交通参与者的位置信息，分别确定所述车辆与所述交通参与者的行驶速度。

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至7中任一项所述的自动驾驶仿真场景生成方法。

10.一种人机交互装置，其特征在于，所述装置包括存储介质；及一个或者多个处理器，所述存储介质与所述处理器耦合，所述处理器被配置为执行所述存储介质中存储的程序指令；所述程序指令运行时执行权利要求1至7中任一项所述的自动驾驶仿真场景生成方法。