CN115146439A - 一种无人车场景重建方法、装置、存储介质及终端 - Google Patents

Abstract

本申请公开了一种无人车场景重建方法，方法包括：抽取预设交通场景下的车流视频中动态实体的轨迹集合；确定车流视频中待分析动态实体，根据动态实体的轨迹集合构建待分析动态实体的环境感知数据和第一行驶参数集合；将该场景电子地图与环境感知数据输入无人车平台进行仿真测试，输出目标无人车在环境感知数据条件下的第二行驶参数集合；根据第一、第二行驶参数集合确定目标无人车的行为差异数据。本申请通过现实场景中的车流视频构建现实车辆的环境感知数据和行驶参数集合，结合无人车平台分析出虚拟无人车的行驶参数集合，通过行驶参数之间的比较可快速确定出无人车的行为差异数据，并通过该差异数据为无人车能力提升提供改进方向。

Description

一种无人车场景重建方法、装置、存储介质及终端

技术领域

本申请涉及无人驾驶技术领域，特别涉及一种无人车场景重建方法、装置、存储介质及终端。

背景技术

无人驾驶作为汽车未来的研究方向，其对于汽车行业甚至是交通运输业有着深远的影响。无人驾驶汽车的来临将能够解放人类的双手，降低发生交通事故发生的频率，保证了人们的安全。同时随着人工智能、传感检测等核心技术的突破和不断推进，无人驾驶必将更加智能化，同时也能够实现无人驾驶汽车的产业化。场景是对无人车行驶过程中遇到的行驶环境的类型概括和表达，基于场景对无人车行驶能力评估和训练，是发现无人车平台漏洞，提升无人车环境适应能力的一个必要手段。

在现有技术中，无人车虽然在测试场内经历了大量的场景训练，但一些复杂、极端的交通场景(大车流量、交通事故、路口人车混行等)因涉及一些特定的道路形态和巨量的交互对象，这往往在训练场内是无法模拟的，却在无人车训练过程中是不可或缺的，虽然目前可以通过仿真手段模拟生成一些极端场景，但与实际行驶环境的契合度还存在一定差距，从而使得无人车在实际环境中无法应对极端场景下的各种挑战。

发明内容

本申请实施例提供了一种无人车场景重建方法、装置、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

第一方面，本申请实施例提供了一种无人车场景重建方法，方法包括：

抽取预设交通场景下的车流视频中动态实体的轨迹集合；

确定车流视频中待分析动态实体，并根据动态实体的轨迹集合构建待分析动态实体的环境感知数据和第一行驶参数集合；

将预设交通场景的电子地图数据与环境感知数据输入无人车平台进行仿真测试，输出目标无人车在所述环境感知数据条件下的第二行驶参数集合；

根据所述第一行驶参数集合与所述第二行驶参数集合的差异评估所述目标无人车的驾驶能力。

可选的，抽取预设交通场景下的车流视频中动态实体的轨迹集合之前，还包括：

确定待录制交通场景；

规划待录制交通场景的录制时间周期和空间范围；

根据空间范围规划无人机的悬停坐标和悬停高度；

基于录制时间周期、悬停坐标和悬停高度控制无人机进行视频录制，得到预设交通场景下的车流视频。

可选的，抽取预设交通场景下的车流视频中动态实体的轨迹集合，包括：

构建预设交通场景下的车流视频中每个车辆的ID标识；

确定每个车辆出现在车流视频范围内的时间范围；

计算每个车辆在时间范围内每个时刻的行驶参数；

根据每个车辆的ID标识、时间范围以及行驶参数构建每个车辆的三元组，得到结构化后的每个车辆的轨迹；

根据结构化后的每个车辆的轨迹得到动态实体的轨迹集合。

可选的，计算每个车辆在时间范围内每个时刻的行驶参数，包括：

获取根据无人机监视范围的大地坐标系所建立的矩形范围，矩形范围包括第一大地坐标和第二大地坐标；

获取无人机视场内的平面坐标系上每个车辆的包络矩形，并计算包络矩形的四条边距平面坐标系边界的多个边界距离；

根据第一大地坐标、第二大地坐标以及多个边界距离计算每个车辆在时间范围内每个时刻的大地坐标、车辆宽度和车辆长度；

计算每个车辆在时间范围内每个时刻的方位角和瞬时车速；

将每个车辆在时间范围内每个时刻以及每个时刻的大地坐标、车辆宽度、车辆长度、方位角和瞬时车速确定为每个车辆在时间范围内每个时刻的行驶参数。

可选的，根据动态实体的轨迹集合构建待分析动态实体的环境感知数据和第一行驶参数集合，包括：

在动态实体的轨迹集合中提取待分析动态实体的车辆轨迹；

在待分析动态实体的车辆轨迹中确定出目标时间范围；

计算目标时间范围中每个时刻下待分析动态实体的环境感知数据和第一行驶参数集合。

可选的，计算目标时间范围中每个时刻下待分析动态实体的环境感知数据和第一行驶参数集合，包括：

在动态实体的轨迹集合中提取目标时间范围内每个时刻出现在车流视频中车辆行驶参数集合；

在待分析动态实体的车辆轨迹中确定出目标时间范围内每个时刻的第一位置；

构建以第一位置为中心的多边形范围，得到待分析动态实体的环境感知范围；

获取车辆行驶参数集合中除待分析动态实体之外的其他车辆各自的第二位置；

将每个第二位置与环境感知范围进行空间计算，以判断每个第二位置是否在环境感知范围内，若是，生成目标时间范围中每个时刻下待分析动态实体的环境感知数据；

将待分析动态实体在目标时间范围内每个时刻的行驶参数集合确定为待分析动态实体的第一行驶参数集合。

可选的，根据所述第一行驶参数集合与所述第二行驶参数集合的差异评估所述目标无人车的驾驶能力，包括：

计算待分析动态实体的第一行驶参数集合与目标无人车的第二行驶参数集合之间的相似度；

根据相似度确定目标无人车的行为差异数据。

第二方面，本申请实施例提供了一种无人车场景重建装置，装置包括：

轨迹集合抽取模块，用于抽取预设交通场景下的车流视频中动态实体的轨迹集合；

数据构建模块，用于确定车流视频中待分析动态实体，并根据动态实体的轨迹集合构建待分析动态实体的环境感知数据和第一行驶参数集合；

仿真测试模块，用于将预设交通场景的电子地图数据与环境感知数据输入无人车平台进行仿真测试，输出目标无人车在所述环境感知数据条件下的第二行驶参数集合；

参数对比判定模块，用于根据所述第一行驶参数集合与所述第二行驶参数集合的差异评估所述目标无人车的驾驶能力。

第三方面，本申请实施例提供一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行上述的方法步骤。

第四方面，本申请实施例提供一种终端，可包括：处理器和存储器；其中，存储器存储有计算机程序，计算机程序适于由处理器加载并执行上述的方法步骤。

本申请实施例提供的技术方案可以包括以下有益效果：

在本申请实施例中，无人车场景重建装置首先抽取预设交通场景下的车流视频中动态实体的轨迹集合，然后确定车流视频中待分析动态实体，根据动态实体的轨迹集合构建待分析动态实体的环境感知数据和第一行驶参数集合，其次将该场景电子地图与环境感知数据输入无人车平台进行仿真测试，输出目标无人车在所述环境感知数据条件下的第二行驶参数集合，最后根据第一、第二行驶参数集合确定目标无人车的行为差异数据。由于本申请通过现实场景中的车流视频构建现实车辆的环境感知数据和行驶参数集合，结合无人车平台分析出虚拟无人车的行驶参数集合，通过行驶参数之间的比较可快速确定出无人车的行为差异数据，并通过该差异数据为无人车能力提升提供改进方向。进一步的，理论上预设交通场景下车流视频中每一辆车都可以作为待分析动态实体提取环境感知数据和第一行驶参数集合，供无人车平台进行训练和测试，可以快速扩大无人车在极端场景下的训练和测试集，这对无人车能力的提升具有重要的意义。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是本申请实施例提供的一种无人车场景重建方法的流程示意图；

图2是本申请实施例提供的一种基于无人机航空摄影获取复杂场景的视频数据示意图；

图3是本申请实施例提供的一种视频结构化实现对单个车辆的轨迹追踪示意图；

图4是本申请实施例提供的一种平面坐标到大地坐标的转换示意图；

图5是本申请实施例提供的一种某时刻无人车的环境感知数据示意图示意图；

图6是本申请实施例提供的一种无人车场景重建装置的结构示意图；

图7是本申请实施例提供的一种终端的结构示意图。

具体实施方式

以下描述和附图充分地示出本申请的具体实施方案，以使本领域的技术人员能够实践它们。

应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本申请提供了一种无人车场景重建方法、装置、存储介质及终端，以解决上述相关技术问题中存在的问题。本申请提供的技术方案中，由于本申请通过现实场景中的车流视频构建现实车辆的环境感知数据和行驶参数集合，结合无人车平台分析出虚拟无人车的行驶参数集合，通过行驶参数之间的比较可快速确定出无人车的行为差异数据，并通过该差异数据为无人车能力提升提供改进方向，下面采用示例性的实施例进行详细说明。

下面将结合附图1-附图5，对本申请实施例提供的无人车场景重建方法进行详细介绍。该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的无人车场景重建装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。

请参见图1，为本申请实施例提供了一种无人车场景重建方法的流程示意图。如图1所示，本申请实施例的方法可以包括以下步骤：

S101，抽取预设交通场景下的车流视频中动态实体的轨迹集合；

其中，预设交通场景是用户预先设定的交通路网上的某个位置上的车流场景，可以是常规的交通场景，也可以是一些复杂或极端的交通场景，例如大车流量、交通事故、路口人车混行等。动态实体包括车辆、行人、非机动车等，下文重点以车辆为例说明。

在本申请实施例中，在抽取预设交通场景下的车流视频中动态实体的轨迹集合之前，需要采用无人机到用户预先设定的交通路网上的某个位置上的车流场景中录制车流视频。首先确定待录制交通场景，然后规划待录制交通场景的录制时间周期和空间范围，其次根据空间范围规划无人机的悬停坐标和悬停高度，最后基于录制时间周期、悬停坐标和悬停高度控制无人机进行视频录制，得到预设交通场景下的车流视频。

具体的，无人机(UAV)在复杂交通场景的记录方面优势明显，一方面无人机具有独特的灵活性和机动性，便于对复杂场景的动态观测覆盖，另一方面无人机可以人工控制悬停位置，并具有大角度拍摄，可以获得更全面、清晰的视频数据。因此本申请通过无人机对复杂场景进行视频记录，并在此基础上生成无人车在复杂场景下的行驶环境数据，这对于无人车的能力评估和能力训练都具有重要的意义。

在一种实施例中，首先确定复杂的交通场景，规划复杂交通场景的录制时间周期T(不妨设T₁～T₂)和空间范围S(不妨设为左下角(X₀,Y₀)至右上角(X₁,Y₁)定义的矩形范围)，这里规定S的长宽比与无人机视场的长宽比一致，并提前获取空间范围S内的高精地图数据，然后了根据空间范围规划无人机的悬停坐标(X,Y)和悬停高度H，最后根据设置的参数规划无人机航路。装备高分辨率相机的无人机按照航路规划路线，例如从T₁时刻进入到坐标(X,Y)处、高度H处悬停，开始录制视频，至T₂时刻结束，记录该复杂交通场景的车流视频。

如图2所示，在本申请中无人机采用垂直作摄影的作业方式进行视频录制，镜头垂直于地面拍摄。因此，无人机悬停坐标为

无人机的悬停高度H应使无人机视场能够刚好覆盖复杂场景的空间范围S，从而获得最清晰的车流视频。

在本申请实施例中，在得到预设交通场景下的车流视频后，可抽取预设交通场景下的车流视频中动态实体的轨迹集合，首先构建预设交通场景下的车流视频中每个车辆的ID标识，然后确定每个车辆出现在车流视频范围内的时间范围，再计算每个车辆在时间范围内每个时刻的行驶参数，其次根据每个车辆的ID标识、时间范围以及行驶参数构建每个车辆的三元组，得到结构化后的每个车辆的轨迹，最后根据结构化后的每个车辆的轨迹得到动态实体的轨迹集合。

在本申请的场景中，通过对无人机视频的处理，如采用“Vehicle tracking bydetection in UAV aerial video”一文中的方法，可以实现对单个车辆的轨迹跟踪。如图3(A)所示为在不同时刻对路口车辆的轨迹跟踪效果，图3(B)为3(A)t₃时刻视频结构化的结果示意图，从图中可以看出，算法赋予每一个运动车辆一个唯一的id，并给出了t₃时刻每个车辆包络矩形。

进一步的，在计算每个车辆在时间范围内每个时刻的行驶参数时，首先获取根据无人机监视范围的大地坐标系所建立的矩形范围，矩形范围包括第一大地坐标和第二大地坐标，然后获取无人机视场内的平面坐标系上每个车辆的包络矩形，并计算包络矩形的四条边距平面坐标系边界的多个边界距离，其次根据第一大地坐标、第二大地坐标以及多个边界距离计算每个车辆在时间范围内每个时刻的大地坐标、车辆宽度和车辆长度，再计算每个车辆在时间范围内每个时刻的方位角和瞬时车速，最后将每个车辆在时间范围内每个时刻以及每个时刻的大地坐标、车辆宽度、车辆长度、方位角和瞬时车速确定为每个车辆在时间范围内每个时刻的行驶参数。

具体的，本申请无人机在录制视频时，镜头垂直于地面拍摄，这样可以避免透视计算与坐标转换，从而可由车辆在无人机视场中的平面坐标反推出车辆的大地坐标。在获取了复杂场景空间范围S内的高精地图，由于采用垂直拍摄且视场较小，本申请假定在空间范围S内，大地坐标与平面坐标变化呈线性相关，如图3(C)所示，对于给定的一个由大地坐标(X₀,Y₀)至(X₁,Y₁)定义的矩形范围，可以通过比例计算得到车辆在大地坐标系中的坐标，具体方法如图4所示。

图4(A)所示为无人机视场内的平面坐标系，图4(B)所示为无人机监视范围的大地坐标系。设r为算法识别某辆车的包络矩形，包络矩形的四条边距平面坐标系边界的距离分别为a₁、a₂、b₁和b₂，本申请以矩形框的中心表征车辆位置，则根据比例计算可得无人车在大地坐标系内的坐标为：

同理可得：

进一步地，可以得到矩形的宽w和高h分别为：

其中，A和B分别是无人机视场围成的平面坐标系的宽和高，函数dis(,)取两个坐标点在大地坐标系中的距离。

需要说明的是，由于视频识别算法的物体包络矩形框平行于视场边界，故只有当车辆正方向(正南正北、或正东正西)行驶时，车辆的包络矩形才与车辆的外观相重合，因此，本发明取车辆正方向行驶时的包络矩形来抽取车辆的长和宽。

通过以上操作，可以抽取出车流视频中任意一辆车c_i在t_j时刻的大地坐标，记为

视频采集的频次是24帧/秒，一般而言，无人车的环境感知数据刷新频次要高于视频的采样率，本发明采用线性插值的方式更新车辆位置，以保持与无人车环境感知的数据刷新频次相同。

对于视频中的任意一辆车c_i，本申请用三元组

来表达视频结构化后抽取的车辆轨迹。其中，c_i唯一标识一辆车；(t_m,t_n)给出了车辆出现在视频范围内的时间范围；

给出了车辆在t_j时刻的行驶参数，包括：大地坐标

车辆c_i的宽度和长度(w_i,h_i)；方位角

和瞬时车速

由

至

的向量角计算，

由

至

间的平均车速计算得到；

给出了车辆在(t_m,t_n)时间范围内的轨迹序列，且有

其中τ_κ为无人车车型κ环境感知的数据刷新频次(单位Hz)。

S102，确定车流视频中待分析动态实体，并根据动态实体的轨迹集合构建待分析动态实体的环境感知数据和第一行驶参数集合；

在本申请实施例中，首先确定车流视频中待分析动态实体，然后在动态实体的轨迹集合中提取待分析动态实体的车辆轨迹，其次在待分析动态实体的车辆轨迹中确定出目标时间范围，最后计算目标时间范围中每个时刻下待分析动态实体的环境感知数据和第一行驶参数集合。

具体的，在计算目标时间范围中每个时刻下待分析动态实体的环境感知数据和第一行驶参数集合时，首先在动态实体的轨迹集合中提取目标时间范围内每个时刻出现在车流视频中车辆行驶参数集合，然后在待分析动态实体的车辆轨迹中确定出目标时间范围内每个时刻的第一位置，其次构建以第一位置为中心的多边形范围，得到待分析动态实体的环境感知范围，再获取车辆行驶参数集合中除待分析动态实体之外的其他车辆各自的第二位置，最后将每个第二位置与环境感知范围进行空间计算，以判断每个第二位置是否在环境感知范围内，若是，生成目标时间范围中每个时刻下待分析动态实体的环境感知数据，并将待分析动态实体在目标时间范围内每个时刻的行驶参数集合确定为待分析动态实体的第一行驶参数集合。

在一种可能的实现方式中，对于待分析动态实体c_i出现在视频的时段(t_m,t_n)，可以得到每一个时刻t_j的环境感知数据

从而得到单车c_i的环境感知序列集合

有

同理可以得到待分析动态实体c_i的第一行驶参数集合

例如，经过步骤S101，可得到车流视频中动态实体的轨迹集合Ψ，对于待分析动态实体c_i出现在视频的时段(t_m,t_n)中给定的一个时刻t_J∈(t_m,t_n)，可以在Ψ中提取到所有t_J时刻出现在视频视野中的车辆的行驶参数集合，记为Ρ_J，有

待分析动态实体c_i在t_J时刻的位置为

方位角

和瞬时车速

设待测无人车车型κ的环境感知范围为以待分析动态实体c_i在t_J时刻的位置

为中心构建的多边形范围ρ_k，对Ρ_J中除c_i外的其他车辆(不妨设为c_κ)的位置

与多边形ρ_κ进行空间计算，判断

是否在ρ_κ边界内，如果在则将

放入集合

中，

中的车辆可视为无人车在t_J时刻的环境感知数据。

如图5所示，t_J时刻将车辆c_i设为目标车辆隐去，则其感知环境内包含4辆车，

分别给出了4辆车的位置，车辆外观边界，行驶速度和方向角；同理

给出了车辆c_i的行驶参数。

S103，将预设交通场景的电子地图数据与环境感知数据输入无人车平台进行仿真测试，输出目标无人车在所述环境感知数据条件下的第二行驶参数集合；

在一种可能的实现方式中，将预设交通场景的电子地图数据和目标车辆c_i的环境感知数据Ρⁱ输入给无人车平台，无人车平台进行仿真测试后，设在(t_m,t′_n)时段内无人车经过了该复杂场景(由于无人车与目标车辆的行为差异，导致无人车通过场景的时刻与目标车辆存在差异)，并按照无人车车型κ的数据刷新频次τ_κ输出了(t_m,t′_n)时段内每一个时刻t′_j的行驶参数，记为

进而可以得到目标无人车的第二行驶参数集合

S104，根据所述第一行驶参数集合与所述第二行驶参数集合的差异评估所述目标无人车的驾驶能力。

在本申请实施例中，在根据所述第一行驶参数集合与所述第二行驶参数集合的差异评估所述目标无人车的驾驶能力时，通过比较目标无人车的行驶参数Ω′ⁱ和待分析动态实体c_i的行驶参数Ωⁱ，可以找到目标无人车与实际场景中待分析动态实体上人类驾驶员在相同环境中的行为相似度。

根据相似度可确定出差异数据，进而评估无人车的能力，并为无人车能力提升提供改进方向。

在本申请实施例中，在根据第一行驶参数集合与第二行驶参数集合评估车辆的驾驶能力时，还包括：根据第二行驶参数集合、所述环境感知数据提取目标无人车与每个动态实体的交互语义数据，交互语义数据包括相对位置、相对距离、速度；将相对位置、相对距离、速度等数据与驾驶规范数据比较，评估目标无人车的驾驶能力。

需要说明的是，本申请可以保证在复杂场景测试中无人车具有与待分析动态实体相同的行驶环境，但由于无人车行驶参数Ω′ⁱ和人类驾驶员的行驶参数Ωⁱ存在差异，可能存在模拟行驶过程中的某一时刻，感知环境中其他车辆的行为与无人车行为产生异常耦合，甚至其他车辆引发与无人车的事故，这与无人车的能力无关，应在测试环节中予以考虑。

在本申请实施例中，首先抽取预设交通场景下的车流视频中动态实体的轨迹集合，然后确定车流视频中待分析动态实体，根据动态实体的轨迹集合构建待分析动态实体的环境感知数据和第一行驶参数集合，其次将该场景电子地图与环境感知数据输入无人车平台进行仿真测试，输出目标无人车在所述环境感知数据条件下的第二行驶参数集合，最后根据第一、第二行驶参数集合确定目标无人车的行为差异数据。由于本申请通过现实场景中的车流视频构建现实车辆的环境感知数据和行驶参数集合，结合无人车平台分析出虚拟无人车在该环境感知数据条件下的行驶参数集合，通过行驶参数之间的比较可快速确定出无人车的行为差异数据，并通过该差异数据为无人车能力提升提供改进方向。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

请参见图6，其示出了本申请一个示例性实施例提供的无人车场景重建装置的结构示意图。该无人车场景重建装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该装置1包括轨迹集合抽取模块10、数据构建模块20、仿真测试模块30、参数对比判定模块40。

轨迹集合抽取模块10，用于抽取预设交通场景下的车流视频中动态实体的轨迹集合；

数据构建模块20，用于确定车流视频中待分析动态实体，并根据动态实体的轨迹集合构建待分析动态实体的环境感知数据和第一行驶参数集合；

仿真测试模块30，用于将预设交通场景的电子地图数据与环境感知数据输入无人车平台进行仿真测试，输出目标无人车在所述环境感知数据条件下的第二行驶参数集合；

参数对比判定模块40，用于根据所述第一行驶参数集合与所述第二行驶参数集合的差异评估所述目标无人车的驾驶能力。

需要说明的是，上述实施例提供的无人车场景重建装置在执行无人车场景重建方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的无人车场景重建装置与无人车场景重建方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请实施例中，无人车场景重建装置首先抽取预设交通场景下的车流视频中动态实体的轨迹集合，然后确定车流视频中待分析动态实体，根据动态实体的轨迹集合构建待分析动态实体的环境感知数据和第一行驶参数集合，其次将该场景电子地图与环境感知数据输入无人车平台进行仿真测试，输出目标无人车在所述环境感知数据条件下的第二行驶参数集合，最后根据第一、第二行驶参数集合确定目标无人车的行为差异数据。由于本申请通过现实场景中的车流视频构建现实车辆的环境感知数据和行驶参数集合，结合无人车平台分析出虚拟无人车的行驶参数集合，通过行驶参数之间的比较可快速确定出无人车的行为差异数据，并通过该差异数据为无人车能力提升提供改进方向。进一步的，理论上预设交通场景下车流视频中每一辆车都可以作为待分析动态实体提取环境感知数据和第一行驶参数集合，供无人车平台进行训练和测试，可以快速扩大无人车在极端场景下的训练和测试集，这对无人车能力的提升具有重要的意义。

本申请还提供一种计算机可读介质，其上存储有程序指令，该程序指令被处理器执行时实现上述各个方法实施例提供的无人车场景重建方法。

本申请还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个方法实施例的无人车场景重建方法。

请参见图7，为本申请实施例提供了一种终端的结构示意图。如图7所示，终端1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。

其中，通信总线1002用于实现这些组件之间的连接通信。

其中，用户接口1003可以包括显示屏(Display)、摄像头(Camera)，可选用户接口1003还可以包括标准的有线接口、无线接口。

其中，网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。

其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种接口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。

其中，存储器1005可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图7所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及无人车场景重建应用程序。

在图7所示的终端1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的无人车场景重建应用程序，并具体执行以下操作：

抽取预设交通场景下的车流视频中动态实体的轨迹集合；

确定车流视频中待分析动态实体，并根据动态实体的轨迹集合构建待分析动态实体的环境感知数据和第一行驶参数集合；

将预设交通场景的电子地图数据与环境感知数据输入无人车平台进行仿真测试，输出目标无人车在所述环境感知数据条件下的第二行驶参数集合；

根据所述第一行驶参数集合与所述第二行驶参数集合的差异评估所述目标无人车的驾驶能力。

在一个实施例中，处理器1001在执行抽取预设交通场景下的车流视频中动态实体的轨迹集合之前时，还执行以下操作：

确定待录制交通场景；

规划待录制交通场景的录制时间周期和空间范围；

根据空间范围规划无人机的悬停坐标和悬停高度；

基于录制时间周期、悬停坐标和悬停高度控制无人机进行视频录制，得到预设交通场景下的车流视频。

在一个实施例中，处理器1001在执行抽取预设交通场景下的车流视频中动态实体的轨迹集合时，具体执行以下操作：

构建预设交通场景下的车流视频中每个车辆的ID标识；

确定每个车辆出现在车流视频范围内的时间范围；

计算每个车辆在时间范围内每个时刻的行驶参数；

根据每个车辆的ID标识、时间范围以及行驶参数构建每个车辆的三元组，得到结构化后的每个车辆的轨迹；

根据结构化后的每个车辆的轨迹得到动态实体的轨迹集合。

在一个实施例中，处理器1001在执行计算每个车辆在时间范围内每个时刻的行驶参数时，还执行以下操作：

获取根据无人机监视范围的大地坐标系所建立的矩形范围，矩形范围包括第一大地坐标和第二大地坐标；

获取无人机视场内的平面坐标系上每个车辆的包络矩形，并计算包络矩形的四条边距平面坐标系边界的多个边界距离；

根据第一大地坐标、第二大地坐标以及多个边界距离计算每个车辆在时间范围内每个时刻的大地坐标、车辆宽度和车辆长度；

计算每个车辆在时间范围内每个时刻的方位角和瞬时车速；

将每个车辆在时间范围内每个时刻以及每个时刻的大地坐标、车辆宽度、车辆长度、方位角和瞬时车速确定为每个车辆在时间范围内每个时刻的行驶参数。

在一个实施例中，处理器1001在执行根据动态实体的轨迹集合构建待分析动态实体的环境感知数据和第一行驶参数集合时，具体执行以下操作：

在动态实体的轨迹集合中提取待分析动态实体的车辆轨迹；

在待分析动态实体的车辆轨迹中确定出目标时间范围；

计算目标时间范围中每个时刻下待分析动态实体的环境感知数据和第一行驶参数集合。

在一个实施例中，处理器1001在执行计算目标时间范围中每个时刻下待分析动态实体的环境感知数据和第一行驶参数集合时，具体执行以下操作：

在动态实体的轨迹集合中提取目标时间范围内每个时刻出现在车流视频中车辆行驶参数集合；

在待分析动态实体的车辆轨迹中确定出目标时间范围内每个时刻的第一位置；

构建以第一位置为中心的多边形范围，得到待分析动态实体的环境感知范围；

获取车辆行驶参数集合中除待分析动态实体之外的其他车辆各自的第二位置；

将每个第二位置与环境感知范围进行空间计算，以判断每个第二位置是否在环境感知范围内，若是，生成目标时间范围中每个时刻下待分析动态实体的环境感知数据；

将待分析动态实体在目标时间范围内每个时刻的行驶参数集合确定为待分析动态实体的第一行驶参数集合。

在一个实施例中，处理器1001在执行根据所述第一行驶参数集合与所述第二行驶参数集合的差异评估所述目标无人车的驾驶能力时，具体执行以下操作：

计算待分析动态实体的第一行驶参数集合与目标无人车的第二行驶参数集合之间的相似度；

根据相似度确定目标无人车的行为差异数据。

在本申请实施例中，无人车场景重建装置首先抽取预设交通场景下的车流视频中动态实体的轨迹集合，然后确定车流视频中待分析动态实体，根据动态实体的轨迹集合构建待分析动态实体的环境感知数据和第一行驶参数集合，其次将该场景电子地图与环境感知数据输入无人车平台进行仿真测试，输出目标无人车在所述环境感知数据条件下的第二行驶参数集合，最后根据第一、第二行驶参数集合确定目标无人车的行为差异数据。由于本申请通过现实场景中的车流视频构建现实车辆的环境感知数据和行驶参数集合，结合无人车平台分析出虚拟无人车的行驶参数集合，通过行驶参数之间的比较可快速确定出无人车的行为差异数据，并通过该差异数据为无人车能力提升提供改进方向。进一步的，理论上预设交通场景下车流视频中每一辆车都可以作为待分析动态实体提取环境感知数据和第一行驶参数集合，供无人车平台进行训练和测试，可以快速扩大无人车在极端场景下的训练和测试集，这对无人车能力的提升具有重要的意义。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，无人车场景重建的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。

以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (10)

1.一种无人车场景重建方法，其特征在于，所述方法包括：

抽取预设交通场景下的车流视频中动态实体的轨迹集合；

确定所述车流视频中待分析动态实体，并根据动态实体的轨迹集合构建所述待分析动态实体的环境感知数据和第一行驶参数集合；

将所述预设交通场景的电子地图数据与所述环境感知数据输入无人车平台进行仿真测试，输出目标无人车在所述环境感知数据条件下的第二行驶参数集合；

根据所述第一行驶参数集合与所述第二行驶参数集合的差异评估所述目标无人车的驾驶能力。

2.根据权利要求1所述的方法，其特征在于，所述抽取预设交通场景下的车流视频中动态实体的轨迹集合之前，还包括：

确定待录制交通场景；

规划所述待录制交通场景的录制时间周期和空间范围；

根据所述空间范围规划无人机的悬停坐标和悬停高度；

基于所述录制时间周期、悬停坐标和悬停高度控制所述无人机进行视频录制，得到预设交通场景下的车流视频。

3.根据权利要求1所述的方法，其特征在于，所述抽取预设交通场景下的车流视频中动态实体的轨迹集合，包括：

构建所述预设交通场景下的车流视频中每个车辆的ID标识；

确定所述每个车辆出现在所述车流视频范围内的时间范围；

计算所述每个车辆在所述时间范围内每个时刻的行驶参数；

根据所述每个车辆的ID标识、时间范围以及行驶参数构建所述每个车辆的三元组，得到结构化后的每个车辆的轨迹；

根据结构化后的每个车辆的轨迹得到动态实体的轨迹集合。

4.根据权利要求3所述的方法，其特征在于，所述计算所述每个车辆在所述时间范围内每个时刻的行驶参数，包括：

获取根据无人机监视范围的大地坐标系所建立的矩形范围，所述矩形范围包括第一大地坐标和第二大地坐标；

获取无人机视场内的平面坐标系上每个车辆的包络矩形，并计算所述包络矩形的四条边距平面坐标系边界的多个边界距离；

根据所述第一大地坐标、第二大地坐标以及多个边界距离计算每个车辆在所述时间范围内每个时刻的大地坐标、车辆宽度和车辆长度；

计算每个车辆在所述时间范围内每个时刻的方位角和瞬时车速；

将所述每个车辆在所述时间范围内每个时刻以及每个时刻的大地坐标、车辆宽度、车辆长度、方位角和瞬时车速确定为所述每个车辆在所述时间范围内每个时刻的行驶参数。

5.根据权利要求1所述的方法，其特征在于，所述根据动态实体的轨迹集合构建所述待分析动态实体的环境感知数据和第一行驶参数集合，包括：

在所述动态实体的轨迹集合中提取所述待分析动态实体的车辆轨迹；

在所述待分析动态实体的车辆轨迹中确定出目标时间范围；

计算所述目标时间范围中每个时刻下所述待分析动态实体的环境感知数据和第一行驶参数集合。

6.根据权利要求5所述的方法，其特征在于，所述计算所述目标时间范围中每个时刻下所述待分析动态实体的环境感知数据和第一行驶参数集合，包括：

在所述动态实体的轨迹集合中提取所述目标时间范围内每个时刻出现在所述车流视频中车辆行驶参数集合；

在所述待分析动态实体的车辆轨迹中确定出所述目标时间范围内每个时刻的第一位置；

构建以所述第一位置为中心的多边形范围，得到待分析动态实体的环境感知范围；

获取所述车辆行驶参数集合中除所述待分析动态实体之外的其他车辆各自的第二位置；

将每个第二位置与所述环境感知范围进行空间计算，以判断所述每个第二位置是否在所述环境感知范围内，若是，生成所述目标时间范围中每个时刻下所述待分析动态实体的环境感知数据；

将所述待分析动态实体在所述目标时间范围内每个时刻的行驶参数集合确定为待分析动态实体的第一行驶参数集合。

7.根据权利要求1所述的方法，其特征在于，所述根据所述第一行驶参数集合与所述第二行驶参数集合的差异评估所述目标无人车的驾驶能力，包括：

计算所述待分析动态实体的第一行驶参数集合与所述目标无人车的第二行驶参数集合之间的相似度；

根据所述相似度评估所述目标无人车的驾驶能力。

8.一种无人车场景重建装置，其特征在于，所述装置包括：

轨迹集合抽取模块，用于抽取预设交通场景下的车流视频中动态实体的轨迹集合；

数据构建模块，用于确定所述车流视频中待分析动态实体，并根据动态实体的轨迹集合构建所述待分析动态实体的环境感知数据和第一行驶参数集合；

仿真测试模块，用于将所述预设交通场景的电子地图数据与所述环境感知数据输入无人车平台进行仿真测试，输出目标无人车在所述环境感知数据条件下的第二行驶参数集合；

参数对比判定模块，用于根据所述第一行驶参数集合与所述第二行驶参数集合的差异评估所述目标无人车的驾驶能力。

9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1-7任意一项的方法步骤。

10.一种终端，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1-7任意一项的方法步骤。

Images