CN117272690B

CN117272690B - 自动驾驶车辆危险切入场景提取方法、设备及介质

Info

Publication number: CN117272690B
Application number: CN202311548688.2A
Authority: CN
Inventors: 魏博; 胡鑫; 赵鹏超; 翟洋; 付艳红; 许国平; 艾艳可; 张晓虹; 付敬文
Original assignee: Zhongqi Zhilian Technology Co ltd; China Unicom Tianjin Industrial Internet Co., Ltd.
Current assignee: Zhongqi Zhilian Technology Co ltd; China Unicom Tianjin Industrial Internet Co., Ltd.
Priority date: 2023-11-21
Filing date: 2023-11-21
Publication date: 2024-02-23
Anticipated expiration: 2043-11-21
Also published as: CN117272690A

Abstract

本发明公开了一种自动驾驶车辆危险切入场景提取方法、设备及介质，通过获取车辆的自然驾驶数据，根据其中每一帧的车道线数据和目标物数据，确定对车辆影响最大的候选目标物列表并对部分候选目标物进行剔除，进而针对其中每个帧的候选目标物，确定是否为待判别目标物，若是，则判断其是否为切入目标物，若是，则根据切入目标物从自然驾驶数据中提取初始切入场景，并结合开始时刻下车辆的速度、切入目标物的速度以及相对距离，判断其是否为危险切入场景，实现了危险切入场景的自动提取，极大节省了场景提取成本，缩短了ADAS控制器的开发验证周期，保证了提取到的危险切入场景的准确性。

Description

自动驾驶车辆危险切入场景提取方法、设备及介质

技术领域

本发明涉及数据处理领域，尤其涉及一种自动驾驶车辆危险切入场景提取方法、设备及介质。

背景技术

高级辅助驾驶系统ADAS（Advanced Driving Assistance System）是利用车载激光雷达、视觉传感器和毫米波雷达等传感器，感知本车、周围车辆、环境和建筑物等信息，通过集成ADAS算法的控制器和相关执行机构实现提高车辆主动安全性与减轻驾驶员车辆操纵工作量的作用。目前主流的ADAS系统包括自适应巡航系统、车道偏移报警系统、车道保持系统和自动泊车系统等。考虑到ADAS系统的鲁棒性和安全性，其功能开发和应用需要经过一系列性能测试。

ADAS系统的功能测试分为基于里程的实车测试和基于模拟场景的仿真测试两种，由于基于里程的实车测试具备测试场地少和周期长等缺点，基于模拟场景的仿真测试得到了国内外的一致认可。目前模拟仿真场景的创建方式主要分为三种，分别是基于路采自然驾驶数据创建、基于交通事故数据创建和人工创建。目前基于路采自然驾驶数据创建场景的方式主要有两种：将采集的自然驾驶数据直接转化为连续仿真场景和通过人工对采集的自然驾驶数据进行场景提取。但是，连续场景不能满足特定仿真场景的ADAS测试，人工提取场景需要花费大量人力和物力，大大延长了ADAS控制器的开发验证时间。

有鉴于此，特提出本发明。

发明内容

为了解决上述技术问题，本发明提供了一种自动驾驶车辆危险切入场景提取方法、设备及介质，实现了危险切入场景的自动提取，解决了现有技术中场景提取不能满足测试需求、场景提取成本高等问题，进而提高了ADAS控制器的开发验证效率，并且，保证提取的危险切入场景的准确性。

本发明实施例提供了一种自动驾驶车辆危险切入场景提取方法，该方法包括：

从车辆的历史行驶记录中提取自然驾驶数据，其中，所述自然驾驶数据包括多个帧的本车数据、车道线数据以及目标物数据；

基于每一个帧的车道线数据和目标物数据确定对所述车辆影响最大的候选目标物列表，并基于各个帧是否满足大曲率场景或变道场景，对所述候选目标物列表中的候选目标物进行剔除；

针对所述候选目标物列表中每个帧的候选目标物，确定当前帧的候选目标物是否为待判别目标物，若是，则基于在所述当前帧之前所述待判别目标物的各历史重叠率、所述待判别目标物与车道中心线之间的各历史距离、以及各历史距离之间的变化幅度，判断所述待判别目标物是否为切入目标物；

若是，则基于所述切入目标物在所述自然驾驶数据中提取初始切入场景，并根据所述初始切入场景的开始时刻下所述车辆的速度、所述切入目标物的速度、以及所述车辆与所述切入目标物之间的相对距离，判断所述初始切入场景是否为危险切入场景。

本发明实施例提供了一种电子设备，所述电子设备包括：

处理器和存储器；

所述处理器通过调用所述存储器存储的程序或指令，用于执行任一实施例所述的自动驾驶车辆危险切入场景提取方法的步骤。

本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行任一实施例所述的自动驾驶车辆危险切入场景提取方法的步骤。

本发明实施例提供的自动驾驶车辆危险切入场景提取方法，通过从车辆的历史行驶记录中获取车辆的自然驾驶数据，根据其中每一帧的车道线数据和目标物数据，确定对车辆影响最大的候选目标物列表，并基于各个帧是否满足大曲率场景或变道场景，对候选目标物列表中的候选目标物进行剔除，进而针对候选目标物列表中每个帧的候选目标物，确定其是否为待判别目标物，若是，则根据在当前帧之前的各历史重叠率、各历史距离以及各历史距离之间的变化幅度，判断其是否为切入目标物，若是，则根据切入目标物从自然驾驶数据中提取初始切入场景，并结合开始时刻下车辆的速度、切入目标物的速度以及相对距离，确定其是否为危险切入场景，实现了危险切入场景的自动提取，与人工提取场景的方式相比，极大节省了人力和物力成本，缩短了ADAS控制器的开发验证周期，并且，该方法通过检测切入目标物，保证了提取到的危险切入场景的准确性，提高了自然驾驶数据的利用率，通过过滤大曲率场景和变道场景，提高了切入场景提取的准确度，避免了非危险和冗余场景的提取。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种自动驾驶车辆危险切入场景提取方法的流程示意图；

图2为本发明实施例提供的本车坐标系的示意图；

图3为本发明实施例提供的一种CIPV列表的确定过程示意图；

图4为本发明实施例提供的一种车辆到达目标物前中心纵坐标对应的位置的示意图；

图5为本发明实施例提供的一种重叠率的确定过程示意图；

图6为本发明实施例提供的一种大曲率场景的示意图；

图7为本发明实施例提供的一种大曲率场景的判断流程图；

图8为本发明实施例提供的一种变道场景的示意图；

图9为本发明实施例提供的一种DTLC和STLC的示意图；

图10为本发明实施例提供的变道场景的判断流程图；

图11为本发明实施例提供的一种危险切入场景的确定流程图；

图12为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行清楚、完整的描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。

本申请实施例提供了一种自动驾驶车辆危险切入场景提取方法，该方法可以适用于从多个自动驾驶车辆的历史行驶记录中提取自然驾驶数据，进而提取出危险切入场景的情况，提取的危险切入场景可以用于进行ADAS控制器的测试。该方法可以由集成于计算机等电子设备中的自动驾驶车辆危险切入场景装置执行。

图1为本发明实施例提供的一种自动驾驶车辆危险切入场景提取方法的流程示意图，如图1所示，所述自动驾驶车辆危险切入场景提取方法包括如下步骤：

S110、从车辆的历史行驶记录中提取自然驾驶数据，其中，自然驾驶数据包括多个帧的本车数据、车道线数据以及目标物数据。

其中，自然驾驶数据可以是通过车辆搭载的激光雷达、毫米波雷达、摄像头等高精传感器，在车辆行驶过程中采集的数据。具体的，可以从车辆的历史行驶记录中提取出车辆的自然驾驶数据。在本发明实施例中，可以从不同车辆的历史行驶记录中，获取不同车辆的自然驾驶数据，以分别从不同车辆的自然驾驶数据中提取危险切入场景。

对于一个车辆的自然驾驶数据来说，其可以由多帧的本车数据、车道线数据以及目标物数据构成。其中，本车数据可以理解为车辆的真值数据，本车数据可以包括车辆的车速、行驶曲率、纵向加速度、横向加速度、车宽、车长、转向灯等信息，如表1所示，展示了一种本车数据。

表1 一种本车数据

车道线数据可以理解为车辆的当前所处车道的真值数据。车道线数据可以包括车道线个数、当前车道中央偏离距离、当前车道宽度、车道线y曲线方程0阶系数、车道线y曲线方程1阶系数、车道线y曲线方程2阶系数等信息，如表2所示，展示了一种车道线数据。

表2 一种车道线数据

目标物数据可以是车辆所检测到的目标物的真值数据，其中，目标物可以理解为车辆的障碍物，如其他车辆或行人。目标物数据可以包括目标物ID、目标物的类别、目标物的x轴方向相对速度、目标物的x轴方向绝对速度、目标物的y轴方向相对速度、目标物的y轴方向绝对速度、目标物的轮廓点坐标等。如表3所示，展示了一种目标物数据。

表3 一种目标物数据

需要说明的是，本发明实施例使用的坐标系为车辆的本车坐标系，坐标原点为车辆前中心（前保险杠中心）地面投影。如图2所示，图2为本发明实施例提供的本车坐标系的示意图，x轴为车辆正前方向，y轴垂直于x轴并指向车辆左侧，z轴垂直于x-y平面并指向车辆上方。

S120、基于每一个帧的车道线数据和目标物数据确定对车辆影响最大的候选目标物列表，并基于各个帧是否满足大曲率场景或变道场景，对候选目标物列表中的候选目标物进行剔除。

具体的，针对一个车辆的自然驾驶数据，可以根据其中每个帧的车道线数据和目标物数据，确定每个帧检测到的目标物与车辆之间的重叠率，进而基于重叠率判断目标物是否为对车辆影响最大的候选目标物，得到候选目标物列表。

其中，候选目标物可以是一个帧中对车辆影响（可以是车辆行驶的安全性影响、平顺性影响等）最大的目标物，可以用CIPV（Closest In Path Vehicle，路径上最近的车辆）表示候选目标物，用CIPV列表表示候选目标物列表。

需要说明的是，确定候选目标物列表的目的在于：通过筛选出各个帧中对车辆影响最大的候选目标物，进而可以继续判断候选目标物是否为切入目标物，能够实现对切入场景的准确提取。

在一种具体的实施方式中，基于每一个帧的车道线数据和目标物数据确定对车辆影响最大的候选目标物列表，包括：

针对自然驾驶数据中的每一个帧，基于当前帧的目标物数据判断是否存在目标物，若是，则基于当前帧的车道线数据和目标物数据，确定目标物与车辆之间的重叠率；

若当前帧的目标物与上一帧的目标物不同，则在当前帧的目标物的重叠率不小于第一概率的情况下，将目标物添加至候选目标物列表，若当前帧的目标物与上一帧的目标物相同，则在当前帧的目标物的重叠率不小于第二概率的情况下，将目标物添加至候选目标物列表；其中，第一概率大于第二概率。

即，可以先遍历自然驾驶数据中每一个帧的目标物数据，当遍历到的帧的目标物数据中存在目标物，则根据当前帧的车道线数据和目标物数据计算目标物与车辆之间的重叠率。进一步的，可以判断当前帧的目标物的ID是否与上一帧的目标物的ID相同，若是，则在当前帧的目标物的重叠率不小于第二概率（如0%）的情况下，将当前帧的目标物添加至候选目标物列表，若否，则在当前帧的目标物的重叠率不小于第一概率（如20%）的情况下，将目标物添加至候选目标物列表。

换言之，候选目标物需要满足以下两个条件中的任一个：条件A：Obj_ID[n]≠Obj_ID[n-1]且重叠率Overlap_rate≥20%；条件B：Obj_ID[n]=Obj_ID[n-1]且重叠率Overlap_rate≥0%。其中，Obj_ID[n]为当前帧的目标物的ID，Obj_ID[n-1]为上一帧的目标物的ID。

在上述实施方式中，通过重叠率得到对车辆影响最大的CIPV列表，可以实现对车辆影响最大的各候选目标物的准确识别，进而便于从中检测切入目标物，保证了切入目标物的识别准确性。

其中，关于重叠率的计算，在本发明实施例中，针对自然驾驶数据中的每一个帧，可以根据目标物数据确定目标物的位置和速度，并根据本车数据确定车辆的位置和速度，进而基于目标物及车辆的位置和速度确定二者之间的重叠率。当然，若一个帧的目标物数据中目标物ID为空，即未识别到目标物，则可以无需进行重叠率的计算。

除了上述计算方式之外，为了进一步提高重叠率的计算准确性，本发明实施例还可以针对不同的场景使用不同的计算方式。如，针对两侧车道线均存在的场景，基于两侧车道线计算重叠率，针对两侧车道线均不存在或一侧车道线不存在的场景，基于虚拟车道线计算重叠率。

示例性的，图3为本发明实施例提供的一种CIPV列表的确定过程示意图。如图3所示，首先可以遍历各个帧的目标物数据和车道线数据，在当前帧的目标物数据中存在目标物的情况下，判断车道线是否存在，进而根据车道线是否存在，选择对应的计算方式计算重叠率，最后，基于重叠率、以及当前帧目标物是否与上一帧目标物相同，判断是否将目标物写入至CIPV列表。

在一种示例中，基于当前帧的车道线数据和目标物数据，确定目标物与车辆之间的重叠率，包括如下步骤：

步骤1、基于当前帧的车道线数据判断是否存在左车道线和右车道线；

步骤2、若不存在，则基于目标物数据中目标物的轮廓点坐标确定目标物的宽度、前中心纵坐标以及前中心横坐标；

步骤3、基于车辆的行驶曲率构建车辆的虚拟车道中线表达式，并根据虚拟车道中线表达式，确定车辆沿虚拟车道中线行驶至目标物的前中心纵坐标对应的位置时，车辆的前中心横坐标；

步骤4、基于目标物的前中心横坐标、车辆的前中心横坐标、目标物的宽度、以及车辆的宽度，确定目标物与车辆之间的重叠率。

具体的，在遍历到的当前帧的目标物数据中存在目标物时，可以继续遍历该当前帧的车道线数据，以判断车道线数据中车辆左侧的第一条车道线序号和右侧的第一条车道线序号是否存在。

当左车道线和右车道线均不存在，或者，仅左车道线不存在，或者，仅右车道线不存在时，可以根据目标物数据中目标物的轮廓点坐标，计算目标物的宽度。

如，目标物的轮廓点a、b、c、d分别对应的坐标为（x_a,y_a）、(x_b,y_b)、(x_c,y_c)和(x_d,y_d)，可以通过以下公式计算目标物的宽度：

；

或者，可以通过另一个公式计算目标物的宽度：

；

在本发明实施例中，考虑到自然驾驶数据的采集过程中，a、b、c、d点中可能会有个别点坐标值缺失，因此，可以同时根据上述两个公式分别计算目标物的宽度，进而取两者中的最大值作为最终的宽度。

并且，还可以基于目标物的轮廓点计算前中心纵坐标（如前保险杠中心纵坐标）以及前中心横坐标。其中，目标物的前中心纵坐标Obj_x可以是，目标物的前中心横坐标Obj_y可以是/>。

根据本车数据中的车辆的行驶曲率，可以构建车辆的虚拟车道线，进而得到虚拟车道中线（即虚拟车道线的中心线）表达式，如：

；

式中，Virtual_lane_center_line为虚拟车道中线，Virtual_lane_center_line_x、Virtual_lane_center_line_y分别为虚拟车道中线的纵坐标和横坐标，curvature为行驶曲率。

具体的，可以通过上述虚拟车道中线表达式，计算车辆沿虚拟车道中线，在与目标物处于同一纵向位置时，车辆的前中心（如前保险杠中心）横坐标。

示例性的，图4为本发明实施例提供的一种车辆到达目标物前中心纵坐标对应的位置的示意图。如图4所示，当前帧车辆（ego）的位置为A点，可以将目标物的前中心纵坐标，作为Virtual_lane_center_line_x代入至虚拟车道中线表达式中，得到车辆在与目标物在同一纵向位置（B点）时，车辆的前中心横坐标Virtual_lane_center_line_y。

进一步的，可以根据目标物的前中心横坐标和车辆的前中心横坐标，计算车辆沿虚拟车道中线行驶至目标物的前中心纵坐标对应的位置时，目标物与车辆之间的距离，如，目标物的前中心横坐标与车辆的前中心横坐标之间的差值的绝对值。

最后，可以根据目标物的宽度、车辆的宽度（可以根据本车数据得到）以及上述目标物与车辆之间的距离，计算目标物与车辆之间的重叠率Overlap_rate，如：

；

式中，Ego_width为车辆的宽度，Obj_width为目标物的宽度。

通过上述步骤2-步骤4，实现了在不存在车道线的情况下，对目标物与车辆之间的重叠率的准确计算，保证了后续基于重叠率筛选候选目标物的准确性。

在另一种示例中，基于当前帧的车道线数据和目标物数据，确定目标物与车辆之间的重叠率，还包括如下步骤：

步骤5、若存在左车道线和右车道线，则基于目标物的轮廓点坐标，确定位于车辆的车道线内的轮廓点的数量；

步骤6、基于数量确定目标物与车辆之间的重叠率。

具体的，如果当前帧的车道线数据中存在做车道线和右车道线，则可以分别计算目标物的轮廓点坐标a、b、c、d到车辆的车道线的距离，根据该距离判断目标物的各个轮廓点是否处于车辆的车道线内。

图5为本发明实施例提供的一种重叠率的确定过程示意图。示例性的，如果目标物的轮廓点均位于车辆的车道线之外，则可以确定重叠率为0%（如图5中的状态1），如果位于车道线内的轮廓点的数量为至少三个，则可以确定重叠率为100%（如图5中的状态3），其余情况（位于车道线内的轮廓点的数量为1或2）可以确定重叠率为50%（如图5中的状态2）

通过上述步骤5-步骤6，实现了在存在车道线的情况下，对目标物与车辆之间的重叠率的准确计算，保证了后续基于重叠率筛选候选目标物的准确性。

考虑到在大曲率场景时，车辆与目标物在各自车道内行驶，由于道路弯度过大和未识别到车道线，车辆和目标物在横向位置存在重叠部分，示例性的，如图6所示，图6为本发明实施例提供的一种大曲率场景的示意图，重叠部分容易导致大曲率场景被误识别为切入场景，因此，本发明实施例提供的方法，还可以对大曲率场景进行过滤。

可选的，基于各个帧是否满足大曲率场景或变道场景，对候选目标物列表中的候选目标物进行剔除，包括：从自然驾驶数据中的第一个帧开始，基于当前帧的本车数据中车辆的行驶曲率，判断当前帧是否满足大曲率场景，若是，则将当前帧确定为第一待排除帧，并将当前帧之后的设定数量帧确定为第一待排除帧，以跳过对设定数量帧的判断；将候选目标物列表中与第一待排除帧对应的候选目标物剔除。

具体的，可以将当前帧的行驶曲率与预设曲率阈值进行比对，若行驶曲率小于预设曲率阈值，则表示当前帧不满足大曲率场景，否则，确定当前帧满足大曲率场景，进而将当前帧确定为第一待排除帧，并考虑到当前帧后续的其他连续帧可能也满足大曲率场景，可以将当前帧之后的连续多个（设定数量）帧一并确定为第一待排除帧，以跳过对后续多个帧的判断，提高大曲率场景的筛选效率。最终，从候选目标物列表中将与第一待排除帧对应的候选目标物剔除。

示例性的，图7为本发明实施例提供的一种大曲率场景的判断流程图。如图7所示，可以遍历每一帧的本车数据，进而判断车辆的行驶曲率curvature是否小于0.0001（单位为1/m），若是，则确定为当前帧为非大曲率场景，若否，则确定当前帧为大曲率场景，即当前帧为非切入场景，并可以跳过当前帧之后的0.6s的本车数据，直至遍历完所有帧的本车数据。

通过上述方式，可以在提取切入场景时过滤大曲率场景，提高了切入场景的提取准确度，避免了非危险和冗余场景的提取。

考虑到在变道场景中，车辆向目标物所在车道行驶，由于变道场景是车辆相对于目标物进行变道，切入场景是目标物切入车辆的车道，车辆与目标物之间的相对位置变化相同，车辆变道时车辆与目标物在横向位置存在重叠部分，如图8所示，图8为本发明实施例提供的一种变道场景的示意图，重叠部分会导致变道场景容易被误识别为切入场景，因此，本发明实施例提供的方法还可以对变道场景进行过滤。

可选的，基于各个帧是否满足大曲率场景或变道场景，对候选目标物列表中的候选目标物进行剔除，包括：

从自然驾驶数据中的第一个帧开始，基于当前帧的本车数据以及车道线数据确定车辆与左侧车道线之间的距离、车辆与右侧车道线之间的距离、以及车辆在垂直车道线方向上的速度分量；

若车辆与左侧车道线之间的距离位于预设距离范围内、速度分量表征为左且速度分量的绝对值大于预设第一速度阈值，或者，车辆与右侧车道线之间的距离位于预设距离范围内、速度分量表征为右且速度分量的绝对值大于预设第一速度阈值，或者，速度分量的绝对值大于预设第二速度阈值，或者，车辆的转向灯开启，则确定当前帧满足变道场景，将当前帧确定为第二待排除帧，并将当前帧之后的设定数量帧确定为第二待排除帧，以跳过对设定数量帧的判断；

将候选目标物列表中与第二待排除帧对应的候选目标物剔除。

具体的，可以遍历自然驾驶数据中每一个帧的本车数据以及车道线数据，计算车辆的前轮与车辆两侧车道线之间的距离DTLC（Distance to Lane Change，变道距离），即车辆与左侧车道线之间的距离、车辆与右侧车道线之间的距离，并计算车辆在垂直车道线方向上的速度分量STLC（Speed to Lane Change，变道速度）。

如图9所示，图9为本发明实施例提供的一种DTLC和STLC的示意图。示例性的，DTLC的计算公式为：

；

式中，，为车道线表达式，A、B、C、D分别为车道线3次方程函数3阶系数、2阶系数、1阶系数以及0阶系数，Ego_width为车辆的宽度，为当前帧车道线切线与车辆前进方向之间的夹角，DTLC为正表示车辆与左侧车道线之间的距离，DTLC为负表示车辆与右侧车道线之间的距离。

STCL的计算公式为：

；

式中，Ego_speed为车辆的速度，STLC为正表示速度分量表征为左，即车辆相对左车道线的速度，STLC为负表示速度分量表征为右，即车辆相对右车道线的速度。

进一步的，在DTLC、STLC以及转向灯满足以下条件之一，则可以确定当前帧满足变道场景：A、车辆与左侧车道线之间的距离位于预设距离范围内、速度分量表征为左且速度分量的绝对值大于预设第一速度阈值；B、车辆与右侧车道线之间的距离位于预设距离范围内、速度分量表征为右且速度分量的绝对值大于预设第一速度阈值；C、速度分量的绝对值大于预设第二速度阈值；D、车辆的转向灯开启。

具体的，若当前帧满足变道场景，则将当前帧确定为第二待排除帧，并考虑到当前帧后续的多个帧可能也属于变道场景，将当前帧之后的多个连续（设定数量）帧一并确定为第二待排除帧，以跳过对设定数量帧的判断，提高变道场景的过滤效率。

示例性的，图10为本发明实施例提供的变道场景的判断流程图。如图10所示，可以遍历每一帧的本车数据和车道线数据，进而判断对DTLC、STLC和车辆的转向灯进行判断，如果满足-0.1<DTLC<0(m)且STLC<-0.3(m/s)，或者，满足0<DTLC<0.1(m)且STLC>0.3(m/s)，或者，满足|STCL|>0.5(m/s)，或者，车辆的转向灯开启，则确定为当前帧为变道场景，即当前帧为非切入场景，并可以跳过当前帧之后的0.6s的本车数据，直至遍历完所有帧的本车数据。

通过上述方式，可以在提取切入场景时过滤变道场景，提高了切入场景的提取准确度，避免了非危险和冗余场景的提取。

S130、针对候选目标物列表中每个帧的候选目标物，确定当前帧的候选目标物是否为待判别目标物，若是，则基于在当前帧之前待判别目标物的各历史重叠率、待判别目标物与车道中心线之间的各历史距离、以及各历史距离之间的变化幅度，判断待判别目标物是否为切入目标物。

具体的，可以遍历候选目标物列表，结合上一帧的候选目标物对当前帧的候选目标物是否为待判别目标物进行判断。如，在上一帧的候选目标物不存在且当前帧的候选目标物存在时，即CIPV_ID(n-1)=NAN且CIPV_ID(n)≠NAN，或者，在上一帧的候选目标物与当前帧的候选目标物不同时，即CIPV_ID(n)≠CIPV_ID(n-1)，可以确定车辆的车道线内突然出现了新的候选目标物，将当前帧的候选目标物确定为待判别目标物。其中，待判别目标物可以是疑似切入目标物。

进一步的，针对待判别目标物，可以倒序遍历在当前帧之前该待判别目标物的状态变化，多次计算其在当前帧之前的不同历史时间下的历史重叠率。例如，对于不存在车道线的情况，可以使用公式计算历史重叠率，对于存在车道线的情况，可以根据位于车道线内的轮廓点的数量计算历史重叠率。

并且，计算在当前帧之前的不同历史时间下该待判别目标物与车道中心线之间的历史距离，如，每隔0.6s计算一次，一共计算四次。

进一步的，如果随时间的推进待判别目标物的各历史重叠率依次增大、与车道中心线之间的各历史距离依次减小，以及，各历史距离中的最大值大于设定最远距离（如0.8m）、各历史距离之间的变化幅度超过设定幅度阈值（如0.35m），则将该待判别目标物确定为切入目标物。其中，切入目标物可以理解为从其他车道突然切入车辆所在车道的目标物。

S140、若是，则基于切入目标物在自然驾驶数据中提取初始切入场景，并根据初始切入场景的开始时刻下车辆的速度、切入目标物的速度、以及车辆与切入目标物之间的相对距离，判断初始切入场景是否为危险切入场景。

在本发明实施例中，对于切入目标物，可以根据切入目标物在自然驾驶数据中的重叠率，从自然驾驶数据中提取初始切入场景。其中，提取初始切入场景可以理解为提取与初始切入场景对应的本车数据、车道线数据以及目标物数据。

在一种具体的实施方式中，基于切入目标物在自然驾驶数据中提取初始切入场景，包括：

在自然驾驶数据中查询切入目标物的重叠率满足预设起始重叠率的第一帧、以及满足预设结束重叠率的第二帧；基于第一帧确定初始切入场景的开始时刻，基于第二帧确定初始切入场景的结束时刻，根据开始时刻和结束时刻于自然驾驶数据中提取初始切入场景。

其中，预设起始重叠率可以是0%，以提取目标物切入车辆所在车道的完整切入场景。在不存在左车道线或右车道线的情况下，预设结束重叠率可以是90%，在存在两侧车道线的情况下，由于目标物的重叠率的取值为0%、50%或100%，因此，预设结束重叠率可以是100%。

具体的，可以在自然驾驶数据中查询切入目标物的重叠率满足预设起始重叠率的第一帧，和切入目标物的重叠率满足预设结束重叠率的第二帧。进一步的，将第一帧或者第一帧之前的设定时刻（如前1s时刻）作为初始切入场景的开始时刻，将第二帧或者第二帧之后的设定时刻（如后1s时刻）作为初始切入场景的结束时刻，以保证切入场景可以被完整提取。

进一步的，从自然驾驶数据中，提取位于开始时刻和结束时刻之间的所有帧的本车数据、车道线数据以及目标物数据，以实现对该切入目标物对应的初始切入场景的提取。

在上述实施方式中，通过重叠率确定初始切入场景的开始时刻和结束时刻，可以提取出切入目标物从开始切入至切入结束的完整场景，进一步保证了场景的提取准确度。

在完成对初始切入场景的提取之后，可以判断该初始切入场景是否为危险切入场景。例如，可以根据初始切入场景中，目标物与车辆之间的距离，判断是否为危险切入场景。

在一种具体的实施方式中，根据初始切入场景的开始时刻下车辆的速度、切入目标物的速度、以及车辆与切入目标物之间的相对距离，判断初始切入场景是否为危险切入场景，包括：

基于初始切入场景的开始时刻下车辆的速度、以及车辆与切入目标物之间的相对距离，确定车辆与切入目标物之间的车头时距，在车头时距小于预设第一时间阈值且车辆的速度大于预设速度阈值的情况下，确定初始切入场景为危险切入场景；或者，

基于初始切入场景的开始时刻下车辆的速度、切入目标物的速度、以及车辆与切入目标物之间的相对距离，确定车辆与切入目标物之间的碰撞时间，在碰撞时间小于预设第二时间阈值且车辆的速度大于预设速度阈值的情况下，确定初始切入场景为危险切入场景。

具体的，可以根据开始时刻下车辆的速度、车辆与切入目标物之间的相对距离，计算车辆与切入目标物之间的车头时距THW（Time Headway）：

；

式中，Distance_rel为车辆与切入目标物之间的相对距离，Ego_speed为车辆的速度。

在本发明实施例中，可以使用THW作为衡量初始切入场景的危险程度的指标。THW主要在车距近的情况下报警，可以帮助驾驶员养成开车保持车距的规范驾驶习惯，可以将其定义为 “危险不紧急 ”型功能。

如图11所示，图11为本发明实施例提供的一种危险切入场景的确定流程图，例如，在车辆的速度大于预设速度阈值（如20km/h），且，THW小于预设第一时间阈值（如1s）时，可以将初始切入场景确定为危险切入场景。

或者，还可以根据开始时刻下车辆的速度、切入目标物的速度、以及车辆与切入目标物之间的相对距离，计算车辆与切入目标物之间的碰撞时间TTC（Time To Collision）：

；

式中，Obj_speed为切入目标物的速度。

在本发明实施例中，可以使用TTC作为衡量初始切入场景的危险程度的指标。TTC主要针对前后两车距离较近且存在较大速度差的紧急情况，比如前车急刹，属于 “危险且紧急” 型功能。

例如，如图11所示，可以在车辆的速度大于预设速度阈值（如20km/h），且，TTC小于预设第二时间阈值（如2s）时，将初始切入场景确定为危险切入场景。

在本发明实施例中，从自然驾驶数据中提取的危险切入场景，可以用于进行ADAS控制器的测试，如，验证ADAS中防碰撞控制器是否可以正常启动防碰撞功能。相比于其他场景，危险切入场景更具备测试价值，可以有效加快ADAS控制器的开发验证效率。

图12为本发明实施例提供的一种电子设备的结构示意图。如图12所示，电子设备400包括一个或多个处理器401和存储器402。

处理器401可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备400中的其他组件以执行期望的功能。

存储器402可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器401可以运行所述程序指令，以实现上文所说明的本发明任意实施例的自动驾驶车辆危险切入场景提取方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如初始外参、阈值等各种内容。

在一个示例中，电子设备400还可以包括：输入装置403和输出装置404，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。该输入装置403可以包括例如键盘、鼠标等等。该输出装置404可以向外部输出各种信息，包括预警提示信息、制动力度等。该输出装置404可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图12中仅示出了该电子设备400中与本发明有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备400还可以包括任何其他适当的组件。

除了上述方法和设备以外，本发明的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本发明任意实施例所提供的自动驾驶车辆危险切入场景提取方法的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本发明的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本发明任意实施例所提供的自动驾驶车辆危险切入场景提取方法的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

Claims

1.一种自动驾驶车辆危险切入场景提取方法，其特征在于，包括：

针对所述候选目标物列表中每个帧的候选目标物，确定当前帧的候选目标物是否为待判别目标物，若是，则基于在所述当前帧之前所述待判别目标物的各历史重叠率、所述待判别目标物与车道中心线之间的各历史距离、以及各历史距离之间的变化幅度，判断所述待判别目标物是否为切入目标物；其中，在上一帧的候选目标物不存在且当前帧的候选目标物存在时，或者，在上一帧的候选目标物与当前帧的候选目标物不同时，将当前帧的候选目标物确定为待判别目标物；针对待判别目标物，倒序遍历在当前帧之前待判别目标物的状态变化，计算待判别目标物在当前帧之前的不同历史时间下的历史重叠率，对于不存在车道线的情况，使用公式计算历史重叠率，对于存在车道线的情况，根据位于车道线内的轮廓点的数量计算历史重叠率，Ego_width为车辆的宽度，Obj_width为目标物的宽度，目标物与车辆之间的距离为/>；

2.根据权利要求1所述的方法，其特征在于，所述基于每一个帧的车道线数据和目标物数据确定对所述车辆影响最大的候选目标物列表，包括：

针对所述自然驾驶数据中的每一个帧，基于当前帧的目标物数据判断是否存在目标物，若是，则基于所述当前帧的车道线数据和目标物数据，确定所述目标物与所述车辆之间的重叠率；

若所述当前帧的目标物与上一帧的目标物不同，则在所述当前帧的目标物的重叠率不小于第一概率的情况下，将所述目标物添加至候选目标物列表，若所述当前帧的目标物与上一帧的目标物相同，则在所述当前帧的目标物的重叠率不小于第二概率的情况下，将所述目标物添加至所述候选目标物列表；

其中，所述第一概率大于所述第二概率。

3.根据权利要求2所述的方法，其特征在于，所述基于所述当前帧的车道线数据和目标物数据，确定所述目标物与所述车辆之间的重叠率，包括：

基于所述当前帧的车道线数据判断是否存在左车道线和右车道线；

若否，则基于所述目标物数据中目标物的轮廓点坐标确定所述目标物的宽度、前中心纵坐标以及前中心横坐标；

基于所述车辆的行驶曲率构建所述车辆的虚拟车道中线表达式，并根据所述虚拟车道中线表达式，确定所述车辆沿虚拟车道中线行驶至所述目标物的前中心纵坐标对应的位置时，所述车辆的前中心横坐标；

基于所述目标物的前中心横坐标、所述车辆的前中心横坐标、所述目标物的宽度、以及所述车辆的宽度，确定所述目标物与所述车辆之间的重叠率。

4.根据权利要求3所述的方法，其特征在于，所述基于当前帧的车道线数据和目标物数据，确定目标物与车辆之间的重叠率，还包括：

若存在左车道线和右车道线，则基于所述目标物的轮廓点坐标，确定位于所述车辆的车道线内的轮廓点的数量；

基于所述数量确定所述目标物与所述车辆之间的重叠率。

5.根据权利要求1所述的方法，其特征在于，所述基于各个帧是否满足大曲率场景或变道场景，对所述候选目标物列表中的候选目标物进行剔除，包括：

从所述自然驾驶数据中的第一个帧开始，基于当前帧的本车数据中所述车辆的行驶曲率，判断所述当前帧是否满足大曲率场景，若是，则将所述当前帧确定为第一待排除帧，并将所述当前帧之后的设定数量帧确定为第一待排除帧，以跳过对所述设定数量帧的判断；

将所述候选目标物列表中与所述第一待排除帧对应的候选目标物剔除。

6.根据权利要求1所述的方法，其特征在于，所述基于各个帧是否满足大曲率场景或变道场景，对所述候选目标物列表中的候选目标物进行剔除，包括：

从所述自然驾驶数据中的第一个帧开始，基于当前帧的本车数据以及车道线数据确定所述车辆与左侧车道线之间的距离、所述车辆与右侧车道线之间的距离、以及所述车辆在垂直车道线方向上的速度分量；

若所述车辆与左侧车道线之间的距离位于预设距离范围内、所述速度分量表征为左且所述速度分量的绝对值大于预设第一速度阈值，或者，所述车辆与右侧车道线之间的距离位于预设距离范围内、所述速度分量表征为右且所述速度分量的绝对值大于预设第一速度阈值，或者，所述速度分量的绝对值大于预设第二速度阈值，或者，所述车辆的转向灯开启，则确定所述当前帧满足变道场景，将所述当前帧确定为第二待排除帧，并将所述当前帧之后的设定数量帧确定为第二待排除帧，以跳过对所述设定数量帧的判断；

将所述候选目标物列表中与所述第二待排除帧对应的候选目标物剔除。

7.根据权利要求1所述的方法，其特征在于，所述基于所述切入目标物在所述自然驾驶数据中提取初始切入场景，包括：

在所述自然驾驶数据中查询所述切入目标物的重叠率满足预设起始重叠率的第一帧、以及满足预设结束重叠率的第二帧；

基于所述第一帧确定所述初始切入场景的开始时刻，基于所述第二帧确定所述初始切入场景的结束时刻，根据所述开始时刻和所述结束时刻于所述自然驾驶数据中提取初始切入场景。

8.根据权利要求1所述的方法，其特征在于，所述根据所述初始切入场景的开始时刻下所述车辆的速度、所述切入目标物的速度、以及所述车辆与所述切入目标物之间的相对距离，判断所述初始切入场景是否为危险切入场景，包括：

基于所述初始切入场景的开始时刻下所述车辆的速度、以及所述车辆与所述切入目标物之间的相对距离，确定所述车辆与所述切入目标物之间的车头时距，在所述车头时距小于预设第一时间阈值且所述车辆的速度大于预设速度阈值的情况下，确定所述初始切入场景为危险切入场景；或者，

基于所述初始切入场景的开始时刻下所述车辆的速度、所述切入目标物的速度、以及所述车辆与所述切入目标物之间的相对距离，确定所述车辆与所述切入目标物之间的碰撞时间，在所述碰撞时间小于预设第二时间阈值且所述车辆的速度大于预设速度阈值的情况下，确定所述初始切入场景为危险切入场景。

9.一种电子设备，其特征在于，所述电子设备包括：

处理器和存储器；

所述处理器通过调用所述存储器存储的程序或指令，用于执行如权利要求1至8任一项所述的自动驾驶车辆危险切入场景提取方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如权利要求1至8任一项所述的自动驾驶车辆危险切入场景提取方法的步骤。