CN113511204A - 一种车辆换道行为识别方法及相关设备 - Google Patents

一种车辆换道行为识别方法及相关设备 Download PDF

Info

Publication number
CN113511204A
CN113511204A CN202010231201.8A CN202010231201A CN113511204A CN 113511204 A CN113511204 A CN 113511204A CN 202010231201 A CN202010231201 A CN 202010231201A CN 113511204 A CN113511204 A CN 113511204A
Authority
CN
China
Prior art keywords
track point
track
lane
points
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010231201.8A
Other languages
English (en)
Other versions
CN113511204B (zh
Inventor
张亦涵
李向旭
李飞
陈鹏真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010231201.8A priority Critical patent/CN113511204B/zh
Publication of CN113511204A publication Critical patent/CN113511204A/zh
Application granted granted Critical
Publication of CN113511204B publication Critical patent/CN113511204B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18163Lane change; Overtaking manoeuvres

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请实施例公开了一种车辆换道行为识别方法及相关设备,具体可以应用于人工智能领域中的智能车辆、自动驾驶等领域,其中,一种车辆换道行为识别方法可包括:获取目标车辆的轨迹点序列;从所述多个轨迹点中确定所述目标车辆的N个第一轨迹点集合;确定所述第一轨迹点集合对应的第三轨迹点和第四轨迹点,以及判断对应的所述第三轨迹点和所述第四轨迹点是否满足预设条件;确定所述目标车辆的M个第二轨迹点集合。如此,基于各个轨迹点所在车道的分布,可以准确识别目标车辆的换道行为,建立更加完善的典型换道行为数据库,以进行对车辆换道行为的感知预测训练,从而提升自动驾驶车辆在自动驾驶过程中对周围车辆的换道行为的感知预测能力。

Description

一种车辆换道行为识别方法及相关设备
技术领域
本申请涉及自动驾驶技术领域,尤其涉及一种车辆换道行为识别方法及相关设备。
背景技术
自动驾驶技术作为当今社会的研究热点,越来越多的科技公司和科研机构投入了大量资源来进行自动驾驶车辆的研发。目前自动驾驶车辆大多集成多传感系统,可探测包括车辆的位置、速度、朝向等信息。其中,顺行道路环境下的车辆换道是一种常见的驾驶行为,该行为的准确识别与大量提取能够有效提高自动驾驶车辆对换道行为的感知预测能力。然而,仅凭现有的传感系统无法识别提取顺行道路上的车辆换道行为。现有的车辆换道行为的识别提取方案主要有两种模式,分别是在线模式和离线模式。其中,在线模式可以是在车辆上进行大规模部署,以事件触发的方式进行实时采集。而离线模式是对采集车采集完成的全部数据进行离线处理。两种模式下提取的车辆换道的数据片段,都可建立典型车辆换道行为的数据集,再通过基于数据驱动的学习方法(比如深度学习和强化学习)获取识别提取的能力,得到车辆换道的语义信息。
现有的离线模式大多基于长短期记忆网络(Long Short-Term Memory,LSTM),例如先比较轨迹点序列中当前点的车道分段和前一个点的车道分段,当两点车道分段的车道标识号(Identity,ID)不同时,则将其对应的轨迹片段标记为一个换道片段并提取到数据集。再根据LSTM记录的历史信息将上述轨迹进行前后拓展,检验结果的正确性。然而,如上所述,现有的识别方法仅以时间轴一个维度处理轨迹点序列,比较前后两个轨迹点所处的车道,从而容易导致检测结果多义,对车辆换道行为识别的正确率较低。
因此,如何提高对车辆换道行为识别的正确率,是亟待解决的问题。
发明内容
本申请实施例提供一种车辆换道行为识别方法及相关设备,以提高对车辆换道行为识别的正确率,从而提升自动驾驶车辆在自动驾驶过程中对周围车辆的换道行为的感知预测能力。
第一方面,本申请实施例提供了一种车辆换道行为识别方法,可包括:获取目标车辆的轨迹点序列;其中,所述轨迹点序列包括所述目标车辆在目标路段行驶过程中途径的多个轨迹点,所述目标路段包括多个车道,所述多个轨迹点分布在所述多个车道上;从所述多个轨迹点中确定所述目标车辆的N个第一轨迹点集合,其中,每个第一轨迹点集合包括所述多个轨迹点中两个相邻、且分布在不同车道上的第一轨迹点和第二轨迹点;N为大于或者等于1的整数;确定所述第一轨迹点集合对应的第三轨迹点和第四轨迹点,以及判断对应的第三轨迹点和第四轨迹点是否满足预设条件;所述第三轨迹点为所述轨迹点序列中与所述第一轨迹点在同一个车道上的轨迹点,所述第四轨迹点为所述轨迹点序列中与所述第二轨迹点在同一个车道上的轨迹点;确定所述目标车辆的M个第二轨迹点集合;其中,每个第二轨迹点集合包括满足所述预设条件的所述第三轨迹点和所述第四轨迹点以及满足所述预设条件的所述第三轨迹点和所述第四轨迹点之间的多个轨迹点;M为小于或者等于N的正整数。
通过第一方面提供的方法,可以根据获取到的目标车辆的轨迹点序列中的每一个轨迹点所在的车道的变化,初步识别得到目标车辆换道行为的可能存在域,例如识别得到两个相邻、且分布在不同车道上的轨迹点(比如为第一轨迹点和第二轨迹点),则可以将该两个相邻轨迹点构成的集合确定为目标车辆的第一轨迹点集合。由此,若目标车辆存在不止一次换道行为,则可以根据该轨迹点序列确定目标车辆的N个第一轨迹点集合,N可以为大于或者等于1的整数。然后,可以根据该轨迹点序列,基于该第一轨迹点和该第二轨迹点前后的多个轨迹点,从而确定该第一轨迹点集合是否属于一次真实的换道行为,若是,则还可以进一步确定该第一轨迹点集合对应的第二轨迹点集合。例如可以对该轨迹点序列中在该第一轨迹点之前的多个轨迹点以及在该第二轨迹点之后的多个轨迹点进行检测,分别确定该第一轨迹点集合对应的第三轨迹点和第四轨迹点,该第三轨迹点为该轨迹点序列中与该第一轨迹点在同一车道上的轨迹点,该第四轨迹点为该轨迹点序列中与该第二轨迹点在同一车道上的轨迹点。以及判断该第三轨迹点和该第四轨迹点是否满足预设条件(例如第三轨迹点和第一轨迹点之间的轨迹点均与第一轨迹点在同一车道上,第四轨迹点和第二轨迹点之间的轨迹点均与第二轨迹点在同一车道上,并且第三轨迹点与所在车道的车道中心线的距离大于第一预设值,第四轨迹点与所在车道的车道中心线的距离小于第二预设值等等)。由此基于目标车辆的N个第一轨迹点集合可以得到目标车辆的M个第二轨迹点集合,该M个第二轨迹点集合中的每一个第二轨迹点集合可以包括满足预设条件的第三轨迹点和第四轨迹点,以及满足预设条件的第三轨迹点和第四轨迹点之间的多个轨迹点;M为小于或者等于N的正整数。该第二轨迹点集合构成的轨迹可以作为该目标车辆真实换道行为的行驶轨迹。由此可以排除因为轨迹点抖动或者驾驶员突然终止换道意图回到原车道等等情况导致的车道标识号改变而引起的换道行为误判。由此,对比现有技术中仅仅根据轨迹点序列中的前后两个轨迹点对应车道的改变,直接识别并提取换道行为容易,导致大量误判,识别准确率低而言。本申请实施例提供的一种车辆换道行为识别方法可以基于车道的改变初步识别出换道行为的可能存在域,并对该存在域前后的多个轨迹点进行检测,从而确定一次正确的换道行为,实现更加高效、准确地识别出车辆的换道行为。此外,识别得到的换道行为(也即上述M个第二轨迹点集合)可以传输至数据平台进行存储,从而为基于数据驱动的仿真方法和学习方法提供海量、优质、真实的换道行为数据。例如可以为自动驾驶车辆对其周围车辆的换道行为的预测和感知训练提供完善的典型换道行为数据集,以提升自动驾驶车辆在自动驾驶过程中对周围车辆的换道行为的感知预测能力,进而使得自动驾驶车辆可以更好的作出相应的加速、减速或者换道等自动操作,保证自动驾驶车辆的驾驶安全。
在一种可能的实现方式中,所述第一轨迹点为换道前的轨迹点,所述第二轨迹点为换道后的轨迹点;所述第三轨迹点与所述第一轨迹点之间包括P个轨迹点,所述第四轨迹点与所述第二轨迹点之间包括K个轨迹点;所述预设条件包括:所述第三轨迹点与所在车道的车道中心线的距离大于第一预设值,所述第四轨迹点与所在车道的车道中心线的距离小于第二预设值,并且,所述P个轨迹点与所述第一轨迹点在同一个车道上,所述K个轨迹点与所述第二轨迹点在同一个车道上;P、K为大于或者等于0的整数。
在本申请实施例中,第一轨迹点为换道前的轨迹点,第二轨迹点为换道后的轨迹点,可以对该轨迹点序列中在该第一轨迹点之前的多个轨迹点以及在该第二轨迹点之后的多个轨迹点进行检测,根据该多个轨迹点在该多个车道的分布以及该多个轨迹点与所在车道的车道中心线的距离检测该第一轨迹点集合是否属于一次正确的换道行为。例如,如果第三轨迹点与所在车道的车道中心线的距离大于第一预设值(比如大于1m或者大于四分之一车道宽度等等),第四轨迹点与所在车道的车道中心线的距离小于第二预设值(比如小于0.8m或者小于四分之一车道宽度等等)。并且第三轨迹点与第一轨迹点之间的轨迹点均与第一轨迹点在同一车道上,第四轨迹点与第二轨迹点之间的轨迹点均与第二轨迹点在同一车道上,则可以确定该第一轨迹点集合属于一次正确的换道行为。从而可以进一步确定该目标车辆的第二轨迹点集合,也即可以进一步得到该目标车辆的换道行为的行驶轨迹。由此可以排除因为轨迹点抖动或者驾驶员突然中止换道意图回到原车道等等情况导致的车道标识号改变而引起的换道行为误判,大大提升了车辆换道行为识别的准确率。
在一种可能的实现方式中,所述预设条件还包括:所述第三轨迹点的相邻前一个轨迹点与所述第一轨迹点在同一车道上且与所在车道的车道中心线的距离小于所述第一预设值,所述P个轨迹点与所在车道的车道中心线的距离大于所述第一预设值,所述K个轨迹点与所在车道的车道中心线的距离大于所述第二预设值。
在本申请实施例中,若第三轨迹点的相邻前一个轨迹点与第一轨迹点在同一车道上且与所在车道的车道中心线的距离小于第一预设值。并且第三轨迹点与第一轨迹点之间的轨迹点与所在车道的车道中心线的距离大于第一预设值,第四轨迹点与第二轨迹点之间的轨迹点与所在车道的车道中心线的距离大于第二预设值,则可以进一步确定该第一轨迹点集合确实属于一次正确的换道行为,从而可以进一步确定该第一轨迹点集合对应的第二轨迹点集合。由此可以排除因为轨迹点抖动或者驾驶员突然中止换道意图回到原车道等等情况导致的车道标识号改变而引起的换道行为误判,大大提升了车辆换道行为识别的准确率。
在一种可能的实现方式中,所述目标路段为非路口区域的路段,所述第二轨迹点集合构成的轨迹为所述目标车辆的换道行为对应的行驶轨迹,满足所述预设条件的所述第三轨迹点为所述目标车辆的换道开始轨迹点,满足所述预设条件的所述第四轨迹点为所述目标车辆的换道结束轨迹点。
在本申请实施例中,目标车辆一般为非路口区域的车辆,由此可以减少路口处的车辆左转、右转或者掉头等情况下导致轨迹点的车道发生改变而引起的换道行为误判。满足上述预设条件的第三轨迹点可以为目标车辆的换道开始轨迹点,满足上述预设条件的所述第四轨迹点可以为目标车辆的换道结束轨迹点,由此第三轨迹点和第四轨迹点确定的第二轨迹点集合(也即包含从换道开始到换道结束的多个轨迹点)所构成的轨迹可以作为目标车辆的换道行为对应的行驶轨迹,从而提升对车辆换道行为识别的正确率,使得识别得到的车辆换道行为更加真实、更具典型性。
在一种可能的实现方式中,所述轨迹点序列为根据时间顺序对按照预设频率采集得到的所述目标车辆的所述多个轨迹点进行排序得到的,所述多个轨迹点各自对应有采集时刻;所述从所述多个轨迹点中确定所述目标车辆的N个第一轨迹点集合,包括:通过滑窗算法,按照预设的滑窗窗口长度和采集时刻依次检测所述多个轨迹点;其中,所述滑窗窗口长度为滑窗算法中每个滑窗窗口内包含的轨迹点的数量;根据所述每个滑窗窗口内包含的多个轨迹点分别在所述多个车道上的分布,确定所述目标车辆的N个第一轨迹点集合。
在本申请实施例中,可以通过工作人员驾驶的采集车(比如轿车、面包车等,内置用于采集周围车辆的行驶轨迹的多个传感器)按照一定的采集频率采集周围一定范围内的一个或多个车辆在行驶过程中的多个轨迹点。例如按照每秒采集20个轨迹点的采集频率采集,每个轨迹点均按照采集时刻依次排序,从而可以得到目标车辆的轨迹点序列。然后可以通过滑窗算法,按照预设的滑窗窗口长度(例如长度为10,也即每个窗口内包含10个轨迹点)依次检测和比对每一个轨迹点所在的车道。若检测得到两个相邻轨迹点分别处于不同的车道,则可将该两个相邻轨迹点构成的集合确定为目标车辆的第一轨迹点集合(也即初步确定得到目标车辆换道行为的可能存在域)。如此,可以从该多个轨迹点中确定出目标车辆的N个第一轨迹点集合。通过滑窗算法可以快速、准确的确定出目标车辆换道行为的可能存在域,进而可以为后续换道行为的进一步检测提供初步信息,提升车辆换道行为识别的正确率。
在一种可能的实现方式中,所述预设条件还包括:在所述第三轨迹点之前预设范围内的每个轨迹点与所述第一轨迹点在同一个车道上,在所述第四轨迹点之后预设范围内的每个轨迹点与所述第二轨迹点在同一个车道上。
在本申请实施例中,进一步地,还可以检测第三轨迹点之前一定范围内的多个轨迹点以及第四轨迹点之后一定范围内的多个轨迹点。若该第三轨迹点之前一定范围内的多个轨迹点均稳定于与第一轨迹点相同的车道上,并且该第四轨迹点之后一定范围内的多个轨迹点均稳定于与第二轨迹点相同的车道上,则可进一步确定该第二轨迹点集合对应于一次正确的换道行为,从而使得提取得到的换道行为更加真实,具备典型性。从而为基于数据驱动的仿真方法和学习方法提供海量、优质、真实的换道行为数据。提升自动驾驶车辆在自动驾驶过程中对周围车辆的换道行为的感知预测能力,进而使得自动驾驶车辆可以更好的作出相应的加速、减速或者换道等自动操作,保证自动驾驶车辆的驾驶安全。
在一种可能的实现方式中,所述多个车道为依次相邻的多个车道,所述方法还包括:根据所述M个第二轨迹点集合,确定所述M个第二轨迹点集合各自对应的换道类别,其中,所述换道类别包括向左相邻车道换道、向右相邻车道换道、向左跨车道换道和向右跨车道换道中的一种或多种。
在本申请实施例中,进一步地,还可以根据识别得到的第二换道轨迹,确定该第二换道轨迹对应的换道类别,也即确定该换道行为对应的换道类别,例如可以包括向左相邻车道换道、向右相邻车道换道、向左跨车道换道和向右跨车道换道中的一种或多种类别。如此,根据上述类别可以将得到的多个换道行为进行分类汇总,并传输至换道行为数据库的对应类别中。以便更加全面和有针对性的基于该各个类别的换道行为数据进行相应的模型训练,提升自动驾驶车辆在自动驾驶过程中对周围车辆的换道行为的感知预测能力,进而使得自动驾驶车辆可以更好的作出相应的加速、减速或者换道等自动操作,保证自动驾驶车辆的驾驶安全。
在一种可能的实现方式中,所述方法还包括:将所述M个第二轨迹点集合传输至换道行为数据库,所述换道行为数据库用于进行换道行为预测的模型训练。
在本申请实施例中,在本申请实施例中,识别得到的换道行为(例如上述M个第二轨迹点集合)可以传输至数据平台进行存储,从而为基于数据驱动的仿真方法和学习方法提供海量、优质、真实的换道行为数据。例如可以为自动驾驶车辆对其周围车辆的换道行为的预测和感知训练提供完善的典型换道行为数据集,以提升自动驾驶车辆在自动驾驶过程中对周围车辆的换道行为的感知预测能力,进而使得自动驾驶车辆可以更好的作出相应的加速、减速或者换道等自动操作,保证自动驾驶车辆的驾驶安全。
第二方面,本申请实施例提供了一种车辆换道行为识别装置,可包括:获取单元,用于获取目标车辆的轨迹点序列;其中,所述轨迹点序列包括所述目标车辆在目标路段行驶过程中途径的多个轨迹点,所述目标路段包括多个车道,所述多个轨迹点分布在所述多个车道上;第一确定单元,用于从所述多个轨迹点中确定所述目标车辆的N个第一轨迹点集合,其中,每个第一轨迹点集合包括所述多个轨迹点中两个相邻、且分布在不同车道上的第一轨迹点和第二轨迹点;N为大于或者等于1的整数;第二确定单元,用于确定所述第一轨迹点集合对应的第三轨迹点和第四轨迹点,以及判断对应的第三轨迹点和第四轨迹点是否满足预设条件;所述第三轨迹点为所述轨迹点序列中与所述第一轨迹点在同一个车道上的轨迹点,所述第四轨迹点为所述轨迹点序列中与所述第二轨迹点在同一个车道上的轨迹点;第三确定单元,用于确定所述目标车辆的M个第二轨迹点集合;其中,每个第二轨迹点集合包括满足所述预设条件的所述第三轨迹点和所述第四轨迹点以及满足所述预设条件的所述第三轨迹点和所述第四轨迹点之间的多个轨迹点;M为小于或者等于N的正整数。
在一种可能的实现方式中,所述第一轨迹点为换道前的轨迹点,所述第二轨迹点为换道后的轨迹点;所述第三轨迹点与所述第一轨迹点之间包括P个轨迹点,所述第四轨迹点与所述第二轨迹点之间包括K个轨迹点;所述预设条件包括:所述第三轨迹点与所在车道的车道中心线的距离大于第一预设值,所述第四轨迹点与所在车道的车道中心线的距离小于第二预设值,并且,所述P个轨迹点与所述第一轨迹点在同一个车道上,所述K个轨迹点与所述第二轨迹点在同一个车道上;P、K为大于或者等于0的整数。
在一种可能的实现方式中,所述预设条件还包括:所述第三轨迹点的相邻前一个轨迹点与所述第一轨迹点在同一车道上且与所在车道的车道中心线的距离小于所述第一预设值,所述P个轨迹点与所在车道的车道中心线的距离大于所述第一预设值,所述K个轨迹点与所在车道的车道中心线的距离大于所述第二预设值。
在一种可能的实现方式中,所述目标路段为非路口区域的路段,所述第二轨迹点集合构成的轨迹为所述目标车辆的换道行为对应的行驶轨迹,满足所述预设条件的所述第三轨迹点为所述目标车辆的换道开始轨迹点,满足所述预设条件的所述第四轨迹点为所述目标车辆的换道结束轨迹点。
在一种可能的实现方式中,所述轨迹点序列为根据时间顺序对按照预设频率采集得到的所述目标车辆的所述多个轨迹点进行排序得到的,所述多个轨迹点各自对应有采集时刻;所述第二确定单元,具体用于:通过滑窗算法,按照预设的滑窗窗口长度和采集时刻依次检测所述多个轨迹点;其中,所述滑窗窗口长度为滑窗算法中每个滑窗窗口内包含的轨迹点的数量;根据所述每个滑窗窗口内包含的多个轨迹点分别在所述多个车道上的分布,确定所述目标车辆的N个第一轨迹点集合。
在一种可能的实现方式中,所述预设条件还包括:在所述第三轨迹点之前预设范围内的每个轨迹点与所述第一轨迹点在同一个车道上,在所述第四轨迹点之后预设范围内的每个轨迹点与所述第二轨迹点在同一个车道上。
在一种可能的实现方式中,所述多个车道为依次相邻的多个车道,所述装置还包括:分类单元,用于根据所述M个第二轨迹点集合,确定所述M个第二轨迹点集合各自对应的换道类别,其中,所述换道类别包括向左相邻车道换道、向右相邻车道换道、向左跨车道换道和向右跨车道换道中的一种或多种。
在一种可能的实现方式中,所述装置还包括:传输单元,用于将所述M个第二轨迹点集合传输至换道行为数据库,所述换道行为数据库用于进行换道行为预测的模型训练。
第三方面,本申请实施例提供的一种计算设备,其特征在于,该计算设备中包括处理器,处理器被配置为支持该计算设备实现第一方面提供的车辆换道行为识别方法中相应的功能。该计算设备还可以包括存储器,存储器用于与处理器耦合,其保存该计算设备必要的程序指令和数据。该计算设备还可以包括通信接口,用于该计算设备与其他设备或通信网络通信。
第四方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述第一方面中任意一项所述的车辆换道行为识别方法流程。
第五方面,本申请实施例提供了一种计算机程序,该计算机程序包括指令,当该计算机程序被计算机执行时,使得计算机可以执行上述第一方面中任意一项所述的车辆换道行为识别方法流程。
第六方面,本本申请实施例提供了一种芯片系统,该芯片系统包括上述第一方面中任意一项所述的车辆换道行为识别装置,用于实现上述第一方面中任意一项所述的车辆换道行为识别方法流程所涉及的功能。在一种可能的设计中,所述芯片系统还包括存储器,所述存储器,用于保存车辆换道行为识别方法必要的程序指令和数据。该芯片系统,可以由芯片构成,也可以包含芯片和其他分立器件。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
图1是本申请实施例提供的一种基于滑窗算法的换道行为识别方法的示意图。
图2是本申请实施例提供的一种轨迹点抖动的示意图。
图3是本申请实施例提供的一种终止换车意图的轨迹示意图。
图4A是本申请实施例提供的一种车辆换道行为识别方法的系统架构示意图。
图4B是本申请实施例提供的另一种车辆换道行为识别方法的系统架构示意图。
图5是本申请实施例提供的一种车辆换道行为识别方法的结构框图。
图6A是本申请实施例提供的一种智能车辆的功能框图。
图6B是本申请实施例提供的一种计算设备的功能框图。
图7是本申请实施例提供的一种车辆换道行为识别方法的流程示意图。
图8是本申请实施例提供的一种车辆轨迹点的采集场景示意图。
图9是本申请实施例提供的另一种车辆轨迹点的采集场景示意图。
图10是本申请实施例提供的一种车辆换道行为识别的示意图。
图11是本申请实施例提供的另一种车辆换道行为识别的示意图。
图12是本申请实施例提供的又一种车辆换道行为识别的示意图。
图13是本申请实施例提供的一种跨车道换道行为的示意图。
图14是本申请实施例提供的一种语义信息提取的整体步骤示意图。
图15是本申请实施例提供的另一种换道行为提取的整体步骤示意图。
图16是本申请实施例提供的一种车辆换道行为识别装置的结构示意图。
图17是本申请实施例提供的一种计算设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例进行描述。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
在本说明书中使用的术语“部件”、“模块”、“系统”等用于表示计算机相关的实体、硬件、固件、硬件和软件的组合、软件、或执行中的软件。例如,部件可以是但不限于,在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。通过图示,在计算设备上运行的应用和计算设备都可以是部件。一个或多个部件可驻留在进程和/或执行线程中,部件可位于一个计算机上和/或分布在2个或更多个计算机之间。此外,这些部件可从在上面存储有各种数据结构的各种计算机可读介质执行。部件可例如根据具有一个或多个数据分组(例如来自与本地系统、分布式系统和/或网络间的另一部件交互的二个部件的数据,例如通过信号与其它系统交互的互联网)的信号通过本地和/或远程进程来通信。
首先,对本申请中的部分用语进行解释说明,以便于本领域技术人员理解。
(1)长短期记忆网络(Long Short-Term Memory,LSTM),是一种时间递归神经网络,适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。LSTM已经在科技领域有了多种应用。基于LSTM的系统可以学习翻译语言、控制机器人、图像分析、文档摘要、语音识别图像识别、手写识别、控制聊天机器人、预测疾病、点击率和股票、合成音乐等等任务。
(2)滑窗(Moving Window)算法,以长度固定的滑窗窗口从首至尾处理时间轴上的目标点序列,根据需求对滑窗窗口内的各目标点做运算。滑窗算法与跳窗算法类似,也是通过限制各个时间窗口内所能接收的最大信元数(也即窗口的长度)对业务量进行控制。
(3)语义信息(semantic information),是信息的表现形式之一,指能够消除事物不确定性的有一定意义的信息。对信息接受者来说,信息可表现为语法信息、语义信息和语用信息三个层次。语义信息可以借助自然语言去领会和解释。只有人类社会的信息才包含语义信息。凡科学信息都属于语义信息。由于个人在知识水平和认识能力方面有差异,因此,对语义信息的理解往往带有较强的主观色彩。不同的人从同一语法信息中所得到的语义信息和语用信息明显不同。
首先,为了便于理解本申请实施例,进一步分析并提出本申请所具体要解决的技术问题。在现有技术中,关于车辆换道行为的识别技术,包括多种技术方案,以下示例性的列举如下常用的一种方案。其中,
方案一:基于LSTM的方法,在离线模式下对采集得到的一个或多个车辆的完整轨迹点序列进行处理。按照人为验证筛选的方法提取车辆换道行为。该方案的输入数据是经过聚类处理后的目标车辆的数据集合(例如可以包括一个或多个感兴趣的目标车辆的轨迹点序列等等)。该方案类似于以固定长度的滑窗从轨迹点序列的首至尾依次比较窗口内包含的各个轨迹点的车道分段,并将轨迹点所处车道分段的车道标识号(Identity,ID)发生变化的时刻(也即轨迹点所在车道发生改变的时刻)记为可能的换道时刻。请参阅图1,图1是本申请实施例提供的一种基于滑窗算法的换道行为识别方法的示意图。图1所示的方法可以近似表征基于LSTM的换道行为识别方法。在图1当中表征了一次以长度为2(也即每个窗口包含2个轨迹点)的滑窗检测出的换道行为,其中横轴表示时间(time,t),纵轴表示车道(也即可以表示车道标识号)。例如,图1中的t0、t1和t2等等可以表示采集得到每个轨迹点的时刻,图1中以双车道为例,可以包括车道1(lane1)和车道2(lane1)。如图1所示,车道1和车道2均可以由多个车道分段组成(图1中以长短不一的不均衡车道分段为例,可选地,车道1和车道2还可以由相同长度的车道分段组成),例如车道1可以包括车道分段11、车道分段12、车道分段13、车道分段14和车道分段15等等;又例如,车道2可以包括车道分段21、车道分段22、车道分段23、车道分段24和车道分段25等等,此处不再赘述。目标车辆的轨迹点序列可以包括图1中的各个轨迹点(图1中以黑色圆点为例),如图1所示,t0时刻的轨迹点位于车道分段21,所属车道为车道2(lane2),t1时刻的轨迹点位于车道分段22,所属车道为车道2(lane2),t2时刻的轨迹点位于车道分段23,所属车道为车道2(lane2),t3时刻的轨迹点位于车道分段13,所属车道为车道1(lane1),t4时刻的轨迹点位于车道分段14,所属车道为车道1(lane1),t5时刻的轨迹点位于车道分段15,所属车道为车道1(lane1)。显然,目标车辆的轨迹在t2时刻以及t2时刻之前位于车道2,而在t3时刻以及t3时刻之后位于车道1,则可以将t2时刻和t3时刻对应的轨迹片段记为一次正确的换道行为。基于LSTM方法的检测过程与上述图1的方法类似,相当于将前一段时间的信息(例如为t1-t2的轨迹点各自对应的车道)进行短期存储,在t3-t4长期回溯t1-t2存储的信息,并进行比较,从而识别车辆的换道行为;又例如将t2的信息进行短期存储,在t3长期回溯t2存储的信息,并进行比较,从而识别车辆的换道行为,显然每次进行比较的轨迹点数量极少,容易造成对换道行为的误判。
该方案一的缺点:
(1)正确率不高。受换道时间段中轨迹点序列长度过短(也即窗口长度过短,窗口内包含的轨迹点数量太少)的影响,方案一无法滤除轨迹点序列的抖动行为(实际上相对换道行为是噪声),从而无法提高检测结果的正确率。请参阅图2,图2是本申请实施例提供的一种轨迹点抖动的示意图。如图2所示,t3时刻的轨迹点由于传感器的测量不精准或者噪声等原因发生了抖动而位于车道1,按照上述现有技术容易将其误判为一次车辆的换道行为。然而,在实际中这不并是一次正确的换道行为,如此,容易降低换道行为识别的正确率。
(2)提取结果连续程度低。受换道时间段中轨迹点序列长度过短(也即窗口长度过短,窗口内包含的轨迹点数量太少)的影响,方案一可能会将一次轨迹连续的换道行为分解为数个离散的轨迹片段,从而降低换道轨迹的连续程度。
(3)检测结果多义。方案一仅表示该时刻车道标识号改变,而车道标识号改变可能对应有一下集中情况:a、轨迹点序列因传感器的精度问题而存在噪声;b、在车道边界静止或者在车道边界附近摇摆;c、横跨直行道路的相邻两个车道;d、驾驶员终止换道意图回到原车道,请参阅图3,图3是本申请实施例提供的一种终止换车意图的轨迹示意图,如图3所示,驾驶员在t3时刻换道至车道1边缘后马上终止了换道意图,回到了车道2,因此,这并不是一次正确的(或者说典型的)换道行为;e、真实的左右换道行为。
综上,上述方案一无法利用现有通用的车辆硬件架构和传感系统等实现高效、准确地识别出车辆的换道行为,从而无法为自动驾驶车辆对其周围车辆的换道行为的预测和感知训练提供完善的典型换道行为数据库。因此,为了解决当前换道行为识别技术中不满足实际业务需求的问题,本申请实际要解决的技术问题包括如下方面:基于现有的车辆硬件架构和传感系统,实现高效、准确地识别出车辆的换道行为,从而为自动驾驶车辆对其周围车辆的换道行为的预测和感知训练提供完善的典型换道行为数据库,以保证自动驾驶车辆的驾驶安全。
为了便于理解本申请实施例,下面先对本申请实施例所基于的其中一种车辆换道行为识别系统架构进行描述。请参阅图4A,图4A是本申请实施例提供的一种车辆换道行为识别方法的系统架构示意图。本申请中的车辆换道行为识别方法的系统架构可以包括图4A中的计算设备001和智能车辆002,其中,计算设备001和智能车辆002可以通过网络通信,以使得计算设备001获取智能车辆002在行驶过程中采集得到的该智能车辆002周围一个或多个车辆在上行驶过程中的多个轨迹点和相应的地图数据等等。可以理解的是,请参阅图4B,图4B是本申请实施例提供的另一种车辆换道行为识别方法的系统架构示意图。如图4B所示,计算设备001可以同时与多个智能车辆002进行通信,也即可以同时获取多个智能车辆(例如包括图4B所示的智能车辆002a、002b和002c)采集得到的多个车辆在不同道路上行驶的多个轨迹点和相应的地图数据等等。
请参阅图5,图5是本申请实施例提供的一种车辆换道行为识别方法的结构框图。如图5所示,换道行为提取为本申请实施例提供的一种车辆换道行为识别方法的核心流程,该流程位于感知系统的下游和数据平台的上游。自动驾驶车辆在基于数据驱动的学习方法中,需要海量的数据支撑以进行充分的训练,而其中一种重要的数据片段就是车辆的换道行为。换道行为的大量准确提取可以为自动驾驶车辆对周围车辆换道行为的感知预测训练提供大量丰富且优质的样本数据。如图5所示,智能车辆002内置传感系统(例如为图5所示的感知系统,感知系统可以包括硬件系统,比如图5所示的多个传感器),智能车辆002可以通过传感系统感知道路环境(比如道路中的机动车辆、非机动车辆、路障、交通标志、交通信号灯、行人、动物、建筑和植物等等)。并且可以按照一定的采集频率(一般为25Hz,也即每秒采集25次)采集智能车辆002附近一定范围内的多个车辆在行驶过程中的多个轨迹点,可选地,还可以记录下每个轨迹点对应的采集时刻和位置信息等等。其中,感知系统还可以包括软件系统,该软件系统例如可以实现图5所示的处理和存储目标类别(比如可以为机动车辆这一类别)、目标位置(比如基于高精地图数据,得到机动车辆在行驶过程中的各个轨迹点的坐标位置等)等数据信息,并实现目标跟踪(也即得到不同车辆各自的轨迹点序列)等功能。可选地,该软件系统的功能还可以通过计算设备001或者其他的设备实现。如图5所示,计算设备001可以通过网络获取智能车辆002采集得到的目标车辆的轨迹点序列,还可以通过网络获取目标路段的地图数据。该轨迹点序列可以包括目标车辆在目标路段(例如为非路口区域的路段)行驶过程中的多个轨迹点,该目标路段可以包括多个车道,该多个轨迹点可以分布在该多个车道上,其中,每个车道都可以有一个对应的车道标识号,该地图数据例如可以包括每个车道各自对应的车道标识号。计算设备001可以根据该轨迹点序列中的每一个轨迹点在该多个车道上的分布进行换道行为提取。最终,计算设备001可以将该换道行为传输至数据平台进行存储,从而为基于数据驱动的仿真方法和学习方法提供海量、优质、真实的数据。
其中,本申请中的智能车辆002可以是具备上述功能的数据采集车(比如轿车、面包车和摩托车等等),可以由工作人员驾驶。可选地,智能车辆002也可以是拥有辅助驾驶系统或者全自动驾驶系统的智能汽车(智能汽车集中运用了计算机、现代传感、信息融合、通讯、人工智能及自动控制等技术,是一个集环境感知、规划决策、多等级辅助驾驶等功能于一体的高新技术综合体),还可以是轮式移动机器人或者其他的机器设备等,本申请实施例对此不做具体限定。如上所述,本申请中的计算设备001可以为具备上述功能的终端设备(例如为具有车辆换道行为识别功能的智能手机、智能可穿戴设备、平板电脑、笔记本电脑和台式电脑等)和具有交互界面的服务器(例如为带有显示屏的计算机或服务器等)等等,本申请实施例对此不作具体限定。
可以理解的是,图4A和图4B中的车辆换道行为识别方法的系统架构只是本申请实施例中的一种示例性的实施方式,本申请实施例中的车辆换道行为识别方法的系统架构包括但不仅限于以上车辆换道行为识别方法的系统架构。
基于上述车辆换道行为识别方法的系统架构,本申请实施例提供了一种应用于上述车辆换道行为识别方法的系统架构中的智能车辆002,请参见图6A,图6A是本申请实施例提供的一种智能车辆的功能框图。智能车辆002可以在行驶过程中,通过内置的传感系统感知周围道路的环境,并且可以按照一定的频率采集智能车辆002附近一定范围内(比如半径7m内、半径12m内或者半径20m内等等)的一个或多个车辆在行驶过程中的多个轨迹点,并筛选和跟踪得到目标车辆(比如为位于非路口区域的机动车辆等)的轨迹点序列。其中,可以理解的是,轨迹点序列中的每一个轨迹点均按照采集的时间顺序排序,也即每一个轨迹点均可对应有一个采集时刻。
智能车辆002可以包括各种子系统,例如行进系统202、传感系统204、控制系统206、一个或多个外围设备208以及电源210、计算机系统212和用户接口216。可选地,智能车辆002可包括更多或更少的子系统,并且每个子系统可包括多个元件。另外,智能车辆002的每个子系统和元件可以通过有线或者无线互连。
行进系统202可包括为智能车辆002提供动力运动的组件。在一个实施例中,行进系统202可包括引擎218、能量源219、传动装置220和车轮/轮胎221。引擎218可以是内燃引擎、电动机、空气压缩引擎或其他类型的引擎组合,例如气油发动机和电动机组成的混动引擎,内燃引擎和空气压缩引擎组成的混动引擎。引擎218将能量源219转换成机械能量。
能量源219的示例包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和其他电力来源。能量源219也可以为智能车辆002的其他系统提供能量。
传动装置220可以将来自引擎218的机械动力传送到车轮221。传动装置220可包括变速箱、差速器和驱动轴。在一个实施例中,传动装置220还可以包括其他器件,比如离合器。其中,驱动轴可包括可耦合到一个或多个车轮221的一个或多个轴。
传感系统204可包括若干个传感器,该若干个传感器可以用于感测关于智能车辆002周边的环境(例如可以包括智能车辆002周围的机动车辆、非机动车辆、行人、路障、交通标志、交通信号灯、动物、建筑和植物等等)的信息。例如,传感系统204可以包括定位系统222(定位系统可以是全球定位系统(Global Positioning System,GPS)系统,也可以是北斗系统或者其他定位系统)、惯性测量单元(inertial measurement unit,IMU)224、雷达226、激光测距仪228、相机230以及计算机视觉系统232等等。传感系统204还可以包括智能车辆002的内部系统的一个或多个传感器(例如,车内空气质量监测器、燃油量表、机油温度表等等)。来自这些传感器中的一个或多个的传感器数据可用于检测对象及其相应特性(位置、形状、方向、速度等)。例如,在一个实施例中,传感系统204可以按照一定的采集频率(该采集频率一般为25Hz,也即每秒采集25次的频率,该采集频率也可以为50Hz,也即每秒采集50次的频率,等等,本申请实施例对此不作具体限定)采集智能车辆002周围一定范围内的一个或多个车辆行驶过程中的轨迹点,还可以记录下每个轨迹点的位置和采集时刻,等等。
定位系统222可用于估计智能车辆002的地理位置,可选地,还可以用于估计智能车辆002周围一定范围内的一个或多个车辆或者其他物体(比如行人、交通信号灯和路障等)的地理位置。IMU 224用于基于惯性加速度来感测智能车辆002的位置和朝向变化。在一个实施例中,IMU 224可以是加速度计和陀螺仪的组合。
雷达226可利用无线电信号来感测智能车辆002的周边环境内的物体(比如智能车辆002周围环境中的机动车辆、非机动车辆、路障、交通标志、交通信号灯、行人、动物、建筑和植物等等)。在一些实施例中,雷达226还可以用于感测智能车辆002周边车辆的速度和行进方向等等。
激光测距仪228可利用激光来感测智能车辆002所位于的环境中的物体(例如包括智能车辆002周围环境中的机动车辆、非机动车辆、路障、交通标志、交通信号灯、行人、动物、建筑和植物等等)。在一些实施例中,激光测距仪228可包括一个或多个激光源、一个或多个激光扫描器以及一个或多个检测器,以及其他系统组件。
相机230可用于捕捉智能车辆002的周边环境的多个图像。相机230可以是静态相机或者视频相机。
计算机视觉系统232可以操作来处理和分析由相机230捕捉的图像以便识别智能车辆002周边环境中的物体和/或特征。所述物体和/或特征可包括机动车辆、非机动车辆、行人、建筑、交通信号、道路边界和障碍物等等。计算机视觉系统240可使用物体识别算法、运动中恢复结构(Structure from Motion,SFM)算法、视频跟踪和其他计算机视觉技术。在一些实施例中,计算机视觉系统240可以用于跟踪车辆、估计车辆的速度等等。
控制系统206为控制智能车辆002及其组件的操作。控制系统206可包括各种元件,其中包括油门234、制动单元236和转向系统240。
油门234用于控制引擎218的操作速度并进而控制智能车辆002的速度。
制动单元236用于控制智能车辆002减速。制动单元236可使用摩擦力来减慢车轮221。在其他实施例中,制动单元236可将车轮221的动能转换为电流。制动单元236也可采取其他形式来减慢车轮221转速从而控制智能车辆002的速度。
转向系统240可操作来调整智能车辆002的前进方向。
当然,在一个实例中,控制系统206可以增加或替换地包括除了所示出和描述的那些以外的组件。或者也可以减少一部分上述示出的组件。
智能车辆002通过外围设备208与外部传感器、其他车辆、其他计算机系统或用户之间进行交互。外围设备208可包括无线通信系统246、车载电脑248、麦克风250和/或扬声器252。
在一些实施例中,外围设备208提供智能车辆002的用户与用户接口216交互的手段。例如,车载电脑248可向智能车辆002的用户提供信息。用户接口216还可操作车载电脑248来接收用户的输入。车载电脑248可以通过触摸屏进行操作。在其他情况中,外围设备208可提供用于智能车辆002与位于车内的其它设备通信的手段。例如,麦克风250可从智能车辆002的用户接收音频(例如,语音命令或其他音频输入)。类似地,扬声器252可向智能车辆002的用户输出音频。
无线通信系统246可以直接地或者经由通信网络来与一个或多个设备无线通信。例如,无线通信系统246可使用3G蜂窝通信,例如CDMA、EVD0、GSM/GPRS,或者4G蜂窝通信,例如LTE。或者5G蜂窝通信。无线通信系统246可利用WiFi与无线局域网(wireless localarea network,WLAN)通信。在一些实施例中,无线通信系统246可利用红外链路、蓝牙或ZigBee与设备直接通信。其他无线协议,例如:各种车辆通信系统,例如,无线通信系统246可包括一个或多个专用短程通信(dedicated short range communications,DSRC)设备,这些设备可包括车辆和/或路边台站之间的公共和/或私有数据通信。
电源210可向智能车辆002的各种组件提供电力。在一个实施例中,电源210可以为可再充电锂离子或铅酸电池。这种电池的一个或多个电池组可被配置为电源为智能车辆002的各种组件提供电力。在一些实施例中,电源210和能量源219可一起实现,例如一些全电动车中那样。
智能车辆002的部分或所有功能受计算机系统212控制。计算机系统212可包括至少一个处理器213,处理器213执行存储在例如存储器214这样的非暂态计算机可读介质中的指令215。计算机系统212还可以是采用分布式方式控制智能车辆002的个体组件或子系统的多个计算设备。
处理器213可以是任何常规的处理器,诸如商业可获得的CPU。可选地,该处理器可以是诸如ASIC或其它基于硬件的处理器的专用设备。尽管图6A功能性地图示了处理器、存储器,但是本领域的普通技术人员应该理解该处理器或存储器实际上可以包括不存储在相同的物理外壳内的多个处理器或存储器。例如,存储器可以是硬盘驱动器或位于不同于计算机系统212的外壳内的其它存储介质。因此,对处理器或存储器的引用将被理解为包括对可以或者可以不并行操作的处理器或存储器的集合的引用。不同于使用单一的处理器来执行此处所描述的步骤,例如传感系统204中的一些组件每个都可以具有其自己的处理器,所述处理器只执行与特定于组件的功能相关的计算。
在此处所描述的各个方面中,处理器213可以位于远离该车辆并且与该车辆进行无线通信。在其它方面中,此处所描述的过程中的一些在布置于车辆内的处理器上执行而其它则由远程处理器执行。
在一些实施例中,存储器214可包含指令215(例如,程序逻辑),指令215可被处理器213执行来执行智能车辆002的各种功能,包括以上描述的那些功能。存储器214也可包含额外的指令,包括向行进系统202、传感系统204、控制系统206和外围设备208中的一个或多个发送数据、从其接收数据、与其交互和/或对其进行控制的指令。
除了指令215以外,存储器214还可存储数据,例如道路地图(例如为高精地图数据,可以包括全局坐标、相对坐标和道路中每个车道的车道标识号等信息)、路线信息,车辆的位置、方向、速度以及其它这样的车辆数据,以及其他信息。这种信息可在智能车辆002行驶期间被智能车辆002中的计算机系统212使用。例如,可以根据目标路段的地图数据确定智能车辆002周围的一个或多个车辆在行驶过程中的各个轨迹点的地理位置(比如全球定位系统下的地理坐标),各个轨迹点所在车道的车道标识号,各个轨迹点与所在车道的车道边界的距离以及与所在车道的车道中心线的距离等等,以识别得到周围车辆的换道行为。
用户接口216,用于向智能车辆002的用户提供信息或从其接收信息。可选地,用户接口216可包括在外围设备208的集合内的一个或多个输入/输出设备,例如无线通信系统246、车车在电脑248、麦克风250和扬声器252。
可选地,上述这些组件中的一个或多个可与智能车辆002分开安装或关联。例如,存储器214可以部分或完全地与智能车辆002分开存在。上述组件可以按有线和/或无线方式来通信地耦合在一起。
可选地,上述组件只是一个示例,实际应用中,上述各个模块中的组件有可能根据实际需要增添或者删除,图6A不应理解为对本申请实施例的限制。
在道路中行进的数据采集车辆,例如为上述的智能车辆002,可以感测其周围环境内的一个或多个车辆,并按照一定的频率采集其周围车辆在某一路段行驶过程中途径的多个轨迹点,记录每个轨迹点对应的采集时刻和位置(例如为每个轨迹点的地理位置,比如全球定位系统下的地理坐标等等),然后可以根据该路段的地图数据确定每个轨迹点所在的车道分段以及确定每个轨迹点所在的车道(也即确定每个轨迹点对应的车道标识号),还可以确定每个轨迹点与所在车道的车道边界的距离、与所在车道的车道中心线的距离等等,从而可以跟踪获得目标车辆(例如可以为非路口区域的一个或多个机动车辆或者其他感兴趣的车辆等等)的轨迹点序列(也即为包括目标车辆在目标路段行驶过程中的多个连续的按照时间顺序排序的轨迹点)。然后智能车辆002可以将上述的目标车辆的轨迹点序列传输至与其连接的计算设备001,计算设备001可以基于滑窗算法,根据轨迹点序列中的每一个轨迹点所在车道的分布(也即每一个轨迹点对应的车道标识号的分布),对目标车辆的换道行为进行识别,确定目标车辆的换道行为的行驶轨迹(例如可以为该轨迹点序列中的多个轨迹点构成的轨迹)。可选地,若目标车辆在该路段行驶过程中存在多次换道行为,则还可以确定目标车辆的多个换道行为的行驶轨迹。可选地,计算设备001最终还可以将所述换道行为的行驶轨迹(例如可以包括该行驶轨迹中每个轨迹点的位置、时刻、所在车道等等数据信息)传输至数据平台,从而为自动驾驶车辆对其周围车辆的换道行为的预测和感知训练提供完善的典型换道行为数据库,以保证自动驾驶车辆的驾驶安全。可选地,智能车辆002也可以直接将传感系统204采集得到的原始数据(例如包括多个车辆的轨迹点,每个轨迹点对应有时刻和其地理位置)传输至计算设备001,计算设备001可以对该原始数据进行如上所述的一系列处理,得到目标车辆的轨迹点序列,从而对目标车辆的换道行为进行识别提取,等等,本申请实施例对此不作具体限定。其中,所述目标车辆可以为机动车辆或者非机动车辆,比如轿车、面包车、客车、卡车、摩托车、电瓶车和公共汽车等等。
上述智能车辆002可以为轿车、卡车、摩托车、公共汽车、施工设备、电车和手推车等,本申请实施例不做特别的限定。
可以理解的是,图6A中的智能车辆功能图只是本申请实施例中的一种示例性的实施方式,本申请实施例中的智能车辆包括但不仅限于以上结构。
基于上述车辆换道行为识别方法的系统架构,本申请实施例提供了一种应用于上述车辆换道行为识别方法的系统架构中的计算设备001,请参见图6B,图6B是本申请实施例提供的一种计算设备的功能框图。如图6B所示,该计算设备001可以包括通信模块101和计算模块102,其中,计算模块102可以包括存储单元112、换道行为识别单元122和训练单元132。
通信模块101通过不限于第二代移动通信网络(2th generation mobilenetworks,2G)、3G、4G、5G等各种无线通信方式进行通信,也可以是无线保真技术(Wireless-Fidelity,WIFI)、专用短程通信技术(Dedicated Short RangeCommunications,DSRC),或者长时间演进-车辆技术(Long Term Evolution-Vehicle,LTE-V)等,也可以是通过数据线连接的有线通信模式,等等。其主要功能是接收上述智能车辆002采集得到的原始传感器数据或者经智能车辆002对原始传感器数据进行预处理后得到的目标车辆的轨迹点序列。
计算模块102中的存储单元112可以将目标路段的地图数据或者包括该目标路段的大范围的地图数据、目标车辆的轨迹点序列或者原始传感器数据按照一定格式存储在存储单元中,以便换道行为识别单元122对目标车辆的轨迹点序列进行分析检测,识别提取其中的换道行为。换道行为识别单元122可以根据目标路段的地图数据和目标车辆的轨迹点序列,确定所述轨迹点序列中每一个轨迹点所在的车道(也即每一个轨迹点对应的车道标识号),并根据所述每一个轨迹点所在车道的分布,通过滑窗算法,对目标车辆的换道行为进行识别提取,确定目标车辆的换道行为的行驶轨迹(也即换道轨迹,一般可以包括该轨迹点序列中的多个连续的轨迹点)。换道行为识别单元122可以将识别得到的换道行为传输至训练单元132,训练单元132可以基于大量的换道行为构成的数据库,进行自动驾驶车辆对周围车辆换道行为的感知预测训练,从而提升自动驾驶车辆在自动驾驶过程中对周围车辆的换道行为的感知预测能力,以更好的作出相应的加速、减速或者换道等自动操作,提升自动驾驶车辆的行驶安全。
可以理解的是,图6B中的计算设备的结构只是本申请实施例中的一种示例性的实施方式,本申请实施例中的计算设备的结构包括但不仅限于以上结构。
基于图4A和图4B提供的车辆换道行为识别系统架构,图6A提供的智能车辆,图6B提供的计算设备,以及图5提供的一种车辆换道行为识别方法的结构框图,结合本申请中提供的车辆换道行为识别方法,对本申请中提出的技术问题进行具体分析和解决。
请参阅图7,图7是本申请实施例提供的一种车辆换道行为识别方法的流程示意图,该方法可应用于上述图4A或图4B中所述的车辆换道行为识别方法的系统架构中,其中的智能车辆可以为上述图4A或图4B系统架构中的智能车辆002、002a、002b和002c中的任意一个,其中的计算设备可以为上述图4A或图4B系统架构中的计算设备001,可以用于支持并执行图7中所示的方法流程。下面将结合图7从计算设备侧进行描述,该方法可以包括以下步骤S701-S704:
步骤S701:获取目标车辆的轨迹点序列。
具体地,计算设备获取目标车辆的轨迹点序列。该轨迹点序列可以包括目标车辆在该目标路段行驶过程中的多个轨迹点,该目标路段可以包括多个车道(例如常见的双向四车道和双向六车道等等),该多个轨迹点分布在该多个车道上。可选地,计算设备还可以获取目标路段的地图数据。其中每个车道都可对应有各自的车道标识号和车道中心线等等,比如简单的车道1、车道2、车道3和车道4等车道标识号,又比如车道A1、车道B2、车道B3和车道C4等车道标识号,又或者L1、L2、L3和L4等等其他的标识方式,本申请实施例对此不作具体限定。一般情况下,一个物理车道(比如一条双向六车道的高速公路中的其中任意一个车道)对应有一个车道标识号。而一个车道还可以细分为多个车道分段,例如一条全长2km的双向六车道的高速公路中的其中任意一个车道可以由多个长度固定为20m或者15m或者12m的车道分段构成,又或者由多个长度不一致的车道分段构成,等等。该目标路段的地图数据可以为高精地图数据,可以包括该目标路段的全局坐标(比如全球定位系统下的地理坐标)、相对坐标、各个车道的车道标识号和车道分段等等信息。可选地,该目标路段的地图数据可以存储于计算设备本地,也可以存储于云端服务器,还可以存储于智能车辆中,计算设备可以通过网络等通信方式从云端服务器或者智能车辆中获取该目标路段的地图数据。其中,该目标路段一般为非路口区域的路段,可以理解的是,当车辆处于路口区域时,车辆在路口的左转、右转、和掉头等等行为都会引起车道标识号的改变,从而容易导致将其左转、右转、和掉头等等行为误判为车辆的换道行为,降低车辆换道行为识别的正确率。
可选地,计算设备可以通过网络等通信方式获取到智能车辆采集到的多个车辆的轨迹点序列。请参阅图8,图8是本申请实施例提供的一种车辆轨迹点的采集场景示意图。如图8所示,该场景可以包括顺行路段中的三个车道、智能车辆、车辆1(图8中以小轿车为例)、车辆2(图8中以小轿车为例)、车辆3(图8中以小轿车为例)和车辆4(图8中以公共汽车为例)。其中,智能车辆可以为工作人员驾驶的用于数据采集的车辆,可以为一般的轿车、面包车等等,也可以为全部或者部分自动驾驶模式下的智能汽车或者可移动的机器人、机器设备,等等。该智能车辆内置传感系统,可以在智能车辆行驶过程中感知周围的道路环境,采集周围一定范围内的一个或多个车辆的行驶轨迹。例如可以按照一定的频率采集周围车辆在行驶过程中的轨迹点(比如按照25Hz的频率采集,也即每秒采集25个轨迹点),并可以记录每个轨迹点各自对应的采集时刻和位置等等。可以理解的是,多个连续的按照采集时刻的时间顺序排序的轨迹点可以组成该车辆在某一路段上行驶的轨迹点序列,该轨迹点序列可以近似表征车辆的行驶轨迹。
请参阅图9,图9是本申请实施例提供的另一种车辆轨迹点的采集场景示意图。图9与图8同样包括3个车道(图9中以车道1、车道2和车道3为例,如上所述,车道1、车道2和车道3均可由多个车道分段组成),结合图8所示的场景进行分析,图8所示场景的当前时刻可以为T1时刻,图9所示场景的当前时刻可以为T6时刻,结合图8和图9可知,车辆1在T1至T6的时间范围内进行了一次由车道1至车道2的换道行为,智能车辆采集到的车辆1的轨迹点序列如图9所示,其中每个轨迹点对应有采集时刻(例如为图9所示的T1、T2、T3、T4、T5和T6)和位置(该位置可以为车辆1具体地在该路段地图中的坐标位置,可以为绝对坐标,也可以为相对坐标)。其他车辆的轨迹点序列与车辆1同理,此处不再进行赘述。需要说明的是,在智能车辆采集得到多个车辆的多个轨迹点后,一般无法直接确定各个轨迹点具体对应于那个车辆,也即一般无法直接得到每个车辆的轨迹点序列。因此,智能车辆可以根据基于每个轨迹点的位置形成对同一车辆的跟踪,也即确定该多个车辆各自对应的多个轨迹点,从而得到多个车辆各自的轨迹点序列。例如,在一些可能的实施方式中,智能车辆在采集得到多个车辆的多个轨迹点后,可以先进行一些预处理,比如智能车辆可以根据目标路段的地图数据和轨迹点序列中的每一个轨迹点的位置,确定每一个轨迹点所在的车道分段以及所在的车道(也即确定每一个轨迹点对应的车道标识号),本申请实施例对此不作具体限定。可选地,智能车辆还可以根据目标路段的地图数据和轨迹点序列中的每一个轨迹点的位置进一步确定每个轨迹点与其所在车道的车道边界的距离(例如可以确定每个轨迹点与其所在车道的车道左边界的距离以及与车道右边界的距离),还可以确定每个轨迹点与其所在车道的车道中心线的距离,等等。如上所述,智能车辆可以根据上述这些确定的特征,通过融合聚类,形成对同一车辆的跟踪,也即确定该多个车辆各自对应的多个轨迹点,从而得到多个车辆各自的轨迹点序列。所述目标车辆的轨迹点序列可以为该多个车辆的轨迹点序列中的其中一个。然后再将多个车辆各自的轨迹点序列传输至计算设备,显然,此时计算设备在获取到该多个车辆的轨迹点序列后,也即可以获取到其中每个轨迹点的位置、对应的车道标识号以及每个轨迹点与其所在车道的车道边界的距离和与其所在车道的车道中心线的距离,等等,从而可以减少计算设备的计算量。如图9所示,智能车辆可以将采集得到的多个车辆的轨迹点序列(比如工作人员驾驶智能车辆在一段时间和一段道路上行驶过程中采集到的周围多个车辆的轨迹点序列)通过网络等通信方式传输至计算设备。然后计算设备可以通过网络等通信方式获取到智能车辆采集到的多个车辆的轨迹点序列,并根据地图数据等从中选取感兴趣的车辆作为目标车辆(例如非路口区域的机动车辆),从而得到目标车辆的轨迹点序列。
可选地,智能车辆还可以直接将采集得到的原始传感器数据(例如可以包括采集得到的多个车辆的多个轨迹点各自的位置和时刻等等数据)传输至计算设备,可以由计算设备根据目标路段的地图数据和轨迹点序列中的每一个轨迹点的位置,确定每一个轨迹点所在的车道分段以及所在的车道(也即确定每一个轨迹点对应的车道标识号)。类似的,计算设备还可以根据目标路段的地图数据和轨迹点序列中的每一个轨迹点的位置进一步确定每个轨迹点与其所在车道的车道边界的距离(例如可以确定每个轨迹点与其所在车道的车道左边界的距离以及与车道右边界的距离),还可以确定每个轨迹点与其所在车道的车道中心线的距离,等等。进而计算设备可以根据上述这些确定的特征,通过融合聚类,形成对同一车辆的跟踪,也即确定该多个车辆各自对应的多个轨迹点,从而得到多个车辆各自的轨迹点序列。可选地,计算设备可以根据地图数据等从中选取感兴趣的车辆作为目标车辆(例如非路口区域的机动车辆),从而得到目标车辆的轨迹点序列,此处不再进行赘述。
步骤S702,从多个轨迹点中确定所述目标车辆的N个第一轨迹点集合。
具体地,计算设备从目标车辆的轨迹点序列所包括的多个轨迹点中确定该目标车辆的N个第一轨迹点集合,N为大于或者等于1的整数。每个第一轨迹点集合可以包括该多个轨迹点中两个相邻、且分布在不同车道上的第一轨迹点和第二轨迹点,该第一轨迹点可以为换道前的轨迹点,该第二轨迹点可以为换道后的轨迹点。例如该轨迹点序列中的任意两个相邻轨迹点分别处于不同的车道(也即分别对应不同的车道标识号),则可以确定该两个相邻轨迹点构成的集合为该目标车辆的第一轨迹点集合(也即根据相邻轨迹点车道的改变初步识别得到换道行为的可能存在域)。例如,如图9所示,以车辆1为目标车辆为例,以图9中T1至T6时刻包括的轨迹点为目标车辆的轨迹点序列为例,根据地图数据和T1至T6时刻包括的轨迹点的位置可以确定T1时刻的轨迹点对应的车道标识号为车道1(也即T1时刻的目标车辆处于车道1);T2时刻的轨迹点对应的车道标识号为车道1(也即T2时刻的目标车辆处于车道1);T3时刻的轨迹点对应的车道标识号为车道1(也即T3时刻的目标车辆处于车道1);T4时刻的轨迹点对应的车道标识号为车道2(也即T4时刻的目标车辆处于车道2),T5时刻的轨迹点对应的车道标识号为车道2(也即T5时刻的目标车辆处于车道2);T6时刻的轨迹点对应的车道标识号为车道2(也即T6时刻的目标车辆处于车道2)。显然,T3时刻和T4时刻的轨迹点相邻且分别处于不同车道,则可以确定T3时刻的轨迹点和T4时刻的轨迹点构成的集合为目标车辆的第一轨迹点集合,该T3时刻的轨迹点也即为上述的第一轨迹点,该T4时刻的轨迹点也即为上述的第二轨迹点。
可选地,计算设备可以通过滑窗算法,按照采集时刻的顺序和固定长度的滑窗窗口依次检测目标车辆的轨迹点序列中的每一个轨迹点,检测出车道发生变化的时间段,得到目标车辆的第一轨迹点集合,从而对目标车辆的换道行为进行识别。例如,请参阅图10,图10是本申请实施例提供的一种车辆换道行为识别的示意图。目标车辆的轨迹点序列以及轨迹点序列中每个轨迹点对应的位置和车道等等信息可以如图10所示。图10中的横轴可以表示时间,纵轴可以表示车道。如图10所示,该目标路段中可以包括两个车道,具体可以包括车道1(lane1)和车道2(lane2),车道1可以位于车道2的右侧。其中,车道1(lane1)和车道2(lane2)各自的车道分段可以如图10所示,例如车道1具体可以包括车道分段11、12、13、14、15、16、17、18、19,等等,又例如车道2具体可以包括车道分段21、22、23、24、25、26、27、28、29,等等,其每个车道分段的长度可以不同,此处不再赘述。以图10所示的长度为10的滑窗窗口(也即每次滑窗计算的窗口内包含10个轨迹点)对轨迹点序列中的每个轨迹点进行处理为例,当前的滑窗窗口可以包括图10所示的t1至t10这10个轨迹点。显然,如图10所示,在当前滑窗窗口内可以检测到,轨迹点所在的车道在t5时刻和t6时刻发生了变化,其中,t5时刻的轨迹点位于车道分段17,其对应的车道为车道1,而t6时刻的轨迹点位于车道分段28,其对应的车道为车道2。则可以确定t5至t6时刻为目标车辆换道行为的存在域(也即可以初步认为在t5至t6期间,目标车辆可能进行了一次车辆换道行为),并可以将t5和t6时刻的轨迹点构成的集合确定为目标车辆的第一轨迹点集合。如此,通过不断地移动滑窗窗口,依次检测每个窗口内包含的多个轨迹点,则可以确定目标车辆的N个第一轨迹点集合。
步骤S703,确定第一轨迹点集合对应的第三轨迹点和第四轨迹点,以及判断对应的第三轨迹点和第四轨迹点是否满足预设条件。
具体地,在计算设备确定目标车辆的N个第一轨迹集合(也即检测得到目标车辆换道行为的存在域)后,分别确定每个第一轨迹点集合对应的第三轨迹点和第四轨迹点,以及判断该第三轨迹点和该第四轨迹点是否满足预设条件。可选地,该第三轨迹点可以为该轨迹点序列中与第一轨迹点在同一个车道上的轨迹点,例如,按照典型的换道行为,该第三轨迹点可以为第一轨迹点之前的一个轨迹点,该第三轨迹点与该第一轨迹点之间可以包括P个轨迹点,P为大于或者等于0的整数。可选地,该第四轨迹点可以为轨迹点序列中与第二轨迹点在同一个车道上的轨迹点,例如,按照典型的换道行为,该第四轨迹点可以为第二轨迹点之前的一个轨迹点,该第四轨迹点与该第二轨迹点之间可以包括K个轨迹点,K为大于或者等于0的整数。
可以理解的是,由于第一轨迹点集合只能表示目标车辆所处的车道发生了变化(也即前后两个轨迹点所在的车道发生了改变),而不能判定该目标车辆确实进行了一次完整典型的换道行为。例如,传感器精度较低引起的轨迹点抖动和驾驶员在驾驶目标车辆到另一个车道后突然终止换道意图回到原车道等等情况,均会造成车道的改变,然而上述情况均不代表正确的或者典型的车辆换道行为。由此,需要对第一轨迹点集合进行前后扩展,对第一轨迹点集合前后附近的多个轨迹点进行检测,判断该目标车辆是否进行了一次换道行为。例如检测该第一轨迹点集合是否对应有满足预设条件的第三轨迹点和第四轨迹点,若有,则可以确定该第一轨迹点集合属于一次正确的换道行为,还可以进一步根据该满足预设条件的第三轨迹点和第四轨迹点识别得到该目标车辆的完整换道行为。
可选地,该预设条件可以包括:第三轨迹点与所在车道的车道中心线的距离大于第一预设值,而第三时刻相邻的前一个轨迹点与第三轨迹点处于同一车道并与车道中心线的距离大于第一预设值,并且第三轨迹点与第一轨迹点之间的P个轨迹点均与第一轨迹点处于同一车道,以及按照典型的换道行为,该P个轨迹点与车道中心线的距离均大于第一预设值(比如一般情况下,该P个轨迹点与车道中心线的距离往往大于第三轨迹点与车道中心线的距离),等等,本申请实施例对此不作具体限定。也即可以认为从第三轨迹点起,目标车辆的驾驶员意图换道,并开始逐渐离开原车道,该第三轨迹点可以为目标车辆的换道开始轨迹点。可选地,该预设条件可以包括:第四轨迹点与所在车道的车道中心线的距离小于第二预设值,且第四轨迹点与第二轨迹点之间的K个轨迹点均与第二轨迹点处于同一车道,以及按照典型的换道行为,该K个轨迹点与车道中心线的距离均大于第二预设值(比如一般情况下,该K个轨迹点与车道中心线的距离往往大于第四轨迹点与车道中心线的距离),等等,本申请实施例对此不作具体限定。也即可以认为直至第四轨迹点,目标车辆从原车道换道到了现车道,完成了一次换道行为,该第四轨迹点可以为目标车辆的换道结束轨迹点。
例如,请参阅图11,图11是本申请实施例提供的另一种车辆换道行为识别的示意图。如图11所示,t5和t6时刻的轨迹点所在车道发生了改变,该t5和t6时刻的轨迹点可以构成第一轨迹点集合(也即可以作为换道行为的存在域)。其中,车道1和车道2均对应有各自的车道中心线,以车道1位于车道2的右侧为例。计算设备可以在当前窗口内检测t5时刻之前的轨迹点,根据t5时刻之前的轨迹点与其所在车道的中心线的距离,确定对应的第三轨迹点,并判断该第三轨迹点是否满足预设条件。例如,请参阅图12,图12是本申请实施例提供的又一种车辆换道行为识别的示意图。一般情况下,以车道宽度为标准的3.75m为例,且以车道1位于车道2的右侧为例。如图12所示,t3、t4和t5时刻的轨迹点与其所在车道1的中心线的距离大于第一预设值(比如大于1m、大于1.2m、大于1.3m、大于车道1的三分之一车道宽度或者大于车道1的四分之一车道宽度等等,本申请实施例对此不作具体限定),而如图11所示,t2时刻的轨迹点与其所在车道1的中心线的距离小于第一预设值,则可确定其中的t3时刻的轨迹点为满足预设条件的第三轨迹点。该t3时刻为目标车辆的换道开始时刻(也即目标车辆的驾驶员的意图换道时刻),也即t3时刻的轨迹点为目标车辆的换道开始轨迹点。可选地,计算设备还可以根据t5时刻之前的轨迹点与其所在车道的车道边界的距离,确定对应的第三轨迹点,并判断该第三轨迹点是否满足预设条件。例如,图12所示的t3、t4和t5时刻的轨迹点与其所在车道1的车道右边界的距离大于预设值(比如大于2.9m、大于3m、大于3.1m、大于车道1的三分之二车道宽度或者大于车道1的四分之三车道宽度等等,本申请实施例对此不作具体限定),t2时刻的轨迹点与其所在车道1的车道右边界的距离小于预设值。又或者t3、t4和t5时刻的轨迹点与其所在车道1的车道左边界的距离小于预设值(比如小于0.9m、小于1.1m、小于0.5m、小于车道1的五分之一车道宽度或者小于车道1的四分之一车道宽度等等,本申请实施例对此不作具体限定),t2时刻的轨迹点与其所在车道1的车道左边界的距离大于预设值。则可确定其中的t3时刻的轨迹点为满足预设条件的第三轨迹点,t3时刻为目标车辆的换道开始时刻,也即t3时刻的轨迹点为目标车辆的换道开始轨迹点。可选地,若在当前窗口内的t5时刻之前的轨迹点不满足上述情况,还可以移动滑窗窗口,以检测当前滑窗窗口的相邻上一个滑窗窗口内的多个轨迹点,此处不再进行赘述。可选地,例如图11所示,针对在t5时刻之前目标车辆行驶在车道1的车道中心线的右侧,而要向左穿越该车道中心线以换道到车道2的情况而言,可能检测得到例如t3和t1两个时刻的轨迹点与车道1的中心线的距离均大于第一预设值,此时可以根据与车道1的车道右边界的距离,将与车道右边界距离较大的t3时刻作为换道开始时刻,或者考虑到t3、t4和t5时刻的轨迹的连续性以及t2时刻的轨迹的位置,将t3时刻作为换道开始时刻,也即将t3时刻的轨迹点确定为满足预设条件的第三轨迹点,等等,本申请实施例对此不作具体限定。
可选地,计算设备可以在当前窗口内检测t6时刻之后的轨迹点,根据t6时刻之后的轨迹点与其所在车道的中心线的距离,确定对应的第四轨迹点,并判断该第四轨迹点是否满足预设条件。例如,如图12所示,t8时刻的轨迹点与其所在车道2的中心线的距离小于第二预设值(比如小于0.7m、小于1.1m、小于0.5m、小于车道2的六分之一车道宽度、小于车道2的五分之一车道宽度或者小于车道2的四分之一车道宽度等等,本申请实施例对此不作具体限定),而t8时刻之前的t6、t7时刻的轨迹点与所在车道2的中心线的距离大于第二预设值,则可确定t8时刻的轨迹点为满足预设条件的第四轨迹点,t8时刻为目标车辆的换道结束时刻,也即t8时刻的轨迹点为目标车辆的换道结束轨迹点。可选地,计算设备还可以根据t6时刻之后的轨迹点与其所在车道的车道边界的距离,确定对应的第四轨迹点,并判断该第四轨迹点是否满足预设条件。例如,图12所示的t8时刻的轨迹点与其所在车道2的车道右边界的距离大于预设值(比如大于1.9m、大于1.8m、大于1.5m、大于车道2的二分之一车道宽度、大于车道2的三分之一车道宽度或者大于车道2的五分之二车道宽度等等,本申请实施例对此不作具体限定),而t6、t7时刻的轨迹点与其所在车道2的车道右边界的距离小于预设值。又或者t8时刻的轨迹点与其所在车道2的车道左边界的距离小于预设值(比如小于2.1m、小于2m、小于1.9m、小于车道2的五分之三车道宽度或者小于车道2的三分之二车道宽度等等,本申请实施例对此不作具体限定),而t6、t7时刻的轨迹点与其所在车道2的车道左边界的距离大于预设值,则可确定t8时刻的轨迹点为满足预设条件的第四轨迹点,t8时刻为目标车辆的换道结束时刻,也即t8时刻的轨迹点为目标车辆的换道结束轨迹点。可选地,若在当前窗口内的t6时刻之后的轨迹点不满足上述情况,还可以移动滑窗窗口,以检测当前滑窗窗口的相邻下一个滑窗窗口内的多个轨迹点,此处不再进行赘述。由此,可以确定该第一轨迹点集合(包括t5、t6两个时刻的轨迹点)确实属于一次正确的换道行为,也即t5和t6时刻轨迹点所在车道的改变是由目标车辆的换道行为引起的。可选地,可以对不属于一次正确的换道行为的第一轨迹点集合进行删除。如此,首先利用车道发生改变的时刻作为换道行为的存在域(也即得到第一轨迹集合),再根据换道行为的存在域对换道行为的提取方法进一步优化(也即得到第二轨迹点集合),从而提高换道行为识别的正确率,并降低运算复杂度。
可选地,还可以通过前后移动滑窗窗口,检测换道开始时刻之前(也即满足预设条件的第三轨迹点之前)的多个轨迹点和换道结束时刻之后(也即满足预设条件的第四轨迹点之后)的多个轨迹点,若检测得到换道开始时刻(比如图11和图12所示的t3)之前一定时间范围内的多个轨迹点(例如为10个轨迹点、15个轨迹点或者25个轨迹点等等)一直稳定处于车道1,并且检测得到换道结束时刻(比如图11和图12所示的t8)之后一定时间范围内的多个轨迹点(例如为10个轨迹点、15个轨迹点或者25个轨迹点等等)一直稳定处于车道2,则可进一步确定t3至t8期间的目标车辆进行了一次正确的换道行为,从而可以进一步提高车辆换道行为识别的正确率。
步骤S704,确定所述目标车辆的M个第二轨迹点集合。
具体地,若第一轨迹点集合对应有满足预设条件的第三轨迹点和第四轨迹点,则可以根据该满足预设条件的第三轨迹点和第四轨迹点确定该第一轨迹点集合对应的第二轨迹点集合。该第二轨迹点集合可以包括满足预设条件的第三轨迹点和第四轨迹点,以及满足预设条件的第三轨迹点和第四轨迹点之间的多个轨迹点(也即可以包括换道开始至换道结束的所有轨迹点)。例如,如图12所示的第二轨迹点集合,该第二轨迹点集合可以包括t3(开始时刻)、t4、t5、t6、t7和t8(结束时刻)的轨迹点,该第二轨迹点集合构成的轨迹即为目标车辆的换道轨迹。如此,当存在N个第一轨迹点集合时,可以通过上述的方法检测每一个第一轨迹点集合是否属于一次正确的换道行为,是否对应有满足预设条件的第三轨迹点和第四轨迹点,由此确定对应的M个第二轨迹点集合,M为小于或者等于N的整数。显然,由于并非每一个第一轨迹点集合都一定是属于一次正确的换道行为,因此并非每一个第一轨迹点集合可以有其对应的第二轨迹点集合。例如,若图11所示的t7、t8和t9等时刻的轨迹点处于车道1,又例如若t3和t4等时刻的轨迹点处于车道2,还例如若t6、t7、t8、t9、t10、t11等时刻的轨迹点处于车道2且与车道2的中心线的距离大于第二预设值或者其他预设值(也即目标车辆在t6时刻及之后一直处于车道2的车道边缘,可能是驾驶员的驾驶失误,也可能的轨迹点的位置精度不高导致的误差)等等情况,则可以确定该情况下的第一轨迹点集合不属于一次正确的换道行为,也无法进一步得到其对应的第二轨迹点集合。可以理解的是,图12仅为示例性的说明第二轨迹点集合可能的一种情况,在一些可能的实现方式中,每一个对应有满足预设条件的第三轨迹点和第四轨迹点的第一轨迹点集合其对应的第二轨迹点集合所包含的轨迹点数量可以不同,不同的第二轨迹点集合可以包括比图12所示的更多或者更少的轨迹点。例如,在轨迹点采集频率较高或者车辆换道角度较小(也即车辆换道时间较长,换道轨迹较长)的情况下,第二轨迹点集合可以包括15个或者30个甚至更多的轨迹点。又例如,在轨迹点采集频率较低或者车辆换道角度较大(也即车辆换道时间较短,换道轨迹较短)的情况下,第二轨迹点集合可以包括6个或者5个甚至更少的轨迹点,等等。可选地,为了减少计算量或者为了提取到的换道行为更具典型性,可以将轨迹点数量超过一定阈值(比如超过100个、200个或者250个)的第二轨迹点集合或者将轨迹点数量低于一定阈值(比如低于10个、8个或者5个)的第二轨迹点集合进行删除,等等,本申请实施例对此不作具体限定。
可选地,对于车辆换道行为来说,根据前一车道与后一车道可能的四种位置关系:前一车道与后一车道相邻且位于后一车道的左侧、前一车道与后一车道相邻且位于后一车道的右侧、前一车道与后一车道不相邻且位于后一车道的左侧、前一车道与后一车道不相邻且位于后一车道的右侧。由此,可以根据上述车道关系,将车辆的换道行为(也即得到的第二轨迹点集合)分别标记为对应的向左相邻车道换道、向右相邻车道换道、向左跨车道换道和向右跨车道换道。显然,图10、图11和图12所示的换道行为向左相邻车道换道。请参阅图13,图13是本申请实施例提供的一种跨车道换道行为的示意图。如图13所示,目标车辆由车道1跨国车道2直接向车道3进行换道,其换道行为的存在域以及换道开始时刻和换道结束时刻可以如图13所示。需要说明的是,基于交通安全,一般情况下跨车道换道需要先由车道1向车道2换道,在车道2进行一段安全驾驶后再向车道3进行换道,图13所示的直接跨道换道仅为示例,一般情况下不允许。
可选地,考虑到基于上述滑窗算法检测得到的换道行为仍然可能存在一定误差(也即第二轨迹集合仍然可能不属于一次正确的换道行为),为了提高换道行为识别的正确率,得到更加完善和正确的典型换道行为数据,工作人员(或者称之为开发人员)还可以根据目标路段的道路结构和目标车辆的轨迹点序列(例如包括上述提取出的第二轨迹点集合),筛除驾驶员终止换道意图回到原车道的轨迹;筛除在直行道路上走过连续车道分段的轨迹,等等。工作人员还可以根据轨迹点序列对应的轨迹几何形状等,筛除静止于车道边界的轨迹;筛除轨迹点的位置跳动过大的轨迹,等等,本申请实施例对此不作具体限定。
可选地,识别得到的换道行为(例如上述M个第二轨迹点集合)可以传输至数据平台进行存储,从而为基于数据驱动的仿真方法和学习方法提供海量、优质、真实的换道行为数据。例如可以为自动驾驶车辆对其周围车辆的换道行为的预测和感知训练提供完善的典型换道行为数据集,以提升自动驾驶车辆在自动驾驶过程中对周围车辆的换道行为的感知预测能力,进而使得自动驾驶车辆可以更好的作出相应的加速、减速或者换道等自动操作,保证自动驾驶车辆的驾驶安全。
结合上述步骤实施例的描述,本申请实施例还提供了一种语义信息提取方法。请参阅图14,图14是本申请实施例提供的一种语义信息提取的整体步骤示意图。如图14所示,该方法可以包括目标筛选、特征提取、目标信息跟踪、语义信息提取和后处理等步骤。其中,目标筛选可以是在智能车辆采集到的原始传感器数据经过聚类处理后的目标信息集合(例如包括道路上行人的运动轨迹,机动车辆的轨迹点,非机动车辆的轨迹点和识别到的建筑、植物等等信息)当中,根据目标类型(比如机动车辆、非机动车辆、行人、交通信号和建筑等类型)和高精地图信息筛选出感兴趣的目标(例如筛选出非路口区域的机动车辆的轨迹点,比如上述的目标车辆的轨迹点,还例如可以筛选出路口区域的机动车辆的轨迹点,还例如可以筛选出人行道上的行人的轨迹点等等)。其中高精地图信息可以包括厘米精度的高精地图,可以包含全局坐标、相对坐标、各个车道的车道分段和车道标识号等信息。特征提取可以为根据高精地图信息提取目标位置(例如上述目标车辆的各个轨迹点的位置),目标所在车道、所在的车道分段和所在车道的车道标识号,以及目标位置与所在车道的车道边界的距离等等,此处不再进行赘述。其中,目标跟踪信息为进一步的对上述提取出的特征进行聚类融合,形成对同一目标的跟踪,例如跟踪得到上述的目标车辆在目标路段的轨迹点序列等等。其中,语义信息提取可以为在时间轴上对目标点序列进行处理(例如为上述的通过滑窗算法对目标车辆的轨迹点序列进行处理),解析出符合基本语义特征的片段集合(例如为上述的确定目标车辆的换道行为的第二轨迹点集合等)。例如,请参阅图15,图15是本申请实施例提供的一种换道行为提取的整体步骤示意图,如图15所示,该语义信息提取可以为换道行为提取。可选地,若上述目标筛选出的感兴趣的目标为路口区域的机动车辆的轨迹点,该语义信息提取还可以为提取车辆在路口的左转行为、右转行为、直行行为和掉头行为,等等,本申请实施例对此不作具体限定。其中,由于提取出的换道行为片段(比如上述的第二轨迹点集合)只是语义信息的初步筛选,仍然可能存在误差,因此还可以根据空间关系、时间关系等标准进一步筛选出符合真实驾驶行为的有效语义片段,例如通过后处理进一步筛选出符合典型换道行为的换道片段(也即换道轨迹)。可选地,本申请实施例中经后处理后最终输出的数据均可以传输至基于数据驱动的仿真模块或者学习模块,以进行自动驾驶的强化学习和深度学习,从而提升自动驾驶车辆在自动驾驶过程中对周围车辆的换道行为的感知预测能力,进而使得自动驾驶车辆可以更好的作出相应的加速、减速或者换道等自动操作,保证自动驾驶车辆的驾驶安全。
如上所述,需要说明的是,本申请实施例提供的一种车辆换道行为识别方法为一种软件方法,其实现需要借助于计算机软件平台,例如可以包括机器人操作系统(机器人操作系统(Robot Operating System,ROS)是一个机器人软件平台,它能为异质计算机集群提供类似操作系统的功能)和C++程序开发平台等等,本申请实施例对此不作具体限定。本申请实施例提供的一种车辆换道行为识别方法具体可以应用于在线模式和离线模式。其中,在线模式:在智能车辆上已经大规模部署的情况下(例如上述的计算设备与传感系统一同布置在智能车辆上)可以对传感系统采集到的数据进行实时处理,满足换道行为的触发条件(例如上述的第三轨迹点与其所在车道的中心线的距离大于第一预设值,第四轨迹点与其所在车道的中心线的距离小于第二预设值等等)后对换道行为进行提取。离线模式:在计算机软件平台上(例如通过上述的计算设备),对智能车辆的传感系统采集完成的数据进行离线处理(例如包括上述步骤S701-步骤S704中所述的处理),满足换道行为的触发条件后对换道行为进行提取。在上述两种模式下都需要建立典型换道行为数据集(例如可以包括提取得到的多个换道行为),该数据集可以输出到数据平台,为基于数据驱动的仿真方法和学习方法(包括深度学习和强化学习等)提供海量、优质、真实的数据。例如可以为自动驾驶车辆对其周围车辆的换道行为的预测和感知训练提供大量、完善的典型换道行为数据,以提升自动驾驶车辆在自动驾驶过程中对周围车辆的换道行为的感知预测能力,进而使得自动驾驶车辆可以更好的作出相应的加速、减速或者换道等自动操作,保证自动驾驶车辆的驾驶安全。可以理解的是,一般情况下,在线模式需要满足高强度的计算速度和计算量,对硬件和软件的要求较高。因此,本申请实施例提供的一种车辆换道行为识别方法通常应用于离线模式,主要是一种基于滑窗算法的换道行为离线提取方法,主要应用于自动驾驶系统中的离线数据平台(比如包括大量的换道行为数据)构建。可选地,还可以被自动驾驶系统的实时感知模块借鉴,除此之外,还可以应用于智能交通和安防等领域基于数据驱动的系统中,等等。
顺行道路环境下的车辆换道是一种常见驾驶行为,该行为的准确识别与大量提取能够有效提高自动驾驶车辆对换道行为的预测能力。本申请实施例可以从时间轴和车道分段位置关系两个维度检测换道行为,离线情况下,在时间轴上对目标车辆的轨迹点序列做滑窗处理,可以有效解析历史轨迹在车道分段上的映射情况(也即目标车辆的轨迹点序列中每个轨迹点所对应的车道分段,还可以包括每个轨迹点所在的车道以及车道标识号等),根据车道的改变与否判断有无换道可能。再通过车道分段间的拓扑关系,例如根据各个轨迹点对应车道分段之间的空间关系,各个轨迹点对应车道分段的所属车道之间的空间关系以及根据各个轨迹点的位置与车道中心线的距离等,判断其是否为一次正确的换道行为,若是,还可以进一步确定换道行为的开始时刻(也即意图换道时刻)与结束时刻,从而有效筛选出目标车辆的换道行为。本申请可为基于数据驱动的模型训练方法,提供大量的数据做真值。一般情况下,车道发生改变的定义如下:目标车辆的轨迹点序列先后稳定于不同车道标识号的车道(也即稳定于不同车道),例如换道开始时刻之前一定时间范围内的轨迹点均稳定处于车道1,而换道结束时刻之后一定时间范围内的轨迹点均稳定处于车道2,等等。最后根据车道分段的位置关系,也即车辆所处车道的位置关系,提取出正确的换道行为。本申请实施例提供的一种车辆换道行为识别方法的特征可以包括以下几点:
1)稳健性。本申请增加了换道时间段中轨迹点序列的长度,相比现有技术可以滤除因轨迹点抖动而产生的噪声,从而提高检测结果的正确率。
2)连续程度高。本申请增加了换道时间段中轨迹点序列的长度,检出的换道轨迹长度更符合换道行为的真实长度,提高了换道轨迹的连续程度,从而增加检测结果的可信度。
3)无多义性。本申请不仅可以检测出车道标识号的改变(也即轨迹点所在车道的改变),还能在众多可能性(a.轨迹点序列因传感器精度存在噪声;b.在车道边界静止或者在边界附近摇摆;c.横跨直行道路的相邻车道;d.终止换道意图回到原车道;e.真实的左右换道行为)中提取出正确的换道行为。
本申请实施例可以利用软件方法大批量提取换道行为数据片段,从而可以为仿真环境下搭建的模型,或者基于数据驱动的模型训练方法,构建换道行为数据片段足够多的数据集,从而可以为自动驾驶车辆对其周围车辆的换道行为的预测和感知训练提供大量、完善的典型换道行为数据,以提升自动驾驶车辆在自动驾驶过程中对周围车辆的换道行为的感知预测能力,进而使得自动驾驶车辆可以更好的作出相应的加速、减速或者换道等自动操作,保证自动驾驶车辆的驾驶安全。
请参阅图16,图16是本申请实施例提供的一种车辆换道行为识别装置的结构示意图,该车辆换道行为识别装置可以包括装置30,该装置30可以包括获取单元301、第一确定单元302、第二确定单元303和第三确定单元304,其中,各个单元的详细描述如下。
获取单元301,用于获取目标车辆的轨迹点序列;其中,所述轨迹点序列包括所述目标车辆在目标路段行驶过程中途径的多个轨迹点,所述目标路段包括多个车道,所述多个轨迹点分布在所述多个车道上。
第一确定单元302,用于从所述多个轨迹点中确定所述目标车辆的N个第一轨迹点集合,其中,每个第一轨迹点集合包括所述多个轨迹点中两个相邻、且分布在不同车道上的第一轨迹点和第二轨迹点;N为大于或者等于1的整数。
第二确定单元303,用于确定所述第一轨迹点集合对应的第三轨迹点和第四轨迹点,以及判断对应的第三轨迹点和第四轨迹点是否满足预设条件;所述第三轨迹点为所述轨迹点序列中与所述第一轨迹点在同一个车道上的轨迹点,所述第四轨迹点为所述轨迹点序列中与所述第二轨迹点在同一个车道上的轨迹点。
第三确定单元304,用于确定所述目标车辆的M个第二轨迹点集合;其中,每个第二轨迹点集合包括满足所述预设条件的所述第三轨迹点和所述第四轨迹点以及满足所述预设条件的所述第三轨迹点和所述第四轨迹点之间的多个轨迹点;M为小于或者等于N的正整数。
在一种可能的实现方式中,所述第一轨迹点为换道前的轨迹点,所述第二轨迹点为换道后的轨迹点;所述第三轨迹点与所述第一轨迹点之间包括P个轨迹点,所述第四轨迹点与所述第二轨迹点之间包括K个轨迹点;所述预设条件包括:所述第三轨迹点与所在车道的车道中心线的距离大于第一预设值,所述第四轨迹点与所在车道的车道中心线的距离小于第二预设值,并且,所述P个轨迹点与所述第一轨迹点在同一个车道上,所述K个轨迹点与所述第二轨迹点在同一个车道上;P、K为大于或者等于0的整数。
在一种可能的实现方式中,所述预设条件还包括:所述第三轨迹点的相邻前一个轨迹点与所述第一轨迹点在同一车道上且与所在车道的车道中心线的距离小于所述第一预设值,所述P个轨迹点与所在车道的车道中心线的距离大于所述第一预设值,所述K个轨迹点与所在车道的车道中心线的距离大于所述第二预设值。
在一种可能的实现方式中,所述目标路段为非路口区域的路段,所述第二轨迹点集合构成的轨迹为所述目标车辆的换道行为对应的行驶轨迹,满足所述预设条件的所述第三轨迹点为所述目标车辆的换道开始轨迹点,满足所述预设条件的所述第四轨迹点为所述目标车辆的换道结束轨迹点。
在一种可能的实现方式中,所述轨迹点序列为根据时间顺序对按照预设频率采集得到的所述目标车辆的所述多个轨迹点进行排序得到的,所述多个轨迹点各自对应有采集时刻;所述第一确定单元302,具体用于通过滑窗算法,按照预设的滑窗窗口长度和采集时刻依次检测所述多个轨迹点;其中,所述滑窗窗口长度为滑窗算法中每个滑窗窗口内包含的轨迹点的数量;根据所述每个滑窗窗口内包含的多个轨迹点分别在所述多个车道上的分布,确定所述目标车辆的N个第一轨迹点集合。
在一种可能的实现方式中,所述预设条件还包括:在所述第三轨迹点之前预设范围内的每个轨迹点与所述第一轨迹点在同一个车道上,在所述第四轨迹点之后预设范围内的每个轨迹点与所述第二轨迹点在同一个车道上。
在一种可能的实现方式中,所述多个车道为依次相邻的多个车道;所述车辆换道行为识别装置还包括:分类单元305,用于根据所述M个第二轨迹点集合,确定所述M个第二轨迹点集合各自对应的换道类别,其中,所述换道类别包括向左相邻车道换道、向右相邻车道换道、向左跨车道换道和向右跨车道换道中的一种或多种。
在一种可能的实现方式中,所述车辆换道行为识别装置还包括:传输单元306,用于将所述M个第二轨迹点集合传输至换道行为数据库,所述换道行为数据库用于进行换道行为预测的模型训练。
需要说明的是,本申请实施例中所描述的车辆换道行为识别装置中各功能单元的功能可参见上述图7中所述的方法实施例中步骤S701-步骤S704的相关描述,此处不再进行赘述。
图16中每个单元可以以软件、硬件、或其结合实现。以硬件实现的单元可以包括路及电炉、算法电路或模拟电路等。以软件实现的单元可以包括程序指令,被视为是一种软件产品,被存储于存储器中,并可以被处理器运行以实现相关功能,具体参见之前的介绍。
基于上述方法实施例以及装置实施例的描述,本申请实施例还提供一种计算设备。请参阅图17,图17是本申请实施例提供的一种计算设备的结构示意图,该计算设备至少包括处理器401,输入设备402、输出设备403和计算机可读存储介质404,该计算设备还可以包括其他通用部件,在此不再详述。其中,计算设备内的处理器401,输入设备402、输出设备403和计算机可读存储介质404可通过总线或其他方式连接。
处理器401可以是通用中央处理器(CPU),微处理器,特定应用集成电路(application-specific integrated circuit,ASIC),或一个或多个用于控制以上方案程序执行的集成电路。
该计算设备内的存储器可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过总线与处理器相连接。存储器也可以和处理器集成在一起。
计算机可读存储介质404可以存储在计算设备的存储器中,所述计算机可读存储介质404用于存储计算机程序,所述计算机程序包括程序指令,所述处理器401用于执行所述计算机可读存储介质404存储的程序指令。处理器401(或称CPU(Central ProcessingUnit,中央处理器))是计算设备的计算核心以及控制核心,其适于实现一条或一条以上指令,具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能;在一个实施例中,本申请实施例所述的处理器401可以用于进行车辆换道行为识别的一系列处理,包括:获取目标车辆的轨迹点序列;其中,所述轨迹点序列包括所述目标车辆在目标路段行驶过程中途径的多个轨迹点,所述目标路段包括多个车道,所述多个轨迹点分布在所述多个车道上;从所述多个轨迹点中确定所述目标车辆的N个第一轨迹点集合,其中,每个第一轨迹点集合包括所述多个轨迹点中两个相邻、且分布在不同车道上的第一轨迹点和第二轨迹点;N为大于或者等于1的整数;确定所述第一轨迹点集合对应的第三轨迹点和第四轨迹点,以及判断对应的第三轨迹点和第四轨迹点是否满足预设条件;所述第三轨迹点为所述轨迹点序列中与所述第一轨迹点在同一个车道上的轨迹点,所述第四轨迹点为所述轨迹点序列中与所述第二轨迹点在同一个车道上的轨迹点;确定所述目标车辆的M个第二轨迹点集合;其中,每个第二轨迹点集合包括满足所述预设条件的所述第三轨迹点和所述第四轨迹点以及满足所述预设条件的所述第三轨迹点和所述第四轨迹点之间的多个轨迹点;M为小于或者等于N的整数,等等。
需要说明的是,本申请实施例中所描述的计算设备中各功能单元的功能可参见上述图7中所述的方法实施例中的步骤S701-步骤S704的相关描述,此处不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
本申请实施例还提供了一种计算机可读存储介质(Memory),所述计算机可读存储介质是计算设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机可读存储介质既可以包括计算设备中的内置存储介质,当然也可以包括计算设备所支持的扩展存储介质。计算机可读存储介质提供存储空间,该存储空间存储了计算设备的操作系统。并且,在该存储空间中还存放了适于被处理器401加载并执行的一条或一条以上的指令,这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是,此处的计算机可读存储介质可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器;可选地还可以是至少一个位于远离前述处理器的计算机可读存储介质。
本申请实施例还提供一种计算机程序,该计算机程序包括指令,当该计算机程序被计算机执行时,使得计算机可以执行任意一种车辆换道行为识别方法的部分或全部步骤。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可能可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以为个人计算机、服务端或者网络设备等,具体可以是计算机设备中的处理器)执行本申请各个实施例上述方法的全部或部分步骤。其中,而前述的存储介质可包括:U盘、移动硬盘、磁碟、光盘、只读存储器(Read-OnlyMemory,缩写:ROM)或者随机存取存储器(RandomAccessMemory,缩写:RAM)等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (19)

1.一种车辆换道行为识别方法,其特征在于,包括:
获取目标车辆的轨迹点序列;其中,所述轨迹点序列包括所述目标车辆在目标路段行驶过程中途径的多个轨迹点,所述目标路段包括多个车道,所述多个轨迹点分布在所述多个车道上;
从所述多个轨迹点中确定所述目标车辆的N个第一轨迹点集合,其中,每个第一轨迹点集合包括所述多个轨迹点中两个相邻、且分布在不同车道上的第一轨迹点和第二轨迹点;N为大于或者等于1的整数;
确定所述第一轨迹点集合对应的第三轨迹点和第四轨迹点,以及判断对应的所述第三轨迹点和所述第四轨迹点是否满足预设条件;所述第三轨迹点为所述轨迹点序列中与所述第一轨迹点在同一个车道上的轨迹点,所述第四轨迹点为所述轨迹点序列中与所述第二轨迹点在同一个车道上的轨迹点;
确定所述目标车辆的M个第二轨迹点集合;其中,每个第二轨迹点集合包括满足所述预设条件的所述第三轨迹点和所述第四轨迹点以及满足所述预设条件的所述第三轨迹点和所述第四轨迹点之间的多个轨迹点;M为小于或者等于N的整数。
2.根据权利要求1所述的方法,其特征在于,所述第一轨迹点为换道前的轨迹点,所述第二轨迹点为换道后的轨迹点;所述第三轨迹点与所述第一轨迹点之间包括P个轨迹点,所述第四轨迹点与所述第二轨迹点之间包括K个轨迹点;所述预设条件包括:所述第三轨迹点与所在车道的车道中心线的距离大于第一预设值,所述第四轨迹点与所在车道的车道中心线的距离小于第二预设值,并且,所述P个轨迹点与所述第一轨迹点在同一个车道上,所述K个轨迹点与所述第二轨迹点在同一个车道上;P、K为大于或者等于0的整数。
3.根据权利要求2所述的方法,其特征在于,所述预设条件还包括:所述第三轨迹点的相邻前一个轨迹点与所述第一轨迹点在同一车道上且与所在车道的车道中心线的距离小于所述第一预设值,所述P个轨迹点与所在车道的车道中心线的距离大于所述第一预设值,所述K个轨迹点与所在车道的车道中心线的距离大于所述第二预设值。
4.根据权利要求3所述的方法,其特征在于,所述目标路段为非路口区域的路段,所述第二轨迹点集合构成的轨迹为所述目标车辆的换道行为对应的行驶轨迹,满足所述预设条件的所述第三轨迹点为所述目标车辆的换道开始轨迹点,满足所述预设条件的所述第四轨迹点为所述目标车辆的换道结束轨迹点。
5.根据权利要求1-4任意一项所述的方法,其特征在于,所述轨迹点序列为根据时间顺序对按照预设频率采集得到的所述目标车辆的所述多个轨迹点进行排序得到的,所述多个轨迹点各自对应有采集时刻;所述从所述多个轨迹点中确定所述目标车辆的N个第一轨迹点集合,包括:
通过滑窗算法,按照预设的滑窗窗口长度和采集时刻依次检测所述多个轨迹点;其中,所述滑窗窗口长度为滑窗算法中每个滑窗窗口内包含的轨迹点的数量;
根据所述每个滑窗窗口内包含的多个轨迹点分别在所述多个车道上的分布,确定所述目标车辆的N个第一轨迹点集合。
6.根据权利要求1-5任意一项所述的方法,其特征在于,所述预设条件还包括:在所述第三轨迹点之前预设范围内的每个轨迹点与所述第一轨迹点在同一个车道上,在所述第四轨迹点之后预设范围内的每个轨迹点与所述第二轨迹点在同一个车道上。
7.根据权利要求1-6任意一项所述的方法,其特征在于,所述多个车道为依次相邻的多个车道,所述方法还包括:
根据所述M个第二轨迹点集合,确定所述M个第二轨迹点集合各自对应的换道类别,其中,所述换道类别包括向左相邻车道换道、向右相邻车道换道、向左跨车道换道和向右跨车道换道中的一种或多种。
8.根据权利要求1-7任意一项所述的方法,其特征在于,所述方法还包括:
将所述M个第二轨迹点集合传输至换道行为数据库,所述换道行为数据库用于进行换道行为预测的模型训练。
9.一种车辆换道行为识别装置,其特征在于,包括:
获取单元,用于获取目标车辆的轨迹点序列;其中,所述轨迹点序列包括所述目标车辆在目标路段行驶过程中途径的多个轨迹点,所述目标路段包括多个车道,所述多个轨迹点分布在所述多个车道上;
第一确定单元,用于从所述多个轨迹点中确定所述目标车辆的N个第一轨迹点集合,其中,每个第一轨迹点集合包括所述多个轨迹点中两个相邻、且分布在不同车道上的第一轨迹点和第二轨迹点;N为大于或者等于1的整数;
第二确定单元,用于确定所述第一轨迹点集合对应的第三轨迹点和第四轨迹点,以及判断对应的第三轨迹点和第四轨迹点是否满足预设条件;所述第三轨迹点为所述轨迹点序列中与所述第一轨迹点在同一个车道上的轨迹点,所述第四轨迹点为所述轨迹点序列中与所述第二轨迹点在同一个车道上的轨迹点;
第三确定单元,用于确定所述目标车辆的M个第二轨迹点集合;其中,每个第二轨迹点集合包括满足所述预设条件的所述第三轨迹点和所述第四轨迹点以及满足所述预设条件的所述第三轨迹点和所述第四轨迹点之间的多个轨迹点;M为小于或者等于N的整数。
10.根据权利要求9所述的装置,其特征在于,所述第一轨迹点为换道前的轨迹点,所述第二轨迹点为换道后的轨迹点;所述第三轨迹点与所述第一轨迹点之间包括P个轨迹点,所述第四轨迹点与所述第二轨迹点之间包括K个轨迹点;所述预设条件包括:所述第三轨迹点与所在车道的车道中心线的距离大于第一预设值,所述第四轨迹点与所在车道的车道中心线的距离小于第二预设值,并且,所述P个轨迹点与所述第一轨迹点在同一个车道上,所述K个轨迹点与所述第二轨迹点在同一个车道上;P、K为大于或者等于0的整数。
11.根据权利要求10所述的装置,其特征在于,所述预设条件还包括:所述第三轨迹点的相邻前一个轨迹点与所述第一轨迹点在同一车道上且与所在车道的车道中心线的距离小于所述第一预设值,所述P个轨迹点与所在车道的车道中心线的距离大于所述第一预设值,所述K个轨迹点与所在车道的车道中心线的距离大于所述第二预设值。
12.根据权利要求11所述的装置,其特征在于,所述目标路段为非路口区域的路段,所述第二轨迹点集合构成的轨迹为所述目标车辆的换道行为对应的行驶轨迹,满足所述预设条件的所述第三轨迹点为所述目标车辆的换道开始轨迹点,满足所述预设条件的所述第四轨迹点为所述目标车辆的换道结束轨迹点。
13.根据权利要求9-12任意一项所述的装置,其特征在于,所述轨迹点序列为根据时间顺序对按照预设频率采集得到的所述目标车辆的所述多个轨迹点进行排序得到的,所述多个轨迹点各自对应有采集时刻;所述第一确定单元,具体用于:
通过滑窗算法,按照预设的滑窗窗口长度和采集时刻依次检测所述多个轨迹点;其中,所述滑窗窗口长度为滑窗算法中每个滑窗窗口内包含的轨迹点的数量;
根据所述每个滑窗窗口内包含的多个轨迹点分别在所述多个车道上的分布,确定所述目标车辆的N个第一轨迹点集合。
14.根据权利要求9-13任意一项所述的装置,其特征在于,所述预设条件还包括:在所述第三轨迹点之前预设范围内的每个轨迹点与所述第一轨迹点在同一个车道上,在所述第四轨迹点之后预设范围内的每个轨迹点与所述第二轨迹点在同一个车道上。
15.根据权利要求9-14任意一项所述的装置,其特征在于,所述多个车道为依次相邻的多个车道,所述装置还包括:
分类单元,用于根据所述M个第二轨迹点集合,确定所述M个第二轨迹点集合各自对应的换道类别;其中,所述换道类别包括向左相邻车道换道、向右相邻车道换道、向左跨车道换道和向右跨车道换道中的一种或多种。
16.根据权利要求9-15任意一项所述的装置,其特征在于,所述装置还包括:
传输单元,用于将所述M个第二轨迹点集合传输至换道行为数据库,所述换道行为数据库用于进行换道行为预测的模型训练。
17.一种计算设备,其特征在于,包括处理器和存储器,所述处理器和存储器相连,其中,所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,以执行如权利要求1至8任意一项所述的方法。
18.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述权利要求1至8任意一项所述的方法。
19.一种计算机程序,其特征在于,所述计算机程序包括指令,当所述计算机程序被计算机执行时,使得所述计算机执行如权利要求1至8任意一项所述的方法。
CN202010231201.8A 2020-03-27 2020-03-27 一种车辆换道行为识别方法及相关设备 Active CN113511204B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010231201.8A CN113511204B (zh) 2020-03-27 2020-03-27 一种车辆换道行为识别方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010231201.8A CN113511204B (zh) 2020-03-27 2020-03-27 一种车辆换道行为识别方法及相关设备

Publications (2)

Publication Number Publication Date
CN113511204A true CN113511204A (zh) 2021-10-19
CN113511204B CN113511204B (zh) 2022-11-11

Family

ID=78060112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010231201.8A Active CN113511204B (zh) 2020-03-27 2020-03-27 一种车辆换道行为识别方法及相关设备

Country Status (1)

Country Link
CN (1) CN113511204B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114043989A (zh) * 2021-11-29 2022-02-15 江苏大学 一种基于递归图和卷积神经网络的驾驶风格识别模型、换道决策模型及决策方法
CN115240426A (zh) * 2022-07-26 2022-10-25 东软睿驰汽车技术(沈阳)有限公司 一种变道数据的自动定位方法、装置、设备及存储介质
CN115631653A (zh) * 2022-09-30 2023-01-20 中国第一汽车股份有限公司 换道时间区间确定方法、装置、存储介质及电子装置
CN115953917A (zh) * 2023-03-14 2023-04-11 西安科技大学 基于实时轨迹特征分析的危险变道路段识别与管控方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107323450A (zh) * 2017-06-08 2017-11-07 广州汽车集团股份有限公司 车辆变道的控制方法及装置、存储介质
US20180186378A1 (en) * 2016-12-30 2018-07-05 Baidu Usa Llc Method and system for operating autonomous driving vehicles using graph-based lane change guide
US20180297639A1 (en) * 2017-04-12 2018-10-18 Toyota Jidosha Kabushiki Kaisha Lane change assist apparatus for vehicle
CN109285348A (zh) * 2018-10-26 2019-01-29 深圳大学 一种基于双向长短时记忆网络的车辆行为识别方法及系统
CN109459047A (zh) * 2018-12-24 2019-03-12 武汉大学 车辆高精度定位数据与导航地图精确匹配及变道行为探测方法
CN109937343A (zh) * 2017-06-22 2019-06-25 百度时代网络技术(北京)有限公司 用于自动驾驶车辆交通预测中的预测轨迹的评估框架
CN110705388A (zh) * 2019-09-16 2020-01-17 清华大学 一种基于预测反馈的辅助驾驶用目标车辆换道识别方法
CN110843789A (zh) * 2019-11-19 2020-02-28 苏州智加科技有限公司 一种基于时序卷积网络的车辆换道意图预测方法
US20200089245A1 (en) * 2018-09-14 2020-03-19 Peyman Yadmellat System and method for hierarchical planning in autonomous vehicles

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180186378A1 (en) * 2016-12-30 2018-07-05 Baidu Usa Llc Method and system for operating autonomous driving vehicles using graph-based lane change guide
US20180297639A1 (en) * 2017-04-12 2018-10-18 Toyota Jidosha Kabushiki Kaisha Lane change assist apparatus for vehicle
CN107323450A (zh) * 2017-06-08 2017-11-07 广州汽车集团股份有限公司 车辆变道的控制方法及装置、存储介质
CN109937343A (zh) * 2017-06-22 2019-06-25 百度时代网络技术(北京)有限公司 用于自动驾驶车辆交通预测中的预测轨迹的评估框架
US20200089245A1 (en) * 2018-09-14 2020-03-19 Peyman Yadmellat System and method for hierarchical planning in autonomous vehicles
CN109285348A (zh) * 2018-10-26 2019-01-29 深圳大学 一种基于双向长短时记忆网络的车辆行为识别方法及系统
CN109459047A (zh) * 2018-12-24 2019-03-12 武汉大学 车辆高精度定位数据与导航地图精确匹配及变道行为探测方法
CN110705388A (zh) * 2019-09-16 2020-01-17 清华大学 一种基于预测反馈的辅助驾驶用目标车辆换道识别方法
CN110843789A (zh) * 2019-11-19 2020-02-28 苏州智加科技有限公司 一种基于时序卷积网络的车辆换道意图预测方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114043989A (zh) * 2021-11-29 2022-02-15 江苏大学 一种基于递归图和卷积神经网络的驾驶风格识别模型、换道决策模型及决策方法
CN115240426A (zh) * 2022-07-26 2022-10-25 东软睿驰汽车技术(沈阳)有限公司 一种变道数据的自动定位方法、装置、设备及存储介质
CN115240426B (zh) * 2022-07-26 2024-03-26 东软睿驰汽车技术(沈阳)有限公司 一种变道数据的自动定位方法、装置、设备及存储介质
CN115631653A (zh) * 2022-09-30 2023-01-20 中国第一汽车股份有限公司 换道时间区间确定方法、装置、存储介质及电子装置
CN115953917A (zh) * 2023-03-14 2023-04-11 西安科技大学 基于实时轨迹特征分析的危险变道路段识别与管控方法
CN115953917B (zh) * 2023-03-14 2023-05-30 西安科技大学 基于实时轨迹特征分析的危险变道路段识别与管控方法

Also Published As

Publication number Publication date
CN113511204B (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
US11554785B2 (en) Driving scenario machine learning network and driving environment simulation
CN113511204B (zh) 一种车辆换道行为识别方法及相关设备
Zyner et al. A recurrent neural network solution for predicting driver intention at unsignalized intersections
US10981567B2 (en) Feature-based prediction
CN113165652B (zh) 使用基于网格的方法检验预测轨迹
CN107782564B (zh) 一种自动驾驶车辆测评系统及方法
WO2021135371A1 (zh) 一种自动驾驶方法、相关设备及计算机可读存储介质
US10635117B2 (en) Traffic navigation for a lead vehicle and associated following vehicles
CN113792566A (zh) 一种激光点云的处理方法及相关设备
US20220161830A1 (en) Dynamic Scene Representation
CN114693540A (zh) 一种图像处理方法、装置以及智能汽车
Liu et al. A novel method for predicting vehicle state in internet of vehicles
CN111882924A (zh) 车辆测试系统、驾驶行为判断控制方法及事故预警方法
WO2022160900A1 (zh) 一种测试场景构建方法及装置
CN113885045A (zh) 车道线的检测方法和装置
CN110765224A (zh) 电子地图的处理方法、车辆视觉重定位的方法和车载设备
WO2022178858A1 (zh) 一种车辆行驶意图预测方法、装置、终端及存储介质
CN116686028A (zh) 一种驾驶辅助的方法以及相关设备
CN112829762A (zh) 一种车辆行驶速度生成方法以及相关设备
JP7042167B2 (ja) 車両制御装置、車両制御方法、およびプログラム
US20220172606A1 (en) Systems and Methods for Extracting Data From Autonomous Vehicles
CN114722931A (zh) 车载数据处理方法、装置、数据采集设备和存储介质
CN113741384B (zh) 检测自动驾驶系统的方法和装置
CN114771576A (zh) 行为数据处理方法、自动驾驶车辆的控制方法及自动驾驶车辆
CN110446106B (zh) 一种前置摄像头文件的识别方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant