CN116653973A - 障碍物运动轨迹生成方法、装置、设备以及自动驾驶车辆 - Google Patents
障碍物运动轨迹生成方法、装置、设备以及自动驾驶车辆 Download PDFInfo
- Publication number
- CN116653973A CN116653973A CN202310869918.9A CN202310869918A CN116653973A CN 116653973 A CN116653973 A CN 116653973A CN 202310869918 A CN202310869918 A CN 202310869918A CN 116653973 A CN116653973 A CN 116653973A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- track
- information
- initial
- movement track
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 251
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000004422 calculation algorithm Methods 0.000 claims description 32
- 238000000605 extraction Methods 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 28
- 238000001514 detection method Methods 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 15
- 230000007613 environmental effect Effects 0.000 claims description 15
- 230000007246 mechanism Effects 0.000 claims description 13
- 230000004888 barrier function Effects 0.000 claims description 10
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 2
- 230000006399 behavior Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000013136 deep learning model Methods 0.000 description 9
- 230000004927 fusion Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
本公开提供了障碍物运动轨迹生成方法、装置、设备以及自动驾驶车辆,涉及人工智能技术领域,尤其涉及深度学习技术领域、自动驾驶技术领域和智能交通技术领域。具体实现方案为:对与车辆相关的障碍物信息和行驶环境信息分别进行特征提取,得到障碍物特征和环境特征;根据障碍物特征和环境特征,更新与车辆相关的障碍物的初始障碍物运动轨迹,得到更新后的中间障碍物运动轨迹;以及根据中间障碍物运动轨迹,对障碍物进行运动轨迹预测,生成与障碍物相关的障碍物运动轨迹。
Description
技术领域
本公开涉及人工智能技术领域,尤其涉及深度学习技术领域、自动驾驶技术领域和智能交通技术领域。
背景技术
随着自动驾驶技术的快速发展,具有自动驾驶功能的车辆可以通过毫米波雷达、深度相机等检测装置来检测车辆周边行驶环境和车辆周边的其他车辆等障碍物,并根据检测结果预测障碍物在未来的行为状态,从而有助于及时调整车辆自身的行驶状态。
发明内容
本公开提供了一种障碍物运动轨迹生成方法、装置、设备、存储介质以及自动驾驶车辆。
根据本公开的一方面,提供了一种障碍物轨迹生成方法,包括:对与车辆相关的障碍物信息和行驶环境信息分别进行特征提取,得到障碍物特征和环境特征;根据障碍物特征和环境特征,更新与车辆相关的障碍物的初始障碍物运动轨迹,得到更新后的中间障碍物运动轨迹;以及根据中间障碍物运动轨迹,对障碍物进行运动轨迹预测,生成与障碍物相关的障碍物运动轨迹。
根据本公开的另一方面,提供了一种障碍物轨迹生成装置,包括:特征提取模块,用于对与车辆相关的障碍物信息和行驶环境信息分别进行特征提取,得到障碍物特征和环境特征;更新模块,用于根据障碍物特征和环境特征,更新与车辆相关的障碍物的初始障碍物运动轨迹,得到更新后的中间障碍物运动轨迹;以及障碍物运动轨迹生成模块,用于根据中间障碍物运动轨迹,对障碍物进行运动轨迹预测,生成与障碍物相关的障碍物运动轨迹。
根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行根据本公开实施例提供的方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据本公开实施例提供的方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据本公开实施例提供的方法。
根据本公开的另一方面,提供了一种自动驾驶车辆,包括根据本公开实施例提供的电子设备。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1示意性示出了根据本公开实施例的可以应用障碍物运动轨迹生成方法及装置的示例性系统架构。
图2A示意性示出了根据本公开实施例的障碍物轨迹生成方法的流程图。
图2B示意性示出了根据本公开实施例的初始障碍物运动轨迹的示意图。
图3示意性示出了根据本公开实施例的深度学习模型的原理图。
图4示意性示出了根据本公开实施例的编码器的原理图。
图5示意性示出了根据本公开实施例的特征提取分支的原理图。
图6示意性示出了根据本公开实施例的解码器的原理图。
图7示意性示出了根据本公开实施例的轨迹回归分支的原理图。
图8示意性示出了根据本公开实施例的障碍物运动轨迹生成装置的框图。
图9示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
在本公开的技术方案中,所涉及的用户个人信息的获取,存储和应用等,均符合相关法律法规的规定,采取了必要保密措施,且不违背公序良俗。
发明人发现,具有自动驾驶功能的车辆,对于车辆周边的障碍物的未来行为状态的预测精度较低,导致难以及时地调整车辆的行驶状态,这将对车辆的行驶安全、行驶效率产生一定的负面影响。
本公开的实施例提供了一种障碍物运动轨迹生成方法、装置、电子设备、存储介质和计算机程序产品。该障碍物运动轨迹生成方法包括:对与车辆相关的障碍物信息和行驶环境信息分别进行特征提取,得到障碍物特征和环境特征;根据障碍物特征和环境特征,更新与车辆相关的障碍物的初始障碍物运动轨迹,得到更新后的中间障碍物运动轨迹;以及根据中间障碍物运动轨迹,对障碍物进行运动轨迹预测,生成与障碍物相关的障碍物运动轨迹。
根据本公开的实施例,通过将从障碍物信息和行驶环境信息提取得到的障碍物特征和环境特征,来更新初始障碍物运动轨迹,可以使更新后得到的中间障碍物运动轨迹,较为准确地表征障碍物在障碍物信息和行驶环境信息影响下会产生的运动行为,从而根据中间障碍物运动轨迹来生成障碍物运动轨迹,可以提升针对障碍物运动行为的预测精度,进而提升具有自动驾驶功能的车辆对于周边障碍物的行为预测准确率,提升车辆的自动驾驶性能。
图1示意性示出了根据本公开实施例的可以应用障碍物运动轨迹生成方法及装置的示例性系统架构。
需要注意的是,图1所示仅为可以应用本公开实施例的系统架构的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。例如,在另一实施例中,可以应用障碍物运动轨迹生成方法及装置的示例性系统架构可以包括车辆,但车辆可以无需与服务器进行交互,即可实现本公开实施例提供的障碍物运动轨迹生成方法及装置。
如图1所示,根据该实施例的系统架构100可以包括车辆101、102、103、网络104和服务器105。网络104用以在车辆101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线和/或无线通信链路等等。
用户可以使用车辆101、102、103通过网络104与服务器105交互,以接收或发送消息等。车辆101、102、103上可以安装有毫米波雷达等检测装置,还可以安装有图像处理芯片等数据处理装置,还可以安装有通信装置,以便于与服务器105之间进行信息交互。
车辆101、102、103可以是具有自动驾驶功能的载具,包括但不限于轿车、客车、货车或无人驾驶车等等。
服务器105可以是提供各种服务的服务器,例如对用户利用车辆101、102、103执行驾驶功能提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理,并将处理结果反馈给车辆。
需要说明的是,本公开实施例所提供的障碍物运动轨迹生成方法一般可以由车辆101、102、或103执行。相应地,本公开实施例所提供的障碍物运动轨迹生成装置也可以设置于车辆101、102、或103中。
或者,本公开实施例所提供的障碍物运动轨迹生成方法一般也可以由服务器105执行。相应地,本公开实施例所提供的障碍物运动轨迹生成装置一般可以设置于服务器105中。本公开实施例所提供的障碍物运动轨迹生成方法也可以由不同于服务器105且能够与车辆101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地,本公开实施例所提供的障碍物运动轨迹生成装置也可以设置于不同于服务器105且能够与车辆101、102、103和/或服务器105通信的服务器或服务器集群中。
应该理解,图1中的车辆、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的车辆、网络和服务器。
图2A示意性示出了根据本公开实施例的障碍物轨迹生成方法的流程图。
如图2A所示,该障碍物轨迹生成方法包括操作S210~S230。
在操作S210,对与车辆相关的障碍物信息和行驶环境信息分别进行特征提取,得到障碍物特征和环境特征。
在操作S220,根据障碍物特征和环境特征,更新与车辆相关的障碍物的初始障碍物运动轨迹,得到更新后的中间障碍物运动轨迹。
在操作S230,根据中间障碍物运动轨迹,对障碍物进行运动轨迹预测,生成与障碍物相关的障碍物运动轨迹。
根据本公开的实施例,障碍物可以是车辆周边的其他的机动车、非机动车、行人等。障碍物信息可以包括障碍物的运动状态、位置等属性信息。可以通过安装在车辆上的毫米波雷达、单目相机、深度相机等车载传感器来从行驶环境中感知到障碍物信息。行驶环境信息可以包含有静态的环境信息,例如车道线、停止线、交通信号灯、道路拓扑等等。障碍物信息和行驶环境信息的信息类型可以包括图像、视频、点云数据等等。本公开的实施例对障碍物信息和行驶环境信息各自的信息类型不做限定。
根据本公开的实施例,可以基于神经网络算法对与车辆相关的障碍物信息和行驶环境信息分别进行特征提取,例如可以基于CNN(Convolutional Neural Networks,卷积神经网络),来提取得到障碍物特征和环境特征。但不仅限于此,还可以基于其他类型的神经网络算法来提取得到障碍物特征和环境特征,本公开的实施例对此不做限定。
根据本公开的实施例,初始障碍物运动轨迹可以是初步表征障碍物在未来时间段中的运动行为,初始障碍物运动轨迹可以通过针对样本障碍物在历史阶段中的运动行为进行收集后得到,或者还可以基于其他的方式获取到初始障碍物运动轨迹,例如还可以基于随机生成的方式来得到初始障碍物运动轨迹,本公开的实施例对得到初始障碍物运动轨迹的具体方式不做限定。
根据本公开的实施例,根据障碍物特征和环境特征,更新与车辆相关的障碍物的初始障碍物运动轨迹,可以使更新后得到的中间障碍物运动轨迹,较为准确地表征障碍物在障碍物信息和行驶环境信息影响下会产生的运动行为。例如可以基于神经网络算法来融合与初始障碍物运动轨迹相关的初始轨迹特征、障碍物特征和环境特征,并根据得到的融合轨迹特征来确定中间障碍物运动轨迹。但不仅限于此,还可以基于其他的方式来更新与车辆相关的障碍物的初始障碍物运动轨迹,本公开的实施例对此不做限定。
根据本公开的实施例,与障碍物相关的障碍物运动轨迹可以是较为精准地表征障碍物在未来时间段中的运动行为的轨迹,中间障碍物运动轨迹能够较为准确地表征,障碍物在障碍物信息和行驶环境信息影响下会产生的运动行为,因此根据中间障碍物运动轨迹生成的障碍物运动轨迹,可以提升针对障碍物运动行为的预测精度,进而提升具有自动驾驶功能的车辆对于周边障碍物的行为预测准确率,提升车辆的自动驾驶性能。
根据本公开的实施例,障碍物轨迹生成方法还可以包括:根据预设算法处理获取到的待处理障碍物运动轨迹集,得到待处理障碍物运动轨迹之间的相关度检测结果,其中,待处理障碍物运动轨迹集包括多个待处理障碍物运动轨迹;以及根据相关度检测结果,从待处理障碍物运动轨迹集中确定初始障碍物运动轨迹。
根据本公开的实施例,待处理障碍物运动轨迹集可以包含有历史时间段中针对样本障碍物的运动行为收集到的运动轨迹。相关度检测结果可以是指示待处理障碍物运动轨迹之间的相关程度、相似程度的检测结果。
根据本公开的实施例,预设算法可以包括聚类算法,但不仅限于此,预设算法还可以包括相似度算法、相关系数算法等其他类型的算法,本公开的实施例对预设算法的具体类型不做限定,本领域技术员可以根据实际需求进行选择。
根据本公开的实施例,预设算法可以是K-means(K均值)算法,通过K-means(K均值)算法处理待处理障碍物运动轨迹集,可以得到待处理障碍物运动轨迹集中的聚类中心运动轨迹,可以将聚类中心运动轨迹确定为初始障碍物运动轨迹,从而使得到的初始障碍物运动轨迹能够较为准确地表征障碍物个性化的运动行为意图,提升后续得到的障碍物运动轨迹对障碍物运动行为意图的预测精度。
图2B示意性示出了根据本公开实施例的初始障碍物运动轨迹的示意图。
如图2B所示,可以基于聚类算法处理待处理障碍物运动轨迹集,从而筛选得到多个初始障碍物运动轨迹。多个初始障碍物运动轨迹各自可以位于预设坐标系中,通过X坐标轴和Y坐标轴的坐标值表征初始障碍物运动轨迹中的初始轨迹点,进而通过初始轨迹点的坐标值来表征初始障碍物运动轨迹。
图3示意性示出了根据本公开实施例的深度学习模型的原理图。
如图3所示,深度学习模型300可以适用于处理障碍物信息301、行驶环境信息302和初始障碍物运动轨迹303,得到与车辆相关的障碍物的障碍物运动轨迹304。
深度学习模型300可以包括编码器310和解码器320和意图特征交互网络250。可以将障碍物信息301和行驶环境信息302输入至编码器210,输出障碍物特征和环境特征,编码器210可以是基于注意力网络算法(例如Transformer算法)构建得到的。
初始障碍物运动轨迹303可以是利用聚类算法处理待处理障碍物运动轨迹集后得到的。将初始障碍物运动轨迹303,以及编码器210输出的障碍物特征和环境特征输入至解码器310,可以输出障碍物运动轨迹304。
例如,解码器310可以处理障碍物特征和环境特征,得到与初始运动轨迹303相关的轨迹偏移信息,通过轨迹偏移信息更新初始障碍物运动轨迹303,得到中间障碍物运动轨迹。根据中间障碍物运动轨迹来进一步生成障碍物运动轨迹304。
需要说明的是,图3所示的深度学习模型200可以是根据训练方法训练后得到的,例如可以基于有监督训练方法来训练初始的深度学习模型,以调整初始深度学习模型的模型参数,得到训练后的深度学习模型300。
根据本公开的实施例,行驶环境信息可以包括道路拓扑信息和行驶控制信号信息。道路拓扑信息可以是与车辆的行驶环境相关的地图信息,地图信息可以包含有车道线、通行指示标识、主路车道指示标识等等。行驶控制信号信息可以是交通信号灯的控制信号;例如左转通行信号、直行通行信号等等。行驶控制信号信息还可以是用于指示障碍物停止或运动的知识标识,例如停止线标识等。应该理解的是,可以对道路拓扑信息进行特征提取,得到道路特征,还可以对行驶控制信号信息进行特征提取,得到行驶控制信号特征。
图4示意性示出了根据本公开实施例的编码器的原理图。
如图4所示,编码器400可以包括三个特征提取分支,第一个特征提取分支可以包括第一特征嵌入层411、第一卷积层412和第一注意力网络层413。第二个特征提取分支可以包括第二特征嵌入层421、第二卷积层422和第二注意力网络层423。第三个特征提取分支可以包括第三特征嵌入层431、第三卷积层432和第三注意力网络层433。
可以将障碍物信息401、道路拓扑信息402和行驶控制信号信息403分别输入至第一特征嵌入层411、第二特征嵌入层421和第三特征嵌入层341,输出第一嵌入特征、第二嵌入特征和第三嵌入特征。将第一嵌入特征、第二嵌入特征和第三嵌入特征分别输入至第一卷积层412、第二卷积层422和第三卷积层432,输出初始障碍物特征、初始道路特征和初始行驶控制信号特征。初始障碍物特征、初始道路特征和初始行驶控制信号特征分别输入至第一注意力网络层413、第二注意力网络层423和第三注意力网络层433,输出障碍物特征401’、道路特征402’和行驶控制信号特征403’。
根据本公开的实施例,通过将障碍物信息、道路拓扑信息和行驶控制信号信息分别输入至不同的特征提取分支,可以实现针对障碍物在行驶过程中感知到的不同类型的信息进行区分化特征提取,从而提升障碍物特征、道路特征和行驶控制信号特征分别对于各自的信息的表征精度,从而提升后续障碍物运动轨迹的预测准确程度。
应该理解的是,环境特征可以包括道路特征和行驶控制信号特征。
根据本公开的实施例,障碍物信息可以包括以下至少一项:障碍物尺寸(例如长度、宽度等)、障碍物类型、障碍物标识、障碍物转向灯信号(例如左转灯信号、右转灯信号、转向灯双闪信号等)、速度、方向、位置等。
根据本公开的实施例,道路拓扑信息可以包括以下至少一项:道路类型、道路转向类型、是否为汇入道路、是否为分叉道路,主路标识、辅路标识、通行禁止标识等。
根据本公开的实施例,行驶控制信号信息可以包括以下至少一项:信号灯颜色、信号灯指示方向(例如直行指示方向、左转指示方向、右转指示方向、掉头指示方向)、停止线位置等等。
根据本公开的实施例,对与车辆相关的障碍物信息和行驶环境信息分别进行特征提取,得到障碍物特征和环境特征包括:从障碍物信息中确定具有目标类型的多个初始连续子信息,多个初始连续子信息之间具有时序关系;根据多个初始连续子信息之间的时序关系,对多个初始连续子信息进行差分处理,得到多个差分子信息;以及基于注意力机制对多个差分子信息和障碍物信息进行特征提取,得到障碍物特征。
根据本公开的实施例,具有目标类型的初始连续子信息,例如可以是障碍物的速度、方向、位置等障碍物信息中的具有时序关系的子信息。多个初始连续子信息之间的时序关系,例如可以是t1时刻采集到的障碍物的位置,以及t2时刻采集到的障碍物的位置,t1时刻早于t2时刻。对多个初始连续子信息进行差分处理,例如可以是基于差分算法处理t1时刻采集到的障碍物的位置,以及t2时刻采集到的障碍物的位置,得到差分子信息。
根据本公开的实施例,通过对多个初始连续子信息进行差分处理可以使深度学习模型充分捕捉到障碍物信息中与时序关系相关的信息的状态变化情况,提升针对障碍物信息中的状态变化规律的提取能力,进而使得到的障碍物特征提升针对障碍物的行为变化规律的表征能力,提升后续障碍物运动轨迹的预测准确度。
根据本公开的实施例,障碍物信息还可以包含离散化的初始离散子信息,同一类型的初始离散子信息之间可以不具有时序关系。初始离散子信息例如可以是障碍物尺寸(例如长度、宽度等)、障碍物类型、障碍物标识、障碍物转向灯信号等。
根据本公开的实施例,基于注意力机制对多个差分子信息和障碍物信息进行特征提取,得到障碍物特征可以包括:基于N个特征嵌入方式分别对差分子信息、初始连续子信息和初始离散子信息进行特征嵌入,得到差分嵌入特征、连续特征和离散嵌入特征,其中,N≥3,且N为整数,初始离散子信息为从障碍物信息中确定的;融合差分嵌入特征、连续特征和离散嵌入特征,得到障碍物嵌入特征;以及基于注意力机制对障碍物嵌入特征进行特征提取,得到障碍物特征。
根据本公开的实施例,基于注意力机制对多个差分子信息和障碍物信息进行特征提取,可以是将多个差分子信息、初始离散子信息和初始连续子信息分别输入至第一嵌入层中不同的特征嵌入子层(例如分别输入至3个不同的特征嵌入子层),以便于针对多个差分子信息、初始离散子信息和初始连续子信息分别进行特征嵌入(embedding),得到多个差分子信息、初始离散子信息和初始连续子信息各自对应的差分嵌入特征、连续特征和离散嵌入特征,将差分嵌入特征、连续特征和离散嵌入特征进行拼接后,得到第一特征嵌入层输出的障碍物嵌入特征。
根据本公开的实施例,通过融合差分嵌入特征、连续特征和离散嵌入特征,可以使融合后得到的障碍物嵌入特征较为充分地表征障碍物的行为意图。
根据本公开的实施例,基于注意力机制对障碍物嵌入特征进行特征提取,得到障碍物特征可以包括:对障碍物嵌入特征进行至少一次卷积,得到中间障碍物特征;以及基于注意力网络算法处理中间障碍物特征,得到障碍物特征。
图5示意性示出了根据本公开实施例的特征提取分支的原理图。
如图5所示,特征提取分支可以包含有第一特征嵌入层510、第一卷积层520和第一注意力网络层530。第一特征嵌入层510可以包括第一特征嵌入子层511、第二特征嵌入子层512和第三特征嵌入子层513。
可以从障碍物信息中确定的差分子信息501、初始连续子信息502和初始离散子信息503分别输入至第一特征嵌入子层511、第二特征嵌入子层512和第三特征嵌入子层513,输出差分嵌入特征、连续特征和离散嵌入特征。将差分嵌入特征、连续特征和离散嵌入特征拼接后可以得到障碍物嵌入特征。障碍物嵌入特征输入至第一卷积层520,输出中间障碍物特征。中间障碍物特征输入至基于注意力网络算法构建得到的第一注意力网络层530,输出障碍物特征504。
根据本公开的实施例,根据障碍物特征和环境特征,更新与车辆相关的障碍物的初始障碍物运动轨迹,得到更新后的中间障碍物运动轨迹可以包括:根据障碍物特征和环境特征,确定与初始障碍物运动轨迹相关的轨迹偏移信息;以及根据轨迹偏移信息更新初始障碍物运动轨迹,得到中间障碍物运动轨迹。
根据本公开的实施例,轨迹偏移信息可以是轨迹的偏移坐标信息,轨迹偏移量信息等任意类型的信息,本公开的实施例对轨迹偏移信息的具体信息类型不做限定。
根据本公开的实施例,可以基于神经网络算法来处理障碍物特征和环境特征,得到轨迹偏移信息。例如可以基于多层感知器算法来处理障碍物特征和环境特征,但不仅限于此,还可以基于其他类型的神经网络算法来处理障碍物特征和环境特征。
根据本公开的实施例,根据中间障碍物运动轨迹,对障碍物进行运动轨迹预测,生成与障碍物相关的障碍物运动轨迹可以包括:根据中间障碍物运动轨迹,以及获取到的与中间障碍物运动轨迹相关的轨迹权重,确定障碍物运动轨迹。
根据本公开的实施例,与中间障碍物运动轨迹相关的轨迹权重,可以是预先设定的,或者还可以根据障碍物特征和/或环境特征来确定轨迹权重,从而使轨迹权重可以反映障碍物在障碍物信息和/或行驶环境信息的影响条件下,在未来时间段执行与中间障碍物运动轨迹的可能性,从而可以使根据轨迹权重和中间障碍物运动轨迹得到的障碍物运动轨迹,可以准确地表征障碍物的行为意图。
根据本公开的实施例,障碍物轨迹生成方法还可以包括:根据障碍物特征和环境特征,确定与中间障碍物运动轨迹相关的轨迹权重。
图6示意性示出了根据本公开实施例的解码器的原理图。
如图6所示,解码器可以包括轨迹回归分支610和权重预测分支620。轨迹回归分支610可以包括特征提取层611、轨迹偏移信息回归层612和轨迹更新层613。
融合特征601可以是障碍物特征与环境特征的拼接结果,可以将融合特征601输入至特征提取层611,以对障碍物特征与环境特征进行特征提取,得到初始轨迹特征。特征提取层611可以是基于多层感知器算法构建得到的。初始轨迹特征可以输入至轨迹偏移信息回归层612,输出轨迹偏移信息602。轨迹偏移信息回归层612可以是基于Linear函数(线性函数)构建得到的,轨迹偏移信息602可以是与初始障碍物运动轨迹对应的轨迹向量偏移信息,或者还可以是轨迹点偏移信息。
初始障碍物运动轨迹603和轨迹偏移信息602输入至轨迹更新层613,输出中间障碍物运动轨迹604。轨迹更新层613例如可以将初始障碍物运动轨迹603和轨迹偏移信息602相加,得到中间障碍物运动轨迹604。
如图6所示,融合特征601还可以输入至权重预测分支620,输出轨迹权重605。权重预测分支620可以基于线性回归层和激活函数层构建得到。融合特征601可以输入至线性回归层,以便于针对融合特征601进行特征隐射,得到轨迹权重特征。轨迹权重特征输入至激活函数层,可以输出轨迹权重605。
根据轨迹权重605和中间障碍物运动轨迹604确定障碍物运动轨迹606,例如可以是在轨迹权重605大于预设阈值的情况下将中间障碍物运动轨迹604确定为障碍物运动轨迹606。
根据本公开的实施例,在初始障碍物运动轨迹包括多个(例如6个)的情况下,可以将障碍物特征与环境特征的拼接结果输入至轨迹回归分支,轨迹回归分支可以输出与多个初始障碍物运动轨迹各自对应的轨迹偏移信息。根据多个初始障碍物运动轨迹各自对应的轨迹偏移信息,来分别更新多个轨迹偏移信息,可以得到更新后的多个(例如6个)中间障碍物运动轨迹。将障碍物特征与环境特征的拼接结果输入至权重检测分支,可以输出多个(例如6个)中间障碍物运动轨迹各自关联的轨迹权重。根据多个(例如6个)中间障碍物运动轨迹各自关联的轨迹权重的权重值,可以确定一个或多个障碍物运动轨迹。
根据本公开的实施例,多个中间障碍物运动轨迹各自关联的轨迹权重,可以表征中间障碍物运动轨迹针对障碍物在未来时间断中的运动行为的预测概率,通过选取与轨迹权重的权重值较大的一个或多个中间障碍物运动轨迹作为障碍物运动轨迹,可以提升针对障碍物的运动行为的预测准确率。经过实验,根据本公开的实施例提供的障碍物运动轨迹生成方法来生成障碍物运动轨迹,可以降低针对障碍物在未来时间段(例如未来6秒内)的运动行为预测误差,平均误差可以降低38%,这样可以提升无人车等自动驾驶车辆针对周边的车辆、行人等障碍物的行为预测能力,提升自动驾驶车辆的行驶安全性和行驶舒适性。
根据本公开的实施例,轨迹偏移信息包括多个轨迹点偏移信息。
其中,根据障碍物特征和环境特征,确定与初始障碍物运动轨迹相关的轨迹偏移信息包括:
根据M个轨迹点检测方式分别处理障碍物特征和环境特征的拼接结果,得到M个轨迹点检测方式各自对应的轨迹点偏移信息子集,其中,M为大于1的整数,轨迹点偏移信息子集包括至少一个轨迹点偏移信息,多个轨迹点偏移信息是根据M个轨迹点偏移信息子集得到的。
根据本公开的实施例,轨迹点偏移信息可以是轨迹点坐标的偏移值,轨迹点偏移信息例如可以表示为(Δxi,Δyi)。
根据本公开的实施例,M个轨迹点检测方式分别处理障碍物特征和环境特征的拼接结果(以下简称融合特征),可以是基于训练后得到的M个轨迹点回归子分支来分别处理融合特征,从而得到M个轨迹点偏移信息子集。轨迹点偏移信息可以是轨迹点坐标的偏移值,轨迹点偏移信息例如可以表示为(Δxi,Δyi)。通过根据轨迹点偏移信息各自关联的时间属性信息,将M个轨迹点偏移信息子集中的轨迹点偏移信息进行排列,进而可以得到与初始障碍物运动轨迹对应的多个轨迹点偏移信息构成的轨迹点偏移信息序列。
根据本公开的实施例,通过M个轨迹点检测方式分别处理障碍物特征和环境特征的拼接结果,可以避免得到的轨迹点偏移信息子集中,针对时序较晚的轨迹点偏移信息的预测精度较低的问题,从而可以提升针对初始轨迹点信息的修正准确度,进而提升后续得到的障碍物运动轨迹的预测精度。
图7示意性示出了根据本公开实施例的轨迹回归分支的原理图。
如图7所示,轨迹回归分支710可以包含有第一轨迹点回归子分支711、第二轨迹点回归子分支712、第三轨迹点回归子分支713、第四轨迹点回归子分支714和轨迹更新层715。轨迹点回归子分支可以是基于多层感知器算法构建得到的。
可以将融合特征701分别输入至第一轨迹点回归子分支711、第二轨迹点回归子分支712、第三轨迹点回归子分支713和第四轨迹点回归子分支714,以便于预测与不同的初始轨迹点各自对应的轨迹点偏移信息子集。按照4个轨迹点偏移信息子集中,轨迹点偏移信息各自对应的预测时刻,将轨迹点偏移信息子集进行排列,可以得到与初始障碍物运动轨迹703对应的轨迹点偏移信息集合702,并将轨迹点偏移信息集合702确定为与与初始障碍物运动轨迹703对应的轨迹偏移信息。
例如,第一轨迹点回归子分支711、第二轨迹点回归子分支712、第三轨迹点回归子分支713和第四轨迹点回归子分支714,可以分别输出第1预测时刻至第5预测时刻的轨迹点偏移信息、第6预测时刻至第10预测时刻的轨迹点偏移信息、第11预测时刻至第15预测时刻的轨迹点偏移信息,以及第16预测时刻至第20预测时刻的轨迹点偏移信息。将第1预测时刻至第20预测时刻的轨迹点偏移信息,按照轨迹点偏移信息各自关联的预测时刻的时序关系进行排列,可以得到轨迹点偏移信息集合702。
根据本公开的实施例,初始障碍物运动轨迹包括多个初始轨迹点,多个轨迹点偏移信息与多个初始轨迹点一一对应。
根据本公开的实施例,根据轨迹偏移信息更新初始障碍物运动轨迹,得到中间障碍物运动轨迹可以包括:根据多个轨迹点偏移信息,分别更新与多个轨迹点偏移信息各自对应的初始轨迹点,得到多个中间轨迹点;以及根据多个中间轨迹点,确定中间障碍物运动轨迹。
如图7所示,初始障碍物运动轨迹703可以包含有20个初始轨迹点,轨迹点偏移信息集合702也可以包含20个轨迹点偏移信息。将初始障碍物运动轨迹703和轨迹点偏移信息集合702输入至轨迹更新层715,可以根据初始轨迹点和轨迹点偏移信息之间的关联关系,利用20个轨迹点偏移信息分别更新20个初始轨迹点,得到更新后的20个中间障碍物轨迹点。将20个中间障碍物轨迹点按照各自关联的预测时刻连接,即可以得到中间障碍物运动轨迹704。
图8示意性示出了根据本公开实施例的障碍物运动轨迹生成装置的框图。
如图8所示,障碍物运动轨迹生成装置800包括:特征提取模块810、更新模块820和障碍物运动轨迹生成模块830。
特征提取模块810,用于对与车辆相关的障碍物信息和行驶环境信息分别进行特征提取,得到障碍物特征和环境特征。
更新模块820,用于根据障碍物特征和环境特征,更新与车辆相关的障碍物的初始障碍物运动轨迹,得到更新后的中间障碍物运动轨迹。
障碍物运动轨迹生成模块830,用于根据中间障碍物运动轨迹,对障碍物进行运动轨迹预测,生成与障碍物相关的障碍物运动轨迹。
根据本公开的实施例,特征提取模块包括:初始连续子信息确定子模块、差分子信息获得子模块和障碍物特征获得子模块。
初始连续子信息确定子模块,用于从障碍物信息中确定具有目标类型的多个初始连续子信息,多个初始连续子信息之间具有时序关系;
差分子信息获得子模块,用于根据多个初始连续子信息之间的时序关系,对多个初始连续子信息进行差分处理,得到多个差分子信息;以及
障碍物特征获得子模块,用于基于注意力机制对多个差分子信息和障碍物信息进行特征提取,得到障碍物特征。
根据本公开的实施例,障碍物特征获得子模块包括:第一嵌入特征获得单元、第二嵌入特征获得单元和障碍物特征获得单元。
第一嵌入特征获得单元,用于基于N个特征嵌入方式分别对差分子信息、初始连续子信息和初始离散子信息进行特征嵌入,得到差分嵌入特征、连续特征和离散嵌入特征,其中,N≥3,且N为整数,初始离散子信息为从障碍物信息中确定的。
第二嵌入特征获得单元,用于融合差分嵌入特征、连续特征和离散嵌入特征,得到障碍物嵌入特征。
障碍物特征获得单元,用于基于注意力机制对障碍物嵌入特征进行特征提取,得到障碍物特征。
根据本公开的实施例,障碍物特征获得单元包括:卷积子单元和障碍物特征获得子单元。
卷积子单元,用于对障碍物嵌入特征进行至少一次卷积,得到中间障碍物特征。
障碍物特征获得子单元,用于基于注意力网络算法处理中间障碍物特征,得到障碍物特征。
根据本公开的实施例,更新模块包括:轨迹偏移信息确定子模块和更新子模块。
轨迹偏移信息确定子模块,用于根据障碍物特征和环境特征,确定与初始障碍物运动轨迹相关的轨迹偏移信息。
更新子模块,用于根据轨迹偏移信息更新初始障碍物运动轨迹,得到中间障碍物运动轨迹。
根据本公开的实施例,轨迹偏移信息包括多个轨迹点偏移信息。
其中,轨迹偏移信息确定子模块包括轨迹点偏移信息子集获得单元。
轨迹点偏移信息子集获得单元,用于根据M个轨迹点检测方式分别处理障碍物特征和环境特征的拼接结果,得到M个轨迹点检测方式各自对应的轨迹点偏移信息子集,其中,M为大于1的整数,轨迹点偏移信息子集包括至少一个轨迹点偏移信息,多个轨迹点偏移信息是根据M个轨迹点偏移信息子集得到的。
根据本公开的实施例,初始障碍物运动轨迹包括多个初始轨迹点,多个轨迹点偏移信息与多个初始轨迹点一一对应。
根据本公开的实施例,更新子模块包括:更新单元和中间障碍物运动轨迹确定单元。
更新单元,用于根据多个轨迹点偏移信息,分别更新与多个轨迹点偏移信息各自对应的初始轨迹点,得到多个中间轨迹点。
中间障碍物运动轨迹确定单元,用于根据多个中间轨迹点,确定中间障碍物运动轨迹。
根据本公开的实施例,障碍物运动轨迹生成模块包括障碍物运动轨迹确定子模块。
障碍物运动轨迹确定子模块,用于根据中间障碍物运动轨迹,以及获取到的与中间障碍物运动轨迹相关的轨迹权重,确定障碍物运动轨迹。
根据本公开的实施例,障碍物运动轨迹生成装置还包括轨迹权重确定模块。
轨迹权重确定模块,用于根据障碍物特征和环境特征,确定与中间障碍物运动轨迹相关的轨迹权重。
根据本公开的实施例,障碍物运动轨迹生成装置还包括:相关度检测结果确定模块和初始障碍物运动轨迹确定模块。
相关度检测结果确定模块,用于根据预设算法处理获取到的待处理障碍物运动轨迹集,得到待处理障碍物运动轨迹之间的相关度检测结果,其中,待处理障碍物运动轨迹集包括多个待处理障碍物运动轨迹。
初始障碍物运动轨迹确定模块,用于根据相关度检测结果,从待处理障碍物运动轨迹集中确定初始障碍物运动轨迹。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
根据本公开的实施例,一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行本公开实施例提供的方法。
根据本公开的实施例,一种存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行本公开实施例提供的方法。
根据本公开的实施例,一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现本公开实施例提供的方法。
根据本公开的实施例,一种自动驾驶车辆,包括根据本公开实施例提供的电子设备。
根据本公开的实施例,自动驾驶车辆可以安装有电子设备,该电子设备能够执行本公开实施例提供的障碍物运动轨迹生成方法,以提升针对车辆周边障碍物的运动预测精度。
图9示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图9所示,设备900包括计算单元901,其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序,来执行各种适当的动作和处理。在RAM 903中,还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
设备900中的多个部件连接至I/O接口905,包括:输入单元906,例如键盘、鼠标等;输出单元907,例如各种类型的显示器、扬声器等;存储单元908,例如磁盘、光盘等;以及通信单元909,例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理,例如障碍物运动轨迹生成方法。例如,在一些实施例中,障碍物运动轨迹生成方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元908。在一些实施例中,计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时,可以执行上文描述的障碍物运动轨迹生成方法的一个或多个步骤。备选地,在其他实施例中,计算单元901可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行障碍物运动轨迹生成方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以是分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (24)
1.一种障碍物轨迹生成方法,包括:
对与车辆相关的障碍物信息和行驶环境信息分别进行特征提取,得到障碍物特征和环境特征;
根据所述障碍物特征和所述环境特征,更新与所述车辆相关的障碍物的初始障碍物运动轨迹,得到更新后的中间障碍物运动轨迹;以及
根据所述中间障碍物运动轨迹,对所述障碍物进行运动轨迹预测,生成与所述障碍物相关的障碍物运动轨迹。
2.根据权利要求1所述的方法,其中,所述对与车辆相关的障碍物信息和行驶环境信息分别进行特征提取,得到障碍物特征和环境特征包括:
从所述障碍物信息中确定具有目标类型的多个初始连续子信息,多个所述初始连续子信息之间具有时序关系;
根据多个所述初始连续子信息之间的时序关系,对多个所述初始连续子信息进行差分处理,得到多个差分子信息;以及
基于注意力机制对多个所述差分子信息和所述障碍物信息进行特征提取,得到所述障碍物特征。
3.根据权利要求2所述的方法,其中,所述基于注意力机制对多个所述差分子信息和所述障碍物信息进行特征提取,得到所述障碍物特征包括:
基于N个特征嵌入方式分别对所述差分子信息、所述初始连续子信息和初始离散子信息进行特征嵌入,得到差分嵌入特征、连续特征和离散嵌入特征,其中,N≥3,且N为整数,所述初始离散子信息为从所述障碍物信息中确定的;
融合所述差分嵌入特征、所述连续特征和所述离散嵌入特征,得到障碍物嵌入特征;以及
基于注意力机制对所述障碍物嵌入特征进行特征提取,得到所述障碍物特征。
4.根据权利要求3所述的方法,其中,基于注意力机制对所述障碍物嵌入特征进行特征提取,得到所述障碍物特征包括:
对所述障碍物嵌入特征进行至少一次卷积,得到中间障碍物特征;以及
基于注意力网络算法处理所述中间障碍物特征,得到所述障碍物特征。
5.根据权利要求1所述的方法,其中,所述根据所述障碍物特征和所述环境特征,更新与所述车辆相关的障碍物的初始障碍物运动轨迹,得到更新后的中间障碍物运动轨迹包括:
根据所述障碍物特征和所述环境特征,确定与所述初始障碍物运动轨迹相关的轨迹偏移信息;以及
根据所述轨迹偏移信息更新所述初始障碍物运动轨迹,得到所述中间障碍物运动轨迹。
6.根据权利要求5所述的方法,其中,所述轨迹偏移信息包括多个轨迹点偏移信息;
其中,所述根据所述障碍物特征和所述环境特征,确定与所述初始障碍物运动轨迹相关的轨迹偏移信息包括:
根据M个轨迹点检测方式分别处理所述障碍物特征和所述环境特征的拼接结果,得到M个轨迹点检测方式各自对应的轨迹点偏移信息子集,其中,M为大于1的整数,所述轨迹点偏移信息子集包括至少一个所述轨迹点偏移信息,多个轨迹点偏移信息是根据M个所述轨迹点偏移信息子集得到的。
7.根据权利要求6所述的方法,其中,所述初始障碍物运动轨迹包括多个初始轨迹点,多个所述轨迹点偏移信息与多个所述初始轨迹点一一对应;
其中,所述根据所述轨迹偏移信息更新所述初始障碍物运动轨迹,得到所述中间障碍物运动轨迹包括:
根据多个所述轨迹点偏移信息,分别更新与多个所述轨迹点偏移信息各自对应的所述初始轨迹点,得到多个中间轨迹点;以及
根据多个所述中间轨迹点,确定所述中间障碍物运动轨迹。
8.根据权利要求1所述的方法,其中,所述根据所述中间障碍物运动轨迹,对所述障碍物进行运动轨迹预测,生成与所述障碍物相关的障碍物运动轨迹包括:
根据所述中间障碍物运动轨迹,以及获取到的与所述中间障碍物运动轨迹相关的轨迹权重,确定所述障碍物运动轨迹。
9.根据权利要求8所述的方法,还包括:
根据所述障碍物特征和所述环境特征,确定与所述中间障碍物运动轨迹相关的所述轨迹权重。
10.根据权利要求1所述的方法,还包括:
根据预设算法处理获取到的待处理障碍物运动轨迹集,得到待处理障碍物运动轨迹之间的相关度检测结果,其中,所述待处理障碍物运动轨迹集包括多个所述待处理障碍物运动轨迹;以及
根据所述相关度检测结果,从所述待处理障碍物运动轨迹集中确定所述初始障碍物运动轨迹。
11.一种障碍物轨迹生成装置,包括:
特征提取模块,用于对与车辆相关的障碍物信息和行驶环境信息分别进行特征提取,得到障碍物特征和环境特征;
更新模块,用于根据所述障碍物特征和所述环境特征,更新与所述车辆相关的障碍物的初始障碍物运动轨迹,得到更新后的中间障碍物运动轨迹;以及
障碍物运动轨迹生成模块,用于根据所述中间障碍物运动轨迹,对所述障碍物进行运动轨迹预测,生成与所述障碍物相关的障碍物运动轨迹。
12.根据权利要求11所述的装置,其中,所述特征提取模块包括:
初始连续子信息确定子模块,用于从所述障碍物信息中确定具有目标类型的多个初始连续子信息,多个所述初始连续子信息之间具有时序关系;
差分子信息获得子模块,用于根据多个所述初始连续子信息之间的时序关系,对多个所述初始连续子信息进行差分处理,得到多个差分子信息;以及
障碍物特征获得子模块,用于基于注意力机制对多个所述差分子信息和所述障碍物信息进行特征提取,得到所述障碍物特征。
13.根据权利要求12所述的装置,其中,所述障碍物特征获得子模块包括:
第一嵌入特征获得单元,用于基于N个特征嵌入方式分别对所述差分子信息、所述初始连续子信息和初始离散子信息进行特征嵌入,得到差分嵌入特征、连续特征和离散嵌入特征,其中,N≥3,且N为整数,所述初始离散子信息为从所述障碍物信息中确定的;
第二嵌入特征获得单元,用于融合所述差分嵌入特征、所述连续特征和所述离散嵌入特征,得到障碍物嵌入特征;以及
障碍物特征获得单元,用于基于注意力机制对所述障碍物嵌入特征进行特征提取,得到所述障碍物特征。
14.根据权利要求13所述的装置,其中,所述障碍物特征获得单元包括:
卷积子单元,用于对所述障碍物嵌入特征进行至少一次卷积,得到中间障碍物特征;以及
障碍物特征获得子单元,用于基于注意力网络算法处理所述中间障碍物特征,得到所述障碍物特征。
15.根据权利要求11所述的装置,其中,所述更新模块包括:
轨迹偏移信息确定子模块,用于根据所述障碍物特征和所述环境特征,确定与所述初始障碍物运动轨迹相关的轨迹偏移信息;以及
更新子模块,用于根据所述轨迹偏移信息更新所述初始障碍物运动轨迹,得到所述中间障碍物运动轨迹。
16.根据权利要求15所述的装置,其中,所述轨迹偏移信息包括多个轨迹点偏移信息;
其中,所述轨迹偏移信息确定子模块包括:
轨迹点偏移信息子集获得单元,用于根据M个轨迹点检测方式分别处理所述障碍物特征和所述环境特征的拼接结果,得到M个轨迹点检测方式各自对应的轨迹点偏移信息子集,其中,M为大于1的整数,所述轨迹点偏移信息子集包括至少一个所述轨迹点偏移信息,多个轨迹点偏移信息是根据M个所述轨迹点偏移信息子集得到的。
17.根据权利要求16所述的装置,其中,所述初始障碍物运动轨迹包括多个初始轨迹点,多个所述轨迹点偏移信息与多个所述初始轨迹点一一对应;
其中,所述更新子模块包括:
更新单元,用于根据多个所述轨迹点偏移信息,分别更新与多个所述轨迹点偏移信息各自对应的所述初始轨迹点,得到多个中间轨迹点;以及
中间障碍物运动轨迹确定单元,用于根据多个所述中间轨迹点,确定所述中间障碍物运动轨迹。
18.根据权利要求11所述的装置,其中,所述障碍物运动轨迹生成模块包括:
障碍物运动轨迹确定子模块,用于根据所述中间障碍物运动轨迹,以及获取到的与所述中间障碍物运动轨迹相关的轨迹权重,确定所述障碍物运动轨迹。
19.根据权利要求18所述的装置,还包括:
轨迹权重确定模块,用于根据所述障碍物特征和所述环境特征,确定与所述中间障碍物运动轨迹相关的所述轨迹权重。
20.根据权利要求21所述的装置,还包括:
相关度检测结果确定模块,用于根据预设算法处理获取到的待处理障碍物运动轨迹集,得到待处理障碍物运动轨迹之间的相关度检测结果,其中,所述待处理障碍物运动轨迹集包括多个所述待处理障碍物运动轨迹;以及
初始障碍物运动轨迹确定模块,用于根据所述相关度检测结果,从所述待处理障碍物运动轨迹集中确定所述初始障碍物运动轨迹。
21.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至10中任一项所述的方法。
22.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1至10中任一项所述的方法。
23.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1至10中任一项所述的方法。
24.一种自动驾驶车辆,包括如权利要求21所述的电子设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310869918.9A CN116653973A (zh) | 2023-07-14 | 2023-07-14 | 障碍物运动轨迹生成方法、装置、设备以及自动驾驶车辆 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310869918.9A CN116653973A (zh) | 2023-07-14 | 2023-07-14 | 障碍物运动轨迹生成方法、装置、设备以及自动驾驶车辆 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116653973A true CN116653973A (zh) | 2023-08-29 |
Family
ID=87722601
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310869918.9A Pending CN116653973A (zh) | 2023-07-14 | 2023-07-14 | 障碍物运动轨迹生成方法、装置、设备以及自动驾驶车辆 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116653973A (zh) |
-
2023
- 2023-07-14 CN CN202310869918.9A patent/CN116653973A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113715814B (zh) | 碰撞检测方法、装置、电子设备、介质及自动驾驶车辆 | |
CN113264066B (zh) | 障碍物轨迹预测方法、装置、自动驾驶车辆及路侧设备 | |
CN109109863B (zh) | 智能设备及其控制方法、装置 | |
CN115909749B (zh) | 车辆运行道路风险预警方法、装置、设备及存储介质 | |
CN112580571A (zh) | 车辆行驶的控制方法、装置及电子设备 | |
CN113112525B (zh) | 目标跟踪方法、网络模型及其训练方法、设备和介质 | |
US11987265B1 (en) | Agent trajectory prediction using target locations | |
CN115131393A (zh) | 轨迹预测方法、碰撞检测方法、装置、电子设备及介质 | |
CN114758502A (zh) | 双车联合轨迹预测方法及装置、电子设备和自动驾驶车辆 | |
CN116092055A (zh) | 训练方法、获取方法、装置、设备及自动驾驶车辆 | |
CN117168488A (zh) | 一种车辆的路径规划方法、装置、设备及介质 | |
CN116499487B (zh) | 一种车辆的路径规划方法、装置、设备及介质 | |
EP3989031B1 (en) | Systems and methods for fusing road friction data to enhance vehicle maneuvering | |
CN116653973A (zh) | 障碍物运动轨迹生成方法、装置、设备以及自动驾驶车辆 | |
US20220383510A1 (en) | Method For Training A Neural Network For Semantic Image Segmentation | |
KR20200133122A (ko) | 차량 충돌 방지 장치 및 방법 | |
CN114030483A (zh) | 车辆控制方法、装置、电子设备和介质 | |
CN116811883A (zh) | 障碍物运动轨迹生成方法、装置、设备以及自动驾驶车辆 | |
CN114299758A (zh) | 车辆控制方法及装置、设备、介质和产品 | |
CN114590248B (zh) | 行驶策略的确定方法、装置、电子设备和自动驾驶车辆 | |
CN114407916B (zh) | 车辆控制及模型训练方法、装置、车辆、设备和存储介质 | |
CN117935208A (zh) | 轨迹预测模型训练方法、轨迹预测方法、装置及车辆 | |
CN117764139A (zh) | 风险场景识别模型的生成方法、装置及计算机程序产品 | |
CN115837919A (zh) | 自动驾驶车辆的交互行为决策方法、装置及自动驾驶车辆 | |
CN117508223A (zh) | 自动驾驶变道决策及模型训练方法、装置、设备和车辆 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |