CN113879333A - 轨迹预测方法、装置、电子设备及存储介质 - Google Patents

轨迹预测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113879333A
CN113879333A CN202111160491.2A CN202111160491A CN113879333A CN 113879333 A CN113879333 A CN 113879333A CN 202111160491 A CN202111160491 A CN 202111160491A CN 113879333 A CN113879333 A CN 113879333A
Authority
CN
China
Prior art keywords
grid
sub
target
determining
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111160491.2A
Other languages
English (en)
Other versions
CN113879333B (zh
Inventor
李樊
孙钢
刘春晓
石建萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN202111160491.2A priority Critical patent/CN113879333B/zh
Publication of CN113879333A publication Critical patent/CN113879333A/zh
Priority to PCT/CN2022/084204 priority patent/WO2023050749A1/zh
Application granted granted Critical
Publication of CN113879333B publication Critical patent/CN113879333B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0043Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供了一种轨迹预测方法、装置、电子设备以及计算机可读存储介质,其中,本公开首先获取目标对象在第一时刻的运行信息;之后,确定与所述目标对象的运行模式相匹配的预设运行栅格;所述预设运行栅格包括至少一个运行子栅格;所述运行子栅格包括至少一个参考对象在多个未来参考时刻的位置点;所述未来参考时刻是以样本时刻为起点,经过第一预设时长后的时刻;之后,基于所述运行信息,确定所述目标对象在第二时刻所处的目标运行子栅格;其中,所述第二时刻为第一时刻经过所述第一预设时长后的时刻;最后,基于所述目标运行子栅格和所述运行信息,确定所述目标对象从第一时刻到所述第二时刻之间的运行轨迹。

Description

轨迹预测方法、装置、电子设备及存储介质
技术领域
本公开涉及预测技术领域,具体而言,涉及一种轨迹预测方法、装置、电子设备及存储介质。
背景技术
物体行为预测是自动驾驶领域重要的问题,具体可以表述为对自动驾驶系统感知到的物体进行运行轨迹的预测,上述物体包括但不限于汽车、两轮电动车、自行车和行人等。物体行为预测是自动驾驶系统的重要子模块,是自动驾驶系统进行场景理解、行为决策以及运动规划的重要基础。
要对物体未来的运行轨迹,进行合理建模是很复杂的。由于不同的物体运行速度、方式等各不相同,因此为了提高预测的针对性和准确性,需要单独为每一类物体定制建模方法,但是这种方式相当低效。
发明内容
本公开实施例至少提供一种轨迹预测方法、装置。
第一方面,本公开实施例提供了一种轨迹预测方法,包括:
获取目标对象在第一时刻的运行信息;
确定与所述目标对象的运行模式相匹配的预设运行栅格;所述预设运行栅格包括至少一个运行子栅格;所述运行子栅格包括至少一个参考对象在多个未来参考时刻的位置点;所述未来参考时刻是以样本时刻为起点,经过第一预设时长后的时刻;所述参考对象与所述目标对象具有相同的运行模式;
基于所述运行信息,确定所述目标对象在第二时刻所处的目标运行子栅格;其中,所述第二时刻为第一时刻经过所述第一预设时长后的时刻;
基于所述目标运行子栅格和所述运行信息,确定所述目标对象从第一时刻到所述第二时刻之间的运行轨迹。
该方面,利用与目标对象的运行模式相匹配的预设运行栅格来预测目标对象的运行轨迹,能够充分考虑目标对象的运行速度、方式等特征,提高了轨迹预测的针对性和准确性;另外,不同的对象均是利用预设运行栅格这种方式进行轨迹预测,因此该方面的方案具有泛化性,不用针对不同的对象设置不同的模型或方法,使得该方面的方案效率较高;同时,本方面在轨迹预测的时候不是基于点集,而是利用栅格,相对于点集来说处理的数据维度得到降低,因此该方面的方案处理的数据量得到有效减少,效率得到提升。
在一种可能的实施方式中,所述确定与所述目标对象的运行模式相匹配的预设运行栅格,包括:
获取多个预设运行栅格;
从所述多个预设运行栅格中,筛选与所述目标对象的运行模式相匹配的预设运行栅格;其中,不同的预设运行栅格对应不同的运行模式。
该实施方式,不同对象的运行速度、方式等特征不同,因此不同的对象具有不同的运行模式,不同的运行模式直接影响轨迹预测,因此基于与目标对象的运行模式选择相匹配的预设运行栅格来为目标对象来进行轨迹预测,能够有效提高预测的针对性和准确性。
在一种可能的实施方式中,所述基于所述运行信息,确定所述目标对象在第二时刻所处的目标运行子栅格,包括:
基于所述运行信息,确定所述目标对象在所述第二时刻的位置信息;
基于所述位置信息,确定所述目标对象在所述第二时刻所处的目标运行子栅格。
该实施方式,利用目标对象的运行信息能够较为准确的确定目标对象在第二时刻的位置信息,根据上述实施例可知运行子栅格包括多个参考对象的位置点,这里的位置点可以认为是一种样本点,根据运行子栅格中的位置点或者根据运行子栅格的位置,再结合目标对象在第二时刻的位置信息,就能够较为准确的确定目标对象所处的目标运行子栅格。
在一种可能的实施方式中,所述运行信息包括所述目标对象在第一时刻的运动状态信息和目标对象在第一时刻所处位置的路况信息。
该实施方式,上述运行状态信息可以包括目标对象的速度、位置、朝向等信息,上述路况信息可以包括目标对象周围的车道线、斑马线轮廓等信息,因此根据目标对象在第一时刻的运动状态信息和所处位置的路况信息,能够较为准确的确定目标对象在所述第二时刻的位置信息,继而,能够较为准确的确定目标对象在所述第二时刻所处的目标运行子栅格。
在一种可能的实施方式中,所述获取目标对象在第一时刻的运行信息,包括:
确定第一时刻之前,与所述第一时刻间隔第二预设时长的时刻为第三时刻;
获取所述目标对象从所述第三时刻到所述第一时刻之间的运动状态信息,并将获取的所述运行状态信息,作为目标对象在所述第一时刻的运动状态信息;
基于所述目标对象在所述第一时刻的运动状态信息和目标对象在第一时刻所处位置的路况信息,确定所述目标对象在所述第一时刻的运行信息。
该实施方式,第三时刻早于第一时刻,将第三时刻到第一时刻之间的运动状态信息,作为目标的在第一时刻的运动状态信息来进行轨迹预测,不仅能够增加参与轨迹预测的信息量,提高轨迹预测的准确性,并且第三时刻到第一时刻这一段时间内的运行状态信息能够在一定程度上反应目标对象的运行规律,利用第三时刻到第一时刻这一段时间内的运行状态信息来进行轨迹预测,能够进一步提高轨迹预测的准确性。
在一种可能的实施方式中,上述轨迹预测方法还包括为任一运行模式生成相匹配的预设运行栅格的步骤:
获取具有该运行模式的多个参考对象中,每个参考对象的样本轨迹;
针对每个样本轨迹,确定该样本轨迹对应的多个样本时刻,基于所述第一预设时长,确定每个样本时刻对应的未来参考时刻,并基于该样本轨迹,确定在每个未来参考时刻,该样本轨迹对应的参考对象的样本位置信息;
基于确定的样本位置信息,确定每个参考对象在对应的每个未来参考时刻的位置点;
基于确定的各个位置点,生成与该运行模式相匹配的预设运行栅格。
该实施方式,利用具有该运行模式的参考对象的样本轨迹,能够较为准确的确定多个作为可以样本的位置点,利用该位置点能够较为准确的生成与该运行模式相匹配的预设运行栅格。
在一种可能的实施方式中,所述基于确定的各个位置点,确定与该运行模式相匹配的预设运行栅格,包括:
基于确定的各个位置点,和对应的参考对象在各个位置点处的速度确定与该运行模式相匹配的预设运行栅格。
该实施方式,结合各个位置点处的速度,能够生成信息量更为全面和丰富的预设运行栅格,继而,有利于提高估计预测的准确性。
在一种可能的实施方式中,所述基于确定的各个位置点,和对应的参考对象在各个位置点处的速度,确定与该运行模式相匹配的预设运行栅格,包括:
基于对应的参考对象在各个位置点处的速度,确定各个位置点的颜色;
基于各个位置点的位置信息和颜色,生成包括各个位置点的图片;
基于各个位置点的颜色和位置信息,按照预设条件,对所述图片上的位置点进行分割,得到包括至少一个运行子栅格的预设运行栅格;其中,所述预设条件包括以下至少一项;任一运行子栅格中的位置点的数量在预设数值范围内;位于所述运行子栅格中的位置点在所有位置点中的占比大于预设占比;同一运行子栅格中的不同位置点对应的速度的差值小于预设值。
该实施方式,基于各个位置点的位置信息、速度以及预设条件,能够生成与该运行模式相匹配的预设运行栅格,从而能够提高轨迹预测的准确性。
在一种可能的实施方式中,上述轨迹预测方法还包括确定所述预设数值范围的步骤:
确定该运行模式对应的对象平均速度;
基于所述对象平均速度,确定该运行模式对应的所述预设数值范围。
该实施方式,利用对象平均速度确定的预设数值范围,能够保证位于同一个运行子栅格中的各个位置点的位置相近,用同一个位置来代表整个运行子栅格中的各个位置点的位置不会影响位置的精度。基于此,用某个运行子栅格对应的一个位置代表运行子栅格中的各个位置点的位置,相比较于点集来说,在轨迹预测中,降低了数据处理维度,有利益进行预测稳定性后处理。
在一种可能的实施方式中,所述基于所述目标运行子栅格和所述运行信息,确定所述目标对象从第一时刻到所述第二时刻之间的运行轨迹,包括:
基于所述目标运行子栅格中各个位置点的位置信息,确定所述目标对象在第二时刻的终点位置信息;
基于所述终点位置信息和所述运行信息,确定所述目标对象从第一时刻到所述第二时刻之间的运行轨迹。
该实施方式,基于目标运行子栅格中各个位置点的位置信息,能够较为准确的确定目标对象在第二时刻的终点位置信息,之后基于终点位置信息和运行信息,能够较为准确地确定目标对象从第一时刻到所述第二时刻之间的运行轨迹。
在一种可能的实施方式中,在确定了所述目标对象在第二时刻所处的目标运行子栅格之后,并且在确定所述目标对象从第一时刻到所述第二时刻之间的运行轨迹之前,上述轨迹预测方法还包括:
获取在确定所述目标运行子栅格之前,确定的多个历史运行子栅格;所述多个历史运行子栅格中的第一个历史运行子栅格为非抖动子栅格;
基于所述多个历史运行子栅格,确定所述目标运行子栅格是否为抖动子栅格;
在确定所述目标运行子栅格为抖动子栅格的情况下,将所述第一个历史运行子栅格作为最终的目标运行子栅格。
该实施方式,基于在确定目标运行子栅格之前,确定的多个历史运行子栅格,能够较为准确的判定目标运行子栅格是否为抖动子栅格;在目标运行子栅格为抖动子栅格的情况下,将第一个历史运行子栅格作为最终的目标运行子栅格,能够有效降低抖动对轨迹预测结果的影响,另外,利用包括多个位置点的栅格进行去抖动处理,降低了数据处理维度,从而能够降低预测稳定性后处理的难度,提高预测稳定性后处理的效率。
在一种可能的实施方式中,在确定了所述目标运行子栅格之后,并且在确定所述目标对象的运行轨迹之前,上述轨迹预测方法还包括:
在确定所述目标运行子栅格为非抖动子栅格的情况下,将确定的所述目标运行子栅格作为最终的目标运行子栅格。
该实施方式,在目标运行子栅格为非抖动子栅格的情况下,将确定的目标运行子栅格作为最终的目标运行子栅格,能够保证轨迹预测的稳定性和准确性。
在一种可能的实施方式中,所述基于所述多个历史运行子栅格,确定所述目标运行子栅格是否为抖动子栅格,包括:
在所述目标运行子栅格与所述第一个历史运行子栅格为同一个子栅格的情况下,确定所述目标运行子栅格为非抖动子栅格。
在一种可能的实施方式中,所述基于所述多个历史运行子栅格,确定所述目标运行子栅格是否为抖动子栅格,包括:
在所述目标运行子栅格与所述第一个历史运行子栅格不为同一个子栅格,并且所述多个历史运行子栅格中抖动子栅格的数量大于预设数量的情况下,确定所述目标运行子栅格为非抖动子栅格。
该实施方式,目标运行子栅格与第一个历史运行子栅格为同一个子栅格,表明标对象的运行状态并未发生改变,此时确定的目标运行子栅格认为是准确的,为非抖动子栅格;在多个历史运行子栅格中抖动子栅格的数量较多时,说明目标对象的运行状态发生了改变,这是正常的运动状态的变更,并非抖动,此时认为目标运行子栅格为非抖动子栅格。
在一种可能的实施方式中,所述基于所述多个历史运行子栅格,确定所述目标运行子栅格是否为抖动子栅格,还包括:
在所述目标运行子栅格与所述第一个历史运行子栅格不为同一个子栅格,并且所述多个历史运行子栅格中抖动子栅格的数量小于或等于预设数量的情况下,确定所述目标运行子栅格为抖动子栅格。
该实施方式,在多个历史运行子栅格中抖动子栅格的数量较少时,目标运行子栅格与第一个历史运行子栅格不为同一个子栅格,说明确定的目标运行子栅格是不准确的,为非抖动子栅格。
第二方面,本公开实施例还提供一种轨迹预测装置,包括:
信息获取模块,用于获取目标对象在第一时刻的运行信息;
定位预处理模块,用于确定与所述目标对象的运行模式相匹配的预设运行栅格;所述预设运行栅格包括至少一个运行子栅格;所述运行子栅格包括至少一个参考对象在多个未来参考时刻的位置点;所述未来参考时刻是以样本时刻为起点,经过第一预设时长后的时刻;所述参考对象与所述目标对象具有相同的运行模式;
定位模块,用于基于所述运行信息,确定所述目标对象在第二时刻所处的目标运行子栅格;其中,所述第二时刻为第一时刻经过所述第一预设时长后的时刻;
轨迹预测模块,用于基于所述目标运行子栅格和所述运行信息,确定所述目标对象从第一时刻到所述第二时刻之间的运行轨迹。
第三方面,本公开实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
第四方面,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
关于上述轨迹预测装置、电子设备、及计算机可读存储介质的效果描述参见上述轨迹预测方法的说明,这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种轨迹预测方法的流程图;
图2示出了本公开实施例所提供的路况信息的示意图;
图3示出了本公开实施例所提供的确定目标运行子栅格的流程图;
图4示出了本公开实施例所提供的为某一运行模式生成相匹配的预设运行栅格的流程图;
图5示出了本公开实施例所提供的预设运行栅格的示意图;
图6示出了本公开实施例所提供的判定抖动子栅格的流程图;
图7示出了本公开实施例所提供的一种轨迹预测装置的示意图;
图8示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
经研究发现,在进行轨迹预测时,合理建模是很复杂,模型的泛化性、针对不同运行模式的特异性以及预测稳定性后处理很难兼顾,造成当前轨迹预测存在准确度和效率低下、稳定性差的缺陷。
以上缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
针对上述技术问题,本公开提供了一种轨迹预测方法、装置、电子设备及存储介质,本公开利用与目标对象的运行模式相匹配的预设运行栅格来预测目标对象的运行轨迹,能够充分考虑目标对象的运行速度、方式等特征,提高了轨迹预测的针对性和准确性;另外,不同的对象均是利用预设运行栅格这种方式进行轨迹预测,因此该方面的方案具有泛化性,不用针对不同的对象设置不同的模型或方法,使得该方面的方案效率较高;同时,本公开在轨迹预测的时候不是基于点集,而是利用栅格,相对于点集来说处理的数据维度得到降低,因此该方面的方案处理的数据量得到有效减少,效率得到提升。
下面以执行主体为具有计算能够的设备为例对本公开实施例提供的轨迹预测方法加以说明。
如图1所示,本公开提供了一种轨迹预测方法,该方法可以包括如下步骤:
S110、获取目标对象在第一时刻的运行信息。
上述目标对象即为需要进行轨迹预测的对象。运行信息可以包括目标对象在第一时刻所处位置的路况信息和所述目标对象在从第一时刻开始往前推一段时间之内的运动状态信息。
如图2所示,上述路况信息可以包括目标对象周围的车道线201、斑马线轮廓202、路口轮廓203等信息。上述路况信息可以以图片的形式存在。
上述运动状态信息可以包括目标对象在一段时间之内的位置、速度、朝向等信息。例如,在第一时刻为当前时刻、上述一段时间为3s时,运动状态信息包括目标对象在过去3s内的位置、速度、朝向等信息。
示例性地,目标对象的位置记为(x,y),朝向记为heading,速度记为speed,每间隔0.2s取最近的历史16帧数据,每行记录一帧对应的运动状态信息,那么得到16×4的矩阵,该矩阵即为3s内的运动状态信息。
示例性地,可以利用如下步骤获取目标对象在第一时刻的运行信息:
首先,确定从第一时刻开始,向前经过第二预设时长的时刻,得到第三时刻;之后,获取所述目标对象从所述第三时刻到所述第一时刻之间的运动状态信息,并将获取的所述运行状态信息,作为目标对象的在所述第一时刻的运动状态信息;最后,基于所述目标对象的在所述第一时刻的运动状态信息和目标对象在第一时刻所处位置的路况信息,确定所述目标对象在所述第一时刻的运行信息。
这里,可以直接将目标对象的在所述第一时刻的运动状态信息和目标对象在第一时刻所处位置的路况信息,作为目标对象在所述第一时刻的运行信息。
上述第三时刻早于第一时刻,将第三时刻到第一时刻之间的运动状态信息,作为目标对象在所述第一时刻的运动状态信息来进行轨迹预测,不仅能够增加参与轨迹预测的信息量,提高轨迹预测的准确性,并且第三时刻到第一时刻这一段时间内的运行状态信息能够在一定程度上反应目标对象的运行规律,利用第三时刻到第一时刻这一段时间内的运行状态信息来进行轨迹预测,能够进一步提高轨迹预测的准确性。
S120、确定与所述目标对象的运行模式相匹配的预设运行栅格;所述预设运行栅格包括至少一个运行子栅格;所述运行子栅格包括至少一个参考对象在多个未来参考时刻的位置点;所述未来参考时刻是以样本时刻为起点,经过第一预设时长后的时刻。其中,所述参考对象与所述目标对象具有相同的运行模式。
在执行此步骤之前预先设置有多种预设运行栅格,不同的预设运行栅格对应不同的运行模式。一种预设运行栅格可以对应至少一种运行模式,一种运行模式可以对应至少一种类型的对象。不同类型的对象的运行模式可以不同,例如,汽车具有转弯半径,行人没有转弯半径,可自由转弯。
上述参考对象与所述目标对象为具有相同的运行模式的对象,因此可以利用由参考对象对应的位置点形成预设运行栅格来预测目标对象的位置信息以及运行轨迹。
基于上面的描述可知,执行此步骤时可以先确定所述目标对象的运行模式以及获取多个预设运行栅格;之后从多个预设运行栅格中,筛选与目标对象的运行模式相匹配的预设运行栅格。
不同对象的运行速度、方式等特征不同,因此不同的对象具有不同的运行模式,不同的运行模式直接影响轨迹预测,因此基于与目标对象的运行模式选择相匹配的预设运行栅格来为目标对象来进行轨迹预测,能够有效提高预测的针对性和准确性。
第一预设时长可以根据不同的对象的速度来确定,速度较大的对象对应的第一预设时长可以较短,速度较小的对象对应的第二预设时长可以较长。示例性地,在目标对象为汽车时,第一预设时长可以设置为5s。
S130、基于所述运行信息,确定所述目标对象在第二时刻所处的目标运行子栅格;其中,所述第二时刻为第一时刻经过所述第一预设时长后的时刻。
预设运行栅格中各个位置点是参考对象以样本时刻为运动起始时间,在未来参考时刻时的运动终点,目标对象以第一时刻为运动起始时间,第二时刻为运动终止时间,目标对象在第二时刻所处的位置为目标对象的运动终点。样本时刻与未来参考时刻之间的时长,与第一时刻与第二时刻之间的时长相等,均为上述第一预设时长。
由于目标对象和参考对象的运行模式相同,因此可以将参考图像作为样本来预测目标图像的位置或运行轨迹。同时,由于预设运行栅格中位置点对应的预测时间间隔(即上述第一预设时长)与目标对象对应的预测时间间隔相等,因此可以利用预设运行栅格来预测目标对象经过预测时间间隔之后的位置,以及期间的运行轨迹。
示例性地,可以利用如下步骤确定目标对象在第二时刻所处的目标运行子栅格:首先,基于所述运行信息,确定所述目标对象在所述第二时刻的位置信息;之后,基于所述位置信息,确定所述目标对象在所述第二时刻所处的目标运行子栅格。
上述步骤确定目标运行子栅格的步骤可以利用预先训练好的神经网络来实现,如图3所示,将运行信息中的目标对象的在第一时刻的运动状态信息和目标对象在第一时刻所处位置的路况信息输入训练好的神经网络中,神经网络对输入的数据进行处理,确定目标对象在所述第二时刻所处的目标运行子栅格,并输出目标运行子栅格的标识符。
上述运行状态信息可以包括目标对象的速度、位置、朝向等信息,上述路况信息可以包括目标对象周围的车道线、斑马线轮廓等信息,因此根据目标对象在第一时刻的运动状态信息和所处位置的路况信息,神经网络能够较为准确的确定目标对象在所述第二时刻的位置信息。根据上述实施例可知运行子栅格包括多个参考对象的位置点,这里的位置点可以认为是一种样本点,根据运行子栅格中的位置点或者根据运行子栅格的位置,再结合目标对象在第二时刻的位置信息,就能够较为准确的确定目标对象所处的目标运行子栅格。
S140、基于所述目标运行子栅格和所述运行信息,确定所述目标对象从第一时刻到所述第二时刻之间的运行轨迹。
目标运行子栅格中包括多个位置点,基于目标运行子栅格中各个位置点的位置信息,可以确定该目标运行子栅格对应的位置信息,该位置信息可以认为是目标对象在第二时刻的终点位置信息。之后,基于目标对象在第二时刻的终点位置信息和目标对象在第一时刻的运行信息,能够预测得到目标对象从第一时刻到所述第二时刻之间的运行轨迹。
示例性地,可以根据目标运行子栅格中各个位置点的位置信息,确定各个位置点对应的坐标均值,并将确定的坐标均值作为该目标运行子栅格对应的位置信息。或者,计算目标运行子栅格的中心点,并将中心点的位置信息作为该目标运行子栅格对应的位置信息。
示例性地,可以将目标对象在第二时刻的终点位置信息和目标对象在第一时刻的运行信息输入预先训练好的神经网络,经过神经网络的处理,输出目标对象从第一时刻到所述第二时刻之间的运行轨迹。
基于目标运行子栅格中各个位置点的位置信息,能够较为准确的确定目标对象在第二时刻的终点位置信息,之后基于终点位置信息和运行信息,能够较为准确地确定目标对象从第一时刻到所述第二时刻之间的运行轨迹。
上述实施例,利用与目标对象相匹配的预设运行栅格来预测目标对象的运行轨迹,能够充分考虑目标对象的运行速度、方式等特征,提高了轨迹预测的针对性和准确性;另外,不同的对象均是利用预设运行栅格这种方式进行轨迹预测,因此该方面的方案具有泛化性,不用针对不同的对象设置不同的模型或方法,使得该方面的方案效率较高;同时,本方面在轨迹预测的时候不是基于点集,而是利用栅格,相对于点集来说处理的数据维度得到降低,因此该方面的方案处理的数据量得到有效减少,效率得到提升。
在一些实施例中,如图4所示,本公开还提供了一种为某一运行模式生成相匹配的预设运行栅格的步骤:
S410、获取具有该运行模式的多个参考对象中,每个参考对象的样本轨迹。
上述样本轨迹是参考对象的真实运行轨迹,可以利用感知系统录制不同场景下的参考对象的运行轨迹。参考对象可以是汽车、行人等。
一种运行模式可以对应一种参考对象,也可以对应多种参考对象。
S420、针对每个样本轨迹,确定该样本轨迹对应的多个样本时刻,基于所述第一预设时长,确定每个样本时刻对应的未来参考时刻,并基于该样本轨迹,确定在每个未来参考时刻,该样本轨迹对应的参考对象的样本位置信息。
对于某一个样本轨迹,可以采用滑动的方式选取多个样本时刻。在选取了样本时刻之后,根据第一预设时长,可以确定相对于样本时刻为未来时刻的未来参考时刻。在确定了未来参考时刻之后,将样本轨迹上与未来参考时刻对应的位置信息,作为参考对象的样本位置信息。
S430、基于确定的样本位置信息,确定每个参考对象在对应的每个未来参考时刻的位置点。
示例性地,可以将样本位置信息对应的位置点,作为参考对象在对应的未来参考时刻的位置点。
S440、基于确定的各个位置点,生成与该运行模式相匹配的预设运行栅格。
示例性地,可以将各个位置点转换到同一坐标系下,并绘制在一个图片上,之后对图片中有位置点的区域进行分割,得到包括至少一个运行子栅格的预设运行栅格。
在具体实施时,还可以结合参考对象在各个位置点的速度,绘制上述图像。结合各个位置点处的速度,能够生成信息量更为全面和丰富的预设运行栅格,继而,有利于提高估计预测的准确性。
示例性,可以利用如下步骤结合速度生成与某一运行模式相匹配的预设运行栅格:
首先,基于对应的参考对象在各个位置点处的速度,确定各个位置点的颜色。
示例性地,可以预先设置多个速度区间,并确定每个速度区间对应的颜色,之后,针对每个位置点,根据该位置点的速度,确定该位置点所在的速度区间,并将速度区间对应的颜色作为该位置点的颜色。
之后,基于各个位置点的位置信息和颜色,生成包括各个位置点的图片。
示例性,按照每个位置点的位置信息和颜色,绘制各个位置点,得到包括各个位置点的图片。
最后,基于各个位置点的颜色和位置信息,按照预设条件,对所述图片上的位置点进行分割,得到包括至少一个运行子栅格的预设运行栅格;其中,所述预设条件包括以下至少一项;任一运行子栅格中的位置点的数量在预设数值范围内;位于所述运行子栅格中的位置点在所有位置点中的占比大于预设占比;同一运行子栅格中的不同位置点对应的速度的差值小于预设值。
上述任一运行子栅格中的位置点的数量在预设数值范围内的条件能够保证不同运行子栅格中的位置点的数量相近,不会相差很远。上述预设占比可以根据实际应用场景设置,例如可以设置为90%,该预设占比设置的较大,用于保证绝大部分的位置点在预设运行栅格内,这样能够保证可以较为全面和准确的预测目标对象所在的目标运行子栅格。同一运行子栅格中的不同位置点对应的速度的差值小于预设值,可以将相同颜色或颜色相近的位置点划分到同一运行子栅格内。其中,速度相近的位置点颜色也相近。
如图5所示,图中的预设运行栅格为以汽车作为参考对象分割得到的,图中不同的运行子栅格501中包括的位置点数量相近,并且颜色相近的位置点可以位于同一运行子栅格内。栅格可以是扇形的,当然也可以是其他形状,本公开不做限定。
不同运行模式的对象速度不同,因此与不同运行模式相匹配的运行子栅格内包括的位置点的数量可以不相同,即预设数值范围不同,示例性地,可以利用如下步骤确定与某一运行模式相匹配的运行子栅格对应的预设数值范围:
确定该运行模式对应的对象平均速度;基于所述对象平均速度,确定该运行模式对应的所述预设数值范围。
利用对象平均速度确定的预设数值范围,能够保证位于同一个运行子栅格中的各个位置点的位置相近,用同一个位置来代表整个运行子栅格中的各个位置点的位置不会影响位置的精度。基于此,用某个运行子栅格对应的一个位置代表运行子栅格中的各个位置点的位置,相比较于点集来说,在轨迹预测中,降低了数据处理维度,有利于进行预测稳定性后处理。
上述实施例基于各个位置点的位置信息、速度以及预设条件,能够生成与该运行模式相匹配的预设运行栅格,从而能够提高轨迹预测的准确性。
由于在确定目标运行子栅格的过程中可能发生抖动,建模方式还需要有利于进行预测稳定性后处理,因为从感知系统获取的物体信息是具有噪声的,噪声容易造成物体预测运行轨迹的“抖动”(预测轨迹发生不合理变化后又恢复),这种抖动会对自动驾驶系统的舒适性和安全性造成负面影响。因此,在一些实施例中在确定了目标运行子栅格之后,还需要检测目标运行子栅格是否为抖动子栅格。在目标运行子栅格为抖动子栅格的情况下,将最近确定的非抖动子栅格作为最终的目标运行子栅格,并参与轨迹预测,在目标运行子栅格为非抖动子栅格的情况下,将该目标运行子栅格作为最终的目标运行子栅格,并参与轨迹预测。
示例性地,可以利用如下步骤检测目标运行子栅格是否为抖动子栅格:
首先,获取在确定所述目标运行子栅格之前,确定的多个历史运行子栅格;所述多个历史运行子栅格中的第一个历史运行子栅格为非抖动子栅格。
上述多个历史运行子栅格可以是在确定目标运行子栅格之前,确定的多个连续的目标运行子栅格。
之后,基于所述多个历史运行子栅格,确定所述目标运行子栅格是否为抖动子栅格。
示例性地,在所述目标运行子栅格与所述第一个历史运行子栅格为同一个子栅格的情况下,确定所述目标运行子栅格为非抖动子栅格。在所述目标运行子栅格与所述第一个历史运行子栅格不为同一个子栅格,并且所述多个历史运行子栅格中抖动子栅格的数量大于预设数量的情况下,确定所述目标运行子栅格为非抖动子栅格。在所述目标运行子栅格与所述第一个历史运行子栅格不为同一个子栅格,并且所述多个历史运行子栅格中抖动子栅格的数量小于或等于预设数量的情况下,确定所述目标运行子栅格为抖动子栅格。
目标运行子栅格与第一个历史运行子栅格为同一个子栅格,表明目标对象的运行状态并未发生改变,此时确定的目标运行子栅格认为是准确的,为非抖动子栅格;在多个历史运行子栅格中抖动子栅格的数量较多时,说明目标对象的运行状态发生了改变,这是正常的运动状态的变更,并非抖动,此时认为目标运行子栅格为非抖动子栅格。在多个历史运行子栅格中抖动子栅格的数量较少时,说明目标对象的运行状态未发生改变,此时若目标运行子栅格与第一个历史运行子栅格不为同一个子栅格,说明确定的目标运行子栅格是不准确的,为抖动子栅格。
第一个确定的目标运行子栅格预设为非抖动子栅格。
如图6所示,在具体实施时,可以利用如下步骤实现上述判定目标运行子栅格是否为抖动子栅格,以及确定最终的目标运行子栅格的目的:
步骤一、在确定一个目标运行子栅格之后,判断用于存储目标运行子栅格的标识符的队列是否为空;如果为空,表示确定的这个目标运行子栅格为第一个确定目标运行子栅格,认为该目标运行子栅格是非抖动子栅格,此时将该目标运行子栅格的标识符存入队列,并将该目标运行子栅格作为最终的目标运行子栅格。
步骤二、在上述队列不为空时,判断该目标运行子栅格的标识符与队列中存储的首个标识符是否相同;若相同,表明该目标运行子栅格与队列中存储的首个标识符对应的运行子栅格为同一运行子栅格,此时,该目标运行子栅格为非抖动子栅格,不需要将该目标运行子栅格的标识符存入队列,只需要将该目标运行子栅格作为最终的目标运行子栅格即可。
步骤三、若该目标运行子栅格的标识符与队列中存储的首个标识符不相同,则将该目标运行子栅格的标识符存入队列的队尾,并判断当前队列中存储的标识符的个数是否有大于给定值;若不大于给定值,表明目标运行子栅格为抖动子栅格,此时需要将队列中存储的首个标识符对应的运行子栅格作为最终的目标运行子栅格。
步骤四、当前队列中存储的标识符的格式大于给定值,表明目标对象的运动状态发生了改变,目标运行子栅格为非抖动子栅格,此时,需要将队列中存储的除了队尾的标识符以外的标识符清空,此时,队尾的标识符变为队首的标识符,并且将该目标运行子栅格作为最终的目标运行子栅格。
上述队列中存储的标识符对应的运行子栅格即为上述实施例中的历史运行子栅格。
上述实施例,在确定目标运行子栅格之前,确定多个历史运行子栅格,能够较为准确的判定目标运行子栅格是否为抖动子栅格;在目标运行子栅格为抖动子栅格的情况下,将第一个历史运行子栅格作为最终的目标运行子栅格,能够有效降低抖动对轨迹预测结果的影响,另外,利用包括多个位置点的栅格进行去抖动处理,降低了数据处理维度,从而能够降低预测稳定性后处理的难度,提高预测稳定性后处理的效率。
上述实施例中,认为对象未来可能的运动终点(即运行轨迹的终点)分布在一个由若干栅格组成的区域中,并且每个栅格代表一条可能的运行轨迹,据此,对象未来的运行轨迹可以建模为一个预设运行栅格。栅格的大小和数量以及栅格代表的运行轨迹,都可以单独根据不同对象的运动模式特点进行定制,从而不同物体的预测都具有针对性,有助于提高轨迹预测的准确性。上述实施例将物体运行轨迹预测任务定义为栅格的分类任务,一个栅格可以包含多个可能的运动终点,从而降低了对象行为预测的任务维度,有助于抑制预测轨迹抖动,提高预测稳定性。上述实施例稳定性后处理相当简单和直接,只需抑制扇形栅格分类预测的抖动,就可以稳定物体运行轨迹的预测,与以点集对预测轨迹进行建模的方法相比,后处理难度相对更小。
上述实施例将对象的预轨迹预测变化为栅格预测,从而将高维回归任务转化低维分类任务,降低任务难度,提高预测稳定性。同时,上述实施例保证方案泛化性的同时,将预测方式与对象的运动模式关联起来,使得预测方式可以针对不同对象进行适应性调整,有助于提高预测准确度。另外,上述实施例中的预测方式可以很好的与各种稳定性后处理方法衔接起来,通过后处理提高栅格的分类预测的稳定性,从而提高对象轨迹预测的稳定性。
基于同一发明构思,本公开实施例中还提供了与轨迹预测方法对应的轨迹预测装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述轨迹方法相似,因此装置的实施可以参见方法的实施。
如图7所示,为本公开实施例提供的一种轨迹预测装置的架构示意图,包括:
信息获取模块701,用于获取目标对象在第一时刻的运行信息。
定位预处理模块702,用于确定与所述目标对象的运行模式相匹配的预设运行栅格;所述预设运行栅格包括至少一个运行子栅格;所述运行子栅格包括至少一个参考对象在多个未来参考时刻的位置点;所述未来参考时刻是以样本时刻为起点,经过第一预设时长后的时刻;所述参考对象与所述目标对象具有相同的运行模式。
定位模块703,用于基于所述运行信息,确定所述目标对象在第二时刻所处的目标运行子栅格;其中,所述第二时刻为第一时刻经过所述第一预设时长后的时刻;
轨迹预测模块704,用于基于所述目标运行子栅格和所述运行信息,确定所述目标对象从第一时刻到所述第二时刻之间的运行轨迹。
在一些实施例中,定位预处理模块702在确定与所述目标对象的运行模式相匹配的预设运行栅格时,用于:
获取多个预设运行栅格;
从所述多个预设运行栅格中,筛选与所述目标对象的运行模式相匹配的预设运行栅格;其中,不同的预设运行栅格对应不同的运行模式。
在一些实施例中,定位模块703在基于所述运行信息,确定所述目标对象在第二时刻所处的目标运行子栅格时,用于:
基于所述运行信息,确定所述目标对象在所述第二时刻的位置信息;
基于所述位置信息,确定所述目标对象在所述第二时刻所处的目标运行子栅格。
在一些实施例中,所述运行信息包括所述目标对象在第一时刻的运动状态信息和目标对象在第一时刻所处位置的路况信息。
在一些实施例中,所述信息获取模块701在获取目标对象在第一时刻的运行信息时,用于:
确定第一时刻之前,与所述第一时刻间隔第二预设时长的时刻为第三时刻;
获取所述目标对象从所述第三时刻到所述第一时刻之间的运动状态信息,并将获取的所述运行状态信息,作为目标对象在所述第一时刻的运动状态信息;
基于所述目标对象的在所述第一时刻的运动状态信息和目标对象在第一时刻所处位置的路况信息,确定所述目标对象在所述第一时刻的运行信息。
在一些实施例中,定位预处理模块702还用于为任一运行模式生成相匹配的预设运行栅格:
获取具有该运行模式的多个参考对象中,每个参考对象的样本轨迹;
针对每个样本轨迹,确定该样本轨迹对应的多个样本时刻,基于所述第一预设时长,确定每个样本时刻对应的未来参考时刻,并基于该样本轨迹,确定在每个未来参考时刻,该样本轨迹对应的参考对象的样本位置信息;
基于确定的样本位置信息,确定每个参考对象在对应的每个未来参考时刻的位置点;
基于确定的各个位置点,生成与该运行模式相匹配的预设运行栅格。
在一些实施例中,定位预处理模块702在基于确定的各个位置点,确定与该运行模式相匹配的预设运行栅格时,用于:
基于确定的各个位置点,和对应的参考对象在各个位置点处的速度确定与该运行模式相匹配的预设运行栅格。
在一些实施例中,定位预处理模块702在基于确定的各个位置点,和对应的参考对象在各个位置点处的速度,确定与该运行模式相匹配的预设运行栅格时,用于:
基于对应的参考对象在各个位置点处的速度,确定各个位置点的颜色;
基于各个位置点的位置信息和颜色,生成包括各个位置点的图片;
基于各个位置点的颜色和位置信息,按照预设条件,对所述图片上的位置点进行分割,得到包括至少一个运行子栅格的预设运行栅格;其中,所述预设条件包括以下至少一项;任一运行子栅格中的位置点的数量在预设数值范围内;位于所述运行子栅格中的位置点在所有位置点中的占比大于预设占比;同一运行子栅格中的不同位置点对应的速度的差值小于预设值。
在一些实施例中,定位预处理模块702还用于确定所述预设数值范围:
确定该运行模式对应的对象平均速度;
基于所述对象平均速度,确定该运行模式对应的所述预设数值范围。
在一些实施例中,轨迹预测模块704在基于所述目标运行子栅格和所述运行信息,确定所述目标对象从第一时刻到所述第二时刻之间的运行轨迹时,用于:
基于所述目标运行子栅格中各个位置点的位置信息,确定所述目标对象在第二时刻的终点位置信息;
基于所述终点位置信息和所述运行信息,确定所述目标对象从第一时刻到所述第二时刻之间的运行轨迹。
在一些实施例中,轨迹预测模块704在确定了所述目标对象在第二时刻所处的目标运行子栅格之后,并且在确定所述目标对象从第一时刻到所述第二时刻之间的运行轨迹之前,还用于:
获取在确定所述目标运行子栅格之前,确定的多个历史运行子栅格;所述多个历史运行子栅格中的第一个历史运行子栅格为非抖动子栅格;
基于所述多个历史运行子栅格,确定所述目标运行子栅格是否为抖动子栅格;
在确定所述目标运行子栅格为抖动子栅格的情况下,将所述第一个历史运行子栅格作为最终的目标运行子栅格。
在一些实施例中,轨迹预测模块704在确定了所述目标运行子栅格之后,并且在确定所述目标对象的运行轨迹之前,还用于:
在确定所述目标运行子栅格为非抖动子栅格的情况下,将确定的所述目标运行子栅格作为最终的目标运行子栅格。
在一些实施例中,轨迹预测模块704在基于所述多个历史运行子栅格,确定所述目标运行子栅格是否为抖动子栅格时,用于:
在所述目标运行子栅格与所述第一个历史运行子栅格为同一个子栅格的情况下,确定所述目标运行子栅格为非抖动子栅格。
在一些实施例中,轨迹预测模块704在基于所述多个历史运行子栅格,确定所述目标运行子栅格是否为抖动子栅格时,用于:
在所述目标运行子栅格与所述第一个历史运行子栅格不为同一个子栅格,并且所述多个历史运行子栅格中抖动子栅格的数量大于预设数量的情况下,确定所述目标运行子栅格为非抖动子栅格。
在一些实施例中,轨迹预测模块704在基于所述多个历史运行子栅格,确定所述目标运行子栅格是否为抖动子栅格时,还用于:
在所述目标运行子栅格与所述第一个历史运行子栅格不为同一个子栅格,并且所述多个历史运行子栅格中抖动子栅格的数量小于或等于预设数量的情况下,确定所述目标运行子栅格为抖动子栅格。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
基于同一技术构思,本公开实施例还提供了一种电子设备。参照图8所示,为本公开实施例提供的电子设备800的结构示意图,包括处理器81、存储器82、和总线83。其中,存储器82用于存储执行指令,包括内存821和外部存储器822;这里的内存821也称内存储器,用于暂时存放处理器81中的运算数据,以及与硬盘等外部存储器822交换的数据,处理器81通过内存821与外部存储器822进行数据交换,当电子设备800运行时,处理器81与存储器82之间通过总线83通信,使得处理器81在执行以下指令:
获取目标对象在第一时刻的运行信息;确定与所述目标对象的运行模式相匹配的预设运行栅格;所述预设运行栅格包括至少一个运行子栅格;所述运行子栅格包括至少一个参考对象在多个未来参考时刻的位置点;所述未来参考时刻是以样本时刻为起点,经过第一预设时长后的时刻;基于所述运行信息,确定所述目标对象在第二时刻所处的目标运行子栅格;其中,所述第二时刻为第一时刻经过所述第一预设时长后的时刻;所述参考对象与所述目标对象具有相同的运行模式;基于所述目标运行子栅格和所述运行信息,确定所述目标对象从第一时刻到所述第二时刻之间的运行轨迹。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的轨迹预测方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的轨迹预测方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述的轨迹预测方法的步骤,具体可参见上述方法实施例,在此不再赘述。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。

Claims (17)

1.一种轨迹预测方法,其特征在于,包括:
获取目标对象在第一时刻的运行信息;
确定与所述目标对象的运行模式相匹配的预设运行栅格;所述预设运行栅格包括至少一个运行子栅格;所述运行子栅格包括至少一个参考对象在多个未来参考时刻的位置点;所述未来参考时刻是以样本时刻为起点,经过第一预设时长后的时刻;所述参考对象与所述目标对象具有相同的运行模式;
基于所述运行信息,确定所述目标对象在第二时刻所处的目标运行子栅格;其中,所述第二时刻为第一时刻经过所述第一预设时长后的时刻;
基于所述目标运行子栅格和所述运行信息,确定所述目标对象从第一时刻到所述第二时刻之间的运行轨迹。
2.根据权利要求1所述的方法,其特征在于,所述确定与所述目标对象的运行模型相匹配的预设运行栅格,包括:
获取多个预设运行栅格;
从所述多个预设运行栅格中,筛选与所述目标对象的运行模式相匹配的预设运行栅格;其中,不同的预设运行栅格对应不同的运行模式。
3.根据权利要求1或2所述的方法,其特征在于,所述基于所述运行信息,确定所述目标对象在第二时刻所处的目标运行子栅格,包括:
基于所述运行信息,确定所述目标对象在所述第二时刻的位置信息;
基于所述位置信息,确定所述目标对象在所述第二时刻所处的目标运行子栅格。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述运行信息包括所述目标对象在第一时刻的运动状态信息和目标对象在第一时刻所处位置的路况信息;
所述获取目标对象在第一时刻的运行信息,包括:
确定第一时刻之前,与所述第一时刻间隔第二预设时长的时刻为第三时刻;
获取所述目标对象从所述第三时刻到所述第一时刻之间的运动状态信息,并将获取的所述运行状态信息,作为目标对象在所述第一时刻的运动状态信息;
基于所述目标对象在所述第一时刻的运动状态信息和目标对象在第一时刻所处位置的路况信息,确定所述目标对象在所述第一时刻的运行信息。
5.根据权利要求1所述方法,其特征在于,所述方法还包括为任一运行模式生成相匹配的预设运行栅格的步骤:
获取具有该运行模式的多个参考对象中,每个参考对象的样本轨迹;
针对每个样本轨迹,确定该样本轨迹对应的多个样本时刻,基于所述第一预设时长,确定每个样本时刻对应的未来参考时刻,并基于该样本轨迹,确定在每个未来参考时刻,该样本轨迹对应的参考对象的样本位置信息;
基于确定的样本位置信息,确定每个参考对象在对应的每个未来参考时刻的位置点;
基于确定的各个位置点,生成与该运行模式相匹配的预设运行栅格。
6.根据权利要求5所述方法,其特征在于,所述基于确定的各个位置点,确定与该运行模式相匹配的预设运行栅格,包括:
基于确定的各个位置点,和对应的参考对象在各个位置点处的速度确定与该运行模式相匹配的预设运行栅格。
7.根据权利要求6所述方法,其特征在于,所述基于确定的各个位置点,和对应的参考对象在各个位置点处的速度,确定与该运行模式相匹配的预设运行栅格,包括:
基于对应的参考对象在各个位置点处的速度,确定各个位置点的颜色;
基于各个位置点的位置信息和颜色,生成包括各个位置点的图片;
基于各个位置点的颜色和位置信息,按照预设条件,对所述图片上的位置点进行分割,得到包括至少一个运行子栅格的预设运行栅格;其中,所述预设条件包括以下至少一项;任一运行子栅格中的位置点的数量在预设数值范围内;位于所述运行子栅格中的位置点在所有位置点中的占比大于预设占比;同一运行子栅格中的不同位置点对应的速度的差值小于预设值。
8.根据权利要求7所述方法,其特征在于,还包括确定所述预设数值范围的步骤:
确定该运行模式对应的对象平均速度;
基于所述对象平均速度,确定该运行模式对应的所述预设数值范围。
9.根据权利要求1至8任一项所述方法,其特征在于,所述基于所述目标运行子栅格和所述运行信息,确定所述目标对象从第一时刻到所述第二时刻之间的运行轨迹,包括:
基于所述目标运行子栅格中各个位置点的位置信息,确定所述目标对象在第二时刻的终点位置信息;
基于所述终点位置信息和所述运行信息,确定所述目标对象从第一时刻到所述第二时刻之间的运行轨迹。
10.根据权利要求1至9任一项所述方法,其特征在于,在确定了所述目标对象在第二时刻所处的目标运行子栅格之后,并且在确定所述目标对象从第一时刻到所述第二时刻之间的运行轨迹之前,还包括:
获取在确定所述目标运行子栅格之前,确定的多个历史运行子栅格;所述多个历史运行子栅格中的第一个历史运行子栅格为非抖动子栅格;
基于所述多个历史运行子栅格,确定所述目标运行子栅格是否为抖动子栅格;
在确定所述目标运行子栅格为抖动子栅格的情况下,将所述第一个历史运行子栅格作为最终的目标运行子栅格。
11.根据权利要求10所述方法,其特征在于,所述方法还包括:
在确定所述目标运行子栅格为非抖动子栅格的情况下,将确定的所述目标运行子栅格作为最终的目标运行子栅格。
12.根据权利要求10或11所述方法,其特征在于,所述基于所述多个历史运行子栅格,确定所述目标运行子栅格是否为抖动子栅格,包括:
在所述目标运行子栅格与所述第一个历史运行子栅格为同一个子栅格的情况下,确定所述目标运行子栅格为非抖动子栅格。
13.根据权利要求10或11所述方法,其特征在于,所述基于所述多个历史运行子栅格,确定所述目标运行子栅格是否为抖动子栅格,包括:
在所述目标运行子栅格与所述第一个历史运行子栅格不为同一个子栅格,并且所述多个历史运行子栅格中抖动子栅格的数量大于预设数量的情况下,确定所述目标运行子栅格为非抖动子栅格。
14.根据权利要求10或11所述方法,其特征在于,所述基于所述多个历史运行子栅格,确定所述目标运行子栅格是否为抖动子栅格,还包括:
在所述目标运行子栅格与所述第一个历史运行子栅格不为同一个子栅格,并且所述多个历史运行子栅格中抖动子栅格的数量小于或等于预设数量的情况下,确定所述目标运行子栅格为抖动子栅格。
15.一种轨迹预测装置,其特征在于,包括:
信息获取模块,用于获取目标对象在第一时刻的运行信息;
定位预处理模块,用于确定与所述目标对象的运行模式相匹配的预设运行栅格;所述预设运行栅格包括至少一个运行子栅格;所述运行子栅格包括至少一个参考对象在多个未来参考时刻的位置点;所述未来参考时刻是以样本时刻为起点,经过第一预设时长后的时刻;所述参考对象与所述目标对象具有相同的运行模式;
定位模块,用于基于所述运行信息,确定所述目标对象在第二时刻所处的目标运行子栅格;其中,所述第二时刻为第一时刻经过所述第一预设时长后的时刻;
轨迹预测模块,用于基于所述目标运行子栅格和所述运行信息,确定所述目标对象从第一时刻到所述第二时刻之间的运行轨迹。
16.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至14任一项所述的轨迹预测方法的步骤。
17.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至14任一项所述的轨迹预测方法的步骤。
CN202111160491.2A 2021-09-30 2021-09-30 轨迹预测方法、装置、电子设备及存储介质 Active CN113879333B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111160491.2A CN113879333B (zh) 2021-09-30 2021-09-30 轨迹预测方法、装置、电子设备及存储介质
PCT/CN2022/084204 WO2023050749A1 (zh) 2021-09-30 2022-03-30 轨迹预测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111160491.2A CN113879333B (zh) 2021-09-30 2021-09-30 轨迹预测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113879333A true CN113879333A (zh) 2022-01-04
CN113879333B CN113879333B (zh) 2023-08-22

Family

ID=79004799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111160491.2A Active CN113879333B (zh) 2021-09-30 2021-09-30 轨迹预测方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN113879333B (zh)
WO (1) WO2023050749A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023050749A1 (zh) * 2021-09-30 2023-04-06 上海商汤智能科技有限公司 轨迹预测方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2723237C1 (ru) * 2019-08-20 2020-06-09 Постников Роман Владимирович Способы и устройства построения точной траектории перемещений объектов
CN111382768A (zh) * 2018-12-29 2020-07-07 华为技术有限公司 多传感器数据融合方法和装置
CN111784728A (zh) * 2020-06-29 2020-10-16 杭州海康威视数字技术股份有限公司 轨迹处理方法、装置、设备及存储介质
CN112000756A (zh) * 2020-08-21 2020-11-27 上海商汤智能科技有限公司 轨迹预测的方法、装置、电子设备及存储介质
CN112327888A (zh) * 2021-01-07 2021-02-05 中智行科技有限公司 路径规划方法、装置、电子设备和存储介质
CN112597822A (zh) * 2020-12-11 2021-04-02 国汽(北京)智能网联汽车研究院有限公司 车辆的轨迹确定方法、装置、电子设备及计算机存储介质
CN112923942A (zh) * 2021-01-22 2021-06-08 北京中交兴路信息科技有限公司 起点和终点之间车辆参考行驶路线的方法、装置、计算机设备和存储介质
WO2021175434A1 (en) * 2020-03-05 2021-09-10 Cambridge Enterprise Limited System and method for predicting a map from an image

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102260975B1 (ko) * 2017-05-30 2021-06-04 현대모비스 주식회사 3차원 격자지도를 이용한 자율 주행 제어 장치 및 방법
CN109969172B (zh) * 2017-12-26 2020-12-01 华为技术有限公司 车辆控制方法、设备及计算机存储介质
EP3552904B1 (en) * 2018-04-10 2023-05-31 Bayerische Motoren Werke Aktiengesellschaft Method, device and computer program product for predicting the development of a traffic scene involving several participants
CN110085056B (zh) * 2019-04-24 2021-06-08 华南理工大学 一种高速公路车路协同环境下车辆换道瞬时风险识别方法
CN111595352B (zh) * 2020-05-14 2021-09-28 陕西重型汽车有限公司 一种基于环境感知和车辆行驶意图的轨迹预测方法
CN113879333B (zh) * 2021-09-30 2023-08-22 深圳市商汤科技有限公司 轨迹预测方法、装置、电子设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111382768A (zh) * 2018-12-29 2020-07-07 华为技术有限公司 多传感器数据融合方法和装置
RU2723237C1 (ru) * 2019-08-20 2020-06-09 Постников Роман Владимирович Способы и устройства построения точной траектории перемещений объектов
WO2021175434A1 (en) * 2020-03-05 2021-09-10 Cambridge Enterprise Limited System and method for predicting a map from an image
CN111784728A (zh) * 2020-06-29 2020-10-16 杭州海康威视数字技术股份有限公司 轨迹处理方法、装置、设备及存储介质
CN112000756A (zh) * 2020-08-21 2020-11-27 上海商汤智能科技有限公司 轨迹预测的方法、装置、电子设备及存储介质
CN112597822A (zh) * 2020-12-11 2021-04-02 国汽(北京)智能网联汽车研究院有限公司 车辆的轨迹确定方法、装置、电子设备及计算机存储介质
CN112327888A (zh) * 2021-01-07 2021-02-05 中智行科技有限公司 路径规划方法、装置、电子设备和存储介质
CN112923942A (zh) * 2021-01-22 2021-06-08 北京中交兴路信息科技有限公司 起点和终点之间车辆参考行驶路线的方法、装置、计算机设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023050749A1 (zh) * 2021-09-30 2023-04-06 上海商汤智能科技有限公司 轨迹预测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113879333B (zh) 2023-08-22
WO2023050749A1 (zh) 2023-04-06

Similar Documents

Publication Publication Date Title
US10235332B2 (en) License plate distributed review systems and methods
CN107392932A (zh) 更新用于图像的背景减除的背景模型的方法和装置
CN103577793A (zh) 手势识别方法及装置
CN114303177A (zh) 通过迁移学习生成具有不同疲劳程度的视频数据集的系统和方法
JP7053213B2 (ja) 運転データ解析装置
CN110827326B (zh) 模拟人车冲突场景模型生成方法、装置、设备和存储介质
JP7374001B2 (ja) 学習モデルの生成方法、プログラム及び情報処理装置
CN115017742B (zh) 自动驾驶测试场景生成方法、装置、设备及存储介质
CN112818955A (zh) 一种图像分割方法、装置、计算机设备以及存储介质
CN113879333A (zh) 轨迹预测方法、装置、电子设备及存储介质
CN112466118A (zh) 车辆驾驶行为识别方法、系统、电子设备及存储介质
CN113468678B (zh) 一种自动驾驶算法准确度的计算方法及装置
Mänttäri et al. Learning to predict lane changes in highway scenarios using dynamic filters on a generic traffic representation
CN116438434A (zh) 用于基于概率对车辆进行速度预测的计算机辅助的方法和装置
US20220266854A1 (en) Method for Operating a Driver Assistance System of a Vehicle and Driver Assistance System for a Vehicle
CN110398957A (zh) 自动驾驶行为预测方法、装置、计算机设备及存储介质
WO2022025244A1 (ja) 車両事故予測システム、車両事故予測方法、車両事故予測プログラム、及び、学習済みモデル生成システム
CN114906170A (zh) 一种运动规划的方法、装置、电子设备及存储介质
CN114492544A (zh) 模型训练方法及装置、交通事件发生概率评估方法及装置
KR20230104592A (ko) 센서 데이터의 주석을 다는 방법 및 시스템
CN102902972B (zh) 人体行为特征提取方法、系统及异常行为检测方法和系统
JP2021051542A (ja) 学習用データ収集装置
CN113302589A (zh) 协调部件接口控制框架
WO2023095187A1 (ja) 映像検索装置、映像検索システム、映像検索方法、及びプログラム
Zaffaroni et al. Estimation of speed and distance of surrounding vehicles from a single camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40057110

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant