CN116552549A - 高计算效率的交通参与者轨迹表征 - Google Patents

Abstract

本公开一般涉及自主车辆，更具体地说，涉及高计算效率实现对象为(例如车辆、行人、自行车骑行者等)交通参与者的轨迹表征技术(例如用于自主车辆的多对象追踪)。生成控制车辆的控制信号的示例性方法包括：获得与车辆处于相同环境中的单一对象的轨迹的参数化表征；在多对象和多假设追踪器的框架内，基于由车辆的一个或多个传感器接收的数据，更新所述单一对象的轨迹的参数化表征；以及基于所更新的对象轨迹，生成用于控制车辆的控制信号。

Description

高计算效率的交通参与者轨迹表征

技术领域

本公开一般涉及自主车辆，更具体地说，涉及高计算效率的(例如车辆、行人、自行车骑行者等)交通参与者轨迹表征技术(例如用于自主车辆的多对象追踪)。

背景技术

自主行为主体/代理方(例如包括汽车、无人机、机器人、农用装置等车辆)的安全和舒适操作，需要一预期运动规划，该规划要考虑周围环境中其他行为主体和对象可能的未来动态特性。由于外部观察者一般无法识别其他行为主体的意图，自主行为主体只能对其周围动态环境的未来行为进行推断。这类推断只能以对周围环境中过去和现在运动的观察，加上例如转向指示器等其他行为主体可能主动发出的、表明其意图的所有信号为基础。

因此，自主行为主体需要使用他们的传感器对其周围环境中动态对象的运动进行持续追踪。由于行为主体的周围环境中通常有多个动态对象，该过程被称为多对象追踪(“MOT”)。多对象追踪需要面临一些特殊挑战：要追踪的对象数量可能会随着对象离开和进入行为主体的观察范围而改变；错误的传感器读数可能会错误显示对象的存在；或由于暂时的遮挡，现有对象可能不提供传感器读数。因此，出现了如何将传感器读数正确与被追踪对象相关联以更新其当前运动状态估计的问题，即所谓的数据关联问题。

处理数据关联不确定性的一原则性解决方案是，在所谓多假设追踪算法(“MHT”)中，同时保持一些不同的一致性假设，将传感器读数分配给被追踪对象。这可在收集到更多结论性证据情况下(例如解决了遮挡问题时)，有效地将数据关联的最终决定推迟到稍后的时间点，其中，在此期间对所有可能的替代选择加以考虑。

虽然多假设追踪(MHT)算法对多对象追踪(MOT)显示出卓越的追踪性能，但由于可能需要存储很多关联假设，所以它们具有极高的计算密集性。因此，在应用于嵌入式硬件上的实时追踪系统情况下，多假设追踪(MHT)算法目前只限于维持对象如当前位置、速度和加速度等当前运动状态的估计。

然而，不仅追踪对象当前运动状态，而且追踪其历史轨迹的一部分是非常有益的，因为这可获取某一行为主体意图的宝贵信息。例如刚完成变道的车辆与另一处于相同运动状态、而最近没变道的车辆相比，再次变道的可能性更小。

如果多假设追踪(MHT)算法被用于轨迹追踪，则内存需求量的规模为M*L，即所保留的假设数量(M)与轨迹长度(L)——即，追踪的时间步数——的乘积。此外，在使用移动传感器的情况下，我们必须考虑将所有用于情况诠释、预测和规划的假设转化为对传感器固定坐标系的计算成本，其规模为L*m，其中，m是用于这些任务的假设数量，并且≤M。

因此，期望生成和保持既能减少内存要求又能减少坐标转换计算要求的轨迹表征，因为它能使多假设追踪(MHT)算法也用于轨迹追踪。

发明内容

本公开涉及生成自主车辆和操作自主行为主体用控制信号的方法、电子装置、系统、装置和非瞬态存储介质。本公开实施方式可以高内存效率和高计算效率的方式完成(例如本车、其他车辆、行人、自行车骑行者等)交通参与者的轨迹表征。在一些实施方式中，对象的轨迹被表征为诸如贝塞尔曲线等参数化表征。在一些实施方式中，对象轨迹被表征为贝塞尔曲线的泛化，即(例如第一基函数、第二基函数、第三基函数等)基函数的线性组合，这些基函数从数据中学习，但保持了贝塞尔曲线的基本特性，确保坐标转换的低内存占用和高计算效率。

使用类似贝塞尔曲线这样的参数化表征方法表征交通轨迹有许多技术优势。由此，贝塞尔曲线例如非常适用于表征从自主行为主体中观察到的典型交通轨迹(例如平滑的驱动轨迹)。此外，历史轨迹与周围环境当前状态一起可提供有关其他行为主体意图的丰富信息，并可由此大幅度减少不确定性并简化规划过程。

此外，参数化表征需要的内存比朴素轨迹表征少得多。朴素轨迹表征包括运动状态的时间序列，每个运动状态分别由多个运动状态参数(即位置、速度、加速度)相应地定义。因此，在多假设方法中，计算成本在内存和计算中的规模为M*L，即为对象所保留假设数量(M)和所追踪轨迹长度(L)(例如追踪的时间步数)的乘积。相比之下，贝塞尔曲线或其泛化是由多个控制点参数化的，因此可用恒定数量的参数(例如立方贝塞尔曲线为8，昆特贝塞尔曲线为12)总结多秒时间段内(例如数十到几百个时间戳/循环周期)观察到的运动状态。贝塞尔曲线将每个具有所追踪轨迹长度(L)的轨迹追踪算法计算成本降低到一常数。换句话说，本发明实施方式可使轨迹追踪算法规模与只追踪当前状态的算法相当，并同时提供丰富的时间背景。此方法可将内存占用量减少95％以上。

此外，轨迹参数化表征所需的计算资源明显少于朴素轨迹表征。例如，要获得(例如由于本车运动等)从不同坐标系看到的贝塞尔曲线表征，系统可移动和转动控制点，即曲线参数，从而以高计算效率的方式获得曲线的精确表征。在一些实施方式中，所述控制点的变换可使用仿射变换。换句话说，它们的转换方式与(诸如交通标志等)周围环境特征静态位置的转换方式相同。这与例如某些坐标系中不允许直接转换其参数的多项式表征不同。如果使用多项式表征法拟合对象轨迹，自我运动补偿会有困难，因为本车坐标系中的多项式在旋转情况下并不保持多项式。因此，所述系统仅限于保留所有已测量点列表，用于自我运动的补偿，并用这些点密集计算多项式重新拟合。

此外，参数化表征可以一种计算效率高的方式进行更新。追踪算法中预测步骤所需的运动模型只取决于循环周期时间的一时不变线性变换。当观察对象位置、速度和加速度时，观察模型是线性时不变的，因此轨迹参数的卡尔曼更新方程是精准的。这些参数完全可予以诠释。对象沿轨迹的标准运动学状态向量(位置、速度、加速度)可通过线性变换重建。不需要对数据进行拟合，相反，更新步骤直接将新的观察数据纳入曲线参数。因此，不必为计算贝塞尔曲线表征法或其泛化而存储观察序列。

如本文所述，本公开的一些实施方式在贝塞尔曲线或其泛化的控制点获得多变量高斯分布，连同经调整的运动模型和测量模型，作为状态追踪器中所用运动学状态向量上高斯分布的卡尔曼更新方程直接引入。这会将任何状态追踪算法转换为轨迹追踪算法，而无需维护构成轨迹的状态序列的计算和内存成本。同时，与普通状态追踪相比，不会丢失任何信息，因为轨迹最后的点始终对应于对象的当前状态。由于贝塞尔曲线可舒适且平滑表征急动度限制型轨迹，因此实际测量的对象状态偏差可用于识别其他交通参与者的行为异常。紧凑的贝塞尔表征还特别适合用作人工智能(AI)算法(例如机器学习模型，如神经网络)的输入，用于自主行为主体的情境理解，因为它们总结了行为主体在过去交通场景中的行为。

生成控制车辆的控制信号的示例性方法包括：获得与车辆相同环境中单一对象轨迹的参数化表征；在多对象和多假设追踪器的框架内，基于由车辆一个或多个传感器接收的数据，更新单一对象轨迹的参数化表征；以及基于已更新对象轨迹，生成控制车辆的控制信号。

在一些实施方式中，控制信号是基于对象和与车辆处于同一环境中的至少一其他对象的更新轨迹生成的。

在一些实施方式中，所述方法还包括向车辆提供控制车辆运动的控制信号。

在一些实施方式中，所述方法还包括基于更新的轨迹确定所述对象相关的意图，其中，控制信号是基于所述意图确定的。

在一些实施方式中，所述意图包括离开道路、进入道路、改变车道、穿越道路、转弯或上述任何组合。

在一些实施方式中，所述方法还包括将更新的轨迹输入到经训练的机器学习模型中以获得输出，其中，控制信号是基于经训练的机器学习模型输出确定的。

在一些实施方式中，机器学习模型是一神经网络。

在一些实施方式中，获得轨迹的参数化表征包括从存储器中检索多个控制点。

在一些实施方式中，所述方法还包括基于车辆运动将获得的参数化表征转换到新的坐标系。

在一些实施方式中，转换获得的参数化表征包括将参数化表征的多个控制点转换到新的坐标系。

在一些实施方式中，参数化表征更新包括：基于所获得的参数化表征和运动模型预测预期参数化表征；将预期参数化表征与由车辆一个或多个传感器接收的数据进行比较；以及基于所述比较更新参数化表征。

在一些实施方式中，预期参数化表征的预测包括确定预期参数化表征的多个控制点。

在一些实施方式中，确定预期参数化表征的多个控制点包括获得预期参数化表征多个控制点的均值和/或协方差。

在一些实施方式中，运动模型是一线性模型，它配置用于，将获得的参数化表征向前移动一时间周期。

在一些实施方式中，参数化表征基于卡尔曼滤波算法更新。

在一些实施方式中，所述方法还包括基于比较确定相关对象是否异常。

在一些实施方式中，所述数据是第一数据，更新的参数化表征是第一参数曲线表征，并且所述方法还包括：基于由车辆一个或多个传感器接收的第二数据更新获得的轨迹参数化表征，以获得第二个更新的参数化表征；以及将第一个更新的参数化表征和第二个更新的参数化表征存储为与相关对象相关的假设。

在一些实施方式中，对象是交通参与者。

在一些实施方式中，一示例车辆包括：一个或多个处理器；存储器；以及一个或多个程序，其中，所述一个或多个程序存储在存储器中，并配置用于，可由一个或多个处理器执行，其中，所述一个或多个程序包括获得与车辆处于同一环境中单一对象轨迹参数化表征的指令；在多对象和多假设追踪器的框架内，基于车辆一个或多个传感器接收的数据，更新单一对象的轨迹参数化表征；以及基于已更新对象轨迹，生成控制车辆的控制信号。

在一些实施方式中，生成控制车辆的控制信号的一示例系统包括：一个或多个处理器；存储器；以及一个或多个程序，其中，所述一个或多个程序存储在存储器中，并配置用于，可由一个或多个处理器执行，其中，所述一个或多个程序包括获得与车辆处于同一环境中单一对象轨迹参数化表征的指令；在多对象和多假设追踪器的框架内，基于由车辆一个或多个传感器接收的数据，更新单一对象的轨迹参数化表征；以及基于已更新对象轨迹，生成控制车辆的控制信号。

附图说明

为更好理解所述不同实施方式，下面参考实施方式并结合以下附图进行说明，其中，相同参考数字指的是整个图中的对应部分。

图1A展示根据一些实施方式的只有两辆车辆的当前状态是已知的情形。

图1B展示根据一些实施方式的只有两辆车辆的当前状态是已知的情形。

图1C展示根据一些实施方式的对象当前状态和历史轨迹都是已知的情形。

图1D展示根据一些实施方式的对象当前状态和历史轨迹都是已知的情形。

图2展示根据一些实施方式的生成车辆控制信号的过程示例。

图3A展示根据一些实施方式的轨迹表征示例。

图3B展示根据一些实施方式的轨迹表征示例。

图4展示根据一些实施方式的计算装置示例。

具体实施方式

下面说明可使本领域普通技术人员建立和使用各种实施方式。对具体装置、技术和应用的说明仅作为示例提供。对本文所说明示例的不同修改对本领域普通技术人员而言显而易见，而且本文定义的一般原理可在不偏离不同实施方式的精神和范围情况下，应用于其他示例和应用。因此，不同实施方式并不局限于本文所说明和所展示的示例，而是具有与权利要求一致的范围。

本公开涉及生成自主车辆和操作自主行为主体用控制信号的方法、电子装置、系统、装置和非瞬态存储介质。本公开的实施方式可以内存高效和高计算效率的方式完成(例如本车、其他车辆、行人、自行车骑行者等)交通参与者的轨迹表征。在一些实施方式中，对象的轨迹被表征为参数化表征。参数化表征可以是贝塞尔曲线的泛化，即(例如第一基函数、第二基函数、第三基函数等)基函数的线性组合，这些基函数从数据中学习，并保持了贝塞尔曲线的基本特性，确保坐标转换的低内存占用和高计算效率。

使用贝塞尔曲线参数化表征法表征交通轨迹有许多技术优势。贝塞尔曲线例如非常适用于表征从自主行为主体中观察到的典型交通轨迹(例如平滑的驱动轨迹)。此外，历史轨迹与周围环境当前状态共同提供有关其他行为主体意图的丰富信息，由此大幅度减少不确定性并简化规划过程。

此外，参数化表征所需要的内存比朴素轨迹表征少得多。朴素轨迹表征包括运动状态的时间序列，每个运动状态分别由多个运动状态参数(即位置、速度、加速度)相应定义。因此，在多假设方法中，计算成本在内存和计算方面的规模为M*L，即为对象所保留假设数量(M)和所追踪轨迹长度(L)(例如追踪的时间步数)的乘积。相比之下，贝塞尔曲线或其泛化是由多个控制点参数化的，因此可用恒定数量的参数(例如立方贝塞尔曲线为8，昆特贝塞尔曲线为12)总结多秒时间段(例如数十到几百个时间戳/循环周期)内观察到的运动状态。参数化表征将任何轨迹追踪算法的计算成本从具有所追踪轨迹长度(L)的规模降低到一常数。换句话说，本发明实施方式可使轨迹追踪算法的规模与只追踪当前状态的算法相当，并同时提供丰富的时间背景。以此方法，可将内存占用量减少95％以上。

此外，轨迹参数化表征所需计算资源明显少于朴素轨迹表征。例如，要获得(例如由于本车运动等)从不同坐标系看到的贝塞尔曲线表征，系统可移动和转动控制点，即曲线参数，从而以高计算效率的方式获得曲线的精确表征。在一些实施方式中，所述控制点的变换可使用仿射变换。换句话说，它们的转换方式与(诸如交通标志等)周围环境特征静态位置的转换方式相同。这与例如某些坐标系中不允许直接转换其参数的多项式表征不同。如果使用多项式表征法拟合对象轨迹，自我运动补偿会有困难，因为本车坐标系中的多项式在旋转情况下并不保持多项式。因此，所述系统仅限于保留所有已测量点列表，用于自我运动的补偿，并用这些点密集计算多项式重新拟合。

此外，参数化表征可以一种计算效率高的方式进行更新。追踪算法中预测步骤所需的运动模型只取决于循环周期时间的一时不变线性变换。当观察对象位置、速度和加速度时，观察模型是线性时不变的，因此轨迹参数的卡尔曼更新方程是精准的。这些参数完全可予以诠释。对象沿轨迹的标准运动学状态向量(位置、速度、加速度)可通过线性变换重建。不需要对数据进行拟合，相反，更新步骤直接将新的观察数据纳入曲线参数。因此，不必为计算贝塞尔曲线表征法或其泛化而存储观察序列。

如本文所述，本公开的一些实施方式在贝塞尔曲线或其泛化的控制点获得多变量高斯分布，连同经调整的运动模型和测量模型，作为状态追踪器中所用运动学状态向量上高斯分布的卡尔曼更新方程直接引入。这会将任何状态追踪算法转换为轨迹追踪算法，而无需对构成轨迹的状态序列进行维护所需的计算和内存成本。同时，与普通状态追踪相比，不会丢失任何信息，因为轨迹最后的点始终对应于对象的当前状态。由于贝塞尔曲线可舒适且平滑表征急动度限制型轨迹，因此实际测量的对象状态偏差可用于识别其他交通参与者的行为异常。紧凑的贝塞尔表征还特别适合用作人工智能(AI)算法的输入，用于自主行为主体的情境理解，因为它们总结了行为主体在过去交通场景中的行为。

下面的说明提出了方法、参数等示例。然而，应承认，这类说明并不是限制本公开的范围，而是作为实施方式示例提供。

尽管以下说明使用术语“第一”、“第二”等说明不同要素，但这些要素不应受这些术语限制。这些术语只是用于区别一要素与另一要素。例如，在不偏离所说明不同实施方式应用范围情况下，第一图示可被称为第二图示，同样，第二图示也可被称为第一图示。第一图示和第二图示都是图示，但它们不是同一图示。

本文对所说明不同实施方式的说明中所使用的术语仅用于说明特定实施方式，并不意味对相关实施方式的限制。在对所说明不同实施方式和所附权利要求的说明中，只要上下文没有其他明确说明，则单数形式的也包括复数形式。还要理解的是，本文使用的术语“和/或”是指并涵盖一项或多项的任何和所有可能组合。此外，还应理解，当在本说明中使用术语“包括”和/或“包含”时，指定了所述特征、整数、步骤、操作、要素和/或组件的存在，但不排除存在或添加一个或多个其他特征、整数、步骤、操作、要素、组件和/或其群组。

根据上下文，术语“在......情况下”可解释为“在......情况下”或“在......时”或“作为对相关确定的响应”或“作为对相关识别的响应”。同样，短语“在确定情况下”或“在识别到[一特定状况或事件]情况下”可分别根据上下文解释为“在确定时”或“作为对相关确定的响应”或“在识别到[特定状况或事件]时”或“作为对识别到[特定状况或事件]的相应”。

自主车辆安全舒适的导航需要预期规划，即对周围环境中动态对象未来行为构成精准预测和预报的能力。这类预测的基础是基于过去的观察对动态对象当前状态的精准估计。当然，由于测量过程中的不确定性或诸如驾驶员意图等不可观察的数量，这种状态估计是概率性的。对该项任务而言，状态空间模型是唯一适合的，因为它们提供了稳固的概率框架，可依次将观察值整合为动态对象的当前状态估计值，并对其随时间的运动加以追踪。这方面的标准方法是卡尔曼滤波或其任何变异和扩展。下面描述的是卡尔曼滤波的主要操作步骤，该方法的一些弱点，以及如何对其加以改进。

卡尔曼滤波算法

鉴于截至时间t的所有过去观察数据的序列，单一对象x_t上的概率分布可被视为P(x_t|o_t，..，o₀)≡P_t|t·。例如，在二维空间追踪的自主车辆由一典型的状态向量x_t描述，它包括6项：x轴位置、y轴位置、速度v、加速度a、偏航角ψ和转向率最简单的情况下，该向量的概率密度是一高斯分布/>它具有平均值μ_t|t和协方差∑_t|t。

感兴趣的是该时间t+δt给定当前状态向量x_t：P(x_t+δt|x_t)的未来状态向量的进一步分布。重复一下，最简单的情况是高斯分布其平均值是一线性函数/>和协方差矩阵Q(δt)以及矩阵F(δt)，Q(δt)只取决于δt。

此外，还要考虑观察值o_t对给定状态向量P(o_t|x_t)的概率。在此最简单的情况也是高斯分布其平均值是给定状态向量/>和协方差R的线性函数。作为示例，对上述状态向量，以及只提供位置估计值和速度估计值的传感器，矩阵可以是：

以及观察向量o_t包含三项：x轴位置、y轴位置和速度v。

有了这些分布，系统可从时间t+δt中依次将新的观察值整合成状态向量X_t+δt更精确的估计。其基础是，所有先前通过预测步骤的迭代和随后在更新步骤中对序列中每个观察值应用贝叶斯规则获得的信息：

从参数向量的高斯分布、观察值的高斯似然，以及线性运动模型和观察模型出发，这些方程可用闭合形式求解，并得到预测步骤的标准卡尔曼滤波方程其中：

然后，更新的被计算为：

使用这些方程，单一对象的当前状态可从连续观察中有效加以追踪。

如果像自主车辆那样从移动传感器进行追踪，那么系统必须在一被称为自我补偿的过程中对传感器的移动进行补偿。所述系统可在固定的世界坐标系中进行对象追踪，这需要将观察值从移动车辆的坐标系转化为执行预测和更新步骤的固定坐标系。然而，情况诠释和规划通常发生在车辆坐标系内，因此所述系统需要将经更新的状态估计转换回车辆坐标系。

追踪优选直接发生在车辆坐标系内，因此系统需要将状态估计转换为进行测量的车辆当前坐标系。然后可直接在车辆坐标系中进行更新。

多对象追踪

自主车辆的周围环境可包含一个以上用多对象追踪算法(MOT)进行追踪的动态对象。因此，传感器将为不同对象回馈一组检测。例如，雷达传感器将回馈基于雷达反射的多个检测对象，或在摄像装置图像中检测到多个对象。雷达反射、摄像装置图像或激光雷达传感器的典型对象检测装置是基于单一图像帧工作的，即在时间t的传感器读数中对象检测i与基于先前读数估计的对象i的状态向量之间没建立一对一的明确对应关系。一般来说，当对象进入和离开相关传感器范围时，这类直接的对应关系是无法建立的，由于遮挡或简单的检测装置不足，对象检测装置可能会产生对象检测误报或遗漏。

将{o_t}设为在时间t的k_t对象检测集，其中，o_t、i表征时间t的检测i。单一对象的状态估计取决于卡尔曼方程的更新步骤中对象检测与被追踪对象的精准关联。例如，考虑对象j在时间的状态与/>不同，因为数据关联序列不同。

此外，不同追踪对象的数据关联序列必须是一致的。如果一对象检测只能与一个被追踪对象相关联，那么不同对象的数据关联序列必须是不相干的—一特定检测o_t、i不能出现在两个不同对象的关联序列里。

该数据关联的一致性在更新步骤之前的多对象追踪算法中得到保证。计算每一个对象检测i产生任何对象j的预测状态概率的能力为从而可选择一组最可能一致的k_t+δt观察结果{o_t+δt}与当前追踪对象的关联，并将这些观察结果转入更新步骤。

多假设追踪

有可能在任何时间步骤中，存在几种概率相当的一致性数据关联可能性。这种模糊性尤其出现在有许多遮挡的杂乱场景中，例如在城镇的市内交通中就很典型。

可理解的是，将观察结果按顺序关联到状态估计中通常不可能纠正数据关联中的错误，因此选择错误的数据关联会带来潜在的、错误估计环境当前状态的风险，从而无法规划安全运动。

这种风险可通过解除只与单一一致性数据关联工作的限制而得到缓解。多假设追踪(MHT)算法在每个时间点保持最可能一致的M数据关联列表，并在一分支过程中独立处理其中的每个关联。以此方式，具有类似高概率的数据关联和由此形成的对动态环境状态的估计被保留，直到收集到解决模糊性的其他观察结果。

在多假设追踪(MHT)算法中保持的所有被追踪对象的一致性数据关联被称为“全局假设”。单一追踪对象的数据关联序列和由此形成的状态估计被称为“局部假设”。因此，全局假设包括一组一致性的局部假设。只要不违反一致性，一个单一的局部假设可出现在多个全局假设中。所维护的全局假设数量通常是数百个，而局部假设的数量也为相同数量级。

为减少内存占用，不属于任何全局假设的局部假设被从内存中删除。

使用这种方法的困难之处

上面概述的方法虽然理论上很吸引人，但存在着一些缺点，本公开旨在解决这些问题：

通常出于对被追踪对象运动学的预先了解选择状态向量x，如前所述，例如通常选择位置、速度、加速度、航向角和转向率作为车辆状态变量。这种状态定义虽然很直观，但意味着必须在更新方程中引入近似值的一非线性运动模型。因此，例如时间t+δt的x轴位置必须计算为它在状态变量中是非线性的。事实上，经典卡尔曼滤波器最常见的扩展，即所谓的扩展或无痕滤波器，旨在允许非线性运动模型和观察模型。此外，运动模型经常有一些一般无法供观察者使用的参数。例如，在所述车辆模型中，速度v和转向率/>通过转向角α和轴距/>相连。实际对象运动和所使用运动模型的偏差通常由噪声项Q，即所谓的过程噪声加以诠释。当然，模型误导需要用较大的噪声项诠释，从而使估计结果更加不确定。

此外，这种状态向量的定义主要是为了准确表征车辆当前运动状态，而不是表征源于过去观察的与预测未来相关的信息。例如，在图1A的场景中，观察到两辆车，其完整的运动学状态向量是在高速公路进口和出口匝道上的当前状态。然而，该运动学状态并不包含减少未来不确定性的信息。对这两辆车来说，进入或离开高速公路的概率相同，因此，如图1B所示，这两辆车后面行驶的观察者不得不面对前面场景的4种概率相同的未来演变。

由于通常无法观察驾驶者的意图，如果能得到交通参与者全部或至少部分过去的轨迹，就能减少对交通参与者未来行为预测的不确定性，并方便进行规划。下面的图1C和1D对此进行了说明。如果有了过去的轨迹，相关场景未来可能演变的不确定性实际上就消失了。

轨迹追踪的朴素方法是简单保持一动态对象运动状态的最后L估计值列表。如果追踪频率为10Hz，那么就需要拥有L＝10ΔT状态向量，以便在ΔT秒内对一这类列表进行维护。因此，对多对象追踪中的每一被追踪对象或多假设追踪中的每一被追踪局部假设，内存占用量与L呈线性关系。参见格兰斯特伦等人(https://arxiv.org/abs/1912.08718，表1)对多假设追踪(MHT)追踪器最新实现中的计算要求讨论。

此外，如果要在车辆坐标系内进行追踪，那么作为轨迹的L历史状态的朴素列表将需要对每一时间点进行密集计算型自我补偿。

本公开包括将对象在L时间步骤上过去的轨迹用作其状态的实施方式。但所述系统不使用一列表，而是使用具有独立于L的小内存占用量的所述轨迹参数化表征，以及使用相应线性运动模型和观察模型，在无需近似使用卡尔曼更新方程情况下，对相关表征的参数进行估计。鉴于小内存占用量，使相关轨迹追踪可与嵌入式硬件上运行的、具有实时能力的系统中的多目标追踪算法结合使用。

此外，在此表征中的自我补偿在计算方面极为经济合理，因为只需对参数进行转换，因此计算工作量不取决于所追踪的轨迹长度。

无论是追踪单个还是多个对象，也无论是追踪单个还是多个数据关联假设，每个遵循顺序贝叶斯数据同化范式的追踪算法核心都是相似的。我们需要状态表征、及时表述发展状态的运动模型和观察模型，以便可对给定状态估计的观察概率进行评估。下面对基于n+1个基函数的d维轨迹的拟议表征数学详情，以及相应的运动模型和观察模型进行说明。

相关系统对时间为Φ_i(t)的n+1个轨迹基函数加以考虑，这些基函数排列在n+1维向量Φ(t)＝[Φ₀(t)、Φ₁(t)、Φ₂(t)、......Φ_n(t)]中。

相关系统定义了一个(n+1)x d维的控制点矩阵P。P中的每行对应于d维中的一控制点。所述控制点是一轨迹的参数，我们通过P找到在时间t的参数化轨迹的位置作为c(t)＝Φ^T(t)P，其中，c(t)是一d维向量。上标T通常表示转换。很明显，P完全指定了所有t的c(t)，因此如果想追踪c(t)，我们只需对P进行估计和追踪。

该轨迹的自我运动补偿是通过只转换控制点实现的，这些控制点在传感器移动和旋转情况下可像空间中任何固定点一样平凡转换。

P的运动模型是作为可直接从基函数计算得出的、时不变线性变换获取的。

观察模型的获取方式如下：动态对象传感器通常能获得位置信息以及诸如速度等时间导数信息。由于我们选择的表征，轨迹的第j个时间导数作为我们控制点d^j/dt^j c(t)＝H_jP的线性转换给出，其中H_j＝d^j/dt^jΦ^T(t)。

图2展示根据一些实施方式，用于生成车辆控制信号的过程示例。例如，使用一个或多个实现软件平台的电子装置实施流程200。在一些示例中，使用(例如本车等)自主车辆上一个或多个电子装置实施流程200。在一些实施方式中，使用客户端服务器系统实施流程200，并且以任意方式在服务器和一个或多个客户端装置之间划分流程200的流程块。因此，虽然在此将流程200的部分描述为由特定装置实施，但可理解为流程200并没受到如此限制。在流程200中，一些流程块可选择性地加以组合，一些流程块的顺序可选择性地加以改变，一些流程块可选择性地被省略。在一些示例中，可结合流程200实施其他附加步骤。因此，如图所示的操作(后面进行更详细的描述)在性质上是示例性的，因此，不应被视为具有限制性。

在流程块202中，(例如由一个或多个电子装置)获得一组对象的参数化轨迹表征的估计。这些对象可以是处于与相关车辆相同周围环境的交通参与者，可以是车辆、行人、自行车骑行者、无人机、动物等。

d维的参数化轨迹表征包括n+1个时间的基函数和n+1个d维控制点。所述n+1个时间基函数τ排列在一个n+1维向量中：

Φ(τ)＝[φ₀(τ) φ₁(τ) φ₂(τ) … φ_n(τ)]

所述系统表征长度为ΔT在间隔τ∈[0，1]的轨迹，这对任何ΔT而言，总可通过重新分配dτ＝dt/ΔT予以实现。

然后，在时间t的任何时刻，在时间跨度为ΔT的d维中，对象过去轨迹上的一个点由n+1基函数的线性组合给出，并且n+1个当前控制点在d维中排列成(n+1)xd矩阵P_t，其中，每一行对应于一个控制点：

c(τ)＝Φ^T(τ)P_t

在此，是沿被追踪轨迹的一个点，其中，τ＝0对应t-ΔT，以及τ＝1对应当前时间t。P_t的控制点是曲线参数，随对象的移动发生时间上的变化。它们在坐标系运动情况下，以与空间中的点相同方式进行转换，因此控制点是一合适的名称。

这种基函数的一个范例是伯恩斯坦多项式

在此情况下，曲线c(τ)是已知的贝塞尔曲线，控制点P_t有一特别直观的诠释。我们将参考该特殊情况给出一运行示例。然而，本领域普通技术人员应明白，所有陈述也都适用于一般的基函数。尤其是，可为准确表征经验测量轨迹进行基函数的优化。

为了能在卡尔曼滤波中使用该轨迹表征，并能指定轨迹参数的分布，将向量引入用作时间t的状态表征。x_t是由P_t控制点的矩阵(n+1)×d的项简单连接而成，前两项对应于p_o，后两项对应于p₁，以此类推。可假设该状态的分布是通过/>中的多变量高斯分布建模的，其平均值为μ_t，协方差为∑_t。由于P_t和x_t的等价性，以下说明使用当时最方便的符号。

图3A展示使用二维(即n＝3和d＝2)立体贝塞尔曲线的示例。立体贝塞尔曲线的参数由4个控制点决定：p₀、p₁、p₂以及p₃。每个控制点是由2个数值表征的2维点。这类轨迹的状态向量x_t大小为(n+1)d＝8。在图中，还指出了概率方面的问题。带注释的点和相应的椭圆表示x_t中对应于控制点项的平均值μ_t和95％的置信区间。实线表示轨迹的平均估计值虚线对应于样本轨迹/>其中，x_t从平均值为μ_t和协方差为∑_t的多变量高斯分布中取样。

然后，流程块206通过基于由自主系统一个或多个传感器接收的数据更新局部假设集，以执行数据同化步骤。在流程块206a中实施自我补偿。对于参数化轨迹表征，

只有控制点，即状态向量需进行转换。这所需的计算工作量要比转换运动学状态向量列表小得多。由于这是一线性变换，我们可直接将其应用于状态密度参数。假设参照系通过一个d维向量Δo移动，并通过d×d矩阵R的作用旋转，相关系统可首先对我们状态密度的协方差矩阵进行转换。所述协方差矩阵只受旋转R的影响：

状态密度的均值首先被转换为同质坐标，也就是说，我们为控制点引入一额外维度，该维度是常数，并等于1。均质化的平均向量计算为

μ^h＝[μ₁,…μ_d,1,μ_d+1,…μ_2d,1,…,μ_nd,…μ_(n+1)d,1]

然后，我们引入d×(d+1)矩阵

T＝[R -RΔo]

并可将平均向量转换为

如前所述，I_n是一个n×n单位矩阵。

在流程块206b中，使用特定的运动模型对轨迹控制点进行轨迹扩展的预测。

假设在时间t，系统有m>n+1个轨迹取样c(τ_i)沿着轨迹于不同时间τ_i，i∈{1，...，m}在τ₀＝0和τ_m＝1之间进行。这些取样可被排列成mxd矩阵C的行数。由此可构成一个mx(n+1)矩阵B，以便使B的行i对应于Φ(τ_i)。然后，可将控制点估计为轨迹样本取样的最小二乘拟合：

P_t＝(B^TB)^-1B^TC

现在，我们关注的是控制点的运动模型，即我们感兴趣的是沿轨迹的移动。为此，可构成另一个mx(n+1)矩阵B’，以便使B’的行i对应于Φ(τ_i+δ_t/ΔT)。所述系统即可获得转换后的控制点：

并有一对控制点而言，仅取决于基函数选择的线性运动模型F(δt)。与此相应，对状态向量而言，相关系统可发现：

其中，I_d是d维中的单位矩阵。

尤其是，移动轨迹的端点将是c(1)＝Φ^T(1)P_t+δt。图3B展示立方贝塞尔曲线的运行示例。

和

矩阵P_t，即控制点p₀，p₁，p₂，and p₃在时间t的参数化轨迹被传输到矩阵P_t+δt，即控制点p′₀，p′₁，p′₂和p′₃在时间t+δ_t对轨迹进行参数化。根据结构，至时间t为止，新的轨迹估计完全遵循旧的估计。

然后，卡尔曼滤波方程中的预测步骤被写为

在流程块206d中，基于局部假设预测轨迹扩展集计算当前传感器读数的概率。典型对象检测装置提供对象位置、速度和可能加速度的测量。这类运动学测量很容易获取。i＝th导数就是：

对轨迹追踪而言，自然选择是考虑最近的，即在τ＝1时最后的的轨迹点。根据每个对象可用的感知信息，我们可构成一观察矩阵H。

例如，如果系统在二维中追踪对象轨迹，并且传感器提供位置和相应速度，则构成一观察向量ot＝[x，y，υ_x，υ_y]。我们用行Φ(1)和构成2×(n+1)矩阵H_o，并从上面所述获取卡尔曼方程更新步骤所需的矩阵H：

由此，系统就有了某时间范围内追踪对象轨迹ΔT的所有必要部分，始终能用最近的观察值更新轨迹。

在流程块206d中，基于上一步骤计算所得的当前传感器读数概率，构成M中概率最高的全局假设。

在流程块206e中，从存储器中去除在M中概率最高的全局假设中未使用的所有局部假设。

然后，流程206d将M中概率最高的全局假设和相应的局部假设集馈送回流程块208中，以便进一步处理。

在流程块208中，所述系统基于对象的更新轨迹确定车辆控制信号。在一些实施方式中，所述系统可基于对象的更新轨迹确定与所述对象相关的意图，并相应确定车辆的控制信号。如参照图1A-D所阐明，例如历史轨迹可用于确定交通参与者(例如驶离高速公路、驶入高速公路、穿越道路、转弯等)意图。基于与所述对象相关的意图，系统可确定车辆控制信号，以避免与相关对象发生碰撞。所述控制信号可提供或传输给车辆，以便对车辆进行(例如保持速度、加速、减速、改变方向等)控制。

在一些实施方式中，所述系统可将更新轨迹用于不同的下游分析。所述系统例如可将更新轨迹输入到机器学习模型中，以便对情形加以了解。机器学习模型例如可配置用于接收对象轨迹并识别对象意图，识别异常行为，预测未来轨迹等。紧凑的参数化表征独特地适用于在自主车辆中了解情形的人工智能(AI)算法，因为它们总结了交通参与者在交通场景背景下过去的行为。由于贝塞尔表征的紧凑性，紧凑的机器学习模型可以高效的计算方式进行训练，训练后的模型可提供快速分析。本文所述机器学习模型包括通过经验和使用数据自动改进的任何计算机算法。所述机器学习模型可包括监控模型、无监控模型、半监控模型、自监控模型等。机器学习模型示例包括但不限于：线性回归、逻辑回归、决策树、支持向量机(SVM)、朴素贝叶斯、神经网络、k均值、随机森林、降维算法、梯度提升算法等。

在一些实施方式中，所述系统如上所述，为对象存储多个假设。对象的每个假设都包括贝塞尔曲线表征(例如为曲线设置参数的控制点)。因此，更新的贝塞尔曲线表征可作为与所述对象相关的多个假设之一进行存储。

在一些实施方式中，系统评估对象的更新轨迹，以确定对象行为是否异常。由于贝塞尔曲线是平滑曲线，很好表征了典型的行驶轨迹(例如可舒适、平滑表征具有急动度受限制的轨迹)，实际测量的对象状态偏差可用以检测其他交通参与者的行为异常。在一些实施方式中，系统确定预期曲线(例如在流程块206b中获得)和实际观察到的轨迹之间的偏差，并将所述偏差与预定阈值进行比较。如果超过了阈值，系统可确定所述对象表现出(例如鲁莽驾驶等)异常行为。基于识别到的异常情况，系统可产生一控制信号(以便例如远离异常对象)。

除了参照流程200说明的技术使用贝塞尔曲线表征本车外的交通参与者轨迹，这些技术也可应用于使用贝塞尔曲线对追踪本车本身的轨迹进行表征。此外，参照流程200说明的技术涉及贝塞尔曲线的使用，但应理解的是，贝塞尔曲线表征可由(例如第一基函数、第二基函数、第三基函数等)基函数的任何线性组合取代。在一些实施方式中，如神经网络或高斯过程等机器学习模型可用于基函数的计算。

本文所述操作可选择由图4中描述组件实现。图4展示根据一实施方式所述的一计算装置示例。装置400可以是连接到网络的计算机主机。装置400可以是一客户计算机或一服务器。如图4所示，装置400可以是任何基于微处理器的适用装置类型，例如个人计算机、工作站、服务器或如手机或平板电脑等便携式计算装置(便携式电子装置)。装置例如可包括一个或多个处理器410，一输入装置420，一输出装置430，一存储装置440以及一通信装置460。输入装置420和输出装置430一般可对应上述装置，并可与计算机连接或整合在计算机中。

输入装置420可以是触控屏、键盘或辅助键盘、鼠标或语音识别装置等任何适用于提供输入的装置。输出装置430可以是触控屏、触觉装置或扬声器等任何提供输出的适用装置。

存储器440可以是任何提供存储的适用装置，如电存储器、磁存储器或光学存储器，包括随机存取存储器(RAM)、缓存、硬盘或可移动存储盘。通信装置460可包括网络接口芯片或网络接口装置等任何能通过网络传输和接收信号的适用装置。计算机组件可以例如物理总线或无线等任何适用方式连接。

可存储在存储器440中，并由处理器410执行的软件450可包括例如体现本公开功能的程序(所述功能例如由上述装置体现)。

软件450也可在任何非暂时性计算机可读存储介质内存储和/或传输，以便如上文所述，通过指令执行系统、装置或器具使用软件，或与指令执行系统、装置或器具结合使用软件，从指令执行系统、装置或器具中调用与所述软件相关的指令，并执行所述指令。本公开范围中，计算机可读存储介质可以是例如存储器440等任何介质，它可包含或存储通过指令执行系统、装置或器具使用的程序，或与指令执行系统、装置或器具结合使用的程序。

软件450也可在任何传输介质中传输，供通过或结合如上所述指令执行系统、装置或器具使用，以获取并执行与软件相关联的系统指令。本公开的上下文中，传输介质可以是用于程序通信、导入或传输的任意介质，所述程序通过或结合指令执行系统、装置或器具使用。可读介质的传输可包括但不限于电子传输介质、磁传输介质、光学传输介质、电磁或红外传输介质、有线或无线传输介质。

装置400能与可以是任何互连通信系统适用类型的网络连接。所述网络可实现任何适用通信协议，并可由任何适用安全协议加以保障。所述网络可包括任何适用设置、可实现网络信号传输和接收的诸如无线网络连接、T1或T3线路、电缆网络、数字用户线路(DSL)或电话线路等网络连接。

装置400可实现适合在网络上操作的任何操作系统。软件450可用诸如C、C++、Java或Python等任何适用的编程语言编写。不同实施方式中，体现本公开功能的应用软件例如可以客户/服务器设置或通过网络浏览器作为基于网络的应用或网络服务等不同配置使用。

尽管已参照附图充分说明了本公开的内容和实施例，但需注意的是，对本领域普通技术人员而言，不同的变化和修改是显而易见的。这类变化和修改应被理解为包括在由权利要求所定义的本公开内容和实施例的框架范围内。

出于诠释目的，前面的说明已参照特定实施方式进行了描述。然而，上面的说明性讨论并不旨在详尽无遗或将本发明限制为所公布本专利申请的精确形式。鉴于上述教义，可有许多修改和变异。对相关实施方式的选择和描述是为了最佳诠释这些技术的原理及其实际应用。其他本领域普通技术人员由此能最佳利用这些技术和适用于各特定用途的、经不同修改的不同实施方式。

Claims (20)

1.一种生成用于控制车辆的控制信号的方法，该方法包括：

获得与车辆处于相同环境中的单一对象的轨迹的参数化表征；

在多对象和多假设追踪器的框架内，基于由车辆的一个或多个传感器接收的数据，更新所述单一对象的轨迹的参数化表征；以及

基于所更新的对象轨迹生成用于控制车辆的控制信号。

2.根据权利要求1所述方法，其中，所述控制信号是基于对象和与车辆处于同一环境中的至少一个其他对象的更新轨迹来生成的。

3.根据权利要求1或2所述方法，还包括：向车辆提供用于控制车辆运动的控制信号。

4.根据权利要求1,2或3所述方法，还包括：基于更新的轨迹确定与对象相关的意图，其中，所述控制信号是基于所述意图确定的。

5.根据权利要求4所述方法，其中，所述意图包括离开道路、进入道路、改变车道、穿越道路、转弯或上述任何组合。

6.根据上述权利要求中任一权利要求所述的方法，还包括：将更新的轨迹输入到经训练的机器学习模型中以获得输出，其中，所述控制信号是基于经训练的机器学习模型的输出而确定的。

7.根据权利要求6所述方法，其中，所述机器学习模型是神经网络。

8.根据上述权利要求中任一权利要求所述的方法，其中，获得轨迹的参数化表征包括从存储器中检索多个控制点。

9.根据权利要求8所述方法，还包括：基于车辆运动将获得的参数化表征转换到新的坐标系。

10.根据权利要求9所述方法，其中，转换获得的参数化表征包括将参数化表征的多个控制点转换到新的坐标系。

11.根据上述权利要求中任一权利要求所述的方法，其中，参数化表征的更新包括：

基于获得的参数化表征和运动模型预测预期的参数化表征；

将预期的参数化表征与由车辆的一个或多个传感器接收的数据进行比较；以及

基于所述比较更新参数化表征。

12.根据权利要求11所述方法，其中，对预期的参数化表征的预测包括确定预期的参数化表征的多个控制点。

13.根据权利要求12所述方法，其中，确定预期的参数化表征的多个控制点包括获得预期的参数化表征的多个控制点的均值和/或协方差。

14.根据权利要求11到13中任一权利要求所述的方法，其中，所述运动模型是一线性模型，所述线性模型配置用于将获得的参数化表征向前移动一时间周期。

15.根据权利要求11到14中任一权利要求所述的方法，其中，基于卡尔曼滤波算法更新所述参数化表征。

16.根据权利要求11到15中任一权利要求所述的方法，还包括：基于所述比较确定相关对象是否异常。

17.根据上述权利要求中任一权利要求所述的方法，其中，所述数据是第一数据，更新的参数化表征是第一参数化曲线表征，此外还包括：

基于由车辆的一个或多个传感器接收到的第二数据，更新获得的轨迹参数化表征，以获得第二次更新的参数化表征；以及

将第一次更新的参数化表征和第二次更新的参数化表征存储为与对象相关的假设。

18.根据上述权利要求中任一权利要求所述的方法，其中，所述对象是交通参与者。

19.一种车辆，它包括：

一个或多个处理器；

存储器；以及

一个或多个程序，其中，所述一个或多个程序存储在所述存储器中，并配置用于由所述一个或多个处理器执行，其中，所述一个或多个程序包括以下指令：

获得与车辆处于相同环境中的单一对象的轨迹的参数化表征；

在多对象和多假设追踪器的框架内，基于由车辆的一个或多个传感器接收的数据，更新所述单一对象的轨迹的参数化表征；以及

基于所更新的对象轨迹生成用于控制车辆的控制信号。

20.一种生成用于控制车辆的控制信号的系统，它包括：

一个或多个处理器；

存储器；以及

一个或多个程序，其中，所述一个或多个程序存储在所述存储器中，并配置用于由所述一个或多个处理器执行，其中，所述一个或多个程序包括以下指令：

获得与车辆处于相同环境中的单一对象的轨迹的参数化表征；

在多对象和多假设追踪器的框架内，基于由车辆的一个或多个传感器接收的数据，更新所述单一对象的轨迹的参数化表征；以及

基于所更新的对象轨迹生成用于控制车辆的控制信号。