CN116245912A - 位置参数优化方法、轨迹生成方法、设备、介质及产品 - Google Patents

Abstract

本申请提供一种位置参数优化方法、轨迹生成方法、设备、介质及产品，涉及目标检测技术领域。该方法包括：获取目标时序数据中第i帧图像中运动目标的初始位置参数和第i帧图像的采集时刻偏差；基于初始位置参数、采集时刻偏差和第i‑1帧图像的编码隐变量生成第i帧图像的位置参数特征；基于位置参数特征和第i‑1帧图像的解码隐变量，得到第i帧图像中运动目标的优化位置参数和第i帧图像与第i‑1帧图像的位置参数特征之间的偏差；基于位置参数特征、第i‑2帧图像的解码隐变量以及偏差，得到第i‑1帧图像中运动目标的平滑位置参数。本申请可以对运动目标的位置参数进行优化，提高相邻时刻运动目标的位置参数的连续性。

Description

位置参数优化方法、轨迹生成方法、设备、介质及产品

技术领域

本发明涉及目标检测技术领域，具体而言，涉及一种位置参数优化方法、轨迹生成方法、设备、介质及产品。

背景技术

目标跟踪或检测是深度学习领域的基本任务之一，具体是输出每一帧图像中若干运动目标的包围盒参数。

现有的目标跟踪或检测算法，是在对运动目标的位置进行检测时，根据每个时刻的图像中运动目标的位置特征确定运动目标的包围盒参数。

但是由于现有方案未考虑到运动目标的运动在时序上是连续的，在每个时刻单独检测运动目标的位置参数的精度较差，导致运动目标的位置参数在相邻时刻之间存在剧烈变化。

发明内容

本发明的目的在于，针对上述现有技术中的不足，提供一种位置参数优化方法、轨迹生成方法、设备、介质及产品，以便对运动目标的位置参数进行优化，提高相邻时刻运动目标的位置参数的连续性。

为实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供了一种运动目标位置参数优化方法，所述方法包括：

获取目标时序数据中第i帧图像中运动目标的初始位置参数和所述第i帧图像的采集时刻偏差，所述采集时刻偏差表征图像的实际采集时刻与其对应的标准采集时刻之间的偏差，i为大于或等于3的正整数；

基于所述初始位置参数、所述采集时刻偏差和第i-1帧图像的编码隐变量生成所述第i帧图像的位置参数特征，所述第i-1帧图像的编码隐变量是基于第i-2帧图像的编码隐变量、所述第i-1帧图像的初始位置参数和采集时刻偏差确定的；

基于所述第i帧图像的位置参数特征和所述第i-1帧图像的解码隐变量，得到所述第i帧图像中运动目标的优化位置参数，以及，所述第i帧图像与所述第i-1帧图像的位置参数特征之间的偏差，所述第i-1帧的解码隐变量是基于所述第i-2帧图像的解码隐变量和所述第i-1帧图像的位置参数特征确定的；

基于所述第i帧图像的位置参数特征、所述第i-2帧图像的解码隐变量以及所述第i帧图像与所述第i-1帧图像的位置参数特征之间的偏差，得到所述第i-1帧图像中运动目标的平滑位置参数。

可选的，所述方法还包括：

基于所述第i帧图像的位置参数特征和第i-1帧图像的解码隐变量，得到所述第i帧图像与第i+1帧图像的位置参数特征之间的偏差；

基于所述第i帧图像的位置参数特征、所述第i帧图像的解码隐变量以及所述第i帧图像与所述第i+1帧图像的位置参数特征之间的偏差，得到所述第i+1帧图像中运动目标的预测位置参数。

可选的，所述获取目标时序数据中第i帧图像的采集时刻偏差，还包括：

获取所述目标时序数据的标准间隔；

根据所述标准间隔对所述采集时刻偏差进行归一化，得到归一化后的采集时刻偏差。

可选的，所述获取目标时序数据中第i帧图像中运动目标的初始位置参数，包括：

若第i帧图像归一化后的采集时刻偏差不在目标偏差范围内，将基于所述第i-1帧图像得到的所述第i帧图像中运动目标的预测位置参数作为所述第i帧图像中运动目标的初始位置参数。

可选的，所述编码隐变量和所述解码隐变量为目标神经网络模型的参数；

所述目标神经网络模型通过以下训练步骤得到；

获取训练数据，所述训练数据包括样本时序数据各帧样本图像中运动目标的初始位置参数和目标位置参数，以及各帧样本图像的采集时刻偏差；

根据所述各帧样本图像对应的所述初始位置参数和所述采集时刻偏差，采用初始神经网络模型输出训练位置参数；

基于所述各帧样本图像对应的所述训练位置参数和所述真实位置参数分别构建优化损失函数和平滑损失函数；

基于所述优化损失函数和所述平滑损失函数得到各帧样本图像的联合损失函数；

基于所述各帧样本图像的所述联合损失函数得到所述样本时序数据的总损失函数；

基于所述总损失函数对所述初始神经网络模型进行更新，直至模型收敛，得到所述目标神经网络模型。

可选的，所述编码隐变量和所述解码隐变量为目标神经网络模型的参数；

所述目标神经网络模型通过以下训练步骤得到；

获取训练数据，所述训练数据包括样本时序数据各帧样本图像中运动目标的初始位置参数和真实位置参数，以及各帧样本图像的采集时刻偏差；

根据所述各帧样本图像对应的所述初始位置参数和所述采集时刻偏差，采用初始神经网络模型输出训练位置参数；

基于所述各帧样本图像对应的所述训练位置参数和所述真实位置参数分别构建优化损失函数、平滑损失函数和预测损失函数；

基于所述优化损失函数、所述平滑损失函数和所述预测损失函数得到各帧样本图像的联合损失函数；

基于所述各帧样本图像的所述联合损失函数得到所述样本时序数据的总损失函数；

基于所述总损失函数对所述初始神经网络模型进行更新，直至模型收敛，得到所述目标神经网络模型。

第二方面，本申请实施例还提供一种运动目标的轨迹生成方法，所述方法包括：

基于第一方面所述方法得到的所述优化位置参数和所述平滑位置参数，生成所述运动目标的运动轨迹；或，

基于第一方面所述方法得到的所述优化位置参数、所述平滑位置参数和所述预测位置参数，生成所述运动目标的运动轨迹。

第三方面，本申请实施例还提供一种电子设备，包括存储器、处理器及存储在所述存储器上的计算机程序，所述处理器执行所述计算机程序以实现第一方面任一项所述的方法，或实现第二方面所述的方法。

第四方面，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序/指令，所述计算机程序/指令被处理器执行时实现第一方面任一项所述的方法，或实现第二方面所述的方法。

第五方面，本申请实施例还提供一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现第一方面任一项所述的方法，或实现第二方面所述的方法。

本申请的有益效果是：

本申请提供一种位置参数优化方法、轨迹生成方法、设备、介质及产品，针对第i帧图像中运动目标的初始位置参数和采集时刻偏差，根据第i-1帧图像对的编码隐变量、第i-1帧图像的解码隐变量、第i-2帧图像的解码隐变量以及第i帧图像和第i-1帧图像的位置参数特征之间的偏差，确定第i帧图像中运动目标的优化位置参数和第i-1帧图像中运动目标的平滑位置参数，由于各帧的编码隐变量、解码隐变量以及位置参数特征之间的偏差充分考虑了运动目标的运动在时序上的连续性，提高了第i帧图像和第i-1帧图像中运动目标的位置参数的精度，降低了第i-1帧图像和第i帧图像中运动目标的位置参数的剧烈变化，使第i-1帧图像和第i帧图像中运动目标的运动位置变化更加连续平滑。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的运动目标位置参数优化方法的流程示意图一；

图2为实际采集时刻和标准采集时刻的示意图；

图3为本申请实施例提供的运动目标位置参数优化方法的流程示意图二；

图4为本申请实施例提供的位置参数优化模型的原理框图；

图5为本申请实施例提供的运动目标位置参数优化方法的流程示意图三；

图6为本申请实施例提供的目标神经网络模型训练步骤的流程示意图一；

图7为本申请实施例提供的目标神经网络模型训练步骤的流程示意图二；

图8为本申请实施例提供的位置参数优化模型的结构示意图一；

图9为本申请实施例提供的位置参数优化模型的结构示意图二；

图10为本申请实施例提供的目标位置编码器的结构示意图；

图11为本申请实施例提供的目标滤波解码器的结构示意图；

图12为本申请实施例提供的目标平滑解码器或目标预测解码器的结构示意图；

图13为运动轨迹优化前后的示意图；

图14为本申请实施例提供的运动目标位置参数优化方法的流程示意图四；

图15为本申请实施例提供的运动目标位置参数优化装置的结构示意图；

图16为本申请实施例提供的电子设备的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

此外，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。

现有的目标跟踪或检测算法，是在对运动目标的位置进行检测时，根据每个时刻的图像中运动目标的位置特征确定运动目标的包围盒参数。

但是由于现有方案未考虑到运动目标的运动在时序上是连续的，导致运动目标的位置参数在相邻时刻之间存在剧烈变化，检测到的运动目标的位置参数的精度较差。

传统的参数优化方法众多，例如基于特殊几何曲线的方法(贝塞尔曲线、三次样条曲线等)、时域滤波方法(窗口中值平滑、窗口均值平滑、递推滤波、卡尔曼滤波等)和频域滤波方法(低通滤波)等。这些传统的参数优化方法，无法从动态数据中，分析物体的运动模式(静止、匀速运动、匀加速运动等)，并确定合理的参数估计方案。一些算法如中值平滑、低通滤波等，一般只适用于低速运动场景，当物体高速运动，这类算法不能及时响应，灵敏度低，延迟高。另外一些算法虽然可以定义运动模式，如递推滤波、卡尔曼滤波等，但这类算法需要信号的先验信息，如果物体的运动与先验不符，将导致算法精度下降甚至失败。自适应滤波算法能够动态调整滤波器的系数，不需要信号的先验，但需要一定时长来更新系数，一定程度上增加了延迟。

除了上述传统的参数优化方法外，基于神经网络的参数优化算法也可以实现对目标运动参数的优化，但是只能对当前帧的结果进行滤波，而无法对运动目标在历史帧中的位置参数进行优化，仍然无法减小相邻帧之间运动目标的位置参数的剧烈变化。

基于此，本申请实施例拟提供一种位置参数优化方法、轨迹生成方法、设备、介质及产品，针对第i帧图像中运动目标的初始位置参数和采集时刻偏差，根据第i-1帧图像对的编码隐变量、第i-1帧图像的解码隐变量、第i-2帧图像的解码隐变量以及第i帧图像和第i-1帧图像的位置参数特征之间的偏差，确定第i帧图像中运动目标的优化位置参数和第i-1帧图像中运动目标的平滑位置参数，由于各帧的编码隐变量、解码隐变量以及位置参数特征之间的偏差充分考虑了运动目标的运动在时序上的连续性，提高了第i帧图像和第i-1帧图像中运动目标的位置参数的精度，降低了第i-1帧图像和第i帧图像中运动目标的位置参数的剧烈变化，使第i-1帧图像和第i帧图像中运动目标的运动位置变化更加连续平滑。

请参考图1，为本申请实施例提供的运动目标位置参数优化方法的流程示意图一，如图1所示，该方法可以包括：

S11：获取目标时序数据中第i帧图像中运动目标的初始位置参数和第i帧图像的采集时刻偏差，采集时刻偏差表征图像的实际采集时刻与其对应的标准采集时刻之间的偏差，i为大于或等于3的正整数。

本实施例中，目标时序数据中包括连续多帧图像，目标时序数据时运动目标在时间序列上连续运动产生的一系列图像数据。在目标时序数据中提取第i帧图像，采用预设的外部检测算法对第i帧图像中的运动目标进行检测，确定在第i帧图像中运动目标的初始位置参数。

请参考图2，为实际采集时刻和标准采集时刻的示意图，如图2所示，根据在目标时序数据中提取第i帧图像的实际采集时刻和标准采集时刻之间的偏差，确定第i帧图像的采集时刻偏差，第i帧图像的实际采集时刻和标准采集时刻的采集时刻偏差为Δt(t)。

示例的，采用外部检测算法对当前帧图像进行目标检测，确定当前帧图像中运动目标的包围盒，根据包围盒参数确定初始位置参数。

其中，包围盒参数包括：包围盒的中心坐标(c_x,c_y)和包围盒的宽高(w,h)，将包围盒参数转换为初始位置参数(x,y,s,r)。

其中，

W和H是当前帧图像的宽和高，经过变化后，初始位置参数(x,y,s,r)的各个参数取值均归一化至[0,1]的范围内。

S12：基于初始位置参数、采集时刻偏差和第i-1帧图像的编码隐变量生成第i帧图像的位置参数特征。

本实施例中，第i-1帧图像的编码隐变量是基于第i-2帧图像的编码隐变量、第i-1帧图像的初始位置参数和采集时刻偏差确定的，具体的，第i-1帧图像的编码隐变量是通过目标位置编码器确定的从第1帧图像到第i-1帧图像运动目标的运动变化状态。

采用目标位置编码器对初始位置参数、采集时刻偏差和第i-1帧图像的编码隐变量进行位置编码，确定第i帧图像的位置参数特征，第i帧图像的位置参数特征用于表示在第i帧图像中运动目标的位置随时间变化的特征。

S13：基于第i帧图像的位置参数特征和第i-1帧图像的解码隐变量，得到第i帧图像中运动目标的优化位置参数，以及，第i帧图像与第i-1帧图像的位置参数特征之间的偏差。

本实施例中，第i-1帧的解码隐变量是基于所述第i-2帧图像的解码隐变量和所述第i-1帧图像的位置参数特征确定的，具体的，第i-1帧图像的解码隐变量是通过目标滤波解码器确定的从第1帧图像到第i-1帧图像运动目标的运动变化状态，采用目标滤波解码器对第i帧图像的位置参数特征和第i-1帧图像的解码隐变量进行滤波解码，生成第i帧图像中运动目标的优化位置参数。

目标滤波解码器还用于第i-1帧图像的解码隐变量中记载的从第1帧图像到第i-1帧图像运动目标的运动变化状态，确定第i-1帧图像中运动目标的运动参数，并根据第i帧图像的位置参数特征和第i-1帧图像中运动目标的运动参数，确定第i帧图像与第i-1帧图像的位置参数特征之间的偏差。

S14：基于第i帧图像的位置参数特征、第i-2帧图像的解码隐变量以及第i帧图像与第i-1帧图像的位置参数特征之间的偏差，得到第i-1帧图像中运动目标的平滑位置参数。

本实施例中，基于第i帧图像的位置参数特征、第i-n-1帧图像的解码隐变量以及第i-n+1帧图像与第i-n帧图像的位置参数特征之间的偏差，得到第i-n帧图像中运动目标的平滑位置参数。其中，n大于或等于1。

具体的，根据n的取值，设置多个相互连接的目标平滑解码器，其中第一个目标平滑解码器与目标滤波解码器连接，由目标滤波解码器为第一个目标平滑解码器提供第i帧图像与第i-1帧图像的位置参数特征之间的偏差；每个目标平滑解码器为下一个目标平滑解码器提供第i-n帧图像和第i-n-1帧图像的位置参数特征之间的偏差。

第i-n-1帧图像的解码隐变量是通过目标平滑解码器确定的从第1帧图像到第i-n-1帧图像运动目标的运动变化状态，采用目标平滑解码器根据第i-n-1帧图像的解码隐变量对第i帧图像的位置参数特征和第i-n+1帧图像与第i-n帧图像的位置参数特征之间的偏差进行平滑处理，生成第i-n帧图像中运动目标的平滑位置参数。

示例的，若n＝1，则单个目标平滑解码器根据第i帧图像的位置参数特征、第i-2帧图像的解码隐变量以及第i帧图像与第i-1帧图像的位置参数特征之间的偏差，生成第i-1帧图像的平滑位置参数。

若n＝2，则第一个目标平滑解码器根据第i帧图像的位置参数特征、第i-2帧图像的解码隐变量以及第i帧图像与第i-1帧图像的位置参数特征之间的偏差，生成第i-1帧图像的平滑位置参数；第二个目标平滑解码器根据第i帧图像的位置参数特征、第i-3帧图像的解码隐变量以及第i-1帧图像与第i-2帧图像的位置参数特征之间的偏差，生成第i-2帧图像的平滑位置参数。

若n＝3，则第一个目标平滑解码器根据第i帧图像的位置参数特征、第i-2帧图像的解码隐变量以及第i帧图像与第i-1帧图像的位置参数特征之间的偏差，生成第i-1帧图像的平滑位置参数；第二个目标平滑解码器根据第i帧图像的位置参数特征、第i-3帧图像的解码隐变量以及第i-1帧图像与第i-2帧图像的位置参数特征之间的偏差，生成第i-2帧图像的平滑位置参数；第三个目标平滑解码器根据第i帧图像的位置参数特征、第i-4帧图像的解码隐变量以及第i-2帧图像与第i-3帧图像的位置参数特征之间的偏差，生成第i-3帧图像的平滑位置参数。

需要说明的是，采用多个目标平滑解码器输出的第i-1帧图像到第i-n帧图像的平滑位置参数中，由于第i-n帧图像输入的第i-n+1帧图像与第i-n帧图像的位置参数特征之间的偏差比第i-n-1帧图像输入的第i-n帧图像与第i-n-1帧图像的位置参数特征之间的偏差所积累的位置参数特征之间的偏差信息更多，使得第i-n帧图像的平滑位置参数比第i-n-1帧图像的平滑位置参数的精度更高，即历史帧的延迟越高，平滑位置参数的精准度越高。

上述实施例提供的运动目标位置参数优化方法，针对第i帧图像中运动目标的初始位置参数和采集时刻偏差，根据第i-1帧图像对的编码隐变量、第i-1帧图像的解码隐变量、第i-2帧图像的解码隐变量以及第i帧图像和第i-1帧图像的位置参数特征之间的偏差，确定第i帧图像中运动目标的优化位置参数和第i-1帧图像中运动目标的平滑位置参数，由于各帧的编码隐变量、解码隐变量以及位置参数特征之间的偏差充分考虑了运动目标的运动在时序上的连续性，提高了第i帧图像和第i-1帧图像中运动目标的位置参数的精度，降低了第i-1帧图像和第i帧图像中运动目标的位置参数的剧烈变化，使第i-1帧图像和第i帧图像中运动目标的运动位置变化更加连续平滑。

在上述实施例的基础上，本申请实施例还提供一种运动目标位置参数优化方法。请参考图3，为本申请实施例提供的运动目标位置参数优化方法的流程示意图二，如图3所示，该方法还可以包括：

S21：基于第i帧图像的位置参数特征和第i-1帧图像的解码隐变量，得到第i帧图像与第i+1帧图像的位置参数特征之间的偏差。

本实施例中，目标滤波解码器还用于第i-1帧图像的解码隐变量中记载的从第1帧图像到第i-1帧图像运动目标的运动变化状态，确定第i+1帧图像中运动目标的运动参数，并根据第i帧图像的位置参数特征和第i+1帧图像中运动目标的运动参数，确定第i帧图像与第i+1帧图像的位置参数特征之间的偏差。

S22：基于第i帧图像的位置参数特征、第i帧图像的解码隐变量以及第i帧图像与第i+1帧图像的位置参数特征之间的偏差，得到第i+1帧图像中运动目标的预测位置参数。

本实施例中，基于第i帧图像的位置参数特征、第i+m-1帧图像的解码隐变量以及第i+m-1帧图像与第i+m帧图像的位置参数特征之间的偏差，得到第i+m帧图像中运动目标的平滑位置参数。其中，m大于或等于1。

具体的，根据m的取值，设置多个相互连接的预测平滑解码器，其中第一个目标预测解码器与目标滤波解码器连接，由目标滤波解码器为第一个目标预测解码器提供第i帧图像与第i+1帧图像的位置参数特征之间的偏差；每个目标预测解码器为下一个目标预测解码器提供第i+m帧图像和第i+m+1帧图像的位置参数特征之间的偏差。

第i+m-1帧图像的解码隐变量是通过目标预测解码器确定的从第1帧图像到第i+m-1帧图像运动目标的运动变化状态，采用目标预测解码器根据第i+m-1帧图像的解码隐变量对第i帧图像的位置参数特征和第i+m-1帧图像与第i+m帧图像的位置参数特征之间的偏差进行平滑处理，生成第i+m帧图像中运动目标的平滑位置参数。

示例的，若m＝1，则单个目标预测解码器根据第i帧图像的位置参数特征、第i帧图像的解码隐变量以及第i帧图像与第i+1帧图像的位置参数特征之间的偏差，生成第i+1帧图像的平滑位置参数。

请参考图4，为本申请实施例提供的目标神经网络模型的原理框图，如图4所示，初始位置参数p(t)和采集时刻偏差Δt(t)作为当前时刻t的输入，输入至目标位置编码器E₀(t)，时序编码器E₀(t)的输出分别连接目标滤波解码器D₀、多个目标平滑解码器D_-1、D_-3、D_-3和目标预测解码器D₁。

目标滤波解码器D₀连接目标平滑解码器D_-1提供第i帧图像和第i-1帧图像的位置参数特征之间的偏差，目标滤波解码器D₀连接目标预测解码器D₁提供第i帧图像和第i+1帧图像的位置参数特征之间的偏差；目标平滑解码器D_-1、D_-2、D_-3依次连接，为后置的目标平滑解码器提供相邻帧图像的位置参数特征之间的偏差，目标滤波解码器D₀的滤波输出为当前帧位置参数

目标平滑解码器D_-1、D_-3、D_-3的平滑输出分别为前第一帧的平滑位置参数

前第二帧的平滑位置参数/>

和前第三帧的平滑位置参数/>

目标预测解码器D₁的预测输出为后第一帧的预测位置参数/>

其中，若第i帧图像为第一帧图像，即t＝0，则仅目标滤波解码器D₀和目标预测解码器D₁的输出有效，目标平滑解码器D_-1、D_-2、D_-3的输出无效；若第i帧图像为第二帧图像，即t＝1，则仅目标滤波解码器D₀、目标平滑解码器D_-1、目标预测解码器D₁的输出有效，目标平滑解码器D_-2、D_-3的输出无效；若第i帧图像为第三帧图像，即t＝2，则仅目标滤波解码器D₀、目标平滑解码器D_-1、目标平滑解码器D_-2、目标预测解码器D₁的输出有效，目标平滑解码器D_-3的输出无效。

需要说明的是，本申请实施例的目标位置编码器、目标滤波解码器、目标平滑解码器和目标预测解码器均采用GRU层的RNN，h为GRU层的隐变量，用于根据上一时刻的隐变量h(t-1)推测下一时刻的隐变量h(t)。

以下结合图5对获取采集时刻偏差的一种可能的实现方式进行说明。

请参考图5，为本申请实施例提供的运动目标位置参数优化方法的流程示意图三，如图5所示，上述S11中获取目标时序数据中第i帧图像的采集时刻偏差，还可以包括：

S111：获取目标时序数据的标准间隔。

S112：根据标准间隔对采集时刻偏差进行归一化，得到归一化后的采集时刻偏差。

本实施例中，本实施例中，标准间隔是预先设置的从目标时序数据中提取各帧图像的固定时间间隔，由于针对不同目标时序数据上每秒播放的图像帧数不同，导致针对不同目标时序数据中相邻两帧图像的时间间隔不同，则在不同目标时序数据中计算第i帧图像的初始采集时刻偏差的时间单位不统一，需要采用标准间隔对采集时刻偏差进行归一化，得到归一化后的采集时刻偏差。具体的，可以根据采集时刻偏差和标准间隔的比值，计算归一化后的采集时刻偏差Δt(t)。

在一种可能的实现方式中，上述S11中获取目标时序数据中第i帧图像中运动目标的初始位置参数的步骤，可以包括：

若第i帧图像归一化后的采集时刻偏差不在目标偏差范围内，将基于第i-1帧图像得到的第i帧图像中运动目标的预测位置参数作为第i帧图像中运动目标的初始位置参数。

本实施例中，若归一化后的采集时刻偏差不在目标偏差范围内，确定实际提取到的第i帧图像和上一次提取到的第i-1帧图像之间的时差过大，在第i帧图像之前存在未提取到的丢帧图像，直接根据该第i帧图像中待跟踪目标的初始位置参数生成优化位置参数的准确度较差。在此情况下，可以采用目标预测解码器根据第i-1帧图像的位置参数特征、第i-1帧图像的解码隐变量和第i-1帧图像和第i帧图像的位置参数特征之间的偏差，生成第i帧图像中运动目标的预测位置参数，以第i帧图像中运动目标的预测位置参数作为丢帧图像的初始位置参数，并将丢帧图像的采集时刻偏差确定为0。

示例的，目标偏差范围可以为(-0.5,+0.5]，若超过该取值范围，确定所获取的第i帧图像之前存在丢帧图像。

上述实施例提供的运动目标位置参数优化方法，可以在提取的图像存在丢帧时，利用上一帧图像输出的预测位置参数作为丢帧图像的初始位置参数，避免因为丢帧导致计算的优化位置参数、平滑位置参数和预测位置参数的准确度较差，以上一帧图像输出的预测位置参数作为丢帧图像的初始位置参数，可以保证计算到的优化位置参数、平滑位置参数和预测位置参数的准确度。

上述实施例提供的运动目标位置参数优化方法，是基于预先训练得到的目标神经网络模型实现的。目标神经网络模型是由目标位置编码器、目标滤波解码器、目标平滑解码器构成的。

以下结合图6对训练目标神经网络模型的一种可能的实现方式进行说明。

请参考图6，为本申请实施例提供的目标神经网络模型训练步骤的流程示意图一，如图6所示，目标神经网络模型训练步骤可以包括：

S31：获取训练数据，训练数据包括样本时序数据各帧样本图像中运动目标的初始位置参数和目标位置参数，以及各帧样本图像的采集时刻偏差。

本实施例中，获取样本时序数据，样本时序数据是运动目标在时间序列上连续运动产生的一系列样本图像数据。在样本时序数据中提取连续多帧样本图像，根据在样本时序数据中提取各帧样本图像的样本采集时刻和标准采集时刻之间的偏差，确定各帧样本图像的采集时刻偏差。

采用预设的外部检测算法对各帧样本图像中的运动目标进行检测，确定在各帧样本图像中运动目标的初始位置参数，并通过人工标注的方式在各帧样本图像中确定运动目标的目标位置参数，目标位置参数用于表示运动目标在各帧样本图像中的真实位置。示例的，外部检测算法可以为YoloV5模型和无滤波的Deepsort算法。

S32：根据各帧样本图像对应的初始位置参数和采集时刻偏差，采用初始神经网络模型输出训练位置参数。

本实施例中，将每帧样本图像对应的初始位置参数和采集时刻偏差作为初始神经网络模型的输入，通过初始神经网络模型输出每帧样本图像对应的训练位置参数，其中，训练位置参数包括每帧样本图像中运动目标的优化位置参数，和每帧样本图像对应的前一帧样本图像中运动目标的平滑位置参数。

示例的，初始神经网络模型为循环卷积神经网络(RNN)，用于根据当前时刻的输入和前一时刻的隐变量生成当前时刻的输出和当前时刻的隐变量，当前时刻的隐变量中记录了第一时刻的输入到当前时刻的输入中隐含的变化信息，当前时刻的隐变量又参与下一时刻的计算；其中，当前时刻的输出由第一激活函数根据当前时刻的输入和前一时刻的隐变量计算，第一激活函数包括第一权重参数，当前时刻的隐变量是循环卷积神经网络的隐含参数，由第二激活函数根据当前时刻的输入和前一时刻的隐变量计算，第二激活函数包括第二权重参数。

需要说明的是，对于RNN中第一时刻的输入，其前一时刻的隐变量为随机初始化的隐变量，或者为零。

本实施例中，初始神经网络模型包括多个RNN，分别对应初始位置编码器、初始滤波解码器和初始平滑解码器。初始滤波解码器用于输出每帧样本图像中运动目标的优化位置参数，初始平滑解码器用于输出每帧样本图像对应的前一帧样本图像中运动目标的平滑位置参数。

具体的，在初始位置编码器中，当前时刻的输入包括当前帧样本图像的初始位置参数和采集时刻偏差，前一时刻的隐变量为前一帧样本图像的样本编码隐变量，当前时刻的输出为当前帧样本图像的样本位置参数特征，当前时刻的隐变量为当前帧样本图像的样本编码隐变量，当前帧样本图像的样本编码隐变量用于表示初始位置编码器学习到的运动目标从第一帧到当前帧的运动变化状态。

在初始滤波解码器中，当前时刻的输入包括当前帧样本图像的位置参数特征，前一时刻的隐变量为前一帧样本图像的解码隐变量，当前时刻的输出为当前帧样本图像中运动目标的优化位置参数和当前帧样本图像与前一帧样本图像的位置参数特征之间的偏差，当前时刻的隐变量为当前帧样本图像的解码隐变量，当前帧样本图像的解码隐变量用于表示初始滤波解码器学习到的运动目标从第一帧到当前帧的运动变化状态。

在初始平滑解码器中，由于初始平滑解码器用于对前一帧样本图像中运动目标的位置参数进行优化，因此初始平滑解码器的当前时刻是初始滤波解码器的当前时刻对应的前一时刻，当前时刻的输入包括当前帧样本图像的位置参数特征和当前帧样本图像与前一帧样本图像的位置参数特征之间的偏差，前一时刻的隐变量为前两帧样本图像的解码隐变量，当前时刻的输出为前一帧样本图像中运动目标的平滑位置参数，当前时刻的隐变量为前一帧样本图像的解码隐变量，前一帧样本图像的解码隐变量用于表示初始平滑解码器学习到的运动目标从第一帧到前一帧的运动变化状态。

S33：基于各帧样本图像对应的训练位置参数和真实位置参数分别构建优化损失函数和平滑损失函数。

本实施例中，根据当前帧样本图像的优化位置参数和当前帧样本图像的目标位置参数，构建优化损失函数，根据前一帧样本图像的平滑位置参数和前一帧样本图像的目标位置参数，计算平滑损失函数。

S34：基于优化损失函数和平滑损失函数得到各帧样本图像的联合损失函数。

本实施例中，根据每帧样本图像的优化损失函数、优化权重、平滑损失函数和平滑权重，对每帧样本图像的优化损失函数和平滑损失函数进行加权计算，得到每帧样本图像的联合损失函数。

S35：基于各帧样本图像的联合损失函数得到样本时序数据的总损失函数。

本实施例中，在每一轮次的模型训练过程中，根据样本时序数据中各帧样本图像的数量，对各帧样本图像的联合损失函数进行累加，得到样本时序数据的总损失函数。

S36：基于总损失函数对初始神经网络模型进行更新，直至模型收敛，得到目标神经网络模型。

本实施例中，根据总损失函数分别对初始位置编码器、初始滤波解码器和初始平滑解码器中第一激活函数和第二激活函数中的第一权重参数和第二权重参数进行优化，经过多轮训练，在多帧样本图像的总损失函数满足目标收敛条件时停止训练，得到包括目标位置编码器、目标滤波解码器和目标平滑解码器的目标神经网络模型。

其中，目标位置编码器的编码隐变量作为目标位置编码器的隐藏参数，需要根据目标位置编码器的第二权重参数优化后的第二激活函数进行计算；目标滤波解码器的解码隐变量作为目标滤波解码器的隐藏参数，需要根据目标滤波解码器的第二权重参数优化后的第二激活函数进行计算；目标平滑解码器的解码隐变量作为目标平滑解码器的隐藏参数，需要根据目标平滑解码器的第二权重参数优化后的第二激活函数进行计算。

在一种可能的实现方式中，位置参数优化模块还包括：目标预测解码器。请参考图7，为本申请实施例提供的目标神经网络模型训练步骤的流程示意图二，如图7所示，目标神经网络模型训练步骤可以包括：

S41：获取训练数据，训练数据包括样本时序数据各帧样本图像中运动目标的初始位置参数和真实位置参数，以及各帧样本图像的采集时刻偏差。

本实施例中，训练数据的获取方式可以参考上述S11，本实施例不再赘述。

S42：根据各帧样本图像对应的初始位置参数和采集时刻偏差，采用初始神经网络模型输出训练位置参数。

本实施例中，将每帧样本图像对应的初始位置参数和采集时刻偏差作为初始神经网络模型的输入，通过初始神经网络模型输出每帧样本图像对应的训练位置参数，其中，训练位置参数包括每帧样本图像中运动目标的优化位置参数，每帧样本图像对应的前一帧样本图像中运动目标的平滑位置参数，和每帧样本图像对应的后一帧样本图像中运动目标的预测位置参数。

其中，初始神经网络模型还包括初始预测解码器，初始预测解码器采用RNN结构，由于初始预测解码器用于对下一帧样本图像中运动目标的位置参数进行预测，因此初始预测解码器的当前时刻是初始滤波解码器的当前帧对应的下一帧，当前时刻的输入包括当前帧样本图像的位置参数特征和当前帧样本图像与下一帧样本图像的位置参数特征之间的偏差，前一时刻的隐变量为当前帧样本图像的解码隐变量，当前时刻的输出为下一帧样本图像中运动目标的预测位置参数，当前时刻的隐变量为下一帧样本图像的解码隐变量，下一帧样本图像的解码隐变量用于表示初始预测解码器学习到的运动目标从第一帧到下一帧的运动变化状态。

S43：基于各帧样本图像对应的训练位置参数和真实位置参数分别构建优化损失函数、平滑损失函数和预测损失函数。

本实施例中，优化损失函数和平滑损失函数的构建可以参考上述S13，本实施例在此不做赘述。根据后一帧样本图像的预测位置参数和后一帧样本图像的目标位置参数，计算预测损失函数。

S44：基于优化损失函数、平滑损失函数和预测损失函数得到各帧样本图像的联合损失函数。

本实施例中，根据每帧样本图像的优化损失函数、优化权重、平滑损失函数、平滑权重、预测损失函数和预测权重，对每帧样本图像的优化损失函数、平滑损失函数和预测损失函数进行加权计算，得到每帧样本图像的联合损失函数。

S45：基于各帧样本图像的联合损失函数得到样本时序数据的总损失函数。

本实施例中，在每一轮次的模型训练过程中，根据样本时序数据中各帧样本图像的数量，对各帧样本图像的联合损失函数进行累加，得到样本时序数据的总损失函数。

S46：基于总损失函数对初始神经网络模型进行更新，直至模型收敛，得到目标神经网络模型。

本实施例中，根据总损失函数分别对初始位置编码器、初始滤波解码器、初始平滑解码器和初始预测解码器中第一激活函数和第二激活函数中的第一权重参数和第二权重参数进行优化，经过多轮训练，在多帧样本图像的总损失函数满足目标收敛条件时停止训练，得到包括目标位置编码器、目标滤波解码器、目标平滑解码器和目标预测解码器的目标神经网络模型。

目标预测解码器的解码隐变量作为目标平滑解码器的隐藏参数，需要根据目标预测解码器的第二权重参数优化后的第二激活函数进行计算。

在一种可能的实现方式中，请参考图8，为本申请实施例提供的位置参数优化模型的结构示意图一，如图8所示，该位置参数优化模型包括：目标位置编码器、目标滤波解码器、目标平滑解码器和目标预测解码器。

其中，目标位置编码器基于第i帧图像中运动目标的初始位置参数、第i帧图像的采集时刻偏差和第i-1帧图像的编码隐变量生成第i帧图像的位置参数特征。

目标位置编码器分别连接目标滤波解码器、目标平滑解码器和目标预测解码器，目标滤波解码器基于第i帧图像的位置参数特征和第i-1帧图像的解码隐变量，得到第i帧图像的优化位置参数，以及，第i帧图像与第i-1帧图像的位置参数特征之间的偏差。

目标滤波解码器连接目标平滑解码器，用于为目标预测解码器提供第i帧图像与第-1帧图像的位置参数特征之间的偏差，目标平滑解码器基于第i帧图像的位置参数特征、第i-2帧图像的解码隐变量以及第i帧图像与第i-1帧图像的位置参数特征之间的偏差，得到第i-1帧图像中运动目标的平滑位置参数。

目标滤波解码器连接目标预测解码器，用于为目标预测解码器提供第i帧图像与第i+1帧图像的位置参数特征之间的偏差，目标平滑解码器基于第i帧图像的位置参数特征、第i帧图像的解码隐变量以及第i帧图像与第i+1帧图像的位置参数特征之间的偏差，得到第i+1帧图像中运动目标的预测位置参数。

在另一种可能的实现方式中，请参考图9，为本申请实施例提供的位置参数优化模型的结构示意图二，如图9所示，若需要输出多个前帧的平滑位置参数和多个后帧的预测位置参数，则需要多个目标平滑解码器和多个目标预测解码器。

其中，多个目标平滑解码器相互连接，每个目标平滑解码器为下一个目标平滑解码器提供相邻帧图像的位置参数特征之间的偏差；多个目标预测解码器相互连接，每个目标预测解码器为下一个目标预测解码器提供相邻帧图像的位置参数特征之间的偏差。

示例的，对于t时刻的当前帧样本图像，根据当前帧样本图像的样本初始位置参数和样本时刻偏差(x,y,s,r,Δt)经过位置参数优化模型输出当前帧样本图像中运动目标的优化位置参数

前i帧样本图像中运动目标的平滑位置参数/>

和后j帧样本图像中运动目标的预测位置参数/>

以初始神经网络模型输出当前帧优化位置参数、前三帧平滑位置参数和后一帧预测位置参数为例，初始神经网络模型的损失函数计算公式分别为：

优化损失函数L₀(t)为：

/>

平滑损失函数L_-i(t)为：

预测损失函数L_j(t)为：

当前帧的联合损失函数为：

其中，

为当前帧样本图像的优化位置参数，/>

为当前帧样本图像的目标位置参数；/>

为前一帧样本图像的平滑位置参数，/>

为前一帧样本图像的目标位置参数；/>

为前二帧样本图像的平滑位置参数，/>

为前二帧样本图像的目标位置参数；

为前三帧样本图像的平滑位置参数，/>

为前三帧样本图像的目标位置参数；

为后一帧样本图像的预测位置参数，/>

为后一帧样本图像的目标位置参数。||*||为范数，w_-3,w_-2,w_-1,w₀,w₁为权重，示例的，w_-3＝8，w_-2＝4，w_-1＝2，w₀＝1，w₁＝1/2。

由于神经网络模型需要根据连续多帧样本图像进行训练，则连续多帧样本图像的总损失函数为：

其中，n可以为1024帧。

需要说明的是，若当前帧样本图像为第一帧样本图像，前第一帧、前第二帧和前第三帧为无效输出；若当前帧样本图像为第二帧样本图像，前第二帧和前第三帧为无效输出；若当前帧样本图像为第三帧样本图像，前第三帧为无效输出，针对无效输出，其权重为0。

示例的，请参考图10，为本申请实施例提供的目标位置编码器的结构示意图，如图10所示，目标位置编码器E₀(t)采用RNN，其中，目标位置编码器E₀(t)具有两个输入循环卷积层，其中一个输入循环卷积层用于输入第i帧图像中运动目标的初始位置参数，另一个输入循环卷积层用于输入第i帧图像的采集时刻，两个输入循环卷积层的输入经过连接层Concat的合并后，再经过两个循环卷积层，输出位置参数特征。其中，图中未示出第i-1帧图像的编码隐变量。

在一些实施例中，RNN可以采用GRU层(Gated Recurrent Unit，门控循环层)作为循环卷积层，两个输入循环卷积层[GRU C4]分别用于输入四通道特征，并输出四通道特征，经过Concat合成并为8通道特征后，在经过[GRU C8,GRU C18]输出16通道的位置参数特征。

需要说明的是，初始位置参数(x,y,s,r)为四通道特征，由于采集时刻偏差Δt(t)为单通道特征，因此需要对采集时刻偏差Δt(t)进行重复堆叠，构成四通道的采集时刻偏差(Δt,Δt,Δt,Δt)。

示例的，请参考图11，为本申请实施例提供的目标滤波解码器的结构示意图，如图11所示，目标滤波解码器D₀采用RNN，其中，目标滤波解码器D₀具有一个输入循环卷积层、至少一个中间循环卷积层和三个输出循环卷积层，输入循环卷积层用于输入第i帧图像的位置参数特征，输入循环卷积层具有三个输出，其中一个输出经过中间循环卷积层到第一个输出循环卷积层，用于输出第i帧图像中运动目标的优化位置参数，第二个输出经过第二个输出循环卷积层输出第i帧图像与第i-1帧图像的位置参数特征之间的偏差作为第一解码特征，第三个输出经过第三个输出循环卷积层输出第i帧图像与第i+1帧图像的位置参数特征之间的偏差作为第二解码特征。其中，图中未示出第i-1帧图像的解码隐变量。

其中，RNN可以采用GRU层作为循环卷积层，输入循环卷积层[GRU C32]用于输出32通道特征，两个输出循环卷积层[GRU C16]分别用于输出两个16通道特征分别作为第i帧图像与第i-1帧图像的位置参数特征之间的偏差，以及第i帧图像与第i+1帧图像的位置参数特征之间的偏差，中间循环卷积层[GRU C16]和另一个输出循环卷积层[GRU C4]用于输出4通道特征作为第i帧图像中运动目标的优化位置参数。

示例的，请参考图12，为本申请实施例提供的目标平滑解码器或目标预测解码器的结构示意图，如图12所示，目标平滑解码器D_-i(t)或目标预测解码器D_j(t)采用相同的RNN结构，包括连接层、两个中间循环卷积层和两个输出循环卷积层，其中，目标平滑解码器D_-i(t)的连接层用于对第i帧图像的位置参数特征以及第i帧图像与第i-1帧图像的位置参数特征之间的偏差进行拼接，目标平滑解码器D_-i(t)的连接层的一个输出连接一个输出循环卷积层输出第i-1帧图像与第i-2帧图像的位置参数特征之间的偏差作为后置解码器的解码特征，目标平滑解码器D_-i(t)的连接层的另一个输出经过两个中间循环卷积层到另一个输出循环卷积层，用于输出第i-1帧图像中运动目标的平滑位置参数。其中，图中未示出第i-2帧图像的解码隐变量。

目标预测解码器D_j(t)的连接层用于对第i帧图像的位置参数特征以及第i帧图像与第i+1帧图像的位置参数特征之间的偏差进行拼接，目标预测解码器D_j(t)的连接层的一个输出连接一个输出循环卷积层输出第i+1帧图像与第i+2帧图像的位置参数特征之间的偏差，目标预测解码器D_j(t)的连接层的另一个输出经过两个中间循环卷积层到另一个输出循环卷积层，用于输出第i+1帧图像中运动目标的预测位置参数。其中，图中未示出第i帧图像的解码隐变量。

其中，RNN可以采用GRU层作为循环卷积层，一个输出循环卷积层[GRU C16]用于输出16通道特征作为相邻帧图像的位置参数特征之间的偏差，中间循环卷积层[GRU C32，GRUC16]经过另一个输出循环卷积层[GRU C4]用于输出4通道特征作为第i-1帧图像的平滑位置参数或第i+1帧图像的预测位置参数。

以下结合实施例及附图对采用上述目标神经网络模型实现运动目标位置参数优化的一种可能的实现方式进行说明。

在上述实施例公开的运动目标位置参数优化方法的基础上，本实施例还提供一种运动目标的轨迹生成方法。

在一种可能的实现方式中，可以根据优化位置参数和平滑位置参数，生成运动目标的运动轨迹。

本实施例中，针对目标时序数据中的多帧图像，采用外部检测算法确定运动目标在多帧图像中的初始位置参数，根据运动目标在多帧图像中的初始位置参数，可以生成运动目标在目标时序数据上的初始运动轨迹。

当采用上述实施例的运动目标位置参数优化方法生成第i帧图像中运动目标的优化位置参数和第i-n帧图像中运动目标的平滑位置参数后，以第i帧图像中运动目标的优化位置参数替换第i帧图像中运动目标的初始位置参数，以第i-n帧图像中运动目标的平滑位置参数替换第i-n帧图像中运动目标的初始位置参数，以根据优化位置参数和平滑位置参数，生成运动目标从第i-n帧到第i帧时的运动轨迹，实现对初始运动轨迹的优化。

在一种可能的实现方式中，可以根据优化位置参数、平滑位置参数和预测位置参数，生成运动目标的运动轨迹。

当采用上述实施例的运动目标位置参数优化方法生成第i帧图像中运动目标的优化位置参数、第i-n帧图像中运动目标的平滑位置参数和第i+M帧图像中运动目标的预测位置参数后，以第i帧图像中运动目标的优化位置参数替换第i帧图像中运动目标的初始位置参数，以第i-n帧图像中运动目标的平滑位置参数替换第i-n帧图像中运动目标的初始位置参数，以第i+m帧图像中运动目标的预测位置参数替换第i+m帧图像中运动目标的初始位置参数，以根据优化位置参数、平滑位置参数和预测位置参数，生成运动目标在第i帧时的目标运动轨迹，实现对初始运动轨迹的优化。

需要说明的是，在第i帧中，运动目标在第i帧中的位置参数为根据第i帧图像中运动目标的初始位置参数生成的第i帧的优化位置参数，运动目标在第i-1帧中的位置参数为根据第i帧图像中运动目标的初始位置参数生成的第i-1帧的平滑位置参数；则第i+1帧中，运动目标在第i帧中的位置参数为根据第i+1帧图像中运动目标的初始位置参数生成的第i帧的平滑位置参数，运动目标在第i-1帧中的位置参数为根据第i+1帧图像中运动目标的初始位置参数生成的第i-1帧的平滑位置参数，即根据最新一帧图像输出的各个位置参数对前一帧图像输出的对应时刻的各个位置参数进行替换。

示例的，请参考图13，为运动轨迹优化前后的示意图，如图13所示，采用本申请实施例提供的目标神经网络模型得到的位置参数生成的运动轨迹，与外部检测算法生成的运动轨迹相比，本申请实施例生成的运动轨迹与真实运动轨迹最为接近。

请参考图14，为本申请实施例提供的运动目标位置参数优化方法的流程示意图四，如图14所示，在上述根据优化位置参数、平滑位置参数和预测位置参数，生成运动目标的运动轨迹之后，该方法还可以包括：

S41：在第i帧图像和第i-1帧图像之间，和/或，第i帧图像和第i+1帧图像之间确定至少一个目标插值点。

S42：根据优化位置参数、平滑位置参数和/或预测位置参数，以及至少一个目标插值点的位置，计算至少一个目标插值点处待跟踪目标的插值位置参数。

S43：根据优化位置参数、平滑位置参数、预测位置参数和插值位置参数，更新运动目标的运动轨迹。

本实施例中，由于第i帧的优化位置参数、第i-n帧的平滑位置参数、第i+m帧的预测位置参数是运动目标在不同时刻的位置参数，相邻帧之间的位置参数的变化是离散的，为了提高运动目标的运动轨迹精度，需要在多帧之间插入新的位置参数，以提高运动轨迹的连续度。

具体的，在第i帧图像和第i-1帧图像之间、第i-n帧图像和第i-n-1帧图像之间、第i帧图像和第i+1帧图像之间、第i+m帧图像和第i+m+1帧图像之间确定至少一个目标插值点，根据目标插值点的位置，确定与目标插值点前后相邻的两帧图像的位置参数，根据与目标插值点前后相邻的两帧图像的位置参数，计算目标插值点处运动目标的插值位置参数。

根据第i帧的优化位置参数、第i-n帧的平滑位置参数、第i+m帧的一寸位置参数和多个插值位置参数，对运动目标的运动轨迹进行更新，提高运动目标的运动轨迹的精度和连续度。

示例的，目标插值点为σ，目标插值点的前一时刻

后一时刻/>

则插值运动参数/>

在上述实施例的基础上，本申请实施例还提供一种运动目标位置参数优化装置。请参考图15，为本申请实施例提供的运动目标位置参数优化装置的结构示意图，如图15所示，该装置包括：

图像参数获取模块11，用于获取目标时序数据中第i帧图像中运动目标的初始位置参数和第i帧图像的采集时刻偏差，采集时刻偏差表征图像的实际采集时刻与其对应的标准采集时刻之间的偏差，i为大于或等于3的正整数；

位置参数特征生成模块12，用于基于初始位置参数、采集时刻偏差和第i-1帧图像的编码隐变量生成第i帧图像的位置参数特征，第i-1帧图像的编码隐变量是基于第i-2帧图像的编码隐变量、第i-1帧图像的初始位置参数和采集时刻偏差确定的；

滤波解码模块13，用于基于第i帧图像的位置参数特征和第i-1帧图像的解码隐变量，得到第i帧图像中运动目标的优化位置参数，以及，第i帧图像与第i-1帧图像的位置参数特征之间的偏差，第i-1帧的解码隐变量是基于第i-2帧图像的解码隐变量和第i-1帧图像的位置参数特征确定的；

平滑解码模块14，用于基于第i帧图像的位置参数特征、第i-2帧图像的解码隐变量以及第i帧图像与第i-1帧图像的位置参数特征之间的偏差，得到第i-1帧图像中运动目标的平滑位置参数。

可选的，该装置还包括：预测解码模块；

平滑解码模块14，还用于基于第i帧图像的位置参数特征和第i-1帧图像的解码隐变量，得到第i帧图像与第i+1帧图像的位置参数特征之间的偏差；

预测解码模块，用于基于第i帧图像的位置参数特征、第i帧图像的解码隐变量以及第i帧图像与第i+1帧图像的位置参数特征之间的偏差，得到第i+1帧图像中运动目标的预测位置参数。

可选的，图像参数获取模块11，还包括：

间隔获取单元，用于获取目标时序数据的标准间隔；

归一化计算单元，用于根据标准间隔对采集时刻偏差进行归一化，得到归一化后的采集时刻偏差。

可选的，图像参数获取模块11，具体用于若第i帧图像归一化后的采集时刻偏差不在目标偏差范围内，将基于第i-1帧图像得到的第i帧图像中运动目标的预测位置参数作为第i帧图像中运动目标的初始位置参数。

可选的，编码隐变量和解码隐变量为目标神经网络模型的参数；

目标神经网络模型通过以下模块训练得到；

训练数据获取模块，用于获取训练数据，训练数据包括样本时序数据各帧样本图像中运动目标的初始位置参数和目标位置参数，以及各帧样本图像的采集时刻偏差；

模型输出模块，用于根据各帧样本图像对应的初始位置参数和采集时刻偏差，采用初始神经网络模型输出训练位置参数；

损失函数计算模块，用于基于各帧样本图像对应的训练位置参数和真实位置参数分别构建优化损失函数和平滑损失函数；

损失函数联合模块，用于基于优化损失函数和平滑损失函数得到各帧样本图像的联合损失函数；

损失函数汇总模块，用于基于各帧样本图像的联合损失函数得到样本时序数据的总损失函数；

模型更新模块，用于基于总损失函数对初始神经网络模型进行更新，直至模型收敛，得到目标神经网络模型。

可选的，编码隐变量和解码隐变量为目标神经网络模型的参数；

目标神经网络模型通过以下模块得到；

训练数据获取模块，用于获取训练数据，训练数据包括样本时序数据各帧样本图像中运动目标的初始位置参数和真实位置参数，以及各帧样本图像的采集时刻偏差；

模型输出模块，用于根据各帧样本图像对应的初始位置参数和采集时刻偏差，采用初始神经网络模型输出训练位置参数；

损失函数计算模块，还用于基于各帧样本图像对应的训练位置参数和真实位置参数分别构建优化损失函数、平滑损失函数和预测损失函数；

损失函数联合模块，还用于基于优化损失函数、平滑损失函数和预测损失函数得到各帧样本图像的联合损失函数；

损失函数汇总模块，用于基于各帧样本图像的联合损失函数得到样本时序数据的总损失函数；

模型更新模块，用于基于总损失函数对初始神经网络模型进行更新，直至模型收敛，得到目标神经网络模型。

在一种可能的实现方式中，本申请实施例还提供一种运动目标的轨迹生成装置，装置包括：

轨迹生成模块，用于基于第一方面方法得到的优化位置参数和平滑位置参数，生成运动目标的运动轨迹；或基于第一方面方法得到的优化位置参数、平滑位置参数和预测位置参数，生成运动目标的运动轨迹。

上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。

以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。

请参考图16，为本申请实施例提供的电子设备的示意图，如图16所示，该电子设备100包括：存储器101、处理器102及存储在存储器101上的计算机程序，处理器102执行计算机程序以实现上述任一实施例的运动目标位置参数优化方法，或实现上述实施例的运动目标的轨迹生成方法。

在一种可能的实现方式中，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序/指令，计算机程序/指令被处理器执行时实现上述任一实施例的运动目标位置参数优化方法，或实现上述实施例的运动目标的轨迹生成方法。

在一种可能的实现方式中，本申请实施例还提供一种计算机程序产品，包括计算机程序/指令，计算机程序/指令被处理器执行时实现上述任一实施例的运动目标位置参数优化方法，或实现上述实施例的运动目标的轨迹生成方法。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

上仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种运动目标位置参数优化方法，其特征在于，方法包括：

获取目标时序数据中第i帧图像中运动目标的初始位置参数和所述第i帧图像的采集时刻偏差，所述采集时刻偏差表征图像的实际采集时刻与其对应的标准采集时刻之间的偏差，i为大于或等于3的正整数；

基于所述初始位置参数、所述采集时刻偏差和第i-1帧图像的编码隐变量生成所述第i帧图像的位置参数特征，所述第i-1帧图像的编码隐变量是基于第i-2帧图像的编码隐变量、所述第i-1帧图像的初始位置参数和采集时刻偏差确定的；

基于所述第i帧图像的位置参数特征和所述第i-1帧图像的解码隐变量，得到所述第i帧图像中运动目标的优化位置参数，以及，所述第i帧图像与所述第i-1帧图像的位置参数特征之间的偏差，所述第i-1帧的解码隐变量是基于所述第i-2帧图像的解码隐变量和所述第i-1帧图像的位置参数特征确定的；

基于所述第i帧图像的位置参数特征、所述第i-2帧图像的解码隐变量以及所述第i帧图像与所述第i-1帧图像的位置参数特征之间的偏差，得到所述第i-1帧图像中运动目标的平滑位置参数。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述第i帧图像的位置参数特征和第i-1帧图像的解码隐变量，得到所述第i帧图像与第i+1帧图像的位置参数特征之间的偏差；

基于所述第i帧图像的位置参数特征、所述第i帧图像的解码隐变量以及所述第i帧图像与所述第i+1帧图像的位置参数特征之间的偏差，得到所述第i+1帧图像中运动目标的预测位置参数。

3.如权利要求2所述的方法，其特征在于，所述获取目标时序数据中第i帧图像的采集时刻偏差，还包括：

获取所述目标时序数据的标准间隔；

根据所述标准间隔对所述采集时刻偏差进行归一化，得到归一化后的采集时刻偏差。

4.如权利要求3所述的方法，其特征在于，所述获取目标时序数据中第i帧图像中运动目标的初始位置参数，包括：

若第i帧图像归一化后的采集时刻偏差不在目标偏差范围内，将基于所述第i-1帧图像得到的所述第i帧图像中运动目标的预测位置参数作为所述第i帧图像中运动目标的初始位置参数。

5.如权利要求1所述的方法，其特征在于，所述编码隐变量和所述解码隐变量为目标神经网络模型的参数；

所述目标神经网络模型通过以下训练步骤得到；

获取训练数据，所述训练数据包括样本时序数据各帧样本图像中运动目标的初始位置参数和目标位置参数，以及各帧样本图像的采集时刻偏差；

根据所述各帧样本图像对应的所述初始位置参数和所述采集时刻偏差，采用初始神经网络模型输出训练位置参数；

基于所述各帧样本图像对应的所述训练位置参数和所述真实位置参数分别构建优化损失函数和平滑损失函数；

基于所述优化损失函数和所述平滑损失函数得到各帧样本图像的联合损失函数；

基于所述各帧样本图像的所述联合损失函数得到所述样本时序数据的总损失函数；

基于所述总损失函数对所述初始神经网络模型进行更新，直至模型收敛，得到所述目标神经网络模型。

6.如权利要求2-4任一项所述的方法，其特征在于，所述编码隐变量和所述解码隐变量为目标神经网络模型的参数；

所述目标神经网络模型通过以下训练步骤得到；

获取训练数据，所述训练数据包括样本时序数据各帧样本图像中运动目标的初始位置参数和真实位置参数，以及各帧样本图像的采集时刻偏差；

根据所述各帧样本图像对应的所述初始位置参数和所述采集时刻偏差，采用初始神经网络模型输出训练位置参数；

基于所述各帧样本图像对应的所述训练位置参数和所述真实位置参数分别构建优化损失函数、平滑损失函数和预测损失函数；

基于所述优化损失函数、所述平滑损失函数和所述预测损失函数得到各帧样本图像的联合损失函数；

基于所述各帧样本图像的所述联合损失函数得到所述样本时序数据的总损失函数；

基于所述总损失函数对所述初始神经网络模型进行更新，直至模型收敛，得到所述目标神经网络模型。

7.一种运动目标的轨迹生成方法，其特征在于，所述方法包括：

基于权利要求1-4任一项所述方法得到的所述优化位置参数和所述平滑位置参数，生成所述运动目标的运动轨迹；或，

基于权利要求2-4任一项所述方法得到的所述优化位置参数、所述平滑位置参数和所述预测位置参数，生成所述运动目标的运动轨迹。

8.一种电子设备，包括存储器、处理器及存储在所述存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-6任一项所述的方法，或者实现权利要求7所述的方法。

9.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1-6任一项所述的方法，或者实现权利要求7所述的方法。

10.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1-6任一项所述的方法，或者实现权利要求7所述的方法。

Images