CN117437262A - 目标运动估计方法、装置、设备以及存储介质 - Google Patents

Abstract

本申请公开了一种目标运动估计方法、装置、设备以及存储介质，该目标运动估计方法包括：获取图像序列中各待处理图像包括的目标对象的初始关键点信息；对初始关键点信息进行坐标变换处理，得到鸟瞰视角下的目标关键点信息；基于目标关键点信息中目标关键点的目标坐标信息和获取到的目标关键点的数据分布状态确定目标关键点对应的误差信息；基于多帧待处理图像之间的序列关系、每帧待处理图像中的目标关键点信息和误差信息进行运动估计，得到目标对象的运动估计结果。上述方案，能够提升运动估计的准确性。

Description

目标运动估计方法、装置、设备以及存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种目标运动估计方法、装置、设备以及存储介质。

背景技术

在智能交通场景，目标运动信息在交通事件分析、全息路口展示等业务中被广泛应用。

现有技术中目标运动信息的获取通常依赖于毫米波雷达、激光雷达等传感器，设备成本高、实现难度大，而在依赖视频图像数据的视觉方案中各数据处理环节或多或少存在一定误差，导致获取到的目标运动信息的准确度低。

目前，亟需一种低成本的、准确的目标运动估计方法。

发明内容

本申请至少提供一种目标运动估计方法、装置、设备以及计算机可读存储介质。

本申请第一方面提供了一种目标运动估计方法，包括：获取图像序列中各待处理图像包括的目标对象的初始关键点信息；对所述初始关键点信息进行坐标变换处理，得到鸟瞰视角下的目标关键点信息；基于所述目标关键点信息中目标关键点的目标坐标信息和获取到的所述目标关键点的数据分布状态确定所述目标关键点对应的误差信息；基于多帧待处理图像之间的序列关系、每帧待处理图像中的所述目标关键点信息和所述误差信息进行运动估计，得到所述目标对象的运动估计结果。

在一实施例中，所述对所述初始关键点信息进行坐标变换处理，得到鸟瞰视角下的目标关键点信息的步骤，包括：基于所述初始关键点信息中初始关键点的初始坐标信息和方差信息构建初始关键点集；基于预设的变换矩阵对所述初始关键点集进行逆透视变换，得到目标关键点集，所述目标关键点集包括所述目标关键点。

在一实施例中，所述目标关键点包括目标中心点和目标邻近点，所述基于所述目标关键点信息中目标关键点的目标坐标信息和获取到的所述目标关键点的数据分布状态确定所述目标关键点对应的误差信息的步骤，包括：基于获取到的所述目标中心点的中心均值权重和获取到的所述目标邻近点的邻近均值权重进行加权求和计算，得到所述误差信息中的误差分布均值；基于所述误差分布均值和获取到的所述目标中心点的协方差权重进行加权求和计算，得到所述误差信息中的误差协方差。

在一实施例中，所述基于多帧待处理图像之间的序列关系、每帧待处理图像中的所述目标关键点信息和所述误差信息进行运动估计，得到所述目标对象的运动估计结果的步骤，包括：基于所述每帧待处理图像中所述目标对象的目标关键点信息确定所述目标对象的位姿信息；基于所述多帧待处理图像之间的序列关系依次对所述每帧待处理图像中所述目标对象的位姿信息和所述误差协方差进行卡尔曼滤波处理，得到所述目标对象的运动估计结果。

在一实施例中，所述初始关键点信息包括初始关键点，所述对所述初始关键点信息进行坐标变换处理，得到鸟瞰视角下的目标关键点信息的步骤，包括：基于预设的变换矩阵对所述初始关键点进行逆透视变换，得到鸟瞰视角的投影点，所述初始关键点和所述投影点对应；基于预设的选取规则和获取到的所述初始关键点的置信度，将所述投影点中置信度大于或等于预设置信阈值的投影点作为所述目标关键点。

在一实施例中，所述基于预设的选取规则和获取到的所述初始关键点的置信度，将所述投影点中置信度大于或等于预设置信阈值的投影点作为所述目标关键点的步骤，包括：若不存在大于或等于所述预设置信阈值的投影点，则基于所述初始关键点确定所述目标对象在所述待处理图像中的初始关键区域；选取所述初始关键区域的中心点作为第一基准点；基于所述目标对象在所述待处理图像中的位姿信息，确定相距所述第一基准点预设距离的第二基准点；对所述第一基准点和所述第二基准点进行逆透视变换，得到所述目标关键点。

在一实施例中，所述方法还包括：对所述图像序列中各待处理图像的目标对象进行目标检测，得到所述目标对象的检测框、所述初始关键点信息和所述目标对象的位姿信息；基于所述多帧待处理图像之间的序列关系、所述目标对象的检测框、所述初始关键点信息和所述目标对象的位姿信息对所述目标对象进行目标跟踪处理。

本申请第二方面提供了一种目标运动估计装置，包括：获取模块，用于获取图像序列中各待处理图像包括的目标对象的初始关键点信息；变换模块，用于对所述初始关键点信息进行坐标变换处理，得到鸟瞰视角下的目标关键点信息；误差确定模块，用于基于所述目标关键点信息中目标关键点的目标坐标信息和获取到的所述目标关键点的数据分布状态确定所述目标关键点对应的误差信息；检测模块，用于基于多帧待处理图像之间的序列关系、每帧待处理图像中的所述目标关键点信息和所述误差信息进行运动估计，得到所述目标对象的运动估计结果。

本申请第三方面提供了一种电子设备，包括存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述目标运动估计方法。

本申请第四方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述目标运动估计方法。

上述方案，通过将检测到的目标对象在图像中的初始关键点信息转换到鸟瞰视角下的目标关键点信息，实现对目标对象的定位，基于目标关键点信息中目标关键点的目标坐标信息和获取到的目标关键点的数据分布状态确定目标检测、数据转换等过程中产生的目标关键点对应的误差信息，基于多帧待处理图像之间的序列关系、每帧待处理图像中的目标关键点信息和误差信息进行运动估计，由此能够通过误差信息和定位结果的结合，提升对目标对象进行运动估计的准确性和鲁棒性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。

图1是本申请的目标运动估计方法的一示例性实施例的流程示意图；

图2是本申请目标运动估计方法中逆变换透视的效果示意图；

图3是本申请目标运动估计方法中关键点检测的效果示意图；

图4是本申请目标运动估计方法中目标对象的投影区域的效果示意图；

图5是本申请的一示例性实施例示出的目标运动估计装置的框图；

图6是本申请电子设备一实施例的结构示意图；

图7是本申请计算机可读存储介质一实施例的结构示意图。

具体实施方式

下面结合说明书附图，对本申请实施例的方案进行详细说明。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

在现有技术方案中，对目标对象进行运动估计的方法通常是基于多类传感器进行实现，例如光学传感器和雷达传感器的结合、或者使用双目摄像机等进行3D场景构建，这样可以保证获取到的目标对象的信息较为全面，但这种方式算法耗时大、设备成本高；对于低成本高效率的路段设备通常可采用视角变换的算法，将图像采集设备的视角转换为鸟瞰视角，同样能够实现一定程度的场景复原，但这种方式的误差干扰又相当明显，尤其是受到透视关系中近大远小的影响，远处目标在图像上成像小，远处目标的定位误差通常大于近处目标；且被遮挡的目标定位误差也通常大于未被遮挡的目标，定位误差大的情况下目标对象的轨迹容易出现跳变，在对其进行运动估计时容易出现延迟。

因此，本申请提供一种低成本、高准确度的目标运动估计方法，结合鸟瞰视角下的定位结果(位姿)和透视变换过程的误差信息，实现准确、鲁棒的运动估计。

请参阅图1，图1是本申请的目标运动估计方法的一示例性实施例的流程示意图。具体而言，可以包括如下步骤：

步骤S110，获取图像序列中各待处理图像包括的目标对象的初始关键点信息。

其中，图像序列可从采集到的待处理视频中提取多帧待处理图像得到，或是由采集到的多帧待处理图像组成，待处理视频或待处理图像通常基于道路端设有的图像采集设备进行采集得到的，即各待处理图像中的图像内容所展现的视角通常是图像采集设备的视角，为便于说明，后文简称为图像视角。

目标对象指的是待处理图像中所要进行运动估计的目标，在后文实施例中，主要以车辆作为目标对象为例进行示例性地说明，同一待处理图像中的目标对象可以有一个或多个，在此不做限定。

初始关键点信息指的是对待处理图像中的目标对象进行检测，得到的目标对象的初始关键点以及与初始关键点相关的信息，例如初始关键点的坐标信息、初始关键点的置信度等，初始关键点信息是基于图像视角确定的。

示例性地，将图像序列中的各待处理图像输入预先训练好的目标检测网络，得到目标检测网络输出的目标对象的初始关键点信息，其中，目标检测网络可以采用如yolo-pose、CenterNet等多任务算法模型直接给出目标对象的投影区域及朝向θ的检测结果；也可以先用目标检测算法给出目标检测的结果，再根据目标检测的结果截取的图像通过投影区域和朝向检测的多任务模型给出，检测出的初始关键点的应当包含类别、坐标及置信度等初始关键点信息，并根据具体的业务需求可以增加该关键点可见与否等信息，其中，投影区域可由若干初始关键点组成的关键点组{(x_i,y_i,c_i),…}进行表示。

步骤S120，对初始关键点信息进行坐标变换处理，得到鸟瞰视角下的目标关键点信息。

坐标变换处理是为了将图像视角下的初始关键点信息变换到鸟瞰视角下的目标关键点信息，目标关键点信息包括了目标关键点以及与目标关键点相关的信息，例如目标关键点的坐标信息、目标关键点的置信度等。

示例性地，坐标变换处理包括逆透视变换，在摄像头拍摄的图像中，由于透视效应的存在，原本平行的事物在图像中可能表现为相交，而逆透视变换则是为了消除这种透视效应，将图像视角转换到鸟瞰视角能够更好地对目标对象进行定位和检测。

步骤S130，基于目标关键点信息中目标关键点的目标坐标信息和获取到的目标关键点的数据分布状态确定目标关键点对应的误差信息。

需要说明的是，受算法模型自身的稳定性、目标对象受到的遮挡、待处理图像的画面模糊、目标对象过小等多种因素的影响，在检测目标对象的初始关键点时，会存在检测误差，检测误差通常服从均值为初始关键点的初始坐标信息、方差为初始关键点的置信度的高斯分布(即为初始关键点的数据分布状态)，其中，方差可由预先训练好的目标检测网络输出(得到的初始关键点信息包括方差信息)，或是通过如下数学表达计算方差：

其中，指的是图像视角下的初始关键点的方差，γ是预设的误差缩放系数，对于不同大小和类型的目标对象可设置不同的缩放系数，c_i则为第i个初始关键点的置信度。

进一步地，将初始关键点逆透视变换到目标关键点后，也会相应地存在变换误差，其中，变换误差可用基于目标关键点确定的高斯分布(目标关键点的数据分布状态)进行描述，即变换误差服从均值为目标关键点的目标坐标信息、方差为目标关键点的置信度的高斯分布，同理，鸟瞰视角下的目标关键点的方差可由预设的误差缩放系数和目标关键点的置信度确定。

由此可知，计算得到的目标关键点对应的误差信息包括了在对目标对象进行运动估计过程中的初始关键点的检测误差和将初始关键点变换为目标关键点的变换误差。

示例性地，逆透视变换过程产生的变换误差可用UT变换(UnscentedTransformation)进行数据建模，UT变换的原理是用一定数量的参数去近似一个高斯分布，即通过高斯分布对误差信息进行描述，在本申请的实施过程为：对使用高斯分布描述的检测误差(初始关键点的数据分布状态)进行采样，得到若干采样点，采样点可以是全部初始关键点或部分初始关键点；对采样点进行逆透视变换，得到目标关键点和目标关键点对应的误差信息。

具体地，根据初始关键点的坐标信息和方差信息构建包含2n+1个初始关键点的初始关键点集，初始关键点集可以由一个或多个，在此不做限定，其中，n为变量维度(图像视角的二维平面和鸟瞰视角的地平面都是二维坐标系，因此n＝2)，初始关键点集χ_i的数学表达为：

其中，初始关键点的坐标信息中的横坐标为随机变量x，其均值为协方差为P_x，λ为尺度缩放系数λ＝α²(n+κ)-n，参数α和κ用于控制采样点分散程度。

然后，基于预设的单应变换矩阵对初始关键点集中的每个初始关键点进行逆透视变换，得到鸟瞰视角下的目标关键点集，目标关键点集中的目标关键点和初始关键点集中的初始关键点对应，因此，根据目标关键点集中的目标关键点的数据分布状态进行数据建模，以得到服从高斯分布的误差模型(误差信息)。

步骤S140，基于多帧待处理图像之间的序列关系、每帧待处理图像中的目标关键点信息和误差信息进行运动估计，得到目标对象的运动估计结果。

示例性地，基于多帧待处理图像之间的序列关系，将每帧待处理图像中的目标关键点信息和误差信息输入预设的卡尔曼滤波器进行运动估计，得到卡尔曼滤波器输出的运动估计结果，其中，卡尔曼滤波的原理是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法，将误差信息作为卡尔曼滤波过程的噪声项，使其基于目标关键点信息对目标对象的运动状态的检测更为准确。

可以看出，本申请通过将检测到的目标对象在图像中的初始关键点信息转换到鸟瞰视角下的目标关键点信息，实现对目标对象的定位，基于目标关键点信息中目标关键点的目标坐标信息和获取到的目标关键点的数据分布状态确定目标检测、数据转换等过程中产生的目标关键点对应的误差信息，基于多帧待处理图像之间的序列关系、每帧待处理图像中的目标关键点信息和误差信息进行运动估计，由此能够通过误差信息和定位结果的结合，提升对目标对象进行运动估计的准确性和鲁棒性。

在上述实施例的基础上，本实施例对初始关键点信息进行坐标变换处理，得到鸟瞰视角下的目标关键点信息的步骤进行说明。具体而言，本实施例方法包括以下步骤：

基于初始关键点信息中初始关键点的初始坐标信息和方差信息构建初始关键点集；基于预设的变换矩阵对初始关键点集进行逆透视变换，得到目标关键点集，目标关键点集包括目标关键点。

需要说明的是，请参考图2，图2为本申请目标运动估计方法中逆变换透视的效果示意图，并继续结合步骤S130进行说明，图像视角的二维平面和鸟瞰视角的地平面都是二维坐标系(包括横轴x和纵轴y)，因此变量维度n＝2，则1个初始关键点集包括5个初始关键点，其中，将处于初始关键点集中心的初始关键点作为初始中心点，将处于初始关键点集边缘的初始关键点作为初始邻近点，初始邻近点可基于二维坐标系的横轴方向和纵轴方向确定。

预设的变换矩阵可以是单应变换矩阵，在预先设置的过程中，对图像采集设备所采集的地面上放置多个标记点，测量标记点在地面上的坐标，再在图像采集设备所采集的图像中找出并记录每个标记点对应的像素坐标，由此计算得到单应变换矩阵，单应变换矩阵描述了两个平面之间的映射关系；通常可以3x3规格的矩阵进行表示，如：

进一步地，对于每个初始关键点集中的初始中心点和初始邻近点的坐标信息和单应变换矩阵进行逆透视变换，分别得到对应的目标关键点集中的目标中心点和目标邻近点，具体地，逆透视变换的数学表达为：

其中，(x^′,y^′)为逆透视变换至地平面(鸟瞰视角)的目标关键点的坐标信息，(x,y)为待处理图像中初始关键点的坐标信息，H为单应变换矩阵。

在上述实施例的基础上，本实施例对基于目标关键点信息中目标关键点的目标坐标信息和获取到的目标关键点的数据分布状态确定目标关键点对应的误差信息的步骤进行说明，其中，目标关键点包括目标中心点和目标邻近点。具体而言，本实施例方法包括以下步骤：

基于获取到的目标中心点的中心均值权重和获取到的目标邻近点的邻近均值权重进行加权求和计算，得到误差信息中的误差分布均值；基于误差分布均值和获取到的目标中心点的协方差权重进行加权求和计算，得到误差信息中的误差协方差。

结合前述实施例进行说明，可继续参考图2，在对初始关键点集中的初始关键点进行逆透视变换后，对应得到了目标关键点集中的目标关键点，其中目标关键点包括了目标中心点和目标邻近点，以图2中的初始关键点集A为例，初始关键点集A包括了一个初始中心点和四个初始邻近点，图像视角中的的误差分布服从均值为A点集的坐标信息、方差为A点集的的高斯分布，经过逆透视变换到鸟瞰视角下后得到目标关键点集A^′，即在鸟瞰视角下的误差分布服从均值为A^′点集的坐标信息、方差为A^′点集的/>的高斯分布。

进一步地，对经过逆透视变换后得到的目标关键点集中的目标关键点设置权重，权重包括均值权重W^(m)和协方差权重W^(c)；具体地，将目标中心点的均值权重设置为λ/(λ+n)，将目标邻近点的均值权重设置为1/2(λ+n)；以及将目标中心点的协方差权重设置为λ/(λ+n)+(1-α²+β)，将目标邻近点的协方差权重设置为1/2(λ+n)，其中，β用于引入随机变量x的误差分布先验信息；基于目标中心点和目标邻近点的均值权重进行均值求和计算，得到误差分布均值其数学表达为：

基于目标中心点和目标邻近点的协方差权重进行均值求和计算，得到误差协方差P_y，其数学表达为：

由此，得到误差信息中的误差分布均值和误差协方差，即卡尔曼滤波的运动估计过程中所需的关键参数信息。

在上述实施例的基础上，本实施例对基于多帧待处理图像之间的序列关系、每帧待处理图像中的目标关键点信息和误差信息进行运动估计，得到目标对象的运动估计结果的步骤进行说明。具体而言，本实施例方法包括以下步骤：

基于每帧待处理图像中目标对象的目标关键点信息确定目标对象的位姿信息；基于多帧待处理图像之间的序列关系依次对每帧待处理图像中目标对象的位姿信息和误差协方差进行卡尔曼滤波处理，得到目标对象的运动估计结果。

示例性地，获取目标对象的目标关键点信息中目标关键点的坐标信息，以车辆为例，检测车辆整体车身的四个角点即得到初始关键点，将初始关键点进行逆透视变换即得到目标关键点，根据各目标关键点的坐标信息之间的关系确定车辆的车身朝向，即得到车辆的位姿信息、尺寸信息等。

然后，基于多帧待处理图像之间的序列关系依次对每帧待处理图像中目标对象的位姿信息、尺寸信息和误差协方差等数据输入卡尔曼滤波器，卡尔曼滤波器基于图像序列中的历史数据和当前数据进行预测，并使用误差信息作为噪声项对预测过程进行优化，得到目标对象的预测数据(即运动估计结果)，具体的卡尔曼滤波过程可参考现有的卡尔曼滤波技术，在此不再赘述。

由此可以见得，将目标对象的位姿信息、尺寸信息以及鸟瞰视角下目标中心点的坐标信息及方差等数据作为卡尔曼滤波的观测数据输入，以使得远处目标的方差大于近处目标、遮挡目标的方差大于未被遮挡的目标，其中，逆透视变换后的目标关键点对应的误差分布受初始关键点对应的原始的误差分布的影响，原始误差越大变换后也越大，因此可以为遮挡目标设置较大的原始误差或直接使用算法模型预测误差，以使得目标对象在鸟瞰视角下的定位误差随目标检测结果的质量进行动态变化，从而实现更准确、更鲁棒的运动估计。

在上述实施例的基础上，本实施例对初始关键点信息进行坐标变换处理，得到鸟瞰视角下的目标关键点信息的步骤进行说明，其中，初始关键点信息包括初始关键点。具体而言，本实施例方法包括以下步骤：

基于预设的变换矩阵对初始关键点进行逆透视变换，得到鸟瞰视角的投影点，初始关键点和投影点对应；基于预设的选取规则和获取到的初始关键点的置信度，将投影点中置信度大于或等于预设置信阈值的投影点作为目标关键点。

示例性地，结合图3进行说明，图3为本申请目标运动估计方法中关键点检测的效果示意图，对于车辆的运动估计而言，通常会关注车辆车身的特征，例如图3中的四轮车辆会检测其4个初始关键点(4个初始关键点可以由车身特征确定或是车轮特征确定)，三轮车辆会检测其3个初始关键点，后续以四轮车辆为例进行说明。

进一步地，四轮车辆的4个初始关键点分别为左前点、右前点、左后点以及右后点，其中，由于某些初始关键点可能被遮挡，因此将检测到的关键点也称为可见点，将未检测到的关键点成为不可见点，在对车辆的初始关键点进行检测过程中，能够得到可见点的置信度，示例性地，可以是将待处理图像输入预先训练好的目标检测网络，得到目标检测网络输出的初始关键点和初始关键点的置信度，具体可参考现有的目标检测方法或特征检测方法，在此不再赘述。

然后，基于预设的变换矩阵对初始关键点进行逆透视变换，得到鸟瞰视角的投影点(左前投影点、右前投影点、左后投影点以及右后投影点)，投影点的置信度和初始关键点的置信度对应，预设的选取规则包括但不限于：

a.若左后投影点和左前投影点的置信度均大于或等于预设置信阈值T₁，或左后投影点和左前投影点均为可见点，则车辆的朝向为逆透视变换后的左后投影点指向左前投影点的矢量方向，即左后投影点和左前投影点为选取得到的目标关键点；同理，若右后投影点和右前投影点的置信度均大于或等于预设的置信阈值，或右后投影点和右前投影点均为可见点，则朝向为逆透视变换后的右后投影点指向右前投影点的矢量方向，即右后投影点和右前投影点为选取得到的目标关键点；

b.若未满足规则a中的条件，则若左前投影点和右前投影点的置信度均大于或等于阈值T₁，或左前投影点和右前投影点均为可见点，则车辆的朝向为逆透视变换后的左前右前投影点连线的法线方向，即左前投影点和右前投影点为选取得到的目标关键点；同理，若左后投影点和右后投影点的置信度均大于或等于阈值T₁，或左后投影点和右后投影点均为可见点，则朝向为逆透视变换后的左后右后投影点连线的法线方向，即左后投影点和右后投影点为选取得到的目标关键点。

c.若通过投影点置信度均不满足规则a和规则b中的条件，则以车辆在图像上的投影区域的中心为第一基准点，沿着图像上检测出的朝向方向距第一基准点一定像素距离D取第二基准点，将第一基准点和第二基准点逆透视变换至鸟瞰视角下，得到第一目标关键点和第二目标关键点，变换得到的第一目标关键点指向第二目标关键点的方向即车辆在鸟瞰视角下的朝向，其中，的像素距离D可以预先设置为固定值，也可以根据车辆的大小动态设置。

此外，还可参考图4，图4是本申请目标运动估计方法中目标对象的投影区域的效果示意图，在鸟瞰视角下分别过各投影点作平行于目标朝向和垂直于目标朝向的直线，直线之间的最大间距即为目标对象的尺寸信息，分别为目标对象的宽W和长L，间距最大的两对直线构成的矩形的中心为目标在鸟瞰视角下的投影区域的中心(x_i,y_i)。

需要说明的是，上述选取规则a、b、c的执行顺序是可变的，还可以是同时实现的，例如车辆的4个投影点的置信度都大于或等于预设置信阈值且为可见点，具体的实时步骤可根据算法模型实际的效果进行调整，在此不做赘述。

在上述实施例的基础上，本实施例对基于预设的选取规则和获取到的初始关键点的置信度，将投影点中置信度大于或等于预设置信阈值的投影点作为目标关键点的步骤进行说明。具体而言，本实施例方法包括以下步骤：

若不存在大于或等于预设置信阈值的投影点，则基于初始关键点确定目标对象在待处理图像中的初始关键区域；选取初始关键区域的中心点作为第一基准点；基于目标对象在待处理图像中的位姿信息，确定相距第一基准点预设距离的第二基准点；对第一基准点和第二基准点进行逆透视变换，得到目标关键点。

示例性地，结合前述实施例中对选取规则c的场景进行说明，若检测到初始关键点的置信度都小于置信阈值，即投影点的置信度也都小于置信阈值，则此时的投影点的可信度低，因此，需要基于目标对象的投影区域(初始关键区域)重新选择该区域的中心点作为第一基准点；基于目标对象在待处理图像中的朝向信息和预设距离确定第二基准点，第一基准点和第二基准点进行逆透视变换，得到第一目标关键点和第二目标关键点，以及逆透视变换后目标对象的朝向等信息。

在上述实施例的基础上，本申请实施例还包括：对图像序列中各待处理图像的目标对象进行目标检测，得到目标对象的检测框、初始关键点信息和目标对象的位姿信息；

基于多帧待处理图像之间的序列关系、目标对象的检测框、初始关键点信息和目标对象的位姿信息对目标对象进行目标跟踪处理。

示例性地，在本申请的目标运动估计方法中还包括多目标跟踪方法，即通过目标检测网络对目标对象进行检测，得到目标对象的检测框和标识信息，基于对目标对象进行检测得到的检测框以及逆透视变换前后的关键点和位姿信息进行前后帧待处理图像之间的匹配关联，以使相同标识信息的目标对象建立运动状态上的联系，实现对连续的待处理图像中多个目标对象进行跟踪，具体的多目标跟踪技术可参考现有技术中的多目标跟踪算法，在此不再赘述。

进一步需要说明的是，目标运动估计方法的执行主体可以是目标运动估计装置，例如，目标运动估计方法可以由终端设备或服务器或其它处理设备执行，其中，终端设备可以为用户设备(User Equipment，UE)、电脑、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该目标运动估计方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

图5是本申请的一示例性实施例示出的目标运动估计装置的框图。如图5所示，该示例性的目标运动估计装置包括：获取模块510、变换模块520、误差确定模块530、和检测模块540。具体地：

获取模块510，用于获取图像序列中各待处理图像包括的目标对象的初始关键点信息。

变换模块520，用于对初始关键点信息进行坐标变换处理，得到鸟瞰视角下的目标关键点信息。

误差确定模块530，用于基于目标关键点信息中目标关键点的目标坐标信息和获取到的目标关键点的数据分布状态确定目标关键点对应的误差信息。

检测模块540，用于基于多帧待处理图像之间的序列关系、每帧待处理图像中的目标关键点信息和误差信息进行运动估计，得到目标对象的运动估计结果。

在该示例性的目标运动估计装置中，通过将检测到的目标对象在图像中的初始关键点信息转换到鸟瞰视角下的目标关键点信息，实现对目标对象的定位，基于目标关键点信息中目标关键点的目标坐标信息和获取到的目标关键点的数据分布状态确定目标检测、数据转换等过程中产生的目标关键点对应的误差信息，基于多帧待处理图像之间的序列关系、每帧待处理图像中的目标关键点信息和误差信息进行运动估计，由此能够通过误差信息和定位结果的结合，提升对目标对象进行运动估计的准确性和鲁棒性。

其中，各个模块的功能可参见目标运动估计方法实施例，此处不再赘述。

请参阅图6，图6是本申请电子设备一实施例的结构示意图。电子设备600包括存储器601和处理器602，处理器602用于执行存储器601中存储的程序指令，以实现上述任一目标运动估计方法实施例中的步骤。在一个具体的实施场景中，电子设备600可以包括但不限于：微型计算机、服务器，此外，电子设备600还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。

具体而言，处理器602用于控制其自身以及存储器601以实现上述任一目标运动估计方法实施例中的步骤。处理器602还可以称为CPU(Central Processing Unit，中央处理单元)。处理器602可能是一种集成电路芯片，具有信号的处理能力。处理器602还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器602可以由集成电路芯片共同实现。

上述方案，通过将检测到的目标对象在图像中的初始关键点信息转换到鸟瞰视角下的目标关键点信息，实现对目标对象的定位，基于目标关键点信息中目标关键点的目标坐标信息和获取到的目标关键点的数据分布状态确定目标检测、数据转换等过程中产生的目标关键点对应的误差信息，基于多帧待处理图像之间的序列关系、每帧待处理图像中的目标关键点信息和误差信息进行运动估计，由此能够通过误差信息和定位结果的结合，提升对目标对象进行运动估计的准确性和鲁棒性。

请参阅图7，图7是本申请计算机可读存储介质一实施例的结构示意图。计算机可读存储介质710存储有能够被处理器运行的程序指令711，程序指令711用于实现上述任一目标运动估计方法实施例中的步骤。

上述方案，通过将检测到的目标对象在图像中的初始关键点信息转换到鸟瞰视角下的目标关键点信息，实现对目标对象的定位，基于目标关键点信息中目标关键点的目标坐标信息和获取到的目标关键点的数据分布状态确定目标检测、数据转换等过程中产生的目标关键点对应的误差信息，基于多帧待处理图像之间的序列关系、每帧待处理图像中的目标关键点信息和误差信息进行运动估计，由此能够通过误差信息和定位结果的结合，提升对目标对象进行运动估计的准确性和鲁棒性。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种目标运动估计方法，其特征在于，所述方法包括：

获取图像序列中各待处理图像包括的目标对象的初始关键点信息；

对所述初始关键点信息进行坐标变换处理，得到鸟瞰视角下的目标关键点信息；

基于所述目标关键点信息中目标关键点的目标坐标信息和获取到的所述目标关键点的数据分布状态确定所述目标关键点对应的误差信息；

基于多帧待处理图像之间的序列关系、每帧待处理图像中的所述目标关键点信息和所述误差信息进行运动估计，得到所述目标对象的运动估计结果。

2.根据权利要求1所述的方法，其特征在于，所述对所述初始关键点信息进行坐标变换处理，得到鸟瞰视角下的目标关键点信息的步骤，包括：

基于所述初始关键点信息中初始关键点的初始坐标信息和方差信息构建初始关键点集；

基于预设的变换矩阵对所述初始关键点集进行逆透视变换，得到目标关键点集，所述目标关键点集包括所述目标关键点。

3.根据权利要求1所述的方法，其特征在于，所述目标关键点包括目标中心点和目标邻近点，所述基于所述目标关键点信息中目标关键点的目标坐标信息和获取到的所述目标关键点的数据分布状态确定所述目标关键点对应的误差信息的步骤，包括：

基于获取到的所述目标中心点的中心均值权重和获取到的所述目标邻近点的邻近均值权重进行加权求和计算，得到所述误差信息中的误差分布均值；

基于所述误差分布均值和获取到的所述目标中心点的协方差权重进行加权求和计算，得到所述误差信息中的误差协方差。

4.根据权利要求3所述的方法，其特征在于，所述基于多帧待处理图像之间的序列关系、每帧待处理图像中的所述目标关键点信息和所述误差信息进行运动估计，得到所述目标对象的运动估计结果的步骤，包括：

基于所述每帧待处理图像中所述目标对象的目标关键点信息确定所述目标对象的位姿信息；

基于所述多帧待处理图像之间的序列关系依次对所述每帧待处理图像中所述目标对象的位姿信息和所述误差协方差进行卡尔曼滤波处理，得到所述目标对象的运动估计结果。

5.根据权利要求1所述的方法，其特征在于，所述初始关键点信息包括初始关键点，所述对所述初始关键点信息进行坐标变换处理，得到鸟瞰视角下的目标关键点信息的步骤，包括：

基于预设的变换矩阵对所述初始关键点进行逆透视变换，得到鸟瞰视角的投影点，所述初始关键点和所述投影点对应；

基于预设的选取规则和获取到的所述初始关键点的置信度，将所述投影点中置信度大于或等于预设置信阈值的投影点作为所述目标关键点。

6.根据权利要求5所述的方法，其特征在于，所述基于预设的选取规则和获取到的所述初始关键点的置信度，将所述投影点中置信度大于或等于预设置信阈值的投影点作为所述目标关键点的步骤，包括：

若不存在大于或等于所述预设置信阈值的投影点，则基于所述初始关键点确定所述目标对象在所述待处理图像中的初始关键区域；

选取所述初始关键区域的中心点作为第一基准点；

基于所述目标对象在所述待处理图像中的位姿信息，确定相距所述第一基准点预设距离的第二基准点；

对所述第一基准点和所述第二基准点进行逆透视变换，得到所述目标关键点。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述图像序列中各待处理图像的目标对象进行目标检测，得到所述目标对象的检测框、所述初始关键点信息和所述目标对象的位姿信息；

基于所述多帧待处理图像之间的序列关系、所述目标对象的检测框、所述初始关键点信息和所述目标对象的位姿信息对所述目标对象进行目标跟踪处理。

8.一种目标运动估计装置，其特征在于，所述装置包括：

获取模块，用于获取图像序列中各待处理图像包括的目标对象的初始关键点信息；

变换模块，用于对所述初始关键点信息进行坐标变换处理，得到鸟瞰视角下的目标关键点信息；

误差确定模块，用于基于所述目标关键点信息中目标关键点的目标坐标信息和获取到的所述目标关键点的数据分布状态确定所述目标关键点对应的误差信息；

检测模块，用于基于多帧待处理图像之间的序列关系、每帧待处理图像中的所述目标关键点信息和所述误差信息进行运动估计，得到所述目标对象的运动估计结果。

9.一种电子设备，其特征在于，包括存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至7任一项所述的方法。