CN113628238B - 一种目标对象的定位方法、装置及介质 - Google Patents

Abstract

本申请公开一种目标对象的定位方法、装置及介质，本申请通过获取图像采集设备采集的当前帧图像，确定当前帧图像中包括目标对象的目标区域以及目标区域在预设方向上的长度信息，可以确定目标对象在长度信息较稳定的方向上的长度信息，在当前帧图像中确定目标位置与消失点的距离信息，获取图像采集设备的高度信息以及图像采集设备的焦点的投影信息，根据长度信息、距离信息、高度信息以及投影信息，确定目标对象的位置信息，由于长度信息、距离信息、高度信息以及投影信息较稳定，则通过较稳定的信息对目标对象进行定位，可以大大提高定位信息的稳定性和准确性。

Description

一种目标对象的定位方法、装置及介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种目标对象的定位方法、装置及介质。

背景技术

在智能视频监控、人机交互和无人驾驶等多种场景中，需要对目标对象数据进行处理，以对目标对象进行定位跟踪。在对目标对象进行跟踪时，可以利用地面参考矩形框与目标对象检测框在图像中的四个角的点坐标，确定目标对象与图像采集设备的距离。然而，一些目标对象的形态不是固定不变的，目标对象的形态随着运动会发生形态变化，导致现有技术中利用地面参考矩形框与目标对象检测框在图像中的四个角的点坐标信息计算目标对象与图像采集设备的距离时，会出现距离波动大，检测结果不准确的问题。

发明内容

为了解决上述技术问题，本发明提供一种目标对象的定位方法、装置、设备及介质，可以大大提升目标对象定位结果的稳定性和准确性。

为了达到上述申请的目的，本申请提供了一种目标对象的定位方法，该方法包括：

获取图像采集设备采集的当前帧图像；

确定当前帧图像中包括目标对象的目标区域以及所述目标区域在纵轴方向上的长度信息；所述预设方向为所述当前帧图像的纹理坐标的纵轴方向；

在所述当前帧图像中确定目标位置与消失点的距离信息，所述距离信息对应的距离为所述纵轴方向上的距离，所述目标位置为所述目标区域在所述纵轴方向上的预设位置；

获取所述图像采集设备的高度信息以及所述图像采集设备的焦点的投影信息；

根据所述长度信息、所述距离信息、所述高度信息以及所述投影信息，确定所述目标对象在目标坐标系中的位置信息。

在一种可能的实现方式中，所述在所述当前帧图像中确定目标位置与消失点的距离信息包括：

获取所述图像采集设备的参数信息；

基于所述参数信息，确定图像采集设备关联坐标系中所述消失点的坐标；

根据所述消失点的坐标，确定所述目标位置与所述消失点在所述纵轴方向上的距离信息。

在一种可能的实现方式中，所述获取所述图像采集设备的高度信息以及所述图像采集设备的焦点的投影信息包括：

获取所述图像采集设备的参数信息；

基于所述参数信息，获取所述高度信息、所述图像采集设备关联坐标系中所述焦点在横轴上的投影信息以及所述焦点在纵轴方向上的投影信息。

在一种可能的实现方式中，所述确定当前帧图像中包括目标对象的目标区域以及所述目标区域在纵轴方向上的长度信息包括：

将所述当前帧图像输入预设区域检测模型，进行所述目标对象所在区域的检测处理，得到目标区域信息；

根据所述目标区域信息，确定所述目标区域以及所述长度信息。

在一种可能的实现方式中，在所述根据所述目标区域信息，确定所述目标区域以及所述长度信息之前，所述方法还包括：

获取历史帧图像；

所述确定当前帧图像中包括目标对象的目标区域以及所述目标区域在纵轴方向上的长度信息包括：

将所述当前帧图像输入预设区域检测模型，进行所述目标对象所在区域的检测处理，得到第一区域信息；

利用所述历史帧图像对所述第一区域信息进行卡尔曼滤波处理，得到目标区域信息；

根据所述目标区域信息，确定所述目标区域以及所述长度信息。

在一种可能的实现方式中，所述利用所述历史帧图像对所述第一区域信息进行卡尔曼滤波处理，得到目标区域信息包括：

对所述历史帧图像进行卡尔曼预测处理，得到预测的第二区域信息；

对所述目标区域信息和所述第二区域信息进行加权处理，得到加权后的区域信息；

将所述加权后的区域信息作为所述目标区域信息。

在一种可能的实现方式中，所述利用所述历史帧图像对所述第一区域信息进行卡尔曼滤波处理，得到目标区域信息之前，所述方法还包括：

确定所述第一区域信息和所述第二区域信息的区域重叠信息；

基于所述第一区域信息提取第一区域特征；

基于所述第二区域信息提取第二区域特征；

对所述第一区域特征和所述第二区域特征进行特征相似度分析处理，得到特征相似度信息；

对所述区域重叠信息和所述特征相似度信息进行加权处理，得到加权信息；

所述利用所述历史帧图像对所述目标区域信息进行卡尔曼滤波处理，得到目标区域信息包括：

当所述加权信息满足预设条件时，利用所述历史帧图像和所述卡尔曼滤波方法对所述目标区域信息进行更新，得到所述目标区域信息。

在一种可能的实现方式中，所述根据所述长度信息、所述距离信息、所述高度信息以及所述投影信息，确定所述目标对象在目标坐标系中的位置信息包括：

根据所述长度信息、所述距离信息、所述高度信息以及所述投影信息，确定第一坐标系中所述目标对象的第一坐标；

对所述第一坐标进行第一坐标变换处理，得到第二坐标系中所述目标对象的第二坐标；

对所述第二坐标进行第二坐标变换处理，得到目标坐标系中所述目标对象的目标坐标。

另一方面，本申请还提供一种目标对象的定位装置，该装置包括：

图像获取模块，用于获取图像采集设备采集的当前帧图像；

第一信息确定模块，用于确定当前帧图像中包括目标对象的目标区域以及所述目标区域在预设方向上的长度信息；所述预设方向为所述当前帧图像的纹理坐标的纵轴方向；

第二信息确定模块，用于在所述当前帧图像中确定目标位置与消失点的距离信息，所述距离信息对应的距离为所述纵轴方向上的距离，所述目标位置为所述目标区域在所述纵轴方向上的预设位置；

信息获取模块，用于获取所述图像采集设备的高度信息以及所述图像采集设备的焦点的投影信息；

位置确定模块，用于根据所述长度信息、所述距离信息、所述高度信息以及所述投影信息，确定所述目标对象在目标坐标系中的位置信息。

另一方面，本申请还提供一种电子设备，包括处理器；用于存储上述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现上述任意一项中的方法。

另一方面，本申请还提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现上述任意一项中的方法。

另一方面，本申请还提供一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时，使得计算机执行上述任意一项中的方法。

实施本申请，具有如下有益效果：

本申请通过获取图像采集设备采集的当前帧图像，确定当前帧图像中包括目标对象的目标区域以及目标区域在预设方向上的长度信息，由于目标对象在预设方向上状态稳定，可以保证目标对象在预设方向上的长度信息能够较稳定，在当前帧图像中确定目标位置与消失点在预设方向上的距离信息，获取图像采集设备的高度信息以及图像采集设备的焦点的投影信息，根据长度信息、距离信息、高度信息以及投影信息，确定目标对象的位置信息，由于长度信息、距离信息、高度信息以及投影信息较稳定，则通过较稳定的信息对目标对象进行定位，可以大大提高定位信息的稳定性和准确性。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本申请实施例提供的一种应用环境的示意图；

图2为本申请另一实施例提供的一种应用环境的示意图；

图3为本申请实施例提供的一种目标对象定位方法的流程示意图；

图4为本申请实施例提供的一种当前帧图像中行人高度的示意图；

图5为本申请实施例提供的一种目标位置与消失点的距离示意图；

图6为本申请实施例提供的一种当前帧图像用纹理坐标系表示的示意图；

图7为本申请实施例提供的一种相机坐标系的示意图；

图8为本申请实施例提供的一种计算目标对象位置信息的原理图；

图9为本申请实施例提供的一种确定目标区域在纵轴上的最低点与消失点在预设方向上的距离信息的流程示意图；

图10为本申请实施例提供的一种获取图像采集设备的高度信息以及图像采集设备的焦点的投影信息的流程示意图；

图11为本申请实施例提供的一种确定当前帧图像中包括目标对象的目标区域以及目标区域在预设方向上的长度信息的流程示意图；

图12为本申请另一实施例提供的一种目标对象定位方法的流程示意图；

图13为本申请实施例提供的一种卡尔曼滤波处理方法的流程示意图；

图14为本申请另一实施例提供的一种卡尔曼滤波处理方法的流程示意图；

图15为本申请实施例提供的一种确定目标对象的位置信息方法的流程示意图；

图16为本申请实施例提供的一种目标对象定位装置的结构示意图；

图17为本申请实施例提供的一种用于目标对象定位的电子设备的框图；

图18为本申请另一实施例提供的一种用于目标对象定位的电子设备的框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了实现本申请的技术方案，让更多的工程技术工作者容易了解和应用本申请，将结合具体的实施例，进一步阐述本申请的工作原理。

本申请可应用于智能视频监控、人机交互、自动驾驶等诸多领域，请参阅图1，图1是根据一示例性实施例示出的一种应用环境的示意图，如图1所示，该应用环境可以包括图像采集设备01和终端02。

在一个可选的实施例中，图像采集设备01可以用于采集多媒体信息。具体的，图像采集设备01可以是相机或摄影机等设备。终端02可以用于面向用户的目标对象的定位信息处理。终端02可以获取图像采集设备01采集的多媒体信息，处理生成目标对象的定位数据，以向用户展示目标对象的定位。终端02生成目标对象的定位数据后，还可以基于该目标对象的定位数据进行定位数据分析处理。终端02可以包括但不限于智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、智能可穿戴设备等具有处理功能的电子设备，例如，终端02可以为车载终端，车载终端位于目标车辆上，车载终端可以通过对目标对象数据进行定位分析，完成自动驾驶场景中对目标对象的定位。

请参阅图2，图2是根据一示例性实施例示出的另一种应用环境的示意图，如图2所示，该应用环境可以包括图像采集设备01和服务器03。

在一个可选的实施例中，服务器03可以用于目标对象的定位信息处理，具体的，服务器03可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务等基础云计算服务的云服务器。

以下提供一种目标对象的定位方法，如图3所示，该方法可以包括：

S101：获取图像采集设备采集的当前帧图像。

本说明书实施例中，图像采集设备可以用于实时采集图像，该采集的图像可以是序列图像，例如可以通过摄像头、摄像机等录像功能的设备采集序列图像。该采集的图像也可以是单帧图像，例如可以通过照相机采集单帧图像。

实际应用中，当前帧图像可以从图像采集设备实时采集的图像中获取，例如当利用照相机采集图像时，将当前时刻采集到的图像作为当前帧图像；当利用摄像设备采集序列图像时，将当前时刻的帧图像作为当前帧图像。

S103：确定当前帧图像中包括目标对象的目标区域以及目标区域在预设方向上的长度信息。

本说明书实施例中，目标对象是指至少一个方向上长度信息稳定、且另外方向上长度信息不稳定的对象，该至少一个方向可以是预设方向，该预设方向为当前帧图像的纹理坐标的纵轴方向。目标对象可以包括行人、狗、猫等对象，例如当目标对象为路上的行人时，由于行人在行走时手臂摇摆，行人在纹理坐标的横轴方向上的形态不稳定，横轴方向上的长度就不固定，而行人在纹理坐标的纵轴方向上的长度相当于行人身高，较为固定。

目标对象的目标区域是指识别目标对象得到的目标对象所在的范围，该目标区域可以为规则或者不规则的区域，例如长方形的区域，或者与目标对象的轮廓契合的区域。目标区域在预设方向上的长度信息可以是指目标区域在长度固定的方向上对应的长度信息，如图4所示，例如目标对象为行人等对象时，确定出的目标区域为方形框，该方形框中与行人的头部和脚部相对应的两边的距离，可以表征当前帧图像中行人的高度h。

实际应用中，可以通过识别目标对象所在的范围确定当前帧图像中的目标区域，再根据得到的目标区域确定目标区域在预设方向上的长度信息。该目标对象所在的范围可以为规则图形，如：方形、椭圆形，该目标对象所在的范围也可以为不规则图形，如：与目标对象的轮廓相近的图形。

S105：在当前帧图像中确定目标位置与消失点的距离信息。

本说明书实施例中，目标位置是指目标区域在纵轴方向上的预设位置，预设位置可以是目标区域的最低点，消失点是指图像采集设备采集的图像中平行线的视觉相交点，目标位置是指目标区域上图像采集设备关联坐标系中纵坐标最小的点。

具体的，可以先在当前帧图像中确定目标位置信息，以及消失点的纵坐标，根据目标位置和消失点的纵坐标，确定目标位置与消失点的距离信息，如图5所示，A点为目标位置，B点为消失点，那么△h为目标位置与消失点在纵轴上的距离。

S107：获取图像采集设备的高度信息以及图像采集设备的焦点的投影信息。

本说明书实施例中，图像采集设备的高度信息是指图像采集设备距离地面的高度信息。图像采集设备的焦点的投影信息，是指在图像采集设备关联坐标系中，图像采集设备的焦点在横轴和纵轴上的投影。

例如利用相机采集当前帧图像，如图6所示，在纹理坐标系中，以当前帧图像左下角的点作为坐标原点，向右为x轴正方向，向上为y轴正方向；如图7所示，真实世界中的点P经相机成像后，对应像素平面中的P’点。在相机坐标系中，以相机的光心O作为原点，相机坐标系中的x轴和y轴分别与纹理坐标系中的x轴(即图7中的x’轴)和y轴(即图7中的y’轴)平行。相机的焦点F的投影信息，可以包括相机坐标系下，相机焦点在x轴上投影的坐标fx，以及相机焦点在y轴上投影的坐标fy。

S109：根据长度信息、距离信息、高度信息以及投影信息，确定目标对象的位置信息。

本说明书实施例中，根据目标区域在预设方向上的长度信息、目标区域在纵轴上的最低点与消失点在预设方向上的距离信息、图像采集设备的高度信息，以及图像采集设备的焦点的投影信息，结合相似三角形中的等比关系，可以确定目标对象的位置信息。需要说明的是，位置信息可以为目标坐标系中的位置坐标，目标坐标系可以为世界坐标系。

举例来说，在一个自动驾驶的应用场景中，相机安装于车辆上，用于采集车辆前方的图像，前方的图像中包括行人，本申请可以用于对车辆前方的图像进行分析，确定出行人的位置信息。在获取到相机采集的当前帧图像时，确定当前帧图像中包括行人的目标区域以及目标区域纵轴上的长度信息。在当前帧图像中确定目标区域在纵轴上的最低点与消失点在纵轴上的距离信息。获取相机的安装高度和相机的焦点的投影信息。如图8所示，在纹理坐标系中h表示目标区域在纵轴上的长度，Δh表示目标区域的目标位置与消失点的距离信息；在相机坐标系中，H表示行人身高，fx表示相机焦点在x轴上的投影，fy表示相机焦点在y轴上的投影，camh表示相机的安装高度，camx表示行人在x方向上的长度，camy表示行人在y方向上的长度，结合三角形相似原理，可以得到公式：

根据上述公式中的已知信息h、fx、fy、△h，可以求解H、camx以及camy。

上述实施例通过获取图像采集设备采集的当前帧图像，确定当前帧图像中包括目标对象的目标区域以及目标区域在预设方向上的长度信息，由于目标对象在预设方向上状态稳定，可以保证目标对象在预设方向上的长度信息能够较稳定，在当前帧图像中确定目标位置与消失点在预设方向上的距离信息，获取图像采集设备的高度信息以及图像采集设备的焦点的投影信息，根据长度信息、距离信息、高度信息以及投影信息，确定目标对象的位置信息，由于长度信息、距离信息、高度信息以及投影信息较稳定，则通过较稳定的信息对目标对象进行定位，可以大大提高定位信息的稳定性和准确性

在一个可能的实现方式中，如图9所示，S105步骤，在当前帧图像中确定目标位置与消失点在预设方向上的距离信息可以包括：

S1051：获取图像采集设备的参数信息。

本说明书实施例中，图像采集设备的参数信息可以包括图像采集设备的焦点在图像采集设备关联坐标系的横轴和纵轴上的投影、像素坐标系中图像中心的像素坐标和图像原点的像素坐标之间相差的横向和纵向像素数。

S1053：基于参数信息，确定图像采集设备关联坐标系中消失点的坐标。

根据图像采集设备的焦点在图像横轴和纵轴上的投影，图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数，可以确定图像采集设备关联坐标系中消失点的坐标。其中，图像采集设备关联坐标系是指与图像采集设备的成像原理相关的三维坐标系，例如，与相机关联的三维坐标系为相机坐标系。

S1055：根据消失点的坐标，确定目标位置与消失点的距离信息。

该实施例中，由于消失点是根据图像采集设备的内部参数得到的，图像采集设备的内部参数较为稳定，通过采用稳定不变的信息进行消失点的求解，可以提高目标对象的定位稳定性和准确性。例如，在上述自动驾驶应用场景的举例中，当相机位置不发生大的变化，消失点位置波动较小，利用内参确定消失点坐标，从而计算行人的目标，可以使得对行人的定位更为准确、稳定。

根据消失点的坐标，确定目标位置与消失点的距离信息，可以通过根据消失点的坐标和目标位置，在图像采集设备关联坐标系中，确定消失点的纵坐标和目标位置中的纵坐标，将消失点的纵坐标和目标位置中的纵坐标的差值，作为目标位置与消失点的距离信息。

在一个可能的实现方式中，如图10所示，S107步骤，获取图像采集设备的高度信息以及图像采集设备的焦点的投影信息可以包括：

S1071：获取图像采集设备的参数信息。

本说明书实施例中，图像采集设备的参数信息可以包括图像采集设备的焦点在图像横轴和纵轴上的投影，图像中心的像素坐标和图像原点的像素坐标之间相差的横向和纵向像素数。

S1073：基于参数信息，获取高度信息、图像采集设备关联坐标系中焦点在横轴上的投影信息以及焦点在纵轴上的投影信息。

根据图像采集设备的焦点在图像横轴和纵轴上的投影，图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数，可以确定图像采集设备的高度信息、图像采集设备关联坐标系中焦点在横轴上的投影信息以及焦点在纵轴上的投影信息。

该实施例中，通过获取图像采集设备的参数信息，并基于参数信息，获取高度信息、图像采集设备关联坐标系中焦点在横轴上的投影信息以及焦点在纵轴上的投影信息，可以使得对行人的定位更为准确、稳定。

在一个可能的实现方式中，如图11所示，S103步骤，确定当前帧图像中包括目标对象的目标区域以及目标区域在预设方向上的长度信息可以包括：

S1031：将当前帧图像输入预设区域检测模型，进行目标对象所在区域的检测处理，得到目标区域信息。

本说明书实施例中，预设区域检测模型用于检测图像中目标对象所在的区域，其中目标对象所在的区域可以是目标对象的大致轮廓，即不规则的区域，也可以基于目标对象稳定维度作两条平行边，不稳定维度作两条平行边，形成规则的方形区域，例如，目标对象为人时，目标对象所在的区域可以为以垂直于人的身高方向的两边为短边，平行于人的身高方向的两边为长边形成的方形区域，该方形区域的长边长即为行人身高。具体的，目标区域信息可以包括目标区域的关键点的坐标。目标区域的关键点是指基于该关键点，可以得到目标区域信息的点，例如，当要获得的目标区域为长方形时，可以先确定该目标区域的四个顶点坐标。

上述预设区域检测模型可以为预先训练得到的，本申请对此不作限定。例如可以获取多个样本图像以及对应的参考区域标签信息，多个样本图像为预设尺寸；先计算该多个样本图像的梯度，确定每个样本图像中像素点的梯度朝向和强度，根据每个样本图像中所有像素点的梯度方向分布直方图，将所有像素点的梯度方向分布直方图进行融合，得到每个样本图像对应的直方图特征。将多个样本图像对应的直方图特征输入预设神经网络模型，得到区域标签信息；根据区域标签信息和参考区域标签信息，确定损失信息；根据损失信息，训练预设神经网络模型，得到预设区域检测模型，例如采用Yolov5算法对模型进行训练。

S1033：根据目标区域信息，确定目标区域以及长度信息。

本说明书实施例中，可以根据目标区域信息中的关键点的坐标，确定目标区域，再根据目标区域中关键点的坐标确定目标区域的长度信息。例如，要获得的目标区域为长方形时，根据目标区域信息中四个顶点坐标，可以确定长方形区域，从四个顶点坐标中确定长边的两个顶点，根据这两个顶点的坐标，确定长方形区域的长度信息。

在一个可能的实现方式中，如图12所示，该方法可以包括：

S201：获取历史帧图像。

本说明书实施例中，历史帧图像是采集时间在当前帧图像之前的图像。

该实施例中，S103步骤，确定当前帧图像中包括目标对象的目标区域以及目标区域在预设方向上的长度信息可以包括：

S1032：将当前帧图像输入预设区域检测模型，进行目标对象所在区域的检测处理，得到第一区域信息。

本说明书实施例中，将当前帧图像输入预设区域检测模型，可以对当期帧图像中目标对象所在的区域进行检测，得到第一区域信息，第一区域信息可以包括第一区域的关键点的坐标。

S1034：利用历史帧图像对第一区域信息进行卡尔曼滤波处理，得到目标区域信息。

本说明书实施例中，对第一区域信息进行卡尔曼滤波处理，可以是利用线性系统状态方程，对得到的观测数据进行纠偏。其中，第一区域信息即为观测数据，线性系统状态方程中可以包括观测数据和预测数据，

S1036：根据目标区域信息，确定目标区域以及长度信息。

在一个可能的实现方式中，如图13所示，S1034步骤，利用历史帧图像对第一区域信息进行卡尔曼滤波处理，得到目标区域信息可以包括：

S10341：对历史帧图像进行卡尔曼预测处理，得到预测的第二区域信息。

本说明书实施例中，可以采用卡尔曼运动学方程，预测当前帧图像中目标对象对应的状态向量，当前帧图像中目标对象对应的状态向量即为预测的第二区域信息。

S10343：对第一区域信息和第二区域信息进行加权处理，得到加权后的区域信息。

S10345：将加权后的区域信息作为目标区域信息。

实际应用中，在卡尔曼预测阶段，可以用x表示历史帧图像中目标对象对应的观测状态信息(即第一区域信息)，k-1为历史时间，k为当前时间，F表示目标对象的状态转移矩阵，x’为基于历史帧图像预测得到的当前帧图像中目标对象的状态信息(即第二区域信息)，P为目标对象的状态协方差矩阵，Q为观测过程噪声矩阵，u为卡尔曼预测过程中的扰动，预测当前帧图像中目标对象对应的状态信息，A为状态转移矩阵，A^T为A的转置矩阵，B为控制矩阵，k为预测的结果x’和P’(k)可以根据下述公式求解得到：

x′(k)＝A*x(k-1)+B*u(k)

P′(k)＝A*P(k-1)*A^T+Q

在卡尔曼观测更新阶段，将当前帧图像中目标对象的观测状态信息与基于历史帧图像进行预测所得到的目标对象的状态信息进行加权处理，得到加权后的状态信息(区域信息)，观测更新阶段的公式如下：

K(k)＝P′(k)*H^T*(H*P′(k)*H^T+R)^-1

x(k)＝x′(k)+K(k)*(z(k)-H*x′(k))

P(k)＝(I-K(k)*H)*P′(k)

其中，z为观测信息，H为观测矩阵，将预测状态变换到观测空间，R为观测噪声矩阵，K为卡尔曼增益，用来进行加权融合，I为单位阵。

该实施例中，通过对历史帧图像进行卡尔曼预测处理，得到预测的第二区域信息，对第一区域信息和第二区域信息进行加权处理，得到加权后的区域信息，将加权后的区域信息作为目标区域信息，可以基于行人的历史运动状态和当前状态确定目标对象对应的区域信息，使后续求解的长度信息更加精确，较于历史数据的变化更为平滑。

在一个可能的实现方式中，如图14所示，S1032步骤，利用历史帧图像对第一区域信息进行卡尔曼滤波处理，得到目标区域信息之前，该方法还可以包括：

S303：确定第一区域信息和第二区域信息的区域重叠信息。

本说明书实施例中，区域重叠信息表征第一区域和第二区域之间的重叠程度，区域重叠信息可以用重叠度得分表示，重叠度得分越高，表示第一区域和第二区域之间的重叠度越高。可以利用IoU(Intersection over Union，重叠度)算法，确定第一区域信息与第二区域信息的区域重叠信息。IoU算法可以给出当前帧图像中存在的目标对象的预测区域信息和观测区域信息之间的相似性。其中第一区域信息为IoU算法中的观测区域信息，第二区域信息为IoU算法中的预测区域信息。

S305：基于第一区域信息提取第一区域特征。

本说明书实施例中，基于第一区域信息提取第一区域特征，可以是提取第一区域信息的特征向量。

S307：基于第二区域信息提取第二区域特征。

本说明书实施例中，基于第二区域信息提取第二区域特征，可以是提取第二区域信息的特征向量。

S309：对第一区域特征和第二区域特征进行特征相似度分析处理，得到特征相似度信息。

本说明书实施例中，可以利用余弦相似度算法对第一区域特征和第二区域特征进行相似度分析处理。余弦相似度算法，可以通过计算第一区域信息对应的特征向量和第二区域信息对应的特征向量之间的夹角余弦值，对第一区域信息和第二区域信息的相似度进行分析处理，得到特征相似度信息。

S311：对区域重叠信息和特征相似度信息进行加权处理，得到加权信息。

本说明书实施例中，对区域重叠信息和特征相似度信息进行加权处理，可以是给区域重叠信息和特征相似度信息分配各自对应的权重系数，区域重叠信息和特征相似度信息与各自对应的权重系数的乘机和，即为加权信息。

实际应用中，第一区域信息(观测区域信息)可以为i，第二区域信息(预测区域信息)可以为j，由此确定区域重叠信息为IoU(i，j)，特征相似度信息为cos(i，j)，设区域重叠信息的权重系数为w1，特征相似度信息的权重系数为w2，可以确定加权信息为cost(i，j)＝w1*IoU(i，j)+w2*cos(i，j)。

S1032步骤，利用历史帧图像对目标区域进行卡尔曼滤波处理，得到目标区域信息可以包括：

S3132：当加权信息满足预设条件时，利用历史帧图像和卡尔曼滤波方法对目标区域信息进行更新，得到目标区域信息。

本说明书实施例中，可以在加权信息满足预设条件时，例如cost(i，j)大于预设值时，利用历史帧图像对第一区域信息进行卡尔曼滤波处理，得到目标区域信息，由于对当前帧图像的观测区域信息和对历史帧图像的预测区域信息之间的加权信息满足预设条件，可以确定观测区域和预测区域信息的综合相似度较高，由此得到的目标区域信息更为精确，有助于后续目标对象对应的长度信息的确定，可以大大提高目标对象位置信息确定过程的精确程度。

在一个可能的实现方式中，如图15所示，当利用安装在目标对象的位置信息为目标对象在目标坐标系中的目标坐标。S109步骤，根据长度信息、距离信息、高度信息以及投影信息，确定目标对象的位置信息可以包括：

S1091：根据长度信息、距离信息、高度信息以及投影信息，确定第一坐标系中目标对象的第一坐标。

本说明书实施例中，第一坐标系可以是指图像采集设备关联坐标系。根据长度信息、距离信息、高度信息以及投影信息，确定目标对象的第一坐标，目标对象的第一坐标可以是图像采集设备关联坐标系中的坐标，例如，在采用相机采集当前帧图像时，第一坐标系可以为相机坐标系。

S1093：对第一坐标进行第一坐标变换处理，得到第二坐标系中目标对象的第二坐标。

本说明书实施例中，第二坐标系可以是指与图像采集设备所在的载体相关联的坐标系，例如，在自动驾驶场景中，采用安装在车辆上的相机采集当前帧图像时，第二坐标系可以为车身坐标系。根据第一坐标系和第二坐标系的转换关系、目标对象在第一坐标系中的第一坐标，可以确定第二坐标系中目标对象的第二坐标。

S1095：对第二坐标进行第二坐标变换处理，得到目标坐标系中目标对象的目标坐标。

本说明书实施例中，目标坐标系可以是指较为通用的三维坐标系，例如地球坐标系、世界坐标系。较为通用的三维坐标系是指，智能视频监控、人机交互、自动驾驶等场景中进行数据分析处理所依赖的坐标系，目标坐标系中目标对象的目标坐标可以在智能视频监控、人机交互、自动驾驶等场景中直接使用，无需进行坐标转换。

上述实施例中，通过根据长度信息、距离信息、高度信息以及投影信息，确定第一坐标系中目标对象的第一坐标，对第一坐标进行第一坐标变换处理，得到第二坐标系中目标对象的第二坐标，对第二坐标进行第二坐标变换处理，得到目标坐标系中目标对象的目标坐标，可以提高目标对象的目标坐标的通用性。

图16是根据一示例性实施例示出的一种目标对象的定位装置示意图。参照图12，该装置可以包括：

图像获取模块401，用于获取图像采集设备采集的当前帧图像。

第一信息确定模块403，用于确定当前帧图像中包括目标对象的目标区域以及目标区域在预设方向上的长度信息。预设方向为当前帧图像的纹理坐标的纵轴方向。当前帧图像是图像采集设备采集的。

第二信息确定模块405，用于在当前帧图像中，确定目标位置与消失点在预设方向上的距离信息。

信息获取模块407，用于获取图像采集设备的高度信息以及图像采集设备的焦点的投影信息。

位置确定模块409，用于根据长度信息、距离信息、高度信息以及投影信息，确定目标对象在目标坐标系中。

在一种可能的实现方式中，第二信息确定模块405，可以包括：

参数信息获取单元，用于获取图像采集设备的参数信息。

消失点坐标确定单元，用于基于参数信息，确定图像采集设备关联坐标系中消失点的坐标。

距离确定单元，用于根据消失点的坐标，确定最低点与消失点在预设方向上的距离信息。

在一种可能的实现方式中，信息获取模块407，可以包括：

参数信息获取单元，用于获取图像采集设备的参数信息。

第一信息获取单元，用于基于参数信息，获取高度信息、图像采集设备关联坐标中焦点在横轴上的投影信息以及焦点在纵轴上的投影信息。

在一种可能的实现方式中，第一信息确定模块403，可以包括：

区域检测单元，用于将当前帧图像输入预设区域检测模型，进行目标对象所在区域的检测处理，得到目标区域信息。

信息确定单元，用于根据目标区域信息，确定目标区域以及长度信息。

在一种可能的实现方式中，该装置还可以包括：历史帧图像获取模块，用于获取历史帧图像。

第一信息确定模块403可以包括：

区域检测单元，用于将所述当前帧图像输入预设区域检测模型，进行所述目标对象所在区域的检测处理，得到第一区域信息。

滤波单元，用于利用所述历史帧图像对所述第一区域信息进行卡尔曼滤波处理，得到目标区域信息。

信息确定单元，用于根据所述目标区域信息，确定所述目标区域以及所述长度信息。

在一种可能的实现方式中，滤波单元可以包括：

预测单元，用于对历史帧图像进行卡尔曼预测处理，得到预测的第二区域信息。

第一加权单元，用于对第一区域信息和第二区域信息进行加权处理，得到加权后的区域信息。

目标区域信息确定单元，用于将加权后的区域信息作为目标区域信息。

在一种可能的实现方式中，第一信息确定模块403还可以包括：

交叠率分析单元，用于对第一区域信息和第二区域信息进行交叠率分析处理，得到交叠率信息。

第一特征提取单元，用于基于第一区域信息确定第一区域特征。

第二特征提取单元，用于基于第二区域信息提取第二区域特征。

相似度确定单元，用于对第一区域特征和第二区域特征进行特征相似度分析处理，得到特征相似度信息。

第二加权单元，用于对交叠率和特征相似度信息进行加权处理，得到加权信息。

目标区域信息确定单元，还用于，当加权信息满足预设条件时，将加权后的区域信息作为目标区域信息。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关的上述方法实施例中进行了详细描述，此处不做详细阐述说明。

图17是根据一示例性实施例示出的一种用于目标对象定位的电子设备的框图，该电子设备可以是终端，其内部结构图可以如图13所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种目标对象的定位方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图17中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

图18是一示例性实施例示出的一种用于目标对象定位的电子设备的框图，该电子设备可以是服务器，其内部结构图可以如图18所示。该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种目标对象的定位方法。

本领域技术人员可以理解，图17和图18中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在示例性实施例中，还提供了一种电子设备，包括：处理器；用于存储该处理器可执行指令的存储器；其中，该处理器被配置为执行该指令，以实现如本公开实施例中的目标对象的定位方法。

在示例性实施例中，还提供了一种计算机可读存储介质，当该计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本公开实施例中的目标对象定位方法和多媒体数据标签识别方法。计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本公开实施例中的目标对象定位方法。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如本发明的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在本发明的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者系统程序(如计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，也可以在载体信号上提供，或者以任何其他形式提供。

应该注意的是，上述实施例是对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或者步骤等。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干系统的单元权利要求中，这些系统中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二以及第三等的使用不表示任何顺序，可将这些单词解释为名称。

Claims (10)

1.一种目标对象的定位方法，其特征在于，所述方法包括：

获取图像采集设备采集的当前帧图像；

确定所述当前帧图像中包括目标对象的目标区域以及所述目标区域在预设方向上的长度信息；所述预设方向为所述当前帧图像的纹理坐标的纵轴方向；

在所述当前帧图像中确定目标位置与消失点的距离信息，所述距离信息对应的距离为所述纵轴方向上的距离，所述目标位置为所述目标区域在所述纵轴方向上的预设位置；

获取所述图像采集设备的高度信息以及所述图像采集设备的焦点的投影信息；

根据所述长度信息、所述距离信息、所述高度信息以及所述投影信息，确定所述目标对象在目标坐标系中的位置信息。

2.根据权利要求1所述的方法，其特征在于，所述在所述当前帧图像中确定目标位置与消失点的距离信息包括：

获取所述图像采集设备的参数信息；

基于所述参数信息，确定图像采集设备关联坐标系中所述消失点的坐标；

根据所述消失点的坐标，确定所述目标位置与所述消失点在所述纵轴方向上的距离信息。

3.根据权利要求1所述的方法，其特征在于，所述获取所述图像采集设备的高度信息以及所述图像采集设备的焦点的投影信息包括：

获取所述图像采集设备的参数信息；

基于所述参数信息，获取所述高度信息、所述图像采集设备关联坐标系中所述焦点在横轴上的投影信息以及所述焦点在纵轴方向上的投影信息。

4.根据权利要求1所述的方法，其特征在于，所述确定当前帧图像中包括目标对象的目标区域以及所述目标区域在纵轴方向上的长度信息包括：

将所述当前帧图像输入预设区域检测模型，进行所述目标对象所在区域的检测处理，得到目标区域信息；

根据所述目标区域信息，确定所述目标区域以及所述长度信息。

5.根据权利要求4所述的方法，其特征在于，所述将所述当前帧图像输入预设区域检测模型，进行所述目标对象所在区域的检测处理，得到目标区域信息之前，所述方法还包括：

获取历史帧图像；

所述确定当前帧图像中包括目标对象的目标区域以及所述目标区域在纵轴方向上的长度信息包括：

将所述当前帧图像输入预设区域检测模型，进行所述目标对象所在区域的检测处理，得到第一区域信息；

利用所述历史帧图像对所述第一区域信息进行卡尔曼滤波处理，得到所述目标区域信息；

根据所述目标区域信息，确定所述目标区域以及所述长度信息。

6.根据权利要求5所述的方法，其特征在于，所述利用所述历史帧图像对所述第一区域信息进行卡尔曼滤波处理，得到目标区域信息包括：

对所述历史帧图像进行卡尔曼预测处理，得到预测的第二区域信息；

对所述第一区域信息和所述第二区域信息进行加权处理，得到加权后的区域信息；

将所述加权后的区域信息作为所述目标区域信息。

7.根据权利要求6所述的方法，其特征在于，所述利用所述历史帧图像对所述第一区域信息进行卡尔曼滤波处理，得到目标区域信息之前，所述方法还包括：

确定所述第一区域信息和所述第二区域信息的区域重叠信息；

基于所述第一区域信息提取第一区域特征；

基于所述第二区域信息提取第二区域特征；

对所述第一区域特征和所述第二区域特征进行特征相似度分析处理，得到特征相似度信息；

对所述区域重叠信息和所述特征相似度信息进行加权处理，得到加权信息；

所述将所述加权后的区域信息作为所述目标区域信息包括：

当所述加权信息满足预设条件时，将所述加权后的区域信息作为所述目标区域信息。

8.根据权利要求1所述的方法，其特征在于，所述根据所述长度信息、所述距离信息、所述高度信息以及所述投影信息，确定所述目标对象在目标坐标系中的位置信息包括：

根据所述长度信息、所述距离信息、所述高度信息以及所述投影信息，确定第一坐标系中所述目标对象的第一坐标；

对所述第一坐标进行第一坐标变换处理，得到第二坐标系中所述目标对象的第二坐标；

对所述第二坐标进行第二坐标变换处理，得到目标坐标系中所述目标对象的目标坐标。

9.一种目标对象的定位装置，其特征在于，所述装置包括：

图像获取模块，用于获取图像采集设备采集的当前帧图像；

第一信息确定模块，用于确定所述当前帧图像中包括目标对象的目标区域以及所述目标区域在预设方向上的长度信息；所述预设方向为所述当前帧图像的纹理坐标的纵轴方向；

第二信息确定模块，用于在所述当前帧图像中确定目标位置与消失点的距离信息，所述距离信息对应的距离为所述纵轴方向上的距离，所述目标位置为所述目标区域在所述纵轴方向上的预设位置；

信息获取模块，用于获取所述图像采集设备的高度信息以及所述图像采集设备的焦点的投影信息；

位置确定模块，用于根据所述长度信息、所述距离信息、所述高度信息以及所述投影信息，确定所述目标对象在目标坐标系中的位置信息。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1至8任意一项所述的目标对象的定位方法。