CN111369684A - 目标跟踪方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种目标跟踪方法、装置、设备及存储介质。方法包括：获取目标对象在目标场景内的实时位置坐标；根据所述目标对象在所述目标场景内的实时位置坐标确定包括所述目标对象所在位置的全景图；将所述目标对象在所述目标场景内的实时位置坐标转换成全景图投影坐标；对所述全景图中包括所述目标对象所在位置的目标区域进行虚拟展示，基于所述全景图投影坐标，在所述目标区域展示所述目标对象。由于全景图的可视范围较大，通过对全景图中包括目标对象所在位置的目标区域进行虚拟展示，在该目标区域上展示目标对象，可以快速地定位目标对象所在的具体位置和周边的情况，提高了跟踪效率，使得跟踪目标对象的成功率较高。

Description

目标跟踪方法、装置、设备及存储介质

技术领域

本申请实施例涉及定位技术领域，特别涉及一种目标跟踪方法、装置、设备及存储介质。

背景技术

随着定位技术的不断发展，定位应用越来越多。例如，对目标对象进行定位之后，可以实现对该目标对象的跟踪，比如跟踪车辆、跟踪用户等。

如何对目标对象的跟踪，以提供更好的服务，是定位技术领域一直在不断研究的课题。

发明内容

本申请实施例提供了一种目标跟踪方法、装置、设备及存储介质，可用于解决相关技术中的问题。所述技术方案如下：

一方面，本申请实施例提供了一种目标跟踪方法，所述方法包括：

获取目标对象在目标场景内的实时位置坐标；

根据所述目标对象在所述目标场景内的实时位置坐标确定包括所述目标对象所在位置的全景图；

将所述目标对象在所述目标场景内的实时位置坐标转换成全景图投影坐标；

对所述全景图中包括所述目标对象所在位置的目标区域进行虚拟展示，基于所述全景图投影坐标，在所述目标区域展示所述目标对象。

可选地，所述对所述全景图中包括所述目标对象所在位置的目标区域进行虚拟展示，包括：

在所述全景图中确定以所述目标对象所在位置为中心的区域，将所述全景图中以所述目标对象所在位置为中心的区域作为目标区域，对所述目标区域进行虚拟展示；

或者，对所述全景图进行虚拟展示，所述全景图包括所述目标对象所在位置的目标区域。

可选地，所述获取目标对象在目标场景内的实时位置坐标之后，还包括：

获取对所述目标对象进行跟踪拍摄得到的监控视频流；

基于所述全景图投影坐标，将所述监控视频流投影到所述全景图中。

可选地，所述将所述目标对象在所述目标场景内的实时位置坐标转换成全景图投影坐标，包括：

基于标准经纬度坐标与全景球体坐标系的映射关系，将所述目标对象在所述目标场景内的实时位置坐标转换成全景图投影坐标，所述标准经纬度坐标与全景球体坐标系的映射关系基于跟踪设备所处的标准经纬度坐标、所述全景图拍摄设备所处的标准经纬度坐标及所述全景图展开面四个角点的标准经纬度坐标确定。

可选地，所述将所述目标对象在所述目标场景内的实时位置坐标转换成全景图投影坐标，包括：

根据所述目标对象在所述目标场景内的实时位置坐标确定所述目标场景所在地图上与所述目标对象最近的目标第一子线段；

根据多条第一子线段与多条第二子线段的关联关系确定所述目标第一子线段对应的第二子线段，所述多条第一子线段由所述目标场景所在地图上绘制的目标道路对应的第一线段划分得到，所述多条第二子线段由所述全景图展开平面上绘制的所述目标道路对应的第二线段划分得到；

在所述目标第一子线段对应的第二子线段上，确定与所述目标对象在所述目标场景内的实时位置对应的全景图位置，将所述全景图位置的坐标作为由所述目标对象的实时位置坐标转换得到的全景图投影坐标。

还提供了一种目标跟踪管理装置，所述装置包括：

第一获取模块，用于获取目标对象在目标场景内的实时位置坐标；

第二获取模块，用于根据所述目标对象在所述目标场景内的实时位置坐标确定包括所述目标对象所在位置的全景图；

转换模块，用于将所述目标对象在所述目标场景内的实时位置坐标转换成全景图投影坐标；

展示模块，用于对所述全景图中包括所述目标对象所在位置的目标区域进行虚拟展示，基于所述全景图投影坐标，在所述目标区域展示所述目标对象。

可选地，所述展示模块，用于在所述全景图中确定以所述目标对象所在位置为中心的区域，将所述全景图中以所述目标对象所在位置为中心的区域作为目标区域，对所述目标区域进行虚拟展示；或者，对所述全景图进行虚拟展示，所述全景图包括所述目标对象所在位置的目标区域。

可选地，所述第一获取模块，还用于获取对所述目标对象进行跟踪拍摄得到的监控视频流；

所述展示模块，还用于基于所述全景图投影坐标，将所述监控视频流投影到所述全景图中。

可选地，所述转换模块，用于基于标准经纬度坐标与全景球体坐标系的映射关系，将所述目标对象在所述目标场景内的实时位置坐标转换成全景图投影坐标，所述标准经纬度坐标与全景球体坐标系的映射关系基于跟踪设备所处的标准经纬度坐标、所述全景图拍摄设备所处的标准经纬度坐标及所述全景图展开面四个角点的标准经纬度坐标确定。

可选地，所述转换模块，用于根据所述目标对象在所述目标场景内的实时位置坐标确定所述目标场景所在地图上与所述目标对象最近的目标第一子线段；

根据多条第一子线段与多条第二子线段的关联关系确定所述目标第一子线段对应的第二子线段，所述多条第一子线段由所述目标场景所在地图上绘制的目标道路对应的第一线段划分得到，所述多条第二子线段由所述全景图展开平面上绘制的所述目标道路对应的第二线段划分得到；

在所述目标第一子线段对应的第二子线段上，确定与所述目标对象在所述目标场景内的实时位置对应的全景图位置，将所述全景图位置的坐标作为由所述目标对象的实时位置坐标转换得到的全景图投影坐标。

一方面，提供了一种计算机设备，计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令在被所述处理器执行时实现如上任一所述的目标跟踪方法。

一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令，所述至少一条指令在被执行时实现如上任一所述的目标跟踪方法。

本申请实施例提供的技术方案至少带来如下有益效果：

由于全景图的可视范围较大，通过对目标场景的全景图中包括目标对象所在位置的目标区域进行虚拟展示，在该目标区域上展示目标对象，可以快速地定位目标对象所在的具体位置和周边的情况，提高了跟踪效率，使得跟踪目标对象的成功率较高。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种目标跟踪系统示意图；

图2是本申请实施例提供的一种目标跟踪方法流程图；

图3是本申请实施例提供的一种二维地图中设备与无人机位置关系示意图；

图4是本申请实施例提供的全景图中无人机和设备的关系示意图；

图5是本申请实施例提供的一种目标跟踪过程示意图；

图6是本申请实施例提供的一种视频投影过程示意图；

图7是本申请实施例提供的一种视频变化效果示意图；

图8是本申请实施例提供的一种目标跟踪管理装置的结构示意图；

图9是本申请实施例提供的一种目标跟踪设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

随着定位技术的不断发展，定位应用越来越多。例如，对目标对象进行定位之后，可以实现对该目标对象的跟踪，比如跟踪车辆、跟踪用户等。对此，本申请实施例提供了一种目标跟踪方法，请参考图1，其示出了本申请实施例提供的方法实施环境的示意图，即目标跟踪系统。该系统包括：主辅一体摄像机11和目标跟踪管理装置12。跟踪场景内设置有主辅一体摄像机11，其中，主辅一体摄像机11的数量可以为一个或多个。也就是说，本申请实施例提供的系统中，目标跟踪管理装置12可与多个摄像机通信，多个摄像机中至少有一个是主辅一体摄像机11。

对于主辅一体摄像机11包括一个主摄像机和至少一个辅摄像机，主摄像机和辅摄像机可分别与目标跟踪管理装置12进行数据交互，以将检测到的目标对象的信息发送至目标跟踪管理装置12。关于辅摄像机的数量，可以根据不同应用场景灵活配置，本申请实施例对此不进行限定。

另外，目标跟踪管理装置12可以为带有显示器的装置，该目标跟踪管理装置12通过与主辅一体摄像机11通信，获取到主辅一体摄像机11检测到的目标对象的信息即目标对象在目标场景内的实时位置坐标后，根据目标对象在目标场景内的实时位置坐标确定包括目标对象所在位置的全景图。之后，通过将目标对象在目标场景内的实时位置坐标转换成全景图投影坐标，从而通过显示器对全景图中包括目标对象所在位置的目标区域进行虚拟展示，基于全景图投影坐标，在目标区域展示目标对象。

本申请实施例不对目标跟踪管理装置12的产品形态进行限定，除上述带有显示器的方式外，该目标跟踪管理装置12也可以不带有显示器，而是通过连接外部的显示器来对全景图中包括目标对象所在位置的目标区域进行虚拟展示，基于全景图投影坐标，在目标区域展示目标对象。或者，该目标跟踪管理装置12还可以提供CS架构的或BS架构的客户端，该客户端可运行于可连接外设或自身带显示屏的电子设备，通过该电子设备来对全景图中包括目标对象所在位置的目标区域进行虚拟展示，基于全景图投影坐标，在目标区域展示目标对象。

基于上述图1所示的实施环境，本申请实施例提供的目标跟踪方法可如图2所示，该方法可应用于图1所示实施环境的目标跟踪管理装置12中，通过主辅一体摄像机11中的主摄像机和辅摄像机检测目标对象，由目标跟踪管理装置12基于全景图展示目标对象。如图2所示，本申请实施例提供的方法可以包括如下几个步骤：

在步骤201中，获取目标对象在目标场景内的实时位置坐标。

在目标跟踪系统中，布局有一个或多个主辅一体摄像机，该主辅一体摄像机可对目标对象进行跟踪定位。以主辅一体摄像机为枪球一体机为例，通过枪球一体机的布控、比对，可以返回目标对象的实时位置坐标。

例如，枪球一体机能够实时的在视频中跟踪到目标对象。该枪球一体机跟踪到目标对象之后，根据球机的WGS84经纬度通过球面三角算法返回目标对象所对应的WGS84经纬度坐标，即目标对象的实时位置坐标。关于得到目标对象的实时位置坐标(WGS84标准经纬度坐标)的方式，本申请实施例不进行限定。例如，摄像机预先存储图像画面中像素坐标与标准经纬度坐标的映射关系，可以根据目标对象在图像画面中的像素坐标及该映射关系，得到目标对象的实时位置坐标。

可选地，该映射关系的获取方式有多种，包括但不限于获取至少3个参考对象在图像画面中的像素坐标及标准经纬度坐标，建立变换矩阵。基于该变换矩阵得到图像画面中的像素坐标与标准经纬度坐标的映射关系。

在步骤202中，根据目标对象在目标场景内的实时位置坐标确定包括目标对象所在位置的全景图。

全景图是一种广角图，为了获取可视范围较大的全景图，本申请实施例提供的方法可预先通过数码相机/无人机/360度球机设备等拍摄设备对目标场景进行多角度环视拍摄，得到目标场景的全景图。

本申请实施例提供的方法可预先拍摄得到全景图，存储各个全景图与目标场景的经纬度范围的对应关系，则可根据目标对象在目标场景内的实时位置坐标确定包括目标对象所在位置的全景图。由于目标对象会实时移动，目标对象有可能会存在移动出当前全景图所示范围。当根据目标对象的实时位置坐标，确定出包括目标对象所在位置的全景图不是当前全景图时，获取确定出的包括目标对象所在位置的全景图。

其中，全景图是指以拍摄设备为中心，旋转指定角度所采集的视野场景的图像。它是一种全新的图像信息组织模式，可以表达完整的周围的环境信息。全景图通常包括360度全景图像和720度全景图像。

360度全景图像是指：以拍摄设备为中心，水平旋转360度所观察的视野图像。720度全景图像是指：以拍摄设备为中心，水平旋转360度和垂直旋转360度叠加产生的环视视野图像。由于720度的全景图像可以展示720度球型范围内的所有景致，所以用户可以有沉浸式地体验。在720度的全景图像展示时，用户可以向上、向下、向左或者向右拖动720度全景图像，来查看720度全景图像的全部。

本申请所描述的全景图可以是720度全景图像，也可以是360度全景图像，当然，本申请的全景图像也可以是其他角度的全景图像，例如120度全景图像，这里只是对全景图像进行示例性地说明，并不进行限定。

在步骤203中，将目标对象在目标场景内的实时位置坐标转换成全景图投影坐标。

示例性地，将目标对象在目标场景内的实时位置坐标转换成全景图投影坐标，包括但不限于如下两种方式：

方式一：将目标对象在目标场景内的实时位置坐标转换成全景图投影坐标，包括：基于标准经纬度坐标与全景球体坐标系的映射关系，将目标对象在目标场景内的实时位置坐标转换成全景图投影坐标。

其中，标准经纬度坐标与全景球体坐标系的映射关系基于跟踪设备所处的标准经纬度坐标、全景图拍摄设备所处的标准经纬度坐标及全景图展开面四个角点的标准经纬度坐标确定。其中，跟踪设备可以为目标场景内的任一跟踪设备。

例如，以720度VR全景图为例，在720度VR全景图上结合全景图拍摄设备所处的标准经纬度坐标(以采用无人机对目标场景进行全景图拍摄为例，这里的全景图拍摄设备所处的标准经纬度坐标即为无人机所处的标准经纬度坐标)、跟踪设备所处的标准经纬度坐标(跟踪设备即为上述主辅一体摄像机，也即跟踪目标对象的设备，例如为枪球一体机)、全景图展开面四个角的标准经纬度，将传入的WGS84经纬度坐标转成720度VR全景图球体内的经纬度坐标，即全景图投影坐标。

示例性地，经纬度坐标系是一个球心坐标系，由于地球半径比较大，所以在小范围内可以近似为平面直角坐标系。具有经纬度的坐标如果要在全景图中正确显示，需要计算出该经纬度坐标在全景图中的偏航角和俯仰角。例如，先假定全景图中中心线的方向为正北方向，即全景图中的v轴、u轴与经纬度所在坐标系的y轴和x轴平行。如图3和图4所示，偏航角ψ＝90°+Φ，而俯仰角Φ＝atan((x0-x1),(y0-y1))，分四个不同象限确定ψ和Φ的关系。

在上述图3和图4基础上，以二维地图为参照物，地球展开面可以是一个长方形，全景图展开面也可以是一个长方形。例如二者均为2:1的长方形。仍以全景图拍摄设备为无人机，跟踪设备为枪球一体机为例，则基于图3建立无人机、枪球一体机和二维地图的第一关系。基于图4建立无人机、枪球一体机和VR全景的第二关系。之后，基于该第一关系和第二关系得到标准经纬度坐标与全景球体坐标系的映射关系，基于该标准经纬度坐标与全景球体坐标系的映射关系将目标对象在目标场景内的实时位置坐标转换成全景图投影坐标。

方式二：将目标对象在目标场景内的实时位置坐标转换成全景图投影坐标，包括：根据目标对象在目标场景内的实时位置坐标确定目标场景所在地图上与目标对象最近的目标第一子线段；根据多条第一子线段与多条第二子线段的关联关系确定目标第一子线段对应的第二子线段，多条第一子线段由目标场景所在地图上绘制的目标道路对应的第一线段划分得到，多条第二子线段由全景图展开平面上绘制的目标道路对应的第二线段划分得到；在目标第一子线段对应的第二子线段上，确定与目标对象在目标场景内的实时位置对应的全景图位置，将全景图位置的坐标作为由目标对象的实时位置坐标转换得到的全景图投影坐标。

例如，仍以采用无人机对目标场景进行拍摄为例，首先根据无人机对应的范围和路线，在目标场景所在地图上绘制目标道路对应的第一线段，将该第一线段划分为多条第一子线段。将VR全景图中也绘制相应的路线，即在全景图中绘制该目标道路对应的第二线段，将该第二线段划分为多条第二子线段。之后，将经纬度坐标和VR全景图坐标进行对应关联，得到多条第一子线段与多条第二子线段的关联关系。此外，除了得到第一子线段与第二子线段之间的关联关系外，还可以结合步长通过线性差值返回WGS84坐标的经纬度坐标集合，同样结合步长通过线性差值返回VR全景图坐标集合，建立经纬度坐标集合与全景图坐标集合的关联关系，也即在建立第一子线段与第二子线段之间的对应关系基础上，建立第一子线段上的点与第二子线段的点之间的对应关系。得到的关联关系可以进行存储，以在下次确定目标对象的实时位置坐标与全景图投影坐标的关系时使用。

在本申请实施例中，确定上述关联关系后，结合无人机上报的WGS84经纬度坐标与地图上的经纬度坐标进行差值运算，即根据目标对象在目标场景内的实时位置坐标确定目标场景所在地图上与目标对象最近的目标第一子线段。由于该目标第一子线段与全景图中的某条子线段具有关联关系，因而可以在全景图中确定出与该目标第一子线段对应的第二子线段，并确定与目标对象在目标场景内的实时位置对应的全景图位置，将全景图位置的坐标作为由目标对象的实时位置坐标转换得到的全景图投影坐标。

例如，在建立第一子线段上的点与第二子线段上的点之间的关联关系基础上，结合无人机上报的WGS84经纬度坐标与地图上的经纬度坐标进行差值运算，得到最接近的经纬度坐标，将该最接近的经纬度坐标对应到全景图上，得到与之对应的全景图位置的坐标，该全景图位置的坐标即为由目标对象的实时位置坐标转换得到的全景图投影坐标。

在步骤204中，对全景图中包括目标对象所在位置的目标区域进行虚拟展示，基于全景图投影坐标，在目标区域展示目标对象。

在根据目标对象在目标场景内的实时位置坐标获取包括目标对象所在位置的全景图基础上，通过对全景图中包括目标对象所在位置的目标区域进行虚拟展示，使得目标场景的展示更为直观。关于虚拟展示的方式，本申请不加以限定，例如，可以结合圆柱体投影算法，将全景图中包括目标对象所在位置的目标区域进行虚拟展示，以实现720度虚拟展示。其中，圆柱投影是将一个圆柱面包围椭球体，并使之相切或相割，再根据某种条件将椭球面上的经纬网点投影到圆柱面上，然后，沿圆柱面的一条母线切开，将其展成平面而得到的投影。

需要说明的是，本申请实施例对全景图中包括目标对象所在位置的目标区域进行虚拟展示，包括但不限于如下两种方式：

方式一：在全景图中确定以目标对象所在位置为中心的区域，将全景图中以目标对象所在位置为中心的区域作为目标区域，对目标区域进行虚拟展示。

该种方式下，无需对全景图全部进行虚拟展示，而是在全景图中确定以目标对象所在位置为中心的区域，将全景图中以目标对象所在位置为中心的区域作为目标区域，仅将该目标区域进行虚拟展示。该种方式下，可实现随着目标对象的移动，VR显示区域的画面(目标对象所在的目标区域)也随之发生变化。

方式二：对全景图进行虚拟展示，全景图包括目标对象所在位置的目标区域。

该种方式下，由于全景图包括目标对象所在位置的目标区域，因而对全景图进行虚拟展示，实现了对全景图中包括目标对象所在位置的目标区域进行虚拟展示。

无论是上述哪种虚拟展示方式，对全景图中包括目标对象所在位置的目标区域进行虚拟展示之后，基于全景图投影坐标，在目标区域展示目标对象，可以使得目标对象的跟踪视野较大，周围情况更为清楚，便于后续的跟踪。

基于全景图投影坐标，在目标区域展示目标对象时，可以按目标对象的类别，基于全景图投影坐标，在目标区域叠加图标。可选地，检测到图标被选中时，可以叠加展示目标对象的详细信息，以实现VR(Virtual Reality，虚拟现实)、AR(Augmented Reality，增强现实)相结合。除上述方式外，也可以基于全景图投影坐标，在目标区域叠加目标对象的实拍图片。检测到图片被选中时，也可以叠加展示目标对象的详细信息，由此实现VR、AR相结合。

进一步地，如果目标对象是移动的，则主辅一体摄像机可以实时跟踪该目标对象，得到该目标对象的多个实时位置坐标，每个实时位置坐标都可以采用上述方法转换成全景图投影坐标，从而在全景图上展示目标对象，由每个实时位置坐标转换成的全景图投影坐标即可组成目标对象的行动轨迹。

此外，在示例性实施例中，由于目标对象会实时移动，有可能会存在移动出当前的目标场景的情况，也即目标对象会移出当前的全景图所示范围。因此，本申请实施例提供的方法支持对全景图进行更新。则在全景图上刻画目标对象之后，还包括：获取目标对象移动后的实时位置坐标，根据目标对象移动后的实时位置坐标确定需要更新全景图，对全景图进行更新，更新后的全景图包括目标对象移动后的位置；在更新后的全景图中展示目标对象。

示例性地，本申请实施例提供的方法可预先拍摄得到全景图，存储各个全景图与目标场景的经纬度范围的对应关系，则根据目标对象移动后的实时位置坐标确定需要更新全景图后，从预先存储的全景图中获取与目标对象移动后的实时位置坐标对应的全景图，将与目标对象移动后的实时位置坐标对应的全景图作为更新后的全景图。之后，按照上述过程获取目标对象的实时位置坐标，对实时位置坐标转换成全景图投影坐标，基于全景图投影坐标在更新后的全景图中展示目标对象。

本申请实施例提供的方法，由于全景图的可视范围较大，通过对目标场景的全景图中包括目标对象所在位置的目标区域进行虚拟展示，在该目标区域上展示目标对象，可以快速地定位目标对象所在的具体位置和周边的情况，提高了跟踪效率，使得跟踪目标对象的成功率较高。

以上仅以在全景图中包括目标对象的目标区域展示目标对象为例，对目标跟踪方法进行举例说明。在示例性实施例中，为了进一步增强目标跟踪展示效果，本申请实施例提供的方法将目标跟踪与视频展示结合，提供了一种增强现实的目标跟踪展示过程。例如，获取目标对象在目标场景内的实时位置坐标之后，还包括：获取对目标对象进行跟踪拍摄得到的监控视频流；基于全景图投影坐标，将监控视频流投影到全景图中。

示例性地，对目标对象进行跟踪拍摄得到的监控视频流，可以是主辅一体摄像机在监控到目标对象后，对目标对象进行定位跟踪拍摄得到。之后，将该监控视频流发送至目标跟踪管理装置，由目标跟踪管理装置基于全景图投影坐标，将监控视频流投影到全景图中。由于视频流是包括目标对象的视频流，因而将视频流投影到全景图中，从而能够实现在全景图中展示视频，进一步在视频中展示目标对象。关于在视频中展示目标对象的方式，本申请实施例不加以限定，例如，可以针对目标对象绘制外框。可选地，检测到目标对象的外框被选中时，可以叠加展示目标对象的详细信息，以实现VR、AR相结合。关于将监控视频流投影到全景图中的方式，本申请实施例不加以限定，例如，可以先确定视频流在全景图中的渲染区域，解码视频流中的每一帧，以预设频率将视频流中的图像帧渲染至对应的渲染区域，实现投影效果。其中，视频流在全景图中的渲染区域，可以基于全景图投影坐标确定。例如，可以全景图投影坐标为中心，确定视频流在全景图中的渲染区域。

此外，为了使得图像帧与渲染区域的背景更贴合，按照预设频率将视频流中的图像帧渲染至渲染区域前，还可对图像帧进行预处理，使得图像帧的背景与渲染区域的背景对齐。例如，图像帧背景中的路与渲染区域中的路贴合对齐等。可选地，对图像帧进行预处理，包括但不限于：通过调整图像帧的俯仰角、透视率、旋转角度中的至少一个，对图像帧进行预处理。

例如，调整图像帧的俯仰角，使得调整后的图像帧的俯仰角与全景图像的俯仰角相同。调整图像帧的透视率，使得调整后的图像帧的透视率与全景图像的透视率相同。调整图像帧的旋转角度，对图像进行旋转，以使得图像的方位与渲染区域的方位匹配。比如渲染区域与水平方向夹角为45°，则需要对图像帧进行旋转，使得旋转后的图像帧与水平方向的夹角也为45°。

除上述预处理的过程外，可选地，对图像帧进行预处理，还可以包括：对图像帧进行剪裁，使得图像帧的外形轮廓与渲染区域的外形轮廓更为匹配。这里只是对预处理方式进行示例性地说明，不对预处理方式进行具体地限定。

综上所述，本申请实施例提供的目标跟踪过程可如图5所示，运用数码相机/无人机/360球机设备对目标场景进行多角度环视拍摄之后，生成一张全景图。接收枪球一体机在比对之后得到的比中的信息，即比对确认目标对象的位置，如经纬度标准坐标。枪球一体机返回目标对象的经纬度标准坐标，之后，通过调用全景图投影算法将经纬度标准坐标换算成全景图投影坐标，在全景图上展示目标对象。

此外，还可以获取监控视频，根据换算的全景图投影坐标，将视频投影到该全景图中，并在全景图上刻画轨迹。由此，呈现了以目标对象为中心的一定范围内展示视频，在其余范围内展示周边全景静态图像的效果。且随着目标对象的位置变化，全景图、视频投影所在全景图的位置会随之变化而变化。需要说明的是，本申请实施例提供的方法中，除了接收枪球一体机返回的经纬度标准坐标外，还可以接收枪球一体机的信息，在全景图上刻画目标对象轨迹时，也可以展示枪球一体机的信息或者目标对象的其他信息，本申请实施例对此不进行限定。

其中，如图6所示，枪球一体机获取视频，将视频投影到全景图中的过程为：枪球一体机能够实时跟踪到目标对象。枪球一体机跟踪到目标对象之后，根据球机的WGS84经纬度通过球面三角算法返回目标对象所对应的WGS84经纬度坐标，将WGS84经纬度坐标转成720度VR全景图球体内的经纬度坐标，即全景图投影坐标。之后，将枪球一体机跟踪到的包括目标对象的监控视频投影到全景图上去，使得随着目标对象的位置变化，整体视频在全景图中也随着变化。此外，在跟踪目标对象的过程中，由于目标对象的移动而移出当前跟踪目标对象的枪球一体机的跟踪范围，使得当前跟踪目标对象的枪球一体机无法跟踪到目标对象，因而可以切换到另外一个能够跟踪到目标对象的枪球一体机上，由该切换后的枪球一体机继续跟踪目标对象，并将获取到的视频投影到全景图上。

以跟踪的目标对象为一辆卡车为例，将视频投影到全景图上的变化效果可如图7所示。图7的(1)和(2)分别为同一个全景图在两个不同时刻的显示效果，图中编号为71的目标框框出的即为目标对象，编号为72的虚线框框出的区域即为视频流在全景图中的渲染区域，该渲染区域72可以全景图投影坐标为中心。由于目标对象71是一辆正在行驶在公路上的卡车，卡车的行驶位置实时发生变化，则全景图投影坐标也实时发生变化，因而将视频投影到全景图中，使得渲染区域72随着目标对象71的位置即全景图投影坐标的变化而变化，渲染区域72内的内容也随着视频内容发生变化。例如，在图7(1)中，渲染区域72内除了目标对象71之外，还有另外一辆卡车。随着目标对象71的移动，全景图如图7(2)所示。图7(2)中，渲染区域72随着目标对象71的位置变化也发生变化。如图7(2)所示，渲染区域72内除了包括目标对象71，还包括另外两辆卡车。

另外，需要说明的是，图7(1)和(2)中标识渲染区域72的虚线框，只是为了举例说明渲染区域范围，在实施时可以不对该虚线框的线条进行显示，也即不显示虚线框，而是直接展示渲染区域。

示例性地，由于目标场景可以更新，则对目标场景的全景图进行更新之后，还包括：获取对目标对象进行跟踪拍摄得到的更新的监控视频流，将更新的监控视频流投影到更新后的全景图中。其中，将更新的监控视频流投影到更新后的全景图中的方式，可参见上述将视频流投影到全景图中的方式，此处不再赘述。

本申请实施例提供的方法，通过将场景与视频关联，实现视频和场景能够随着被跟踪的目标对象的移动而变换，可以快速调取视频对目标对象进行定位跟踪，以扩展跟踪应用，如调用监控管理人员对目标对象进行跟踪部署和管理。

参见图8，本申请实施例提供了一种目标跟踪管理装置，该装置包括：

第一获取模块801，用于获取目标对象在目标场景内的实时位置坐标；

第二获取模块802，用于根据目标对象在目标场景内的实时位置坐标确定包括目标对象所在位置的全景图；

转换模块803，用于将目标对象在目标场景内的实时位置坐标转换成全景图投影坐标；

展示模块804，用于对全景图中包括目标对象所在位置的目标区域进行虚拟展示，基于全景图投影坐标，在目标区域展示目标对象。

可选地，展示模块804，用于在全景图中确定以目标对象所在位置为中心的区域，将全景图中以目标对象所在位置为中心的区域作为目标区域，对目标区域进行虚拟展示；或者，对全景图进行虚拟展示，全景图包括目标对象所在位置的目标区域。

可选地，第一获取模块801，还用于获取对目标对象进行跟踪拍摄得到的监控视频流；

展示模块804，还用于基于全景图投影坐标，将监控视频流投影到全景图中。

可选地，转换模块803，用于基于标准经纬度坐标与全景球体坐标系的映射关系，将目标对象在目标场景内的实时位置坐标转换成全景图投影坐标，标准经纬度坐标与全景球体坐标系的映射关系基于跟踪设备所处的标准经纬度坐标、全景图拍摄设备所处的标准经纬度坐标及全景图展开面四个角点的标准经纬度坐标确定。

可选地，转换模块803，用于根据目标对象在目标场景内的实时位置坐标确定目标场景所在地图上与目标对象最近的目标第一子线段；

根据多条第一子线段与多条第二子线段的关联关系确定目标第一子线段对应的第二子线段，多条第一子线段由目标场景所在地图上绘制的目标道路对应的第一线段划分得到，多条第二子线段由全景图展开平面上绘制的目标道路对应的第二线段划分得到；

在目标第一子线段对应的第二子线段上，确定与目标对象在目标场景内的实时位置对应的全景图位置，将全景图位置的坐标作为由目标对象的实时位置坐标转换得到的全景图投影坐标。

本申请实施例提供的装置，由于全景图的可视范围较大，通过对目标场景的全景图中包括目标对象所在位置的目标区域进行虚拟展示，在该目标区域上展示目标对象，可以快速地定位目标对象所在的具体位置和周边的情况，提高了跟踪效率，使得跟踪目标对象的成功率较高。

另外，通过将场景与视频关联，实现视频和场景能够随着被跟踪的目标对象的移动而变换，可以快速调取视频对目标对象进行定位跟踪，以扩展跟踪应用。

需要说明的是，上述实施例提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图9是本发明实施例提供的一种目标跟踪设备的结构示意图。该设备可以为终端，例如可以是：智能手机、平板电脑、笔记本电脑或台式电脑。终端还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端包括有：处理器901和存储器902。

处理器901可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器901可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器901可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器901还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器902可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器902中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器901所执行以实现本申请中方法实施例提供的目标跟踪方法。

在一些实施例中，终端还可选包括有：外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。具体地，外围设备包括：射频电路904、触摸显示屏905、摄像头906、音频电路907、定位组件908和电源909中的至少一种。

外围设备接口903可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器901和存储器902。在一些实施例中，处理器901、存储器902和外围设备接口903被集成在同一芯片或电路板上；在一些其他实施例中，处理器901、存储器902和外围设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路904用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路904包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路904还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏905用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时，显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时，显示屏905还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏905可以为一个，设置终端的前面板；在另一些实施例中，显示屏905可以为至少两个，分别设置在终端的不同表面或呈折叠设计；在再一些实施例中，显示屏905可以是柔性显示屏，设置在终端的弯曲表面上或折叠面上。甚至，显示屏905还可以设置成非矩形的不规则图形，也即异形屏。显示屏905可以采用LCD(Liquid CrystalDisplay，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件906用于采集图像或视频。可选地，摄像头组件906包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器901进行处理，或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路907还可以包括耳机插孔。

定位组件908用于定位终端的当前地理位置，以实现导航或LBS(Location BasedService，基于位置的服务)。定位组件908可以是基于美国的GPS(Global PositioningSystem，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。

电源909用于为终端中的各个组件进行供电。电源909可以是交流电、直流电、一次性电池或可充电电池。当电源909包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端还包括有一个或多个传感器910。该一个或多个传感器910包括但不限于：加速度传感器911、陀螺仪传感器912、压力传感器913、指纹传感器914、光学传感器66以及接近传感器916。

加速度传感器911可以检测以终端建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器911可以用于检测重力加速度在三个坐标轴上的分量。处理器901可以根据加速度传感器911采集的重力加速度信号，控制触摸显示屏905以横向视图或纵向视图进行用户界面的显示。加速度传感器911还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器912可以检测终端的机体方向及转动角度，陀螺仪传感器912可以与加速度传感器911协同采集用户对终端的3D动作。处理器901根据陀螺仪传感器912采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器913可以设置在终端的侧边框和/或触摸显示屏905的下层。当压力传感器913设置在终端的侧边框时，可以检测用户对终端的握持信号，由处理器901根据压力传感器913采集的握持信号进行左右手识别或快捷操作。当压力传感器913设置在触摸显示屏905的下层时，由处理器901根据用户对触摸显示屏905的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器914用于采集用户的指纹，由处理器901根据指纹传感器914采集到的指纹识别用户的身份，或者，由指纹传感器914根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器901授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器914可以被设置终端的正面、背面或侧面。当终端上设置有物理按键或厂商Logo时，指纹传感器914可以与物理按键或厂商Logo集成在一起。

光学传感器915用于采集环境光强度。在一个实施例中，处理器901可以根据光学传感器915采集的环境光强度，控制触摸显示屏905的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏905的显示亮度；当环境光强度较低时，调低触摸显示屏905的显示亮度。在另一个实施例中，处理器901还可以根据光学传感器915采集的环境光强度，动态调整摄像头组件906的拍摄参数。

接近传感器916，也称距离传感器，通常设置在终端的前面板。接近传感器916用于采集用户与终端的正面之间的距离。在一个实施例中，当接近传感器916检测到用户与终端的正面之间的距离逐渐变小时，由处理器901控制触摸显示屏905从亮屏状态切换为息屏状态；当接近传感器916检测到用户与终端的正面之间的距离逐渐变大时，由处理器901控制触摸显示屏905从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图9中示出的结构并不构成对终端的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

在示例中实施例中，还提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令。所述至少一条指令经配置以由一个或者一个以上处理器执行，以实现上述任一种目标跟踪方法。

在示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令在被计算机设备的处理器执行时实现上述任一种目标跟踪方法。

在本申请的可能实施方式中，上述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种目标跟踪方法，其特征在于，所述方法包括：

获取目标对象在目标场景内的实时位置坐标；

根据所述目标对象在所述目标场景内的实时位置坐标确定包括所述目标对象所在位置的全景图；

将所述目标对象在所述目标场景内的实时位置坐标转换成全景图投影坐标；

对所述全景图中包括所述目标对象所在位置的目标区域进行虚拟展示，基于所述全景图投影坐标，在所述目标区域展示所述目标对象。

2.根据权利要求1所述的方法，其特征在于，所述对所述全景图中包括所述目标对象所在位置的目标区域进行虚拟展示，包括：

在所述全景图中确定以所述目标对象所在位置为中心的区域，将所述全景图中以所述目标对象所在位置为中心的区域作为目标区域，对所述目标区域进行虚拟展示；

或者，对所述全景图进行虚拟展示，所述全景图包括所述目标对象所在位置的目标区域。

3.根据权利要求1所述的方法，其特征在于，所述获取目标对象在目标场景内的实时位置坐标之后，还包括：

获取对所述目标对象进行跟踪拍摄得到的监控视频流；

基于所述全景图投影坐标，将所述监控视频流投影到所述全景图中。

4.根据权利要求1-3任一所述的方法，其特征在于，所述将所述目标对象在所述目标场景内的实时位置坐标转换成全景图投影坐标，包括：

基于标准经纬度坐标与全景球体坐标系的映射关系，将所述目标对象在所述目标场景内的实时位置坐标转换成全景图投影坐标，所述标准经纬度坐标与全景球体坐标系的映射关系基于跟踪设备所处的标准经纬度坐标、所述全景图拍摄设备所处的标准经纬度坐标及所述全景图展开面四个角点的标准经纬度坐标确定。

5.根据权利要求1-3任一所述的方法，其特征在于，所述将所述目标对象在所述目标场景内的实时位置坐标转换成全景图投影坐标，包括：

根据所述目标对象在所述目标场景内的实时位置坐标确定所述目标场景所在地图上与所述目标对象最近的目标第一子线段；

根据多条第一子线段与多条第二子线段的关联关系确定所述目标第一子线段对应的第二子线段，所述多条第一子线段由所述目标场景所在地图上绘制的目标道路对应的第一线段划分得到，所述多条第二子线段由所述全景图展开平面上绘制的所述目标道路对应的第二线段划分得到；

在所述目标第一子线段对应的第二子线段上，确定与所述目标对象在所述目标场景内的实时位置对应的全景图位置，将所述全景图位置的坐标作为由所述目标对象的实时位置坐标转换得到的全景图投影坐标。

6.一种目标跟踪管理装置，其特征在于，所述装置包括：

第一获取模块，用于获取目标对象在目标场景内的实时位置坐标；

第二获取模块，用于根据所述目标对象在所述目标场景内的实时位置坐标确定包括所述目标对象所在位置的全景图；

转换模块，用于将所述目标对象在所述目标场景内的实时位置坐标转换成全景图投影坐标；

展示模块，用于对所述全景图中包括所述目标对象所在位置的目标区域进行虚拟展示，基于所述全景图投影坐标，在所述目标区域展示所述目标对象。

7.根据权利要求6所述的装置，其特征在于，所述展示模块，用于在所述全景图中确定以所述目标对象所在位置为中心的区域，将所述全景图中以所述目标对象所在位置为中心的区域作为目标区域，对所述目标区域进行虚拟展示；或者，对所述全景图进行虚拟展示，所述全景图包括所述目标对象所在位置的目标区域。

8.根据权利要求6所述的装置，其特征在于，所述第一获取模块，还用于获取对所述目标对象进行跟踪拍摄得到的监控视频流；

所述展示模块，还用于基于所述全景图投影坐标，将所述监控视频流投影到所述全景图中。

9.根据权利要求6-8任一所述的装置，其特征在于，所述转换模块，用于基于标准经纬度坐标与全景球体坐标系的映射关系，将所述目标对象在所述目标场景内的实时位置坐标转换成全景图投影坐标，所述标准经纬度坐标与全景球体坐标系的映射关系基于跟踪设备所处的标准经纬度坐标、所述全景图拍摄设备所处的标准经纬度坐标及所述全景图展开面四个角点的标准经纬度坐标确定。

10.根据权利要求6-8任一所述的装置，其特征在于，所述转换模块，用于根据所述目标对象在所述目标场景内的实时位置坐标确定所述目标场景所在地图上与所述目标对象最近的目标第一子线段；

根据多条第一子线段与多条第二子线段的关联关系确定所述目标第一子线段对应的第二子线段，所述多条第一子线段由所述目标场景所在地图上绘制的目标道路对应的第一线段划分得到，所述多条第二子线段由所述全景图展开平面上绘制的所述目标道路对应的第二线段划分得到；

在所述目标第一子线段对应的第二子线段上，确定与所述目标对象在所述目标场景内的实时位置对应的全景图位置，将所述全景图位置的坐标作为由所述目标对象的实时位置坐标转换得到的全景图投影坐标。

11.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令在被所述处理器执行时实现如权利要求1至5任一所述的目标跟踪方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令，所述至少一条指令在被执行时实现如权利要求1至5任一所述的目标跟踪方法。

Images