CN105427338B - 一种运动目标的跟踪方法和装置 - Google Patents

Abstract

本发明提供一种运动目标的跟踪方法和装置，该方法包括：构建跟踪场景对应的虚拟三维环境，在真实跟踪设备的实际物理位置对应的虚拟三维环境中构建虚拟跟踪设备；在第一真实跟踪设备对运动目标进行跟踪的过程中，接收来自第一真实跟踪设备的运动目标在实际图像中的实际位置信息，利用实际位置信息确定运动目标在虚拟三维环境中的第一三维坐标；判断第一三维坐标是否位于第一虚拟跟踪设备的覆盖区域与第二虚拟跟踪设备的覆盖区域的重叠区域；如果是，确定运动目标移动到第二虚拟跟踪设备对应的第二真实跟踪设备的覆盖区域，通知第二真实跟踪设备对运动目标进行跟踪。通过本发明的技术方案，精确地跟踪同一个运动目标，避免出现运动目标跟丢的情况。

Description

一种运动目标的跟踪方法和装置

技术领域

本发明涉及视频技术领域，尤其涉及一种运动目标的跟踪方法和装置。

背景技术

近年来，随着计算机、网络以及图像处理、传输技术的飞速发展，视频监控的普及化趋势越来越明显，视频监控正在逐步迈入高清化，智能化，视频监控系统可以应用于众多领域，如智能交通，智慧园区、平安城市等。

在视频监控系统中，跟踪设备(如跟踪球机等)是视频监控系统的重要组成部分，跟踪设备已经可以基于自动锁定方式或者手动锁定方式来跟踪运动目标。其中，当运动目标在跟踪设备的覆盖区域内移动时，跟踪设备可以始终锁定该运动目标，从而可以自动采集到该运动目标的视频图像。

但是，在包含多个跟踪设备的场景下，当运动目标从一个跟踪设备的覆盖区域移动到另一个跟踪设备的覆盖区域时，另一个跟踪设备无法在运动目标移动到本跟踪设备的覆盖区域时，及时锁定该运动目标，无法精确地跟踪同一个运动目标，出现运动目标跟丢的情况，多个跟踪设备之间的联动性差。

发明内容

本发明提供一种运动目标的跟踪方法，所述方法包括以下步骤：

构建跟踪场景对应的虚拟三维环境，在真实跟踪设备的实际物理位置对应的虚拟三维环境中构建虚拟跟踪设备，其中，每个虚拟跟踪设备对应一个覆盖区域，且不同的虚拟跟踪设备对应的覆盖区域中会存在重叠区域；

在第一真实跟踪设备对运动目标进行跟踪的过程中，接收来自所述第一真实跟踪设备的所述运动目标在实际图像中的实际位置信息，并利用所述实际位置信息确定所述运动目标在所述虚拟三维环境中的第一三维坐标；

判断所述第一三维坐标是否位于第一真实跟踪设备对应的第一虚拟跟踪设备的覆盖区域与第二虚拟跟踪设备的覆盖区域的重叠区域；

如果是，确定所述运动目标移动到所述第二虚拟跟踪设备对应的第二真实跟踪设备的覆盖区域，并通知所述第二真实跟踪设备对所述运动目标进行跟踪。

所述利用所述实际位置信息确定所述运动目标在所述虚拟三维环境中的第一三维坐标的过程，具体包括：

利用所述实际位置信息确定所述运动目标在所述第一虚拟跟踪设备的虚拟图像中的虚拟位置信息；其中，所述实际位置信息包括实际图像中的特征点Pd的比例坐标(Xd/W，Yd/H)，所述虚拟位置信息包括虚拟图像中的特征点Pd’的比例坐标(Xd’/W’，Yd’/H’)，(Xd’/W’，Yd’/H’)＝(Xd/W，Yd/H)，W和H分别为实际图像的长和宽，Xd和Yd为特征点Pd的二维坐标；

将所述虚拟图像中的特征点Pd’的比例坐标(Xd’/W’，Yd’/H’)转换为三维世界坐标点POS2，并利用所述第一虚拟跟踪设备的三维世界坐标点POS1和三维世界坐标点POS2确定射线；其中，所述射线的起点为三维世界坐标点POS1，所述射线的方向为三维世界坐标点POS1至三维世界坐标点POS2；

获得所述射线碰撞到的三维世界坐标点POS3，并确定所述三维世界坐标点POS3为所述运动目标在所述虚拟三维环境中的第一三维坐标。

所述将虚拟图像中的特征点Pd’的比例坐标(Xd’/W’，Yd’/H’)转换为三维世界坐标点POS2，包括：计算所述第一虚拟跟踪设备的投影矩阵为M_P，并计算所述第一虚拟跟踪设备的视图矩阵为M_V，并利用如下公式计算所述三维世界坐标点POS2：所述三维世界坐标点POS2＝M_V ^-1*M_P ^-1*V；其中，所述V的坐标为(Xd’/W’，Yd’/H’，n)，所述n为投影平面的深度。

所述通知所述第二真实跟踪设备对所述运动目标进行跟踪的过程，具体包括：确定所述第二虚拟跟踪设备的当前视角向量为第一向量，并确定所述第二虚拟跟踪设备的三维世界坐标点与所述运动目标在所述虚拟三维环境中的所述第一三维坐标之间的视角向量为第二向量，并获得所述第二真实跟踪设备需要转动的角度为所述第一向量和所述第二向量之间的夹角；

将所述第二真实跟踪设备需要转动的角度通知给所述第二真实跟踪设备，以使所述第二真实跟踪设备在转动所述角度后，对所述运动目标进行跟踪。

所述通知所述第二真实跟踪设备对所述运动目标进行跟踪之后，所述方法进一步包括：在所述第二真实跟踪设备对运动目标进行跟踪的过程中，如果跟踪到一个运动物体，则接收来自所述第二真实跟踪设备的所述运动物体在实际图像中的实际位置信息，并利用所述实际位置信息确定所述运动物体在所述虚拟三维环境中的第二三维坐标；当所述第二三维坐标与所述第一三维坐标之间的距离小于预设距离阈值时，则确定所述运动物体为所述运动目标；

在所述第二真实跟踪设备对运动目标进行跟踪的过程中，如果跟踪到多个运动物体，则接收来自所述第二真实跟踪设备的每个运动物体在实际图像中的实际位置信息，并利用每个运动物体对应的实际位置信息确定每个运动物体在所述虚拟三维环境中的第二三维坐标，并从每个运动物体对应的第二三维坐标中，选择与所述第一三维坐标之间的距离最小的第二三维坐标；当所述最小的第二三维坐标与所述第一三维坐标之间的距离小于预设距离阈值时，则确定所述最小的第二三维坐标所对应的运动物体为所述运动目标。

本发明提供一种运动目标的跟踪装置，所述装置具体包括：

构建模块，用于构建跟踪场景对应的虚拟三维环境，在真实跟踪设备的实际物理位置对应的虚拟三维环境中构建虚拟跟踪设备，其中，每个虚拟跟踪设备对应一个覆盖区域，不同的虚拟跟踪设备对应的覆盖区域中会存在重叠区域；

确定模块，用于在第一真实跟踪设备对运动目标进行跟踪的过程中，接收来自第一真实跟踪设备的所述运动目标在实际图像中的实际位置信息，并利用所述实际位置信息确定所述运动目标在所述虚拟三维环境中的第一三维坐标；

判断模块，用于判断所述第一三维坐标是否位于第一真实跟踪设备对应的第一虚拟跟踪设备的覆盖区域与第二虚拟跟踪设备的覆盖区域的重叠区域；

发送模块，用于当判断结果为是时，则确定所述运动目标移动到所述第二虚拟跟踪设备对应的第二真实跟踪设备的覆盖区域，并通知所述第二真实跟踪设备对所述运动目标进行跟踪。

所述确定模块，具体用于在利用所述实际位置信息确定所述运动目标在所述虚拟三维环境中的第一三维坐标的过程中，利用所述实际位置信息确定所述运动目标在所述第一虚拟跟踪设备的虚拟图像中的虚拟位置信息；所述实际位置信息包括实际图像中的特征点Pd的比例坐标(Xd/W，Yd/H)，所述虚拟位置信息包括虚拟图像中的特征点Pd’的比例坐标(Xd’/W’，Yd’/H’)，(Xd’/W’，Yd’/H’)＝(Xd/W，Yd/H)，W和H分别为实际图像的长和宽，Xd和Yd为特征点Pd的二维坐标；将所述虚拟图像中的特征点Pd’的比例坐标(Xd’/W’，Yd’/H’)转换为三维世界坐标点POS2，并利用所述第一虚拟跟踪设备的三维世界坐标点POS1和三维世界坐标点POS2确定射线；其中，所述射线的起点为三维世界坐标点POS1，所述射线的方向为三维世界坐标点POS1至三维世界坐标点POS2；获得所述射线碰撞到的三维世界坐标点POS3，并确定所述三维世界坐标点POS3为所述运动目标在所述虚拟三维环境中的第一三维坐标。

所述确定模块，具体用于在将虚拟图像中的特征点Pd’的比例坐标(Xd’/W’，Yd’/H’)转换为三维世界坐标点POS2的过程中，计算所述第一虚拟跟踪设备的投影矩阵为M_P，并计算所述第一虚拟跟踪设备的视图矩阵为M_V，并利用如下公式计算所述三维世界坐标点POS2：所述三维世界坐标点POS2＝M_V ^-1*M_P ^-1*V；其中，所述V的坐标为(Xd’/W’，Yd’/H’，n)，所述n为投影平面的深度。

所述发送模块，具体用于在通知所述第二真实跟踪设备对所述运动目标进行跟踪的过程中，确定所述第二虚拟跟踪设备的当前视角向量为第一向量，并确定所述第二虚拟跟踪设备的三维世界坐标点与所述运动目标在所述虚拟三维环境中的所述第一三维坐标之间的视角向量为第二向量，并获得所述第二真实跟踪设备需要转动的角度为所述第一向量和所述第二向量之间的夹角；

将所述第二真实跟踪设备需要转动的角度通知给所述第二真实跟踪设备，以使所述第二真实跟踪设备在转动所述角度后，对所述运动目标进行跟踪。

所述确定模块，还用于在通知所述第二真实跟踪设备对所述运动目标进行跟踪之后，在所述第二真实跟踪设备对运动目标进行跟踪的过程中，如果跟踪到一个运动物体，则接收来自所述第二真实跟踪设备的所述运动物体在实际图像中的实际位置信息，并利用所述实际位置信息确定所述运动物体在所述虚拟三维环境中的第二三维坐标；当所述第二三维坐标与所述第一三维坐标之间的距离小于预设距离阈值时，则确定所述运动物体为所述运动目标；

在所述第二真实跟踪设备对运动目标进行跟踪的过程中，如果跟踪到多个运动物体，则接收来自所述第二真实跟踪设备的每个运动物体在实际图像中的实际位置信息，并利用每个运动物体对应的实际位置信息确定每个运动物体在所述虚拟三维环境中的第二三维坐标，并从每个运动物体对应的第二三维坐标中，选择与所述第一三维坐标之间的距离最小的第二三维坐标；当所述最小的第二三维坐标与所述第一三维坐标之间的距离小于预设距离阈值时，则确定所述最小的第二三维坐标所对应的运动物体为所述运动目标。

基于上述技术方案，本发明实施例中，在包含多个真实跟踪设备的场景下，当运动目标从一个真实跟踪设备(第一真实跟踪设备)的覆盖区域移动到另一个真实跟踪设备(第二真实跟踪设备)的覆盖区域时，可以基于运动目标在虚拟三维环境中的三维坐标，确定出运动目标从第一真实跟踪设备的覆盖区域移动到第二真实跟踪设备的覆盖区域，并及时通知第二真实跟踪设备对运动目标进行跟踪。上述方式使得第二真实跟踪设备可以在运动目标移动到本跟踪设备的覆盖区域时，及时锁定运动目标，并继续跟踪该运动目标，从而精确地跟踪同一个运动目标，避免出现运动目标跟丢的情况，多个跟踪设备之间的联动性好，可以实现多个跟踪设备的跟踪切换，可以较好的实现跨跟踪设备的自动跟踪功能，尤其适用于无人值守的场景，例如金库、军火库、电站等重要场所。

附图说明

图1是本发明一种实施方式中的运动目标的跟踪方法的流程图；

图2A-图2E是本发明一种实施方式中的应用场景的示意图；

图3是本发明一种实施方式中的管理服务器的硬件结构图；

图4是本发明一种实施方式中的运动目标的跟踪装置的结构图。

具体实施方式

针对现有技术中存在的问题，本发明实施例中提出一种运动目标的跟踪方法，该方法可以应用于包括管理服务器(如三维服务器等)和多个跟踪设备(如跟踪球机等)的视频监控系统中，且该方法可以应用在管理服务器上。在上述应用场景下，如图1所示，该运动目标的跟踪方法具体可以包括以下步骤：

步骤101，构建跟踪场景对应的虚拟三维环境，在真实跟踪设备的实际物理位置对应的虚拟三维环境中构建虚拟跟踪设备。其中，每个虚拟跟踪设备对应一个覆盖区域，且不同的虚拟跟踪设备对应的覆盖区域中会存在重叠区域。

本发明实施例中，为了方便描述，将实际跟踪环境中的各个跟踪设备称为真实跟踪设备，并将虚拟三维环境中的各个跟踪设备称为虚拟跟踪设备。

其中，针对实际的跟踪场景，可以构建跟踪场景对应的虚拟三维环境，该虚拟三维环境的构建流程与3D监控软件类似，可以通过CAD(Computer Aided Design，计算机辅助设计)图纸、人工拍照、航拍等方式制作1:1的虚拟三维环境。该虚拟三维环境是对跟踪场景进行1:1的三维建模，所得到的三维模型，该三维模型不需要使用材质贴图，只是简单的立方体的三维建模即可。

其中，针对实际的跟踪场景内的每个真实跟踪设备，在真实跟踪设备的实际物理位置对应的虚拟三维环境(即虚拟三维环境中该实际物理位置对应的虚拟位置)中，构建该真实跟踪设备对应的虚拟跟踪设备，即虚拟跟踪设备在虚拟三维环境的安装位置和真实跟踪设备在实际的跟踪场景的安装位置相同。

其中，虚拟跟踪设备应用在虚拟三维环境，并用来采集虚拟三维环境的视频图像。由于虚拟三维环境是针对实际的跟踪场景的1:1的三维模型，因此，为了得到与真实跟踪设备相同的视频图像画面，只需要调节虚拟跟踪设备的参数，使得虚拟跟踪设备的参数与对应的真实跟踪设备的参数相同即可。基于此，可以使得虚拟跟踪设备采集到的视频图像的比例和成像效果等，与该虚拟跟踪设备对应的真实跟踪设备采集到的视频图像的比例和成像效果一致。

其中，虚拟跟踪设备的参数具体可以包括但不限于：虚拟跟踪设备的焦距信息、CCD(Charge Coupled Device，电荷耦合元件)尺寸等。真实跟踪设备的参数具体可以包括但不限于：真实跟踪设备的焦距信息、CCD尺寸等。

为了实现虚拟跟踪设备在虚拟三维环境的安装位置和真实跟踪设备在实际的跟踪场景的安装位置相同，真实跟踪设备可以将本真实跟踪设备在实际的跟踪场景的安装位置(如三维空间坐标、安装角度等)发送给管理服务器。为了实现虚拟跟踪设备的参数与对应的真实跟踪设备的参数相同，真实跟踪设备可以将本真实跟踪设备的参数(如焦距信息、CCD尺寸等)发送给管理服务器。

本发明实施例中，针对每个真实跟踪设备，在实际的跟踪场景中对各真实跟踪设备的覆盖区域进行事先的区域分割，在具体的分割方式中，只要保证每个真实跟踪设备对应一个覆盖区域，且不同的真实跟踪设备对应的覆盖区域中会存在重叠区域即可，基于此，每个虚拟跟踪设备对应一个覆盖区域，且不同的虚拟跟踪设备对应的覆盖区域中会存在重叠区域。如图2A所示，真实跟踪设备1对应覆盖区域A，真实跟踪设备2对应覆盖区域B，且覆盖区域A与覆盖区域B之间存在一个重叠区域C。与此相对应的，真实跟踪设备1对应的虚拟跟踪设备1对应覆盖区域A’，真实跟踪设备2对应的虚拟跟踪设备2对应覆盖区域B’，且覆盖区域A’与覆盖区域B’之间存在一个重叠区域C’。

其中，在对各真实跟踪设备的覆盖区域进行区域分割时，针对室内环境，可以直接根据房间进行区域分割，针对室外场景，可以根据真实跟踪设备的覆盖区域的重叠区域作为分割线进行区域分割。一般情况下，一个真实跟踪设备负责一个覆盖区域，且该真实跟踪设备能够完全采集到该覆盖区域的视频图像。

其中，分割区域的主要目的是：用于确定真实跟踪设备的物理位置的归属，即运动目标移动到某块区域时，由哪个真实跟踪设备负责跟踪该运动目标。

其中，在虚拟三维环境中，可以手动分割区域，并记录各区域的坐标和对应的虚拟跟踪设备的信息。例如，在虚拟三维环境中手动分割出覆盖区域A’和覆盖区域B’，并记录覆盖区域A’的坐标与虚拟跟踪设备1的信息之间的对应关系，并记录覆盖区域B’的坐标与虚拟跟踪设备2的信息之间的对应关系。

步骤102，在第一真实跟踪设备对运动目标进行跟踪的过程中，接收来自该第一真实跟踪设备的该运动目标在实际图像中的实际位置信息，并利用该实际位置信息确定该运动目标在虚拟三维环境中的第一三维坐标。

本发明实施例中，利用该实际位置信息确定该运动目标在虚拟三维环境中的第一三维坐标的过程，具体可以包括但不限于如下方式：利用该实际位置信息确定运动目标在第一虚拟跟踪设备的虚拟图像中的虚拟位置信息；其中，该实际位置信息具体可以包括实际图像中的特征点Pd的比例坐标(Xd/W，Yd/H)，该虚拟位置信息具体可以包括虚拟图像中的特征点Pd’的比例坐标(Xd’/W’，Yd’/H’)，且(Xd’/W’，Yd’/H’)＝(Xd/W，Yd/H)，W和H分别为实际图像的长和宽，Xd和Yd为特征点Pd的二维坐标，W’和H’分别为虚拟图像的长和宽，Xd’和Yd’为特征点Pd’的二维坐标。之后，将虚拟图像中的特征点Pd’的比例坐标(Xd’/W’，Yd’/H’)转换为三维世界坐标点POS2，并利用第一虚拟跟踪设备的三维世界坐标点POS1和三维世界坐标点POS2确定射线；其中，该射线的起点为三维世界坐标点POS1，射线的方向为三维世界坐标点POS1至三维世界坐标点POS2。之后，获得该射线碰撞到的三维世界坐标点POS3，并确定该三维世界坐标点POS3为运动目标在虚拟三维环境中的第一三维坐标。

其中，在第一真实跟踪设备对运动目标进行跟踪的过程中，第一真实跟踪设备可以在实际图像中对运动目标进行框选，如图2B所示，得到运动目标在实际图像中的比例位置。假设将实际图像的线框下边沿中心点Pd作为特征点Pd，则实际位置信息包括实际图像中的特征点Pd的比例坐标(Xd/W，Yd/H)，且第一真实跟踪设备可以将运动目标在实际图像中的实际位置信息发送给管理服务器。W和H分别为实际图像的长和宽，Xd和Yd为特征点Pd的二维坐标。

其中，在第一真实跟踪设备对运动目标进行跟踪的过程中，第一真实跟踪设备将本第一真实跟踪设备的方向信息和焦距信息实时的发送给管理服务器，由管理服务器利用第一真实跟踪设备的方向信息和焦距信息实时的调整第一虚拟跟踪设备，使得第一虚拟跟踪设备的方向信息和焦距信息与第一真实跟踪设备的方向信息和焦距信息相同。基于此，第一虚拟跟踪设备同样可以在虚拟图像中对相应位置(即第一真实跟踪设备的框选位置，可以将该位置作为运动目标在虚拟图像中的位置)进行框选，如图2C所示，得到运动目标在虚拟图像中的比例位置。假设将虚拟图像的线框下边沿中心点Pd’作为特征点Pd’，则虚拟位置信息具体可以包括虚拟图像中的特征点Pd’的比例坐标(Xd’/W’，Yd’/H’)，W’和H’分别为虚拟图像的长和宽，Xd’和Yd’为特征点Pd’的二维坐标。进一步的，由于虚拟图像和实际图像是一致的，因此，特征点Pd’的比例坐标与特征点Pd的比例坐标相同，即(Xd’/W’，Yd’/H’)＝(Xd/W，Yd/H)。

本发明实施例中，将虚拟图像中的特征点Pd’的比例坐标(Xd’/W’，Yd’/H’)转换为三维世界坐标点POS2的过程，具体包括但不限于如下方式：计算第一虚拟跟踪设备的投影矩阵为M_P，并计算第一虚拟跟踪设备的视图矩阵为M_V，并利用如下公式计算三维世界坐标点POS2：三维世界坐标点POS2＝M_V ^-1*M_P ^-1*V；其中，V的坐标为(Xd’/W’，Yd’/H’，n)，且n为投影平面的深度。

其中，可以将虚拟图像放置到第一虚拟跟踪设备的视椎体中，通过矩阵计算，将特征点Pd’的比例坐标(Xd’/W’，Yd’/H’)转换为三维世界坐标点POS2。

其中，针对计算第一虚拟跟踪设备的投影矩阵M_P的过程，由于第一虚拟跟踪设备为透视投影，其数学上的意义为截锥六面体，如图2D所示，近裁剪面的左下角坐标为(l，b，n)，近裁剪面的右上角坐标为(r，t，n)，近裁剪面的距离为n，远裁剪面的距离为f，通过六个平面和相关点的运算可以推导得到：

进一步的，A＝2n/(r-1)，B＝(r+1)/(r-1)，C＝2n/(t-b)，D ＝(t+b)/(t-b)，E＝-(f+n)/(f-n)，F＝-2fn/(f-n)。

针对计算第一虚拟跟踪设备的视图矩阵M_V的过程，即从世界坐标系转换到第一虚 拟跟踪设备的坐标系的换算矩阵M_V。由于视图矩阵包含两部分，即旋转变换矩阵R和位移变 换矩阵T，因此，可以确定视图矩阵M_V为：

其中，在得到第一虚拟跟踪设备的投影矩阵M_P、第一虚拟跟踪设备的视图矩阵M_V、特征点Pd’的比例坐标(Xd’/W’，Yd’/H’)之后，可以将虚拟图像的投影平面设置为第一虚拟跟踪设备的近裁剪面，则投影平面的深度为n，且投影面上的点V的投影坐标为(Xd’/W’，Yd’/H’，n)，因此，可以利用如下公式计算三维世界坐标点POS2：三维世界坐标点POS2＝M_V ^-1*M_P ^-1*V。

如图2E所示，基于第一虚拟跟踪设备的三维世界坐标点POS1和三维世界坐标点POS2，可以确定出一条射线，该射线的起点为三维世界坐标点POS1，该射线的方向为三维世界坐标点POS1至三维世界坐标点POS2。根据三维世界坐标点POS1和三维世界坐标点POS2的连线发出的射线，可以通过射线碰撞检测的方式，得到三维世界坐标点POS3，该三维世界坐标点POS3就是运动目标在虚拟三维环境中的第一三维坐标(即步骤102中确定的第一三维坐标)。

步骤103，判断第一三维坐标是否位于第一虚拟跟踪设备的覆盖区域与第二虚拟跟踪设备的覆盖区域的重叠区域；如果是，则执行步骤104；如果否，则返回执行步骤102，继续接收来自第一真实跟踪设备的实际位置信息。

例如，在真实跟踪设备1对运动目标进行跟踪的过程中，假设运动目标位于覆盖区域A，则第一三维坐标位于虚拟跟踪设备1对应的覆盖区域A’，即第一三维坐标不位于虚拟跟踪设备1的覆盖区域与其它虚拟跟踪设备的覆盖区域的重叠区域，不执行步骤104。假设运动目标位于区域C，则第一三维坐标位于虚拟跟踪设备1对应的重叠区域C’，即第一三维坐标位于虚拟跟踪设备1的覆盖区域与虚拟跟踪设备2的覆盖区域的重叠区域，执行步骤104。

步骤104，确定运动目标移动到第二虚拟跟踪设备对应的第二真实跟踪设备的覆盖区域，并通知该第二真实跟踪设备对该运动目标进行跟踪。

本发明实施例中，通知第二真实跟踪设备对运动目标进行跟踪的过程，具体可以包括但不限于如下方式：确定第二虚拟跟踪设备的当前视角向量为第一向量，并确定第二虚拟跟踪设备的三维世界坐标点与运动目标在虚拟三维环境中的第一三维坐标(即步骤102中确定的第一三维坐标)之间的视角向量为第二向量，并获得第二真实跟踪设备需要转动的角度为该第一向量和该第二向量之间的夹角。将第二真实跟踪设备需要转动的角度通知给第二真实跟踪设备，以使第二真实跟踪设备在转动该角度后，可以对运动目标进行跟踪。

当运动目标从覆盖区域A移动到覆盖区域B的过程中，先由真实跟踪设备1来跟踪运动目标。当运动目标移动到重叠区域C时，根据步骤102中确定的第一三维坐标，可以确定出第一三维坐标位于重叠区域C’，即通过第一三维坐标确定出运动目标已经进入覆盖区域B，通知覆盖区域B对应的真实跟踪设备2对该运动目标进行跟踪，且真实跟踪设备1当前仍然对该运动目标进行跟踪。

其中，根据第一三维坐标(步骤102中确定的第一三维坐标)和第二虚拟跟踪设备的坐标，得到第二真实跟踪设备需要转动的角度，第二真实跟踪设备需要转动到第二向量(VectorB)处。假设第二虚拟跟踪设备的当前视角向量为第一向量(VectorA)，则转动的角度即VectorA和VectorB之间的夹角，且VectorB为第二虚拟跟踪设备的三维世界坐标点与第一三维坐标之间的视角向量。

其中，第二真实跟踪设备需要转动的角度可以拆分成水平方向的角度和垂直方向的角度，且将第二真实跟踪设备需要转动的水平方向的角度和垂直方向的角度通知给第二真实跟踪设备。管理服务器可以调用命令来下发水平方向的角度和垂直方向的角度，假设命令格式包括8位的控制命令(通过使用00000001表示跟踪设备转动)、9位的数据区1(表示水平方向的转动角度)、9位的数据区2(表示垂直方向的转动角度)。假设水平方向的转动角度为50度，垂直方向的转动角度为20度，则9位的数据区1为000110010(表示50度)，9位的数据区2为000010100(表示20度)。因此，管理服务器向第二真实跟踪设备下发的指令为(00000001000110010000010100)。第二真实跟踪设备在接收到指令(00000001000110010000010100)后，基于前8位00000001确定需要转动，基于9位的数据区1000110010确定在水平方向转动50度，基于9位的数据区2000010100确定在垂直方向转动20度。第二真实跟踪设备在转动上述角度后，可以对运动目标进行跟踪，且开始执行上述的步骤102及后续步骤。

其中，管理服务器与各真实跟踪设备之间可通过HTTP(Hyper Text TransferProtocol，超文本传输协议)等方式建立连接，并基于该连接传输相关指令。

本发明实施例中，在通知第二真实跟踪设备对运动目标进行跟踪之后，在第二真实跟踪设备对运动目标进行跟踪的过程中，如果第二真实跟踪设备跟踪到一个运动物体，则接收来自第二真实跟踪设备的该运动物体在实际图像中的实际位置信息，并利用该实际位置信息确定该运动物体在虚拟三维环境中的第二三维坐标；当第二三维坐标与第一三维坐标之间的距离小于预设距离阈值时，则确定该运动物体为运动目标。在第二真实跟踪设备对运动目标进行跟踪的过程中，如果第二真实跟踪设备跟踪到多个运动物体，则接收来自第二真实跟踪设备的每个运动物体在实际图像中的实际位置信息，并利用每个运动物体对应的实际位置信息确定每个运动物体在虚拟三维环境中的第二三维坐标，并从每个运动物体对应的第二三维坐标中，选择与第一三维坐标之间的距离最小的第二三维坐标；当最小的第二三维坐标与第一三维坐标之间的距离小于预设距离阈值时，则确定最小的第二三维坐标所对应的运动物体为运动目标。

其中，当运动目标移动到第一真实跟踪设备的覆盖区域和第二真实跟踪设备的覆盖区域的重叠区域时，则第一真实跟踪设备仍然可以获得运动目标在实际图像中的实际位置信息，并将运动目标在实际图像中的实际位置信息发送给管理服务器，由管理服务器确定该运动目标在虚拟三维环境中的第一三维坐标。当运动目标移动到第一真实跟踪设备的覆盖区域和第二真实跟踪设备的覆盖区域的重叠区域时，为了获知第二真实跟踪设备发现的运动物体(一个或者多个运动物体)是否为需要跟踪的运动目标(即第一真实跟踪设备当前正在跟踪的运动目标)，则第二真实跟踪设备获得运动物体在实际图像中的实际位置信息，将运动物体在实际图像中的实际位置信息发送给管理服务器，由管理服务器确定运动物体在虚拟三维环境中的第二三维坐标。基于第二三维坐标与第一三维坐标之间的距离是否小于预设距离阈值，可以确定出运动物体是否为运动目标，从而在运动物体是运动目标时，由第二真实跟踪设备继续对运动目标进行跟踪。

其中，管理服务器确定运动目标在虚拟三维环境中的第一三维坐标的过程、运动物体在虚拟三维环境中的第二三维坐标的过程，与上述步骤102中确定运动目标在虚拟三维环境中的第一三维坐标的过程相同，在此不再重新赘述。

其中，预设距离阈值可以根据实际经验任意设置，可以为合适的误差范围，当第一三维坐标与第二三维坐标之间的距离小于预设距离阈值时，就可以认为第一三维坐标与第二三维坐标是同一个点，且运动物体就是运动目标。

其中，如果管理服务器确定出一个运动物体就是运动目标，则通知第二真实跟踪设备继续对运动目标进行跟踪，并可以通知第一真实跟踪设备停止对该运动目标进行跟踪，之后的跟踪过程由第二真实跟踪设备独立完成。

基于上述技术方案，本发明实施例中，在包含多个真实跟踪设备的场景下，当运动目标从一个真实跟踪设备(第一真实跟踪设备)的覆盖区域移动到另一个真实跟踪设备(第二真实跟踪设备)的覆盖区域时，可以基于运动目标在虚拟三维环境中的三维坐标，确定出运动目标从第一真实跟踪设备的覆盖区域移动到第二真实跟踪设备的覆盖区域，并及时通知第二真实跟踪设备对运动目标进行跟踪。上述方式使得第二真实跟踪设备可以在运动目标移动到本跟踪设备的覆盖区域时，及时锁定运动目标，并继续跟踪该运动目标，从而精确地跟踪同一个运动目标，避免出现运动目标跟丢的情况，多个跟踪设备之间的联动性好，可以实现多个跟踪设备的跟踪切换，可以较好的实现跨跟踪设备的自动跟踪功能，提高了各个跟踪设备的使用率，达到多个跟踪设备联动跟踪的功能，尤其适用于无人值守的场景，例如金库、军火库、电站等重要场所。

基于与上述方法同样的发明构思，本发明实施例中还提供了一种运动目标的跟踪装置，该运动目标的跟踪装置可以应用在管理服务器上。其中，该运动目标的跟踪装置可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过该运动目标的跟踪装置所在的管理服务器的处理器，读取非易失性存储器中对应的计算机程序指令形成的。从硬件层面而言，如图3所示，为本发明提出的运动目标的跟踪装置所在的管理服务器的一种硬件结构图，除了图3所示的处理器、非易失性存储器外，该管理服务器还可以包括其他硬件，如负责处理报文的转发芯片、网络接口、内存等；从硬件结构上来讲，该管理服务器还可能是分布式设备，可能包括多个接口卡，以便在硬件层面进行报文处理的扩展。

如图4所示，为本发明提出的运动目标的跟踪装置的结构图，可以应用在管理服务器上，所述运动目标的跟踪装置具体包括：

构建模块11，用于构建跟踪场景对应的虚拟三维环境，在真实跟踪设备的实际物理位置对应的虚拟三维环境中构建虚拟跟踪设备，其中，每个虚拟跟踪设备对应一个覆盖区域，不同的虚拟跟踪设备对应的覆盖区域中会存在重叠区域；确定模块12，用于在第一真实跟踪设备对运动目标进行跟踪的过程中，接收来自第一真实跟踪设备的所述运动目标在实际图像中的实际位置信息，并利用所述实际位置信息确定所述运动目标在所述虚拟三维环境中的第一三维坐标；判断模块13，用于判断所述第一三维坐标是否位于第一真实跟踪设备对应的第一虚拟跟踪设备的覆盖区域与第二虚拟跟踪设备的覆盖区域的重叠区域；发送模块14，用于当判断结果为是时，则确定所述运动目标移动到所述第二虚拟跟踪设备对应的第二真实跟踪设备的覆盖区域，并通知所述第二真实跟踪设备对所述运动目标进行跟踪。

所述确定模块12，具体用于在利用所述实际位置信息确定所述运动目标在所述虚拟三维环境中的第一三维坐标的过程中，利用所述实际位置信息确定所述运动目标在所述第一虚拟跟踪设备的虚拟图像中的虚拟位置信息；所述实际位置信息包括实际图像中的特征点Pd的比例坐标(Xd/W，Yd/H)，所述虚拟位置信息包括虚拟图像中的特征点Pd’的比例坐标(Xd’/W’，Yd’/H’)，(Xd’/W’，Yd’/H’)＝(Xd/W，Yd/H)，W和H分别为实际图像的长和宽，Xd和Yd为特征点Pd的二维坐标；将所述虚拟图像中的特征点Pd’的比例坐标(Xd’/W’，Yd’/H’)转换为三维世界坐标点POS2，并利用所述第一虚拟跟踪设备的三维世界坐标点POS1和三维世界坐标点POS2确定射线；其中，所述射线的起点为三维世界坐标点POS1，所述射线的方向为三维世界坐标点POS1至三维世界坐标点POS2；获得所述射线碰撞到的三维世界坐标点POS3，并确定所述三维世界坐标点POS3为所述运动目标在所述虚拟三维环境中的第一三维坐标。所述确定模块12，具体用于在将虚拟图像中的特征点Pd’的比例坐标(Xd’/W’，Yd’/H’)转换为三维世界坐标点POS2的过程中，计算所述第一虚拟跟踪设备的投影矩阵为M_P，并计算所述第一虚拟跟踪设备的视图矩阵为M_V，并利用如下公式计算所述三维世界坐标点POS2：所述三维世界坐标点POS2＝M_V ^-1*M_P ^-1*V；其中，所述V的坐标为(Xd’/W’，Yd’/H’，n)，所述n为投影平面的深度。

所述发送模块14，具体用于在通知所述第二真实跟踪设备对所述运动目标进行跟踪的过程中，确定所述第二虚拟跟踪设备的当前视角向量为第一向量，并确定所述第二虚拟跟踪设备的三维世界坐标点与所述运动目标在所述虚拟三维环境中的所述第一三维坐标之间的视角向量为第二向量，并获得所述第二真实跟踪设备需要转动的角度为所述第一向量和所述第二向量之间的夹角；

将所述第二真实跟踪设备需要转动的角度通知给所述第二真实跟踪设备，以使所述第二真实跟踪设备在转动所述角度后，对所述运动目标进行跟踪。

所述确定模块12，还用于在通知所述第二真实跟踪设备对所述运动目标进行跟踪之后，在所述第二真实跟踪设备对运动目标进行跟踪的过程中，如果跟踪到一个运动物体，则接收来自所述第二真实跟踪设备的所述运动物体在实际图像中的实际位置信息，并利用所述实际位置信息确定所述运动物体在所述虚拟三维环境中的第二三维坐标；当所述第二三维坐标与所述第一三维坐标之间的距离小于预设距离阈值时，则确定所述运动物体为所述运动目标；

在所述第二真实跟踪设备对运动目标进行跟踪的过程中，如果跟踪到多个运动物体，则接收来自所述第二真实跟踪设备的每个运动物体在实际图像中的实际位置信息，并利用每个运动物体对应的实际位置信息确定每个运动物体在所述虚拟三维环境中的第二三维坐标，并从每个运动物体对应的第二三维坐标中，选择与所述第一三维坐标之间的距离最小的第二三维坐标；当所述最小的第二三维坐标与所述第一三维坐标之间的距离小于预设距离阈值时，则确定所述最小的第二三维坐标所对应的运动物体为所述运动目标。

其中，本发明装置的各个模块可以集成于一体，也可以分离部署。上述模块可以合并为一个模块，也可以进一步拆分成多个子模块。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。本领域技术人员可以理解附图只是一个优选实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可进一步拆分成多个子模块。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (8)

1.一种运动目标的跟踪方法，其特征在于，所述方法包括以下步骤：

构建跟踪场景对应的虚拟三维环境，在真实跟踪设备的实际物理位置对应的虚拟三维环境中构建虚拟跟踪设备，其中，每个虚拟跟踪设备对应一个覆盖区域，且不同的虚拟跟踪设备对应的覆盖区域中会存在重叠区域；

在第一真实跟踪设备对运动目标进行跟踪的过程中，接收来自所述第一真实跟踪设备的所述运动目标在实际图像中的实际位置信息，并利用所述实际位置信息确定所述运动目标在所述虚拟三维环境中的第一三维坐标；

判断所述第一三维坐标是否位于第一真实跟踪设备对应的第一虚拟跟踪设备的覆盖区域与第二虚拟跟踪设备的覆盖区域的重叠区域；

如果是，确定所述运动目标移动到所述第二虚拟跟踪设备对应的第二真实跟踪设备的覆盖区域；

确定所述第二虚拟跟踪设备的当前视角向量为第一向量，并确定所述第二虚拟跟踪设备的三维世界坐标点与所述运动目标在所述虚拟三维环境中的所述第一三维坐标之间的视角向量为第二向量，并获得所述第二真实跟踪设备需要转动的角度为所述第一向量和所述第二向量之间的夹角；

将所述第二真实跟踪设备需要转动的角度通知给所述第二真实跟踪设备，以使所述第二真实跟踪设备在转动所述角度后，对所述运动目标进行跟踪。

2.根据权利要求1所述的方法，其特征在于，所述利用所述实际位置信息确定所述运动目标在所述虚拟三维环境中的第一三维坐标的过程，具体包括：

利用所述实际位置信息确定所述运动目标在所述第一虚拟跟踪设备的虚拟图像中的虚拟位置信息；其中，所述实际位置信息包括实际图像中的特征点Pd的比例坐标(Xd/W，Yd/H)，所述虚拟位置信息包括虚拟图像中的特征点Pd’的比例坐标(Xd’/W’，Yd’/H’)，(Xd’/W’，Yd’/H’)＝(Xd/W，Yd/H)，W和H分别为实际图像的长和宽，Xd和Yd为特征点Pd的二维坐标；

将所述虚拟图像中的特征点Pd’的比例坐标(Xd’/W’，Yd’/H’)转换为三维世界坐标点POS2，并利用所述第一虚拟跟踪设备的三维世界坐标点POS1和三维世界坐标点POS2确定射线；其中，所述射线的起点为三维世界坐标点POS1，所述射线的方向为三维世界坐标点POS1至三维世界坐标点POS2；

获得所述射线碰撞到的三维世界坐标点POS3，并确定所述三维世界坐标点POS3为所述运动目标在所述虚拟三维环境中的第一三维坐标。

3.根据权利要求2所述的方法，其特征在于，所述将虚拟图像中的特征点Pd’的比例坐标(Xd’/W’，Yd’/H’)转换为三维世界坐标点POS2，包括：

计算所述第一虚拟跟踪设备的投影矩阵为M_P，并计算所述第一虚拟跟踪设备的视图矩阵为M_V，并利用如下公式计算所述三维世界坐标点POS2：

所述三维世界坐标点POS2＝M_V ^-1*M_P ^-1*V；其中，所述V的坐标为(Xd’/W’，Yd’/H’，n)，所述n为投影平面的深度。

4.根据权利要求1所述的方法，其特征在于，所述通知所述第二真实跟踪设备对所述运动目标进行跟踪之后，所述方法进一步包括：

在所述第二真实跟踪设备对运动目标进行跟踪的过程中，如果跟踪到一个运动物体，则接收来自所述第二真实跟踪设备的所述运动物体在实际图像中的实际位置信息，并利用所述实际位置信息确定所述运动物体在所述虚拟三维环境中的第二三维坐标；当所述第二三维坐标与所述第一三维坐标之间的距离小于预设距离阈值时，则确定所述运动物体为所述运动目标；

在所述第二真实跟踪设备对运动目标进行跟踪的过程中，如果跟踪到多个运动物体，则接收来自所述第二真实跟踪设备的每个运动物体在实际图像中的实际位置信息，并利用每个运动物体对应的实际位置信息确定每个运动物体在所述虚拟三维环境中的第二三维坐标，并从每个运动物体对应的第二三维坐标中，选择与所述第一三维坐标之间的距离最小的第二三维坐标；当所述最小的第二三维坐标与所述第一三维坐标之间的距离小于预设距离阈值时，则确定所述最小的第二三维坐标所对应的运动物体为所述运动目标。

5.一种运动目标的跟踪装置，其特征在于，所述装置具体包括：

构建模块，用于构建跟踪场景对应的虚拟三维环境，在真实跟踪设备的实际物理位置对应的虚拟三维环境中构建虚拟跟踪设备，其中，每个虚拟跟踪设备对应一个覆盖区域，不同的虚拟跟踪设备对应的覆盖区域中会存在重叠区域；

确定模块，用于在第一真实跟踪设备对运动目标进行跟踪的过程中，接收来自第一真实跟踪设备的所述运动目标在实际图像中的实际位置信息，并利用所述实际位置信息确定所述运动目标在所述虚拟三维环境中的第一三维坐标；

判断模块，用于判断所述第一三维坐标是否位于第一真实跟踪设备对应的第一虚拟跟踪设备的覆盖区域与第二虚拟跟踪设备的覆盖区域的重叠区域；

发送模块，用于当判断结果为是时，则确定所述运动目标移动到所述第二虚拟跟踪设备对应的第二真实跟踪设备的覆盖区域；

确定所述第二虚拟跟踪设备的当前视角向量为第一向量，并确定所述第二虚拟跟踪设备的三维世界坐标点与所述运动目标在所述虚拟三维环境中的所述第一三维坐标之间的视角向量为第二向量，并获得所述第二真实跟踪设备需要转动的角度为所述第一向量和所述第二向量之间的夹角；

将所述第二真实跟踪设备需要转动的角度通知给所述第二真实跟踪设备，以使所述第二真实跟踪设备在转动所述角度后，对所述运动目标进行跟踪。

6.根据权利要求5所述的装置，其特征在于，

所述确定模块，具体用于在利用所述实际位置信息确定所述运动目标在所述虚拟三维环境中的第一三维坐标的过程中，利用所述实际位置信息确定所述运动目标在所述第一虚拟跟踪设备的虚拟图像中的虚拟位置信息；所述实际位置信息包括实际图像中的特征点Pd的比例坐标(Xd/W，Yd/H)，所述虚拟位置信息包括虚拟图像中的特征点Pd’的比例坐标(Xd’/W’，Yd’/H’)，(Xd’/W’，Yd’/H’)＝(Xd/W，Yd/H)，W和H分别为实际图像的长和宽，Xd和Yd为特征点Pd的二维坐标；将所述虚拟图像中的特征点Pd’的比例坐标(Xd’/W’，Yd’/H’)转换为三维世界坐标点POS2，并利用所述第一虚拟跟踪设备的三维世界坐标点POS1和三维世界坐标点POS2确定射线；其中，所述射线的起点为三维世界坐标点POS1，所述射线的方向为三维世界坐标点POS1至三维世界坐标点POS2；获得所述射线碰撞到的三维世界坐标点POS3，并确定所述三维世界坐标点POS3为所述运动目标在所述虚拟三维环境中的第一三维坐标。

7.根据权利要求6所述的装置，其特征在于，

所述确定模块，具体用于在将虚拟图像中的特征点Pd’的比例坐标(Xd’/W’，Yd’/H’)转换为三维世界坐标点POS2的过程中，计算所述第一虚拟跟踪设备的投影矩阵为M_P，并计算所述第一虚拟跟踪设备的视图矩阵为M_V，并利用如下公式计算所述三维世界坐标点POS2：所述三维世界坐标点POS2＝M_V ^-1*M_P ^-1*V；其中，所述V的坐标为(Xd’/W’，Yd’/H’，n)，所述n为投影平面的深度。

8.根据权利要求5所述的装置，其特征在于，

所述确定模块，还用于在通知所述第二真实跟踪设备对所述运动目标进行跟踪之后，在所述第二真实跟踪设备对运动目标进行跟踪的过程中，如果跟踪到一个运动物体，则接收来自所述第二真实跟踪设备的所述运动物体在实际图像中的实际位置信息，并利用所述实际位置信息确定所述运动物体在所述虚拟三维环境中的第二三维坐标；当所述第二三维坐标与所述第一三维坐标之间的距离小于预设距离阈值时，则确定所述运动物体为所述运动目标；

在所述第二真实跟踪设备对运动目标进行跟踪的过程中，如果跟踪到多个运动物体，则接收来自所述第二真实跟踪设备的每个运动物体在实际图像中的实际位置信息，并利用每个运动物体对应的实际位置信息确定每个运动物体在所述虚拟三维环境中的第二三维坐标，并从每个运动物体对应的第二三维坐标中，选择与所述第一三维坐标之间的距离最小的第二三维坐标；当所述最小的第二三维坐标与所述第一三维坐标之间的距离小于预设距离阈值时，则确定所述最小的第二三维坐标所对应的运动物体为所述运动目标。