CN111784748B - 目标跟踪方法、装置、电子设备及移动载具 - Google Patents

Abstract

本发明实施例涉及目标跟踪方法、装置、电子设备以及移动载具。该目标跟踪方法包括：采集跟踪目标的位置信息；判断所述跟踪目标是否超出已知的三维地图；若否，根据所述跟踪目标在所述三维地图中的三维位置，规划第一跟踪路径；若是，在所述三维地图的边界生成与所述跟踪目标处于同一方向的虚拟目标点；根据所述虚拟目标点的三维位置，规划第二跟踪路径；沿所述第二或第一跟踪路径移动。其克服了深度传感器对于自动追踪算法的限制，可以在跟踪目标超出了传感器量程时，仍然保持对跟踪目标的追击，并尽可能的使跟踪目标重回传感器的量程范围内。

Description

目标跟踪方法、装置、电子设备及移动载具

【技术领域】

本发明涉及机器视觉技术领域，尤其涉及一种目标跟踪方法、装置、电子设备以及移动载具。

【背景技术】

随着计算机智能化技术的不断发展，基于机器视觉而实现的自动跟踪算法被广泛的用于各种移动载具(如工业机器人，无人驾驶汽车或无人机)中，有效的提升了这些无人移动载具的智能化程度。

在现有的自动跟踪算法中，利用精确测量得到的跟踪目标三维位置可以实现性能优异的轨迹规划或者路径规划，实现对跟踪目标的自动跟踪。

实际应用时，通常依靠搭载在移动载具上的双目或激光雷达等深度传感构建三维地图，随后将跟踪目标定位在三维地图中，进而以此作为基准执行路径规划。

但是，现有的激光雷达或其他视觉传感器的测量距离有限，无法在远距离定位跟踪目标，也容易因跟踪目标突然加速短暂超出测量范围而导致跟踪失败，影响鲁棒性。

【发明内容】

本发明实施例旨在提供一种目标跟踪方法、装置、电子设备以及移动载具，能够解决现有目标跟踪方式所存在的缺陷。

为解决上述技术问题，本发明实施例提供以下技术方案：一种目标跟踪方法。该方法包括：

采集跟踪目标的位置信息；判断所述跟踪目标是否超出已知的三维地图；若否，根据所述跟踪目标在所述三维地图中的三维位置，规划第一跟踪路径；沿所述第一跟踪路径移动以跟踪所述跟踪目标；若是，在所述三维地图的边界生成与所述跟踪目标处于同一方向的虚拟目标点；根据所述虚拟目标点的三维位置，规划第二跟踪路径；沿所述第二跟踪路径移动以跟踪所述虚拟目标点。

可选地，所述判断所述跟踪目标是否超出已知的三维地图，具体包括：

通过图像采集设备采集包含跟踪目标的二维图像，并且通过深度传感器获取对应的点云信息；

将所述跟踪目标在所述二维图像上所占的区域作为目标框；

确定每一个所述点云信息在所述二维图像上对应的目标像素；

在处于所述目标框内的所述目标像素的数量大于预设阈值时，确定所述跟踪目标没有超出已知的三维地图，所述目标框为；

在处于所述目标框内的所述目标像素的数量小于等于预设阈值时，确定所述跟踪目标超出已知的三维地图。

可选地，所述确定每一个所述点云信息在所述二维图像上对应的目标像素，具体包括：

将所述点云信息通过第一转换矩阵，转换为在所述图像采集设备的坐标系下的三维位置信息；

通过所述图像采集设备的内参矩阵，将所述三维位置信息投影到所述二维图像中，获得对应的目标像素。

可选地，所述在所述三维地图的边界生成与跟踪目标处于同一方向的虚拟目标点，具体包括：

获取所述跟踪目标在所述二维图像中的二维位置信息；

根据所述二维位置信息以及所述图像采集设备的内参矩阵，生成与所述跟踪目标处于同一方向上的参考点；

通过所述参考点与所述三维地图的中心，确定所述跟踪目标所在的方向；

计算在所述跟踪目标所在的方向上的射线与所述三维地图的边界的交点，作为所述虚拟目标点。

可选地，所述通过所述参考点与所述三维地图的中心，确定所述跟踪目标所在的方向，具体包括：

通过第二转换矩阵，将所述参考点转换为世界坐标系中的三维位置信息；

将所述参考点与所述三维地图的中心的三维位置信息相减，获得所述跟踪目标所在方向的单位向量。

可选地，所述计算在所述跟踪目标所在的方向上的射线与所述三维地图的边界的交点，作为所述虚拟目标点，具体包括：

求解所述三维地图的中心在所述单位向量的方向上，与所述三维地图的边界之间的目标距离；

通过所述目标距离和所述单位向量，确定所述虚拟目标点在所述世界坐标系中的三维位置信息。

可选地，所述求解所述三维地图的中心在所述单位向量的方向上，与所述三维地图的边界之间的目标距离，具体包括：

计算所述三维地图的中心在所述单位向量的方向上，与所述三维地图的边界之间的距离在所述世界坐标系的X轴上的第一投影长度；

计算所述三维地图的中心在所述单位向量的方向上，与所述三维地图的边界之间的距离在所述世界坐标系的Y轴上的第二投影长度；

所述三维地图的中心在所述单位向量的方向上，与所述三维地图的边界之间的距离在所述世界坐标系的Z轴上的第三投影长度；

选择所述第一投影长度、第二投影长度以及第三投影长度之中长度最短的作为所述目标距离。

可选地，所述沿所述第二跟踪路径移动以跟踪所述虚拟目标点，具体包括：

在沿所述第二跟踪路径移动时，增加移动速度直至达到最大移动速度或者确定所述跟踪目标没有超出所述三维地图。

为解决上述技术问题，本发明实施例还提供以下技术方案：一种目标跟踪装置。该装置包括：

采集装置，用于采集跟踪目标的位置信息；检测装置，用于判断所述跟踪目标是否超出已知的三维地图；虚拟目标点生成装置，用于在所述三维地图的边界生成与所述跟踪目标处于同一方向的虚拟目标点；路径规划装置，用于在所述跟踪目标超出已知的三维地图时，根据所述跟踪目标在所述三维地图中的三维位置，规划第一跟踪路径，并且在所述跟踪目标没有超出已知的三维地图时，根据所述虚拟目标点的三维位置，规划第二跟踪路径；跟踪装置，用于沿所述第一跟踪路径或第二跟踪路径移动以跟踪所述跟踪目标。

为解决上述技术问题，本发明实施例还提供以下技术方案：一种电子设备，包括：处理器以及与所述处理器通信连接的存储器；所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器调用时，以使所述处理器执行如上所述的目标跟踪方法。

为解决上述技术问题，本发明实施例还提供以下技术方案：一种移动载具，包括：

载具本体，所述载具本体上设置有用于采集点云信息的深度传感器以及用于采集二维图像信息的图像采集设备；

驱动机构，所述驱动机构用于输出动力，驱动所述载具本体移动；

控制器，用于接收所述深度传感器采集的点云信息和所述图像采集设备采集的二维图像信息，并执行如上所述的目标跟踪方法，通过所述驱动机构，控制所述移动载具保持对跟踪目标的跟踪。

与现有技术相比较，本发明实施例的目标跟踪方法在跟踪目标超出了传感器量程或者已知的三维地图范围时，仍然可以进行路径规划，保持对跟踪目标的追击，并尽可能的使跟踪目标重回传感器的量程范围内。其有效的克服了深度传感器对于自动追踪算法的限制，具有良好的应用前景。

【附图说明】

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1为本发明实施例的目标跟踪方法的应用场景的示意图；

图2为本发明实施例提供的移动载具的结构框图；

图3为本发明实施例提供的目标跟踪装置的示意图；

图4为本发明实施例提供的目标跟踪方法的方法流程图；

图5a为本发明实施例提供的判断跟踪目标是否超出已知的三维地图的方法流程图；

图5b为本发明实施例提供的包含跟踪目标的二维图像的示意图；

图5c为本发明实施例提供的计算虚拟目标点位置的方法流程图；

图6为本发明实施例提供的移动载具与跟踪目标在世界坐标系中相对位置关系的示意图；

图7为本发明实施例提供的电子设备的结果示意图。

【具体实施方式】

为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。需要说明的是，当元件被表述“固定于”另一个元件，它可以直接在另一个元件上、或者其间可以存在一个或多个居中的元件。当一个元件被表述“连接”另一个元件，它可以是直接连接到另一个元件、或者其间可以存在一个或多个居中的元件。本说明书所使用的术语“上”、“下”、“内”、“外”、“底部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。

除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

此外，下面所描述的本发明不同实施例中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

“目标跟踪”是无人移动载具依靠其搭载的多种传感器设备采集获得的测量数据信息，实现对外部环境的感知并在指定跟踪目标的情况下，跟随跟踪目标移动以完成各类工作任务的过程。

图1为本发明实施例提供的目标跟踪方法的应用场景。如图1所示，在该应用场景中，包括了移动载具10、跟踪目标20、智能终端30以及无线网络40。

移动载具10可以是以任何类型的动力驱动的无人移动载具(在图1中以无人机为例)，包括但不限于无人机、AGV以及其他类型的机器人等。其可以根据实际情况的需要，具备相应的体积或者动力，从而提供能够满足使用需要的载重能力、移动速度以及续航里程等。

移动载具10上搭载有各种类型的设备或者功能模块，以实现相应的功能，满足不同场景下的使用需求，包括但不限于传感器设备、抓取机构或者清扫机构等。在本实施例中，移动载具10上至少搭载有用于探测深度信息的深度传感器和采集二维图像信息的图像采集设备，以保证对于外部环境的感知能力。

跟踪目标20是用于引导移动载具10移动的目标对象。其具体可以是任何类型的物体或者设备，只需要能够被移动载具10的深度传感器和图像采集设备检测即可。

智能终端30是位于用户侧，用于实现用户50交互的智能化设备，包括但不限于机、平板电脑和智能遥控器。其可以通过无线网络40与移动载具10和/或跟踪目标20建立通信连接，以实现对移动载具10和跟踪目标20之间的数据传输(如下发控制指令或者接收上传的数据信息)。

智能终端30装配有一种或者多种不同的用户交互装置，用以采集用户指令或者向用户展示和反馈信息。这些交互装置包括但不限于：按键、显示屏、触摸屏以及扬声器。例如，智能终端30可以装配有触控显示屏，通过该触控显示屏选定移动载具10的跟踪目标，或者操作跟踪目标20移动从而引导移动载具10，还可以接收移动载具10在目标跟踪过程中产生的数据信息。

无线网络40可以是基于任何类型的数据传输原理，用于建立两个节点之间的数据传输信道的无线通信网络，例如位于特定信号频段的蓝牙网络、WiFi网络、无线蜂窝网络或者其结合。

应当说明的是，图1所示的应用场景仅用于示例性说明。本领域技术人员可以根据实际情况的需要，添加或者减省其中的一个或者多个设备，而不限于图1所示。

图2为本发明实施例提供的移动载具10的结构框图。如图2所示，该移动载具10可以包括：载具本体110，驱动机构120以及控制器130。

其中，载具本体110是移动载具的主体部分。其具体的结构设置取决于实际使用的移动载具，可以是任何材质或者形状的主体结构。为确保对外界的感知能力，在载具本体110上设置有用于采集点云信息的深度传感器140以及用于采集二维图像信息的图像采集设备150。

“点云信息”是深度传感器采集获得，包含深度信息的三维位置信息。而二维图像是相对于点云信息而言的，只能提供二维位置信息的彩色图像或者其他合适类型的图像。具体使用的深度传感器可以根据实际情况的需要而确定，例如双目相机，结构光相机，tof，激光雷达等。

驱动机构120是用于输出动力，驱动所述载具本体110移动的动力系统，例如电动机、电池以及传动机构组成的电力驱动机构120。具体使用的驱动机构120可以根据实际情况的需要而选定，在此不作限制。例如，驱动机构120决定了移动载具10能够具有的加速度、最大速度等的机动性指标，可以据此选择符合使用要求的驱动机构。

控制器130是具有逻辑运算能力，能够基于内部存储的计算机程序执行一系列的运算步骤并输出对应的数据信息的电子计算平台。其作为整个移动载具的控制核心，可以基于接收所述深度传感器采集的点云信息和所述图像采集设备采集的二维图像信息，采用预先设置好的目标跟踪方法，发送相应的控制指令至所述驱动机构120，使移动载具保持对跟踪目标的跟踪。

如图2所示，移动载具10对于外界的感知能力来自于其搭载的深度传感器140和图像采集设备150。由于深度传感器140的测量范围是有限的，因此，在如图1所示的实际应用过程中，若跟踪目标超出了深度传感器140的测量范围，移动载具10将无法感知跟踪目标而导致跟踪失败的结果。

为提升跟踪算法的鲁棒性，避免跟踪失败的发生，控制器130可以在执行目标跟踪方法时，利用已有的知识和可以利用的检测结果，构建合适的虚拟目标点来保持跟踪的继续进行，尽可能的令跟踪目标能够重新回到深度传感器140的检测范围内。

应当说明的是，图2中仅对所述移动载具10的功能模块进行示例性描述，而不用于限制移动载具10所具有的功能模组。技术人员根据实际情况的需要，基于本发明提供的发明思路而对图2所示的移动载具10的改变、替换或者整合均是容易想到的，属于本发明的保护范围之内。

图3为本发明实施例提供的目标跟踪装置的功能框图。该目标跟踪装置可以由上述移动载具的控制器所执行。本领域技术人员可以理解的是，图3所示的模块可以根据实际情况的需要，选择性的通过软件、硬件或者软件和硬件相结合的方式来实现。

如图3所示，该目标跟踪装置300包括：采集模块310、检测模块320、虚拟目标点生成模块330、路径规划模块340以及展示跟踪模块350。

其中，采集模块310用于采集跟踪目标的位置信息。如图2所示的，采集模块310的位置信息可以来自于深度传感器和图像采集设备。在给定跟踪目标的情况下，可以通过任何合适的方式从深度传感器和图像采集设备提供的原始数据中筛选获得跟踪目标的位置信息。

其中，深度传感器可以提供的位置信息是三维的，可以包含深度信息，但是探测距离有限。而图像采集设备只能提供二维平面上的相对位置信息，无法确定跟踪目标的深度。

检测模块320用于判断所述跟踪目标是否超出已知的三维地图。检测模块320是一个实时运行的模块，在跟踪过程中持续的对跟踪目标进行检测。当然，检测模块320也可以选择合适长短的检测周期以降低占用的资源。

“已知的三维地图”是控制器130通过深度传感器采集的点云信息所构建的，移动载具周边的情况，例如是否存在障碍物等。亦即，该已知的三维地图代表了深度传感器的探测范围。

具体可以选择使用任何形式的三维地图表示方法，例如八叉树，体素，网格图以及直接点云图等，只需要能够表示移动载具周边物体的三维空间关系即可。

虚拟目标点生成模块330用于在所述三维地图的边界生成与所述跟踪目标处于同一方向的虚拟目标点。该虚拟目标点生成模块330在检测模块320检测到跟踪目标超出了三维地图(即离开深度传感器的探测范围)后被启用，从而暂时为跟踪算法提供一个新的跟踪目标。

路径规划模块340用于在所述跟踪目标超出已知的三维地图时，根据所述跟踪目标在所述三维地图中的三维位置，规划第一跟踪路径，并且在所述跟踪目标没有超出已知的三维地图时，根据所述虚拟目标点的三维位置，规划第二跟踪路径。

在本实施例中，可能存在两种不同的情况。其一是跟踪目标没有脱离已知的三维地图，此时路径规划模块340可以直接以跟踪目标为依据进行路径规划。其二是跟踪目标脱离了已知的三维地图，此时路径规划模块340则使用虚拟目标点作为路径规划的依据。

为了区分上述的两种情况，在本实施例中使用“第一跟踪路径”和“第二跟踪路径”来表示使用跟踪目标和虚拟目标点为依据获得的路径。本领域技术人员可以根据实际情况的需要，选择使用任何合适类型的路径规划算法。

跟踪模块350用于沿所述第一跟踪路径或第二跟踪路径移动以跟踪所述跟踪目标。基于路径规划模块340提供的跟踪路径，跟踪模块350可以输出相应的控制指令，控制驱动机构从而使移动载具按照该跟踪路径移动，实现对跟踪目标的跟踪。

在一些实施例中，跟踪模块350可以使用“追击”的模式对脱离已知的三维地图的跟踪目标进行跟踪。具体而言，跟踪模块350用于控制移动载具10在沿所述第二跟踪路径移动时，增加移动速度直至达到最大移动速度或者检测模块320确定所述跟踪目标没有超出所述三维地图。

通过这样的方式，可以尽快的缩短移动载具10与跟踪目标20之间的距离，使其重新进入到深度传感器的检测范围内，有效的提升了鲁棒性，避免了跟踪失败的情况发生。

本发明实施例提供的目标跟踪装置，通过虚拟目标点构建模块提供的虚拟目标点，可以在跟踪目标暂时脱离检测范围时仍然保持跟踪算法的运行，尽可能的使跟踪目标重回传感器的量程范围内，从而有效的克服了深度传感器量程对于自动追踪算法的限制。

虽然，图1所示的应用场景中以应用在无人机为例。但是，本领域技术人员可以理解的是，该目标跟踪装置还可以在其它类型的场景和设备中使用，以提高目标跟踪算法的鲁棒性而不限于在图1所示的场景中应用。

基于图3所示的目标跟踪装置，本发明实施例还提供了一种目标跟踪方法。图4为本发明实施例提供的目标跟踪方法的方法流程图。如图4所示，该目标跟踪方法包括如下步骤：

410、采集跟踪目标的位置信息。

其中，“跟踪目标”可以用户设定或者预先指定的任何种类的目标对象，包括但不限于特定的人、动物、车辆、船只或者飞行器等。“位置信息”是指跟踪目标20与移动载具10之间的相对位置关系。通常的，移动载具10可以通过深度传感器获取三维的位置信息，通过图像采集设备的图像信息获取二维的位置信息。

420、判断所述跟踪目标是否超出已知的三维地图。若否，执行步骤430，若是，执行步骤440。

“三维地图”是移动载具10通过深度传感器检测得到的，与周边物体之间的空间位置关系。当然，已知的三维地图范围大小取决于深度传感器的探测范围，也可以认为是深度传感器的探测范围。

具体可以通过任何合适的方式，判断跟踪目标是否已经超出或者离开了已知的三维地图。在一些实施例中，如图5a所示，该判断方法可以包括如下步骤：

421、通过图像采集设备采集包含跟踪目标的二维图像，并且通过深度传感器获取对应的点云信息。

其中，如图5b所示，所述跟踪目标在所述二维图像上所占的区域作为目标框A。具体可以通过任何类型的计算机视觉算法从二维图像中筛选生成该目标框。

422、确定每一个所述点云信息在所述二维图像上对应的目标像素。点云信息作为包含三维信息的数据，可以通过坐标系转换和投影转换等一系列操作步骤，映射到二维图像上。

具体的，点云信息到目标像素的转换过程可以通过如下步骤完成：

首先，将所述点云信息通过第一转换矩阵，转换为在所述图像采集设备的坐标系下的三维位置信息。该第一转换矩阵由深度传感器和图像采集设备两者之间的相对位置所确定。

然后，通过所述图像采集设备的内参矩阵，将所述三维位置信息投影到所述二维图像中，获得对应的目标像素。

423、判断处于所述目标框内的所述目标像素的数量是否大于预设阈值。若是，执行步骤424，若否，执行步骤425。

预设阈值是一个经验性数值，可以根据实际情况，由技术人员通过实验等方式验证确定。

424、确定所述跟踪目标没有超出已知的三维地图。

425、确定所述跟踪目标超出已知的三维地图。

在本实施例中，处于目标框的目标像素数量较少，两者之间的重合度较小表明了深度传感器采集到的点云信息中已经基本不包含跟踪目标的数据。因此，可以认为此时跟踪目标已经超出了检测范围，即超出了已知的三维地图。

430、根据所述跟踪目标在所述三维地图中的三维位置，规划第一跟踪路径。

其中，在跟踪目标没有超出检测范围时，跟踪算法没有异常，不需要进行特别处理。因此，可以以跟踪目标为基础，采用现有任何合适的路径规划算法规划获得所需的跟踪路径。

440、在所述三维地图的边界生成与所述跟踪目标处于同一方向的虚拟目标点。

其中，在跟踪目标超出检测范围的情况下，则需要提供一个暂时性的虚拟目标以替代真实的跟踪目标。“虚拟目标点”是在三维地图的边界上的点，具有与真实跟踪目标相同的方向，这样可以保证移动载具在跟踪时的移动方向是正确的。

本领域技术人员可以理解的是，该虚拟目标点为跟踪目标与移动载具之间的方向射线与探测范围之间的交点。在一些实施例中，可以通过如下步骤计算获得：

首先，获取所述跟踪目标在所述二维图像中的二维位置信息。如图5b所示，跟踪目标通常在二维图像中占据有一定的面积(即目标框)。因此，该二维位置信息具体可以是跟踪目标中任何合适的，具有代表性的像素所在的位置。例如，可以是跟踪目标的重心或者中心所在的像素点。

其次，根据所述二维位置信息以及所述图像采集设备的内参矩阵，生成与所述跟踪目标处于同一方向上的参考点。“参考点”是跟踪目标的二维位置信息重新映射到三维空间的点。

由于缺少深度信息，因此实际上可以选择使用的，与二维位置信息对应的参考点存在无数个。具体可以选择选择使用任何的深度信息。在实际操作中，为运算简便，可以选择深度信息为1时，与二维位置信息的参考点。

再次，通过所述参考点与所述三维地图的中心，确定所述跟踪目标所在的方向。如图1所示，该三维地图的中心即移动载具10所在的原点位置。与跟踪目标类似的是，也可以使用移动载具10的重心，深度传感器的安装位置等表示移动载具10，作为三维地图的中心。

具体的，该跟踪目标所在的方向可以通过单位向量的方式来表示，为了计算获得该单位向量，可以首先通过第二转换矩阵，将所述参考点转换为世界坐标系中的三维位置信息，与中心保持统一。然后，将所述参考点与所述三维地图的中心的三维位置信息相减，获得所述跟踪目标所在方向的单位向量。

最后，计算在所述跟踪目标所在的方向上的射线与所述三维地图的边界的交点，作为所述虚拟目标点。该射线是指从移动载具10为起点，沿跟踪目标20向外延伸的直线。由此，计算确定该射线与三维地图的边界在三维空间中的交点即可获得该虚拟目标点。

具体的，如图5c所示，可以通过如下步骤计算得到虚拟目标点：

510、求解所述三维地图的中心在所述单位向量的方向上，与所述三维地图的边界之间的目标距离。

在一些实施例中，可以通过如下方式该目标距离：

分别计算所述三维地图的中心在在所述单位向量的方向上，与所述三维地图的边界之间的距离在所述世界坐标系的X轴上的第一投影长度，所述三维地图的中心在在所述单位向量的方向上，与所述三维地图的边界之间的距离在所述世界坐标系的Y轴上的第二投影长度以及所述三维地图的中心在在所述单位向量的方向上，与所述三维地图的边界之间的距离在所述世界坐标系的Z轴上的第三投影长度。

然后，选择所述第一投影长度、第二投影长度以及第三投影长度之中长度最短的作为所述目标距离。

520、通过所述目标距离和所述单位向量，确定所述虚拟目标点在所述世界坐标系中的三维位置信息。

在已知方向和距离的情况下，即可计算得到虚拟目标点的三维位置信息(即在世界坐标系中的三轴坐标)。

通过上述方式计算获得的虚拟目标点具有稳定性强的特点，可以提供较好的指引效果，并支持长时间进行虚拟目标点跟踪。因此，可以满足目标长时间不在探测范围内的情况的使用需求，也可作为深度传感器在远距离探测精度不高时的替代方案，避免深度传感器的错误探测结果的干扰。

450、根据所述虚拟目标点的三维位置，规划第二跟踪路径。

在确定虚拟目标点以后，可以采用与步骤430相同或者不同的路径规划算法，规划获得对应的跟踪路径。

460、沿所述第一跟踪路径或所述第二跟踪路径移动。

其中，“第一跟踪路径”和“第二跟踪路径”仅用于区分说明步骤430和步骤450，而不用于限定具体的路径。在实际操作过程中，对生成的跟踪路径并不作区分，只需通过控制驱动机构使移动载具沿跟踪路径移动即可。

本发明实施例提供的目标跟踪方法在跟踪目标超出了传感器量程或者已知的三维地图范围时，仍然可以进行路径规划，保持对跟踪目标的追击，并尽可能的使跟踪目标重回深度传感器的量程范围内。其有效的克服了深度传感器对于自动追踪算法的限制，具有良好的应用前景。

为充分说明本发明实施例提供的目标跟踪方法，以下结合图1所示的应用场景，对基于虚拟目标点的路径规划过程进行详细描述。

一、关于跟踪目标是否超出已知的三维地图的判断：

首先，通过算式(1)将深度传感器获得的原始点云信息(x,y,z)转换为图像采集设备的坐标系下的点云信息(x`,y`,z`)。

其中，T为深度传感器到图像采集设备(如彩色相机)的转换矩阵。转换矩阵T可以通过移动载具上的各类传感器(加速度计、惯性测量元件、GPS模块等)和深度传感器安装位置计算获得。

然后，通过算式(2)将图像采集设备的坐标系下的三维点云信息(x`,y`,z`)投影到二维图片上，确定与点云信息对应的像素点(u,v)。

其中，k矩阵为彩色相机的内参矩阵，可以通过单目相机标定技术确定。

最后，在确定对应的像素点(u,v)后，可以计算处于目标框内的像素个数。当像素点的数量超过预设阈值，并且对应的三维点在三维地图范围内时，可以判断跟踪目标在三维地图内。反之，则判定跟踪目标超出三维地图范围。

二、关于生成虚拟目标点：

首先，在本实施例中，可以以目标框的中心点作为跟踪目标在二维图像上的二维位置信息，表示为Pc＝(u，v)。

由于此时深度传感器已无法获取深度信息。因此，可以设在目标方向射线上深度为单位1的点为参考点，表示为

二维位置信息与参考点之间的关系可以通过如下算式(3)所示：

P_c＝k×P_x′(3)

其中，k为图像采集设备的内参矩阵。

在本实施例中，

在已知k和二维位置信息后，可以计算得出如下算式(4)所示的参考点：

通过如下算式(5)，将Pc`从图像采集设备坐标系转换至世界坐标系：

Pc″＝T×Pc′(5)

其中，T为图像采集设备坐标系至世界坐标系的转换矩阵。世界坐标系是以移动载具为原点的坐标系。

如图6所示，在世界坐标系中，设移动载具的中心所在的坐标O(Xo,Yo,Zo)。虚拟目标点P为射线

与已知三维地图边界的交点，可以通过如下算式(6)表示：

其中，射线

可以通过已知的参考点Pc``和移动载具的中心O相减后求解获得，如下算式(7)所示：

而K为线段|op|的长度，可以根据移动载具的中心O与三维地图的边界之间的垂直距离计算得出(由深度传感器的探测距离决定)。

以0.5dm表示移动载具的中心O与边界的垂直距离，K存在如下的3个可能解：

K₁、K₂、K₃分别表示所述三维地图的中心在所述单位向量的方向上，与所述三维地图的边界之间的距离在所述世界坐标系的X轴、Y轴和Z轴上的投影长度。

分别求得X，Y，Z轴上的投影长度，选择3个可能解中最小作为线段|op|的长度，具体可以通过如下算式(8)表示：

k＝min{k₁，k₂，k₃},(k_n>0)   (8)

总结而言，将上述算式(4)，(5)，(7)以及(8)代入算式(6)后，可以得到虚拟目标点P的坐标，通过如下算式(9)表示：

P＝(1-k)O+kTP_c′

图7示出了本发明实施例的电子设备的结构示意图，本发明具体实施例并不对电子设备的具体实现做限定。

如图7所示，该电子设备可以包括：处理器(processor)702、通信接口(Communications Interface)704、存储器(memory)706、以及通信总线708。

其中：处理器702、通信接口704、以及存储器706通过通信总线708完成相互间的通信。通信接口704，用于与其它设备比如客户端或其它服务器等的网元通信。处理器702，用于执行程序710，具体可以执行上述目标跟踪方法实施例中的相关步骤。

具体地，程序710可以包括程序代码，该程序代码包括计算机操作指令。

处理器702可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。网络切片设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器706，用于存放程序710。存储器706可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序710具体可以用于使得处理器702执行上述任意方法实施例中的目标跟踪方法。

本领域技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的示例性的目标跟踪方法的各个步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。

本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。所述的计算机软件可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (11)

1.一种目标跟踪方法，其特征在于，包括：

采集跟踪目标的位置信息；

判断所述跟踪目标是否超出已知的三维地图；

若否，根据所述跟踪目标在所述三维地图中的三维位置，规划第一跟踪路径；

沿所述第一跟踪路径移动以跟踪所述跟踪目标；

若是，在所述三维地图的边界生成与所述跟踪目标处于同一方向的虚拟目标点；

根据所述虚拟目标点的三维位置，规划第二跟踪路径；

沿所述第二跟踪路径移动以跟踪所述虚拟目标点。

2.根据权利要求1所述的方法，其特征在于，所述判断所述跟踪目标是否超出已知的三维地图，具体包括：

通过图像采集设备采集包含跟踪目标的二维图像，并且通过深度传感器获取对应的点云信息；

将所述跟踪目标在所述二维图像上所占的区域作为目标框；

确定每一个所述点云信息在所述二维图像上对应的目标像素；

在处于所述目标框内的所述目标像素的数量大于预设阈值时，确定所述跟踪目标没有超出已知的三维地图；

在处于所述目标框内的所述目标像素的数量小于等于预设阈值时，确定所述跟踪目标超出已知的三维地图。

3.根据权利要求2所述的方法，其特征在于，所述确定每一个所述点云信息在所述二维图像上对应的目标像素，具体包括：

将所述点云信息通过第一转换矩阵，转换为在所述图像采集设备的坐标系下的三维位置信息；

通过所述图像采集设备的内参矩阵，将所述三维位置信息投影到所述二维图像中，获得对应的目标像素。

4.根据权利要求2所述的方法，其特征在于，所述在所述三维地图的边界生成与跟踪目标处于同一方向的虚拟目标点，具体包括：

获取所述跟踪目标在所述二维图像中的二维位置信息；

根据所述二维位置信息以及所述图像采集设备的内参矩阵，生成与所述跟踪目标处于同一方向上的参考点；

通过所述参考点与所述三维地图的中心，确定所述跟踪目标所在的方向；

计算在所述跟踪目标所在的方向上的射线与所述三维地图的边界的交点，作为所述虚拟目标点。

5.根据权利要求4所述的方法，其特征在于，所述通过所述参考点与所述三维地图的中心，确定所述跟踪目标所在的方向，具体包括：

通过第二转换矩阵，将所述参考点转换为世界坐标系中的三维位置信息；

将所述参考点与所述三维地图的中心的三维位置信息相减，获得所述跟踪目标所在方向的单位向量。

6.根据权利要求5所述的方法，其特征在于，所述计算在所述跟踪目标所在的方向上的射线与所述三维地图的边界的交点，作为所述虚拟目标点，具体包括：

求解所述三维地图的中心在所述单位向量的方向上，与所述三维地图的边界之间的目标距离；

通过所述目标距离和所述单位向量，确定所述虚拟目标点在所述世界坐标系中的三维位置信息。

7.根据权利要求6所述的方法，其特征在于，所述求解所述三维地图的中心在所述单位向量的方向上，与所述三维地图的边界之间的目标距离，具体包括：

计算所述三维地图的中心在在所述单位向量的方向上，与所述三维地图的边界之间的距离在所述世界坐标系的X轴上的第一投影长度；

计算所述三维地图的中心在在所述单位向量的方向上，与所述三维地图的边界之间的距离在所述世界坐标系的Y轴上的第二投影长度；

计算所述三维地图的中心在在所述单位向量的方向上，与所述三维地图的边界之间的距离在所述世界坐标系的Z轴上的第三投影长度；

选择所述第一投影长度、第二投影长度以及第三投影长度之中长度最短的作为所述目标距离。

8.根据权利要求1所述的方法，其特征在于，所述沿所述第二跟踪路径移动以跟踪所述虚拟目标点，具体包括：

在沿所述第二跟踪路径移动时，增加移动速度直至达到最大移动速度或者确定所述跟踪目标没有超出所述三维地图。

9.一种目标跟踪装置，其特征在于，包括：

采集模块，用于采集跟踪目标的位置信息；

检测模块，用于判断所述跟踪目标是否超出已知的三维地图；

虚拟目标点生成模块，用于在所述三维地图的边界生成与所述跟踪目标处于同一方向的虚拟目标点；

路径规划模块，用于在所述跟踪目标超出已知的三维地图时，根据所述跟踪目标在所述三维地图中的三维位置，规划第一跟踪路径，并且在所述跟踪目标没有超出已知的三维地图时，根据所述虚拟目标点的三维位置，规划第二跟踪路径；

跟踪模块，用于沿所述第一跟踪路径或第二跟踪路径移动以跟踪所述跟踪目标。

10.一种电子设备，其特征在于，包括：处理器以及与所述处理器通信连接的存储器；

所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器调用时，以使所述处理器执行如权利要求1-8任一项所述目标跟踪方法。

11.一种移动载具，其特征在于，包括：

载具本体，所述载具本体上设置有用于采集点云信息的深度传感器以及用于采集二维图像信息的图像采集设备；

驱动机构，所述驱动机构用于输出动力，驱动所述载具本体移动；

控制器，用于接收所述深度传感器采集的点云信息和所述图像采集设备采集的二维图像信息，并执行如权利要求1-8任一项所述的目标跟踪方法，通过所述驱动机构，控制所述移动载具保持对跟踪目标的跟踪。

Images