CN115328212A - 一种基于无人机吊舱的目标追踪方法及装置 - Google Patents

Abstract

本发明公开了一种基于无人机吊舱的目标追踪方法，包括步骤：对拍摄组件实时拍摄的图像数据进行处理，以判断运动目标当前是否在拍摄组件的拍摄视野内，若是，从图像数据中获取运动目标的运动信息，并根据当前运动轨迹和当前运动状态预测运动目标在第一预设时间段内的第一运动轨迹，根据第一运动轨迹调整拍摄组件的拍摄姿态，以使运动目标在拍摄组件的拍摄视野内；否则，控制无人机沿运动目标当前的进行路径继续飞行第二预设时间，且当经过第二预设时间后，再次判断出运动目标当前不在拍摄组件的拍摄视野内，机载计算机控制无人机根据预存的最高优先级的备选行径路径调整飞行航向，以及拍摄组件的拍摄姿态，以使运动目标在拍摄组件的拍摄视野内。

Description

一种基于无人机吊舱的目标追踪方法及装置

背景技术

飞行器，如无人飞行器(UAV)，可以搭载负载用以执行特殊的功能，如通过搭载摄像装置以捕获周围环境的影像，因此，经常用于执行监控、侦察、军事和民用的探索任务。

随着无人机近年来的不断发展，其应用场景越来越广泛，在电力巡线、交通救援、灾难救援等场景中发挥了巨大作用。例如，在灾难救援，不仅可以获取地面或低空的重要信息，如图像、地形、运动物体等信息，还可从中提取待救援目标精确的定位信息，以便于追踪待救援目标等任务。在一些情况下，甚至需要无人机持续追踪目标，尤其是，持续追踪运动目标的行进方向。

传统的运动目标追踪，是通过用户操作的远程控制终端或者设备发出的控制指令所实现，需要大量的人工参与。一方面，人工追踪的方式，在某些情况下可能会遇到困难，如由于运动目标与无人机都是处于运动状态，尤其是当运动目标的速度较快时，时常会因其运动超出拍摄视野而难于持续追踪；或者运动目标被遮挡。另一方面，人工追踪方式需要专门人员的持续专注力，以控制无人机所搭载的拍摄组件，然而，拍摄组件实际上与控制无人机飞行的用户相分离的，这就增加了无人机的空中摄影及其它应用的成本；并且救援工作都是争分夺秒的，并且都是山区或地理环境较为恶劣，行进路线比较艰险的，因此，若让运动目标随身携带无人机的遥控器等配件，这无疑增加了运动目标的工作。

有鉴于此，当前亟需一种能够自动持续追踪运动目标的方法。

发明内容

为部分地或一定程度地克服上述问题，本发明提供了一种基于无人机吊舱的目标追踪方法及装置，其能够在灾后救援等复杂环境下的运动目标的持续追踪。

本发明提供了一种目标追踪方法，其包括步骤：

S0，机载计算机对拍摄组件实时拍摄的图像数据进行处理，以判断待追踪的运动目标当前是否在所述拍摄组件的拍摄视野内，若是，执行步骤S1，否则，执行步骤S2；

S1，机载计算机从所述图像数据中获取所述运动目标的运动信息，并根据所述运动信息中的当前运动轨迹和当前运动状态预测所述运动目标在第一预设时间段内的第一运动轨迹，执行步骤S3；

S2，机载计算机控制无人机沿运动目标当前的进行路径继续飞行第二预设时间，且当经过第二预设时间后，再次判断出所述运动目标当前不在所述拍摄组件的拍摄视野内，执行步骤S4；

S3，机载计算机根据所述第一运动轨迹调整所述拍摄组件的拍摄姿态，以使所述运动目标在所述拍摄组件的拍摄视野内；

S4，机载计算机控制所述无人机根据预存的最高优先级的备选行径路径调整飞行航向，以及所述拍摄组件的拍摄姿态，以使所述运动目标在所述拍摄组件的拍摄视野内。

在一些实施例中，所述步骤S1具体包括步骤：

机载计算机以所述图像数据的中心为原点构建二维坐标系，得到所述运动目标在所述图像数据中的第一相对位置；

机载计算机根据所述第一相对位置、所述无人机的当前实际位置和当前飞行速度计算得到所述运动目标相对于所述无人机的第二相对位置和相对速度；

根据所述第二相对位置和所述相对速度计算所述运动目标的当前坐标位置、当前速度和当前运动轨迹。

在一些实施例中，所述步骤S1具体包括步骤：

机载计算机以所述图像数据的中心为原点构建二维坐标系，得到所述运动目标在所述图像数据中的第一相对位置；

机载计算机根据所述第一相对位置计算得到所述运动目标的当前坐标位置；

机载计算机根据所述运动目标的当前坐标位置和历史坐标位置计算得到所述运动目标的当前速度和当前运动轨迹。

在一些实施例中，计算所述运动目标的当前坐标位置的步骤，具体包括步骤：

获取拍摄组件当前的拍摄角度，并根据所述拍摄角度和所述第一相对位置，得到无人机的方位角；

获取所述图像数据中所述运动目标的像素大小，并根据所述像素大小计算得到所述运动目标与所述无人机的相对距离；

根据所述方位角和所述相对距离计算得到所述运动目标的当前坐标位置。

在一些实施例中，计算所述运动目标的当前速度的步骤，具体包括步骤：根据所述飞行速度和所述相对速度计算所述运动目标的当前速度。

在一些实施例中，计算所述运动目标的当前运动轨迹的步骤，具体包括步骤:根据在第二预设时间段内拍摄得到的每一张图像数据中所述运动目标的第一相对位置计算得到所述运动目标的相对运动轨迹。

在一些实施例中，根据所述当前运动轨迹和当前运动状态预测第一预设时间段内的第一运动轨迹的步骤，具体包括步骤：根据所述运动目标的当前运动轨迹与当前运动状态，将所述运动目标在所述图像数据中速度划分为水平、垂直两个速度分量；将速度分量最大梯度变化方向确定运动轨迹。

在一些实施例中，所述方法还包括步骤：机载计算机根据所述拍摄组件实时拍摄的图像数据对所述拍摄姿态进行修正。

在一些实施例中，所述方法还包括步骤：机载计算机根据所述运动信息和所述拍摄组件最新的拍摄姿态预测所述运动目标在第二预设时间段内的第二运动轨迹；机载计算机根据所述第二运动轨迹调整飞行航线，以保证持续追踪。

在一些实施例中，所述方法还包括步骤：机载计算机根据无人机的飞行数据、所述拍摄组件实时拍摄的图像数据，以及所述拍摄组件最新的拍摄姿态实时修正所述无人机的飞行航线。

在一些实施例中，对所述拍摄组件的拍摄姿态进行修正的步骤，具体包括步骤：机载计算机根据所述拍摄组件实时拍摄的图像数据计算所述运动目标当前的实际位置；机载计算机计算所述实际位置与所述第一运行轨迹中的预测位置之间的偏差；机载计算机根据所述偏差重新调整所述拍摄组件的拍摄姿态。

在一些实施例中，对所述无人机的飞行航线进行调整的步骤，具体包括步骤：机载计算机获取所述拍摄组件最新的拍摄姿态；机载计算机判断所述拍摄姿态中的姿态角是否为最大姿态角；若所述姿态角为最大姿态角，机载计算机根据所述拍摄组件实时拍摄的图像数据计算所述运动目标当前的实际位置；机载计算机计算所述实际位置与所述第二运行轨迹中的预测位置之间的偏差；机载计算机根据所述偏差重新调整所述无人机的飞行航线。

本发明的第二方面，在于提供一种目标追踪装置，其特征在于，包括：数据获取模块，用于获取拍摄组件实时拍摄的图像数据；第一数据处理模块，用于对所述数据获取模块所获取的图像数据进行处理，以判断待追踪的运动目标当前是否在所述拍摄组件的拍摄视野内；第二数据处理模块，用于当所述第一数据处理模块判断出所述运动目标当前在所述拍摄组件的拍摄视野内时，从所述图像数据中获取所述运动目标的运动信息，并根据所述运动信息中的当前运动轨迹和当前运动状态预测所述运动目标在第一预设时间段内的第一运动轨迹；第三数据处理模块，用于当所述第一数据处理模块判断出所述运动目标当前不在所述拍摄组件的拍摄视野内时，控制无人机沿所述运动目标当前的进行路径继续飞行第二预设时间；第四数据处理模块，用于根据所述第二数据处理模块预测得到的所述第一运动轨迹调整所述拍摄组件的拍摄姿态，以使所述运动目标在所述拍摄组件的拍摄视野内；第五数据处理模块，用于判断经过第二预设时间后，所述运动目标是否再次出现在所述拍摄组件的拍摄视野内，且当判断出所述运动目标不在所述拍摄组件的拍摄视野内时，控制所述无人机根据预存的最高优先级的备选行径路径调整飞行航向，以及所述拍摄组件的拍摄姿态，以使所述运动目标在所述拍摄组件的拍摄视野内。

有益效果：针对灾后救援，且地理环境复杂的场景来说，通过无人机追踪运动目标能够实时将运动目标当前的行进情况以及所遇到的困难实时记录下来，也可实时反馈，从而为后续进行分析，或者指挥部做决策提供有力参考。

通过预先在无人机中预存了运动目标的进行路径和备选行径路径(也即备选救援路径，或备选追踪路径)，使得无人机能够根据预存的进行路径或备选行径路径进行持续跟踪，相较于传统的通过人工远程操控无人机的方式，无需操控人员持续地专注于控制无人机持续跟踪；而相较于由运动目标操控无人机跟踪的方式，也无需配置专门的技术人员跟随运动目标等运动目标，使得专门的技术人员可执行其他任务，从规划的角度来说，能够实现合理分配，并且，也无需运动目标随身携带操控无人机配件，一定程度上降低了运动目标的工作。

另一方面，相较于通过无人机搭载的机载计算机采用神经网络算法来预测运动目标的运动轨迹，或者，采用复杂的神经网络算法来确定运动目标的进行路径，虽然使得无人机的智能性得到提高，但这需要无人机搭载高配置、较大体积的机载计算机，这不仅会增加无人机的造价成本和自重、体积，也会对无人机的飞行高度和飞行性能造成影响，从而使得这类无人机不适用于在山区、山谷环境等灾后复杂地理环境的运动目标进行持续追踪，因为，在这种复杂环境下，其不仅要求无人机能够持续跟踪，同时还要求无人机具有较小的体积和较轻的自重，这样才能够在山谷、森林等地理环境进行运动目标的追踪；基于此，本发明采用完全不同的发明构思，即不采用神经网络等复杂的算法进行预测，而是提供一种即使相对低配置的机载计算机也能够运行的算法来进行预测。

当然，本发明的目标追踪方法也可应用于其他复杂地理环境下的运动目标的持续追踪，比如边境巡逻等对于复杂环境下的大面积高空目标搜索追踪。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明一示例性实施例的一种目标追踪方法的流程示意图；

图2为本发明一具体实施例的一种目标追踪方法的流程示意图；

图3为反应确定备选路径的示意图；

图4为评估目标跟踪算法过程中标签框和预测框的示意图；

图5为本发明一示例性实施例的目标跟踪算法与九组对照组目标跟踪算法的成功率对比示意图；

图6为本发明一示例性实施例的目标跟踪算法与九组对照组目标跟踪算法的精度对比示意图；

图7为本发明一示例性实施例的目标跟踪算法与九组对照组目标跟踪算法的成功率和精度试验数据表；

图8为本发明一示例性的目标跟踪装置中引导降落装置的功能模块图；

图9为本发明一示例性的目标跟踪方法中引导降落方法的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本文中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

参见图1，为本发明一示例性实施例的目标追踪方法的流程示意图，具体地，该目标追踪方法包括步骤：

S100，机载计算机对拍摄组件实时拍摄的图像数据进行处理，以判断所有追踪的运动目标当前是否在所述拍摄组件的拍摄视野内，若是，执行步骤S101，否则，执行步骤S102。

在一些实施例中，该机载计算机对拍摄组件所实时拍摄的图像数据进行的处理包括图像识别，从而根据图像识别结果来判断运动目标当前是否在拍摄组件的拍摄视野内。具体地，当该图像数据中出现运动目标，则认为运动目标在该拍摄组件的拍摄视野内。

S101，机载计算机从该图像数据中获取运动目标的运动信息，并根据该运动信息中的当前运动轨迹和当前运动状态预测该运动目标在第一预设时间段内的第一运动轨迹，执行步骤S103。

在一些实施例中，该运动信息包括：运动目标当前的实际位置、当前速度和当前运动轨迹、当前运动状态等。其中，该运动目标当前的实际位置是指当前时刻t1在世界三维坐标系中，运动目标在这个坐标系中的三维坐标(X_t1,Y_t1,Z_t1)。

在一些实施例中，可利用深度学习等图像数据方法来处理该拍摄组件所拍摄得到的图像数据或视频数据，从而得到运动目标在图像中的第一相对位置，即以所拍摄图像的中心点为坐标原点建立二维坐标系，而运动目标在这个图像中的二维坐标(x_t，y_t1)，然后将该运动目标在图像中的二维坐标转换为世界坐标系中的三维坐标，也即得到运动目标的实际位置。具体可采用现有的坐标系转换方法得到相应的三维坐标。

在一些实施例中，可根据运动目标当前的三维坐标和历史三维坐标(即过去一段时间内所拍摄得到的多张图像进行上述图像处理得到的各个三维坐标，也即历史实际位置)，以及运动目标从该历史实际位置行进到当前实际位置的时间，计算得到运动目标的当前速度(优选，平均速度)；并根据各个历史三维坐标得到当前运动轨迹。例如，获取连续计算一段时间内(即当前时刻t1之前的一段时间)的多张图像中运动目标的二维坐标对应的三维坐标，连线得到该运动目标的当前运动轨迹。

在另一些实施例中，利用深度学习等图像数据方法来处理该拍摄组件所拍摄得到的图像数据或视频数据，得到运动目标的二维坐标(x_t，y_t1)，即第一相对位置后，根据该第一相对位置计算出运动目标相对于无人机的第二相对位置和相对速度(即救援小组的当前速度V1与无人机的飞行速度V2之间差值的绝对值)，进而推算出该运动目标当前的坐标位置、当前速度和当前运动轨迹等。

具体地，由于拍摄组件是固定在无人机上(例如，吊舱固定在无人机上)，因此，拍摄组件与无人机之间的位置关系是已知的；而运动目标在当前时刻t1对应的拍摄图像中的二维坐标(即第一相对位置)是已知的，据此可推算出运动目标相对无人机的第二相对位置：1)根据运动目标在拍摄图像中的坐标和拍摄组件的拍摄角度(例如，吊舱的角度)就可以推算出运动目标相对于无人机的方位角θ；2)根据运动目标在拍摄图像中的像素大小和该运动目标的实际尺寸大小推算得到该运动目标与无人机之间的相对距离L，从而根据该方位角θ和相对距离L推算得到该第二相对位置。

其中，当前运动轨迹是指截止至当前时刻t1，运动目标运动的轨迹。具体地，由于可根据当前时刻t1对应的单张图像计算出运动目标时刻t1在图像中的第一相对位置，因此，可连续计算一段时间内(即当前时刻t1之前的一段时间)的多张图像中运动目标的第一相对位置，从而根据该多张图像中运动目标的坐标位置得到该运动目标的当前运动轨迹。

当然，在另一些实施例中，机载计算机也可根据运动目标的运动信息预测该运动目标在第一预设时间段T1内的第一运动轨迹。具体地，该第一预设时间段T1通常为0.5-1s，优选1s。

在一些实施例中，根据运动目标的当前运动轨迹与当前运动状态(包括速度和运动方向)，可将运动目标在当前图像中的当前速度分解为水平、垂直两个速度分量，从而可根据该运动目标的速度分量最大梯度变化方向预测未来一段时间内的运动轨迹，例如，预估出目标下一秒的运动轨迹。

S102，机载计算机控制无人机沿运动目标当前的行进路径继续飞行第二预设时间，且当经过第二预设时间后，再次判断运动目标是否在该拍摄组件的拍摄视野内，若是，执行步骤S101，否则，执行步骤S104。

为了能够追踪救援小组等运动目标的同时，兼顾周围环境和路况，通常无人机具有一定的飞行高度，因此，当运动目标在预定的进行路径行进过程中，可能会进入隧道，或者茂密丛林，从而被遮挡物所遮挡，而此时无人机又不方便或无法紧密跟随，这就会导致救援小组短暂消失在拍摄视野中，但经过短暂的时间就又会重新出现在拍摄组件的拍摄视野内，因此，当判断出救援小组不再拍摄视野内时，仍按照既定的进行路径、既定的飞行速度继续追踪，且经过第二预设时间(例如，3-5分钟)后，救援小组再次出现在拍摄视野内时，就继续沿该进行路径进行追踪，当然，若救援小组还没有出现在拍摄视野内时，则说明救援小组可能遇到困难，选择了备选救援路径。

S103，机载计算机根据该第一运动轨迹调整拍摄组件的拍摄姿态，以使得运动目标在该拍摄组件的拍摄视野内。

S104，机载计算机控制无人机根据预存的备选行径路径调整飞行航向，以及拍摄组件的拍摄姿态，以使得运动目标在该拍摄组件的拍摄视野内。

在一些实施例中，机载计算机中预存了多条备选行径路径，具体地，为了降低机载计算机的计算量和功耗，可预先直接对该机载计算机中预存的多条备选行径路径的优先级进行标记，例如，当救援小组在进行过程中遇到困难无法沿当前的进行路径继续行进时，需要转换到最高优先级的备选行径路径(如备选救援路径)上去，因此，当经过第二预设时间后，机载计算机再次判断出运动目标仍不在拍摄组件的拍摄视野内时，直接将最高优先级的备选行径路径作为当前追踪路径，从而调整飞行航向和拍摄组件的拍摄姿态。

其中，各个备选行径路径的优先级是预先综合评估通往目的地的各条路径所需预估耗时、救援物资运输难易程度(例如，能否通车)，以及安全性等各项预估指标得到的。

当然，在另一些实施例中，由于救援过程中突发状况太多，运动目标可能不会按照上述优先级的顺序来选择行进路径，而是直接选择最近的备选路径，相应地，该步骤S104具体包括步骤：

获取运动目标最近一次出现在该拍摄组件的拍摄视野时，运动目标所在的历史实际位置；例如，上一时刻运动目标的实际位置；

根据该历史实际位置从多条备选行径路径中确定出最近的备选行径路径；例如，以该历史实际位置为原点，出现在预设半径的圆形区域内的备选行径路径(即距离该原点最近的备选行径路径，参见图3)；由于山区、峡谷等地理环境恶劣，本身备选路径就比较少，因此，预先筛选的各个备选路径都不会太靠近，因此，通常不会存在同时有两条备选路径(也即备选行径路径)在该圆内；

将该最近的备选行径路径作为当前追踪路径，以调整飞行航向以及所述拍摄组件的拍摄姿态，以使所述运动目标在所述拍摄组件的拍摄视野内。

众所周知，直线距离最短，例如图3中，由于原点到备选行径路径上的B点之间距离最短，也即B点最近，因此，通常将B点作为救援小组切换路线时的行进目标，相应地，也将该B点作为无人机在备选行径路径上的追踪起始点，并且，无人机需要先飞行至B点等候救援小组。

本实施例中，通过预设设置备选行径路径的优先级，或者，预设半径，以及将B点作为救援小组切换路线时的行进目标，一方面是为了避免机载计算机进行大量复杂的计算(例如，由机载计算机结合深度学习算法从多个备选行径路径选择出最佳的一条备选行径路径)，以及避免机载计算机从单一角度(例如距离的角度)做出决策，使得决策出现片面性(例如，忽略了救援小组成员和装配情况，以及周围环境情况等等因素)和随机性(也意味着不可靠)而导致提升跟踪目标丢失的可能性，另一方面，也使得无人机的能够尽快地知晓消失的救援小组的行进目标或进行路径，从而一定程度上提升了持续追踪的效率，也即在无人机的智能性(影响机载计算机的功耗)、无人机持续追踪的效率和救援小组灵活性(如救援小组灵活选择切换路线时的进行目标)等多方面之间取得一个平衡。

进一步地，为了提高追踪的精准度，在另一些实施例中，当步骤S103中调整拍摄组件的拍摄姿态后，还可包括步骤：

S105，根据调整拍摄姿态后该拍摄组件实时拍摄的图像数据来修正该拍摄组件的拍摄姿态。

在一些实施例中，该步骤S105具体包括步骤：机载计算机根据所述拍摄组件实时拍摄的图像数据计算所述运动目标当前的实际位置；机载计算机计算所述实际位置与所述第一运行轨迹中的预测位置之间的偏差；机载计算机根据所述偏差重新调整所述拍摄组件的拍摄姿态。

更进一步地，由于吊舱有固定的姿态角范围，当运动到最大姿态角时，吊舱就无法继续跟踪，运动目标会超出吊舱图像范围，因此，需要控制无人机移动达到持续跟踪目的。故而，在另一些实施例中，该方法还包括步骤：

S106，机载计算机根据上述运动信息和拍摄组件最新的拍摄姿态预测运动目标在未来第二预设时间段内的第二运动轨迹。

在一些实施例中，该第二预设时间段为0.5-1s。

S107，机载计算机根据第二运动轨迹调整飞行航线，以保证持续追踪。

在另一些实施例中，为了进一步提高追踪的准确度，该方法还包括步骤:

S108，机载计算机根据拍摄组件实时拍摄的图像数据实时修正无人机的飞行航线。

更一步地，在另一些实施例中，为了进一步提高追踪的准确度，该方法还包括步骤:机载计算机根据无人机的飞行数据、拍摄组件实时拍摄的图像数据，以及拍摄组件最新的拍摄姿态实时修正无人机的飞行航线。具体地包括步骤：对所述无人机的飞行航线进行修正的步骤，具体包括步骤：机载计算机获取所述拍摄组件最新的拍摄姿态；机载计算机判断所述拍摄姿态中的姿态角是否为最大姿态角；若所述姿态角为最大姿态角，机载计算机根据所述拍摄组件实时拍摄的图像数据计算所述运动目标当前的实际位置；机载计算机计算所述实际位置与所述第二运行轨迹中的预测位置之间的偏差；机载计算机根据所述偏差重新调整所述无人机的飞行航线。

下面以无人机通过吊舱搭载摄像机为例，结合说明书附图2，对本发明的目标追踪方法进行详细的说明。

S001，机载计算机从无人机所搭载的吊舱中实时获取摄像机所拍摄的图像数据，并对所获取的图像数据进行目标识别和捕获，得到待追踪运动目标的运动信息。

S002，根据步骤S001所得到的运动信息预测运动目标下一秒的第一运动轨迹。

S003，机载计算机根据步骤S002得到的第一运动轨迹调整吊舱的姿态角，以使运动目标在吊舱的拍摄视野内。

比如，当运动目标在图像中以中心点为原点，向Y轴上方运动，即修改吊舱俯仰角，吊舱抬头，保证运动目标在图像中心附近位置；或者，修改吊舱的左右航向角，以保证运动目标在图像中心附近位置。

S004，机载计算机从吊舱中获取调整拍摄姿态后该吊舱实时拍摄的图像数据，并根据图像数据实时修正吊舱的姿态角。

在一些实施例中，一方面，由于预测的误差，另一方面由于运动目标本身的运动状态可能是变化的，例如，突然改变运动方向，或者突然加快或降低运动速度，都可能会导致运动目标的实际运动轨迹与预测的运动轨迹有所偏差，因此，当调整拍摄组件的拍摄姿态后，还需要根据拍摄组件实时拍摄的图像数据来修正拍摄姿态。例如，调整拍摄组件的拍摄姿态后，立即根据拍摄组件当前所拍摄的图像数据来计算运动目标当前的实时位置，然后计算该实时位置与预测的第一运动轨迹中该运动目标的预估位置之间的偏差，并根据该偏差来重新调整拍摄组件的拍摄姿态。

S005，机载计算机根据运动信息和吊舱最新的拍摄姿态预测运动目标下一秒的第二运动轨迹。

S006，机载计算机根据第二运动轨迹调整飞行航线，以保证持续追踪。

S007，机载计算机获取吊舱实时拍摄的图像数据，并根据图形数据实时修正无人机的飞行航线。

S008，机载计算机获取无人机的飞行数据，并根据该飞行数据和吊舱实时拍摄的图像数据，对无人机的飞行航线进行实时修正。

为了评估本发明的目标追踪方法的性能，分别从持续追踪成功率和精度、速度三个指标将该方法与现有目标追踪方法进行比较。

基于OPE(One Pass Evaluation，一次通过评估法)的重叠分数(overlap score，以下简称OS)和中心位置误差(Center Location Error，以下简称CLE)来评估目标跟踪算法的成功率和精度。具体地，利用第一帧的真实标签框来初始化算法，后续帧中的预测框完全由目标跟踪算法输出得到，从而比较标签框和预测框的差异，可以绘制精度和成功率曲线来评估跟踪器的性能。

参见图4，首先计算标签框A^gt和算法输出的预测框A^gt的交并比(Intersection ofUnion,以下简称为IoU)作为每一帧的OS，公式具体如下：

其中，|·|表示计算该区域的像素个数，通过比较每帧的OS与预先设置的阈值可判定该帧是否成功。总成功帧与所有帧的比值表示在该阈值设置下的成功率。在绘制成功率曲线时，横坐标代表设置的阈值(其取值范围是从0到1)，纵坐标代表对应阈值下的成功率。在评估时计算曲线下面积，面积越大者代表算法的性能越强。

对于精度，参见图4，应在每一帧中计算CLE，CLE由标签框的中心点C^gt算法预测框的中心点C^gt之间的距离定义，公式如下所示：CLE＝‖C^gt-C^pr‖, (2)

其中，‖·‖表示两点之间的欧几里得距离。通过计算每个视频帧的CLE，精度指标表示为距离误差小于阈值的帧数与总帧数的比率。与成功率图类似，横坐标表示像素距离阈值(其取值范围是从0到50)，纵坐标代表对应阈值下的精度。在通常情况下，阈值设置为20像素，即CLE＝20像素时的距离精度(distance precision，简称为DP)。

利用上述方法分别以本实施例的目标跟踪方法作为实验组与现有其他9种目标追踪方法(如LightTrack、SiamAPN、SiamAPN++、SiamRPN_mobileV2、SiamRPN_ex、SiamFC++、SiamBAN、SiamCAR)为对照组进行评估得到的精度图和跟踪成功率图分别为图5和图6，以及三个参数的评估结果如图7。由图5、图7和图7可知，本实施例的目标跟踪方法的成功率最高，精度也是最佳之一，也即能够最好地进行目标的持续跟踪。

基于上述的目标追踪方法，本发明还提供了一种目标追踪装置，其包括：

数据获取模块，用于获取拍摄组件实时拍摄的图像数据；

第一数据处理模块，用于对所述数据获取模块所获取的图像数据进行处理，以判断待追踪的运动目标当前是否在所述拍摄组件的拍摄视野内；

第二数据处理模块，用于当所述第一数据处理模块判断出所述运动目标当前在所述拍摄组件的拍摄视野内时，从所述图像数据中获取所述运动目标的运动信息，并根据所述运动信息中的当前运动轨迹和当前运动状态预测所述运动目标在第一预设时间段内的第一运动轨迹；

第三数据处理模块，用于当所述第一数据处理模块判断出所述运动目标当前不在所述拍摄组件的拍摄视野内时，控制无人机沿所述运动目标当前的进行路径继续飞行第二预设时间；

第四数据处理模块，用于根据所述第二数据处理模块预测得到的所述第一运动轨迹调整所述拍摄组件的拍摄姿态，以使所述运动目标在所述拍摄组件的拍摄视野内；

第五数据处理模块，用于判断经过第二预设时间后，所述运动目标是否再次出现在所述拍摄组件的拍摄视野内，且当判断出所述运动目标不在所述拍摄组件的拍摄视野内时，控制所述无人机根据预存的最高优先级的备选行径路径调整飞行航向，以及所述拍摄组件的拍摄姿态，以使所述运动目标在所述拍摄组件的拍摄视野内。

在一些实施例中，该第一数据处理模块具体用于以所述图像数据的中心为原点构建二维坐标系，得到所述运动目标在所述图像数据中的第一相对位置；根据所述第一相对位置、所述无人机的当前实际位置和当前飞行速度计算得到所述运动目标相对于所述无人机的第二相对位置和相对速度；根据所述第二相对位置和所述相对速度计算所述运动目标的当前坐标位置、当前速度和当前运动轨迹；或者，用于以所述图像数据的中心为原点构建二维坐标系，得到所述运动目标在所述图像数据中的第一相对位置；根据所述第一相对位置计算得到所述运动目标的当前坐标位置；根据所述运动目标的当前坐标位置和历史坐标位置计算得到所述运动目标的当前速度和当前运动轨迹。

在另一些实施例中，该目标追踪装置还包括第六数据处理模块，用于根据无人机的飞行数据、拍摄组件实时拍摄的图像数据，以及所述拍摄组件最新的拍摄姿态实时修正所述无人机的飞行航线。

在另一些实施例中，当无人机在备选路径上(的B点)未等到运动目标出现(例如，机载计算机判断出无人机在B点等到15-30分钟，运动目标仍未出现)，或者临时接收到其他任务指令(例如，取到某个目的地进行侦查)时，或者机载计算机判断出由电源检测模块检测到的无人机剩余电量达到预设阈值时，该机载计算机发送控制指令给无人机飞行控制器，以控制该无人机前往指定的降落点等待，以避免无人机丢失。由于复杂环境下，容易收到信号干扰，或信号丢失等情况，因此，需要对无人机降到落指定降落地的降落过程进行分阶段导航。

在一些实施例中，预先安装在无人机上集成引导降落装置，参见图8，其包括机载计算机11、惯性导航模块12、卫星定位模块13、无线电引导模块14、视觉引导模块15，以及用于发射无线电信号的第一地面信标16和用于发射光学信号的第二地面信标17，其中，机载计算机11与无人机的飞行控制器电连接，用于向飞行控制器发送相应的控制指令，以及接收飞行控制器反馈的飞行数据，例如，飞行高度；惯性导航模块12分别与上述机载计算机11和飞行控制器电连接，用于通过该飞行控制器引导无人机向目的地降落；卫星定位模块13与上述机载计算机11和飞行控制器电连接，用于对无人机进行实时定位；无线电引导模块14与上述机载计算机11电连接，用于接收第一地面信标16发射的无线电信号；视觉引导模块15与上述机载计算机11电连接，用于接收第二地面信标17发射的光学信号。

在一些实施例中，该机载计算机11用于从飞行控制器或卫星定位模块中获取无人机的当前飞行高度等飞行数据，并判断当前飞行高度是否小于或等于第一预设高度阈值，且大于第二预设高度阈值，若大于该第一预设高度阈值，发送第一控制指令至卫星定位模块13，以控制该卫星定位模块13反馈实时定位数据(例如，无人机的实时坐标)，并根据该实时定位数据对惯性导航模块12引导下的降落航线进行实时纠正，即由该卫星定位模块来辅助惯性导航模块引导无人机向目的地降落。

具体地，该机载计算机11根据实时定位数据生成表示实时校正降落航线的第二控制指令，并发送至飞行控制器，由该飞行控制器根据该第二控制指令对无人机的飞行航线/飞行轨迹进行实时校正。

在一些实施例中，当判断出当前飞行高度小于或等于第一预设高度阈值，且大于第二预设高度阈值时，该机载计算机11还用于启动无线电引导模块14，并周期性地获取无线电引导模块14所接收的由第一地面信标16所发射的无线电信标信号，并根据该无线电信标信号周期性地对无人机的航向进行纠正；具体地，机载计算机11根据该无线电信号判断无人机是否偏离降落航向，若是，生成并发送第三控制指令至飞行控制器，以控制无人机停止降落，并对无人机航向进行纠正后再降落。

具体地，根据无线电引导模块所接收到的无线电信标信号强度可计算得到无线电信标，即第一地面信号与无人机相对位置。

以无人机为坐标原点构建三维坐标系，通过无线电引导，可以得到无线电信标，即第一地面信标相对于原点(即无人机)的方位角，根据该方位角进行移动飞行，假如以一秒为一个控制周期，无人机每飞行一秒，对比前后测量的方位角是否一致，若存在角度误差，修正飞行航线。

在一些实施例中，当判断出当前飞行高度小于或等于第二预设高度阈值时，该机载计算机11发送第四控制指令至视觉引导模块15，以启动视觉导航模块15辅助惯性导航模块引导无人机向目的地降落；具体地，该机载计算机11获取视觉导航模块15所接收的第二地面信标发射的光学信号，并根据该光学信息进行数据处理，得到第五控制指令，并发送至飞行控制器，以控制无人机向目的地降落。

在一些实施例中，信标位置只需知道与降落点的距离与方位角，及相对位置，不需要设置在降落点附近。

在一些实施例中，视觉引导模块可以通过地形匹配，来引导无人机飞行，但降落精度有限，需融合卫星定位模块进行导航，或融合惯性导航模块进行导航。

在一些实施例中，该机载计算机采用轻型，且性能不高的机载计算机。

参见图9，基于该引导降落装置，无人机的引导降落方法包括步骤：

S201，机载计算机实时获取无人机的当前飞行高度，并判断当前飞行高度是否小于或等于第一预设高度阈值，且大于第二预设高度阈值，若大于第一预设高度阈值，执行步骤S202，若小于或等于第一预设高度阈值，且大于第二预设高度阈值，执行步骤S203，若小于或等于第二预设高度阈值执行步骤S204。

在一些实施例中，机载计算机从无人机的飞行控制器或卫星定位模块中获取到无人机的当前飞行高度。

在一些实施例中，该第一预设高度阈值和第二预设高度阈值是预先根据降落点的当前地理环境所设置的。

当然，在另一些实施例中，以第一地面信标所发射的无线电信号的传播极限距离为第一预设高度阈值，以第二地面信标所发射的光学信标信号的传播极限距离为第二预设高度阈值。

例如，当飞行高度超过该第一预设高度阈值时，则无人机上的无线电引导模块将接收不到该第一地面信号所发射的无线电信标信号，若飞行高度小于或等于该第一预设高度阈值时，则无人机上的无线电引导模块将接收到第一地面信号所发的无线电信标信号。当然，在无人机下降过程中，也可直接以是否首次接收到第一地面信标所发射的无线电信标信号为准，即若首次接收到第一地面信号所发射的无线电信标信号，则执行步骤S203。

又如，当飞行高度超过该第二预设高度阈值时，则无人机上的视觉引导模块将接收不到该第二地面信号所发射的光学信标信号，若飞行高度小于或等于该第二预设高度阈值时，则无人机上的视觉引导模块将接收到第二地面信号所发的光学信标信号。当然，在无人机下降过程中，也可直接以是否首次接收到第二地面信标所发射的光学信标信号为准，即若首次接收到第二地面信号所发射的无线电信标信号，则执行步骤S204。

一旦无人机进入降落阶段，机载计算机即开始实时获取无人机的飞行高度，并将当前飞行高度与预设的两个高度阈值进行比较，且只有当飞行高度大于预设高度阈值时，才启动惯性导航模块以引导无人机降落，而在无人机进入降落阶段之前，无人机的可由现有技术中任何一种引导方式下进行飞行。

S202，机载计算机实时获取卫星定位模块的实时定位数据，并根据该定位数据实时校正无人机的降落航线，执行步骤S201。

在一些实施例中，若无人机当前的飞行高度大于第一预设高度阈值，说明无人机当前还处于高空阶段，此阶段，由于不受降落点地理环境的影响，卫星定位信号非常强，因此，根据卫星定位模块的实时定位数据，例如，无人机的实时坐标，来对无人机在惯性导航模块引导下的飞行航线/降落航线进行实时纠正。

在一些实施例中，机载计算机获取到的实时定位数据，如无人机的坐标，并根据该实时定位数据生成相应的导航命令发送至无人机的飞行控制器，由飞行控制器执行该导航命令，并实时修正降落航线。

S203，机载计算机周期性地获取无线电引导模块所接收到的第一地面信标发射的无线电信标信号，并根据该无线电信标信号纠正无人机的降落航向，执行步骤S201。

在一些实施例中，若无人机当前的飞行高度小于或等于第一预设高度阈值，但大于第二预设高度阈值，说明无人机当前处于中空阶段，此阶段，无人机进入第一地面信标的通信范围，也即无线电引导模块可以接收到第一地面信标所发射的无线电信标信号，因此，机载计算机启动该无线电引导模块，并周期性地获取该无线电引导模块所接收到的无线电信号，然后根据无线电信标信号判断无人机是否偏离航向，若是，生成第五控制指令并发送至飞行控制器，以控制无人机停止降落，并纠正航向；若未偏离，无操作，使得无人机继续在惯性导航模块的引导下降落，且当机载计算机判断出无人机降落至上述第二预设高度阈值时，生成相应的控制指令，以启动视觉引导模块来辅助惯性导航模块引导无人机降落。也即是说，即在利用卫星定位模块进行实时纠正的同时，通过无线电引导模块周期性地进行纠正，从而进一步提高引导的精确度和可靠性。

本实施例中，通过无线电测向技术来判断无人机是否偏离航向，具体地，可根据接收到的无线电信号强度来判断无线电信标，即第二地面信标与无人机的相对位置，从而可根据该相对位置判断出该无人机是否偏离航向。

S204，机载计算机启动视觉引导模块接收第二地面信标发射的光学信标信号，并根据该光学信标信号引导无人机向目的地降落。

在一些实施例中，若无人机的飞行高度小于第二预设高度，说明无人机当前处于低空阶段，此阶段，由于地理环境的影响，卫星信号以及无线电信号都可能受到地面干扰而丢失数据，或者发生异常，从而导致卫星定位模块和无线电引导模块无法正常使用，因此，该机载计算机发送表示启动视觉引导模块的控制指令，以启动该视觉引导模块接收第二地面信标的光学信标信号(当然，相应地关闭了卫星定位模块和无线电引导模块)，并从该视觉引导模块中获取该光学信标信号，然后对该光学信标信号进行数据处理，得到第三控制指令，然后发送至无人机的飞行控制器，以控制无人机降落。也即，当无人机下降至一定的高度时，由视觉引导模块辅助惯性导航模块引导无人机降落。

本实施例的引导降落方法无需预先设置停机位和合作灯阵等，并且在降落的不同阶段采用不同的模块来辅助惯性导航模块，例如，低空阶段，只采用视觉引导模块辅助惯性导航模型进行引导(避免干扰信号或无信号的影响)；中空阶段，利用卫星定位模块和无线电引导模块分别对惯性导航进行实时纠正和周期性纠正；高空阶段，利用卫星定位模块对惯性导航模块进行实时纠正。

当然，在另一些实施例中，若预先存储了降落点的卫星图像或高空拍摄图像，当启动视觉引导模块后，也可通过将视觉引导模块所拍摄的图像与预存在卫星图像或高空拍摄的图像进行对比，从而根据对比结果来对惯性导航模块进行纠正。

在另一些实施例中，当步骤S201中判断出当前飞行高度小于或等于第一预设高度阈值，且大于第二预设高度阈值(当然，此时该第二预设高度阈值并不是第二地面信标的通信距离极限，而是根据当前降落点的物理环境设置的，且当高于该第二预设高度阈值时，视觉引导模块也能够接收到光学信标信号)时，启动无线电引导模块的同时，也启动视觉导航模块接收光学信标信号，以根据所述光学信标信号对所述无人机在所述惯性导航模块引导下的降落航线进行纠正。

相应地，当无人机下降至第二预设高度阈值时，机载计算机直接控制关闭无线电引导模块和卫星定位模块，而只保留视觉引导模块来辅助惯性导航模块即可。

在引导降落过程中，采用分阶段利用不同的模块进行引导或辅助引导，例如，当无人机处于降落的高空阶段时，由于卫星信号不会受到干扰，因此，通过卫星定位模块的定位数据来实时校正无人机的飞行航线，当无人机处于降落的中空阶段时，由于能够接收到无线电信号，因此，通过卫星定位模块实时校正的同时，通过无线电引导模块所接收的无线电信号周期性地纠正无人机的降落航向，不仅一定程度上避免了只采用惯性导航模块时产生的误差，并且通过实时校正航线和定期纠正航向，确保无人机未偏离既定的降落航线，而当无人机在降落过程中，处于低空阶段，即其飞行高度下降至第二预设高度阈值时，由于卫星定位模块受到地理环境影响，非常微弱，甚至无信号，而无线电引导模块也容易受到干扰或误导，因此，为了避免干扰或误导等导致无人机偏航，关闭卫星定位模块和无线电引导模块，直接采用最直观的视觉引导模块来辅助惯性导航模型进行引导，提高了在复杂环境下降落的精确度和可靠性。并且由于进入低空阶段时已经根据视觉引导模块进行辅助引导，且低空阶段通常只有几百米的高度，因此，即使在进入低空阶段后突发大雾或大雨等干扰视线的情况，也能够在惯性导航模块的引导下进行降落。

通常，在环境恶劣的救灾区域，由于无人机本身要携带物资等，因此，要求无人机的自重不能够太重，若通过采集大量的图像数据并进行处理，甚至将图像数据与其他数据进行结合处理，这势必就需要无人机搭载高性能的机载计算机，而高性能的机载计算机势必会比一般的机载计算机的运算单元要多，也即其自重要相较于一般的机载计算机自重要重，从而限制了无人机所能够承载物资的重量。

并且，无需预先在降落点的位置精确的设置停机位和合作灯阵等引导设施，避免了在灾后需要救援的阶段耗费人力和财力去修建停机位等引导装置，也能够避免修建过程中因突发余震或山体滑坡等突发情况而导致的安全事故；并且在降落的不同阶段，采用不同的引导模块来辅助惯性导航模块进行引导，避免低空阶段或靠近降落点被干扰或信号丢失而导致无法进行多模数据融合计算，进而无法继续引导的情况，保证了复杂环境下引导降落的稳定性。

通过在无人机降落的各个阶段合理分配各个模块(例如，飞行高度大于第一预设高度阈值时，利用卫星定位模块和惯性导航模块进行引导，小于第一预设高度阈值，但大于第二预设高度阈值时，利用卫星定位模块和无线电模块分别对惯性导航模块引导下的降落航线进行实时纠正和周期性纠正，而飞行高度小于或等于第二预设高度阈值时，则直接采用视觉引导模块辅助惯性导航模块进行引导)，降低无人机整体能耗，从而使得无人机具有更长的巡航时间，进而能够一次性执行更多任务或者不同类型的任务，提高工作效率，例如，在投放完物资后进行搜救任务，从而提高了救援效率。

通过在无人机靠近目的地，也即飞行高度小于或等于第二预设高度阈值时，则采用视觉引导模块来辅助惯性导航模块引导无人机，避免了无线电干扰而导致无人机误降落的情况。

本公开的实施例的目标追踪方法可以应用于多种电子设备。示例性的，该电子设备例如可以为：移动手机、平板电脑(Tablet Personal Computer)、数码相机、个人数字助理(personal digital assistant，简称PDA)、导航装置、移动上网装置(MobileInternetDevice，MID)、可穿戴式设备(Wearable Device)、以及其他能够进行对象编辑的设备等。此外，本公开的实施例的对象编辑方案不仅可以作为输入法的一个功能，也可以作为电子设备的操作系统的一个功能而实施。

在上述实施例中，可以全部或部分的通过软件，硬件，固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式出现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本公开的实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质，(例如，软盘，硬盘、磁带)、光介质(例如，DVD)或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

一般而言，本公开的各种示例实施例可以在硬件或专用电路、软件、逻辑，或其任何组合中实施。某些方面可以在硬件中实施，而其他方面可以在可以由控制器、微处理器或其他计算设备执行的固件或软件中实施。例如，在一些实施例中，本公开的各种示例(例如方法、装置或设备)可以部分或者全部被实现在计算机可读介质上。当本公开的实施例的各方面被图示或描述为框图、流程图或使用某些其他图形表示时，应理解此处描述的方框、装置、系统、技术或方法可以作为非限制性的示例在硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备，或其某些组合中实施。

本公开还提供了存储在非瞬态计算机可读存储介质上的至少一种计算机程序产品。计算机程序产品包括计算机可执行指令，计算机可执行指令诸如包括在目标的物理或者虚拟处理器上的器件中执行的程序模块中，用以执行上文描述的示例方法。一般而言，程序模块可以包括例程、程序、库、对象、类、组件、数据结构等，其执行特定的任务或者实现特定的抽象数据结构。在各实施例中，程序模块的功能可以在所描述的程序模块之间合并或者分割。用于程序模块的计算机可执行指令可以在本地或者分布式设备内执行。在分布式设备中，程序模块可以位于本地和远程存储介质二者中。

用于实现本公开的方法的程序代码可以用一种或多种编程语言编写。这些计算机程序代码可以提供给通用计算机、专用计算机或其他可编程的数据处理装置的处理器，使得程序代码在被计算机或其他可编程的数据处理装置执行的时候，引起在流程图和/或框图中规定的功能/操作被实施。程序代码可以完全在计算机上、部分在计算机上、作为独立的软件包、部分在计算机上且部分在远程计算机上或完全在远程计算机或服务器上执行。在本公开的上下文中，计算机程序代码或相关数据可以由任何适当的载体来承载，以使设备、装置或处理器能够执行上文描述的各种过程和操作。载体的示例包括信号、计算机可读介质，等等。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读介质可以包括但不限于电子的、磁的、光学的、电磁的、红外的或半导体系统、装置或设备，或其任何合适的组合。机器可读存储介质的更详细示例包括带有一根或多根导线的电气连接、便携式计算机磁盘、硬盘、随机存储存取器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式压缩盘只读存储器(CD-ROM)、光存储设备、磁存储设备，或其任何合适的组合。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台计算机终端(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种基于无人机吊舱的目标追踪方法，其特征在于，所述目标为在复杂环境下处于运动状态的运动目标，所述方法包括步骤：

S0，机载计算机对拍摄组件实时拍摄的图像数据进行处理，以判断待追踪的运动目标当前是否在所述拍摄组件的拍摄视野内，若是，执行步骤S1，否则，执行步骤S2；

S1，机载计算机从所述图像数据中获取所述运动目标的运动信息，并根据所述运动信息中的当前运动轨迹和当前运动状态预测所述运动目标在第一预设时间段内的第一运动轨迹，执行步骤S3；

S2，机载计算机控制无人机沿运动目标当前的进行路径继续飞行第二预设时间，且当经过第二预设时间后，再次判断出所述运动目标当前不在所述拍摄组件的拍摄视野内时，执行步骤S4；

S3，机载计算机根据所述第一运动轨迹调整所述拍摄组件的拍摄姿态，以使所述运动目标在所述拍摄组件的拍摄视野内；

S4，机载计算机控制所述无人机根据预存的最高优先级的备选行径路径调整飞行航向，以及所述拍摄组件的拍摄姿态，以使所述运动目标在所述拍摄组件的拍摄视野内。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1具体包括步骤：

机载计算机以所述图像数据的中心为原点构建二维坐标系，得到所述运动目标在所述图像数据中的第一相对位置；

机载计算机根据所述第一相对位置、所述无人机的当前实际位置和当前飞行速度计算得到所述运动目标相对于所述无人机的第二相对位置和相对速度；

根据所述第二相对位置和所述相对速度计算所述运动目标的当前坐标位置、当前速度和当前运动轨迹。

3.根据权利要求1所述的方法，其特征在于，所述步骤S1具体包括步骤：

机载计算机以所述图像数据的中心为原点构建二维坐标系，得到所述运动目标在所述图像数据中的第一相对位置；

机载计算机根据所述第一相对位置计算得到所述运动目标的当前坐标位置；

机载计算机根据所述运动目标的当前坐标位置和历史坐标位置计算得到所述运动目标的当前速度和当前运动轨迹。

4.根据权利要求2所述的方法，其特征在于，计算所述运动目标的当前坐标位置的步骤，具体包括步骤：

获取拍摄组件当前的拍摄角度，并根据所述拍摄角度和所述第一相对位置，得到无人机的方位角；

获取所述图像数据中所述运动目标的像素大小，并根据所述像素大小计算得到所述运动目标与所述无人机的相对距离；

根据所述方位角和所述相对距离计算得到所述运动目标的当前坐标位置；和/或，

计算所述运动目标的当前速度的步骤，具体包括步骤：

根据所述飞行速度和所述相对速度计算所述运动目标的当前速度；和/或，

计算所述运动目标的当前运动轨迹的步骤，具体包括步骤:

根据在第二预设时间段内拍摄得到的每一张图像数据中所述运动目标的第一相对位置计算得到所述运动目标的相对运动轨迹。

5.根据权利要求1所述的方法，其特征在于，根据所述当前运动轨迹和当前运动状态预测第一预设时间段内的第一运动轨迹的步骤，具体包括步骤：

根据所述运动目标的当前运动轨迹与当前运动状态，将所述运动目标在所述图像数据中速度划分为水平、垂直两个速度分量；

将速度分量最大梯度变化方向确定运动轨迹。

6.根据权利要求1所述的方法，其特征在于，还包括步骤：

机载计算机根据所述拍摄组件实时拍摄的图像数据对所述拍摄姿态进行修正；和/或，

机载计算机根据所述运动信息和所述拍摄组件最新的拍摄姿态预测所述运动目标在第二预设时间段内的第二运动轨迹；

机载计算机根据所述第二运动轨迹调整飞行航线，以保证持续追踪。

7.根据权利要求2或3所述的方法，其特征在于，还包括步骤：

机载计算机根据无人机的飞行数据、所述拍摄组件实时拍摄的图像数据，以及所述拍摄组件最新的拍摄姿态实时修正所述无人机的飞行航线。

8.根据权利要求7所述的方法，其特征在于，对所述拍摄组件的拍摄姿态进行修正的步骤，具体包括步骤：

机载计算机根据所述拍摄组件实时拍摄的图像数据计算所述运动目标当前的实际位置；

机载计算机计算所述实际位置与所述第一运行轨迹中的预测位置之间的偏差；

机载计算机根据所述偏差重新调整所述拍摄组件的拍摄姿态。

9.根据权利要求7所述的方法，其特征在于，对所述无人机的飞行航线进行调整的步骤，具体包括步骤：

机载计算机获取所述拍摄组件最新的拍摄姿态；

机载计算机判断所述拍摄姿态中的姿态角是否为最大姿态角；

若所述姿态角为最大姿态角，机载计算机根据所述拍摄组件实时拍摄的图像数据计算所述运动目标当前的实际位置；

机载计算机计算所述实际位置与所述第二运行轨迹中的预测位置之间的偏差；

机载计算机根据所述偏差重新调整所述无人机的飞行航线。

10.一种目标追踪装置，其特征在于，包括：

数据获取模块，用于获取拍摄组件实时拍摄的图像数据；

第一数据处理模块，用于对所述数据获取模块所获取的图像数据进行处理，以判断待追踪的运动目标当前是否在所述拍摄组件的拍摄视野内；

第二数据处理模块，用于当所述第一数据处理模块判断出所述运动目标当前在所述拍摄组件的拍摄视野内时，从所述图像数据中获取所述运动目标的运动信息，并根据所述运动信息中的当前运动轨迹和当前运动状态预测所述运动目标在第一预设时间段内的第一运动轨迹；

第三数据处理模块，用于当所述第一数据处理模块判断出所述运动目标当前不在所述拍摄组件的拍摄视野内时，控制无人机沿所述运动目标当前的进行路径继续飞行第二预设时间；

第四数据处理模块，用于根据所述第二数据处理模块预测得到的所述第一运动轨迹调整所述拍摄组件的拍摄姿态，以使所述运动目标在所述拍摄组件的拍摄视野内；

第五数据处理模块，用于判断经过第二预设时间后，所述运动目标是否再次出现在所述拍摄组件的拍摄视野内，且当判断出所述运动目标不在所述拍摄组件的拍摄视野内时，控制所述无人机根据预存的最高优先级的备选行径路径调整飞行航向，以及所述拍摄组件的拍摄姿态，以使所述运动目标在所述拍摄组件的拍摄视野内。

Images