CN110689556A - 跟踪方法、装置及智能设备 - Google Patents

Abstract

本发明提供了一种跟踪方法、装置及智能设备，涉及机器视觉技术领域。该方法包括：基于智能设备的采集图像确定待跟踪的目标物体；根据目标物体在采集图像中的占比获取目标物体的跟踪模板；跟踪模板的分辨率与占比相关；基于跟踪模板对目标物体进行跟踪。本发明能够有效改善智能设备的目标跟踪效果，提升跟踪可靠性。

Description

跟踪方法、装置及智能设备

技术领域

本发明涉及机器视觉技术领域，尤其是涉及一种跟踪方法、装置及智能设备。

背景技术

视觉跟踪技术目前已广泛应用于诸如无人机、无人车、无人船、水下机器人等智能设备中，使此类智能设备能够具有目标追踪等功能，从而更好地应用于航拍、巡检、救援等各个领域。然而，现有智能设备难以达到较好的目标跟踪效果，跟踪失败的情况常有发生，诸如，如果跟踪目标较小或者智能设备距离跟踪目标偏远，则会导致跟踪困难，跟踪可靠性较差。

发明内容

本发明实施例的目的在于提供一种跟踪方法、装置及智能设备，能够有效改善目标跟踪效果，提升跟踪可靠性。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种跟踪方法，该方法应用于智能设备，包括：基于所述智能设备的采集图像确定待跟踪的目标物体；根据所述目标物体在所述采集图像中的占比获取所述目标物体的跟踪模板；所述跟踪模板的分辨率与所述占比相关；基于所述跟踪模板对所述目标物体进行跟踪。

进一步，本发明实施例提供了第一方面的第一种可能的实施方式，其中，基于所述智能设备的采集图像确定待跟踪的目标物体的步骤，包括：对所述智能设备的采集图像进行检测，得到所述采集图像上出现的物体的信息；所述物体的信息包括以下中的一种或多种：物体类别、物体位置、物体与智能设备之间的距离；基于所述物体的信息确定待跟踪的目标物体。

进一步，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述方法还包括：通过自适应语义分割算法获取所述目标物体的边缘轮廓；基于所述边缘轮廓生成所述目标物体的跟踪框。

进一步，本发明实施例提供了第一方面的第三种可能的实施方式，其中，基于所述物体的信息确定待跟踪的目标物体的步骤，包括：在所述采集图像上标注每个所述物体的物体类别，以展示给用户；如果监测到用户针对所述采集图像的第一指定操作，基于所述第一指定操作的操作位置确定待跟踪的目标物体。

进一步，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述方法还包括：如果监测到用户针对所述采集图像的第二指定操作，基于所述第二指定操作的指定位置对所述采集图像进行局部放大，以使所述用户针对局部放大后的所述采集图像执行所述第一指定操作；其中，所述第一指定操作与所述第二指定操作的操作方式不同。

进一步，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述第一指定操作为第一点击操作，所述第二指定操作为第二点击操作，且所述第一点击操作和所述第二点击操作的点击次数不同；或者，所述第一指定操作为第一按压操作，所述第二指定操作为第二按压操作，且所述第一按压操作和所述第二按压操作的按压力度和/或按压时长不同。

进一步，本发明实施例提供了第一方面的第六种可能的实施方式，其中，根据所述目标物体在所述采集图像中的占比获取所述目标物体的跟踪模板的步骤，包括：通过自适应算法选取与所述目标物体在所述采集图像中的占比对应的图像分辨率；基于所述图像分辨率提取所述目标物体的跟踪模板。

进一步，本发明实施例提供了第一方面的第七种可能的实施方式，其中，基于所述跟踪模板对所述目标物体进行跟踪的步骤，包括：基于所述跟踪模板和所述目标物体的物体图像，确定所述目标物体的位置变化信息和尺度变化信息；根据所述位置变化信息和尺度变化信息对所述目标物体进行跟踪。

进一步，本发明实施例提供了第一方面的第八种可能的实施方式，其中，基于所述跟踪模板和所述目标物体的物体图像，确定所述目标物体的位置变化信息和尺度变化信息的步骤，包括：根据所述跟踪模板和所述目标物体的物体图像生成所述目标物体的位置变化信息和物体类别信息；对所述目标物体的物体图像进行多尺度特征提取，基于特征提取结果进行语义分割，得到所述目标物体的语义分割信息；根据所述物体类别信息、所述位置变化信息和所述语义分割信息确定所述目标物体的尺度变化信息。

进一步，本发明实施例提供了第一方面的第九种可能的实施方式，其中，根据所述跟踪模板和所述目标物体的物体图像生成所述目标物体的位置变化信息和物体类别信息的步骤，包括：分别提取所述跟踪模板的第一特征图和所述目标物体的物体图像的第二特征图；比对所述第一特征图和所述第二特征图，生成所述目标物体的位置变化信息和物体类别信息。

进一步，本发明实施例提供了第一方面的第十种可能的实施方式，其中，所述方法还包括：计算所述目标物体的物体图像与所述目标物体的跟踪模板的特征相似度；根据所述目标物体的跟踪模板以及所述目标物体的物体图像，生成所述目标物体的响应图，并基于所述响应图确定响应峰旁比；根据所述特征相似度和所述响应峰旁比判断是否所述目标物体是否跟踪失败；如果是，对所述目标物体进行重检测。

进一步，本发明实施例提供了第一方面的第十一种可能的实施方式，其中，对所述目标物体进行重检测的步骤，包括：对所述采集图像进行全图搜索，查找响应图的相似度大于预设相似度阈值的物体；将查找到的所述物体重新作为待跟踪的目标物体。

进一步，本发明实施例提供了第一方面的第十二种可能的实施方式，其中，所述智能设备包括无人机。

第二方面，本发明实施例提供了一种跟踪装置，该装置应用于智能设备，包括：物体确定模块，用于基于所述智能设备的采集图像确定待跟踪的目标物体；模板获取模块，用于根据所述目标物体在所述采集图像中的占比获取所述目标物体的跟踪模板；所述跟踪模板的分辨率与所述占比相关；物体跟踪模块，用于基于所述跟踪模板对所述目标物体进行跟踪。

第三方面，本发明实施例提供了一种智能设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如第一方面所述的方法的步骤。

第四方面，本发明实施例提供了一种计算机可读介质，其中，所述计算机可读介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令促使所述处理器实现如第一方面所述的方法。

本发明实施例提供了一种跟踪方法、装置及智能设备，能够基于智能设备的采集图像确定待跟踪的目标物体，并根据该目标物体在采集图像中的占比获取该目标物体的跟踪模板(其分辨率与占比相关)，进而基于跟踪模板对目标物体进行跟踪。这种方式可以根据目标物体在采集图像中的占比获取具有与其占比相关的分辨率的跟踪模板，由于该跟踪模板的分辨率与目标物体在图像中的占比相关，因此能够更好地对采集图像中的目标物体进行适应性检测，即便因目标物体较小或者距离智能设备较远而导致目标物体在采集图像中占比偏小，也能利用分辨率与其占比相关的跟踪模板对该目标物体达到较好地跟踪效果，因此本实施例可以有效改善智能设备的目标跟踪效果，提升跟踪可靠性。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种跟踪方法流程图；

图2为本发明实施例提供的一种图像预分析方法流程图；

图3为本发明实施例提供的一种目标物体的智能框选方法流程图；

图4为本发明实施例提供的一种图像分辨率自适应调整方法流程图；

图5为本发明实施例提供的一种基于孪生网络的目标物体尺度与位置计算流程图；

图6为本发明实施例提供的一种跟踪结果验证方法流程图；

图7为本发明实施例提供的一种无人机目标跟踪方法流程图；

图8为本发明实施例提供的一种跟踪装置结构示意图；

图9为本发明实施例提供的一种智能设备结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到现有诸如无人机、无人船、无人车、水下机器人等智能设备的目标跟踪效果较差，跟踪可靠性不高的问题，本发明实施例提供了一种跟踪方法、装置及智能设备，该技术可应用于任何需要智能设备进行目标跟踪的场合，应理解，本发明实施例提及的智能设备可以是任何一种具有计算处理能力的设备、器械或者机器，其智能设备包括但不限于：无人机、无人车、无人船、水下机器人、手持dv、监控设备等，该智能设备还可以与用户终端或者其它智能设备通信。应理解，本发明实施例中主要以智能设备为无人机为例进行说明，在智能设备为其他形式的具体例子可以参见无人机例子的描述，为避免重复，不再赘述。以下对本发明实施例进行详细介绍。

参照如图1所示的跟踪方法流程图，本实施例提供了一种跟踪方法，该方法可以应用于智能设备，诸如，以下以智能设备为无人机为例说明，该方法可以由无人机上设置的用于实现目标跟踪功能的处理器执行，该方法主要包括以下步骤S102～步骤S106：

步骤S102：基于智能设备的采集图像确定待跟踪的目标物体。

在实际应用中，无人机上可搭载有诸如摄像头等图像采集设备，无人机在飞行中通过摄像头获取采集图像。在一种实施方式中，上述无人机可以根据用户预先设定并存储的待跟踪的目标物体信息(诸如，用户预先设定待跟踪的目标物体为车辆并存储有待跟踪车辆的图像)，则可以直接从无人机的采集图像中确定待跟踪的目标物体；在另一种实施方式中，无人机可以将无人机的实时采集图像发送至地面基站或用户终端，以使用户基于地面基站或用户终端确定无人机的采集图像中的待跟踪目标。

步骤S104：根据目标物体在采集图像中的占比获取目标物体的跟踪模板；跟踪模板的分辨率与占比相关。

上述目标物体在采集图像中的占比，可以是目标物体的所占用的像素面积与采集图像的分辨率(像素面积)之间的比值，也可以是目标物体的长度与采集图像的长度之间的比值或目标物体的宽度与采集图像的宽度之间的比值。上述目标物体的跟踪模板为无人机在目标跟踪过程使用的目标物体的模板图像，无人机可以基于目标物体的跟踪模板确定图像中目标物体的位置，在实际应用中，上述目标物体的跟踪模板并非恒定，为了提升跟踪准确性，跟踪模板可以会随着跟踪过程中目标物体的变化而相应调整。

在实际应用中，当采集图像中的目标物体过小时(目标物体的图像分辨率低)，目标物体的跟踪模板中可提取的目标物体特征较少，容易导致跟踪失败，因此，为了提升目标跟踪的稳定性，目标物体的跟踪模板可以随着目标物体在采集图像中的占比变化而变化，具体而言，当目标物体在采集图像中的占比小于预设占比值时，即采集图像中的目标物体的分辨率过小，调整采集图像的分辨率，从调整采集图像分辨率后的采集图像中提取目标物体的跟踪模板，以增大采集图像中目标物体的图像分辨率及目标物体的跟踪模板的图像分辨率，从而可以从目标物体的跟踪模板中提取较多的特征信息；诸如，目标物体的图像分辨率为10*10，而采集图像的分辨率为1024×768，目标物体在采集图像中的占比为(10×10)/(1024×768)＝0.000127，目标物体在采集图像中的占比小于预设占比值，将无人机的采集图像转换为4k图像(分辨率为4096×2160)，从分辨率为4096×2160提取出分辨率较高的目标物体的跟踪模板，解决了目标物体过小时，难以从采集图像中提取较多的目标物体特征信息的问题。

步骤S106：基于跟踪模板对目标物体进行跟踪。

诸如，可以将目标物体的跟踪模板输入目标跟踪算法，以使目标跟踪算法提取跟踪目标的特征信息并学习，该目标跟踪算法可以是模板匹配算法或其他目标跟踪算法(例如，TLD(Tracking-Learning-Detection))跟踪算法或KCF(Kernel Correlation Filter)跟踪算法)，使用目标跟踪算法从采集图像中筛选出与跟踪模板相匹配的物体作为目标物体，对目标物体进行跟踪。

本发明实施例提供的上述跟踪方法，可以根据目标物体在采集图像中的占比获取具有与其占比相关的分辨率的跟踪模板，由于该跟踪模板的分辨率与目标物体在图像中的占比相关，因此能够更好地对采集图像中的目标物体进行适应性检测，即便因目标物体较小或者距离智能设备较远而导致目标物体在采集图像中占比偏小，也能利用分辨率与其占比相关的跟踪模板对该目标物体达到较好地跟踪效果，因此本实施例可以有效改善智能设备的目标跟踪效果，提升跟踪可靠性。

进一步，本实施例提供了一种基于智能设备的采集图像确定待跟踪的目标物体的具体实施方式：首先对智能设备的采集图像进行检测，得到采集图像上出现的物体的信息；物体的信息包括以下中的一种或多种：物体类别、物体位置、物体与智能设备之间的距离；然后基于物体的信息确定待跟踪的目标物体。具体的，可以采用多尺度卷积神经网络对智能设备的采集图像进行预分析，以获得采集图像中出现的物体的数目、物体的位置、物体所属类别及物体的类别数目，此外，还可以基于当前的智能设备姿态信息、采集图像信息及摄像头的内参矩阵，确定物体与智能设备之间的距离。

在实际应用中，参见如图2所示的图像预分析方法流程图，可以采用以下步骤对无人机采集的图像进行预分析，具体可参照以下步骤S202～步骤S208执行：

步骤S202：获取无人机摄像头的采集图像。

步骤S204：使用卷积神经网络算法对无人机的采集图像进行物体检测，并分析图像中物体的信息。上述信息包括物体的数目、物体所属类别及物体的类别数目。

步骤S206：获取无人机当前的位置信息和摄像头的姿态信息(摄像头的俯仰角或水平旋转角度)，根据图像信息、无人机当前的位置信息、摄像头的姿态信息及摄像头的内参矩阵，确定无人机与物体之间的距离。

步骤S208：将采集图像中物体的信息及无人机与物体之间的距离发送至用户终端，以使用户终端显示物体的信息及无人机与物体之间的距离。

考虑到用户手动框选目标物体时，容易出现因框选跟踪框过大而影响跟踪可靠性的问题，本实施例提供的无人机跟踪方法，还包括：通过自适应语义分割算法获取目标物体的边缘轮廓；基于边缘轮廓生成目标物体的跟踪框。由于无人机采集图像中的目标物体过小时，难以准确地框选出目标物体的跟踪框，若跟踪框的分辨率远大于目标物体的分辨率，会导致跟踪框中存在较大面积的背景图像，从而对目标物体的跟踪产生干扰。通过对目标物体进行语义分割获取目标物体的边缘轮廓，可以生成与目标物体大小相匹配的跟踪框，从而提升了目标物体的跟踪可靠性。

考虑到跟踪目标过小时容易导致手动选择目标困难的问题，本实施例提供了基于物体的信息确定待跟踪的目标物体具体实施方式：在采集图像上标注每个物体的物体类别，以展示给用户。如果监测到用户针对采集图像的第一指定操作，基于第一指定操作的操作位置确定待跟踪的目标物体。上述第一指定操作可以是对采集图像执行的单击操作，也可以是其他选择目标物体的手势操作。根据第一指定操作在采集图像的位置(像素坐标)，将第一指定操作在采集图像的位置上的物体确定为待跟踪的目标物体，并通过对待跟踪的目标物体进行语义分割获取目标物体的边缘轮廓，基于目标物体的边缘轮廓自动生成目标物体的跟踪框。

为了进一步提升用户选择目标物体的便捷性，本实施例提供的无人机跟踪方法，还包括：如果监测到用户针对采集图像的第二指定操作，基于第二指定操作的指定位置对采集图像进行局部放大，以使用户针对局部放大后的采集图像执行第一指定操作；其中，第一指定操作与第二指定操作的操作方式不同。上述第二指定操作可以是对采集图像执行的双击操作，也可以是其他放大采集图像的手势操作。根据第二指定操作在采集图像的指定位置(像素坐标)，以该指定位置为中心将采集图像局部放大预设比例。

在一种具体的实施方式中，上述第一指定操作为第一点击操作，第二指定操作为第二点击操作，且第一点击操作和第二点击操作的点击次数不同；或者，上述第一指定操作为第一按压操作，第二指定操作为第二按压操作，且第一按压操作和第二按压操作的按压力度和/或按压时长不同。当采集图像中的物体过小或物体分部密集时，可以通过第二点击操作或第二按压操作，对第二指定操作点击或按压的位置进行局部放大，使采集图像呈现的物体图像更加清楚，再根据第一点击操作或第一按压操作，将采集图像上第一指定操作点击或按压位置上的物体确定为待跟踪的目标物体，并自动生成目标物体的跟踪框。

在实际应用中，参见如图3所示的目标物体智能框选方法流程图，可以采用以下步骤对无人机的采集图像进行智能框选目标物体，具体可参照如下步骤S302～步骤S308：

步骤S302：将无人机的实时采集图像发送至用户终端。

步骤S304：接收用户终端发送的用户操作信息，并根据用户操作信息及图像预处理结果确定粗选跟踪目标框。上述用户操作包括单击操作和双击操作，该单击操作信息携带有用户选择的物体信息，该双击操作信息携带有图像中的双击位置信息。单击操作为用户选择待跟踪的目标物体时，单击无人机的采集图像中的物体，以选择目标物体而执行的操作，用户单击的物体即为待跟踪的目标物体；双击操作为用户放大无人机的采集图像时，双击无人机的采集图像，以局部放大图像而执行的操作，当用户执行双击操作时，以图像中的双击位置为中心进行局部放大。

步骤S306：利用卷积神经网络对上述粗选跟踪目标框中的物体进行语义分割及边缘提取，并根据边缘提取结果确定目标物体的精确跟踪框坐标信息。该精确跟踪框即为最终的目标物体跟踪框。

步骤S308：将上述精确跟踪框的坐标信息发生至用户终端，以使用户终端将精确跟踪框在采集图像中显示出来。

考虑到在目标物体过小时，由于目标物体的信息特征较少，容易导致跟踪失败的问题，本实施例提供了根据目标物体在采集图像中的占比获取目标物体的跟踪模板的具体实施方式：通过自适应算法选取与目标物体在采集图像中的占比对应的图像分辨率。基于图像分辨率提取目标物体的跟踪模板。上述自适应算法可以根据目标物体在采集图像中的占比调整采集图像的分辨率，以使调整分辨率后的采集图像中的目标物体分辨率达到最佳显示效果。当目标物体的跟踪模板分辨率较低时，可提取的目标物体特征信息较少，导致目标跟踪不稳定。当目标物体在采集图像中的占比小于预设占比值时(目标物体的分辨率较低)，增大采集图像的分辨率，从增大分辨率的采集图像中提取目标物体的跟踪模板，从而可以从目标物体的跟踪模板中提取较多的特征信息，提升了超小目标物体跟踪及远距离目标跟踪的可靠性。

在实际应用中，参见如图4所示的图像分辨率自适应调整方法流程图，可以采用以下步骤对无人机的采集图像进行目标跟踪，具体可参照如下步骤S402～步骤S408：

步骤S402：获取无人机的采集图像分辨率及目标物体的跟踪框坐标信息。

步骤S404：计算目标物体跟踪框在图像中的占比，并判断目标物体跟踪框在图像中的占比是否满足预设占比值。

步骤S406：如果否，根据目标物体跟踪框的大小对无人机采集图像进行码率切换，并从切换后的图像中提取目标物体的特征信息。

步骤S408：对目标物体进行目标跟踪，并通过用户终端输出目标物体的位置和大小信息。

考虑到目标跟踪过程中会出现因目标尺度发生变化，导致的模板漂移问题，本实施例提供了基于跟踪模板对目标物体进行跟踪的具体实施方式，具体可参照步骤(1)～步骤(2)执行：

步骤(1)：基于跟踪模板和目标物体的物体图像，确定目标物体的位置变化信息和尺度变化信息。

参见如图5所示的基于孪生网络的目标物体尺度与位置计算流程图，图5中的模板图像即为目标物体的跟踪模板，搜索图像即为当前目标物体的物体图像。具体实现时，可以利用预先训练好的孪生网络获取跟踪模板和目标物体的物体图像；然后根据跟踪模板和目标物体的物体图像生成目标物体的位置变化信息和物体类别信息，并对目标物体的物体图像进行多尺度特征提取，基于特征提取结果进行语义分割，得到目标物体的语义分割信息；最后根据物体类别信息、位置变化信息和语义分割信息确定目标物体的尺度变化信息。具体实施时，可以首先将跟踪模板和目标物体的物体图像输入至预先训练得到的孪生网络，如图5所示，孪生网络包括参数共享的两个卷积神经网络(CNN)和两个区域候选网络(RPN)，通过孪生网络可以进行目标分类和目标位置回归，而且还可以通过孪生网络中的卷积神经网络对跟踪模板和目标物体的物体图像进行多尺度特征提取，基于特征提取结果进行语义分割，有助于得到较为准确的目标物体的语义分割信息，而利用区域候选网络与语义分割信息估计目标物体的尺度变化情况，可以进一步提升目标物体跟踪的准确性。

在孪生网络根据跟踪模板和目标物体的物体图像生成目标物体的位置变化信息和物体类别信息时，可以分别提取跟踪模板的第一特征图和目标物体的物体图像的第二特征图，然后比对第一特征图和第二特征图，生成目标物体的位置变化信息和物体类别信息；通过这种物体图像的特征图与跟踪模板的特征图之间进行比对的方式，能够较为准确地识别出目标物体的位置变化情况和物体类别，也有助于对目标物体进行准确跟踪。

步骤(2)：根据位置变化信息和尺度变化信息对目标物体进行跟踪。

具体而言，可以利用目标物体的位置变化信息及尺度变化信息，确定当前采集图像中目标物体的跟踪框坐标与尺度信息，从而较好地实现目标物体的跟踪。

考虑到目标物体在发生遮挡或者出视野的情况下，容易发生跟踪失败的问题，本实施例提供的无人机跟踪方法，还包括目标物体跟踪失败后的重检测，具体可参照如下步骤a～步骤d执行：

步骤a：计算目标物体的物体图像与目标物体的跟踪模板的特征相似度。在每一帧采集图像跟踪结束后，都会利用卷积神经网络计算目标物体的物体图像，与目标物体的跟踪模板之间的特征相似度(也可以称为特征向量相似度)，以判断当前跟踪框中的目标物体是否可靠。

步骤b：根据目标物体的跟踪模板以及目标物体的物体图像，生成目标物体的响应图，并基于响应图确定响应峰旁比。目标物体的物体图像不同，响应图不同，响应图能够较好地体现出目标物体的物体图像与跟踪模板之间的匹配度。

步骤c：根据特征相似度和响应峰旁比判断是否目标物体是否跟踪失败。判断目标物体的物体图像与跟踪模板之间的特征相似度是否满足预设相似度阈值，根据响应峰旁比判断目前目标物体跟踪框位置的可信度，依据上述特征相似度及可信度综合判断目标物体是否跟踪失败。当上述特征相似度满足相似度阈值，且可信度大于预设可信度阈值时，目标物体跟踪成功；当上述特征相似度不满足相似度阈值，或上述可信度小于预设可信度阈值时，确定目标物体跟踪失败。

步骤d：如果是，对目标物体进行重检测。如果目标物体跟踪失败，利用孪生网络对采集图像进行全图搜索，查找响应图的相似度大于预设相似度阈值的物体；将查找到的物体重新作为待跟踪的目标物体。并对的待跟踪目标进行语义分割，生成待跟踪目标的跟踪框。

在实际应用中，参见如图6所示的跟踪结果验证方法流程图，为了保证目标物体跟踪的可靠性，对每一帧图像的跟踪结果进行验证，并在目标物体跟踪失败时，对目标物体进行重检测，以提升目标跟踪的鲁棒性，具体可参照如下步骤S602～步骤S608执行：

步骤S602：获取当前的目标物体跟踪框及目标物体的模板图像。

步骤S604：计算目标物体的响应峰旁比，并利用卷积神经网络计算当前跟踪框中的目标图像与模板图像的特征向量相似度。

步骤S606：根据上述响应峰旁比及特征向量相似度，判断目标物体是否跟踪失败。

步骤S608：如果是，启动目标物体重检测。利用孪生网络进行全图搜索，分别计算不同搜索区域内的候选目标相似度，确定相似度大于指定阈值的候选目标为新的目标物体。

在前述基础上，本实施例提供了一种如图7所示的无人机目标跟踪方法流程图，可以采用以下步骤对目标物体进行跟踪，具体可以参照如下步骤S702～步骤S714执行：

步骤S702：获取无人机摄像头的采集图像。

步骤S704：基于卷积神经网络对采集图像进行图像预分析，获得采集图像中的物体信息及无人机与物体之间的距离。

步骤S706：根据目标物体的位置信息对待跟踪的目标物体进行智能框选，获得目标物体跟踪框。

步骤S708：根据目标物体跟踪框与图像分辨率的比例大小，自适应调整采集图像的分辨率。

步骤S710：利用孪生网络及目标语义分割获取目标物体的位置信息，并基于响应峰旁比及特征向量相似度判断目标物体是否跟踪失败。

步骤S712：如果是，启动目标物体重检测，重新计算目标物体的位置坐标。

步骤S714：如果否，输出目标物体的跟踪框。将目标物体的跟踪框发送至用户终端，以使用户终端将目标物体的跟踪框在采集的图像界面显示出来，从而直观体现出跟踪结果。

本发明实施例提供的上述无人机跟踪方法，一方面，通过使用户单击或框选物体选择待跟踪的目标物体，并对目标物体进行语义分割生成目标物体的跟踪框，提升了用户操作的便捷性；另一方面，通过实时判断目标跟踪的跟踪状态，在跟踪失败时启动目标物体的重检测，提升了目标跟踪的鲁棒性。

综上所述，本实施例提供的上述跟踪方法，首先对智能设备的采集图像进行图像预分析，可以获得采集图像中的物体种类数目及智能设备与物体之间的距离等物体信息，然后将实时采集图像发送至地面基站或用户终端，以根据用户的操作使用智能语义分割生成待跟踪的目标物体的跟踪框，再基于目标跟踪算法及跟踪框中目标物体的跟踪模板，对目标物体进行跟踪，并不断返回目标物体的当前状态信息。上述方式可以较好地解决远距离的超小目标跟踪问题，而且也有便于跟踪目标过小时用户手动框选跟踪目标，提升用户体验。此外，本实施例还可以自动判断目标物体的跟踪状态，根据目标物体的当前状态信息及跟踪模板判断是否跟踪成功，如果目标物体跟踪成功，输出跟踪框坐标，如果目标物体被遮挡、远离视野或跟踪失败，可启动目标物体重检测，并使用重检测到的目标物体更新跟踪模板，从而较好地解决了长时间目标跟踪中容易出现的跟踪失败与模板漂移问题。

对应于前述跟踪方法，本发明实施例提供了一种跟踪装置，该装置可应用于智能设备，参见如图8所示的跟踪装置结构示意图，该装置包括：

物体确定模块81，用于基于智能设备的采集图像确定待跟踪的目标物体。

模板获取模块82，用于根据目标物体在采集图像中的占比获取目标物体的跟踪模板；跟踪模板的分辨率与占比相关。

物体跟踪模块83，用于基于跟踪模板对目标物体进行跟踪。

本发明实施例提供的上述跟踪装置，可以根据目标物体在采集图像中的占比获取具有与其占比相关的分辨率的跟踪模板，由于该跟踪模板的分辨率与目标物体在图像中的占比相关，因此能够更好地对采集图像中的目标物体进行适应性检测，即便因目标物体较小或者距离智能设备较远而导致目标物体在采集图像中占比偏小，也能利用分辨率与其占比相关的跟踪模板对该目标物体达到较好地跟踪效果，因此本实施例可以有效改善智能设备的目标跟踪效果，提升跟踪可靠性。

在一种实施方式中，上述物体确定模块81，进一步用于对智能设备的采集图像进行检测，得到采集图像上出现的物体的信息；物体的信息包括以下中的一种或多种：物体类别、物体位置、物体与无人机之间的距离；基于物体的信息确定待跟踪的目标物体。

在一种实施方式中，上述装置还包括：

跟踪框生成模块，用于通过自适应语义分割算法获取目标物体的边缘轮廓；基于边缘轮廓生成目标物体的跟踪框。

在一种实施方式中，上述物体确定模块81，进一步用于在采集图像上标注每个物体的物体类别，以展示给用户；如果监测到用户针对采集图像的第一指定操作，基于第一指定操作的操作位置确定待跟踪的目标物体。

在一种实施方式中，上述装置还包括：

图像放大模块，用于在监测到用户针对采集图像的第二指定操作时，基于第二指定操作的指定位置对采集图像进行局部放大，以使用户针对局部放大后的采集图像执行第一指定操作；其中，第一指定操作与第二指定操作的操作方式不同。

在一种实施方式中，上述第一指定操作为第一点击操作，第二指定操作为第二点击操作，且第一点击操作和第二点击操作的点击次数不同；或者，第一指定操作为第一按压操作，第二指定操作为第二按压操作，且第一按压操作和第二按压操作的按压力度和/或按压时长不同。

在一种实施方式中，上述模板获取模块82，进一步用于通过自适应算法选取与目标物体在采集图像中的占比对应的图像分辨率；基于图像分辨率提取目标物体的跟踪模板。

在一种实施方式中，上述物体跟踪模块83，进一步用于基于跟踪模板和目标物体的物体图像，确定目标物体的位置变化信息和尺度变化信息；根据位置变化信息和尺度变化信息对目标物体进行跟踪。

在一种实施方式中，上述物体跟踪模块81，进一步用于根据跟踪模板和目标物体的物体图像生成目标物体的位置变化信息和物体类别信息；对目标物体的物体图像进行多尺度特征提取，基于特征提取结果进行语义分割，得到目标物体的语义分割信息；根据物体类别信息、位置变化信息和语义分割信息确定目标物体的尺度变化信息。

在一种实施方式中，上述物体跟踪模块83，进一步用于分别提取跟踪模板的第一特征图和目标物体的物体图像的第二特征图；比对第一特征图和第二特征图，生成目标物体的位置变化信息和物体类别信息。

在一种实施方式中，上述装置还包括：

判断模块，用于计算目标物体的物体图像与目标物体的跟踪模板的特征相似度；根据目标物体的跟踪模板以及目标物体的物体图像，生成目标物体的响应图，并基于响应图确定响应峰旁比；根据特征相似度和响应峰旁比判断是否目标物体是否跟踪失败；如果是，对目标物体进行重检测。

在一种实施方式中，上述判断模块，进一步用于对采集图像进行全图搜索，查找响应图的相似度大于预设相似度阈值的物体；将查找到的物体重新作为待跟踪的目标物体。

在一种实施方式中，上述智能设备包括无人机。

本发明实施例提供的上述无人机跟踪装置，一方面，通过使用户单击或框选物体选择待跟踪的目标物体，并对目标物体进行语义分割生成目标物体的跟踪框，提升了用户操作的便捷性；另一方面，通过实时判断目标跟踪的跟踪状态，在跟踪失败时启动目标物体的重检测，提升了目标跟踪的鲁棒性。

本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

本发明实施例提供了一种智能设备，如图9所示的智能设备的结构示意图，智能设备包括处理器91、存储器92，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例提供的无人机跟踪方法的步骤。

参见图9，智能设备还包括：总线94和通信接口93，处理器91、通信接口93和存储器92通过总线94连接。处理器91用于执行存储器92中存储的可执行模块，例如计算机程序。

其中，存储器92可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口93(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。

总线94可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器92用于存储程序，所述处理器91在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器91中，或者由处理器91实现。

处理器91可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器91中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器91可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等。还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器92，处理器91读取存储器92中的信息，结合其硬件完成上述方法的步骤。

本发明实施例提供了一种计算机可读介质，其中，所述计算机可读介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令促使所述处理器实现上述实施例所述的跟踪方法。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (16)

1.一种跟踪方法，其特征在于，所述方法应用于智能设备，包括：

基于所述智能设备的采集图像确定待跟踪的目标物体；

根据所述目标物体在所述采集图像中的占比获取所述目标物体的跟踪模板；所述跟踪模板的分辨率与所述占比相关；

基于所述跟踪模板对所述目标物体进行跟踪。

2.根据权利要求1所述的方法，其特征在于，基于所述智能设备的采集图像确定待跟踪的目标物体的步骤，包括：

对所述智能设备的采集图像进行检测，得到所述采集图像上出现的物体的信息；所述物体的信息包括以下中的一种或多种：物体类别、物体位置、物体与智能设备之间的距离；

基于所述物体的信息确定待跟踪的目标物体。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

通过自适应语义分割算法获取所述目标物体的边缘轮廓；

基于所述边缘轮廓生成所述目标物体的跟踪框。

4.根据权利要求2所述的方法，其特征在于，基于所述物体的信息确定待跟踪的目标物体的步骤，包括：

在所述采集图像上标注每个所述物体的物体类别，以展示给用户；

如果监测到用户针对所述采集图像的第一指定操作，基于所述第一指定操作的操作位置确定待跟踪的目标物体。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

如果监测到用户针对所述采集图像的第二指定操作，基于所述第二指定操作的指定位置对所述采集图像进行局部放大，以使所述用户针对局部放大后的所述采集图像执行所述第一指定操作；其中，所述第一指定操作与所述第二指定操作的操作方式不同。

6.根据权利要求5所述的方法，其特征在于，所述第一指定操作为第一点击操作，所述第二指定操作为第二点击操作，且所述第一点击操作和所述第二点击操作的点击次数不同；

或者，

所述第一指定操作为第一按压操作，所述第二指定操作为第二按压操作，且所述第一按压操作和所述第二按压操作的按压力度和/或按压时长不同。

7.根据权利要求1所述的方法，其特征在于，根据所述目标物体在所述采集图像中的占比获取所述目标物体的跟踪模板的步骤，包括：

通过自适应算法选取与所述目标物体在所述采集图像中的占比对应的图像分辨率；

基于所述图像分辨率提取所述目标物体的跟踪模板。

8.根据权利要求1所述的方法，其特征在于，基于所述跟踪模板对所述目标物体进行跟踪的步骤，包括：

基于所述跟踪模板和所述目标物体的物体图像，确定所述目标物体的位置变化信息和尺度变化信息；

根据所述位置变化信息和尺度变化信息对所述目标物体进行跟踪。

9.根据权利要求8所述的方法，其特征在于，基于所述跟踪模板和所述目标物体的物体图像，确定所述目标物体的位置变化信息和尺度变化信息的步骤，包括：

根据所述跟踪模板和所述目标物体的物体图像生成所述目标物体的位置变化信息和物体类别信息；

对所述目标物体的物体图像进行多尺度特征提取，基于特征提取结果进行语义分割，得到所述目标物体的语义分割信息；

根据所述物体类别信息、所述位置变化信息和所述语义分割信息确定所述目标物体的尺度变化信息。

10.根据权利要求9所述的方法，其特征在于，根据所述跟踪模板和所述目标物体的物体图像生成所述目标物体的位置变化信息和物体类别信息的步骤，包括：

分别提取所述跟踪模板的第一特征图和所述目标物体的物体图像的第二特征图；

比对所述第一特征图和所述第二特征图，生成所述目标物体的位置变化信息和物体类别信息。

11.根据权利要求1所述的方法，其特征在于，所述方法还包括：

计算所述目标物体的物体图像与所述目标物体的跟踪模板的特征相似度；

根据所述目标物体的跟踪模板以及所述目标物体的物体图像，生成所述目标物体的响应图，并基于所述响应图确定响应峰旁比；

根据所述特征相似度和所述响应峰旁比判断是否所述目标物体是否跟踪失败；

如果是，对所述目标物体进行重检测。

12.根据权利要求11所述的方法，其特征在于，对所述目标物体进行重检测的步骤，包括：

对所述采集图像进行全图搜索，查找响应图的相似度大于预设相似度阈值的物体；

将查找到的所述物体重新作为待跟踪的目标物体。

13.根据权利要求1至12任一项所述的方法，其特征在于，所述智能设备包括无人机。

14.一种跟踪装置，其特征在于，所述装置应用于智能设备，包括：

物体确定模块，用于基于所述智能设备的采集图像确定待跟踪的目标物体；

模板获取模块，用于根据所述目标物体在所述采集图像中的占比获取所述目标物体的跟踪模板；所述跟踪模板的分辨率与所述占比相关；

物体跟踪模块，用于基于所述跟踪模板对所述目标物体进行跟踪。

15.一种智能设备，其特征在于，包括处理器和存储器；

所述存储器上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至13任一项所述的方法。

16.一种存储介质，其特征在于，用于储存为权利要求1至13任一项所述方法所用的计算机程序。

Images