CN110414443A - 一种目标跟踪方法、装置及枪球联动跟踪方法 - Google Patents

Abstract

本发明公开了一种目标跟踪方法、装置及枪球联动跟踪方法，该方法包括：获取第一图像中第一目标对象的第一位置信息和第一特征信息；获取第二图像中第二目标对象的第二位置信息和第二特征信息，第二图像为第一图像的前帧图像；计算第一位置信息和第二位置信息的重合度；基于第一特征信息和第二特征信息计算第一目标对象和第二目标对象的相似度；根据重合度和相似度判断第一目标对象与第二目标对象是否为同一目标；当第一目标对象与第二目标对象为同一目标时，确定第一目标对象为跟踪目标。通过实施本发明，无需视频流的背景构建就可以实现对目标对象的跟踪，解决了现有运动目标跟踪方法难以对背景不断变化的视频中运动目标进行跟踪的问题。

Description

一种目标跟踪方法、装置及枪球联动跟踪方法

技术领域

本发明涉及视频监控技术领域，尤其涉及到一种目标跟踪方法、装置及枪球联动跟踪方法。

背景技术

枪球联动系统由一个枪机和至少一个球机组成，其中，枪机负责进行运动目标捕捉，然后根据枪机采集的视频中的运动目标的坐标位置控制对球机进行全方位移动及镜头变倍、变焦控制(Pan/Tilt/Zoom，PTZ)，使球机转动到枪机跟踪的运动目标画面，然后球机对运动目标进行进一步地细节跟踪。因而，球机联动系统的核心在于运动目标的检测以及跟踪。

目前，运动目标检测以及跟踪算法主要为基于前景和背景分离，通过将输入图像的像素与背景模型进行对比，并把和背景模型相似性比较高的点视为背景，和背景模型相似性比较低的点视为前景，再利用形态学的方法实现运动目标提取。由于枪机的镜头固定，能够较容易构建枪机视频的背景模型，因此，上述方法用于对枪机视频进行运动目标检测以及跟踪时，具有较好的效果，但是，由于球机的镜头在PTZ控制下不断运动，相应地，球机视频的背景也不断变化，因此，球机视频的背景模型的构建难度较大，使用上述方法对球机视频进行运动目标的检测和跟踪的难度也较大。

发明内容

有鉴于此，本发明实施例提供了一种目标跟踪方法、装置及枪球联动跟踪方法，以解决现有的运动目标跟踪方法难以对背景不断变化的视频中的运动目标进行跟踪的问题。

根据第一方面，本发明实施例提供了一种目标跟踪方法，包括如下步骤：获取第一图像中第一目标对象的第一位置信息和第一特征信息；获取第二图像中第二目标对象的第二位置信息和第二特征信息，第二图像为第一图像的前帧图像；计算第一位置信息和第二位置信息的重合度；计算第一特征信息和第二特征信息的相似度；根据重合度和相似度判断第一目标对象与第二目标对象是否为同一目标；当第一目标对象与第二目标对象为同一目标时，确定第一目标对象为跟踪目标。

由于在一个视频流中，相邻两个视频帧之间的时间间隔很短，因此，在常规情况下，即使是一个运动目标对象，其在相邻两个视频帧中的位置也不会有太大的变化，即两个相连视频帧中的目标对象的位置信息的相似度能够在一定程度上表征该两个相连视频帧中的目标对象为同一个目标的概率，因此，通过计算第一目标对象在第一图像中的第一位置信息，与第二目标对象在第二图像(第一图像的前帧图像)中的第二位置信息的重合度，得到第一目标对象相对于第二目标对象的位置变化的大小，并且根据该重合度以及第一目标对象的第一特征信息与第二目标对象的第二特征信息的相似度(特征相似度)，能够判断第一目标对象与第二目标对象是否为同一目标，从而确认第一目标对象是否为跟踪对象，由于该方法并不涉及对视频流中各个视频帧的背景的构建，因此，能够解决现有的运动目标跟踪方法难以对背景不断变化的视频中的运动目标进行跟踪的问题。

此外，根据重合度和相似度综合判断第一目标对象与第二目标对象是否为同一目标，从而确定跟踪目标，能够防止仅根据重合度进行判断时，第一图像中存在两个位置较近的目标对象或者第二图像中存在两个位置较近的目标对象导致的，跟踪对象确认出错的问题，以及防止仅根据相似度进行判断时，图像中存在遮挡导致的目标对象特征信息提取遗漏或者偏差造成的跟踪对象确认出错的问题。

结合第一方面，在第一方面第一实施方式中，根据重合度和相似度判断第一目标对象与第二目标对象是否为同一目标的步骤，包括：判断重合度是否达到重合度阈值；当重合度未达到重合度阈值时，确定第一目标对象与第二目标对象为不同目标当重合度达到重合度阈值时，判断相似度是否达到相似度阈值；当相似度达到相似度阈值时，则确定第一目标对象与第二目标对象为同一目标。

由于在常规情况下，一个目标对象在相邻两个视频帧中的位置不会有太大的变化，因此通过在根据重合度和相似度判断第一目标对象与第二目标对象是否为同一目标的过程中，首先在基于第一位置信息和第二位置信息计算得到的重合度未达到重合度阈值时，确定第一目标对象与第二目标对象为不同目标，能够直接排除明显不属于跟踪目标的第一目标对象，而无需进行基于相似度的判断，能够在一定程度上减少进行跟踪目标确认的运算量，提高确认效率，同时能够降低执行发明实施例的方法的开销。

结合第一方面，在第一方面第二实施方式中，根据重合度和相似度判断第一目标对象与第二目标对象是否为同一目标的步骤，包括：确定重合度的权值和相似度的权值；基于重合度的权值和相似度的权值对重合度和相似度进行加权求和，计算得到第一目标对象与第二目标对象的目标相似度；通过判断目标相似度是否达到预设阈值来判断第一目标对象与第二目标对象是否为同一目标。

通过在分别确定重合度和相似度的权值后，计算重合度和相似度的加权和值，并将该和值作为第一目标对象和第二目标对象的目标相似度，从而通过基于该目标相似度是否达到预设阈值来判断第一目标对象与第二目标对象是否为同一目标，实现了基于重合度和相似度的综合性判断，能够减小仅基于其中一种进行判断带来时的片面性，提高该目标跟踪方法的跟踪目标确认准确性。

结合第一方面或者第一方面第一实施方式或者第一方面第二实施方式，在第一方面第三实施方式中，获取第一图像中第一目标对象的第一位置信息和第一特征信息的步骤，包括：采用预先训练的神经网络从第一图像中识别出第一目标对象，生成第一目标对象在第一图像中的窗口框，将窗口框的位置信息作为第一位置信息；利用神经网络提取窗口框内的第一目标对象的图像特征，得到第一特征信息。

结合第一方面第三实施方式，在第一方面第四实施方式中，生成第一目标对象在第一图像中的窗口框，包括：生成第一目标对象的多个候选窗口；对多个候选窗口进行边框回归处理，得到校正后的多个候选窗口；对校正后的多个候选窗口中重叠的候选窗口进行合并，得到窗口框。

结合第一方面第三实施方式，在第一方面第五实施方式中，神经网络包括第一卷积层和第二卷积层，其中，生成第一目标对象在第一图像中的窗口框，包括：利用第一卷积层生成多个候选窗口和边框回归向量，通过边框回归向量对多个候选窗口进行边框回归处理以及合并重叠的候选窗口，得到筛选后的候选窗口；利用第二卷积层过滤掉筛选后的候选窗口中的非第一目标对象的候选窗口，并对过滤后的候选窗口进行边框回归处理以及合并重叠的候选窗口，得到窗口框。

根据第二方面，本发明实施例提供了一种目标跟踪装置，包括：第一信息获取模块，用于获取第一图像中第一目标对象的第一位置信息和第一特征信息；第二信息获取模块，用于获取第二图像中第二目标对象的第二位置信息和第二特征信息，第二图像为第一图像的前帧图像；第一计算模块，用于计算第一位置信息和第二位置信息的重合度；第二计算模块，用于基于第一特征信息和第二特征信息计算第一目标对象和第二目标对象的相似度；目标判断模块，用于根据重合度和相似度判断第一目标对象与第二目标对象是否为同一目标；跟踪目标确定模块，用于当第一目标对象与第二目标对象为同一目标时，确定第一目标对象为跟踪目标。

根据第三方面，本发明实施例提供了一种枪球联动跟踪方法，包括：枪机检测运动目标，并提取运动目标的位置信息；枪机基于位置信息生成控制命令，向云台发送控制命令，控制命令用于控制球机将镜头对准运动目标；球机执行第一方面或者第一方面任意一种实施方式所述的目标跟踪方法，对运行目标进行跟踪拍摄。

通过在枪机根据检测得到的运动目标的坐标信息生成控制命令控制球机采集视频的前提下，使球机使用目标跟踪算法对运动目标进行进一步的跟踪拍摄，能够更准确地对运动目标进行跟踪，获取更精确的跟踪目标的图像。

根据第四方面，本发明实施例提供了一种电子设备，包括存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的方法。

根据第五方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的方法。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1提供的一种目标跟踪方法的一种方法流程图；

图2为图1中步骤S105的一种具体实施方式流程图；

图3为图1中步骤S105的另一种具体实施方式流程图；

图4为图1中步骤S101的一种具体实施方式流程图；

图5为本发明实施例1提供的MTCNN网络模型结构图；

图6为本发明实施例2的应用场景示意图；

图7为本发明实施例2提供的一种枪球联动跟踪方法的一种方法流程图；

图8为本发明实施例3提供的一种目标跟踪装置的原理框图；

图9为本发明实施例3提供的一种电子设备的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

实施例1

需要说明的是，本发明实施例提供的目标跟踪方法可以应用于电动云台摄像机，也可以应用于固定云台摄像机，用以对摄像机采集到的视频流中的各个视频帧中的目标对象进行检测以及跟踪。

图1示出了本发明实施例的目标跟踪方法的流程图，如图1所示，该方法可以包括如下步骤：

S101：获取第一图像中第一目标对象的第一位置信息和第一特征信息。在这里，需要说明的是，第一目标对象是是指第一图像中的所有目标对象，也即第一目标对象可以为一个或者多个，第一图像是指一个视频流中除了第一帧以外的任一视频帧。

在这里，第一目标对象的第一位置信息和第一特征信息可以为使用预先训练好的神经网络模型对第一图像进行目标对象检测后得到，具体地，神经网络模型可以为VGG模型、GoogleNET模型、MobileNET模型以及MTCNN模型等神经网络模型中的任一种。

在这里，目标对象一般为人体对象，当然也可以为动物对象或者车辆对象等其他类型的目标对象。具体地，以目标对象为人体对象为例，则第一位置信息为第一图像中的第一人体对象，在第一图像中的人体位置信息或者人脸位置信息，第一特征信息为第一人体对象的人体特征信息或者人脸特征信息。

步骤S102：获取第二图像中第二目标对象的第二位置信息和第二特征信息，第二图像为第一图像的前帧图像。在这里，第二目标对象是指第二图像中的跟踪目标。需要说明的是，当第二图像为视频流中的第一帧图像时，第二目标对象为该第一帧图像中的指定目标对象，具体地，可以将第一帧图像中的所有目标对象均作为指定跟踪对象，也可以将第一帧图像中的某一个或者，某几个目标对象作为指定目标对象，例如，可以将第一帧图像中的中心位置处的目标对象作为指定目标对象，或者将第一帧图像中与预设跟踪目标的特征相似度最高的目标对象作为指定目标对象等。

在这里，第二目标对象、第二位置信息以及第二特征信息的具体内容可以参照上述步骤S101来理解，在此不再赘述。

S103：计算第一位置信息和第二位置信息的重合度。可以使用欧氏距离、曼哈顿距离、切比雪夫距离，杰卡德距离等任意一种样本相似性度量算法来计算重合度。

以使用杰卡德样本相似性度量算法计算重合度为例，假设A框为根据第一位置信息得到的第一目标对象在第一图像中位置框(可以表征第一目标对象在第一图像中的位置和大小)，B框为根据第二位置信息得到的第二目标对象在第二图像中位置框(可以表征第二目标对象在第二图像中的位置和大小)，则重合度可以通过公式(1)计算得到：

其中，(A∩B)是指A框和B框的重叠面积，(A∪B)是指A框和B框的总面积。

S104：基于第一特征信息和第二特征信息计算第一目标对象和第二目标对象的相似度。在这里，可以根据第一特征信息以及第二特征信息分别得到第一特征向量和第二特征向量，然后，同样可以使用欧氏距离、曼哈顿距离、切比雪夫距离，杰卡德距离等任意一种样本相似性度量算法来计算相似度。

具体地，以使用sphereface网络根据第一特征信息和第二特征信息分别提取得到第一特征向量和第二特征向量，并使用余弦相似度度量算法计算相似度为例，则相似度可以通过公式(2)计算得到：

其中，(x₁,y₁)是指第一特征向量，(x₂,y₂)是指第二特征向量。

S105：根据重合度和相似度判断第一目标对象与第二目标对象是否为同一目标。

在这里，可以通过先根据重合度对第一目标对象与第二目标对象是否为同一目标进行初步判断，再根据相似度进行进一步判断的方式，或者通过计算重合度和相似度的加权和值的方式计算得到一综合相似度，再根据该综合相似度判断第一目标对象与第二目标对象是否为同一目标的方式，实现根据重合度和相似度判断第一目标对象与第二目标对象是否为同一目标。

S106：当第一目标对象与第二目标对象为同一目标时，确定第一目标对象为跟踪目标。

由于在一个视频流中，相邻两个视频帧之间的时间间隔很短，因此，在常规情况下，即使是一个运动目标对象，其在相邻两个视频帧中的位置也不会有太大的变化，即两个相连视频帧中的目标对象的位置信息的相似度能够在一定程度上表征该两个相连视频帧中的目标对象为同一个目标的概率，因此，本发明实施例提供的目标跟踪方法，通过计算第一目标对象在第一图像中的第一位置信息，与第二目标对象在第二图像(第一图像的前帧图像)中的第二位置信息的重合度，得到第一目标对象相对于第二目标对象的位置变化的大小，并且根据该重合度以及第一目标对象的第一特征信息与第二目标对象的第二特征信息的相似度(特征相似度)，能够判断第一目标对象与第二目标对象是否为同一目标，从而确认第一目标对象是否为跟踪对象，由于该方法并不涉及对视频流中各个视频帧的背景的构建，因此，能够解决现有的运动目标跟踪方法难以对背景不断变化的视频中的运动目标进行跟踪的问题。

此外，根据重合度和相似度综合判断第一目标对象与第二目标对象是否为同一目标，从而确定跟踪目标，能够防止仅根据重合度进行判断时，第一图像中存在两个位置较近的目标对象或者第二图像中存在两个位置较近的目标对象导致的，跟踪对象确认出错的问题，以及防止仅根据相似度进行判断时，图像中存在遮挡导致的目标对象特征信息提取遗漏或者偏差造成的跟踪对象确认出错的问题。

作为本发明实施例的一种可选实施方式，如图2所示，步骤S105可以包括如下步骤：

S201：判断重合度是否达到重合度阈值。在这里，当重合度未达到重合度阈值时，则执行步骤S202；当重合度达到重合度阈值时，则执行步骤S203。

S202：确定第一目标对象与第二目标对象为不同目标。

S203：判断相似度是否达到相似度阈值。在这里，当相似度达到相似度阈值时，则执行步骤S204；当相似度未达到相似度阈值时，则同样确定第一目标对象与第二目标对象为不同目标。

S204：确定第一目标对象与第二目标对象为同一目标。

在这里，需要说明的是，上述步骤S201-步骤S204为基于一个第一目标对象的判断流程，而当第一目标对象为多个时，则重复上述过程逐一判断各个第一目标对象即可。此外，如果被确定为与第二目标对象为同一目标的对象为多个，则取其中重合度或者相似度较高的第一目标对象作为第二目标对象的同一目标。

由于在常规情况下，一个目标对象在相邻两个视频帧中的位置不会有太大的变化，因此本发明实施例提供的目标跟踪方法，通过在根据重合度和相似度判断第一目标对象与第二目标对象是否为同一目标的过程中，首先在基于第一位置信息和第二位置信息计算得到的重合度未达到重合度阈值时，确定第一目标对象与第二目标对象为不同目标，能够直接排除明显不属于跟踪目标的第一目标对象，而无需进行基于相似度的判断，能够在一定程度上减少进行跟踪目标确认的运算量，提高确认效率，同时能够降低执行发明实施例的方法的开销。

作为本发明实施例的一种可选实施方式，如图3所示，步骤S105可以包括如下步骤：

S301：确定重合度的权值和相似度的权值。在这里，假设重合度的权值为α，相似度的权值为β，则α和β均可以为区间(0,1)内的任一数值，而其具体取值均可以根据实际应用场景的需要进行设置，在此不做限制。

S302：基于重合度的权值和相似度的权值对重合度和相似度进行加权求和，计算得到第一目标对象与第二目标对象的目标相似度。

在这里，沿用上例，当分别使用公式(1)和公式(2)计算重合度和相似度时，则目标相似度可以使用公式(3)计算得到：

S303：通过判断目标相似度是否达到预设阈值来判断第一目标对象与第二目标对象是否为同一目标。在这里，当目标相似度达到预设阈值时，第一目标对象与第二目标对象为同一目标；当目标相似度未达到预设阈值时，第一目标对象与第二目标对象为不同目标。

在这里，当第一目标对象仅为一个时，则可以直接根据其与第二目标对象的目标相似度是否达到预设阈值的方式，判断第一目标对象与第二目标对象是否为同一目标；当第一目标对象为两个及以上时，可以先通过比较得到目标相似度最高的第一目标对象，再通过判断该最高目标相似度是否达到预设阈值的方式，判断第一目标对象(目标相似度最高的第一目标对象)与第二目标对象是否为同一目标。

在本发明实施例中，通过在分别确定重合度和相似度的权值后，计算重合度和相似度的加权和值，并将该加权和值作为第一目标对象和第二目标对象的目标相似度，从而基于该目标相似度是否达到预设阈值来判断第一目标对象与第二目标对象是否为同一目标，实现了基于重合度和相似度的综合性判断，能够减小仅基于其中一种进行判断时的片面性，提高该目标跟踪方法的跟踪目标确认准确性。

作为本发明实施例的一种可选实施方式，如图4所示，步骤S101可以包括如下步骤：

S401：采用预先训练的神经网络从第一图像中识别出第一目标对象，生成第一目标对象在第一图像中的窗口框，将窗口框的位置信息作为第一位置信息。

作为本发明实施例的一种可选实施方式，当预先训练的神经网络只包含一级神经网络，如VGG模型、GoogleNET模型、MobileNET模型等神经网络时，则该步骤S401可以包括如下步骤：

步骤A：生成第一目标对象的多个候选窗口。

步骤B：对多个候选窗口进行边框回归处理，得到校正后的多个候选窗口。

步骤C：对校正后的多个候选窗口中重叠的候选窗口进行合并，得到窗口框。

作为本发明实施例的另一种可选实施方式，当预先训练的神经网络为至少包含第一卷积层和第二卷积层的级联神经网络，如MTCNN网络时(此时，第一卷积层为MTCNN网络模型中的P-Net，第二卷积层为MTCNN网络模型中的N-Net)，则该步骤S401可以包括如下步骤：

步骤a：利用第一卷积层生成多个候选窗口和边框回归向量，通过边框回归向量对多个候选窗口进行边框回归处理以及合并重叠的候选窗口，得到筛选后的候选窗口。

具体地，以预先训练的神经网络为结构如图5所示的MTCNN网络模型，且以第一目标对象为第一人体对象，第一位置信息为第一人体对象在第一图像中的人脸位置信息为例，则使用MTCNN网络模型中的P-Net生成第一图像中的人脸候选窗和边框回归向量。在这里，在初步生成人脸候选框后，使用边框回归的方法来校正候选窗，并使用非极大值抑制(Non-Maximum Suppression，NMS)的方法合并重叠的候选框。

步骤b：利用第二卷积层过滤掉筛选后的候选窗口中的非第一目标对象的候选窗口，并对过滤后的候选窗口进行边框回归处理以及合并重叠的候选窗口，得到窗口框。

具体地，沿用上例，当预先训练的神经网络为结构如图5所示的MTCNN网络模型，且第一目标对象为第一人体对象，第一位置信息为第一人体对象在第一图像中的人脸位置信息时，则使用MTCNN网络模型中的N-Net改善人脸候选窗。在这里，将上述步骤a中P-Net筛选后的候选窗输入R-Net中，拒绝掉大部分非人脸的候选框，并进一步地使用边框回归和NMS的方法合并重叠的候选框。

S402：利用神经网络提取窗口框内的第一目标对象的图像特征，得到第一特征信息。

在这里，使用与步骤S401相同的神经网络提取窗口框内的第一目标对象的图像特征，得到第一特征信息。

具体地，沿用上例，当预先训练的神经网络为结构如图5所示的MTCNN网络模型，且第一目标对象为第一人体对象，第一位置信息为第一人体对象在第一图像中的人脸位置信息时，则使用MTCNN网络模型中的O-Net输出最终的人脸框和人脸特征点位置。在这里，人脸框以该人脸框在第一图像中的位置信息的形式输出，而该信息即为第一位置信息。在这里，输出的人脸框内的人脸特征点位置信息即为第一特征信息，具体地，人脸特征点位置至少为3个，例如人脸特征点位置可以为5个或者7个等。

在这里，步骤S102的具体内容可以参照上述步骤S101的具体内容来理解，在此不再赘述。

实施例2

需要说明的是，本发明实施例提供的枪球联动跟踪方法可以应用于如图6所示的枪球联动系统中，用于跟踪运动目标对象，如图6所示，云台与枪机以及球机相连接，且该云台为球机的安装云台，用以根据枪机的控制指令控制其上安装的球机的拍摄。

图7示出了本发明实施例的枪球联动跟踪方法的流程图，如图7所示，该方法可以包括如下步骤：

S701：枪机检测运动目标，并提取运动目标的位置信息。在这里，运动目标的位置标信息为枪机使用运动目标检测算法对其采集到的枪机视频流进行检测得到。在这里，位置信息可以为包含该运动目标的目标框的中心点坐标以及目标框宽高。

S702：枪机基于位置信息生成控制命令，向云台发送控制命令，控制命令用于控制球机将镜头对准运动目标。

S703：球机执行实施例1任意一种实施方式所述的目标跟踪方法，对运行目标进行跟踪拍摄。

在本发明实施例中，通过在枪机根据检测得到的运动目标的坐标信息生成控制命令控制球机采集视频的前提下，使球机使用目标跟踪算法对运动目标进行进一步的跟踪拍摄，能够更准确地对运动目标进行跟踪，从而获取更精确的跟踪目标的图像。

本实施例所述方法的具体内容可以参考实施例1来理解，在此不再赘述。

实施例3

图8示出了本发明实施例的一种目标跟踪装置的原理框图，该装置可以用于实现实施例1或者其任意可选实施方式所述的目标跟踪方法。如图8所示，该装置包括：第一信息获取模块10、第二信息获取模块20、第一计算模块30、第二计算模块40、目标判断模块50和跟踪目标确定模块60。

第一信息获取模块10用于获取第一图像中第一目标对象的第一位置信息和第一特征信息。

第二信息获取模块20用于获取第二图像中第二目标对象的第二位置信息和第二特征信息，第二图像为第一图像的前帧图像。

第一计算模块30用于计算第一位置信息和第二位置信息的重合度。

第二计算模块40用于基于第一特征信息和第二特征信息计算第一目标对象和第二目标对象的相似度。

目标判断模块50用于根据重合度和相似度判断第一目标对象与第二目标对象是否为同一目标。

跟踪目标确定模块60用于当第一目标对象与第二目标对象为同一目标时，确定第二目标对象为跟踪目标。

本发明实施例还提供了一种电子设备，如图9所示，该电子设备可以包括处理器91和存储器92，其中处理器91和存储器92可以通过总线或者其他方式连接，图9中以通过总线连接为例。

处理器91可以为中央处理器(Central Processing Unit，CPU)。处理器91还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器92作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的目标跟踪方法对应的程序指令/模块。处理器91通过运行存储在存储器92中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的目标跟踪方法。

存储器92可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器91所创建的数据等。此外，存储器92可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器92可选包括相对于处理器91远程设置的存储器，这些远程存储器可以通过网络连接至处理器91。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器92中，当被所述处理器91执行时，执行如图1-5所示实施例中的目标跟踪方法。

上述电子设备具体细节可以对应参阅图1至图5所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种目标跟踪方法，其特征在于，包括如下步骤：

获取第一图像中第一目标对象的第一位置信息和第一特征信息；

获取第二图像中第二目标对象的第二位置信息和第二特征信息，所述第二图像为第一图像的前帧图像；

计算所述第一位置信息和所述第二位置信息的重合度；

基于所述第一特征信息和所述第二特征信息计算所述第一目标对象和所述第二目标对象的相似度；

根据所述重合度和所述相似度判断所述第一目标对象与所述第二目标对象是否为同一目标；

当所述第一目标对象与所述第二目标对象为同一目标时，确定所述第一目标对象为跟踪目标。

2.根据权利要求1所述的目标跟踪方法，其特征在于，所述根据所述重合度和所述相似度判断所述第一目标对象与所述第二目标对象是否为同一目标的步骤，包括：

判断所述重合度是否达到重合度阈值；

当所述重合度未达到所述重合度阈值时，确定所述第一目标对象与所述第二目标对象为不同目标；

当所述重合度达到所述重合度阈值时，判断所述相似度是否达到相似度阈值；

当所述相似度达到所述相似度阈值时，则确定所述第一目标对象与所述第二目标对象为同一目标。

3.根据权利要求1所述的目标跟踪方法，其特征在于，所述根据所述重合度和所述相似度判断所述第一目标对象与所述第二目标对象是否为同一目标的步骤，包括：

确定所述重合度的权值和所述相似度的权值；

基于所述重合度的权值和所述相似度的权值对所述重合度和所述相似度进行加权求和，计算得到所述第一目标对象与所述第二目标对象的目标相似度；

通过判断所述目标相似度是否达到预设阈值来判断所述第一目标对象与所述第二目标对象是否为同一目标。

4.根据权利要求1-3任一项所述的目标跟踪方法，其特征在于，所述获取第一图像中第一目标对象的第一位置信息和第一特征信息的步骤，包括：

采用预先训练的神经网络从所述第一图像中识别出所述第一目标对象，生成所述第一目标对象在所述第一图像中的窗口框，将所述窗口框的位置信息作为所述第一位置信息；

利用所述神经网络提取所述窗口框内的第一目标对象的图像特征，得到所述第一特征信息。

5.根据权利要求4所述的目标跟踪方法，其特征在于，生成所述第一目标对象在所述第一图像中的窗口框，包括：

生成所述第一目标对象的多个候选窗口；

对所述多个候选窗口进行边框回归处理，得到校正后的多个候选窗口；

对校正后的多个候选窗口中重叠的候选窗口进行合并，得到所述窗口框。

6.根据权利要求4所述的目标跟踪方法，其特征在于，所述神经网络包括第一卷积层和第二卷积层，其中，生成所述第一目标对象在所述第一图像中的窗口框，包括：

利用所述第一卷积层生成多个候选窗口和边框回归向量，通过所述边框回归向量对所述多个候选窗口进行边框回归处理以及合并重叠的候选窗口，得到筛选后的候选窗口；

利用所述第二卷积层过滤掉所述筛选后的候选窗口中的非第一目标对象的候选窗口，并对过滤后的后的候选窗口进行边框回归处理以及合并重叠的候选窗口，得到所述窗口框。

7.一种目标跟踪装置，其特征在于，包括：

第一信息获取模块，用于获取第一图像中第一目标对象的第一位置信息和第一特征信息；

第二信息获取模块，用于获取第二图像中第二目标对象的第二位置信息和第二特征信息，所述第二图像为第一图像的前帧图像；

第一计算模块，用于计算所述第一位置信息和所述第二位置信息的重合度；

第二计算模块，用于基于所述第一特征信息和所述第二特征信息计算所述第一目标对象和所述第二目标对象的相似度；

目标判断模块，用于根据所述重合度和所述相似度判断所述第一目标对象与所述第二目标对象是否为同一目标；

跟踪目标确定模块，用于当所述第一目标对象与所述第二目标对象为同一目标时，确定所述第一目标对象为跟踪目标。

8.一种枪球联动跟踪方法，其特征在于，包括：

枪机检测运动目标，并提取所述运动目标的位置信息；

所述枪机基于所述位置信息生成控制命令，向云台发送所述控制命令，所述控制命令用于控制球机将镜头对准所述运动目标；

所述球机执行权利要求1至6任一项所述的目标跟踪方法，对所述运行目标进行跟踪拍摄。

9.一种电子设备，其特征在于，包括：

存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-6任一项所述的目标跟踪方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-6任一项所述的目标跟踪方法。