CN115937247B - 对象跟踪的方法、装置和存储介质 - Google Patents

Abstract

本公开涉及一种对象跟踪的方法、装置和存储介质，涉及图像处理技术领域，该方法包括：对待处理视频进行抽帧处理，得到包含目标对象的待处理帧图像；根据该待处理帧图像跟踪待跟踪帧图像中的该目标对象，该待跟踪帧图像为待处理视频中位于该待处理帧图像之后的图像。这样，无需对每帧图像中目标对象进行检测跟踪，使得每秒可以处理更多图像，大大提高了图像处理的效率。

Description

对象跟踪的方法、装置和存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及一种对象跟踪的方法、装置和存储介质。

背景技术

目标对象的跟踪是设备制造中的关键环节，目前，主要是通过采集视频的每帧图像(即每个图像)，确定每帧图像中目标对象的位置信息，从而对目标对象进行跟踪。对每帧图像中目标对象的位置信息获取主要是通过目标检测算法得到的。

但是，每秒视频中都包含多帧图像，而每帧图像都需要根据上述方式通过目标检测算法获取每帧图像中目标对象的位置信息，这将会造成图像处理的效率低下的问题。

发明内容

为克服相关技术中存在的问题，本公开提供一种对象跟踪的方法、装置和存储介质。

根据本公开实施例的第一方面，提供一种对象跟踪的方法，包括：对待处理视频进行抽帧处理，得到包含目标对象的待处理帧图像；根据所述待处理帧图像跟踪待跟踪帧图像中的所述目标对象，所述待跟踪帧图像为所述待处理视频中位于所述待处理帧图像之后的图像。

可选地，所述根据所述待处理帧图像跟踪待跟踪帧图像中的所述目标对象包括：获取所述目标对象在所述待处理帧图像中的目标位置信息；据所述待处理帧图像中所述目标对象的所述目标位置信息跟踪所述待跟踪帧图像中的所述目标对象。

可选地，所述根据所述待处理帧图像中所述目标对象的所述目标位置信息跟踪所述待跟踪帧图像中的所述目标对象包括：循环执行对象跟踪步骤，直至满足预设终止条件，所述对象跟踪步骤包括：根据所述目标位置信息，确定所述目标对象在目标帧图像中的第一预测位置信息，所述目标帧图像为所述待处理帧图像在所述待处理视频中的下一帧图像；根据所述第一预测位置信息跟踪所述目标帧图像中的所述目标对象；将所述目标帧图像作为新的待处理帧图像，并将所述目标对象在所述目标帧图像中的所述第一预测位置信息作为新的目标位置信息；所述预设终止条件包括：新的待处理帧图像为所述待处理视频中的最后一帧图像；或者，指定帧图像中不存在所述目标对象，所述指定帧图像为所述目标帧图像中按照预设抽帧周期对所述待处理视频重新进行抽帧处理得到的图像。

可选地，所述对待处理视频进行抽帧处理，得到包含目标对象的待处理帧图像包括：按照所述预设抽帧周期对所述待处理视频进行抽帧处理，得到第一候选帧图像；在所述第一候选帧图像中存在所述目标对象的情况下，将所述第一候选帧图像作为所述待处理帧图像。

可选地，所述获取所述目标对象在所述待处理帧图像中的目标位置信息包括：通过目标检测算法获取所述待处理帧图像中所述目标对象的第一检测位置信息；将所述第一检测位置信息作为所述目标位置信息。

可选地，所述方法还包括：获取所述目标对象在所述指定帧图像中的第二检测位置信息；根据所述第二检测位置信息，更新所述目标对象在所述指定帧图像中的位置信息；将所述指定帧图像作为新的待处理帧图像，并将更新后的位置信息作为新的目标位置信息。

可选地，在所述指定帧图像中包括多个目标对象的情况下，所述方法还包括：通过匈牙利算法确定所述指定帧图像中所述第二检测位置信息对应的目标对象和所述指定帧图像中第二预测位置信息对应的目标对象是否匹配，所述第二预测位置信息是根据所述指定帧图像在所述待处理视频中的上一帧图像中所述目标对象的位置信息预测得到的；所述根据所述第二检测位置信息，更新所述目标对象在所述指定帧图像中的位置信息包括：在所述第二检测位置信息对应的目标对象和所述第二预测位置信息对应的目标对象匹配成功的情况下，根据所述第二检测位置信息，更新所述目标对象在所述指定帧图像中的位置信息。

可选地，所述方法还包括：在所述第一候选帧图像中不存在所述目标对象的情况下，继续按照所述预设抽帧周期对所述待处理视频进行抽帧处理，得到第二候选帧图像，直至所述第二候选帧图像中存在所述目标对象，所述第二候选帧图像为所述待处理视频中位于所述第一候选帧图像之后的图像；将存在所述目标对象的第二候选帧图像，作为所述待处理帧图像。

可选地，所述根据所述目标位置信息，确定所述目标对象在目标帧图像中的第一预测位置信息包括：根据所述目标位置信息，通过卡尔曼滤波算法确定所述目标对象在所述目标帧图像中的第一预测位置信息。

根据本公开实施例的第二方面，提供一种对象跟踪的装置，包括：抽帧模块，被配置为对待处理视频进行抽帧处理，得到包含目标对象的待处理帧图像；跟踪模块，被配置为根据所述待处理帧图像跟踪待跟踪帧图像中的所述目标对象，所述待跟踪帧图像为所述待处理视频中位于所述待处理帧图像之后的图像。

可选地，所述跟踪模块包括：获取子模块，被配置为获取所述目标对象在所述待处理帧图像中的目标位置信息；跟踪子模块，被配置为根据所述待处理帧图像中所述目标对象的所述目标位置信息跟踪所述待跟踪帧图像中的所述目标对象。

可选地，所述跟踪子模块，被配置为循环执行对象跟踪步骤，直至满足预设终止条件，所述对象跟踪步骤包括：根据所述目标位置信息，确定所述目标对象在目标帧图像中的第一预测位置信息，所述目标帧图像为所述待处理帧图像在所述待处理视频中的下一帧图像；根据所述第一预测位置信息跟踪所述目标帧图像中的所述目标对象；将所述目标帧图像作为新的待处理帧图像，并将所述目标对象在所述目标帧图像中的所述第一预测位置信息作为新的目标位置信息；所述预设终止条件包括：新的待处理帧图像为所述待处理视频中的最后一帧图像；或者，指定帧图像中不存在所述目标对象，所述指定帧图像为所述目标帧图像中按照预设抽帧周期对所述待处理视频重新进行抽帧处理得到的图像。

可选地，所述抽帧模块包括：第一抽帧子模块，被配置为按照所述预设抽帧周期对所述待处理视频进行抽帧处理，得到第一候选帧图像；第一确定子模块，被配置为在所述第一候选帧图像中存在所述目标对象的情况下，将所述第一候选帧图像作为所述待处理帧图像。

可选地，所述获取子模块，被配置为通过目标检测算法获取所述待处理帧图像中所述目标对象的第一检测位置信息；将所述第一检测位置信息作为所述目标位置信息。

可选地，所述对象跟踪步骤还包括：获取所述目标对象在所述指定帧图像中的第二检测位置信息；根据所述第二检测位置信息，更新所述目标对象在所述指定帧图像中的位置信息；将所述指定帧图像作为新的待处理帧图像，并将更新后的位置信息作为新的目标位置信息。

可选地，在所述指定帧图像中包括多个目标对象的情况下，所述对象跟踪步骤还包括：通过匈牙利算法确定所述指定帧图像中所述第二检测位置信息对应的目标对象和所述指定帧图像中第二预测位置信息对应的目标对象是否匹配，所述第二预测位置信息是根据所述指定帧图像在所述待处理视频中的上一帧图像中所述目标对象的位置信息预测得到的；在所述第二检测位置信息对应的目标对象和所述第二预测位置信息对应的目标对象匹配成功的情况下，根据所述第二检测位置信息，更新所述目标对象在所述指定帧图像中的位置信息。

可选地，所述抽帧模块还包括：第二抽帧子模块，被配置为在所述第一候选帧图像中不存在所述目标对象的情况下，继续按照所述预设抽帧周期对所述待处理视频进行抽帧处理，得到第二候选帧图像，直至所述第二候选帧图像中存在所述目标对象，所述第二候选帧图像为所述待处理视频中位于所述第一候选帧图像之后的图像；第二确定子模块，被配置为将存在所述目标对象的第二候选帧图像，作为所述待处理帧图像。

可选地，所述跟踪子模块，被配置为根据所述目标位置信息，通过卡尔曼滤波算法确定所述目标对象在所述目标帧图像中的第一预测位置信息。

根据本公开实施例的第三方面，提供一种对象跟踪的装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为在调用所述存储器上存储的可执行指令时，实现本公开第一方面所提供的对象跟踪的方法的步骤。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开第一方面所提供的对象跟踪的方法的步骤。

本公开的实施例提供的技术方案可以包括以下有益效果：本公开对待处理视频进行抽帧处理，得到包含目标对象的待处理帧图像；根据所述待处理帧图像跟踪待跟踪帧图像中的所述目标对象，所述待跟踪帧图像为所述待处理视频中位于所述待处理帧图像之后的图像。通过上述方法，可以通过抽取待处理视频中包含目标对象的待处理帧图像，进而根据待处理帧图像跟踪待跟踪帧图像中的所述目标对象。这样，无需对每帧图像中目标对象进行检测跟踪，使得每秒可以处理更多图像，大大提高了图像处理的效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种对象跟踪的方法的流程图；

图2是根据一示例性实施例示出的另一种对象跟踪的方法的流程图；

图3是根据一示例性实施例示出的另一种对象跟踪的方法的流程图；

图4是根据一示例性实施例示出的另一种对象跟踪的方法的流程图；

图5是根据一示例性实施例示出的另一种对象跟踪的方法的流程图；

图6是根据一示例性实施例示出的另一种对象跟踪的方法的流程图；

图7是根据一示例性实施例示出的一种对象跟踪的方法的流程图；

图8是根据一示例性实施例示出的一种对象匹配的示意图；

图9是根据一示例性实施例示出的一种对象跟踪的装置的框图；

图10是根据一示例性实施例示出的另一种对象跟踪的装置的框图；

图11是根据一示例性实施例示出的另一种对象跟踪的装置的框图；

图12是根据一示例性实施例示出的另一种对象跟踪的装置的框图；

图13是根据一示例性实施例示出的一种对象跟踪的装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在介绍本公开提供的对象跟踪的方法、装置和存储介质之前，首先对本公开各个实施例所涉及的应用场景进行介绍。本公开应用于目标对象跟踪的场景下，相关技术中，目标对象的跟踪主要是通过采集视频，根据视频的每帧图像中目标对象的位置信息，对目标对象进行跟踪。而对每帧图像中目标对象的位置信息获取主要是通过目标检测算法得到的。基于上述场景，发明人发现，由于每秒视频中都包含多帧图像，若每帧图像都根据上述方式通过目标检测算法获取每帧图像中目标对象的位置信息，将会造成图像处理的效率低下的问题。

为了解决上述问题，本公开提供一种对象跟踪的方法、装置和存储介质，可以通过抽取待处理视频中包含目标对象的待处理帧图像，进而根据待处理帧图像跟踪待跟踪帧图像中的所述目标对象。这样，无需对每帧图像中目标对象进行检测跟踪，使得每秒可以处理更多图像，大大提高了图像处理的效率。

下面结合具体实施例对本公开进行说明。

图1是根据一示例性实施例示出的一种对象跟踪的方法的流程图，如图1所示，该方法可以包括以下步骤：

在步骤S101中，对待处理视频进行抽帧处理，得到包含目标对象的待处理帧图像。

其中，该待处理视频中包括多帧视频图像，可以对待处理视频进行抽帧处理，得到包含目标对象的待处理帧图像，该待处理帧图像为多帧视频图像中的一个。若在存储视频的过程中对视频进行编码，则该待处理视频可以是经过解码后的视频。

进一步地，如图2所示，上述步骤S101中对待处理视频进行抽帧处理，得到包含目标对象的待处理帧图像包括：

在步骤S1011中，按照预设抽帧周期对待处理视频进行抽帧处理，得到第一候选帧图像。

在步骤S1012中，在该第一候选帧图像中存在该目标对象的情况下，将该第一候选帧图像作为该待处理帧图像。

示例地，以该预设抽帧周期为8帧为例进行说明，按照8帧的抽帧周期对待处理视频进行抽帧处理，得到第一候选帧图像。也就是说，从待处理视频中的每8帧视频图像中抽取一帧视频图像，得到第一候选帧图像。其次，在该第一候选帧图像中存在目标对象的情况下，可以将该第一候选帧图像作为待处理帧图像，该待处理帧图像例如可以是待处理视频中包含目标对象的第一帧图像。

在本公开中，可以通过目标检测算法检测第一候选帧图像中是否存在目标对象，若根据目标检测算法确定第一候选帧图像中存在目标对象的情况下，可以将该第一候选帧图像作为待处理帧图像。

另外，若根据目标检测算法确定第一候选帧图像中不存在目标对象的情况下，表明目标对象可能还未出现在待处理视频中。因此，如图3所示，上述步骤S101中对待处理视频进行抽帧处理，得到包含目标对象的待处理帧图像还可以包括：

在步骤S1013中，在该第一候选帧图像中不存在该目标对象的情况下，继续按照该预设抽帧周期对该待处理视频进行抽帧处理，得到第二候选帧图像，直至该第二候选帧图像中存在该目标对象。

其中，该第二候选帧图像为该待处理视频中位于该第一候选帧图像之后的图像。

在步骤S1014中，将存在该目标对象的第二候选帧图像，作为该待处理帧图像。

示例地，以预设抽帧周期为8帧为例进行说明，若第一候选帧图像为待处理视频中的第一帧图像，在该第一候选帧图像中不存在该目标对象的情况下，可以表明该目标对象还未在待处理视频中出现，则继续按照该预设抽帧周期对该待处理视频进行抽帧处理，得到第二候选帧图像，即抽取待处理视频中的第九帧图像为第二候选帧图像，若第二候选帧图像中存在目标对象，可以将该第二候选帧图像(即待处理视频中的第九帧图像)作为待处理帧图像。若第九帧图像中不存在目标对象，则继续按照预设抽帧周期，抽取第十七帧图像，以此类推，直至抽取的图像中存在目标对象，将该图像作为待处理帧图像。

在步骤S102中，根据待处理帧图像跟踪待跟踪帧图像中的该目标对象。

其中，该待跟踪帧图像为该待处理视频中位于该待处理帧图像之后的图像。

在本步骤中，可以通过待处理帧图像跟踪待跟踪帧图像中的目标对象。示例地，以预设抽帧周期为8帧为例进行说明，对待处理视频进行抽帧处理，得到包含目标对象的待处理帧图像，也即该待处理帧图像为该抽帧周期内的第一帧图像，对于该周期内的其余七帧图像，可以根据第一帧图像跟踪其余七帧图像中的目标对象。这样，无需对每帧图像中的目标对象进行检测处理，大大提高了图像处理的效率。

采用上述方法，通过抽取待处理视频中包含目标对象的待处理帧图像，进而根据待处理帧图像跟踪待跟踪帧图像中的该目标对象。这样，无需对每帧图像中目标对象进行检测跟踪，使得每秒可以处理更多图像，大大提高了图像处理的效率。

如图4所示，对于上述步骤S102中根据该待处理帧图像跟踪待跟踪帧图像中的该目标对象包括：

在步骤S1021中，获取目标对象在该待处理帧图像中的目标位置信息。

示例地，可以通过目标检测算法获取该待处理帧图像中该目标对象的第一检测位置信息，将该第一检测位置信息作为目标位置信息。

在步骤S1022中，根据待处理帧图像中该目标对象的该目标位置信息跟踪该待跟踪帧图像中的该目标对象。

进一步地，上述步骤S1022中根据该待处理帧图像中该目标对象的该目标位置信息跟踪该待跟踪帧图像中的该目标对象可以包括：循环执行对象跟踪步骤，直至满足预设终止条件。

其中，该预设终止条件包括：新的待处理帧图像为该待处理视频中的最后一帧图像；或者，指定帧图像中不存在该目标对象，该指定帧图像为该目标帧图像中按照预设抽帧周期对该待处理视频重新进行抽帧处理得到的图像。

也就是说，在待处理视频中的所有帧图像全部处理完，或者在抽帧处理得到的指定帧图像中不存在该目标对象的情况下，可以表明该目标对象已经在待处理视频中指定帧图像之前的图像中出现过，而在指定帧图像中不存在该目标对象，则可以停止对该目标对象的跟踪，也即终止循环执行对象跟踪步骤。需要说明的是，在该目标对象包括多个对象的情况下，在指定帧图像中该多个对象不存在的情况下，可以停止对该多个对象的跟踪。

进一步地，如图5所示，该对象跟踪步骤可以包括：

S1，根据该目标位置信息，确定该目标对象在目标帧图像中的第一预测位置信息。

其中，该目标帧图像为该待处理帧图像在该待处理视频中的下一帧图像。

示例地，可以根据该目标位置信息，通过卡尔曼滤波算法确定该目标对象在目标帧图像中的第一预测位置信息。

S2，根据该第一预测位置信息跟踪该目标帧图像中的该目标对象。

示例地，可以根据第一预测位置信息通过卡尔曼滤波算法跟踪目标帧图像中的目标对象。

S3，将该目标帧图像作为新的待处理帧图像，并将该目标对象在该目标帧图像中的该第一预测位置信息作为新的目标位置信息。

可以理解的，在按照预设抽帧周期对待处理视频进行抽帧处理的情况下，在一个抽帧周期内，除被抽帧的第一候选帧图像外，其余图像都可以根据上一帧图像中目标对象的位置信息预测得到当前图像中目标对象的位置信息。因此，在本公开中，还可以将包括第一预测位置信息的目标帧图像作为新的待处理帧图像，将该目标对象在该目标帧图像中的该第一预测位置信息作为新的目标位置信息，从而对新的待处理帧图像的下一帧图像中目标对象的位置信息进行预测。

总的来说，在按照预设抽帧周期对待处理视频进行抽帧处理，得到包含目标对象的待处理帧图像情况下，可以获取该待处理帧图像中该目标对象的第一检测位置信息；根据第一检测位置信息，确定目标对象在待处理帧图像中的目标位置信息。并根据待处理帧图像中目标对象的目标位置信息预测得到目标帧图像的位置信息，并将目标帧图像作为新的待处理帧图像，将预测得到的位置信息作为新的目标位置信息，去预测目标帧图像的下一帧图像中目标对象的位置信息。以此类推，直至满足预设终止条件。

示例地，在按照预设抽帧周期对待处理视频进行抽帧处理，得到包含目标对象的待处理帧图像情况下，可以通过目标检测算法获取该待处理帧图像中该目标对象的第一检测位置信息，从而根据第一检测位置信息，确定目标对象在待处理帧图像中的目标位置信息。例如，通过目标检测算法获取该待处理帧图像中该目标对象的第一检测位置信息可以为(x，y，w，h)。其中，x，y为目标对象所在区域的左上角坐标值，w，h为目标对象所在区域的宽和高。那么，可以将(x，y，w，h)作为待处理帧图像的目标位置信息。

另外，为了提高目标对象跟踪的准确性，还可以执行对象跟踪步骤的过程中，继续按照预设抽帧周期对待处理视频进行抽帧处理，从而对抽帧处理得到的指定帧图像的位置信息进行更新。如图6所示，上述图5中对象跟踪步骤还可以包括以下步骤：

S4，获取该目标对象在该指定帧图像中的第二检测位置信息。

示例地，可以通过目标检测算法获取目标对象在该指定帧图像中的第二检测位置信息。

S5，根据该第二检测位置信息，更新该目标对象在该指定帧图像中的位置信息。

S6，将该指定帧图像作为新的待处理帧图像，并将更新后的位置信息作为新的目标位置信息。

另外，若指定帧图像中包括多个目标对象，可以通过匈牙利算法确定该指定帧图像中第二检测位置信息对应的目标对象和该指定帧图像中第二预测位置信息对应的目标对象是否匹配。其中，该第二预测位置信息是根据指定帧图像在该待处理视频中的上一帧图像中该目标对象的位置信息预测得到的。并可以在该第二检测位置信息对应的目标对象和该第二预测位置信息对应的目标对象匹配成功的情况下，根据该第二检测位置信息，更新该目标对象在该指定帧图像中的位置信息。

示例地，以预设抽帧周期为8帧为例进行说明对待处理视频进行抽帧处理，得到待处理视频中的第一帧图像，若待处理视频的第一帧图像为包含目标对象的图像(即可以将第一帧图像作为待处理帧图像)，可以获取目标对象在第一帧图像中的第一检测位置信息，并将该第一检测位置信息作为第一帧图像的目标位置信息。对第二帧图像来说，可以根据第一帧图像中目标对象的目标位置信息通过卡尔曼滤波算法预测得到第二帧图像中目标对象第一预测位置信息，并将该第二帧图像中目标对象的第一预测位置信息作为第二帧图像的目标位置信息。对于第三帧图像来说，可以根据第二帧图像中目标对象的目标位置信息通过卡尔曼滤波算法预测得到第三帧图像中目标对象的第一预测位置信息，并将该第三帧图像中目标对象的第一预测位置信息作为第三帧图像的目标位置信息。同样地，以此类推，可以通过上一帧图像中目标对象的目标位置信息通过卡尔曼滤波算法预测得到当前帧图像中目标对象的目标位置信息。当通过第八帧图像中目标对象的目标位置信息得到第九帧图像(即指定帧图像)中目标对象的第二预测位置信息后，为了进一步提高预测的准确性，可以通过目标检测算法确定第九帧图像中是否存在目标对象，并在存在目标对象的情况下，获取第九帧图像中目标对象的第二检测位置信息，从而根据该第二检测位置信息对第九帧图像中预测得到的第二预测位置信息进行更新，得到指定帧图像的目标位置信息，使得第十帧图像中目标对象的目标坐标信息可以根据的第九帧图像中目标对象更新后的目标坐标信息预测得到。也就是说，可以按照预设抽帧周期，对待处理视频进行抽帧处理，以提高跟踪目标对象的准确性，同时由于一个抽帧周期内只需抽取一帧图像对目标对象的位置信息进行检测，因此也大大提高了图像处理的效率。

另外，在本公开中还可以对跟踪的目标对象的目标位置信息进行展示，以便于用户及时了解目标对象的位置信息。同时，还可以对待处理视频和目标对象的目标位置信息进行记录，以便于后续对设备进行维护时可以追踪到历史时间中目标对象的位置信息。

采用上述方法，通过抽取待处理视频中包含目标对象的待处理帧图像，进而根据待处理帧图像跟踪待跟踪帧图像中的该目标对象。这样，无需对每帧图像中目标对象进行检测跟踪，使得每秒可以处理更多图像，大大提高了图像处理的效率。

图7是根据一示例性实施例示出的另一种对象跟踪的方法的流程图，以该待处理帧图像中包括多个目标对象为例进行说明，如图7所示，该方法可以包括以下步骤：

在步骤S201中，获取待处理视频。

在步骤S202中，按照预设抽帧周期，对待处理视频进行抽帧处理，得到第一候选帧图像。

在步骤S203中，确定该第一候选帧图像中是否存在目标对象。

其中，可以通过目标检测算法确定该第一候选帧图像中是否存在目标对象。

在该第一候选帧图像中存在目标对象的情况下，执行步骤S204；

在该第一候选帧图像中不存在目标对象的情况下，执行步骤S205。

在步骤S204中，将该第一候选帧图像作为待处理帧图像。

在步骤S205中，继续按照该预设抽帧周期对该待处理视频进行抽帧处理，得到第二候选帧图像，直至该第二候选帧图像中存在该目标对象。

其中，该第二候选帧图像为该待处理视频中位于该第一候选帧图像之后的图像。

在步骤S206中，将该第二候选帧图像作为待处理帧图像。

在步骤S207中，获取该目标对象在该待处理帧图像中的目标位置信息，并根据该目标位置信息，确定该目标对象在目标帧图像中的第一预测位置信息。

其中，该目标帧图像为该待处理帧图像在该待处理视频中的下一帧图像。

在步骤S208中，根据该第一预测位置信息跟踪该目标帧图像中的该目标对象，并将该目标帧图像作为新的待处理帧图像，并将该目标对象在该目标帧图像中的该第一预测位置信息作为新的目标位置信息。

在步骤S209中，获取该目标对象在该指定帧图像中的第二检测位置信息，并对指定帧图像中该第二检测位置信息对应的目标对象和该第二预测位置信息对应的目标对象进行匹配。

其中，该指定帧图像为该目标帧图像中按照预设抽帧周期对该待处理视频重新进行抽帧处理得到的图像，也就是说，指定帧图像为目标帧图像中的一个。

在步骤S210中，在该第二检测位置信息对应的目标对象和该第二预测位置信息对应的目标对象匹配成功的情况下，根据该第二检测位置信息，更新该目标对象在该指定帧图像中的位置信息。

其中，在指定帧图像中包括多个目标对象的情况下，若多个目标对象包括在待处理帧图像的第二预测位置信息，为了提高预测的准确性，可以通过获取该指定图像中多个目标对象的第二检测位置信息，来对指定帧图像的位置信息进行更新。但由于第二预测位置信息对应的多个目标对象并未与第二检测位置信息对应的多个目标对象进行匹配关联，因此，在本公开中可以对第二预测位置信息中的多个目标对象与第二检测位置信息中的多个目标对象进行匹配，并将匹配成功的第二预测位置信息和第二检测位置信息对应的目标对象进行关联，以便于对该指定帧图像中目标对象的位置信息进行更新。

示例地，可以通过匈牙利算法确定该指定帧图像中该第二检测位置信息对应的目标对象和第二预测位置信息对应的目标对象是否匹配。可以通过计算第二检测位置信息和第二预测位置信息IOU(Intersection over Union，重叠度)值，IOU值越高，表明第二检测位置信息和第二预测位置信息的相关度越高。则可以将IOU值最高的第二检测位置信息和第二预测位置信息对应的目标对象进行关联，从而对该目标对象的位置信息进行更新。例如，如图8所示，实线矩形框a和实线矩形框c表示目标对象的第二检测位置信息，虚线矩形框b和虚线矩形框d表示目标对象的第二预测位置信息，通过计算实线矩形框a和实线矩形框c分别与虚线矩形框b和虚线矩形框d之间的IOU值，可以得到实线矩形框a和虚线矩形框b的IOU值大于实线矩形框a和虚线矩形框d的IOU值，实线矩形框c和虚线矩形框d的IOU值大于实线矩形框c和虚线矩形框b的IOU值。由此可以得到实线矩形框a和虚线矩形框b的相似度最高，实线矩形框c和虚线矩形框d的的相似度最高。因此，可以将实线矩形框a所表示的第二检测位置信息与虚线矩形框b所表示的第二预测位置信息对应的目标对象关联起来，将实线矩形框c所表示的第二检测位置信息与虚线矩形框d所表示的第二预测位置信息对应的目标对象关联起来。

需要说明的是，若该指定帧图像的第二检测位置信息对应的目标对象的数量大于第二预测位置信息对应的目标对象的数量，可以表明在指定帧图像中出现了新的目标对象，可以将该目标对象的第二检测位置信息作为该目标对象的目标位置信息，并可以预测下一帧图像中该目标对象的第一预测位置信息。若该指定帧图像的第二预测位置信息对应的目标对象的数量大于第二检测位置信息对应的目标对象的数量，可以表明在该指定帧图像中目标对象的数量减少，可以停止对不存在的目标对象的跟踪。

在步骤S211中，将该指定帧图像作为新的待处理帧图像，并将更新后的位置信息作为新的目标位置信息。

在步骤S212中，确定是否满足预设终止条件。

其中，该预设终止条件包括：新的待处理帧图像为该待处理视频中的最后一帧图像；或者，指定帧图像中不存在该目标对象，

在满足预设终止条件的情况下，执行步骤S213；

在不满足预设终止条件的情况下，执行步骤S207。

在步骤S213中，停止对目标对象的跟踪。

采用上述方法，通过抽取待处理视频中包含目标对象的待处理帧图像，进而根据待处理帧图像跟踪待跟踪帧图像中的该目标对象。这样，无需对每帧图像中目标对象进行检测跟踪，使得每秒可以处理更多图像，大大提高了图像处理的效率。

图9是根据一示例性实施例示出的一种对象跟踪的装置的框图，如图9所示，该装置300包括：

抽帧模块301，被配置为对待处理视频进行抽帧处理，得到包含目标对象的待处理帧图像；

跟踪模块302，被配置为根据该待处理帧图像跟踪待跟踪帧图像中的该目标对象，该待跟踪帧图像为该待处理视频中位于该待处理帧图像之后的图像。

可选地，如图10所示，该跟踪模块302包括：

获取子模块3021，被配置为获取该目标对象在该待处理帧图像中的目标位置信息；

跟踪子模块3022，被配置为根据该待处理帧图像中该目标对象的该目标位置信息跟踪该待跟踪帧图像中的该目标对象。

可选地，该跟踪子模块3022，被配置为循环执行对象跟踪步骤，直至满足预设终止条件，该对象跟踪步骤包括：

根据该目标位置信息，确定该目标对象在目标帧图像中的第一预测位置信息，该目标帧图像为该待处理帧图像在该待处理视频中的下一帧图像；

根据该第一预测位置信息跟踪该目标帧图像中的该目标对象；

将该目标帧图像作为新的待处理帧图像，并将该目标对象在该目标帧图像中的该第一预测位置信息作为新的目标位置信息；

该预设终止条件包括：新的待处理帧图像为该待处理视频中的最后一帧图像；或者，

指定帧图像中不存在该目标对象，该指定帧图像为该目标帧图像中按照预设抽帧周期对该待处理视频重新进行抽帧处理得到的图像。

可选地，如图11所示，该抽帧模块301包括：

第一抽帧子模块3011，被配置为按照该预设抽帧周期对该待处理视频进行抽帧处理，得到第一候选帧图像；

第一确定子模块3012，被配置为在该第一候选帧图像中存在该目标对象的情况下，将该第一候选帧图像作为该待处理帧图像。

可选地，该获取子模块3021，被配置为通过目标检测算法获取该待处理帧图像中该目标对象的第一检测位置信息；将该第一检测位置信息作为该目标位置信息。

可选地，该对象跟踪步骤还包括：获取该目标对象在该指定帧图像中的第二检测位置信息；

根据该第二检测位置信息，更新该目标对象在该指定帧图像中的位置信息；

将该指定帧图像作为新的待处理帧图像，并将更新后的位置信息作为新的目标位置信息。

可选地，在该指定帧图像中包括多个目标对象的情况下，该对象跟踪步骤还包括：通过匈牙利算法确定该指定帧图像中该第二检测位置信息对应的目标对象和该指定帧图像中第二预测位置信息对应的目标对象是否匹配，该第二预测位置信息是根据该指定帧图像在该待处理视频中的上一帧图像中该目标对象的位置信息预测得到的；

在该第二检测位置信息对应的目标对象和该第二预测位置信息对应的目标对象匹配成功的情况下，根据该第二检测位置信息，更新该目标对象在该指定帧图像中的位置信息。

可选地，如图12所示，该抽帧模块301还包括：

第二抽帧子模块3013，被配置为在该第一候选帧图像中不存在该目标对象的情况下，继续按照该预设抽帧周期对该待处理视频进行抽帧处理，得到第二候选帧图像，直至该第二候选帧图像中存在该目标对象，该第二候选帧图像为该待处理视频中位于该第一候选帧图像之后的图像。

第二确定子模块3014，被配置为将存在该目标对象的第二候选帧图像，作为该待处理帧图像。

可选地，该跟踪子模块3022，被配置为根据该目标位置信息，通过卡尔曼滤波算法确定该目标对象在目标帧图像中的第一预测位置信息。

采用上述装置，通过抽取待处理视频中包含目标对象的待处理帧图像，进而根据待处理帧图像跟踪待跟踪帧图像中的所述目标对象。这样，无需对每帧图像中目标对象进行检测跟踪，使得每秒可以处理更多图像，大大提高了图像处理的效率。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的对象跟踪的方法的步骤。

图13是根据一示例性实施例示出的一种用于对象跟踪的装置400的框图。例如，装置400可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图13，装置400可以包括以下一个或多个组件：处理组件402，存储器404，电力组件406，多媒体组件408，音频组件410，输入/输出接口412，传感器组件414，以及通信组件416。

处理组件402通常控制装置400的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件402可以包括一个或多个处理器420来执行指令，以完成上述的对象跟踪的方法的全部或部分步骤。此外，处理组件402可以包括一个或多个模块，便于处理组件402和其他组件之间的交互。例如，处理组件402可以包括多媒体模块，以方便多媒体组件408和处理组件402之间的交互。

存储器404被配置为存储各种类型的数据以支持在装置400的操作。这些数据的示例包括用于在装置400上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电力组件406为装置400的各种组件提供电力。电力组件406可以包括电源管理系统，一个或多个电源，及其他与为装置400生成、管理和分配电力相关联的组件。

多媒体组件408包括在所述装置400和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件408包括一个前置摄像头和/或后置摄像头。当装置400处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件410被配置为输出和/或输入音频信号。例如，音频组件410包括一个麦克风(MIC)，当装置400处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器404或经由通信组件416发送。在一些实施例中，音频组件410还包括一个扬声器，用于输出音频信号。

输入/输出接口412为处理组件402和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件414包括一个或多个传感器，用于为装置400提供各个方面的状态评估。例如，传感器组件414可以检测到装置400的打开/关闭状态，组件的相对定位，例如所述组件为装置400的显示器和小键盘，传感器组件414还可以检测装置400或装置400一个组件的位置改变，用户与装置400接触的存在或不存在，装置400方位或加速/减速和装置400的温度变化。传感器组件414可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件414还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件414还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件416被配置为便于装置400和其他设备之间有线或无线方式的通信。装置400可以接入基于通信标准的无线网络，如WiFi，4G或5G，或它们的组合。在一个示例性实施例中，通信组件416经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，该通信组件416还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置400可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行对象跟踪的方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器404，上述指令可由装置400的处理器420执行以完成对象跟踪的方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的对象跟踪的方法的代码部分。

本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (9)

1.一种对象跟踪的方法，其特征在于，所述方法包括：

对待处理视频进行抽帧处理，得到包含目标对象的待处理帧图像；

根据所述待处理帧图像跟踪待跟踪帧图像中的所述目标对象，所述待跟踪帧图像为所述待处理视频中位于所述待处理帧图像之后的图像；

所述根据所述待处理帧图像跟踪待跟踪帧图像中的所述目标对象包括：

获取所述目标对象在所述待处理帧图像中的目标位置信息；

根据所述待处理帧图像中所述目标对象的所述目标位置信息跟踪所述待跟踪帧图像中的所述目标对象；

所述根据所述待处理帧图像中所述目标对象的所述目标位置信息跟踪所述待跟踪帧图像中的所述目标对象包括：

循环执行对象跟踪步骤，直至满足预设终止条件，所述对象跟踪步骤包括：

根据所述目标位置信息，确定所述目标对象在目标帧图像中的第一预测位置信息，所述目标帧图像为所述待处理帧图像在所述待处理视频中的下一帧图像；

根据所述第一预测位置信息跟踪所述目标帧图像中的所述目标对象；

将所述目标帧图像作为新的待处理帧图像，并将所述目标对象在所述目标帧图像中的所述第一预测位置信息作为新的目标位置信息；

所述预设终止条件包括：新的待处理帧图像为所述待处理视频中的最后一帧图像；或者，

指定帧图像中不存在所述目标对象，所述指定帧图像为所述目标帧图像中按照预设抽帧周期对所述待处理视频重新进行抽帧处理得到的图像；

所述方法还包括：

获取所述目标对象在所述指定帧图像中的第二检测位置信息；

根据所述第二检测位置信息，更新所述目标对象在所述指定帧图像中的位置信息；

将所述指定帧图像作为新的待处理帧图像，并将更新后的位置信息作为新的目标位置信息。

2.根据权利要求1所述的方法，其特征在于，所述对待处理视频进行抽帧处理，得到包含目标对象的待处理帧图像包括：

按照所述预设抽帧周期对所述待处理视频进行抽帧处理，得到第一候选帧图像；

在所述第一候选帧图像中存在所述目标对象的情况下，将所述第一候选帧图像作为所述待处理帧图像。

3.根据权利要求1所述的方法，其特征在于，所述获取所述目标对象在所述待处理帧图像中的目标位置信息包括：

通过目标检测算法获取所述待处理帧图像中所述目标对象的第一检测位置信息；

将所述第一检测位置信息作为所述目标位置信息。

4.根据权利要求1所述的方法，其特征在于，在所述指定帧图像中包括多个目标对象的情况下，所述方法还包括：

通过匈牙利算法确定所述指定帧图像中所述第二检测位置信息对应的目标对象和所述指定帧图像中第二预测位置信息对应的目标对象是否匹配，所述第二预测位置信息是根据所述指定帧图像在所述待处理视频中的上一帧图像中所述目标对象的位置信息预测得到的；

所述根据所述第二检测位置信息，更新所述目标对象在所述指定帧图像中的位置信息包括：

在所述第二检测位置信息对应的目标对象和所述第二预测位置信息对应的目标对象匹配成功的情况下，根据所述第二检测位置信息，更新所述目标对象在所述指定帧图像中的位置信息。

5.根据权利要求2所述的方法，其特征在于，所述方法还包括：

在所述第一候选帧图像中不存在所述目标对象的情况下，继续按照所述预设抽帧周期对所述待处理视频进行抽帧处理，得到第二候选帧图像，直至所述第二候选帧图像中存在所述目标对象，所述第二候选帧图像为所述待处理视频中位于所述第一候选帧图像之后的图像；

将存在所述目标对象的第二候选帧图像，作为所述待处理帧图像。

6.根据权利要求1所述的方法，其特征在于，所述根据所述目标位置信息，确定所述目标对象在目标帧图像中的第一预测位置信息包括：

根据所述目标位置信息，通过卡尔曼滤波算法确定所述目标对象在所述目标帧图像中的第一预测位置信息。

7.一种对象跟踪的装置，其特征在于，包括：

抽帧模块，被配置为对待处理视频进行抽帧处理，得到包含目标对象的待处理帧图像；

跟踪模块，被配置为根据所述待处理帧图像跟踪待跟踪帧图像中的所述目标对象，所述待跟踪帧图像为所述待处理视频中位于所述待处理帧图像之后的图像；

所述跟踪模块包括：获取子模块，被配置为获取所述目标对象在所述待处理帧图像中的目标位置信息；

跟踪子模块，被配置为根据所述待处理帧图像中所述目标对象的所述目标位置信息跟踪所述待跟踪帧图像中的所述目标对象；

所述跟踪子模块，被配置为循环执行对象跟踪步骤，直至满足预设终止条件，所述对象跟踪步骤包括：根据所述目标位置信息，确定所述目标对象在目标帧图像中的第一预测位置信息，所述目标帧图像为所述待处理帧图像在所述待处理视频中的下一帧图像；根据所述第一预测位置信息跟踪所述目标帧图像中的所述目标对象；将所述目标帧图像作为新的待处理帧图像，并将所述目标对象在所述目标帧图像中的所述第一预测位置信息作为新的目标位置信息；所述预设终止条件包括：新的待处理帧图像为所述待处理视频中的最后一帧图像；或者，指定帧图像中不存在所述目标对象，所述指定帧图像为所述目标帧图像中按照预设抽帧周期对所述待处理视频重新进行抽帧处理得到的图像；

所述对象跟踪步骤还包括：获取所述目标对象在所述指定帧图像中的第二检测位置信息；根据所述第二检测位置信息，更新所述目标对象在所述指定帧图像中的位置信息；将所述指定帧图像作为新的待处理帧图像，并将更新后的位置信息作为新的目标位置信息。

8.一种对象跟踪的装置，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为在调用所述存储器上存储的可执行指令时，实现权利要求1至6中任一项所述方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1至6中任一项所述方法的步骤。