CN110533006A - 一种目标跟踪方法、装置及介质 - Google Patents

Abstract

本公开是关于一种目标跟踪方法、装置和介质。该方法包括：获取所述目标的N帧历史图像，N为大于等于2的自然数；利用与N帧历史图像中每帧图像一一对应的第一网络模型获取每帧图像的第一预测特征点信息，以及利用与每帧图像一一对应的第二网络模型获取每帧图像的第二预测特征点信息；基于第一预测特征点信息和第二预测特征点信息调整第一网络模型的参数和第二网络模型的参数，直至第一网络模型和第二网络模型训练完成；利用训练完成的第一网络模型和第二网络模型执行目标的跟踪。在本方法中，一个第一网络模型只与一个第二网络模型相连接，提高了第一网络模型的处理速度。

Description

一种目标跟踪方法、装置及介质

技术领域

本公开涉及图像处理领域，尤其涉及一种目标跟踪方法、装置及介质。

背景技术

目标跟踪是指给出目标在跟踪视频第一帧中的初始状态(如位置，尺寸)，自动估计目标物体在后续帧中的状态。

人眼可以比较轻松的在一段时间内跟住某个特定目标。但是对机器而言，这一任务并不简单，尤其是跟踪过程中会出现目标发生剧烈形变、被其他目标遮挡或出现相似物体干扰等等各种复杂的情况。

传统的目标跟踪方法需要在线学习，并且速度慢，不能满足当前对目标跟踪效果的越来越高的要求。

发明内容

为克服相关技术中存在的问题，本公开提供一种目标跟踪的方法、装置及介质，以实现稳定的快速的目标跟踪。

根据本公开实施例的第一方面，提供一种目标跟踪方法，所述方法包括：

获取所述目标的N帧历史图像，N为大于等于2的自然数；

利用与所述N帧历史图像中每帧图像一一对应的第一网络模型获取所述每帧图像的第一预测特征点信息，以及利用与所述每帧图像一一对应的第二网络模型获取所述每帧图像的第二预测特征点信息；

基于所述第一预测特征点信息和所述第二预测特征点信息调整所述第一网络模型的参数和所述第二网络模型的参数，直至所述第一网络模型和所述第二网络模型训练完成；

利用训练完成的所述第一网络模型和所述第二网络模型执行所述目标的跟踪。

其中，所述N帧历史图像至少包括先前图像帧和当前图像帧，所述先前图像帧的采样时间早于所述当前图像帧的采样时间；

所述利用与所述N帧历史图像中每帧图像一一对应的第一网络模型获取所述每帧图像的第一预测特征点信息，包括：

利用与所述先前图像帧一一对应的第一网络模型获取所述先前图像帧的第一预测特征点信息；

利用与所述当前图像帧一一对应的第一网络模型获取所述当前图像帧的第一预测特征点信息。

其中，所述利用与所述每帧图像一一对应的第二网络模型获取所述每帧图像的第二预测特征点信息，包括：

基于所述先前图像帧的所述第一预测特征点信息，通过与所述先前图像帧一一对应的所述第二网络模型，获取与所述先前图像帧相应的循环信息；

将与所述先前图像帧相应的所述循环信息和所述当前图像帧的所述第一预测特征点信息输入与所述当前图像帧一一对应的所述第二网络模型，以获取所述当前图像帧的第二预测特征点信息。

其中，所述基于所述第一预测特征点信息和所述第二预测特征点信息调整所述第一网络模型的参数和所述第二网络模型的参数，包括：

基于所述当前图像帧的所述第一预测特征点信息和所述第二预测特征点信息获取所述当前图像帧的预测特征点位置；

基于所述当前图像帧，获取实际特征点位置；

基于所述预测特征点位置和所述实际特征点位置，获取所述当前图像帧的预测误差；

基于所述预测误差调整所述第一网络模型的参数和所述第二网络模型的参数。

其中，所述基于所述当前图像帧的所述第一预测特征点信息和所述第二预测特征点信息获取所述当前图像帧的预测特征点位置包括：

将所述当前图像帧的所述第一预测特征点信息中的第一预测特征点位置和所述第二预测特征点信息中的第二预测特征点位置进行加权求和，获取所述当前图像帧的预测特征点位置。

其中，所述基于所述预测特征点位置和所述实际特征点位置，获取所述当前图像帧的预测误差，包括：

计算所述当前图像帧的所述预测特征点位置与所述实际特征点位置的误差，获得第一误差；

计算所述当前图像帧的所述第二预测特征点位置与所述实际特征点位置的误差，获得第二误差；

将所述第一误差和所述第二误差进行加权求和，获得所述当前图像帧的所述预测误差。

根据本公开实施例的第二方面，提供一种目标跟踪装置，所述装置包括：

图像采样单元，被设置为获取所述目标的N帧历史图像，N为大于等于2的自然数；

N个第一网络模型，每个第一网络模型被设置为获取与该第一网络模型一一对应的一帧图像的第一预测特征点信息；

N个第二网络模型，每个第二网络模型被设置为获取与该第二网络模型一一对应的一帧图像的第二预测特征点信息；

模型训练单元，被设置为基于所述第一预测特征点信息和所述第二预测特征点信息调整所述第一网络模型的参数和所述第二网络模型的参数，直至所述第一网络模型和所述第二网络模型训练完成。

其中，所述图像采样单元获取的N帧历史图像至少包括先前图像帧和当前图像帧，所述先前图像帧的采样时间早于所述当前图像帧的采样时间；

与所述先前图像帧一一对应的第一网络模型被设置为获取所述先前图像帧的第一预测特征点信息；

与所述当前图像帧一一对应的第一网络模型被设置为获取所述当前图像帧的第一预测特征点信息。

其中，与所述先前图像帧一一对应的第二网络模型还被设置为基于所述先前图像帧的所述第一预测特征点信息，获取与所述先前图像帧相应的循环信息；

与所述当前图像帧一一对应的第二网络模型还被设置为通过输入的与所述先前图像帧相应的所述循环信息和所述当前图像帧的所述第一预测特征点信息，获取所述当前图像帧的第二预测特征点信息。

其中，所述模型训练单元还包括：

特征点位置预测单元，被设置为基于所述当前图像帧的所述第一预测特征点信息和所述第二预测特征点信息获取所述当前图像帧的预测特征点位置；

特征点位置获取单元，被设置为基于所述当前图像帧，获取实际特征点位置；

预测误差获取单元，被设置为基于所述当前图像帧的所述预测特征点位置和所述实际特征点位置，获取所述当前图像帧的预测误差；

参数调整单元，被设置为基于所述预测误差调整所述第一网络模型的参数和所述第二网络模型的参数。

其中，所述特征点位置预测单元还被设置为：

将所述当前图像帧的所述第一预测特征点信息中的第一预测特征点位置和所述第二预测特征点信息中的第二预测特征点位置进行加权求和，获取所述当前图像帧的预测特征点位置。

其中，所述预测误差获取单元还被设置为：

计算所述当前图像帧的所述预测特征点位置与所述实际特征点位置的误差，获得第一误差；

计算所述当前图像帧的所述第二预测特征点位置与所述实际特征点位置的误差，获得第二误差；

将所述第一误差和所述第二误差进行加权求和，获得所述当前图像帧的所述预测误差。

根据本公开实施例的第三方面，提供一种目标跟踪装置，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

获取所述目标的N帧历史图像，N为大于等于2的自然数；

利用与所述N帧历史图像中每帧图像一一对应的第一网络模型获取所述每帧图像的第一预测特征点信息，以及利用与所述每帧图像一一对应的第二网络模型获取所述每帧图像的第二预测特征点信息；

基于所述第一预测特征点信息和所述第二预测特征点信息调整所述第一网络模型的参数和所述第二网络模型的参数，直至所述第一网络模型和所述第二网络模型训练完成；

利用训练完成的所述第一网络模型和所述第二网络模型执行所述目标的跟踪。

根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行一种目标跟踪方法，所述方法包括：

获取所述目标的N帧历史图像，N为大于等于2的自然数；

利用与所述N帧历史图像中每帧图像一一对应的第一网络模型获取所述每帧图像的第一预测特征点信息，以及利用与所述每帧图像一一对应的第二网络模型获取所述每帧图像的第二预测特征点信息；

基于所述第一预测特征点信息和所述第二预测特征点信息调整所述第一网络模型的参数和所述第二网络模型的参数，直至所述第一网络模型和所述第二网络模型训练完成；

利用训练完成的所述第一网络模型和所述第二网络模型执行所述目标的跟踪。

采用本公开的实施例提供的技术方案，每帧图像分别由与其一一对应的第一网络模型和第二网络模型进行特征点信息的预测，即一个第一网络模型只与一个第二网络模型相连接，提高了第一网络模型的处理速度。另外，当第二网络模型采用具有记忆特征的神经网络模型时，对一帧图像进行特征点信息预测时，会考虑上之前关联的各帧图像的信息，从而增加了预测的准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种目标跟踪方法的流程图；

图2是根据一示例性实施例示出的一种目标跟踪方法的流程图；

图3是根据一示例性实施例示出的一种目标跟踪装置的框图；

图4是根据一示例性实施例示出的一种装置的框图。

图5是根据一示例性实施例示出的一种装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

传统的目标跟踪方法需要在线学习，并且速度慢，不能满足当前对目标跟踪效果的越来越高的要求。本公开中，使一个CNN网络模型只对应一个LSTM网络模型，因此每个CNN网络模型只需计算一次，提高了训练速度。并且，在对每一帧进行预测时，均用到了前面所有帧的信息，即相当于在预测时存储了上下文信息，提高了预测的准确性。

下面对本公开中的目标跟踪方法进行详细说明。需要说明的是，这里的目标跟踪可以是人脸跟踪。

图1是根据一示例性实施例示出的一种目标跟踪方法，该方法包括：

步骤101，获取目标的N帧历史图像，N为大于等于2的自然数；

步骤102，利用与N帧历史图像中每帧图像一一对应的第一网络模型获取每帧图像的第一预测特征点信息，以及利用与每帧图像一一对应的第二网络模型获取每帧图像的第二预测特征点信息；

步骤103，基于第一预测特征点信息和第二预测特征点信息调整第一网络模型的参数和第二网络模型的参数，直至第一网络模型和第二网络模型训练完成；

步骤104，利用训练完成的第一网络模型和第二网络模型执行目标的跟踪。

步骤101中，目标的历史图像可以通过对一段历史视频进行抽样得到，即这里的N帧历史图像是一段视频的关联帧。

步骤102中，第一预测特征点信息是通过对输入的图像帧进行预测得到的，其可以包括特征点位置以及根据该特征点位置得到特征向量。例如，将人脸图像输入到第一网络模型中，得到预测的例如106个特征点位置，基于该106个坐标(x,y)，可以得到212维的特征向量。

在示例性实施例中，N帧历史图像至少包括先前图像帧和当前图像帧，先前图像帧的采样时间早于当前图像帧的采样时间；

利用与N帧历史图像中每帧图像一一对应的第一网络模型获取每帧图像的第一预测特征点信息，包括：

利用与先前图像帧一一对应的第一网络模型获取先前图像帧的第一预测特征点信息；

利用与当前图像帧一一对应的第一网络模型获取当前图像帧的第一预测特征点信息。

这里，在对网络模型进行训练时，至少需要从视频中采样得到的两帧图像，具体使用的图像帧数根据具体情况来确定。并且，先前图像帧可以是N帧历史图像中的第一帧图像，也可以不是N帧历史图像中的第一帧图像。这里的先前图像帧是相对当前图像帧而言的，表示该两帧图像的采样时间的先后顺序。先前图像帧的第一预测特征点信息包括预测的先前图像帧的经与其一一对应的第一网络模型预测的特征点位置和特征向量，当前图像帧的第一预测特征点信息包括预测的当前图像帧的经与其一一对应第一网络模型预测的特征点位置和特征向量。

需要说明的是，先前图像帧的第一预测特征点信息与当前图像帧的第一预测特征点信息可以是相同的也可以是不相同的。并且，通过第一网络模型可以直接输出与输入到该第一网络模型中的图像帧相应的第一预测特征点信息，包括特征点位置和特征向量。

在示例性实施例中，利用与每帧图像一一对应的第二网络模型获取每帧图像的第二预测特征点信息，包括：

基于先前图像帧的第一预测特征点信息，通过与先前图像帧一一对应的第二网络模型，获取与先前图像帧相应的循环信息；

将与先前图像帧相应的循环信息和当前图像帧的第一预测特征点信息输入与当前图像帧一一对应的第二网络模型，以获取当前图像帧的第二预测特征点信息。

这里，与各帧对应的第一网络模型在模型结构和参数上可以是相同的，并且，与各帧对应的第二网络模型在模型结构和参数上可以是相同的。

在本公开的方法中，每帧图像分别由与其一一对应的第一网络模型和第二网络模型进行特征点信息的预测，即一个第一网络模型只与一个第二网络模型相连接，提高了第一网络模型的处理速度。

需要说明的是，当先前图像帧是N帧历史图像中的第一帧图像时，获取与先前图像帧相应的循环信息时，只需要将先前图像帧的第一预测特征点信息输入与先前图像帧一一对应的第二网络模型，来得到与先前图像帧相应的循环信息，该循环信息中包括先前图像帧的信息。当先前图像帧不是N帧历史图像中的第一帧图像时，获取与先前图像帧相应的循环信息时，需要将先前图像帧的第一预测特征点信息以及该先前图像帧前一帧图像(即采样时间在先前图像帧采样时间之前，且与先前图像帧采样时间间隔最短的图像)的循环信息输入与先前图像帧一一对应的第二网络模型，来得到与先前图像帧相应的循环信息，在这种情况下，与先前图像帧相应的循环信息包括先前图像帧的信息及其之前所有图像帧的信息。上面的过程可以通过具有记忆特征的神经网络模型来说明，在此不再赘述。

因此，当第二网络模型采用具有记忆特征的神经网络模型时，对一帧图像进行特征点信息预测时，会考虑上之前关联的各帧图像的信息，从而增加了预测的准确性。

在示例性实施例中，基于第一预测特征点信息和第二预测特征点信息调整第一网络模型的参数和第二网络模型的参数，包括：

基于当前图像帧的第一预测特征点信息和第二预测特征点信息获取当前图像帧的预测特征点位置；

基于当前图像帧，获取实际特征点位置；

基于预测特征点位置和实际特征点位置，获取当前图像帧的预测误差；

基于预测误差调整第一网络模型的参数和第二网络模型的参数。

其中，基于当前图像帧来获取实际特征点位置的方式可以采用本领域技术人员已知的方式，在此不再赘述。

在示例性实施例中，基于当前图像帧的第一预测特征点信息和第二预测特征点信息获取当前图像帧的预测特征点位置包括：

将当前图像帧的第一预测特征点信息中的第一预测特征点位置和第二预测特征点信息中的第二预测特征点位置进行加权求和，获取当前图像帧的预测特征点位置。

这里，从第一预测特征点信息中提取第一预测特征点位置S1，从第二预测特征点信息中提取第二预测特征点位置S2，例如利用下面的公式(1)对第一预测特征点位置S1和第二预测特征点位置S2进行加权求和，得到当前图像帧的预测特征点位置S，

S＝α×S1+(1-α)×S2 (1)

其中α为加权系数，0<α<1，α的具体取值可以根据实际情况来设置。

在示例性实施例中，基于预测特征点位置和实际特征点位置，获取当前图像帧的预测误差，包括：

计算预测特征点位置与实际特征点位置的误差，获得第一误差；

计算第二预测特征点位置与实际特征点位置的误差，获得第二误差；

将第一误差和第二误差进行加权求和，获得当前图像帧的预测误差。

具体地，可以通过计算预测特征点位置与实际特征点位置之间的欧式距离来计算第一误差L1，通过计算第二预测特征点位置与实际特征点位置之间的欧式距离来计算第二误差L2。例如，利用下面的公式(2)对第一误差L1和第二误差L2进行加权求和，来得到当前图像帧的预测误差L，

L＝β×L1+γ×L2 (2)

其中β和γ均为加权系数，其取值范围为0-1，且满足β+γ＝1。具体取值可以根据实际情况来设置。

在得到预测误差L后，利用该预测误差调整第一网络模型的参数和第二网络模型的参数，直至第一网络模型和第二网络模型训练完成。这里，训练完成的条件可以是得到的预测误差L小于设定阈值。具体的基于预测误差判断模型训练完成的条件可以参考CNN网络模型和LSTM网络模型训练完成的条件，在此不再赘述。

在示例性实施例中，第一网络模型为卷积神经CNN网络模型，第二网络模型为长短期记忆LSTM网络模型。

将一帧图像输入CNN网络模型，可以对该帧图像的特征点位置和特征向量进行预测。将当前图像帧的预测特征向量和前一帧的循环信息输入LSTM网络模型，可以得到进一步预测的特征点信息以及该当前帧的循环信息。其中前一帧的循环信息由与前一帧一一对应的LSTM网络模型输出。

需要说明的是，在本公开的方法中，对每帧图像均设置与其一一对应的CNN网络模型和LSTM网络模型，其中各CNN网络模型的功能是相同的，各LSTM网络模型的功能也是相同的。

图2示出了根据本申请的一具体实施例的方法的流程图。该方法中，对人脸进行跟踪，在对该人脸进行跟踪前，先获取该人脸的前一时间段内视频。如图2所示，其包括下述步骤：

步骤201，对待跟踪的人脸的视频进行采样，获取多帧图像。

步骤202，对每帧图像均设置一一对应的CNN网络模型和LSTM网络模型，并按照各帧图像输入其对应的CNN网络模型，CNN网络模型输出的特征向量分别输入一一对应的LSTM网络模型的方式设置，并且前一帧图像对应的LSTM网络模型输出的循环信息输入后一帧图像对应的LSTM网络模型。

步骤203，对于各帧图像，计算其预测特征点位置S＝0.5×S1+0.5×S2。

步骤204，对于各帧图像，计算其预测误差L＝L1+L2。

步骤205，对该预测误差进行反向传播，来训练CNN网络模型和LSTM网络模型，直到针对一帧图像计算的预测误差小于设定阈值为止，此时认为CNN网络模型和LSTM网络模型的训练完成。

步骤206，利用训练完成的CNN网络模型和LSTM网络模型对人脸进行跟踪。

本申请还提供了一种目标跟踪装置，如图3所示，所述装置包括：

图像采样单元301，被设置为获取所述目标的N帧历史图像，N为大于等于2的自然数；

N个第一网络模型302，每个第一网络模型被设置为获取与该第一网络模型一一对应的一帧图像的第一预测特征点信息；

N个第二网络模型303，每个第二网络模型被设置为获取与该第二网络模型一一对应的一帧图像的第二预测特征点信息；

模型训练单元304，被设置为基于所述第一预测特征点信息和所述第二预测特征点信息调整所述第一网络模型的参数和所述第二网络模型的参数，直至所述第一网络模型和所述第二网络模型训练完成。

在示例性实施例中，所述图像采样单元301获取的N帧历史图像至少包括先前图像帧和当前图像帧，所述先前图像帧的采样时间早于所述当前图像帧的采样时间；

与所述先前图像帧一一对应的第一网络模型302被设置为获取所述先前图像帧的第一预测特征点信息；

与所述当前图像帧一一对应的第一网络模型302被设置为获取所述当前图像帧的第一预测特征点信息。

在示例性实施例中，与所述先前图像帧一一对应的第二网络模型303还被设置为基于所述先前图像帧的所述第一预测特征点信息，获取与所述先前图像帧相应的循环信息；

与所述当前图像帧一一对应的第二网络模型303还被设置为通过输入的与所述先前图像帧相应的所述循环信息和所述当前图像帧的所述第一预测特征点信息，获取所述当前图像帧的第二预测特征点信息。

在示例性实施例中，所述模型训练单元304还包括：

特征点位置预测单元，被设置为基于所述当前图像帧的所述第一预测特征点信息和所述第二预测特征点信息获取所述当前图像帧的预测特征点位置；

特征点位置获取单元，被设置为基于所述当前图像帧，获取实际特征点位置；

预测误差获取单元，被设置为基于所述当前图像帧的所述预测特征点位置和所述实际特征点位置，获取所述当前图像帧的预测误差；

参数调整单元，被设置为基于所述预测误差调整所述第一网络模型的参数和所述第二网络模型的参数。

在示例性实施例中，所述特征点位置预测单元还被设置为：

将所述当前图像帧的所述第一预测特征点信息中的第一预测特征点位置和所述第二预测特征点信息中的第二预测特征点位置进行加权求和，获取所述当前图像帧的预测特征点位置。

在示例性实施例中，所述预测误差获取单元还被设置为：

计算所述当前图像帧的所述预测特征点位置与所述实际特征点位置的误差，获得第一误差；

计算所述当前图像帧的所述第二预测特征点位置与所述实际特征点位置的误差，获得第二误差；

将所述第一误差和所述第二误差进行加权求和，获得所述当前图像帧的所述预测误差。

在示例性实施例中，所述第一网络模型302为卷积神经CNN网络模型，所述第二网络模型303为长短期记忆LSTM网络模型。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

采用本公开的实施例提供的技术方案，每帧图像分别由与其一一对应的第一网络模型和第二网络模型进行特征点信息的预测，即一个第一网络模型只与一个第二网络模型相连接，提高了第一网络模型的处理速度。另外，当第二网络模型采用具有记忆特征的神经网络模型时，对一帧图像进行特征点信息预测时，会考虑上之前关联的各帧图像的信息，从而增加了预测的准确性。

图4是根据一示例性实施例示出的一种用于提示的装置400的框图。例如，装置400可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图4，装置400可以包括以下一个或多个组件：处理组件402，存储器404，电力组件406，多媒体组件408，音频组件410，输入/输出(I/O)的接口412，传感器组件414，以及通信组件416。

处理组件402通常控制装置400的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件402可以包括一个或多个处理器420来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件402可以包括一个或多个模块，便于处理组件402和其他组件之间的交互。例如，处理组件402可以包括多媒体模块，以方便多媒体组件408和处理组件402之间的交互。

存储器404被配置为存储各种类型的数据以支持在设备400的操作。这些数据的示例包括用于在装置400上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电力组件406为装置400的各种组件提供电力。电力组件406可以包括电源管理系统，一个或多个电源，及其他与为装置400生成、管理和分配电力相关联的组件。

多媒体组件408包括在所述装置400和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件408包括一个前置摄像头和/或后置摄像头。当设备400处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件410被配置为输出和/或输入音频信号。例如，音频组件410包括一个麦克风(MIC)，当装置400处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器404或经由通信组件416发送。在一些实施例中，音频组件410还包括一个扬声器，用于输出音频信号。

I/O接口412为处理组件402和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件414包括一个或多个传感器，用于为装置400提供各个方面的状态评估。例如，传感器组件414可以检测到设备400的打开/关闭状态，组件的相对定位，例如所述组件为装置400的显示器和小键盘，传感器组件414还可以检测装置400或装置400一个组件的位置改变，用户与装置400接触的存在或不存在，装置400方位或加速/减速和装置400的温度变化。传感器组件414可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件414还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件414还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件416被配置为便于装置400和其他设备之间有线或无线方式的通信。装置400可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件416经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件416还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置400可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器404，上述指令可由装置400的处理器420执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行一种提示方法，所述方法包括：获取所述目标的N帧历史图像，N为大于等于2的自然数；利用与所述N帧历史图像中每帧图像一一对应的第一网络模型获取所述每帧图像的第一预测特征点信息，以及利用与所述每帧图像一一对应的第二网络模型获取所述每帧图像的第二预测特征点信息；基于所述第一预测特征点信息和所述第二预测特征点信息调整所述第一网络模型的参数和所述第二网络模型的参数，直至所述第一网络模型和所述第二网络模型训练完成；利用训练完成的所述第一网络模型和所述第二网络模型执行所述目标的跟踪。

图5是根据一示例性实施例示出的一种用于提示的装置500的框图。例如，装置500可以被提供为一服务器。参照图5，装置500包括处理组件522，其进一步包括一个或多个处理器，以及由存储器532所代表的存储器资源，用于存储可由处理组件522的执行的指令，例如应用程序。存储器532中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件522被配置为执行指令，以执行下述方法：获取所述目标的N帧历史图像，N为大于等于2的自然数；利用与所述N帧历史图像中每帧图像一一对应的第一网络模型获取所述每帧图像的第一预测特征点信息，以及利用与所述每帧图像一一对应的第二网络模型获取所述每帧图像的第二预测特征点信息；基于所述第一预测特征点信息和所述第二预测特征点信息调整所述第一网络模型的参数和所述第二网络模型的参数，直至所述第一网络模型和所述第二网络模型训练完成；利用训练完成的所述第一网络模型和所述第二网络模型执行所述目标的跟踪。

装置500还可以包括一个电源组件526被配置为执行装置500的电源管理，一个有线或无线网络接口550被配置为将装置500连接到网络，和一个输入输出(I/O)接口558。装置500可以操作基于存储在存储器532的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (14)

1.一种目标跟踪方法，其特征在于，所述方法包括：

获取所述目标的N帧历史图像，N为大于等于2的自然数；

利用与所述N帧历史图像中每帧图像一一对应的第一网络模型获取所述每帧图像的第一预测特征点信息，以及利用与所述每帧图像一一对应的第二网络模型获取所述每帧图像的第二预测特征点信息；

基于所述第一预测特征点信息和所述第二预测特征点信息调整所述第一网络模型的参数和所述第二网络模型的参数，直至所述第一网络模型和所述第二网络模型训练完成；

利用训练完成的所述第一网络模型和所述第二网络模型执行所述目标的跟踪。

2.如权利要求1所述的方法，其特征在于，所述N帧历史图像至少包括先前图像帧和当前图像帧，所述先前图像帧的采样时间早于所述当前图像帧的采样时间；

所述利用与所述N帧历史图像中每帧图像一一对应的第一网络模型获取所述每帧图像的第一预测特征点信息，包括：

利用与所述先前图像帧一一对应的第一网络模型获取所述先前图像帧的第一预测特征点信息；

利用与所述当前图像帧一一对应的第一网络模型获取所述当前图像帧的第一预测特征点信息。

3.如权利要求1或2所述的方法，其特征在于，所述利用与所述每帧图像一一对应的第二网络模型获取所述每帧图像的第二预测特征点信息，包括：

基于所述先前图像帧的所述第一预测特征点信息，通过与所述先前图像帧一一对应的所述第二网络模型，获取与所述先前图像帧相应的循环信息；

将与所述先前图像帧相应的所述循环信息和所述当前图像帧的所述第一预测特征点信息输入与所述当前图像帧一一对应的所述第二网络模型，以获取所述当前图像帧的第二预测特征点信息。

4.如权利要求1所述的方法，其特征在于，所述基于所述第一预测特征点信息和所述第二预测特征点信息调整所述第一网络模型的参数和所述第二网络模型的参数，包括：

基于所述当前图像帧的所述第一预测特征点信息和所述第二预测特征点信息获取所述当前图像帧的预测特征点位置；

基于所述当前图像帧，获取实际特征点位置；

基于所述预测特征点位置和所述实际特征点位置，获取所述当前图像帧的预测误差；

基于所述预测误差调整所述第一网络模型的参数和所述第二网络模型的参数。

5.如权利要求4所述的方法，其特征在于，所述基于所述当前图像帧的所述第一预测特征点信息和所述第二预测特征点信息获取所述当前图像帧的预测特征点位置包括：

将所述当前图像帧的所述第一预测特征点信息中的第一预测特征点位置和所述第二预测特征点信息中的第二预测特征点位置进行加权求和，获取所述当前图像帧的预测特征点位置。

6.如权利要求4所述的方法，其特征在于，所述基于所述预测特征点位置和所述实际特征点位置，获取所述当前图像帧的预测误差，包括：

计算所述当前图像帧的所述预测特征点位置与所述实际特征点位置的误差，获得第一误差；

计算所述当前图像帧的所述第二预测特征点位置与所述实际特征点位置的误差，获得第二误差；

将所述第一误差和所述第二误差进行加权求和，获得所述当前图像帧的所述预测误差。

7.一种目标跟踪装置，其特征在于，所述装置包括：

图像采样单元，被设置为获取所述目标的N帧历史图像，N为大于等于2的自然数；

N个第一网络模型，每个第一网络模型被设置为获取与该第一网络模型一一对应的一帧图像的第一预测特征点信息；

N个第二网络模型，每个第二网络模型被设置为获取与该第二网络模型一一对应的一帧图像的第二预测特征点信息；

模型训练单元，被设置为基于所述第一预测特征点信息和所述第二预测特征点信息调整所述第一网络模型的参数和所述第二网络模型的参数，直至所述第一网络模型和所述第二网络模型训练完成。

8.如权利要求7所述的装置，其特征在于，所述图像采样单元获取的N帧历史图像至少包括先前图像帧和当前图像帧，所述先前图像帧的采样时间早于所述当前图像帧的采样时间；

与所述先前图像帧一一对应的第一网络模型被设置为获取所述先前图像帧的第一预测特征点信息；

与所述当前图像帧一一对应的第一网络模型被设置为获取所述当前图像帧的第一预测特征点信息。

9.如权利要求7或8所述的装置，其特征在于，

与所述先前图像帧一一对应的第二网络模型还被设置为基于所述先前图像帧的所述第一预测特征点信息，获取与所述先前图像帧相应的循环信息；

与所述当前图像帧一一对应的第二网络模型还被设置为通过输入的与所述先前图像帧相应的所述循环信息和所述当前图像帧的所述第一预测特征点信息，获取所述当前图像帧的第二预测特征点信息。

10.如权利要求7所述的装置，其特征在于，所述模型训练单元还包括：

特征点位置预测单元，被设置为基于所述当前图像帧的所述第一预测特征点信息和所述第二预测特征点信息获取所述当前图像帧的预测特征点位置；

特征点位置获取单元，被设置为基于所述当前图像帧，获取实际特征点位置；

预测误差获取单元，被设置为基于所述当前图像帧的所述预测特征点位置和所述实际特征点位置，获取所述当前图像帧的预测误差；

参数调整单元，被设置为基于所述预测误差调整所述第一网络模型的参数和所述第二网络模型的参数。

11.如权利要求10所述的装置，其特征在于，所述特征点位置预测单元还被设置为：

将所述当前图像帧的所述第一预测特征点信息中的第一预测特征点位置和所述第二预测特征点信息中的第二预测特征点位置进行加权求和，获取所述当前图像帧的预测特征点位置。

12.如权利要求10所述的装置，其特征在于，所述预测误差获取单元还被设置为：

计算所述当前图像帧的所述预测特征点位置与所述实际特征点位置的误差，获得第一误差；

计算所述当前图像帧的所述第二预测特征点位置与所述实际特征点位置的误差，获得第二误差；

将所述第一误差和所述第二误差进行加权求和，获得所述当前图像帧的所述预测误差。

13.一种目标跟踪装置，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

获取所述目标的N帧历史图像，N为大于等于2的自然数；

利用与所述N帧历史图像中每帧图像一一对应的第一网络模型获取所述每帧图像的第一预测特征点信息，以及利用与所述每帧图像一一对应的第二网络模型获取所述每帧图像的第二预测特征点信息；

基于所述第一预测特征点信息和所述第二预测特征点信息调整所述第一网络模型的参数和所述第二网络模型的参数，直至所述第一网络模型和所述第二网络模型训练完成；

利用训练完成的所述第一网络模型和所述第二网络模型执行所述目标的跟踪。

14.一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行一种目标跟踪方法，所述方法包括：

获取所述目标的N帧历史图像，N为大于等于2的自然数；

利用与所述N帧历史图像中每帧图像一一对应的第一网络模型获取所述每帧图像的第一预测特征点信息，以及利用与所述每帧图像一一对应的第二网络模型获取所述每帧图像的第二预测特征点信息；

基于所述第一预测特征点信息和所述第二预测特征点信息调整所述第一网络模型的参数和所述第二网络模型的参数，直至所述第一网络模型和所述第二网络模型训练完成；

利用训练完成的所述第一网络模型和所述第二网络模型执行所述目标的跟踪。