CN111986230A - 一种视频中目标物的姿态跟踪方法及装置 - Google Patents

Abstract

公开了一种视频中目标物的姿态跟踪方法及装置。该方法包括：确定当前帧图像中的目标物的基本特征信息，所述目标物的基本特征信息包含：所述目标物的外观特征信息、所述目标物的姿态信息和所述目标物的位置信息；确定历史运动轨迹；基于所述基本特征信息从所述历史运动轨迹中确定所述目标物的运动轨迹，以对所述目标物进行姿态跟踪。这样，可以提高目标物姿态跟踪的准确性，避免姿态跟踪过程中轨迹断裂的情况出现。

Description

一种视频中目标物的姿态跟踪方法及装置

技术领域

本申请涉及图像处理技术领域，尤其涉及一种视频中目标物的姿态跟踪方法及装置。

背景技术

随着科学技术的不断发展，电子技术也得到了飞速的发展，电子产品的种类也越来越多，人们也享受到了科技发展带来的各种便利。现在人们可以通过各种类型的电子设备，享受随

姿态跟踪拍摄功能，用来记录或者监控拍摄对象。例如某商店的监控摄像头对用户选购商品的行为进行监控拍摄，并将拍摄得到的画面持续展示给商店老板。

但是，目前跟踪拍摄方法由于拍摄对象的参考因素单一，容易造成拍摄对象的跟踪的轨迹断裂。

发明内容

为了解决上述技术问题，提出了本申请。

根据本申请的一个方面，提供了一种视频中目标物的姿态跟踪方法，所述方法包括：确定当前帧图像中的目标物的基本特征信息，所述目标物的基本特征信息包含：所述目标物的外观特征信息、所述目标物的姿态信息和所述目标物的位置信息；确定历史运动轨迹；基于所述基本特征信息从所述历史运动轨迹中确定所述目标物的运动轨迹，以对所述目标物进行姿态跟踪。

根据本申请的另一方面，提供了一种视频中目标物的姿态跟踪装置，包括：第一确定模块，用于确定所述目标物在当前帧图像中的基本特征信息，所述基本特征信息包含：所述目标物的外观特征信息、所述目标物的姿态信息和所述目标物的位置信息；第二确定模块，用于确定历史运动轨迹；第三确定模块，用于基于所述基本特征信息从所述历史运动轨迹中确定所述目标物的运动轨迹，以对所述目标物进行姿态跟踪。

根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的方法。

根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的方法。

与现有技术相比，根据本发明的视频中目标物的姿态跟踪方法及装置，既考虑了目标物在视频中的位置，还将目标物的外观特征信息和姿态信息一并作为考虑因素，由于外观特征信息是目标物本身特有的信息，而姿态信息能够实时反映目标物的状态变化，这样，由于考虑了目标物的外观信息和姿态信息，因此本发明的能够更为准确的匹配出目标物的运动轨迹，有效提升目标物的姿态跟踪的准确性和稳定性，有效避免轨迹断裂的情况出现。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本申请一示例性实施例提供的视频中目标物的姿态跟踪方法的流程示意图。

图2A-图2C是本申请另一示例性实施例提供的拍摄对象的运动轨迹的示意图。

图3是本申请一示例性实施例提供的确定当前帧图像中的目标物的基本特征信息流程示意图。

图4是本申请一示例性实施例提供的确定当前帧图像中的目标物的基本特征信息的另一个流程示意图。

图5是本申请一示例性实施例提供的根据基本特征信息从历史运动轨迹中确定出目标物的运动轨迹的流程示意图。

图6是本申请一示例性实施例提供的构建的相似度矩阵的示意图。

图7是本申请一示例性实施例提供的匹配过程的流程示意图。

图8是本申请一示例性实施例提供的轨迹外观特征的示意图。

图9是本申请一示例性实施例提供的视频中目标物的姿态跟踪装置的示意图。

图10是本申请一示例性实施例提供的第一确定模块910的一个示例框图。

图11是本申请一示例性实施例提供的第一确定模块910的另一个示例框图。

图12是本申请一示例性实施例提供的电子设备的结构图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

在现有的目标跟踪方案一般是对目标物的像面位置进行轨迹跟踪，但是由于目标物的像面位置不能够完全表征出与其他目标物的区别，比如两个目标物的像面位置较近，跟踪匹配就容易出现错误，影响轨迹跟踪的准确度，造成跟踪轨迹断裂的问题出现。

为了解决上述问题，本发明基本构思是将目标物的位置信息、外观特征信息、姿态信息一并作为考虑因素，由于外观特征信息是目标物本身特有的信息，而姿态信息能够实时反映目标物的状态变化，这样，由于考虑了目标物的外观信息和姿态信息，因此本发明的能够更为准确的匹配出目标物的运动轨迹，有效提升目标物的姿态跟踪的准确性和稳定性，有效避免轨迹断裂的情况出现。

示例性方法

图1是本申请一示例性实施例提供的视频中目标物的姿态跟踪方法的流程示意图。本实施例可应用在电子设备上，如图1所示，包括如下步骤：

步骤101，确定当前帧图像中的目标物的基本特征信息。

具体来说，视频是由若干帧图像构成的，每帧图像中包含一个或者多个拍摄对象。拍摄对象，指的是人、动物或者其他任意物体。单帧图像中的拍摄对象是静止的，单帧图像中的拍摄对象的基本特征信息，包括外观特征信息、姿态信息和位置信息等等。位置信息指的是拍摄对象在图像中的像面坐标位置。外观特征信息，用于表征拍摄对象在单帧图像中呈现出来的特有的外观形貌。外观特征信息包含预设维数的特征向量，例如128维特征向量(当然其他维数向量也包含在本发明保护范围之内)，每一维特征向量表示外观特征信息的一个特征参数。姿态信息，可以反映出拍摄对象的动作、遮挡状态、朝向等等状态。

目标物属于拍摄对象，当前帧图像中的目标物也可以称之为当前帧图像中的拍摄对象。当前帧图像中的目标物的数目不定，当前帧图像中的目标物有一个或者多个。

当前帧图像中的目标物的基本特征信息，包含：所述目标物在当前帧图像中的外观特征信息、所述目标物在当前帧图像中的姿态信息和所述目标物在当前帧图像中的位置信息。

将若干帧图像联成视频，视频中的拍摄对象就是运动的，并且具有运动轨迹。参看图2A-图2C是视频中包含的3帧图像，所有拍摄对象在图2A-图2C中都是运动的，具有运动轨迹。拍摄对象的运动轨迹在不同帧图像中呈现不同的位置、外观、姿态等等信息。而拍摄对象A是其中一个拍摄对象，其在图2A-图2C中也具有运动轨迹，且在不同帧图像中呈现不同的位置、外观、姿态。

步骤102，确定历史运动轨迹。

具体来说，历史运动轨迹，指的是从当前帧图像之前的预设帧数的图像中的拍摄对象的运动轨迹。运动轨迹是由拍摄对象在视频中运动形成的，所以和拍摄对象具有很大关联。例如，历史运动轨迹是当前帧图像之前的5帧图像中的拍摄对象的运动轨迹。或者历史运动轨迹是从当前帧图像至初始帧图像之间的所有图像中的拍摄对象的运动轨迹。当然也可以是其他帧数中的拍摄对象的运动轨迹，本发明在此不再举例。

历史运动轨迹的数量不定，包括一条或者多条。

历史运动轨迹随着拍摄对象在视频中出现或消失。例如，某拍摄对象是从视频的初始帧图像(视频第1帧图像)开始就存在并且贯穿视频中每帧图像，在当前帧图像之前的前一帧图也存在。那么该拍摄对象对应的历史运动轨迹也是从初始帧直到当前帧图像之前的前一帧图像便一直存在。再例如，某拍摄对象是从视频的第5帧图像出现，在当前帧的前一帧图像也存在，而在第5帧图像和该前一帧图像之间的中间帧中，该拍摄对象可能有消失后又出现，而并非一直存在，那么对应的历史运动轨迹也会对应消失后又出现。再例如，某拍摄对象可能是当前帧图像的前一帧图像才出现，那么对应的历史运动轨迹也是当前帧图像的前一帧图像才出现。上述描述仅用作举例使用，而不应视作对本实施例的历史运动轨迹的限制。

步骤103，基于所述基本特征信息从所述历史运动轨迹中确定所述目标物的运动轨迹，以对所述目标物进行姿态跟踪。

具体来说，若历史运动轨迹中包含目标物的运动轨迹，执行上述步骤103后能够从历史运动轨迹中匹配到目标物的运动轨迹进行跟踪。

但是，执行上述步骤103后，目标物也可能未匹配到运功轨迹。例如该目标物是在当前帧图像中才出现的新拍摄对象，那么历史运动轨迹中并不包含该目标物的运动轨迹，此时可在当前帧图像中新建该目标物的运动轨迹，并新建该目标物的轨迹状态。

通过上述分析，本发明的实施例通过确定所述目标物在当前帧图像中的基本特征信息，在基本特征信息中，不但考虑了目标物的像面位置，还将目标物的外观特征信息和姿态信息一并作为考虑因素，由于外观特征信息是目标物本身特有的信息，而姿态信息能够实时反映目标物的状态变化。故而确定历史运动轨迹后，可综合上述三种基本特征信息从不同的特征入手进行全面匹配，并从所述历史运动轨迹中确定所述目标物的运动轨迹，以对所述目标物进行姿态跟踪。由于考虑了目标物的位置信息、外观信息和姿态信息，因此本发明的能够更为全面准确的匹配出目标物的运动轨迹，以提高目标物和轨迹的匹配度，进而有效提升目标物姿态跟踪的准确性和稳定性，有效避免轨迹断裂的情况出现。

例如两个目标物在当前帧图像中手挽着手，像面位置特别相近，仅利用像面位置信息从历史运动轨迹中匹配各目标物的运动轨迹，可能会造成轨迹和目标物匹配错误的情况出现。而将各目标物的外观特征信息考虑进去，各目标物就具有较大差异，能够更为准确的匹配出各目标物的运动轨迹，进而有效提升目标物姿态跟踪的准确性和稳定性，有效避免轨迹断裂(匹配不到目标物，轨迹就会断裂)的情况出现。

在上述图1所示实施例的基础上，由于基本特征信息包括：目标物的外观特征信息、所述目标物的姿态信息和所述目标物的位置信息。由此，根据基本特征信息的不同，确定方式有所不同。对应确定基本特征信息中的目标物的位置信息，可利用现有任何确定位置信息的方式，在此本发明不再赘述。

参见图3，在上述图1所示实施例的基础上，作为本实施例一种可选的实施方式，由于基本特征信息中包括目标物的外观特征信息，故而上述步骤101包括如下步骤：

步骤301，获得所述当前帧图像中的目标物对应的第一检测框。

具体来说，在获得第一检测框之前，可以对当前帧图像进行预处理，例如图像去噪、图像增强、色彩空间转换等操作。此后，在当前帧图像中滑动一个固定大小的窗口，将窗口中的子图像作为候选区。再对候选区进行特征提取，提取出特征向量。其次，从特征向量中挑选具有代表性的特征，降低特征的维数。然后，利用特定的分类器对特征进行分类，判定候选区是否包含了目标物及其类别。最后，合并判定为同一类别的相交候选区，计算出每个目标物的边界框。目标物的边界框即为目标物对应的第一检测框。

目标物对应的第一检测框中，包含有目标物自身特有的各方面特征参数，例如五官、身体、颜色、姿态、遮挡状态、朝向、颜色等等特征参数。若目标物为物体，则包括形状、颜色、姿态、遮挡状态等等特征参数。

步骤302，从所述第一检测框中提取出所述目标物的外观特征信息。

具体来说，目标物的外观特征信息包含有预设维数的特征向量，每一维特征向量表示外观特征信息的一个特征参数。例如目标物的外观特征信息包括128维特征。提取的方式包括但不限于使用神经网络模型对图像进行处理，得到目标物的外观特征信息。

若目标物的数量为一个，则从该目标物对应的第一检测框中提取出该目标物的外观特征信息即可。若目标物的数量为两个以上，则会从两个以上目标物中每个目标物对应的第一检测框中提取出所述每个目标物各自对应的外观特征信息。

由于不同目标物的外观特征信息不同，故而该目标物的外观特征信息能够反映出该目标物区别于其他目标物的外观形貌。而从第一检测框中提取出目标物外观特征信息，能够准确全面的反映出该目标物的外观形貌，以和其他目标物进行区分。故而将目标物的外观特征信息作为后续轨迹匹配的参考因素，能够有效区分各目标物，进而提高目标物姿态跟踪的准确度。

参见图4，在上述图1所示实施例的基础上，作为本实施例一种可选的实施方式，由于基本特征信息包括目标物的姿态信息，故而步骤101包括如下步骤：

步骤401，获得所述当前帧图像中的目标物对应的第二检测框。

具体来说，第二检测框和第一检测框可以是相同或者不同的检测框。

作为一种可选的实施例，在获得第二检测框之前，确定出目标物对应的两个以上初始检测框，各初始检测框中都有该目标物的姿态关键点，由于各初始检测框是相互之间重合的，如此则会造成该目标物出现虚检问题，使得目标物在当前帧图像中的清晰度较低。

故而，在得到若干初始检测框之后，会基于各初始检测框对目标物进行虑检处理。在具体的实施过程中，首先基于各初始检测框中的姿态关键点确定各初始检测框相互之间的重合度。例如，根据姿态关键点中较为稳定的例如头部、肩部、臀部等部分的关键点，基于这些关键点确定各初始检测框之间的重合度。其次，对所述各初始检测框之间的重合度进行非极大值处理，获得第二检测框。

由此可见，对目标物进行了滤检处理，能够避免同一个目标物被重复检测，从而能够有效的抑制目标物的虚检，提高目标物在当前帧图像中的清晰度。

步骤402，从所述第二检测框中提取出所述目标物的姿态关键点。

具体来说，可对第二检测框中的目标物进行姿态估计，提取相应的姿态关键点。目标物姿态关键点数目不定，例如13个。姿态关键点分布在目标物的头部、颈部、肩部、臀部、腿部、手臂等等位置，故而能够利用姿态关键点构建出目标物的姿态，能够全面准确的反映出目标物的动作、遮挡状态、朝向状态等等当前状态。

步骤403，基于所述目标物的姿态关键点构建所述目标物的姿态信息。

具体来说，目标物的姿态信息，包括目标物的遮挡信息、目标物的朝向信息等等。该姿态信息可以反映出目标物的动作、遮挡状态、朝向状态等等。

由于姿态关键点能够构建出目标物的姿态，而目标物的姿态信息能够全面准确的反映出目标物的当前状态变化，故而将姿态信息作为后续轨迹匹配的参考因素，也能够提高目标物姿态跟踪的准确度。

以上是确定目标物的基本特征信息的具体实施过程，下面介绍如何确定历史运动轨迹。

而在步骤102的实施过程中，根据所述当前帧图像之前的预设帧数的图像中的拍摄对象的运动轨迹确定历史运动轨迹。例如，根据当前帧图像之前的前5帧图像中的拍摄对象的运动轨迹，确定这5帧图像中存在的历史运动轨迹。

作为一种可选的实施例，在确定历史运动轨迹之后，判断所述历史运动轨迹的轨迹状态。

具体来说，历史运动轨迹可包括的轨迹状态为：初始状态、稳定状态、永久消失状态、暂时消失状态。

初始状态，历史运动轨迹在当前帧图像的前一帧图像才出现，此前其对应的拍摄对象处于遮挡状态或者未出现，导致该条历史运动轨迹一直未出现，则认为该历史运动轨迹是不稳定的，其轨迹状态为初始状态。故而，在判断的过程中，判断历史运动轨迹是否是当前帧图像中的前一帧图像出现，若是，则判定历史运动轨迹的轨迹状态为初始状态。

稳定状态，当历史运动轨迹在视频中一直存在(其对应拍摄对象一直存在于视频中)，则认为该历史运动轨迹是稳定可信的轨迹，具有稳定状态。故而，在判断的过程中，判断历史运动轨迹是否是当前帧图像中之前的预设帧数图像中连续出现的第一帧数是否大于第一帧数阈值，若是，则判定历史运动轨迹的轨迹状态为稳定状态。

永久消失状态，若拍摄对象的历史运动轨迹处于永久消失状态时，则认为拍摄对象已经在场景中永久消失，并将该历史运动轨迹从轨迹集合中删除。具体的，设置第二帧数阈值，该第二帧数阈值是判定历史运动轨迹为暂时消失状态或者永久消失状态的标准。在具体的判断过程中，判断历史运动轨迹在视频图像中连续消失的第二帧数是否大于等于第二帧数阈值，若是，则判定历史运动轨迹处于永久消失状态。例如，拍摄对象A的历史运动轨迹连续消失了18帧图像，而第二帧数阈值刚好也是18帧，则表示其处于永久消失状态。进一步的，若判断出第二帧数等于第二帧数阈值，则判断历史运动轨迹在第二帧数图像的下一帧图像中是否匹配到拍摄对象；若匹配到，则判定历史运动轨迹处于稳定状态。

暂时消失状态，当某条运动轨迹处于暂时消失状态时，认为其对应的拍摄对象在场景中暂时消失。但是在确定历史运动轨迹时，仍旧可将该条运动轨迹纳入其中。具体的，判断历史运动轨迹在视频图像中连续消失的第二帧数是否小于第二帧数阈值，若是，则判定历史运动轨迹处于暂时消失状态。另外，在处于暂时消失状态时，如果该运动轨迹能够再次和目标物匹配，那么其状态会从暂时消失状态转化为稳定状态。反之，如果该运动轨迹继续消失(该条轨迹未匹配到目标物)直到第二帧数阈值，则认为该条运动轨迹的拍摄对象已经离开场景，则将该历史运动轨迹设置为永久消失状态。

以上四种状态可以相互转化，例如，某条历史运动轨迹处于初始状态，若其后和目标物能够匹配，那么其状态就会从初始状态转换为稳定状态。

再例如，某条历史运动轨迹处于稳定状态，若该条历史运动轨迹在视频图像中连续消失的第二帧数小于第二帧数阈值，则表示该条历史运动轨迹的拍摄对象可能被视频中的其他拍摄对象遮挡住或者该拍摄对象已经不在视频中，进而将该历史运动轨迹的状态从稳定状态转换为暂时消失状态。

由此可见，在当前帧图像之前的预设帧图像的历史运动轨迹可能上述任意状态，值得注意的是，若历史运动轨迹处于永久消失状态则会删除，不会纳入后续帧图像的轨迹匹配中。

历史运动轨迹包含：轨迹位置、轨迹外观特征、轨迹姿态等等。轨迹位置用于表征对应的拍摄对象从当前帧图像之前的预设帧数的图像中确定出来的历史位置。轨迹外观特征，用于表征对应的拍摄对象从当前帧图像之前的预设帧数的图像中确定出来的外观形貌。轨迹姿态用于表征对应的拍摄对象从当前帧图像之前的预设帧数的图像中确定出来的动作、遮挡状态、朝向状态等等。

以轨迹外观特征为例，由于历史运动轨迹是当前帧图像之前的预设帧图像中的拍摄对象呈现出来的运动轨迹，故而历史运动轨迹在预设帧图像中的每帧图像都具有轨迹外观特征。当然，若历史运动轨迹在预设帧图像中的某帧图像处于暂时消失状态，并且其对应拍摄对象不在该帧图像中或者全部被遮挡，则在该帧图像中没有轨迹外观特征或者称之为无效轨迹外观特征。若历史运动轨迹在预设帧图像中的某帧图像处于暂时消失状态，但是拍摄对象存在于该帧图像中，只是被部分遮挡，那么在该帧图像中也具有轨迹外观特征。轨迹位置，轨迹姿态和轨迹外观特征类似。而轨迹位置能够反映出对应历史运动轨迹在每帧图像中的坐标位置，轨迹姿态能够反映出历史运动轨迹在每帧的动作、朝向、遮挡状态等等。三者结合能够更好地反映出历史运动轨迹的状态。

进一步的，从历史运动轨迹中确定出当前帧图像中的目标物的运动轨迹之后，会更新目标物的轨迹状态，以及更新历史运动轨迹在当前帧图像的轨迹状态，此处后续会进行详细描述，在此本发明不做描述。

参见图5，在上述图1所示实施例的基础上，作为本实施例一种可选的实施方式，上述步骤103包括如下步骤：

步骤501，基于所述基本特征信息和所述历史运动轨迹，构建相似度矩阵。

在上述实施例中已经具体介绍了基本特征信息和历史运动轨迹，故而在此不再详述。

如图6所示，是本实施例构建的相似度矩阵的示意图。该示意图中构建的是m×n的相似度矩阵。目标物数目为m个，历史运动轨迹具有n条。m、n都为正整数并且大于等于1。构建出的相似度矩阵包括基本特征信息和历史运动轨迹，相似度矩阵中的每个目标物包含各自的基本特征信息。假设m、n＝1，那么构建的相似度矩阵是1×1的相似度矩阵，其目标物和历史运动轨迹都是1个。参考图6，构建的是至少3个目标物和至少3个历史运动轨迹的相似度矩阵(m≥3，n≥3)，而图6的相似度矩阵是为了便于理解而列举的相似度矩阵，本发明当然也可以使用其他数量构建相似度矩阵。

步骤502，基于所述相似度矩阵和预设贪婪匹配算法，确定所述目标物和所述历史运动轨迹的匹配结果。

具体来说，从所述相似度矩阵中确定当前最大相似度值；判断所述当前最大相似度值是否超过预设相似度阈值，获得判断结果；再基于所述判断结果确定所述匹配结果。

相似度值，表示目标物和历史运动轨迹的匹配程度，相似度值越高，表示目标物和历史运动轨迹的匹配程度越高。相似度值越低，表示目标物和历史运动轨迹的匹配程度越低。

从相似度矩阵中可确定出一个或者多个相似度值，然后从其中获得相似度矩阵中的当前最大相似度值。

参考图6，图6中的相似度矩阵中包括：目标物1*轨迹1、目标物2*轨迹2……目标物m*轨迹n这m*n个匹配对，每个匹配对中包含了各自对应的目标物和各自对应的历史运动轨迹的相似度值。故而，图6中包含有m*n个相似度值。再从这m*n个相似度值中确定出当前最大相似度值。

进一步的，判断所述当前最大相似度值是否超过预设相似度阈值之后，会获得不同的判断结果。

若判断结果为当前最大相似度值未超过预设相似度阈值，则根据判断结果确定当前最大相似度值对应的目标物和历史运动轨迹匹配失败。由于最大相似度值对应的目标物和历史运动轨迹都已匹配失败，那么能够说明在相似度矩阵中小于当前最大相似度值的其他相似度值对应的目标物和历史运动轨迹都不匹配，故而基于该匹配结果可以直接停止后续匹配过程。

若判断结果为当前最大相似度值超过预设相似度阈值，则基于该判断结果确定当前最大相似度值对应的当前目标物和当前历史运动轨迹匹配成功。进一步的，删除当前最大相似度值对应的当前目标物和当前历史运动轨迹，从相似度矩阵中的剩余相似度值中确定出当前最大相似度值和预设相似度阈值再次进行比较，并根据获得的比较结果确定匹配结果，直到所述相似度矩阵为空为止，或者比较结果为剩余相似度值中的当前最大相似度值小于预设相似度阈值为止。

承接上述举例，若“目标物1*轨迹1”这个匹配对1的相似度值是m*n个匹配对中当前最大相似度值。则判断该匹配对1对应的当前最大相似度值是否超过预设阈值，若超过，表示目标物1*轨迹1匹配成功。进一步的，删除该匹配对1，从剩余的匹配对中的相似度值中确定出当前最大相似度值，假设为“目标物2*轨迹2”这个匹配对2的相似度值为当前最大相似度值，则继续判断该匹配对2的当前最大相似度值是否超过预设阈值，若未超过，则表示匹配失败，并停止匹配。若超过，则一直按照上述方式进行判断，直到剩余匹配对匹配失败或者相似度矩阵为空为止。

作为一种可选的实施例，可以对匹配结果进行归一化处理，以获得更为直观的匹配结果。例如，将匹配成功的结果记为1，将匹配失败的结果记为0，以此来获得更为简便直观的匹配结果。

以上是相似度矩阵的具体匹配方式，利用上述匹配方式，能够准确的从相似度矩阵中匹配出目标和历史运动轨迹的匹配关系。

步骤503，基于所述匹配结果确定所述目标物的运动轨迹。

由于匹配结果已经包括各目标和各历史运动轨迹的匹配关系，故而可以从匹配结果中获得目标物的运动轨迹。

在上述方案中，通过构建目标物和历史运动轨迹的相似度矩阵。利用预设贪婪匹配算法从相似度矩阵中确定出目标物的轨迹运动，以当前最大相似度值和预设相似度阈值作为目标物和历史运动轨迹是否匹配的参考条件，能够准确的从历史运动轨迹中匹配出目标物的运动轨迹。

参见图7，在上述图5所示实施例的基础上，作为本实施例一种可选的实施方式，由于基本特征信息包括位置信息和外观特征信息。而历史运动轨迹包括轨迹位置和轨迹外观特征。故而，在匹配的过程中，是根据特征信息分别进行匹配的，然后根据各自匹配的结果获得最后的匹配结果。步骤502包括如下步骤：

步骤701，从所述相似度矩阵中提取所述目标物的位置信息和所述历史运动轨迹的轨迹位置，根据所述位置信息和所述轨迹位置确定所述目标物和所述历史运动轨迹的位置相似度值。

具体来说，目标物的位置信息和历史运动轨迹的轨迹位置都表征的是拍摄对象在视频帧图像中的坐标位置，在计算过程中可根据两者坐标位置计算目标物的位置信息和历史运动轨迹的轨迹位置的位置相似度值。

步骤702，从所述相似度矩阵中提取所述目标物的外观特征信息和所述历史运动轨迹的轨迹外观特征，根据外观特征信息和所述轨迹外观特征确定所述目标物和所述历史运动轨迹外观相似度值。

具体来说，历史运动轨迹包括轨迹外观特征，该轨迹外观特征指的是该轨迹在对应图像中呈现出的所有外观特征。

参看图8，历史运动轨迹对应有t帧图像，每帧图像中都具有轨迹外观特征，例如，历史运动轨迹在t帧图像的轨迹外观特征分别为f₁～f_t。f₁是历史运动轨迹在第1帧图像中的轨迹外观特征，f₂是历史运动轨迹在第2帧图像中的轨迹外观特征…以此类推，f_t是历史运动轨迹在第t帧图像中的轨迹外观特征。每帧图像中的轨迹外观特征包含有预设维数的特征向量。除此之外，历史运动轨迹在每帧图像中还包括轨迹姿态。轨迹姿态包括：轨迹朝向和轨迹遮挡程度。轨迹朝向用于表征历史运动轨迹的轨迹外观特征在每帧图像中的朝向，例如f₁的轨迹朝向为向上，f₂的轨迹朝向为向下等等。轨迹遮挡程度用于表征轨迹外观特征在每帧图像中的被遮挡程度。

由此可见，历史运动轨迹包含有预设个数的朝向，本申请对预设个数的具体数量不做限制。例如朝向可以包括：向上、向下、向左、向右、左上、右上、左下、右下等等方向。而目标物在当前帧图像中的朝向信息是具体的朝向，例如向上。而历史运动轨迹中和目标物的外观特征信息的朝向不同的轨迹外观特征会影响目标物匹配的准确性，故而为了进一步提高匹配的准确性，在具体的实施过程中，从所述相似度矩阵中提取所述目标物的外观特征信息。基于所述目标物的朝向信息，从所述历史运动轨迹中确定和所述目标物的朝向信息具有相同朝向的轨迹外观特征。利用具有相同朝向的外观特征信息和轨迹外观特征确定所述目标物和所述历史运动轨迹外观相似度值，进一步提高目标物姿态跟踪的准确度。

作为一种可选的实施例，从所述相似度矩阵中提取所述目标物的外观特征信息之后，利用轨迹遮挡程度对所述轨迹外观特征进行筛选。再基于所述目标物的朝向信息，从筛选后的历史运动轨迹中确定和所述目标物的朝向信息具有相同朝向的轨迹外观特征。也就是说，确定出的轨迹必须和目标物具有相同朝向。

在具体的筛选过程中，判断所述轨迹外观特征的轨迹遮挡程度是否小于预设遮挡程度。若是，则表示所述轨迹外观特征可用。若否，则禁止使用所述轨迹外观特征。

以上是轨迹外观特征的筛选过程，通过轨迹遮挡程度和轨迹朝向对轨迹外观特征进行筛选之后，能够利用和外观特征信息具有相同朝向并且遮挡程度小于预设遮挡程度的轨迹外观特征确定所述目标物和所述历史运动轨迹外观相似度值，进一步提高目标物姿态跟踪的准确度。

而在外观相似度计算的过程中，目标物的外观特征信息包括预设维度的第一特征向量，而与目标物的外观特征信息朝向相同的轨迹外观特征，具有第二特征向量。第二特征向量和第一特征向量维度相同。

若与目标物的外观特征信息朝向相同的轨迹外观特征有多个，还会利用每个轨迹外观特征各自的第二特征向量计算出特征向量均值，利用均值特征向量和目标物的轨迹外观特征信息进行匹配，具体的匹配过程和第二特征向量匹配过程类似，故而不再赘述。

利用第一特征向量和第二特征向量计算目标物和历史运动轨迹的外观相似度值。计算方式包括但不限于是欧式距离方式、曼哈顿距离等等。

利用预设贪婪匹配算法对相似度值进行处理，获得第二匹配结果。故而第二匹配结果中包含有目标物和历史运动轨迹的外观相似度值。

举例来说，目标物的外观特征信息包括第一特征向量。目标物的姿态信息中包含的朝向信息为向上。根据目标物的朝向信息，从图8中确定出的向上的轨迹外观特征有：f₃和f₅，每个轨迹外观特征包括第二特征向量。利用每个轨迹外观特征的第二特征向量求均值得到均值特征向量。利用第一特征向量和均值特征向量计算出目标物和历史运功轨迹的外观相似度值。

步骤703，基于所述位置相似度值和所述外观相似度值确定出所述目标物和所述历史运动轨迹的最终相似度值。

具体来说，位置相似度值对应有第一权重，外观相似度值对应有第二权重。处理时，将位置相似度值和第一权重结合处理得到第一处理值，将外观相似度值和第二权重结合得到第二处理值。再根据第一处理值和第二处理值得到目标物和历史运动轨迹的匹配结果。

举例来说，最终相似度值的确定方式为：位置相似度值*第一权重+外观相似度值*第二权重＝目标物和历史运动轨迹的最终相似度值。

步骤704，通过所述预设贪婪匹配算法对所述最终相似度值进行处理，确定所述目标物和所述历史运动轨迹的匹配结果。

利用预设贪婪匹配算法对最终相似度值进行处理以获得最终的匹配结果。而上述实施例已经介绍了预设贪婪匹配方式的具体实施过程，此处的匹配方式由于和上述实施例类似，故而不再赘述。

结合图6说明，图6中的每个目标物和每条历史运动轨迹都会利用图7的实施方式计算得到最终相似度值，进而得到9个最终相似度值，然后利用预设贪婪匹配算法对9个最终相似度值进行处理，得到最终的匹配结果。

若为1×1的相似度矩阵，通过上述方式匹配到目标物的运动轨迹后，可以持续对该目标物进行轨迹跟踪。若目标物和历史运动轨迹不匹配，表示该目标物可能是新出现的拍摄对象，而并不是历史运动轨迹对应的目标物，历史运动轨迹对应的目标物可能被遮挡或者已经离开了。

具体来说，对目标物的跟踪实质上是对目标物的姿态进行跟踪，因为姿态能够全面准确的反映出目标物的当前状态，例如动作、遮挡状态、朝向状态等等。故而匹配出目标物的运动轨迹之后，便可以对目标物进行姿态跟踪。

以上方案则是具体的匹配方式，本发明实施例的相似度矩阵中包括外观特征信息和位置信息，利用这两种信息分别和历史运动轨迹中对应的信息进行相似度计算，得到最终相似度值。然后利用预设贪婪匹配算法对其处理得到最终的匹配结果，能够更加准确的匹配目标物和历史运动轨迹，进而更为准确的对目标物进行姿态跟踪。

作为一种可选的实施例，对所述目标物的在所述当前帧图像中的轨迹状态进行更新。

作为一种可选的实施例，对所述历史运动轨迹的轨迹状态进行更新。

具体来说，历史运动轨迹在当前帧图像中包括两部分：目标物的运动轨迹，未匹配到目标物的运动轨迹。

历史运动轨迹包括以下几种状态：稳定状态、暂时消失状态、初始状态。目标物的运动轨迹处于上述几种状态的任意一种轨迹状态中。故而在更新的过程中，将目标物在当前帧图像中的轨迹状态从稳定状态，或暂时消失状态，或初始状态等几种预设轨迹状态中转换为稳定状态。

若所述目标物从所述历史运动轨迹中未匹配到运动轨迹，表示目标物在当前帧图像中可能被遮挡；或者是目标物是在当前帧图像中才出现的新拍摄对象，故而没有匹配到运动轨迹等等。

针对上述情况，若目标物是在当前帧图像中才出现的新拍摄对象，则将目标物在当前帧图像中的轨迹状态确定为初始状态。

作为一种可选的实施例，在基于所述基本特征信息从所述历史运动轨迹中确定所述目标物的运动轨迹之后，对于历史运动轨迹中未匹配到目标物的运动轨迹，判断未匹配到目标物的运动轨迹在包含当前帧图像的连续图像中消失的第二帧数是否大于第二帧数阈值，若是，则将未匹配到目标物的运动轨迹的轨迹状态确定为永久消失状态。若否，则将未匹配到目标物的运动轨迹的轨迹状态确定为暂时消失状态。

轨迹状态能够实时表示目标物和运动轨迹的对应关系，并用到当前帧图像中的下一帧图像跟踪中，故而轨迹状态的准确性是目标物姿态跟踪的基本条件，轨迹状态的准确度会影响目标物姿态跟踪的准确度。

通过上述方式可以更新当前帧图像中的所有运动轨迹的轨迹状态，除更新目标物的轨迹状态之外，还包括更新未匹配到目标物的运动轨迹的轨迹状态，以此保证当前帧图像的运动轨迹的准确性，进而保证视频中目标姿态跟踪的准确性。

示例性装置

图9图示了根据本申请实施例的视频中目标物的姿态跟踪装置900的框图。

如图9所示，本申请实施例的视频中目标物的姿态跟踪装置900包括：第一确定模块910，用于确定所述目标物在当前帧图像中的基本特征信息，所述基本特征信息包含：所述目标物的外观特征信息、所述目标物的姿态信息和所述目标物的位置信息。第二确定模块920，用于确定历史运动轨迹。第三确定模块930，用于基于所述基本特征信息从所述历史运动轨迹中确定所述目标物的运动轨迹，以对所述目标物进行姿态跟踪。

图10图示了根据本申请实施例的第一确定模块910的一个示例框图。如图10所示，在一个示例中，第一确定模块910包括：第一检测模块1000，用于获得所述当前帧图像中的目标物对应的第一检测框。外观特征提取模块1010，用于从所述第一检测框中提取出所述目标物的外观特征信息。

图11图示了根据本申请实施例的第一确定模块910的另一个示例框图。如图11所示，在另一个示例中，第一确定模块910包括：第二检测模块1100，用于获得所述当前帧图像中的目标物对应的第二检测框。姿态关键点提取模块1110，用于从所述第二检测框中提取出所述目标物的姿态关键点。姿态估计模块1120，用于基于所述目标物的姿态关键点构建所述目标物的姿态信息。

在一个示例中，第二确定模块920，包括：构建模块，用于基于所述基本特征信息和所述历史运动轨迹，构建相似度矩阵。第四确定模块，用于基于所述相似度矩阵和预设贪婪匹配算法，确定所述目标物和所述历史运动轨迹的匹配结果。第五确定模块，用于基于所述匹配结果确定所述目标物的运动轨迹。

在一个示例中，第四确定模块，包括：第六确定模块，用于从所述相似度矩阵中确定当前最大相似度值。判断模块，用于判断所述当前最大相似度值是否超过预设相似度阈值，获得判断结果；第七确定模块，用于基于所述判断结果确定所述匹配结果。

在一个示例中，第四确定模块，包括：第八确定模块，用于从所述相似度矩阵中提取所述目标物的位置信息和所述历史运动轨迹的轨迹位置，根据所述位置信息和所述轨迹位置确定所述目标物和所述历史运动轨迹的位置相似度值。第九确定模块，用于从所述相似度矩阵中提取所述目标物的外观特征信息和所述历史运动轨迹的轨迹外观特征，根据外观特征信息和所述轨迹外观特征确定所述目标物和所述历史运动轨迹外观相似度值。第十确定模块，用于基于所述位置相似度值和所述外观相似度值确定出所述目标物和所述历史运动轨迹的最终相似度值。处理模块，用于通过所述预设贪婪匹配算法对所述最终相似度值进行处理，确定所述目标物和所述历史运动轨迹的匹配结果。

在一个示例中，所述所述目标物的姿态信息包括：朝向信息。第九确定模块包括：提取子模块，用于从所述相似度矩阵中提取所述目标物的外观特征信息。第十一确定模块，用于基于所述目标物的朝向信息，从所述历史运动轨迹中确定和所述目标物的朝向信息具有相同朝向的轨迹外观特征。第十二确定模块，用于利用具有相同朝向的外观特征信息和轨迹外观特征确定所述目标物和所述历史运动轨迹外观相似度值。

在一个示例中，该装置还包括，轨迹状态更新模块，用于对所述目标物在所述当前帧图像中的轨迹状态进行更新。

示例性电子设备

下面，本申请实施例的电子设备可以是第一设备120和第二设备121中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。

图12图示了根据本申请实施例的电子设备的框图。

如图12所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的目标物的姿态跟踪方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，在该电子设备是第一设备100或第二设备200时，该输入装置13可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置13可以是通信网络连接器，用于从第一设备100和第二设备200接收所采集的输入信号。

此外，该输入设备13还可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括确定的距离信息、方向信息等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图12中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的目标物的姿态跟踪方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的目标物的姿态跟踪方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (12)

1.一种视频中目标物的姿态跟踪方法，所述方法包括：

确定当前帧图像中的目标物的基本特征信息，所述目标物的基本特征信息包含：所述目标物的外观特征信息、所述目标物的姿态信息和所述目标物的位置信息；

确定历史运动轨迹；

基于所述基本特征信息从所述历史运动轨迹中确定所述目标物的运动轨迹，以对所述目标物进行姿态跟踪。

2.如权利要求1所述的方法，其中，所述确定历史运动轨迹，包括：

根据所述当前帧图像之前的预设帧数的图像确定所述历史运动轨迹。

3.如权利要求1所述的方法，其中，所述确定当前帧图像中的目标物的基本特征信息，包括：

获得所述当前帧图像中的目标物对应的第一检测框；

从所述第一检测框中提取出所述目标物的外观特征信息。

4.如权利要求1所述的方法，其中，所述确定当前帧图像中的目标物的基本特征信息，包括：

获得所述当前帧图像中的目标物对应的第二检测框；

从所述第二检测框中提取出所述目标物的姿态关键点；

基于所述目标物的姿态关键点构建所述目标物的姿态信息。

5.如权利要求1所述的方法，其中，所述基于所述基本特征信息从所述历史运动轨迹中确定所述目标物的运动轨迹，包括：

基于所述基本特征信息和所述历史运动轨迹，构建相似度矩阵；

基于所述相似度矩阵和预设贪婪匹配算法，确定所述目标物和所述历史运动轨迹的匹配结果；

基于所述匹配结果确定所述目标物的运动轨迹。

6.如权利要求5所述的方法，其中，所述基于所述相似度矩阵和预设贪婪匹配算法，确定所述目标物和所述历史运动轨迹的匹配结果，包括：

从所述相似度矩阵中确定当前最大相似度值；

判断所述当前最大相似度值是否超过预设相似度阈值，获得判断结果；

基于所述判断结果确定所述匹配结果。

7.如权利要求5所述的方法，其中，所述基于所述相似度矩阵和预设贪婪匹配算法，确定所述目标物和所述历史运动轨迹的匹配结果，包括：

从所述相似度矩阵中提取所述目标物的位置信息和所述历史运动轨迹的轨迹位置，根据所述位置信息和所述轨迹位置确定所述目标物和所述历史运动轨迹的位置相似度值；

从所述相似度矩阵中提取所述目标物的外观特征信息和所述历史运动轨迹的轨迹外观特征，根据外观特征信息和所述轨迹外观特征确定所述目标物和所述历史运动轨迹外观相似度值；

基于所述位置相似度值和所述外观相似度值确定出所述目标物和所述历史运动轨迹的最终相似度值；

通过所述预设贪婪匹配算法对所述最终相似度值进行处理，确定所述目标物和所述历史运动轨迹的匹配结果。

8.如权利要求7所述的方法，其中，所述所述目标物的姿态信息包括：朝向信息；

所述从所述相似度矩阵中提取所述目标物的外观特征信息和所述历史运动轨迹的轨迹外观特征，根据外观特征信息和所述轨迹外观特征确定所述目标物和所述历史运动轨迹外观相似度值，具体包括：

从所述相似度矩阵中提取所述目标物的外观特征信息；

基于所述目标物的朝向信息，从所述历史运动轨迹中确定和所述目标物的朝向信息具有相同朝向的轨迹外观特征；

利用具有相同朝向的外观特征信息和轨迹外观特征确定所述目标物和所述历史运动轨迹外观相似度值。

9.如权利要求1所述的方法，其中，所述基于所述基本特征信息从所述历史运动轨迹中确定所述目标物的运动轨迹之后，还包括：

对所述目标物在所述当前帧图像中的轨迹状态进行更新。

10.一种视频中目标物的姿态跟踪装置，包括：

第一确定模块，用于确定所述目标物在当前帧图像中的基本特征信息，所述基本特征信息包含：所述目标物的外观特征信息、所述目标物的姿态信息和所述目标物的位置信息；

第二确定模块，用于确定历史运动轨迹；

第三确定模块，用于基于所述基本特征信息从所述历史运动轨迹中确定所述目标物的运动轨迹，以对所述目标物进行姿态跟踪。

11.一种电子设备，包括：

处理器；以及

存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-9中任一项所述的方法。

12.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-9中任一所述的方法。

Images