CN114022567A - 位姿跟踪方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种位姿跟踪方法、装置、电子设备及存储介质，其中，该方法包括：获取目标对象在初始位姿图像中的初始位姿信息；根据所述初始位姿信息，调整所述目标对象的虚拟模型的位姿，并确定调整后的虚拟模型的初始边缘轮廓信息；基于所述初始边缘轮廓信息，以及包含所述目标对象的至少一个位姿跟踪图像，确定所述至少一个位姿跟踪图像分别对应的所述目标对象的跟踪位姿信息。

Description

位姿跟踪方法、装置、电子设备及存储介质

技术领域

本公开涉及图像处理技术领域，具体而言，涉及一种位姿跟踪方法、装置、电子设备及存储介质。

背景技术

随着图像识别技术的快速发展，位姿跟踪技术逐渐成熟，并得到了广泛的应用。位姿跟踪技术能够实现在一段连续的视频图像序列中估计目标对象的位置及姿态，通常，需要在进行位姿跟踪之前进行初始化，需要用户调整待追踪的目标对象的位姿，或者拍摄目标对象的摄影设备，使拍摄得到的图像中目标对象的边缘轮廓与预设边缘轮廓一致，之后利用预设边缘轮廓对目标对象进行位姿跟踪，由于受到上述限制，位姿跟踪的使用场景有限，使用难度较高。

发明内容

本公开实施例至少提供一种位姿跟踪方法、装置、电子设备及存储介质。

第一方面，本公开实施例提供了一种位姿跟踪方法，包括：

获取目标对象在初始位姿图像中的初始位姿信息；

根据所述初始位姿信息，调整所述目标对象的虚拟模型的位姿，并确定调整后的虚拟模型的初始边缘轮廓信息；

基于所述初始边缘轮廓信息，以及包含所述目标对象的至少一个位姿跟踪图像，确定所述至少一个位姿跟踪图像对应的所述目标对象的跟踪位姿信息。

该方面，通过获取目标对象在初始位姿图像中的初始位姿信息，并根据所述初始位姿信息，调整所述目标对象的虚拟模型的位姿，利用调整后的虚拟模型的初始边缘轮廓信息进行位姿跟踪，不需用户手动进行目标对象与预设轮廓的对齐，能够降低位姿跟踪的操作难度，减少位姿跟踪的使用条件，从而使位姿跟踪适用于更多的场景。

在一种可能的实施方式中，所述获取目标对象在初始位姿图像中的初始位姿信息：

获取含有所述目标对象的初始图像；

从所述初始图像中识别所述目标对象对应的兴趣区域；

从所述初始图像中截取所述兴趣区域，将截取得到的所述兴趣区域作为所述初始位姿图像；

基于所述兴趣区域估算所述目标物体的位姿信息，得到所述初始位姿信息。

该实施方式，通过识别目标对象对应的兴趣区域，再利用兴趣区域估算初始位姿信息，能够缩小初始位姿图像的大小，从而减少确定初始位姿信息时所需的计算量。

在一种可能的实施方式中，所述基于所述初始边缘轮廓信息，以及包含所述目标对象的至少一个位姿跟踪图像，确定所述至少一个位姿跟踪图像分别对应的所述目标对象的跟踪位姿信息，包括：

将所述初始边缘轮廓信息作为所述至少一个位姿跟踪图像中，首个位姿跟踪图像的前一位姿跟踪图像的边缘轮廓信息；

针对所述至少一个位姿跟踪图像中的当前位姿跟踪图像，从所述当前位姿跟踪图像中，确定与前一边缘轮廓信息匹配的当前边缘轮廓信息；其中，所述前一边缘轮廓信息为所述当前位姿跟踪图像的前一位姿跟踪图像对应的边缘轮廓信息；

确定所述当前边缘轮廓信息对应的位姿信息，并将确定的所述位姿信息作为所述当前位姿跟踪图像的跟踪位姿信息。

该实施方式，利用从初始位姿图像中确定的初始边缘轮廓信息确定多个位姿跟踪图像中首个位姿跟踪图像的当前边缘轮廓信息，对于其他位姿跟踪图像，利用前一边缘轮廓信息确定当前边缘轮廓信息，利用当前边缘轮廓信息确定跟踪位姿信息，不需要用户手动对齐目标对象和预设边缘轮廓即可完成位姿跟踪。

在一种可能的实施方式中，所述从所述当前位姿跟踪图像中，确定与所述当前位姿跟踪图像的前一位姿跟踪图像的前一边缘轮廓信息匹配的当前边缘轮廓信息，包括：

以所述前一边缘轮廓信息作为初始参数信息，在所述当前位姿跟踪图像中，建立与该初始参数信息匹配的可变参数曲线；

基于所述可变参数曲线对应的能量函数，确定所述可变参数曲线的目标参数信息；其中，所述能量函数用于表征所述可变参数曲线中各个像素点为轮廓像素点的概率值；

将所述目标参数信息作为与所述前一边缘轮廓信息匹配的当前边缘轮廓信息。

该实施方式，由于前一位姿跟踪图像和当前位姿跟踪图像是相邻的两帧图像，前一边缘轮廓信息与当前边缘轮廓信息较为相似，基于前一边缘轮廓信息确定当前边缘轮廓信息能够提高当前边缘轮廓信息的精确度，并在一定程度上降低确定当前边缘轮廓信息的计算量。

在一种可能的实施方式中，所述基于所述可变参数曲线对应的能量函数，确定所述可变参数曲线的目标参数信息，包括：

基于所述可变参数曲线对应的能量函数，对所述可变参数曲线进行能量最小化变形，得到所述能量函数取值最小时所述可变参数曲线对应的目标参数信息。

该实施方式，对可变参数曲线进行能量最小化变形，得到目标参数信息，能够提高当前边缘轮廓信息的精确度，并在一定程度上降低确定当前边缘轮廓信息的计算量。

在一种可能的实施方式中，在所述建立与该初始参数信息匹配的可变参数曲线之后，所述方法还包括：

基于所述能量函数，确定在所述初始参数信息下，所述可变参数曲线对应的能量值；

基于所述能量值及预设的能量阈值，确定针对所述目标对象的位姿跟踪是否失败；

在针对所述目标对象的位姿跟踪失败的情况下，更新所述目标对象的初始位姿图像，并跳转至获取所述目标对象在初始位姿图像中的初始位姿信息的步骤。

该实施方式，通过确定初始参数信息下可变参数曲线的能量值，并基于确定的能量值及预设的能量阈值判断位姿跟踪是否失败，若失败则更新初始位姿图像，重新确定初始位姿图像的初始位姿信息，再根据重新确定的初始位姿信息进行位姿跟踪，在跟踪失败时不需要用户手动进行初始化，有利于提高位姿跟踪的操作流畅度，减少用户操作的步骤。

在一种可能的实施方式中，所述更新所述目标对象的初始位姿图像：

将所述可变参数曲线对应的位姿跟踪图像作为含有所述目标对象的初始图像，并从所述初始图像中识别所述目标对象对应的兴趣区域；

从所述初始图像中截取所述兴趣区域，将所述兴趣区域作为所述初始位姿图像，并跳转至确定所述目标对象在所述初始位姿图像中的初始位姿信息的步骤。

该实施方式，通过利用失败时对应的位姿跟踪图像确定初始位姿图像，并利用确定的初始位姿图像重新进行位姿信息确定及位姿跟踪的步骤，能够实现位姿重跟踪的无缝衔接，提高位姿跟踪效率。

在一种可能的实施方式中，所述方法还包括：

基于所述至少一个位姿跟踪图像对应的所述目标对象的跟踪位姿信息，对所述至少一个位姿跟踪图像添加与所述跟踪位姿信息对应的虚拟特效；

展示添加虚拟特效后的所述位姿跟踪图像。

该实施方式，通过目标对象的跟踪位姿信息，对至少一个位姿跟踪图像添加虚拟特效，并展示添加虚拟特效后的位姿跟踪图像，可以为用户提供与跟踪位姿信息相关的信息，便于用于理解并使用跟踪位姿信息。

第二方面，本公开实施例还提供一种位姿跟踪装置，包括：

获取模块，用于获取目标对象在初始位姿图像中的初始位姿信息；

初始化模块，用于根据所述初始位姿信息，调整所述目标对象的虚拟模型的位姿，并确定调整后的虚拟模型的初始边缘轮廓信息；

跟踪模块，用于基于所述初始边缘轮廓信息，以及包含所述目标对象的至少一个位姿跟踪图像，确定所述至少一个位姿跟踪图像分别对应的所述目标对象的跟踪位姿信息。

第三方面，本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

关于上述位姿跟踪装置、电子设备、及计算机可读存储介质的效果描述参见上述位姿跟踪方法的说明，这里不再赘述。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种位姿跟踪方法的流程图；

图2示出了本公开实施例所提供的另一种位姿跟踪方法的流程图；

图3示出了本公开实施例所提供的一种位姿跟踪装置的示意图；

图4示出了本公开实施例所提供的一种电子设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

经研究发现，在进行位姿跟踪之前，需要用户调整待追踪的目标对象的位姿，或者拍摄目标对象的摄影设备，使拍摄得到的图像中目标对象的边缘轮廓与预设边缘轮廓一致，之后利用预设边缘轮廓对目标对象进行位姿跟踪，导致位姿跟踪的使用场景有限，使用难度较高。

基于上述研究，本公开提供了一种位姿跟踪方法、装置、电子设备及存储介质，本公开实施例通过获取目标对象在初始位姿图像中的初始位姿信息，并根据所述初始位姿信息，调整所述目标对象的虚拟模型的位姿，利用调整后的虚拟模型的初始边缘轮廓信息进行位姿跟踪，不需用户手动进行目标对象与预设轮廓的对齐，能够降低位姿跟踪的操作难度，减少位姿跟踪的使用条件，从而使位姿跟踪适用于更多的场景。

针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。

下面通过具体的实施例，对本公开公开的位姿跟踪方法、装置、电子设备及计算机可读存储介质进行说明。

如图1所示，本公开实施例公开了一种位姿跟踪方法，该方法可以应用于具有计算能力的电子设备上，例如终端设备、服务器等。具体地，该位姿跟踪方法可以包括如下步骤：

S110、获取目标对象在初始位姿图像中的初始位姿信息。

上述目标对象可以为真实世界中的物体，位姿追踪能够在一段连续的视频序列中估计目标对象的位置信息及姿态信息，其中，位置信息可以为目标对象在三维坐标系下的坐标，姿态信息可以为目标对象的在三维坐标系下的三维方向。

上述初始位姿图像可以通过具有摄影功能的设备获取得到，如摄像头、智能手机、增强现实(Augmented Reality，AR)设备等。上述初始位姿图像可以为RGB图像或RGBD深度图像，在RGB图像中，每个像素点都具有对应的RGB值，RGB值是该像素点在代表红色的R通道、代表绿色的G通道和代表蓝色的B通道上的取值，在RGBD深度图像中，包含RGB图像及其对应的深度图，深度图是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道。在深度图中，每个像素点对应的像素值为传感器距离目标对象的实际距离。

在一些可能的实施例中，可以通过以下步骤获取目标对象在初始位姿图像中的初始位姿信息：

获取含有所述目标对象的初始图像；从所述初始图像中识别所述目标对象对应的兴趣区域；从所述初始图像中截取所述兴趣区域，将截取得到的所述兴趣区域作为所述初始位姿图像；基于所述兴趣区域估算所述目标物体的位姿信息，得到所述初始位姿信息。

上述初始图像可以通过具有摄影功能的设备获取，其中可以包含目标对象及其他背景对象，可以根据目标对象的特征信息，对初始图像进行二维目标检测，将监测到的目标对象所在的区域作为兴趣区域，然后将兴趣区域中的RGB图像或RGBD图像取出，将取出的兴趣区域作为上述初始位姿图像。

在得到初始位姿图像后，可以通过位姿识别模型，估算出初始位姿图像中目标对象的位姿信息，再根据估算得到的位姿信息确定目标物体的初始位姿信息。

这样，通过识别目标对象对应的兴趣区域，并将兴趣区域作为初始位姿图像，能够缩小初始位姿图像的大小，从而减少确定初始位姿信息时所需的计算量。

S120、根据所述初始位姿信息，调整所述目标对象的虚拟模型的位姿，并确定调整后的虚拟模型的初始边缘轮廓信息。

终端设备可以预先配置有目标对象的虚拟模型，该虚拟模型可以为三维网格模型，根据上述初始位姿信息，可以调整目标对象的虚拟模型位姿，使上述虚拟模型的位姿与目标对象的位姿一致，再确定调整位姿后的虚拟模型的初始边缘轮廓信息。

具体的，可以在调整虚拟模型的位姿后，将三维的虚拟模型渲染为二维的边缘轮廓，并确定渲染得到的边缘轮廓对应的初始边缘轮廓信息。其中，初始边缘轮廓信息可以通过图像的形式表示，图像中的各个像素点的像素值可以表示该像素点是否为边缘轮廓，图像的尺寸可以与获取的初始图像相同。

这样，在得到初始边缘轮廓后，即可根据初始边缘轮廓进行目标对象的位姿跟踪，而不需要用户手动将目标对象与预设的轮廓线对齐，能够降低位姿跟踪的操作难度，减少位姿跟踪的使用条件，从而使位姿跟踪适用于更多的场景。

S130、基于所述初始边缘轮廓信息，以及包含所述目标对象的至少一个位姿跟踪图像，确定所述至少一个位姿跟踪图像分别对应的所述目标对象的跟踪位姿信息。

上述位姿跟踪图像与上述初始图像可以组成一段连续的视频图像序列，每两帧图像之间的时间间隔通常较短。位姿跟踪图像中可以包含上述目标对象，在拍摄位姿跟踪图像的过程中，目标对象可以处于静止状态或运动状态，若目标对象处于运动状态，位姿跟踪图像中目标对象的边缘轮廓通常也会发生变化，可以利用初始位姿信息，确定首个位姿跟踪图像中目标对象的跟踪位姿信息，再利用确定的跟踪位姿信息，确定下一帧位姿跟踪图像中目标对象的跟踪位姿信息。

在一些可能的实施例中，步骤S130可以包括：

(1)将所述初始边缘轮廓信息作为所述至少一个位姿跟踪图像中，首个位姿跟踪图像的前一位姿跟踪图像的边缘轮廓信息。

该步骤中，初始位姿图像与首个位姿跟踪图像可以是连续的，可以将初始位姿图像对应的初始边缘轮廓信息作为首个位姿跟踪图像的前一位姿跟踪图像的边缘轮廓信息。

(2)针对所述至少一个位姿跟踪图像中的当前位姿跟踪图像，从所述当前位姿跟踪图像中，确定与前一边缘轮廓信息匹配的当前边缘轮廓信息；其中，所述前一边缘轮廓信息为所述当前位姿跟踪图像的前一位姿跟踪图像对应的边缘轮廓信息。

该步骤中，可以按照上述至少一个位姿跟踪图像的时序，依次确定当前位姿跟踪图像对应的当前边缘轮廓信息，可以基于前一边缘轮廓信息以及当前位姿跟踪图像确定当前边缘轮廓信息，其中，前一边缘轮廓信息可以为当前位姿跟踪图像在时序上的前一位姿跟踪图像的边缘轮廓信息。

示例性的，可以先以上述前一边缘轮廓信息作为初始参数信息，在所述当前位姿跟踪图像中，建立与该初始参数信息匹配的可变参数曲线。

其中，可变参数曲线为形状可变的参数曲线，参数曲线即用参数方程表示的曲线，可变参数曲线中的参数信息可以为曲线中各个点在位姿跟踪图像中的坐标，通过调整可变参数曲线中的参数信息，能够调整可变参数曲线的形状。

在建立上述可变参数曲线之后，可以基于上述可变参数曲线对应的能量函数，确定可变参数曲线的目标参数信息。

这里，对于能量函数，在聚类领域中，可以将待聚类的事物看成一个系统，事物之间的相异程度看成系统元素间的能量，当能量达到一定程度时，事物就形成一个新的类，表示系统需要重新分类。聚类过程中要求每个事物属于一个类，每个簇中不存在能量大于阈值的系统，不同的簇中不存在能量小于阈值的系统。在确定图像中一点是否为边缘轮廓点时，本质可以为图像分割的问题，可以将其转换为能量最小化的问题。

通过能量最小化模型解决问题可以包括两个主要步骤，一是描绘出一个目标函数，它将所有可能的解映射到实数集中，并给出可能解的好(坏)程度，一个目标函数通常对应该问题的不同约束项的累加，这些约束可以是软约束也可以是硬约束，在本公开实施例中，目标函数即为上述能量函数，能量函数的约束项可以通过轮廓两侧像素点的特征确定，比如，在轮廓点的外侧为背景区域，内侧为目标对象本身的区域，外侧的像素点其相似度应该较高，内侧的像素点的相似度应该也较高，但背景区域与目标对象本身的区域应该有明显差异，即轮廓点两侧的像素点相似度应该较低，可以根据上述规律生成对应的约束项，从而形成能量函数。

因此，上述能量函数可以表示可变参数曲线为当前位姿跟踪图像中轮廓曲线的程度，能够用于表征所述可变参数曲线中各个像素点为轮廓像素点的概率值。

通过能量最小化模型解决问题的第二个主要步骤，为最小化能量函数，也即上述的对可变参数曲线进行能量最小化变形，通过梯度下降、模拟退火等方法，可以使能量函数的取值不断降低至最下值，随着能量函数的取值降低，可变参数曲线的参数信息也随着变化，并且变化趋势是朝向与当前位姿跟踪图像中目标对象的轮廓信息相近的方向靠近，也即，能量函数的取值越小，可变参数曲线就越接近真实的边缘轮廓。

因此，可以基于所述可变参数曲线对应的能量函数，对所述可变参数曲线进行能量最小化变形，得到所述能量函数取值最小时所述可变参数曲线对应的目标参数信息。

这样，通过利用前一边缘轮廓信息建立与该初始参数信息匹配的可变参数曲线，并对可变参数曲线进行能量最小化变形，得到目标参数信息，最后将目标参数信息作为当前边缘轮廓信息，由于前一位姿跟踪图像和当前位姿跟踪图像是相邻的两帧图像，前一边缘轮廓信息与当前边缘轮廓信息较为相似，基于前一边缘轮廓信息确定当前边缘轮廓信息能够提高当前边缘轮廓信息的精确度，并在一定程度上降低确定当前边缘轮廓信息的计算量。

(3)确定所述当前边缘轮廓信息对应的位姿信息，并将确定的所述位姿信息作为所述当前位姿跟踪图像的跟踪位姿信息。

该步骤中，可以利用位姿信息与边缘轮廓信息之间的转换关系，将当前边缘轮廓信息转换为位姿信息，将确定的位姿信息作为当前位姿跟踪图像的跟踪位姿信息。

示例性的，可以不断调整上述虚拟模型的位姿，使虚拟模型的边缘轮廓与上述确定的当前边缘轮廓信息匹配，并将匹配时虚拟模型的位姿信息作为当前位姿跟踪图像的跟踪位姿信息。

这样，利用从初始位姿图像中确定的初始边缘轮廓信息确定多个位姿跟踪图像中首个位姿跟踪图像的当前边缘轮廓信息，对于其他位姿跟踪图像，利用前一边缘轮廓信息确定当前边缘轮廓信息，利用当前边缘轮廓信息确定跟踪位姿信息，不需要用户手动对齐目标对象和预设边缘轮廓即可完成位姿跟踪。

在进行位姿跟踪时，可能存在位姿跟踪失败的情况，这些情况通常因为两帧位姿跟踪图像中目标对象的边缘轮廓偏差较大，无法通过能量函数确定其准确的位姿信息，比如，位姿跟踪图像中丢失目标对象，或目标对象运动速度过快等。在这种情况，需要重新进行位姿跟踪的初始化步骤，重新定位需要追踪的目标对象。

在一些可能的实施例中，可以通过以下步骤判断是否跟踪失败，并重新进行初始化：

基于所述能量函数，确定在所述初始参数信息下，所述可变参数曲线对应的能量值；基于所述能量值及预设的能量阈值，确定针对所述目标对象的位姿跟踪是否失败；在针对所述目标对象的位姿跟踪失败的情况下，更新所述目标对象的初始位姿图像，并跳转至获取所述目标对象在初始位姿图像中的初始位姿信息的步骤。

该步骤中，可以计算在初始参数信息下的可变参数曲线的能量函数的取值，作为上述可变参数曲线的能量值，当能量值大于或等于预设的能量阈值时，可以认为此事可变参数曲线与真实的边缘轮廓差别过大，并确定目标对象的位姿跟踪失败，之后，可以更新上述目标对象的初始位姿图像，并跳转至获取上述目标对象在初始位姿图像中的初始位姿信息的步骤。

示例性的，可以通过摄影设备重新获取一包含目标对象的图像，并将其作为初始位姿图像。

这样，通过确定初始参数信息下可变参数曲线的能量值，并基于确定的能量值及预设的能量阈值判断位姿跟踪是否失败，若失败则更新初始位姿图像，重新确定初始位姿图像的初始位姿信息，再根据重新确定的初始位姿信息进行位姿跟踪，在跟踪失败时不需要用户手动进行初始化，有利于提高位姿跟踪的操作流畅度，减少用户操作的步骤。

进一步的，在确定目标对象的位姿跟踪失败之后，可以将所述可变参数曲线对应的位姿跟踪图像作为含有所述目标对象的初始图像，并从所述初始图像中识别所述目标对象对应的兴趣区域；然后，再从所述初始图像中截取所述兴趣区域，将所述兴趣区域作为所述初始位姿图像，并跳转至确定所述目标对象在所述初始位姿图像中的初始位姿信息的步骤。

这样，通过在位姿跟踪失败的情况下利用失败时对应的位姿跟踪图像确定初始位姿图像，并利用确定的初始位姿图像重新进行位姿信息确定及位姿跟踪的步骤，能够实现位姿重跟踪的无缝衔接，提高位姿跟踪效率。

上述跟踪位姿信息即为位姿跟踪得到的跟踪结果，可以将其应用于多种场景，比如，可以将其应用于自动化生产线中，用于零部件自动装配过程中零部件的位姿跟踪，还可以应用于智能交通场景，用于跟踪路面上车辆的位姿信息，进一步的，还可以用于智能手机的AR平台，用于识别目标对象的位姿，并生成对应的AR特效。

示例性的，可以基于上述多个位姿跟踪图像分别对应的所述目标对象的跟踪位姿信息，对上述多个位姿跟踪图像中的至少一个位姿跟踪图像添加与上述跟踪位姿信息对应的虚拟特效；展示添加虚拟特效后的上述位姿跟踪图像。

这样，通过目标对象的跟踪位姿信息，对多个位姿跟踪凸显中的至少一个位姿跟踪图像添加虚拟特效，并展示添加虚拟特效后的位姿跟踪图像，可以为用户提供与跟踪位姿信息相关的信息，便于用于理解并使用跟踪位姿信息。

如图2所示，本公开实施例公开了另一种位姿跟踪方法，该方法首先获取RGB或RGBD图像，然后判断物体六维(6-Dimension，6D)姿态跟踪模块是否完成初始化，其中，6D姿态即上述位姿信息，若初始化未完成，则执行初始化的步骤，针对获取的首个RGB或RGBD图像进行物体6D姿态估计，然后进行物体6D姿态跟踪，若完成初始化，则直接进行物体6D姿态跟踪(具体跟踪过程可见上述位姿跟踪方法的实施例)，在物体6D姿态跟踪的过程中，若边缘跟踪的能量函数取值小于阈值，则说明位姿跟踪成功，并确定当前帧物体的6D姿态，若大于或等于阈值，则说明位姿跟踪失败，则跳转至初始化的步骤，重新进行物体6D姿态估计，并执行后续姿态跟踪的步骤。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与位姿跟踪方法对应的位姿跟踪装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述位姿跟踪方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图3所示，为本公开实施例提供的一种位姿跟踪装置的示意图，所述装置包括：

获取模块310，用于获取目标对象在初始位姿图像中的初始位姿信息；

初始化模块320，用于根据所述初始位姿信息，调整所述目标对象的虚拟模型的位姿，并确定调整后的虚拟模型的初始边缘轮廓信息；

跟踪模块330，用于基于所述初始边缘轮廓信息，以及包含所述目标对象的至少一个位姿跟踪图像，确定所述至少一个位姿跟踪图像分别对应的所述目标对象的跟踪位姿信息。

在一种可能的实施方式中，所述获取模块310还用于：

获取含有所述目标对象的初始图像；

从所述初始图像中截取所述兴趣区域，将截取得到的所述兴趣区域作为所述初始位姿图像；

基于所述兴趣区域估算所述目标物体的位姿信息，得到所述初始位姿信息。

在一种可能的实施方式中，所述跟踪模块330具体用于：

将所述初始边缘轮廓信息作为所述至少一个位姿跟踪图像中，首个位姿跟踪图像的前一位姿跟踪图像的边缘轮廓信息；

针对所述至少一个位姿跟踪图像中的当前位姿跟踪图像，从所述当前位姿跟踪图像中，确定与前一边缘轮廓信息匹配的当前边缘轮廓信息；其中，所述前一边缘轮廓信息为所述当前位姿跟踪图像的前一位姿跟踪图像对应的边缘轮廓信息；

确定所述当前边缘轮廓信息对应的位姿信息，并将确定的所述位姿信息作为所述当前位姿跟踪图像的跟踪位姿信息。

在一种可能的实施方式中，所述跟踪模块330在从所述当前位姿跟踪图像中，确定与所述当前位姿跟踪图像的前一位姿跟踪图像的前一边缘轮廓信息匹配的当前边缘轮廓信息时，具体用于：

以所述前一边缘轮廓信息作为初始参数信息，在所述当前位姿跟踪图像中，建立与该初始参数信息匹配的可变参数曲线；

基于所述可变参数曲线对应的能量函数，确定所述可变参数曲线的目标参数信息；其中，所述能量函数用于表征所述可变参数曲线中各个像素点为轮廓像素点的概率值；

将所述目标参数信息作为与所述前一边缘轮廓信息匹配的当前边缘轮廓信息。

在一种可能的实施方式中，所述跟踪模块330在基于所述可变参数曲线对应的能量函数，确定所述可变参数曲线的目标参数信息时，用于：

基于所述可变参数曲线对应的能量函数，对所述可变参数曲线进行能量最小化变形，得到所述能量函数取值最小时所述可变参数曲线对应的目标参数信息。

在一种可能的实施方式中，所述初始化模块320还用于：

基于所述能量函数，确定在所述初始参数信息下，所述可变参数曲线对应的能量值；

基于所述能量值及预设的能量阈值，确定针对所述目标对象的位姿跟踪是否失败；

在针对所述目标对象的位姿跟踪失败的情况下，更新所述目标对象的初始位姿图像，并跳转至获取所述目标对象在初始位姿图像中的初始位姿信息的步骤。

在一种可能的实施方式中，所述初始化模块320还用于：

基于所述能量函数，确定在所述初始参数信息下，所述可变参数曲线对应的能量值；

基于所述能量值及预设的能量阈值，确定针对所述目标对象的位姿跟踪是否失败；

在针对所述目标对象的位姿跟踪失败的情况下，将所述可变参数曲线对应的位姿跟踪图像作为含有所述目标对象的初始图像，并从所述初始图像中识别所述目标对象对应的兴趣区域；

从所述初始图像中截取所述兴趣区域，将所述兴趣区域作为所述初始位姿图像，并跳转至确定所述目标对象在所述初始位姿图像中的初始位姿信息的步骤。

在一种可能的实施方式中，所述装置还包括展示模块，用于：

基于所述至少一个位姿跟踪图像分别对应的所述目标对象的跟踪位姿信息，对所述至少一个位姿跟踪图像中的至少一个位姿跟踪图像添加与所述跟踪位姿信息对应的虚拟特效；

展示添加虚拟特效后的所述位姿跟踪图像。

对应于图1中的位姿跟踪方法，本公开实施例还提供了一种电子设备400，如图4所示，为本公开实施例提供的电子设备400结构示意图，包括：

处理器41、存储器42、和总线43；存储器42用于存储执行指令，包括内存421和外部存储器422；这里的内存421也称内存储器，用于暂时存放处理器41中的运算数据，以及与硬盘等外部存储器422交换的数据，处理器41通过内存421与外部存储器422进行数据交换，当所述电子设备400运行时，所述处理器41与所述存储器42之间通过总线43通信，使得所述处理器41可以执行以下指令：

获取目标对象在初始位姿图像中的初始位姿信息；

根据所述初始位姿信息，调整所述目标对象的虚拟模型的位姿，并确定调整后的虚拟模型的初始边缘轮廓信息；

基于所述初始边缘轮廓信息，以及包含所述目标对象的至少一个位姿跟踪图像，确定所述至少一个位姿跟踪图像分别对应的所述目标对象的跟踪位姿信息。

上述指令的具体执行过程可以参考本公开实施例中所述的位姿跟踪方法的步骤，此处不再赘述。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述位姿跟踪方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供了一种计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述位姿跟踪方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (11)

1.一种位姿跟踪方法，其特征在于，包括：

获取目标对象在初始位姿图像中的初始位姿信息；

根据所述初始位姿信息，调整所述目标对象的虚拟模型的位姿，并确定调整后的虚拟模型的初始边缘轮廓信息；

基于所述初始边缘轮廓信息，以及包含所述目标对象的至少一个位姿跟踪图像，确定所述至少一个位姿跟踪图像对应的所述目标对象的跟踪位姿信息。

2.根据权利要求1所述的方法，其特征在于，所述获取目标对象在初始位姿图像中的初始位姿信息，包括：

获取含有所述目标对象的初始图像；

从所述初始图像中识别所述目标对象对应的兴趣区域；

从所述初始图像中截取所述兴趣区域，将截取得到的所述兴趣区域作为所述初始位姿图像；

基于所述兴趣区域估算所述目标物体的位姿信息，得到所述初始位姿信息。

3.根据权利要求1或2所述的方法，其特征在于，所述基于所述初始边缘轮廓信息，以及包含所述目标对象的至少一个位姿跟踪图像，确定所述至少一个位姿跟踪图像分别对应的所述目标对象的跟踪位姿信息，包括：

将所述初始边缘轮廓信息作为所述至少一个位姿跟踪图像中，首个位姿跟踪图像的前一位姿跟踪图像的边缘轮廓信息；

针对所述至少一个位姿跟踪图像中的当前位姿跟踪图像，从所述当前位姿跟踪图像中，确定与前一边缘轮廓信息匹配的当前边缘轮廓信息；其中，所述前一边缘轮廓信息为所述当前位姿跟踪图像的前一位姿跟踪图像对应的边缘轮廓信息；

确定所述当前边缘轮廓信息对应的位姿信息，并将确定的所述位姿信息作为所述当前位姿跟踪图像的跟踪位姿信息。

4.根据权利要求3所述的方法，其特征在于，所述从所述当前位姿跟踪图像中，确定与前一边缘轮廓信息匹配的当前边缘轮廓信息，包括：

以所述前一边缘轮廓信息作为初始参数信息，在所述当前位姿跟踪图像中，建立与该初始参数信息匹配的可变参数曲线；

基于所述可变参数曲线对应的能量函数，确定所述可变参数曲线的目标参数信息；其中，所述能量函数用于表征所述可变参数曲线中各个像素点为轮廓像素点的概率值；

将所述目标参数信息作为与所述前一边缘轮廓信息匹配的当前边缘轮廓信息。

5.根据权利要求4所述的方法，其特征在于，所述基于所述可变参数曲线对应的能量函数，确定所述可变参数曲线的目标参数信息，包括：

基于所述可变参数曲线对应的能量函数，对所述可变参数曲线进行能量最小化变形，得到所述能量函数取值最小时所述可变参数曲线对应的目标参数信息。

6.根据权利要求4所述的方法，其特征在于，在所述建立与该初始参数信息匹配的可变参数曲线之后，所述方法还包括：

基于所述能量函数，确定在所述初始参数信息下，所述可变参数曲线对应的能量值；

基于所述能量值及预设的能量阈值，确定针对所述目标对象的位姿跟踪是否失败；

在针对所述目标对象的位姿跟踪失败的情况下，更新所述目标对象的初始位姿图像，并跳转至获取所述目标对象在初始位姿图像中的初始位姿信息的步骤。

7.根据权利要求6所述的方法，其特征在于，所述更新所述目标对象的初始位姿图像，包括：

将所述可变参数曲线对应的位姿跟踪图像作为含有所述目标对象的初始图像，并从所述初始图像中识别所述目标对象对应的兴趣区域；

从所述初始图像中截取所述兴趣区域，将所述兴趣区域作为所述初始位姿图像，并跳转至确定所述目标对象在所述初始位姿图像中的初始位姿信息的步骤。

8.根据权利要求1至7任一所述的方法，其特征在于，所述方法还包括：

基于所述至少一个位姿跟踪图像对应的所述目标对象的跟踪位姿信息，对所述至少一个位姿跟踪图像添加与所述跟踪位姿信息对应的虚拟特效；

展示添加虚拟特效后的所述位姿跟踪图像。

9.一种位姿跟踪装置，其特征在于，包括：

获取模块，用于获取目标对象在初始位姿图像中的初始位姿信息；

初始化模块，用于根据所述初始位姿信息，调整所述目标对象的虚拟模型的位姿，并确定调整后的虚拟模型的初始边缘轮廓信息；

跟踪模块，用于基于所述初始边缘轮廓信息，以及包含所述目标对象的至少一个位姿跟踪图像，确定所述至少一个位姿跟踪图像分别对应的所述目标对象的跟踪位姿信息。

10.一种电子设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行如权利要求1至8任一项所述的位姿跟踪方法的步骤。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被计算机设备运行时，所述计算机设备执行如权利要求1至8任意一项所述的位姿跟踪方法的步骤。

Images