CN113762129A - 实时2d人体姿势估计系统中的姿势稳定系统和方法 - Google Patents

Abstract

一种用于估计单目图像序列中多个人的稳定姿态的系统和方法。该方法参考了生成2D关节定位序列的2D人体姿态估计系统。大多数2D人体姿态估计系统在处理单帧图像时可以产生最先进的估计结果，但在处理实时图像序列时无法产生稳定的姿态。该方法解决了实时二维人体姿态估计系统产生的姿态抖动问题。它使用帧到帧的关节更新决策和连续帧中缺失关节的恢复来均匀地去除检测到的姿势中存在的抖动。连续帧中存在的关节信息有助于最小化抖动效果。而姿势中已知关节的定位有助于计算一些缺失的关节以进一步稳定姿势。

Description

实时2D人体姿势估计系统中的姿势稳定系统和方法

一、技术领域:

本发明涉及人体姿势估计系统领域，涉及的具体内容为2D人体姿势估计系统中的姿势校正和稳定。

二、背景技术:

来自数字图像的人体姿势估计(HPE)是人类活动理解的开端。其任务是将人体关节从图像定位到 2D或3D平面。目前已提出的许多相关技术可以分为以下两类：自顶向下和自底向上方法。前者首先检测包含人体的图像部分，并在每个人的边界框内应用2D/3D姿态估计器来检测关节位置。而后者首先检测关节而不管其关联人，然后将它们映射到关联人以输出关键点。尽管对姿势估计系统的改进已经发展了很多年，但由于许多因素的存在，包括：对象间遮挡、对象内遮挡、模糊的姿势、光照的效果、众多的姿势、模糊的深度、布料纹理变化、切割器背景、人体关节自由度大、自然的姿势模糊。因此目前姿势估计的发展仍然是一个挑战。

无论采用何种技术，大多数姿势估计器都在连续帧中输出带有抖动的姿势。抖动效果产生摇晃的姿势从而降低了合成的质量。抖动效果的出现是由于数据集中的噪声关键点、众多的人体姿势和连续帧检测中的关节缺失。目前已有许多提出的方法用来最小化抖动的影响。其中一种技术是在连续帧上使用卡尔曼滤波器，该效果最大限度地减少了姿势不稳定性，但它会导致整个视频序列系统的延迟。因此，卡尔曼滤波器不是实时图像序列系统的合适选择。其他技术在整个姿势实例上使用帧到帧的线性插值。它产生了一个稳定的插值姿势，但是，插值流会导致具有非正统姿势的几帧。此外，即便是检测中一个关节缺失，都会导致上述所有方法严重的姿势异常。

在这种方法中，我们分别使用帧到帧的每个关节的关节更新决策以及关节阈值来最小化实时人体姿势估计图像序列中抖动的影响。此外，我们使用递归方法从帧中的已知关节信息中恢复丢失的关节。恢复阶段是我们发明的基础，以进一步提高最终姿势的质量。本发明没有使用直接的点对点映射来解决深度图中存在空洞的问题，而是通过检查目标点的临近点以选择最佳深度点。使用人体测量法纠正第二个问题：由于关节重叠而导致的关节深度不明确。根据人体测量信息计算每个关节的近似深度，并将其与传感器传回的深度进行比较，以估算关节深度的误差。通过人体测量测量平均人体肢体长度，并将其作为一个基础。

本发明提供了一种稳定二维人体姿态估计系统产生的抖动姿态的系统和方法。本发明包括(1) 计算机系统连同用以捕捉一个或多个人的二维单眼图像序列的输入装置；(2)一个2D人体姿态估计模块，为图像中的每个人生成一组关节定位；(3)一个姿态稳定器模块，以减少检测到的姿态中存在的抖动。

输入装置捕捉至少25帧/秒的图像流以获得更平滑的效果，然后将其馈送到2D人体姿态估计模块。然后，估计模块为正在处理的图像中的每个人的每个关节输出一组2D位置。对于每个关节都会产生一个三元组(x，y，score)，其中x和y分别是关节的水平和垂直位置，score(分数)决定了关节检测的置信度，取值范围从0到1(1表示完全置信)。在连续帧中，由于多种因素，关节定位可能与图像中的实际关节不同，包括：噪声数据集样本、多个人体姿势和检测中的缺失关节。这导致姿势流具有抖动的姿势，影响最终应用程序的整体质量。

本发明提出的系统以二维关节关键点集为输入，通过去除检测中的抖动来产生稳定的姿态。整体稳定是由姿势稳定模块通过使用(1)帧到帧的关节更新决策和(2)使用连续帧中的已知关节进行的缺失关节恢复来完成的。然后系统会生成另一组对应于稳定姿势的关节。

三、发明内容

本发明提出了用于从实时单目图像序列恢复稳定的多人2D人体姿势的方法、过程和模型。许多2D 人体姿势估计系统输出一个带有明显抖动的姿势。抖动是指连续帧内检测到的关节中微小的错误位移。在诸如人机交互或虚拟化身控制等实际应用中，即使是这种小抖动也会导致输出质量非常差。目前已有提出了许多技术用以克服或最小化最终解决方案中抖动的影响，但其中大多数技术没有在实时图像序列应用中得到应用。

图1展示了系统的抽象表示。本发明使用已有的2D人体姿态估计器(0102)，它接收实时单目图像序列(0101)并为序列的每一帧中出现的每个人生成一组N个关节定位。关节排列如图4所示，其中 N＝21。然后将输出数据传递给姿势稳定模块(0103)，然后最小化连续帧中的抖动并输出稳定姿势。

图2展示了通用2D人体姿态估计系统。系统将图像或图像序列(0201)作为输入。然后将它们传递给姿势估计器(0202)，该估计器为输入图像中的每个人生成一组2D关节(0203)。对于序列中有N个关节的K个人的特定图像，每个关节表示为：

图3展示了以一组2D关节定位作为输入(0301)的姿势稳定模块的框图。使用逐帧关节更新决策和缺失关节恢复来处理输入，缺失关节恢复使用连续帧中的已知关节(0302)生成另一组具有稳定姿势的关节(0303)。

图4显示了人体关节模型(0400)。该模型由21个关节组成，其中每个关节都是3D矢量。2D关节是x、y定位坐标以及0-1范围内的置信度分数的集合。其中N＝关节数。图4展示了对关节的描述

图5显示了姿势稳定方法的流程图。输入设备(通常是相机)捕获一帧(0501)并将其输入到姿势检测器(0502)。然后检测器估计当前图像帧中每个人的关节。姿势检测器输出关节集，其中包含一些缺少关节定位的帧(0503)。然后使用递归方法(0504)恢复丢失的关节。接着将当前帧(0504)中所有恢复的关节和前一帧(0505)中的关节结合起来决定进一步的操作(0506)。如果正在处理的帧是第一帧，则将检测到的关节简单地分配给当前帧中的系统(0507)，并且不做进一步的处理。此后，系统继续进行到另一帧(0508)。同时，当前一帧可用时，当前和前一帧的关节会进一步处理以最小化抖动。

对当前帧和前一帧中的每个对应关节计算欧氏距离为(0509)：

其中，d^N是当前帧和前一帧中对应的第N个关节之间的欧几里德距离。如果计算出的距离小于特定关节的阈值(0510)，则该关节的连续帧中的位移被视为抖动，并且位置不会改变(0511)。每个关节使用单独的阈值。然后控制转移到捕获下一帧(0508)。而如果距离超过阈值，则将恢复的关节赋值给当前帧(0512)。相同的恢复关节然后用作前一帧关节(0514)。最后，控制转移至捕获新帧。

图6A展示了从关节J17和J18的已知定位恢复丢失的关节J0的几何配置。关节J₀、J₁₇和J₁₈是三元组，表示为：J₀(x₀，y₀，score₀)、J₁₇(x₁₇,y₁₇，score₁₇),、J₁₈(x₁₈,y₁₈,score₁₈)。关节J₀恢复为：

score₀＝max(score₁₇，score₁₈) (6)

图6B展示了从关节J₁₉和J₂₀的已知定位恢复丢失的关节J₀的几何配置。关节J₀、J₁₉和J₂₀是三元组，表示为：J₀(x₀，y₀，score₀)、J₁₉(x₁₉，y₁₉,score₁₉)、J₂₀(x₂₀，y₂₀，score₂₀)。关节J₀恢复为：

score₀＝max(score₁₉，score₂₀) (9)

图6C展示了从关节J₁₁和J₁₇的已知定位恢复丢失的关节J₀的几何配置。关节J₀、J₁和J₁₇是三元组，P 是二维中点，表示为：J₀(x₀,y₀,score₀)、J₁(x₁,y₁,score₁)、J₁₇(x₁₇,y₁₇,score₁₇)。关节J₀恢复为：

图7展示了恢复缺失关节J₁的几何配置。关节J₀、J₁、J₂、J₅和J₈是三元组，表示为：J₀(x₀,y₀,score₀)、 J₁(x₁,y₁,score₁)、J₂(x₂，y₂,score₂)、J₅(x₅,y₅，score₅)、J₈(x₈,y₈,score₈)。关节J₁恢复为：

图8展示了恢复缺失关节J₂和J₅的几何配置。关节J₁、J₂、J₅是三元组，表示为：J₁(x₁,y₁,score₁)、 J₂(x₂,y₂,score₂)、J₅(x₅,y₅,score₅)。关节J₂和J₅恢复为：

x₂＝x₁+|J₁J₅|cos(α+180) (16)

y₂＝y₁+|J₁J₅|sin(α+180) (17)

score₂＝max(score₁,score₅) (18)

x₅＝x₁+|J₂J₁|cos(360-β) (19)

y₅＝y₁+|J₂J₁|sin(360-β) (20)

score₅＝max(score₁，score₂) (21)

图9展示了用于恢复丢失的关节J₈和J₉的几何配置。关节J₁、J₈、J₉和J₁₀是三元组，表示为： J₁(x₁，y₁，score₁)、J₈(x₈，y₈，score₈)、J₉(x₉，y₉，score₉)、J₁₀(x₁₀,y₁₀,score₁₀)。关节J₈和J₉恢复为：

x₈＝x₁+0.22(x₁₀-x₁),y₈＝y₁+0.22(y₁₀-y₁) (22)

x₉＝x₁+0.78(x₁₀-x₁),y₉＝y₁+0.78(y₁₀-y₁) (23)

score₈,score₉＝max(score₁,score₁₀) (24)

图10展示了用于恢复缺失关节J₁₀、J₁₁和J₁₄的几何配置。关节J₁₀、J₁₁和J₁₄是三元组，表示为： J₁₀(x₁₀，y₁₀，score₁₀)、J₁₁(x₁₁,y₁₁,score₁₁)、J₁₄(x₁₄,y₁₄，score₁₄)。关节J₁₀、J₁₁和J₁₄恢复为：

score₁₀＝max(score₁₁，score₁₄) (27)

score₁₁＝max(score₁₀，score₁₄)(30)

score₁₄＝max(score₁₀,score₁₁) (33)

图11表示对图像序列的第1帧进行关节检测得到的姿势。帧的尺寸为640x480px。在该帧中，除了关节J₅、J₈、J₉和J₁₁之外的所有关节都被检测到。

图12表示图像序列第1帧的姿态恢复和更新的关节。使用等式(2)和(3)恢复和更新丢失的关节，即J₅、J₈、J₉和J₁₁。

图13表示使用关节J₁和J₂的已知定位来恢复丢失的关节J₅。

图14表示使用关节J₁和J₁₀的已知定位来恢复丢失的关节J₈和J₉。

图15表示使用关节J₁₀和J₁₄的已知定位来恢复丢失的关节J₁₁。

图16表示图像序列第2帧的关节检测得到的姿势。帧的尺寸为640x480px。在该帧中，除了关节J₀、 J₂和J₁₀之外的所有关节都被检测到。

图17表示图像序列第2帧的姿态恢复和更新的关节。使用等式(2)和(3)恢复和更新丢失的关节，即J₀、J₂和J₁₀。

图18表示使用关节J₁₇和J₁₈的已知定位来恢复丢失的关节J₀。

图19表示使用关节J₁和J₅的已知定位来恢复丢失的关节J₂。

图20表示使用关节J₁₁和J₁₄的已知定位来恢复丢失的关节J₁₀。

图21表示图像序列的第3帧的关节检测得到的姿势。帧的尺寸为640x480px。在该帧中，除了关节 J₁、J₈和J₁₄之外的所有关节都被检测到。

图22表示图像序列的第3帧的姿态恢复和更新的关节。使用等式(2)和(3)恢复和更新丢失的关节，即J₁、J₈和J₁₄。

图23表示使用关节J₂和J₅的已知定位来恢复丢失的关节J₁。

图24表示使用关节J₁和J₁₀的已知定位来恢复丢失的关节J₈。

图25表示使用关节J₁₀和J₁₁的已知定位来恢复丢失的关节J₁₄。

四、附图说明

提供的所有附图解释了本发明的抽象思想，并对所有使用过的系统、方法或过程进行了粗略的理解。

图1展示了了稳定系统的抽象框图。

图2展示了一般2d人体姿势估计系统的框图。

图3展示了姿态稳定模块的框图。

图4展示了姿势检测器的图形模型。

图5展示了姿势稳定器模块的流程图。

图6A展示了从J₁₇和J₁₈恢复关节J₀的几何表示。

图6B展示了从J₁₉和J₂₀恢复关节J₀的几何表示。

图6C展示了从J₁和J₁₇恢复关节J₀的几何表示。

图7展示了恢复关节J₁的几何表示。

图8展示了恢复关节J₂和J₅的几何表示。

图9展示了恢复关节J₈和J₉的几何表示。

图10展示了恢复关节J₁₀、J₁₁和J₁₄的几何表示。

图11展示了图像序列的第1帧的关节检测。

图12展示了图像序列的第1帧的关节恢复。

图13展示了第1帧中关节J₅的恢复。

图14展示了第1帧中关节J₈和J₉的恢复。

图15展示了第1帧中关节J₁₁的恢复。

图16展示了图像序列的第2帧的关节检测。

图17展示了图像序列的帧2的的关节恢复。

图18展示了第2帧中关节J₂的恢复。

图19展示了第2帧中关节J₁₀的恢复。

图20展示了第2帧中关节J₀的恢复。

图21展示了图像序列的第3帧的关节检测。

图22展示了图像序列的帧3的的关节恢复。

图23展示了第3帧中关节J₁的恢复。

图24展示了第3帧中关节J₈的恢复。

图25展示了第3帧中关节J₁₄的恢复。

五、具体实施方法

整个方法考虑了2D姿态估计器，用于在图像中生成关节定位。该系统与任何采用RGB图像并产生图像中每个人的2D关节定位的单目姿态估计系统兼容。

系统首先以来自单目相机的RGB图像序列作为输入，其中每个图像表示为

N表示序列号 (帧号)，W和H表示三个通道中每个图像的水平和垂直维度。然后将输入图像序列传递进姿态估计器系统，用于检测关节定位，如图1所示。

姿势估计器为图像中的每个人返回一组2D关节定位。关节结构如图4所示。对序列中的每个图像重复该过程。考虑图11、图13和图15中尺寸为640x480的图像序列的前三个连续帧，姿态估计器返回关节定位，如表1所示。姿态估计器检测到大部分关节，少数关节定位丢失，使用已知的关节信息恢复丢失的关节。

表1

在帧1中，缺少关节J₅、J₈、J₉和J₁₁。第1帧中缺少关节的姿势如图11所示。图12中显示了具有恢复关节的姿势。使用方程(19)、(20)和(21)恢复关节J₅，如图13所示。

x₅＝120,y₅＝50,score₅＝0.89

使用方程(22)、(23)和(24)恢复关节J₈和J₉，如图14所示。

x₈＝102，y₈＝68，score₈＝0.89

x₉＝108,y₉＝91，score₉＝0.89

使用方程(28)、(29)和(30)恢复关节J₁₁，如图15所示。

x₁₁＝100，y₁₁＝110，score₁₁＝0.95

表2中显示了第1帧中丢失关节恢复后的关节定位。之后，使用恢复的关节进行使用阈值的关节更新决策。由于这是第一帧，并且前一帧关节没有数据，因此更新后的关节与当前帧关节相同，系统将开始捕获下一个图像。

表2

此后，将第2帧的图像输入姿态估计系统，并产生如上表所示的检测到的关节。在第2帧中，缺少关节J₀、J₂和J₁₀。在第2帧中缺少关节的姿势如图16所示。图17中显示了具有恢复关节的姿势。使用方程(10)、(11)和(12)恢复关节J₀，如图18所示。

x₀＝102，y₀＝39，score₀＝0.91

使用方程(16)、(17)和(18)恢复关节J₂，如图19所示。

x₂＝93,y₂＝64,score₂＝0.94

使用方程(25)、(26)和(27)恢复关节J₁₀，如图20所示。

x₁₀＝107,y₁₀＝97,score₁₀＝0.91

然后使用恢复的关节进行使用阈值的关节更新。表3和表4中显示了更新后的第2帧关节。

表3

表示.4

在第3帧中，缺少关节J₁、J₈和J₁₄。在第3帧中缺少关节的姿势如图21所示。恢复关节的姿势如图 22所示。使用方程(13)、(14)和(15)恢复关节J₁，如图23所示。

x₁＝98,y₁＝59,score₁＝0.94

使用方程(22)、(23)和(24)恢复关节J₈，如图24所示。

x₈＝101,y₈＝70,score₈＝0.94

使用方程(31)、(32)和(33)恢复关节J₁₄，如图25所示。

x₁₄＝120,y₁₄＝105,score₁₄＝0.88

表5

表6

对于图像序列的其余部分，该过程重复进行。现在将第3帧视为上一帧，将第4帧视为下一个当前帧。对于第4帧，将首先递归地检测丢失的关节。然后将基于关节的决策阈值和当前帧和前一帧中相应关节之间的距离做出关节更新决策。该过程通过考虑序列中的当前和先前图像，最终过滤掉所有抖动。

Claims (8)

1.一种基于计算机的用于实时2D人体姿态估计系统中姿态稳定的方法，该方法包括：：

a.一种捕捉实时单目图像序列的装置。

b.一个输入模块，用于从输入设备中提取实时图像序列。

c.一个姿态估计模块，以图像序列作为输入，为图像中的每个人生成2D关节定位。

d.一个后处理模块，为序列的每一帧产生稳定的姿势。

2.权利要求1所述的方法中，捕获包含一个或多个具有全身或部分身体姿势的人的2D图像序列。

3.权利要求1所述的方法中，后处理模块仅考虑用于姿势稳定的两帧(当前和先前)。

4.权利要求1所述的方法，接收2D图像序列以产生图像中每个人的一组稳定的关节定位。

5.权利要求4所述的方法，其中该方法使用欧几里得距离以及阈值来决定检测到的姿势中每个关节的关节更新。

6.一种人体姿态估计和姿态稳定系统，该系统包括：

a.接收包含一个或多个人的图像序列。

b.非易失性存储器，用于在不运行时保存系统二进制文件。

c.在处理过程中保存系统可执行文件和图像序列的主存。

d.一种用于执行系统二进制文件的计算机处理器，包括：

i.创建和存储图像序列作为帧缓冲区。

ii.处理每个图像以生成一组2D关节定位以及图像中每个人的关节置信度分数。

iii.使用阈值和帧到帧的线性插值分别在每个关节上稳定抖动的姿势。

7.权利要求4所述的方法，使用在检测到的姿势中的已知关节的定位来递归地估计丢失的关节。

8.权利要求7所述的方法，包括：

a.根据关节J₁₇和J₁₈的定位或者关节J₁₉和J₂₀的定位来估计缺失的关节J₀。

b.根据关节J₂和J₅的定位或者关节J₁和J₈的定位来估计缺失的关节J₁。

c.根据关节J₁和J₅的定位来估计缺失的关节J₂。

d.根据关节J₁和J₂的定位来估计缺失的关节J₅。

e.根据关节J₁和J₁₀的定位来估计缺失的关节J₈。

f.根据关节J₁和J₁₀的定位来估计缺失的关节J₉。

g.根据关节J₁₁和J₁₄的定位来估计缺失的关节J₁₀。

h.根据关节J₁₀或J₁₄的定位来估计缺失的关节J₁₁。

i.根据关节J₁₀或J₁₁的定位来估计缺失的关节J₁₄。

Images