CN114387392A - 一种根据人影重建三维人体姿态的方法 - Google Patents

Abstract

本发明提出一种根据人影重建三维人体姿态的方法，该方法使用训练得到的深度神经网络来对人体的阴影部分进行分割；由于拍摄到的投影出的人影可能存在形变，使用基于格点的空间变化的仿射变换来对阴影进行恢复；基于恢复得到的阴影，使用基于轮廓的人体参数化模型拟合算法，得到三维人体的姿态。本发明能够基于人体阴影重建得到三维人体姿态，在只拍摄到人影时能够估计较为准确的人体姿态，而在同时拍摄到人体与人影时，也能够提升只使用人体信息的方法来进行姿态估计的效果，适用范围广；算法鲁棒性强，不受遮挡、衣物颜色等影响人体直接观测的因素的干扰。

Description

一种根据人影重建三维人体姿态的方法

技术领域

本发明涉及计算机图形学与视觉技术领域，尤其涉及一种根据人影重建三维人体姿态的方法、装置、计算机设备及存储介质。

背景技术

三维人体姿态重建在计算机视觉中一直是一个非常重要的研究问题，并且有拥有十分广泛的应用场景。有许多通过颜色图像输入来估计人体三维姿态的工作。这些工作可以通过对人体的直接观测，即通过拍摄得到的颜色图像来重建人体的三维姿态。这些方法有些能够处理少量的遮挡，然而当人体的大部分区域都没有被直接观测到时，这些方法难以得到较好的结果。同时如果人体姿态没有发生变化而衣物的颜色发生变化，这些方法重建的姿态也往往会一定程度上收到其影响。然而在现实生活中，受到拍摄角度以及各种遮挡的影响，很多时候图像并没有拍摄到完整的人体，给三维人体姿态重建带来困难。

发明内容

本发明提供一种根据人影重建三维人体姿态的方法、装置、计算机设备及存储介质，旨在通过图像中灯光投射到人体产生的阴影信息进行三维人体姿态重建。

为此，本发明的第一个目的在于提出一种根据人影重建三维人体姿态的方法，包括：

对包含人体和人影的图像进行图像分割，得到仅包含人影的人影部分图像；

对所述人影部分图像进行优化处理，以消除所述人影部分图形中存在的人影形变；

通过人体参数化模型拟合算法对消除人影形变的所述人影部分图像进行图像拟合，将所述人影部分图像映射到人体参数化模型中，得到重建的三维人体姿态。

其中，在对包含人体和人影的图像进行图像分割的步骤中，图像分割的方式是通过图像分割神经网络进行；其中，采取的图像分割神经网络为U-Net卷积神经网络。

其中，通过U-Net卷积神经网络进行图像分割的步骤之前，还包括对U-Net卷积神经网络进行训练的步骤；

训练所述U-Net卷积神经网络时，从网络云端获取公开的标记阴影分割部分的阴影分割图像，作为训练数据集，输入到U-Net卷积神经网络，通过不断调整网络函数和参数，使最终输出结果与标记的阴影部分一致为止，完成对模型的训练；

模型训练完成后，将所述包含人体和人影的图像输入训练好的U-Net卷积神经网络中，输出结果得到实施人影部分图像。

其中，在对所述人影部分图像进行优化处理的步骤中，采用基于格点的空间变化的仿射变换对所述阴影部分图像进行优化；包括步骤：

计算包覆所述阴影部分图像中阴影部分面积的最小外包矩形，将所述最小外包矩形均分为M×N个小矩形，将每个小矩形的顶点作为格点；

采用仿射变换的方式对每一格点进行优化，小矩形内部点的仿射变换则由其所在小矩形的四个顶点的仿射变换进行双线性插值得到。

其中，仿射变换为二维空间中的线性的变换，记作：

y＝Ax+b

其中，A和b为仿射变换的参数，x为仿射变换前的坐标，y为仿射变换后的坐标。

其中，人体参数化模型使用SMPL模型；使用参数θ表示人体姿态；

人体参数化模型上的点投影到平面上的点的坐标为：

Y＝PM·z

其中P为内参矩阵，由透视投影属性决定，M为外参矩阵，由光源相对人体的空间位置决定，z为人体参数化模型上的点，Y为其投影到平面上的坐标；

通过人体参数化模型的轮廓与优化的阴影部分图像的轮廓相拟合，使上述公式中的y与Y相接近，将所述阴影部分图像中的格点坐标对应到人体参数化模型中点的坐标，实现重建三维人体姿态。

其中，在重建三维人体姿态的步骤中，通过构建正则项约束重建三维人体姿态符合人体运动；在所述SMPL模型中，通过人体姿态参数θ表达人体关节旋转，则通过正则项约束关节旋转值在预设的正常人体关节活动范围内。

本发明的第二个目的在于提出一种根据人影重建三维人体姿态的方法，包括：

图像分割模块，用于对包含人体和人影的图像进行图像分割，得到仅包含人影的人影部分图像；

图像优化模块，用于对所述人影部分图像进行优化处理，以消除所述人影部分图形中存在的人影形变；

三维人体姿态重建模块，用于通过人体参数化模型拟合算法对消除人影形变的所述人影部分图像进行图像拟合，将所述人影部分图像映射到人体参数化模型中，得到重建的三维人体姿态。

本发明的第三个目的在于提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现如前述技术方案的方法。

本发明的第四个目的在于提出一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现前述技术方案的方法。

区别于现有技术，本发明提供的根据人影重建三维人体姿态的方法，使用训练得到的深度神经网络来对人体的阴影部分进行分割；由于拍摄到的投影出的人影可能存在形变，使用基于格点的空间变化的仿射变换来对阴影进行恢复；基于恢复得到的阴影，使用基于轮廓的人体参数化模型拟合算法，得到三维人体的姿态。本发明能够基于人体阴影重建得到三维人体姿态，在只拍摄到人影时能够估计较为准确的人体姿态，而在同时拍摄到人体与人影时，也能够提升只使用人体信息的方法来进行姿态估计的效果，适用范围广；算法鲁棒性强，不受遮挡、衣物颜色等影响人体直接观测的因素的干扰。

附图说明

本发明所述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明提供的一种根据人影重建三维人体姿态的方法的流程示意图。

图2是本发明提供的一种根据人影重建三维人体姿态的装置的结构示意图。

图3是本发明提供的一种非临时性计算机可读存储介质的结构示意图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

图1为本发明实施例所提供的一种根据人影重建三维人体姿态的方法的流程示意图。

目前现有技术中，建立三维人体姿态的方法一般是通过对颜色图像处理进行估计，但是收拍摄角度或光线影响，如果未能拍摄到完整的人体图像，则无法建立完整的三维人体姿态。在此基础上，本发明不使用颜色图像中人体直接观测的信息，转而根据图像中的人影部分进行处理，基于人影完成三维人体姿态重建。该方法包括以下步骤：

步骤101，对包含人体和人影的图像进行图像分割，得到仅包含人影的人影部分图像。

本发明的方法进行三维人体姿态重建时，是针对包含人体和人影的图像进行的。因为拍照通常在有光线的情况下进行，因此拍摄得到的照片中通常会包含人体和人影。在本步骤中，选定需要进行三维人体姿态重建的待处理图像，其中包含人体和人影，对待处理图像进行图像分割，将待处理图像中的人体和人影分割开来，为后续步骤提供人影部分图像。现有技术中，图像分割技术已经十分成熟，本发明采取现有图像分割方法对待处理图像进行人体和人影的分割。

在对包含人体和人影的图像进行图像分割时，图像分割的方式是通过图像分割神经网络进行；其中，采取的图像分割神经网络为U-Net卷积神经网络。

通过U-Net卷积神经网络进行图像分割的步骤之前，还包括对U-Net卷积神经网络进行训练的步骤；

训练所述U-Net卷积神经网络时，从网络云端获取公开的标记阴影分割部分的阴影分割图像，作为训练数据集，输入到U-Net卷积神经网络，通过不断调整网络函数和参数，使最终输出结果与标记的阴影部分一致为止，完成对模型的训练；在阴影分割问题上已有一些相关的方法与公开的训练数据集，使用这些公开数据集进行网络的训练。

模型训练完成后，将所述包含人体和人影的图像输入训练好的U-Net卷积神经网络中，输出结果得到实施人影部分图像。

该神经网络输入拍摄到的三通道颜色图像，输出单通道的人影分割结果。输出的尺寸与输入相同，其中每个像素单通道的数值表示该像素点为人影的概率。在网络最后的非线性层，使用非线性函数将网络的最终输出限制在0到1之间。而在网络使用时，定义固定阈值，例如0.5，认为输出值大于该阈值的像素是人影，否则的话不是人影。这样便得到了一个图像空间上的人影分割结果。

步骤102，对人影部分图像进行优化处理，以消除人影部分图形中存在的人影形变。

通过人影分割得到人影部分图像后，需要对人影部分图像进行优化处理。除常规图像增强、降噪、滤波操作外，还需要对人影部分图像进行形变恢复。

步骤101得到的人影部分图像，因拍摄原因可能产生形变，例如人影所投在的区域的不一定是理想的平面，或者有人影被拉长的情况。为了得到与人体实际轮廓相匹配的阴影，本发明使用基于格点的空间变化的仿射变换来对阴影进行恢复。

为了建立格点，需要计算人影部分图像中分割出的阴影的最小外包矩形，将该矩形均分为M×N个小矩形，每个小矩形的顶点为一个格点。为了恢复阴影，为每个格点优化一个仿射变换，而这些小矩形内部点的仿射变换则由其所在小矩形的四个顶点的仿射变换进行双线性插值得到。

仿射变换为二维空间中的线性的变换，可记作：

y＝Ax+b

其中，A和b为仿射变换的参数，x为仿射变换前的坐标，y为仿射变换后的坐标。

步骤103，通过人体参数化模型拟合算法对消除人影形变的人影部分图像进行图像拟合，将人影部分图像映射到人体参数化模型中，得到重建的三维人体姿态。

前一步骤中，仿射变换的目的同时是为了三维人体姿态重建。具体的，将人体参数化模型与仿射变换后的人影部分图像中的阴影进行拟合。

本发明的人体参数化模型采用SMPL模型，该模型使用参数θ表示人体姿态；

人体参数化模型上的点投影到平面上的点的坐标为：

Y＝PM·z

其中P为内参矩阵，由透视投影属性决定，M为外参矩阵，由光源相对人体的空间位置决定，z为人体参数化模型上的点，Y为其投影到平面上的坐标；

通过人体参数化模型的轮廓与优化的阴影部分图像的轮廓相拟合，使上述公式中的y与Y相接近，将阴影部分图像中的格点坐标对应到人体参数化模型中点的坐标，通过坐标组合连接，重构三维人体姿态模型，实现重建三维人体姿态。

在拟合过程中，通过设置数据约束人体参数化模型的轮廓与恢复后的阴影接近，同时设置表示人体先验信息的正则项，来约束重建得到的人体姿态符合人体运动的先验。在所述SMPL模型中，通过人体姿态参数θ表达人体关节旋转，则通过正则项约束关节旋转值在预设的正常人体关节活动范围内。

在进行拟合时，构造包含数据项与正则项的能量函数，并通过最小化能量函数来得到优化结果。对仿射变换参数、内外参矩阵、人体姿态，采用非线性求解器进行统一优化，

对于轮廓信息，约束透视投影下人体参数化模型投影到某平面的轮廓与恢复得到的轮廓接近。由于优化时会存在一些局部极值，例如两个相差180°的光源产生的阴影是相似的，优化时对投影矩阵采样多个初始值并选取最优的优化结果作为最终输出。

而如果图像也同时拍摄到了人体，我们只需要将我们的数据项加入只使用人体直接观测信息方法的优化能量函数中，进行统一的优化即可。

综上所述，本发明的技术方案，可以在未能拍摄得到完整人体，而拍摄到了灯光投射到人体产生的阴影的情况下，通过人影的信息来重建三维人体的姿态，在只拍摄到人影时能够估计较为准确的人体姿态，而在同时拍摄到人体与人影时，也能够提升只使用人体直接观测信息来进行姿态估计的效果。

为了实现所述实施例，本发明还提出一种根据人影重建三维人体姿态的装置，如图2所示，包括：

图像分割模块310，用于对包含人体和人影的图像进行图像分割，得到仅包含人影的人影部分图像；

图像优化模块320，用于对人影部分图像进行优化处理，以消除人影部分图形中存在的人影形变；

三维人体姿态重建模块330，用于通过人体参数化模型拟合算法对消除人影形变的人影部分图像进行图像拟合，将人影部分图像映射到人体参数化模型中，得到重建的三维人体姿态。

为了实现所述实施例，本发明还提出另一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现如本发明实施例的基于人影重建三维人体姿态。

如图3所示，非临时性计算机可读存储介质包括指令的存储器810，接口830，所述指令可由根据人影重建三维人体姿态的装置处理器820执行以完成所述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

为了实现所述实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如本发明实施例的基于人影重建三维人体姿态。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对所述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在所述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现所述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。所述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

所述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，所述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对所述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种根据人影重建三维人体姿态的方法，其特征在于，包括：

对包含人体和人影的图像进行图像分割，得到仅包含人影的人影部分图像；

对所述人影部分图像进行优化处理，以消除所述人影部分图形中存在的人影形变；

通过人体参数化模型拟合算法对消除人影形变的所述人影部分图像进行图像拟合，将所述人影部分图像映射到人体参数化模型中，得到重建的三维人体姿态。

2.根据权利要求1所述的根据人影重建三维人体姿态的方法，其特征在于，在对包含人体和人影的图像进行图像分割的步骤中，图像分割的方式是通过图像分割神经网络进行；其中，采取的图像分割神经网络为U-Net卷积神经网络。

3.根据权利要求2所述的根据人影重建三维人体姿态的方法，其特征在于，通过U-Net卷积神经网络进行图像分割的步骤之前，还包括对U-Net卷积神经网络进行训练的步骤；训练所述U-Net卷积神经网络时，从网络云端获取公开的标记阴影分割部分的阴影分割图像，作为训练数据集，输入到U-Net卷积神经网络，通过不断调整网络函数和参数，使最终输出结果与标记的阴影部分一致为止，完成对模型的训练；

模型训练完成后，将所述包含人体和人影的图像输入训练好的U-Net卷积神经网络中，输出结果得到实施人影部分图像。

4.根据权利要求3所述的根据人影重建三维人体姿态的方法，其特征在于，在对所述人影部分图像进行优化处理的步骤中，采用基于格点的空间变化的仿射变换对所述阴影部分图像进行优化；包括步骤：

计算包覆所述阴影部分图像中阴影部分面积的最小外包矩形，将所述最小外包矩形均分为M×N个小矩形，将每个小矩形的顶点作为格点；

采用仿射变换的方式对每一格点进行优化，小矩形内部点的仿射变换则由其所在小矩形的四个顶点的仿射变换进行双线性插值得到。

5.根据权利要求4所述的根据人影重建三维人体姿态的方法，其特征在于，仿射变换为二维空间中的线性的变换，记作：

y＝Ax+b

其中，A和b为仿射变换的参数，x为仿射变换前的坐标，y为仿射变换后的坐标。

6.根据权利要求1所述的根据人影重建三维人体姿态的方法，其特征在于，所述人体参数化模型使用SMPL模型；使用参数θ表示人体姿态；

人体参数化模型上的点投影到平面上的点的坐标为：

Y＝PM·z

其中P为内参矩阵，由透视投影属性决定，M为外参矩阵，由光源相对人体的空间位置决定，z为人体参数化模型上的点，Y为其投影到平面上的坐标；

通过人体参数化模型的轮廓与优化的阴影部分图像的轮廓相拟合，使上述公式中的y与Y相接近，将所述阴影部分图像中的格点坐标对应到人体参数化模型中点的坐标，实现重建三维人体姿态。

7.根据权利要求6所述的根据人影重建三维人体姿态的方法，其特征在于，在重建三维人体姿态的步骤中，通过构建正则项约束重建三维人体姿态符合人体运动；在所述SMPL模型中，通过人体姿态参数θ表达人体关节旋转，则通过正则项约束关节旋转值在预设的正常人体关节活动范围内。

8.一种根据人影重建三维人体姿态的方法，其特征在于，包括：

图像分割模块，用于对包含人体和人影的图像进行图像分割，得到仅包含人影的人影部分图像；

图像优化模块，用于对所述人影部分图像进行优化处理，以消除所述人影部分图形中存在的人影形变；

三维人体姿态重建模块，用于通过人体参数化模型拟合算法对消除人影形变的所述人影部分图像进行图像拟合，将所述人影部分图像映射到人体参数化模型中，得到重建的三维人体姿态。

9.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-7中任一所述的方法。

10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的方法。

Images