CN116091704B - 一种远程人体三维图像重构方法 - Google Patents

Abstract

本发明公开一种远程人体三维图像重构方法，在发送端获取本地的高分辨率二维图像，对获取的高分辨率二维图像进行压缩处理和特征提取，并传输至接收端；在接收端使用图像特征信息检测人体关键点；S7：通过人体关键点重构人体三维图像；使用图像特征信息和压缩后的二维图像生成人脸三维图像；将所述人脸三维图像贴图到重构的人体三维图像中，并与背景图片一起生成最后的输出图像。本发明通过在发送端进行数据压缩和特征提取，将图像数据进行压缩得到高压缩比的数据，从而减少网络带宽和时延，可以大幅降低对网络传输质量的依赖，降低通讯成本，在接收端使用神经网络重构人体三维图像，实现良好的裸眼三维效果，提升视频通话的用户体验。

Description

一种远程人体三维图像重构方法

技术领域

本发明涉及信息技术领域和通信领域，更具体地，涉及一种远程人体三维图像重构方法。

背景技术

三维全息投影是一种交互技术，技术原理与我国自古流传的海市蜃楼原理吻合，图像投射需要用到介质，介质可以是诺利德成像膜，水雾等；水雾介质方面，因为水分子震动不均衡，由此投射出具有层次和立体感的影像。

随着计算机技术的发展，通过信息技术领域AI（人工智能）的图像识别和机器学习，可实现将本地获取的图像数据进行数字编码和还原，从而实现远程的三维影像同步投射，这一技术使用于远程视频通讯中时，可以使得通讯具有裸眼三维效果功能，有望实现全息网络视频通话。

但该技术需要依赖良好的通信环境以及优异的三维重构模型，在通信环境不好的情况下，本地获取的高清图像数据无法实时的进行传输，影响接收端的三维重构速度，而三维重构模型直接关乎裸眼三维效果的优劣。

现有技术中公开一种单幅图像的人体三维姿态重构方法，包括以下步骤：步骤一，建立人体的标准三维骨架模型；步骤二，在人体图像中生成人体关节点及肢体端点的位置；步骤三，估计弱透视投影的比例参数，比例参数是图像中的人体相邻关节点间的距离与标准三维骨架模型中对应的肢体长度比例的最大值，按照所估计出的弱透视投影比例参数将标准三维骨架放大；步骤四，保持骨架的肢体长度不变，从根节点开始，依次调节标准三维骨架中的人体节点的位置，实现标准三维骨架中的所有节点皆与图像中相应的标记点基本的初步对齐；步骤五，采用优化算法进行人体姿态优化，使标准三维骨架的所有节点在人体图像上的弱透视投影与相应的图像标记点位置之差的总合为最小。该方法实现单幅图像的三维姿态重构，但是在视频通话中，接收的是源源不断的数据流，该方法无法应用于实时视频通讯中。

发明内容

本发明提供一种远程人体三维图像重构方法，大幅降低对网络传输质量的依赖，提升视频通话的用户体验，降低通讯成本，同时还实现了良好的三维重构效果。

为解决上述技术问题，本发明的技术方案如下：

一种远程人体三维图像重构方法，将发送端的包括人体的二维图像远程传输至接收端并重构成三维图像，其中：

发送端包括以下步骤：

S1：实时获取本地的高分辨率二维图像，所述高分辨率二维图像包括背景和人体；

S2：对获取的高分辨率二维图像进行压缩处理和特征提取，得到压缩后的二维图像和图像特征信息；

S3：将所述压缩后的二维图像和图像特征信息传输至接收端；

接收端包括以下步骤：

S4：接收压缩后的二维图像和图像特征信息；

S5：通过压缩后的二维图像中的背景呈现背景图片；

S6：使用图像特征信息，通过人体关键点检测神经网络检测人体关键点；

S7：通过人体关键点重构人体三维图像；

S8：使用图像特征信息和压缩后的二维图像，通过人脸三维图像生成网络生成人脸三维图像；

S9：将所述人脸三维图像贴图到重构的人体三维图像中，并与背景图片一起生成最后的输出图像。

把特征值信息和压缩后的图片通过网络发到接收端，这样发的数据远远小于原图数据，可以极大的降低带宽占用。

优选地，步骤S2中对获取的高分辨率二维图像进行两次压缩处理，得到中分辨率的二维图像和低分辨率的二维图像，其中，中分辨率的二维图像用于进行特征提取，低分辨率的二维图像为压缩后的二维图像。

优选地，步骤S2中对获取的高分辨率二维图像进行压缩处理，得到压缩后的二维图像，具体为：

设高分辨率二维图像的图像分辨率为

，压缩后的二维图像的图像分辨率为

，n小于N，m小于M，压缩后的二维图像的坐标为（i，j）的像素点，其在高分辨率二维图像的对应坐标为/>

，通过距离高分辨率二维图像中坐标/>

最近的四个像素点的像素值，使用双线性插值法计算压缩后的二维图像的坐标为（i，j）的像素点的像素值：

令四个最近的像素点坐标为：左下角

，左上角/>

，右下角

，右上角/>

，则压缩编码后的二维图像的坐标为（i，j）的像素点的像素值f(i,j)为：

式中，w1、w2、w3、w4为权重，p1、p2、p3、p4分别为像素点p1、p2、p3、p4的像素值。

优选地，步骤S2中进行特征提取，得到图像特征信息，具体为：

将所述中分辨率的二维图像依次经两层卷积层、一层最大池化层、两层卷积层、一层最大池化层、两层卷积层、一层最大池化层、两层卷积层、一层最大池化层、两层卷积层、一层最大池化层、两层全连接层后，得到特征向量作为图像特征信息。

优选地，步骤S6中人体关键点检测神经网络具体结构为：

所述人体关键点检测神经网络包括依次连接的两个网络节点stage，损失函数为均方误差MSE；

每一个所述网络节点stage均包括依次连接的八个网络节点C；

每一个所述网络节点C均包括依次连接的三层卷积层和联合层，其中，第二层卷积层的输出还连接到联合层，联合层的输出还连接到第一层卷积层。

优选地，所述人体关键点包括人体关键的十八个点，包括嘴巴、下巴、左肩、左手肘、左手腕、右肩、右手肘、右手腕、左臂、左膝、左脚踝、右臂、右膝、右脚踝、左眼、右眼、左耳和右耳。

优选地，步骤S7中通过人体关键点重构人体三维图像，具体为：

在接收端预存储有人体三维模型，通过人体关键点位置重构人体三维图像。

优选地，步骤S8中人脸三维图像生成网络具体结构为：所述图像特征信息经Normalize处理后，依次经过八层全连接层后输出；

所述压缩后的二维图像依次经一层卷积层、一层激活层、一层卷积层、一层激活层、一层卷积层、一层全连接层后输出；

将图像特征信息处理后的输出与压缩后的二维图像处理后的输出一起输入至一联合层中，联合层的输出分别输出至四个网络节点L中，四个网络节点L的输出均输出至一层全连接层后，生成人脸三维图像；

所述网络节点L包括依次连接的卷积层、上采样层、激活层和下采样层。

优选地，接收端还使用所述图像特征信息，利用人体属性识别网络进行人体属性识别，所述人体属性包括性别、头发颜色、是否带眼镜、上半身衣服颜色、下半身衣服颜色、是否戴帽子、是否戴口罩、是否背包、年龄阶段、是否带笑容和是否张嘴。

优选地，所述人体属性识别网络具体结构为：

所述图像特征信息依次经一层全连接层、一层激活层、一层全连接层和一层分类层，得到人体属性。

与现有技术相比，本发明技术方案的有益效果是：

本发明使得在进行远程视频通讯时，具有裸眼三维效果功能，有望实现全息网络视频通话，让远方亲友仿佛近在眼前。使用本发明，本发明通过在发送端进行数据压缩和特征提取，将图像数据进行压缩得到高压缩比的数据，从而减少网络带宽和时延，可以大幅降低对网络传输质量的依赖，降低通讯成本。本发明在接收端使用神经网络重构人体三维图像，实现良好的裸眼三维效果，提升视频通话的用户体验。

附图说明

图1为本发明的方法流程示意图。

图2为实施例提供的双线性插值示意图。

图3为实施例提供的特征提取的网络结构示意图。

图4为实施例提供的人体关键点检测神经网络结构示意图。

图5为实施例提供的人体关键点示意图。

图6为实施例提供的人脸三维图像生成网络结构示意图。

图7为实施例提供的人体属性识别网络结构示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

一种远程人体三维图像重构方法，将发送端的包括人体的二维图像远程传输至接收端并重构成三维图像，如图1所示：

发送端包括以下步骤：

S1：实时获取本地的高分辨率二维图像，所述高分辨率二维图像包括背景和人体；

S2：对获取的高分辨率二维图像进行压缩处理和特征提取，得到压缩后的二维图像和图像特征信息；

S3：将所述压缩后的二维图像和图像特征信息传输至接收端；

接收端包括以下步骤：

S4：接收压缩后的二维图像和图像特征信息；

S5：通过压缩后的二维图像中的背景呈现背景图片；

S6：使用图像特征信息，通过人体关键点检测神经网络检测人体关键点；

S7：通过人体关键点重构人体三维图像；

S8：使用图像特征信息和压缩后的二维图像，通过人脸三维图像生成网络生成人脸三维图像；

S9：将所述人脸三维图像贴图到重构的人体三维图像中，并与背景图片一起生成最后的输出图像。

实施例2

本实施例在实施例1的基础上，继续公开以下内容：

步骤S2中对获取的高分辨率二维图像进行两次压缩处理，得到中分辨率的二维图像和低分辨率的二维图像，其中，中分辨率的二维图像用于进行特征提取，低分辨率的二维图像为压缩后的二维图像。

本实施例中，高分辨率二维图像为

像素，中分辨率的二维图像为

像素，低分辨率的二维图像为/>

像素。

步骤S2中对获取的高分辨率二维图像进行压缩处理，得到压缩后的二维图像，具体为：

设高分辨率二维图像的图像分辨率为

，压缩后的二维图像的图像分辨率为/>

，n小于N，m小于M，压缩后的二维图像的坐标为（i，j）的像素点，其在高分辨率二维图像的对应坐标为/>

，通过距离高分辨率二维图像中坐标/>

最近的四个像素点的像素值，使用双线性插值法计算压缩后的二维图像的坐标为（i，j）的像素点的像素值：

如图2所示，令四个最近的像素点坐标为：左下角

，左上角/>

，右下角/>

，右上角/>

，则压缩编码后的二维图像的坐标为（i，j）的像素点的像素值f(i,j)为：

式中，w1、w2、w3、w4为权重，p1、p2、p3、p4分别为像素点p1、p2、p3、p4的像素值。

步骤S2中进行特征提取，得到图像特征信息，为了提高性能，把压缩后的

像素的图片数据作为输入源，通过神经网络后生成1024维的特征向量，如图3所示，具体为：

将所述中分辨率的二维图像依次经两层卷积层、一层最大池化层、两层卷积层、一层最大池化层、两层卷积层、一层最大池化层、两层卷积层、一层最大池化层、两层卷积层、一层最大池化层、两层全连接层（Dense层）后，得到特征向量作为图像特征信息。

把特征值信息和压缩后像素为

的图片通过网络发到乙方。这样发送的数据远远小于原图数据，可以极大的降低带宽占用。

实施例3

本实施例在实施例1和实施例2的基础上，继续公开以下内容：

乙方的三维投射网关，通过网络连接，获取发送方传递过来的信号，还原成1024特征向量和

像素的图片。

步骤S6中人体关键点检测神经网络具体结构如图4所示，：

所述人体关键点检测神经网络包括依次连接的两个网络节点stage，损失函数为均方误差MSE；

每一个所述网络节点stage均包括依次连接的八个网络节点C；

每一个所述网络节点C均包括依次连接的三层卷积层和联合层（concatenate层），其中，第二层卷积层的输出还连接到联合层（concatenate层），联合层（concatenate层）的输出还连接到第一层卷积层。

所述人体关键点如图5所示，包括人体关键的十八个点，图中，0为嘴巴，1为下巴，2为左肩，3为左手肘，4为左手腕，5为右肩，6为右手肘，7为右手腕，8为左臂，9为左膝，10为左脚踝，11为右臂，12为右膝，13为右脚踝，14为左眼，15为右眼，16为左耳，17为右耳。

步骤S7中通过人体关键点重构人体三维图像，具体为：

在接收端预存储有人体三维模型，通过人体关键点位置重构人体三维图像。

步骤S8中人脸三维图像生成网络具体结构如图6所示：所述图像特征信息经Normalize处理后，依次经过八层全连接层（Dense层）后输出；

所述压缩后的二维图像依次经一层卷积层、一层激活层、一层卷积层、一层激活层、一层卷积层、一层全连接层（Dense层）后输出；

将图像特征信息处理后的输出与压缩后的二维图像处理后的输出一起输入至一联合层（concatenate层）中，联合层（concatenate层）的输出分别输出至四个网络节点L中，四个网络节点L的输出均输出至一层全连接层（Dense层）后，生成人脸三维图像；

所述网络节点L包括依次连接的卷积层、上采样层、激活层和下采样层。

实施例4

本实施例在实施例1至3的基础上，继续公开以下内容：

接收端还使用所述图像特征信息，利用人体属性识别网络进行人体属性识别，所述人体属性包括性别、头发颜色、是否带眼镜、上半身衣服颜色、下半身衣服颜色、是否戴帽子、是否戴口罩、是否背包、年龄阶段、是否带笑容和是否张嘴。

所述人体属性识别网络具体结构如图7所示：

所述图像特征信息依次经一层全连接层（Dense层）、一层激活层、一层全连接层（Dense层）和一层分类层（Softmax层），得到人体属性。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (9)

1.一种远程人体三维图像重构方法，其特征在于，将发送端的包括人体的二维图像远程传输至接收端并重构成三维图像，其中：

发送端包括以下步骤：

S1：实时获取本地的高分辨率二维图像，所述高分辨率二维图像包括背景和人体；

S2：对获取的高分辨率二维图像进行压缩处理和特征提取，得到压缩后的二维图像和图像特征信息；

S3：将所述压缩后的二维图像和图像特征信息传输至接收端；

接收端包括以下步骤：

S4：接收压缩后的二维图像和图像特征信息；

S5：通过压缩后的二维图像中的背景呈现背景图片；

S6：使用图像特征信息，通过人体关键点检测神经网络检测人体关键点；

S7：通过人体关键点重构人体三维图像；

S8：使用图像特征信息和压缩后的二维图像，通过人脸三维图像生成网络生成人脸三维图像；

S9：将所述人脸三维图像贴图到重构的人体三维图像中，并与背景图片一起生成最后的输出图像；

步骤S8中人脸三维图像生成网络具体结构为：所述图像特征信息经Normalize处理后，依次经过八层全连接层后输出；

所述压缩后的二维图像依次经一层卷积层、一层激活层、一层卷积层、一层激活层、一层卷积层、一层全连接层后输出；

将图像特征信息处理后的输出与压缩后的二维图像处理后的输出一起输入至一联合层中，联合层的输出分别输出至四个网络节点L中，四个网络节点L的输出均输出至一层全连接层后，生成人脸三维图像；

所述网络节点L包括依次连接的卷积层、上采样层、激活层和下采样层。

2.根据权利要求1所述的远程人体三维图像重构方法，其特征在于，步骤S2中对获取的高分辨率二维图像进行两次压缩处理，得到中分辨率的二维图像和低分辨率的二维图像，其中，中分辨率的二维图像用于进行特征提取，低分辨率的二维图像为压缩后的二维图像。

3.根据权利要求2所述的远程人体三维图像重构方法，其特征在于，步骤S2中对获取的高分辨率二维图像进行压缩处理，得到压缩后的二维图像，具体为：

设高分辨率二维图像的图像分辨率为

，压缩后的二维图像的图像分辨率为/>

，n小于N，m小于M，压缩后的二维图像的坐标为（i，j）的像素点，其在高分辨率二维图像的对应坐标为/>

，通过距离高分辨率二维图像中坐标/>

最近的四个像素点的像素值，使用双线性插值法计算压缩后的二维图像的坐标为（i，j）的像素点的像素值：

令四个最近的像素点坐标为：左下角

，左上角/>

，右下角

，右上角/>

，则压缩编码后的二维图像的坐标为（i，j）的像素点的像素值f(i,j)为：/>

式中，w1、w2、w3、w4为权重，p1、p2、p3、p4分别为像素点p1、p2、p3、p4的像素值。

4.根据权利要求2所述的远程人体三维图像重构方法，其特征在于，步骤S2中进行特征提取，得到图像特征信息，具体为：

将所述中分辨率的二维图像依次经两层卷积层、一层最大池化层、两层卷积层、一层最大池化层、两层卷积层、一层最大池化层、两层卷积层、一层最大池化层、两层卷积层、一层最大池化层、两层全连接层后，得到特征向量作为图像特征信息。

5.根据权利要求1所述的远程人体三维图像重构方法，其特征在于，步骤S6中人体关键点检测神经网络具体结构为：

所述人体关键点检测神经网络包括依次连接的两个网络节点stage，损失函数为均方误差MSE；

每一个所述网络节点stage均包括依次连接的八个网络节点C；

每一个所述网络节点C均包括依次连接的三层卷积层和联合层，其中，第二层卷积层的输出还连接到联合层，联合层的输出还连接到第一层卷积层。

6.根据权利要求1所述的远程人体三维图像重构方法，其特征在于，所述人体关键点包括人体关键的十八个点，包括嘴巴、下巴、左肩、左手肘、左手腕、右肩、右手肘、右手腕、左臂、左膝、左脚踝、右臂、右膝、右脚踝、左眼、右眼、左耳和右耳。

7.根据权利要求1所述的远程人体三维图像重构方法，其特征在于，步骤S7中通过人体关键点重构人体三维图像，具体为：

在接收端预存储有人体三维模型，通过人体关键点位置重构人体三维图像。

8.根据权利要求1至7任一项所述的远程人体三维图像重构方法，其特征在于，接收端还使用所述图像特征信息，利用人体属性识别网络进行人体属性识别，所述人体属性包括性别、头发颜色、是否带眼镜、上半身衣服颜色、下半身衣服颜色、是否戴帽子、是否戴口罩、是否背包、年龄阶段、是否带笑容和是否张嘴。

9.根据权利要求8所述的远程人体三维图像重构方法，其特征在于，所述人体属性识别网络具体结构为：

所述图像特征信息依次经一层全连接层、一层激活层、一层全连接层和一层分类层，得到人体属性。

Images