CN109816784B - 三维重构人体的方法和系统及介质 - Google Patents

Abstract

本发明属于计算机技术领域内的用于三维重构人体的方法，包括步骤一：交互分部位拍摄；步骤二：构造初始人体身形，即粗模；步骤三：建立第一点云坐标矩阵；步骤四：特写部位的特征点坐标提取；步骤五：建立第二点云坐标矩阵；步骤六：平滑拟合修复，转存成3D模型文件格式的文件；步骤七：根据3D模型文件格式的文件，完成三维重塑。本发明通过一组不同视距距离的连续拍摄，部分覆盖拍摄表面的普通照片集，补充到局部特写照片,即可快速构造出拍摄目标人体的高精度三维人体模型。

Description

三维重构人体的方法和系统及介质

技术领域

本发明涉及属于计算机技术领域，具体的，涉及一种三维重构高精度人体的方法。

背景技术

人体三维重构在诸多领域都有重要的应用，但因业务差异对不同部位的精度要求会不同，对应局部精细度也有不同诉求，但重构速度对用户体验也很重要，如何加速重构出在尺寸精度苛刻且因个体差异而多变的部位，确保整体计算高效快速建模，并根据业务和个体体征的需要，灵活提升任意身体部位的精细度。

目前市面上主要有三种方法，(一)通过高精度激光器一次扫描，再基于激光扫描的空间信息重新构造曲面，由多台同时扫描或单台多次变角度扫描缝合成像面；(二)通过全局的超高像素的采集设备获得整幅区域的图像信息，上传到云端超算加速建模；(三)通过辅助标定或人为干预提升局部精细度。这三种各有优点，但在人体尺寸测绘上，在半分钟内的可接受扫描时间内，且在拍摄距离最佳的1米距离，第一种的特有光学元件造价高，精度的稳定性需通过定期人工干预调教，固定安装后单次扫描速度最快，但易受到外部环境光和物体反射干扰，需要不定期校准设备和水平，且全局精度均匀固定对部分精度要求弱的依然提供高精度点云，从而影响后续计算效率；第二种的三维信息提取时间久，云端计算对算力单位成本压力过大，并且并不能解决计算任务挤兑运维瓶颈，且曲面精度难提升，对信息传送到云端的安全性和连续性有较高要求；第三种依赖专有红外特性，在现有红外传感器可靠视距范围内，拍摄物体深度信息的精度提升受硬件制约，对环境光照和拍摄目标上的色彩依存度大，需要不定期校准设备和水平。

以上看出，实际生产环节中，迫切需要一种不依赖特种激光，雷达，红外的普通图像采集设备的软件技术并且不依赖云端强大服务器加速算力，它能通过单一的二维图像采集设备，通过对相同目标对象拍摄多张不同角度和不同部位特写的二维照片，即可快速构造出该三维目标对象，并满足局部曲面上的5毫米左右的精度。

经对现有技术的检索，中国发明专利CN201710163711.4，发明名称为一种基于深度学习的人脸三维重建和人脸替换的视频编辑系统及方法，由深度学习模块、三维重建模块、视频预处理模块、二维图片生成模块、视频编辑模块构成；深度学习模块通过训练卷积神经网络，得到生成三维模型的必要参数；三维重建模块根据输入的人脸照片/视频得到对应的三维模型；视频预处理模块对目标视频进行处理进而得到每一帧所对应的人脸特征点及表情参数；二维图片生成模块将目标人脸的三维模型生成每一帧相对应的二维人脸图片；视频编辑模块将新的人脸替换到目标视频上，并平滑处理和光照条件调整。此专利描述的通过深度学习来获得面部表皮数据，做面部替换和识别相关的后续业务。但未能提取的整个人体表面特征信息结合深度学习，用来构造人体表面的粗模型，并把粗模型作为参考数据集做修正表面的过程。

发明内容

针对现有技术的缺陷，本发明的目的是提供一种三维重构人体的方法，其特征在于，包括如下步骤：

步骤一：交互分部位拍摄：根据提示拍摄目标人体的设定角度和设定身体部位特写照片，得到拍摄图片；

步骤二：构造初始人体身形：用深度学习训练出的模型，结合步骤一中得到的拍摄图片的特征值构造出初始人体身形，称为粗模；

步骤三：建立第一点云坐标矩阵：将深度学习构造出的粗模转换成点云结构并作为基础点云，所述基础点云所在的坐标系作为第一点云坐标矩阵；

步骤四：特写部位的特征点坐标提取：进行局部特写拍照，提取特写图片中特征点信息，获得一份或多份局部特写的曲面点云信息，所述曲面点云与基础点云在同一坐标系中；

步骤五：建立第二点云坐标矩阵：依次通过多个点云曲面叠加、点云混合缝合、点云拟合，建立第二点云坐标矩阵；

步骤六：平滑拟合修复：将拟合后的所述第二点云坐标矩阵中所有的尖峰造型进行平滑处理，转存成3D模型文件；

步骤七：根据3D模型文件，完成三维重塑。

优选的，所述步骤一中交互分部位拍摄的具体过程为在智能终端上输入目标对象体征信息，开始弹出拍摄提示，模拟一个立体模型作为模拟人体，按步骤跟着模拟人体不同角度、位置的高亮提醒进行真实目标局部拍摄，全过程跟随提示步骤完成。

优选的，所述交互分部位拍摄的每一张图片都进行分析，评定拍摄内容是否符合要求，如不符合要求则给出更详细的指导提醒。

优选的，所述交互分部位拍摄的图片为：2张，分别为正面1张，侧面1张；

或者3张，分别为正面1张，侧面1张，在背部需要时提供背部照片1张。

优选的，所述步骤五中的点云曲面叠加为多个点云曲面都放在相同的空间坐标系中，每个点云曲面具有独立的子矩阵。

优选的，所述步骤五中的点云混合缝合是将特写图片特征点云之间的点云曲面，在接缝处计算出缝合位置新坐标，并且特写图片点云与基础点云间的覆盖处采用特征点云空间坐标进行替换。

优选的，所述步骤五中的点云拟合是将所有特写图片部位特征点云的坐标依次融入第一基础点云矩阵中，形成第二基础点云坐标矩阵。

优选的，所述步骤四中如超过两张以上的特写区域重叠，则按照FIFO队列的方式丢弃时间上最早的一张特写照片。

一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现所述三维重构人体的方法的步骤。

一种三维重构人体的系统，包括粗模构建模块、特写部位特征点坐标提取模块以及3D模型生成模块；

所述粗模构建模块通过交互分部位拍摄获得图片，利用深度学习训练出的模型结合拍摄图片的特征值构造出初始人体身形，成为粗模；

所述特写部位特征点坐标提取模块通过将所述粗模转换成点云结构并作为基础点云，同时进行局部特写拍照，提取特写图片中特征点信息，进而获得一份或多份局部特写的曲面点云信息，所述曲面点云与所述基础点云在同一坐标系中；

所述3D模型生成模块将同一坐标系中的曲面点云与基础点云依次通过多个点云曲面叠加、点云混合缝合、点云拟合、平滑拟合修复转存成3D模型文件，完成三维重塑。

与现有技术相比，本发明具有如下的有益效果：

1、通过一组不同视距的连续拍摄，部分覆盖拍摄表面的普通照片集，补充到局部特写照片,即可快速构造出拍摄目标人体的高精度三维人体模型，且模型上各部分的尺寸1：1等比大小。

2、如果是拍摄局部目标人体表面的部分视频，则视频中的移动速度在不影响每帧画中的图像清晰度的情况下按照视频由图片组成的原则，将视频先拆分成多张满足要求照片集，用同样的方法构建等比例高精度三维人体模型。

3、在拍摄几张全身目标人体的表面普通照片集，能准确重构出全身的三维人体模型，精度满足平均精度，对局部有高精度毫米级要求的，才需要补充新局部特写照片，并且时间上不需要连续补充。

4、人在站立时会有轻微的晃动，整个交互式拍摄过程很短，并且对人体晃动不敏感，可靠剔除移动和晃动对尺寸建模还原的干扰。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是示出流程分块总图；

图2是示出本发明交互连续拍摄深度学习构造粗模；

图3是示出本发明局部特写的点云曲面--腋下；

图4是示出本发明两步协作修改基础粗模点云；

图5是示出本发明点云集的分步拟合成像。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

实施例1

下面结合附图，对本发明实施例中的技术方案进行详细的描述。

参照图1-5所示，本发明涉及一种三维重构人体的方法，包括如下步骤：

步骤一：交互分部位拍摄：根据提示拍摄目标人体的设定角度和设定身体部位特写照片，得到拍摄图片；

步骤二：构造初始人体身形：用深度学习已训练出的模型，结合步骤一中得到的拍摄图片的特征值构造出初始人体身形，称为粗模，即提取照片中的特征像素在图片中的相对位置，根据深度学习快速拟合出合适尺寸的三维初始人体身形，该初始人体身形整体尺寸和轮廓达到厘米级精度，但多数细节精度不高，点云比较原始和稀疏；

所谓深度学习训练出的模型为人体身形的三维点云坐标向量空间转换构造矩阵，该矩阵是基于部分人体拍照特征信息快速构建人体三维模的准则，也称为模型。

步骤三：建立第一点云坐标矩阵：将深度学习构造出的粗模转换成点云结构并作为基础点云，所述基础点云所在的坐标系作为第一点云坐标矩阵；

步骤四：特写部位的特征点坐标提取：进行局部特写拍照，提取特写图片中特征点信息，获得一份或多份局部特写的曲面点云信息，所述曲面点云与基础点云在同一坐标系中；

步骤五：建立第二点云坐标矩阵：依次通过多个点云曲面叠加、点云混合缝合、点云拟合，建立第二点云坐标矩阵；

步骤六：平滑拟合修复：将拟合后所述第二点云坐标矩阵中所有的尖峰造型平滑后，转存成OBJ格式；

步骤七：根据生成的OBJ文件即3D模型，快速完成三维重塑。

具体的，所述步骤一中交互分部位拍摄的具体过程为在智能终端上输入目标对象体征信息，开始弹出拍摄提示，模拟一个近似的立体模型，按步骤跟着模拟人体不同角度、位置的高亮提醒一步步地进行真实目标局部拍摄，全过程跟随提示步骤完成。

具体的，拍摄的每一张图片都进行分析，评定拍摄内容是否符合要求，如不符合要求则给出更详细的指导提醒。

具体的，所述交互分部位拍摄的图片为2-3张，2张图片时，分别为正面1张、侧面1张；3张照片时，分别为正面1张、侧面1张、背部照片1张。

具体的，所述步骤五中的点云曲面叠加为多个点云曲面都放在相同的空间坐标系中，每个点云曲面具有独立的子矩阵。

具体的，所述步骤五中的点云混合缝合是将特写图片特征点云之间的点云曲面，在接缝处采用欧式距离最小二乘法计算出缝合位置新坐标，并且特写图片点云与基础点云间的覆盖处采用特征点云空间坐标进行替换。

具体的，所述步骤五中的点云拟合是将所有特写图片部位特征点云的坐标依次融入第一基础点云矩阵中，形成第二基础点云坐标矩阵。

具体的，所述步骤四中如超过两张以上的特写区域重叠，则按照FIFO队列的方式丢弃时间上最早的一张特写照片。

具体的，用补充拍照获得的局部照片，通过获取特征像素的空间相对位置进行修正深度学习拟合的三维人形模型，基于新增特征相同空间坐标的点云修正全身尺寸，达到局部精度提升效果，构建精准匹配的全身三维模型。

具体原理陈述如下：

起初拍摄的2-3张照片用于作为初始输入参数，将人体外型从环境中扣取出来，得到近似的神经网络依赖性输入，构建最相似的初始体型粗线条人体模型。起初拍照的2-3张图片分别要求是正面1张，侧面1张，如背部需要时则供背部照片1张。满足以上输入参数和照片后，会得到基础模型和对应的基础坐标系，作为后续的所有转换矩阵的目标向量空间坐标系，后续补充的一片片曲面点云信息，均需对应的转换到该空间坐标系中。

补充局部特写照片并采集提取照片中的特征点信息，计算这些特征点之间的相对坐标关系。因目标人体的相同致使任何局部的绝对坐标一定会出现在先前构造的初始人体身形的空间坐标系和第一点云矩阵中，其区别或是先前在一个相对曲面面积下的点云信息没有新增空间面积的点云信息多，或是点云信息数量差别小但三维坐标信息有区别，根据拟合的局部拍照数量提升拟合权重的优先级，以特写的特征点坐标为主要的调整变量，局部修正初始人体身形，即粗模，再将修正后的模型进行多个重叠曲面拟合光滑处理，最后的效果是局部精度比较高，可达毫米级，局部的建模非常高，多数部位的建模精度为厘米级。

在得到全角度粗模型后的第一点云矩阵后，之后有覆盖到某一部位曲面的特写照片生成的特征点曲面，则进入合并和拟合，人体绝大多数部位(超过50％以上的区域)无需被特写提升精度处理，特写曲面需要先转到与第一点云矩阵相同的坐标系后，再进行对比和合并，合并特写曲面和扩展基础点云遵循以下加权转换表格，生成第二点云坐标矩阵。

超过两张以上的特写区域重叠，理论本专利不需要，但由于光线，清晰程度，后期更新的需要可能会拍摄超过两张局部特写照，按照FIFO队列的方式丢弃时间上最早的一张特写照片。

下面通过优选例对本发明进行更为详细的说明。

步骤一，打开智能终端程序，按照界面提示的目标人体输入信息，根据拍摄角度和部位要求，拍摄两张水平90度的目标对象人体照片；

步骤二，按照提示要求转换角度和距离，依次拍摄目标对象人体的不连续、不重叠的多个半遮挡面的照片，如有提示拍摄照片不达标，则重新拍摄；如拍摄过程中断，则在目标人体、着装和拍摄背景大环境没变的情况下可继续补充拍摄，否则提示重新拍摄步骤二的补充照片集，确保图片的相对三维空间坐标转换偏差少；

步骤三，智能终端程序会根据用户局部精度的要求，由用户主动补充特写部位照片，智能终端程序会提取特写部位照片的特征信息，并转换特征信息像素坐标，算出之间相对坐标；

步骤四，特征点像素的相对空间坐标点用来修正步骤一建立的初始人体粗模型，修正局部曲面，精度高的特写曲面将修正出高精度三维人体模型，非均匀的三维的点云信息则按OBJ格式，规范存储在文件系统中。

综上所述，本发明通过一组不同视距距离的连续拍摄，部分覆盖拍摄表面的普通照片集，补充到局部特写照片,即可快速构造出拍摄目标人体的高精度三维人体模型，且模型上各部分的尺寸1：1等比大小；如拍摄局部目标人体表面的部分是视频，视频中移动速度应不影响每帧画中的图像清晰度，则按照视频由图片组成的原则，将视频先拆分成多张满足标准要求照片集，即可用同样的方法构建等比例高精度三维人体模型；拍摄几张全身目标人体的表面普通照片集，能准确重构出全身的三维人体模型，精度满足平均精度，对局部有高精度毫米级要求的，才需要补充新局部特写照片，并且时间上不需要连续补充；人在站立时会有轻微的晃动，整个交互式拍摄过程很短，并且对人体晃动不敏感，可靠剔除移动和晃动对尺寸建模还原的干扰。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述设定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种三维重构人体的方法，其特征在于，包括如下步骤：

步骤一：交互分部位拍摄：根据提示拍摄目标人体的设定角度和设定身体部位特写照片，得到拍摄图片；

步骤二：构造初始人体身形：用深度学习训练出的模型，结合步骤一中得到的拍摄图片的特征值构造出初始人体身形，称为粗模；

步骤三：建立第一点云坐标矩阵：将深度学习构造出的粗模转换成点云结构并作为基础点云，所述基础点云所在的坐标系作为第一点云坐标矩阵；

步骤四：特写部位的特征点坐标提取：进行局部特写拍照，提取特写图片中特征点信息，获得一份或多份局部特写的曲面点云信息，所述曲面点云与基础点云在同一坐标系中；

步骤五：建立第二点云坐标矩阵：依次通过多个点云曲面叠加、点云混合缝合、点云拟合，建立第二点云坐标矩阵；

步骤六：平滑拟合修复：将拟合后的所述第二点云坐标矩阵中所有的尖峰造型进行平滑处理，转存成3D模型文件；

步骤七：根据3D模型文件，完成三维重塑；

所述点云混合缝合是将特写图片特征点云之间的点云曲面，在接缝处采用欧式距离最小二乘法计算出缝合位置新坐标，并且特写图片点云与基础点云间的覆盖处采用特征点云空间坐标进行替换。

2.根据权利要求1所述的三维重构人体的方法，其特征是，所述步骤一中交互分部位拍摄的具体过程为在智能终端上输入目标对象体征信息，开始弹出拍摄提示，模拟一个立体模型作为模拟人体，按步骤跟着模拟人体不同角度、位置的高亮提醒进行真实目标局部拍摄，全程跟随提示步骤完成。

3.根据权利要求2所述的三维重构人体的方法，其特征是，所述交互分部位拍摄的每一张图片都进行分析，评定拍摄内容是否符合要求，如不符合要求则给出更详细的指导提醒。

4.根据权利要求2所述的三维重构人体的方法，其特征是，所述交互分部位拍摄的图片为：

2张，分别为正面1张，侧面1张；或者

3张，分别为正面1张，侧面1张，在背部需要时提供背部照片1张。

5.根据权利要求1所述的三维重构人体的方法，其特征是，所述步骤五中的点云曲面叠加为多个点云曲面放在相同的空间坐标系中，每个点云曲面具有独立的子矩阵。

6.根据权利要求5所述的三维重构人体的方法，其特征是，所述步骤五中的点云混合缝合是将特写图片特征点云之间的点云曲面，在接缝处计算出缝合位置新坐标，并且特写图片点云与基础点云间的覆盖处采用特征点云空间坐标进行替换。

7.根据权利要求5所述的三维重构人体的方法，其特征是，所述步骤五中的点云拟合是将所有特写图片部位特征点云的坐标依次融入第一基础点云矩阵中，形成第二基础点云坐标矩阵。

8.根据权利要求1所述的三维重构人体的方法，其特征是，所述步骤四中如超过两张以上的特写区域重叠，则按照FIFO队列的方式丢弃时间上最早的一张特写照片。

9.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。

10.一种三维重构人体的系统，其特征在于，包括粗模构建模块、特写部位特征点坐标提取模块以及3D模型生成模块；

所述粗模构建模块通过交互分部位拍摄获得图片，利用深度学习训练出的模型结合拍摄图片的特征值构造出初始人体身形，称为粗模；

所述特写部位特征点坐标提取模块通过将所述粗模转换成点云结构并作为基础点云，同时进行局部特写拍照，提取特写图片中特征点信息，进而获得一份或多份局部特写的曲面点云信息，所述曲面点云与所述基础点云在同一坐标系中；

所述3D模型生成模块将同一坐标系中的曲面点云与基础点云依次通过多个点云曲面叠加、点云混合缝合、点云拟合、平滑拟合修复转存成3D模型文件，完成三维重塑；

所述点云混合缝合是将特写图片特征点云之间的点云曲面，在接缝处采用欧式距离最小二乘法计算出缝合位置新坐标，并且特写图片点云与基础点云间的覆盖处采用特征点云空间坐标进行替换。

Images