CN114943812A - 人体参数模型的构建方法、电子设备及计算机存储介质 - Google Patents

人体参数模型的构建方法、电子设备及计算机存储介质 Download PDF

Info

Publication number
CN114943812A
CN114943812A CN202210082344.6A CN202210082344A CN114943812A CN 114943812 A CN114943812 A CN 114943812A CN 202210082344 A CN202210082344 A CN 202210082344A CN 114943812 A CN114943812 A CN 114943812A
Authority
CN
China
Prior art keywords
human body
initial
parameters
human
parameter model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210082344.6A
Other languages
English (en)
Inventor
张智胜
唐剑
徐泽明
梅江元
区志财
洪雯慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Midea Group Co Ltd
Midea Group Shanghai Co Ltd
Original Assignee
Midea Group Co Ltd
Midea Group Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Midea Group Co Ltd, Midea Group Shanghai Co Ltd filed Critical Midea Group Co Ltd
Priority to CN202210082344.6A priority Critical patent/CN114943812A/zh
Publication of CN114943812A publication Critical patent/CN114943812A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

本申请公开了一种人体参数模型的构建方法、电子设备及计算机存储介质、计算机程序产品。该人体参数模型的构建方法包括：获取人体的深度图像信息；基于深度图像信息获得人体点云，以及初始人体参数；根据初始人体参数生成初始人体参数模型，初始人体参数模型包括多个初始网格顶点；针对每个初始网格顶点从人体点云中获取距离最短的人体点，并基于初始网格顶点及人体点云生成点对；调整初始人体参数，以更新初始人体参数模型，得到使得点对的误差信息最小的优化人体参数，并将与优化人体参数对应的初始人体参数模型作为所构建的人体参数模型。通过这种方式，能够提高人体参数模型的构建效率及精度。

Description

人体参数模型的构建方法、电子设备及计算机存储介质
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种人体参数模型的 构建方法、电子设备及计算机存储介质、计算机程序产品。
背景技术
传统的人体三维重建技术，一般很难获取人体完整的三维数据，对 测量的硬件要求较高，价格昂贵。同时重建的数据需要二次处理，才能 运用于人体测量、虚拟展示等应用。
发明内容
本申请提供一种人体参数模型的构建方法、电子设备及计算机存储 介质、计算机程序产品，以提高人体参数模型的构建效率及精准度。
为解决上述技术问题，本申请提出一种人体参数模型的构建方法。 该人体参数模型的构建方法包括：获取人体的深度图像信息；基于深度 图像信息获得人体点云，以及初始人体参数；根据初始人体参数生成初 始人体参数模型，初始人体参数模型包括多个初始网格顶点；针对每个 初始网格顶点从人体点云中获取距离最短的人体点，并基于初始网格顶 点及人体点云生成点对；调整初始人体参数，以更新初始人体参数模型， 得到使得点对的误差信息最小的优化人体参数，并将与优化人体参数对 应的初始人体参数模型作为所构建的人体参数模型。
其中，该人体参数模型的构建方法还包括：以优化人体参数为初始 人体参数，迭代执行：根据初始人体参数生成初始人体参数模型，初始 人体参数模型包括多个初始网格顶点；针对每个初始网格顶点从人体点 云中获取距离最短的人体点，并基于初始网格顶点及人体点云生成点 对；调整初始人体参数，初始人体参数模型相应变化，以得到使得点对的误差信息最小的优化人体参数；直至本次迭代的优化人体参数与上次 迭代的优化人体参数的差值满足预设条件。
其中，上述直至本次迭代的优化人体参数与上次迭代的优化人体参 数的差值满足预设条件，包括：直至本次迭代的优化人体参数与上一次 迭代的优化人体参数的差值小于阈值；或者，直至本次迭代的优化人体 参数与上多次迭代的优化人体参数中，每两个优化人体参数的差值小于 阈值。
其中，在上述针对每个初始网格顶点从人体点云中获取距离最短的 人体点，并基于初始网格顶点及人体点云生成点对之前，包括：计算初 始网格顶点和人体点云之间的旋转平移矩阵；利用旋转平移矩阵对人体 点云进行旋转平移。
其中，上述针对每个初始网格顶点从人体点云中获取距离最短的人 体点，并基于初始网格顶点及人体点云生成点对，包括：计算每个初始 网格顶点的网格法向量，以及人体点云中每个人体点的点云法向量；针 对每个初始网格顶点，从人体点云中获取距离最短的人体点构成初始点 对；计算初始点对中初始网格顶点和对应的人体点之间的距离，及初始 网格顶点的网格法向量和对应的人体点的点云法向量的夹角；从初始点 对中筛选出夹角小于角度阈值，且距离小于距离阈值的人体点与对应的 初始网格顶点构成点对。
其中，点对的误差信息为初始网格顶点与对应的人体点差值的平方 和。
其中，深度图像信息包括彩色图像、深度图像和相机内参；上述基 于深度图像信息获得人体点云，包括：根据彩色图像获得人体掩膜图； 基于人体掩膜图、深度图像和相机内参生成人体点云。
其中，深度图像信息包括彩色图像；基于深度图像信息获得初始人 体参数，包括：根据彩色图像得到人体掩膜图以及人体骨骼关键点；利 用深度学习算法，对彩色图像、人体掩膜图和人体关键点进行求解，得 到初始人体参数。
为解决上述技术问题，本申请提出一种电子设备。该电子设备包括： 相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序数 据，以实现上述人体参数模型的构建方法。
为解决上述技术问题，本申请提出一种计算机存储介质。该计算机 存储介质上存储有程序数据，程序数据能够被执行以实现上述人体参数 模型的构建方法。
为解决上述技术问题，本申请提出一种计算机程序产品。该计算机 程序产品包括计算机程序指令，计算机程序指令使计算机实现实现上述 人体参数模型的构建方法。
本申请人体参数模型的构建方法包括：获取人体的深度图像信息； 基于深度图像信息获得人体点云，以及初始人体参数；根据初始人体参 数生成初始人体参数模型，初始人体参数模型包括多个初始网格顶点； 针对每个初始网格顶点从人体点云中获取距离最短的人体点，并基于初 始网格顶点及所述人体点云生成点对；调整初始人体参数，以更新初始 人体参数模型，得到使得点对的误差信息最小的优化人体参数，并将与 优化人体参数对应的初始人体参数模型作为所构建的人体参数模型。通 过这种方式，本申请基于人体的深度图像信息获取初始人体参数，基于 初始人体参数生成初始人体参数模型，即利用参数化模型对人体进行三 维重建，重建的数据可以直接在各种场景使用，简化了人体参数模型的 构建流程，提高其构建效率；且本申请基于人体深度图像获取人体点云， 对初始人体参数进行调整，使得人体点云与初始网格顶点的点对的误差 信息最小，得到最后最优化人体参数对应的初始人体参数模型作为所构 建的人体参数模型，能够提高人体参数模型构建的精准度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描 述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图 仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出 创造性劳动的前提下，还可以根据这些附图获得其他的附图，其中：
图1是本申请人体参数模型的构建方法一实施例的流程示意图；
图2是图1实施例中步骤S12部分流程的具体流程示意图；
图3是图1实施例中步骤S12另一部分流程的具体流程示意图；
图4是图1实施例中步骤S14的具体流程示意图；
图5是本申请人体参数模型的构建方法一实施例的流程示意图；
图6是本申请人体参数模型的构建方法一实施例的流程示意图；
图7是本申请人体参数模型的构建装置一实施例的结构示意图；
图8是本申请电子设备一实施例的结构示意图；
图9是本申请计算机存储介质一实施例的结果示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案 进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实 施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术 人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本 发明保护的范围。
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、 右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附 图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态 发生改变时，则该方向性指示也相应地随之改变。
另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第 一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对 重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第 二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例 之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够 实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这 种技术方案的结合不存在，也不在本发明要求的保护范围之内。
下面结合实施例对本发明提供的人体参数模型的构建方法、电子设 备及计算机存储介质进行详细描述。
本申请首先提出一种人体参数模型的构建方法，如图1所示，图1 是本申请人体参数模型的构建方法一实施例的流程示意图。本实施例的 人体参数模型的构建方法具体包括以下步骤：
步骤S11：获取人体的深度图像信息。
该深度图像信息包括彩色图像、深度图像和相机内参本实施例可以 利用深度相机，如RGBD摄像头获取人体的深度图像及彩色图像。
例如，可以通过深度相机获取人体正面的彩色图像及深度图像，深 度相机位于人体正前方，人体以某姿态站立，在获取彩色图像和深度图 像时，保持不动，一次拍摄即可。其中人体的姿态可以是A型站姿等。
或者可以通过深度相机获取包括正面在内的多个角度的彩色图像 及深度图像。
深度相机可以集成于人体参数模型的构建装置等电子设备中，提高 数据处理及人体参数模型的构建效率。
深度图像是指将从深度相机到场景(本实施例为用户)中各点的距 离(深度)作为像素值的图像，它直接反映了用户可见表面的几何形状。 深度相机扫描得到的每一帧数据不仅包括了用户可见表面的点的彩色 RGB图像，还包括每个点到深度相机所在的垂直平面的距离值。
在其它实施例中，还可以采用激光雷达等获取用户的深度图像信 息。
步骤S12：基于深度图像信息获得人体点云，以及初始人体参数。
点云数据是指在一个三维坐标系统中的多个点的集合；点云数据除 了具有几何位置以外，有的还有颜色信息。颜色信息通常是通过深度相 机获取的彩色图像，然后将对应位置的像素的颜色信息赋予点云中对应 的点。
可选地，本实施例可以采用如图2所示的方法基于深度图像信息获 取人体点云，本实施例的方法包括步骤S21及步骤S22。
步骤S21：根据彩色图像获得人体掩膜图。
本实施例可以从深度图像信息中获取人体的彩色图像信息，然后利 用Mask R-CNN、DeepLabv3+等深度学习算法重新计算彩色图像信息中的 每个像素的像素值，得到人体掩膜图。
步骤S22：基于人体掩膜图、深度图像和相机内参生成人体点云。
根据相机内参、深度图像和人体掩膜图，生成人体点云。
具体地，人体掩膜图和深度图像都为单通道的图片，且图片大小一 致，人体掩膜图的值只有0和255两种，255表示对应的像素点为人体， 0表示对应的像素点不属于人体。将深度图像中像素值(假设为zc)大 于0，且在人体掩膜图中像素值为255的像素点(假设像素点的坐标为 (u，v))，按照下述公式转化为三维点，这些三维点即为人体点云。
公式如下所示：
xw＝zc*(u-u0)/fx；yw＝zc*(v-v0)/fy；zw＝zc；其中，u0、v0、fx、 fy为深度相机内参；xw、yw及zw为点云里点的三维坐标值；u0，v0 为图像原点相对于光心成像点的纵横偏移量；fx，fy分别为x，y方向的 焦距。
当然，在其它实施例中，还可以采用现有较成熟的算法基于人体的 深度图像信息获取人体点云。
可选地，本实施例可以采用如图3所示的方法基于深度图像信息获 得初始人体参数，本实施例的方法包括步骤S31及步骤S32。
步骤S31：根据彩色图像得到人体掩膜图以及人体骨骼关键点。
本实施例可以从深度图像信息中获取人体的彩色图像信息，然后利 用Mask R-CNN、DeepLabv3+等深度学习算法重新计算彩色图像信息中的 每个像素的像素值，得到人体掩膜图。
可以基于彩色图像信息，然后利用HRNet、OpenPose等深度学习算 法获得人体骨骼关键点。
人体骨骼关键点包括关节、五官等，通过关人体骨骼键点描述人体 骨骼信息。
步骤S32：利用深度学习算法，对彩色图像、人体掩膜图和人体关 键点进行求解，得到初始人体参数。
利用深度学习算法，例如HMR等算法，对彩色图像信息、人体掩膜 图和人体骨骼关键点进行2D-3D映射深度学习，获得人体参数化模型 (例如多人线性蒙皮模型(SkinnedMulti-Person Linear Model，SMPL)) 的初始人体参数，即该初始人体参数，包括初始人体形状和初始人体姿 态参数。
在其它实施例中，还可以采用人物的形状重建和动画(Shape Completion andAnimation of People，SCAPE)等参数化人体模型代替 SMPL。
步骤S13：根据初始人体参数生成初始人体参数模型，初始人体参 数模型包括多个初始网格顶点。
可以利用深度相机进一步基于初始人体参数建立人体参数模型。基 于深度相机的三维重建技术所使用的数据是彩色图像和深度图像，可以 大大降低三维虚拟形象重建的难度。
在其它实施例中，还可以基于深度图像信息给初始人体参数模型渲 染一些其它用户特征，如衣着特征、脸部特征等。
进一步地，初始人体参数模型还可以支持换衣、换脸、卡通化等功 能，能够提高初始人体参数模型的趣味性和社交功能。
初始人体参数模型即人体网格模型，其采用三维网格形式表示人体 几何形状。可以通过初始人体网格顶点，以及初始人体网格顶点按顺序 连接形成的面元来建立初始人体参数模型。
本实施例可以基于深度图像信息，利用SMPL等建立初始人体参数 模型，SMPL是一种常用的参数化方法，SMPL里面有24个关节，姿态 参数分为旋转和平移，每一个关节有三个参数来表示旋转，顶点关节除 了有三个旋转参数，还有三个平移参数，所以姿态参数一共有(24*3+3) 个。形状参数常用的是10个，但公开的形状参数有300个，根据实际 需要，可选择10个形状参数。
SMPL能够基于24个关节的人体模型，输入85个参数，10(形状 参数)+75(姿态参数)，输出6890个人体网格顶点，以及一万多个面， 这些面元就构成了人体网格模型。
由于SMPL等参数化模型生成的人体网格，其三角形连接关系是保 持不变的，即输入不同的形状和姿态参数，参数化模型输出的人体网格， 只改变其中的顶点坐标，三角形连接关系不变。人体网格模型其实是由 很多个空间三角形组成的。三角形连接关系，其实就是那三个点连接成 一个三角形。由于人体网格模型具有统一的拓扑，人体网格顶点数量相 同。
步骤S14：针对每个初始网格顶点从人体点云中获取距离最短的人 体点，并基于初始网格顶点及与人体点云生成点对。
可选地，本实施例可以通过如图4所示的方法实现步骤S14，本实 施例的方法具体包括步骤S41至步骤S44。
步骤S41：计算每个初始网格顶点的网格法向量，以及人体点云中 每个人体点的点云法向量。
分别计算初始人体参数模型中的每个初始网格顶点的网格法向量， 及分别计算人体点云中每个人体点的点云法向量。
具体地，可以计算每个初始网格顶点的法线，基于该法线确定初始 网格顶点的网格法向量；可以计算人体点云里每个人体点的法线，基于 该法线确定点云法向量。
步骤S42：针对每个初始网格顶点，从人体点云中获取距离最短的 人体点构成初始点对。
步骤S43：计算初始点对中初始网格顶点和对应的人体点之间的距 离，及初始网格顶点的网格法向量和对应的人体点的点云法向量的夹 角。
针对每个初始点对，计算其初始网格顶点的网格法向量与对应的点 云法向量的夹角和距离。
步骤S44：从初始点对中筛选出夹角小于角度阈值，且距离小于距 离阈值的人体点与对应的初始网格顶点构成点对。
筛选出两点对应的法向量夹角小于阈值，两点间的距离小于距离阈 值的人体点的初始点对为最终需要的初始网格顶点与人体点构成的点 对。
可以利用领域搜索等算法实现步骤S42及步骤S44。
步骤S15：调整初始人体参数，以更新初始人体参数模型，得到使 得点对的误差信息最小的优化人体参数，并将与优化人体参数对应的初 始人体参数模型作为所构建的人体参数模型。
其中，点对的误差信息为网格顶点与其所对应的人体点差值的平方 和，即网格顶点的三维坐标与人体点的对应的三维坐标之间的差值的平 均和。
初始人体参数模型的形状及姿态会随着其初始人体参数的变化而 变化，可以通过调整初始人体参数来调整初始人体参数模型，初始人体 参数模型变化后，其初始人体参数模型的人体点云会变化，可以对变化 后的人体参数模型的网格顶点配对人体点，构成新的点对，并获取具有 误差信息最小的点对对应的人体参数为最优人体参数，利用最优人体参 数实现最终的人体参数模型。
本实施例基于人体的深度图像信息获取初始人体参数，基于初始人 体参数生成初始人体参数模型，即利用参数化模型对人体进行三维重 建，重建的数据可以直接在各种场景使用，简化了人体参数模型的构建 流程，提高其构建效率；且本实施例基于人体深度图像获取人体点云， 对初始人体参数进行调整，使得人体点云与初始网格顶点的点对的误差 信息最小，以得到最后最优化人体参数，能够提高人体参数模型构建的 精准度
本申请进一步提出另一实施例的人体参数模型的构建方法，如图5 所示，图5是本申请人体参数模型的构建方法一实施例的流程示意图。
本实施例的构建方法具体包括以下步骤：
步骤S51：获取人体的深度图像信息。
步骤S52：基于深度图像信息获得人体点云，以及初始人体参数。
步骤S53：根据初始人体参数生成初始人体参数模型，初始人体参 数模型包括多个初始网格顶点。
步骤S54：针对每个初始网格顶点从人体点云中获取距离最短的人 体点，并基于初始网格顶点及所述人体点云生成点对。
步骤S55：调整初始人体参数，更新初始人体参数模型。
步骤S51至步骤S55的具体实施方式可以参阅上述实施例，这里不 赘述。
迭代执行步骤S53至步骤S55，直至本次迭代的优化人体参数与上 次迭代的优化人体参数的差值满足预设条件。
本实施例通过迭代优化方式获得最优的优化人体参数，即最优人体 形状参数和最优姿态参数。
具体地，可以构建如下误差函数，使用非线性优化，获取使误差函 数最小时的优化人体参数，即优化人体形状参数和优化姿态参数。
Figure BDA0003486500130000101
其中，pi为将上次迭代的优化人体参数代入人体参数模型中，计算 得到的网格顶点，qi为人体点云中的人体点，pi和qi为一个点对。
迭代执行步骤S53至步骤S55，直到直至本次迭代的优化人体参数 与上一次迭代的优化人体参数的差值小于阈值；或者直至本次迭代的优 化人体参数与上多次迭代的优化人体参数中，每两个优化人体参数的差 值小于阈值。
步骤S56：得到使得点对的误差信息最小的优化人体参数，并将与 优化人体参数对应的初始人体参数模型作为所构建的人体参数模型。
利用最后一次迭代后的优化人体参数实现人体参数模型。该阈值可 以根据人体参数模型的精度等参数来设置。
本申请进一步提出另一实施例的人体参数模型的构建方法，如图6 所示，图6是本申请人体参数模型的构建方法一实施例的流程示意图， 本实施例的构建方法具体包括以下步骤：
步骤S61：获取人体的深度图像信息。
步骤S62：基于深度图像信息获得人体点云，以及初始人体参数。
步骤S63：根据初始人体参数生成初始人体参数模型，初始人体参 数模型包括多个初始网格顶点。
步骤S61至步骤S63的具体实施方式可以参阅上述实施例。
步骤S64：计算初始网格顶点和人体点云之间的旋转平移矩阵。
本实施例可以ICP等算法计算初始人体参数模型的初始网格顶点和 人体点云中人体点之间旋转平移矩阵。
步骤S65：利用旋转平移矩阵对人体点云进行旋转平移。
利用旋转平移矩阵将人体点云中的人体点进行旋转平移，使得人体 点和对应的初始网格顶点之间的距离更短。
步骤S66：针对每个初始网格顶点从人体点云中获取距离最短的人 体点，并基于初始网格顶点及所述人体点云生成点对。
步骤S67：调整初始人体参数，以更新初始人体参数模型，得到使 得点对的误差信息最小的优化人体参数，并将与优化人体参数对应的初 始人体参数模型作为所构建的人体参数模型。
步骤S66及步骤S67的具体实施例方式可以参阅上述实施例。
在上述实施例的基础上，本实施例利用初始网格顶点和人体点云之 间的旋转平移矩阵将人体点云进行旋转平移，能够缩短人体点云和初始 网格顶点之间的更短，能够提高人体参数模型的构建效率。
本实施例可以也可以采用上述迭代方式进行改进。
在一个实施例中，如图7所示，提供了一种人体参数模型的构建装 置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算 机设备的一部分，该装置具体包括：信息获取模块111、人体参数模型 确定模块112、计算模块113及调整模块114，其中：人体参数模型确定 模块112分别与信息获取模块111及计算模块113连接，调整模块114 与人体参数模型确定模块112及计算模块113连接；信息获取模块111 用于获取人体的深度图像信息，并基于深度图像信息获得人体点云，以 及初始人体参数；人体参数模型确定模块112用于根据初始人体参数生 成初始人体参数模型，初始人体参数模型包括多个初始网格顶点；计算 模块113用于针对每个初始网格顶点从人体点云中获取距离最短的人体 点，并基于初始网格顶点及所述人体点云生成点对；调整模块114用于 调整初始人体参数，以更新初始人体参数模型，得到使得点对的误差信 息最小的优化人体参数，并将与优化人体参数对应的初始人体参数模型 作为所构建的人体参数模型。
本实施例的人体参数模型的构建装置还用于实现上述人体参数模 型的构建方法。
关于人体参数模型的构建装置的具体限定可以参见上文中对于人 体参数模型的构建方法的限定，在此不再赘述。上述人体参数模型的构 建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上 述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可 以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行 以上各个模块对应的操作。
本申请进一步提出一种电子设备，如图8所示，图8是本申请电子 设备一实施例的结构示意图。本实施例电子设备100包括处理器101、 与处理器101耦接的存储器102、输入输出设备103以及总线104。
该处理器101、存储器102、输入输出设备103分别与总线104相 连，该存储器102中存储有程序数据，处理器101用于执行程序数据以 实现上述人体参数模型的构建方法。
上述实施例中的控制器可以集成在处理器101内。
在本实施例中，处理器101还可以称为CPU(Central Processing Unit， 中央处理单元)。处理器101可能是一种集成电路芯片，具有信号的处 理能力。处理器101还可以是通用处理器、数字信号处理器(DSP)、 专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其它可编程 逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可 以是微处理器或者该处理器101也可以是任何常规的处理器等。
本申请进一步提出一种计算机可读存储介质，如图9所示，本实施 例计算机可读存储介质160用于存储上述实施例的程序数据161，程序 数据161能够被执行以实现上述人体参数模型的构建方法。程序数据161 已在上述方法实施例中进行了详细的叙述，这里不赘述。
本实施例计算机可读存储介质160可以是但不局限于U盘、SD卡、 PD光驱、移动硬盘、大容量软驱、闪存、多媒体记忆卡、服务器等。
区别于现有技术，本申请人体参数模型的构建方法包括：获取人体 的深度图像信息；基于深度图像信息获得人体点云，以及初始人体参数； 根据初始人体参数生成初始人体参数模型，初始人体参数模型包括多个 初始网格顶点；针对每个初始网格顶点从人体点云中获取距离最短的人 体点，并基于初始网格顶点及所述人体点云生成点对；调整初始人体参 数，以更新初始人体参数模型，得到使得点对的误差信息最小的优化人 体参数，并将与优化人体参数对应的初始人体参数模型作为所构建的人 体参数模型。通过这种方式，本申请基于人体的深度图像信息获取初始 人体参数，基于初始人体参数生成初始人体参数模型，即利用参数化模 型对人体进行三维重建，重建的数据可以直接在各种场景使用，简化了 人体参数模型的构建流程，提高其构建效率；且本申请基于人体深度图 像获取人体点云，对初始人体参数进行调整，使得人体点云与初始网格 顶点的点对的误差信息最小，得到最后最优化人体参数对应的初始人体 参数模型作为所构建的人体参数模型，能够提高人体参数模型构建的精 准度。
本申请通过扫描人体的部分数据(一张正面A姿势的RGBD图)， 利用参数化模型对人体进行三维重建，重建的数据可以直接在各种场景 使用，大大简化了人体三维重建的流程，有利于将人体三维重建技术应 用于商业化产品。本申请解决了由于参数化模型参数初始值较差，导致 拟合非常慢的问题，同时还提出了一种迭代求解参数化模型里形状参数和姿态参数的方法，进一步提升了重建的精度。
在一个实施例中，提供了一种计算机程序产品或计算机程序，该计 算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算 机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该 计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各 方法实施例中的步骤。
另外，上述功能如果以软件功能的形式实现并作为独立产品销售或 使用时，可存储在一个移动终端可读取存储介质中，即，本申请还提供 一种存储有程序数据的存储装置，所述程序数据能够被执行以实现上述 实施例的方法，该存储装置可以为如U盘、光盘、服务器等。也就是说， 本申请可以以软件产品的形式体现出来，其包括若干指令用以使得一台 智能终端执行各个实施例所述方法的全部或部分步骤。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指 示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限 定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特 征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个 等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理 解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可 执行指令的代码的机构、片段或部分，并且本申请的优选实施方式的范 围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉 及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申 请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可 以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现 在任何计算机可读介质中，以供指令执行系统、装置或设备(可以是个人 计算机，服务器，网络设备或其他可以从指令执行系统、装置或设备取 指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而 使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、 通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令 执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例 (非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)， 便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置， 以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以 是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对 纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适 方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储 器中。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范 围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变 换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的 专利保护范围内。

Claims (11)

1.一种人体参数模型的构建方法，其特征在于，包括：
获取人体的深度图像信息；
基于所述深度图像信息获得人体点云，以及初始人体参数；
根据所述初始人体参数生成初始人体参数模型，所述初始人体参数模型包括多个初始网格顶点；
针对每个初始网格顶点从人体点云中获取距离最短的人体点，并基于所述初始网格顶点及所述人体点云生成点对；
调整所述初始人体参数，以更新所述初始人体参数模型，得到使得所述点对的误差信息最小的优化人体参数，并将与所述优化人体参数对应的初始人体参数模型作为所构建的人体参数模型。
2.根据权利要求1所述的构建方法，其特征在于，还包括：以所述优化人体参数为所述初始人体参数，迭代执行：
所述根据所述初始人体参数生成初始人体参数模型，所述初始人体参数模型包括多个初始网格顶点；
针对每个初始网格顶点从人体点云中获取距离最短的人体点，并基于所述初始网格顶点及与所述人体点云生成点对；
调整所述初始人体参数，所述初始人体参数模型相应变化，以得到使得所述点对的误差信息最小的优化人体参数；
直至本次迭代的优化人体参数与上次迭代的优化人体参数的差值满足预设条件。
3.根据权利要求2所述的构建方法，其特征在于，所述直至本次迭代的优化人体参数与上次迭代的优化人体参数的差值满足预设条件，包括：
直至本次迭代的优化人体参数与上一次迭代的优化人体参数的差值小于阈值；或者，
直至本次迭代的优化人体参数与上多次迭代的优化人体参数中，每两个优化人体参数的差值小于阈值。
4.根据权利要求1-3中任一项所述的构建方法，其特征在于，在所述针对每个初始网格顶点从人体点云中获取距离最短的人体点，并基于所述初始网格顶点及所述人体点云生成点对之前，包括：
计算所述初始网格顶点和所述人体点云之间的旋转平移矩阵；
利用所述旋转平移矩阵对所述人体点云进行旋转平移。
5.根据权利要求1-3中任一项所述的构建方法，其特征在于，所述针对每个初始网格顶点从人体点云中获取距离最短的人体点，并基于所述初始网格顶点及所述人体点云生成点对，包括：
计算每个初始网格顶点的网格法向量，以及所述人体点云中每个人体点的点云法向量；
针对每个所述初始网格顶点，从所述人体点云中获取距离最短的人体点构成初始点对；
计算所述初始点对中所述初始网格顶点和对应的所述人体点之间的距离，及所述初始网格顶点的所述网格法向量和对应的所述人体点的所述点云法向量的夹角；
从所述初始点对中筛选出所述夹角小于角度阈值，且距离小于距离阈值的所述人体点与对应的所述初始网格顶点构成点对。
6.根据权利要求5所述的构建方法，其特征在于，所述点对的误差信息为所述初始网格顶点与对应的所述人体点差值的平方和。
7.根据权利要求1-3中任一项所述的构建方法，其特征在于，所述深度图像信息包括彩色图像、深度图像和相机内参；所述基于所述深度图像信息获得人体点云，包括：
根据所述彩色图像获得人体掩膜图；
基于所述人体掩膜图、所述深度图像和所述相机内参生成所述人体点云。
8.根据权利要求1-3中任一项所述的构建方法，其特征在于，所述深度图像信息包括彩色图像；基于所述深度图像信息获得所述初始人体参数，包括：
根据所述彩色图像得到人体掩膜图以及人体骨骼关键点；
利用深度学习算法，对所述彩色图像、所述人体掩膜图和所述人体关键点进行求解，得到所述初始人体参数。
9.一种电子设备，其特征在于，包括：相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序数据，以实现权利要求1至8任一项所述的人体参数模型的构建方法。
10.一种计算机存储介质，其特征在于，其上存储有程序数据，所述程序数据能够被执行以实现权利要求1至8任一项所述的人体参数模型的构建方法。
11.一种计算机程序产品，其特征在于，包括计算机程序指令，所述计算机程序指令使计算机实现实现权利要求1至8任一项所述的人体尺寸的测量方法。
CN202210082344.6A 2022-01-24 2022-01-24 人体参数模型的构建方法、电子设备及计算机存储介质 Pending CN114943812A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210082344.6A CN114943812A (zh) 2022-01-24 2022-01-24 人体参数模型的构建方法、电子设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210082344.6A CN114943812A (zh) 2022-01-24 2022-01-24 人体参数模型的构建方法、电子设备及计算机存储介质

Publications (1)

Publication Number Publication Date
CN114943812A true CN114943812A (zh) 2022-08-26

Family

ID=82905788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210082344.6A Pending CN114943812A (zh) 2022-01-24 2022-01-24 人体参数模型的构建方法、电子设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN114943812A (zh)

Similar Documents

Publication Publication Date Title
US6434278B1 (en) Generating three-dimensional models of objects defined by two-dimensional image data
Habbecke et al. Iterative multi-view plane fitting
US10832471B2 (en) Fast T-spline fitting system and method
CN108053437B (zh) 基于体态的三维模型获取方法及装置
CN109191554B (zh) 一种超分辨图像重建方法、装置、终端和存储介质
CN108898665A (zh) 三维人脸重建方法、装置、设备及计算机可读存储介质
CN113610889B (zh) 一种人体三维模型获取方法、装置、智能终端及存储介质
CN115409933B (zh) 多风格纹理贴图生成方法及其装置
CN116310076A (zh) 基于神经辐射场的三维重建方法、装置、设备及存储介质
CN111382618B (zh) 一种人脸图像的光照检测方法、装置、设备和存储介质
CN109979013B (zh) 三维人脸贴图方法及终端设备
CN112651881B (zh) 图像合成方法、装置、设备、存储介质以及程序产品
CN113516781A (zh) 一种三维动态跟踪方法、装置、电子设备和存储介质
CN111640180A (zh) 一种三维重建方法、装置及终端设备
CN115439607A (zh) 一种三维重建方法、装置、电子设备及存储介质
CN114332125A (zh) 点云重建方法、装置、电子设备和存储介质
CN114241151A (zh) 三维模型简化方法、装置、计算机设备和计算机存储介质
CN110738730A (zh) 点云匹配方法、装置、计算机设备和存储介质
CN111881985A (zh) 立体匹配方法、装置、终端和存储介质
CN107958489B (zh) 一种曲面重建方法及装置
CN114782645A (zh) 虚拟数字人制作方法、相关设备及可读存储介质
CN112862736B (zh) 一种基于点的实时三维重建与优化方法
CN110378948B (zh) 3d模型重建方法、装置及电子设备
CN109816765B (zh) 面向动态场景的纹理实时确定方法、装置、设备和介质
JP6806160B2 (ja) ３次元運動評価装置、３次元運動評価方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination