CN110415336B - 高精度人体体态重建方法及系统 - Google Patents

高精度人体体态重建方法及系统 Download PDF

Info

Publication number
CN110415336B
CN110415336B CN201910630399.4A CN201910630399A CN110415336B CN 110415336 B CN110415336 B CN 110415336B CN 201910630399 A CN201910630399 A CN 201910630399A CN 110415336 B CN110415336 B CN 110415336B
Authority
CN
China
Prior art keywords
human body
information
video
dimensional joint
key frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910630399.4A
Other languages
English (en)
Other versions
CN110415336A (zh
Inventor
刘烨斌
赵笑晨
戴琼海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201910630399.4A priority Critical patent/CN110415336B/zh
Publication of CN110415336A publication Critical patent/CN110415336A/zh
Application granted granted Critical
Publication of CN110415336B publication Critical patent/CN110415336B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明公开了一种高精度人体体态重建方法及系统，其中，该方法包括以下步骤：获取人体视频，并选取人体视频的关键帧；搭建深度神经网络获取关键帧的人体轮廓信息和二维关节信息；构造参数化人体模型，利用人体轮廓信息和二维关节信息对参数化人体模型进行约束，获得初始化人体姿态参数；利用二维关节信息和人体轮廓信息优化初始化人体姿态参数，并选取人体视频的全部帧，构造联合约束，再次优化初始化人体姿态参数，利用高斯牛顿公式迭代两次优化过程，直至相邻两次迭代的能量差值小于预设阈值。该方法利用少数几个角度的人体RGB信息，可以更好地重建人体模型，使得重建得到的人体模型更精确地反应真实人体身材。

Description

高精度人体体态重建方法及系统
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种高精度人体体态重建方法及系统。
背景技术
随着计算机视觉领域中的三维重建技术的不断发展，人体的三维重建技术成为了计算机室领域中的一个研究热点。现实生活中，网络上拥有大量的包含人物信息的图片，如何利用这些图片重建出相应的三维人体模型成为一个新兴的研究方向。
目前流行的基于RGB图片的人体重建方法主要分为重建参数化人体模型以及重建基于体素(voxel)表示的人体模型。针对RGB图片重建问题，一般解决方法为先从图片估计二维关节位置，再通过三维关节与二维平面关节投影距离最小来实现优化得到参数，进而得到人体。重建基于体素表示的人体模型，则是通过将空间分割为一个个小立方体，通过立方体是否被物体占用来表示三维模型。
尽管基于RGB图片重建三维人体模型技术已经有了很大的发展，但目前两种流行方法仍各有其问题：重建参数化模型，导致结果对人体表面几何细节的表现能力有限，无法很好地重建出人体表面衣物的细节纹理。基于体素表示的人体模型，则是由于目前显存的限制，最高精度只能达到128*128*128，整体表现较粗糙。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种高精度人体体态重建方法，该方法利用少数几帧RGB图片信息更精确地重建人体三维模型。
本发明的另一个目的在于提出一种高精度人体体态重建系统。
为达到上述目的，本发明一方面提出了高精度人体体态重建方法，包括以下步骤：获取人体视频，并选取所述人体视频的关键帧；搭建深度神经网络获取所述关键帧的人体轮廓信息和二维关节信息；构造参数化人体模型，利用所述人体轮廓信息和所述二维关节信息对所述参数化人体模型进行约束，获得初始化人体姿态参数；利用所述二维关节信息和所述人体轮廓信息优化所述初始化人体姿态参数，并选取所述人体视频的全部帧，构造联合约束，再次优化所述初始化人体姿态参数，利用高斯牛顿公式迭代两次优化过程，直至相邻两次迭代的能量差值小于预设阈值。
本发明实施例的高精度人体体态重建方法，利用人体旋转一周的几个角度二维的彩色RGB图片，以及由其获得的二维关节分布和人体轮廓信息，利用迭代的方法分别优化人体的姿态信息和体态信息，最终得到高精度人体三维模型，可以更好地重建人体模型，使得重建得到的人体模型更精确地反应真实人体身材。
另外，根据本发明上述实施例的高精度人体体态重建方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述人体视频为利用固定位置的RGB相机拍摄人体旋转一周的视频。
进一步地，在本发明的一个实施例中，人体旋转一周的过程需保持相同姿势。
进一步地，在本发明的一个实施例中，所述关键帧需从所述人体视频中均匀选取。
进一步地，在本发明的一个实施例中，所述利用深度神经网络提取所述关键帧的人体轮廓信息和二维关节信息进一步包括：利用深度神经网络对所述关键帧进行分割，得到所述人体轮廓信息；利用深度神经网络提取所述关键帧的二维关节点热力图，得到所述二维关节信息。
为达到上述目的，本发明另一方面提出了一种高精度人体体态重建系统，包括：选取模块，用于获取人体视频，并选取所述人体视频的关键帧；获取模块，用于搭建深度神经网络获取所述关键帧的人体轮廓信息和二维关节信息；约束模块，用于构造参数化人体模型，利用所述人体轮廓信息和所述二维关节信息对所述参数化人体模型进行约束，获得初始化人体姿态参数；优化模块，用于利用所述二维关节信息和所述人体轮廓信息优化所述初始化人体姿态参数，并选取所述人体视频的全部帧，构造联合约束，再次优化所述初始化人体姿态参数，利用高斯牛顿公式迭代两次优化过程，直至相邻两次迭代的能量差值小于预设阈值。
本发明实施例的高精度人体体态重建系统，利用人体旋转一周的几个角度二维的彩色RGB图片，以及由其获得的二维关节分布和人体轮廓信息，利用迭代的方法分别优化人体的姿态信息和体态信息，最终得到高精度人体三维模型，可以更好地重建人体模型，使得重建得到的人体模型更精确地反应真实人体身材。
另外，根据本发明上述实施例的高精度人体体态重建系统还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述人体视频为利用固定位置的RGB相机拍摄人体旋转一周的视频。
进一步地，在本发明的一个实施例中，人体旋转一周的过程中，需保持相同姿势。
进一步地，在本发明的一个实施例中，所述关键帧需从所述人体视频中均匀选取。
进一步地，在本发明的一个实施例中，所述获取模块包括：分割单元，用于搭建深度神经网络对所述关键帧进行分割，得到所述人体轮廓信息；提取单元，用于搭建深度神经网络提取所述关键帧的二维关节点热力图，得到所述二维关节信息。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明一个实施例的高精度人体体态重建方法流程图；
图2是本发明一个实施例的高精度人体体态重建方法的实施流程图；
图3是本发明一个实施例的高精度人体体态重建系统结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的高精度人体体态重建方法及系统，首先将参照附图描述根据本发明实施例提出的高精度人体体态重建方法。
图1是本发明一个实施例的高精度人体体态重建方法流程图。
如图1所示，该高精度人体体态重建方法包括以下步骤：
在步骤S101中，获取人体视频，并选取人体视频的关键帧。
进一步地，在本发明的一个实施例中，人体视频为利用固定位置的RGB相机拍摄人体旋转一周的视频，其中，人体旋转一周的过程需保持相同姿势。
进一步地，在本发明的一个实施例中，关键帧需从人体视频中均匀选取。
也就是说，利用固定位置的RGB相机，拍摄人体保持大致的固定姿势旋转一周的视频，从视频中均匀选取少数关键帧，大约是一周十帧。
在步骤S102中，搭建深度神经网络获取关键帧的人体轮廓信息和二维关节信息。
进一步地，在本发明的一个实施例中，利用深度神经网络提取关键帧的人体轮廓信息和二维关节信息进一步包括：利用深度神经网络对关键帧进行分割，得到人体轮廓信息；利用深度神经网络提取关键帧的二维关节点热力图，得到二维关节信息。
可以理解为，对每一帧的图片搭建深度神经网络分割得到人体前景轮廓，对每一帧的图片搭建深度神经网络获得二维关节检测结果。
在步骤S103中，构造参数化人体模型，利用人体轮廓信息和二维关节信息对参数化人体模型进行约束，获得初始化人体姿态参数。
换言之，构造参数化人体模型，利用二维关节信息和人体姿态先验信息进行约束，获得初始化的参数。
在步骤S104中，利用二维关节信息和人体轮廓信息优化初始化人体姿态参数，并选取人体视频的全部帧，构造联合约束，再次优化初始化人体姿态参数，利用高斯牛顿公式迭代两次优化过程，直至相邻两次迭代的能量差值小于预设阈值。
也就是说，对每一个关键帧，利用二维关节信息和人体轮廓信息去优化人体姿态。然后选取所有关键帧，构造联合约束，优化刚优化过的人体体态信息利用高斯牛顿公式迭代上述两个步，直至相邻两次迭代能量相差收敛至阈值之下。
如图2所示，本发明实施例的具体实施例也可以理解为，过程使用RGB相机拍摄人体旋转一周的视频，即多帧RGB图片，选取关键帧，得到关键帧的人体分割结果和二维关节检测结果，初始优化每帧姿态pose和距离translation：利用2d joints二维关节信息和Apose prior人体轮廓信息等约束，优化每帧姿态pose：利用2d joints和mask作约束，多帧联合优化人体体态shape：利用各项的mask和2d joints作约束，利用高斯牛顿公式进行迭代优化，直至相邻两次迭代能量相差收敛至阈值之下。
下面对高精度人体体态重建的一个实施例进行说明。
步骤一，数据预处理部分。利用已知参数的RGB相机，拍摄人体保持大致相同姿势在相机前旋转一周的视频。从中选取大约15帧，利用深度神经网络提取每一帧的二维关节点热力图，利用深度神经网络提取每一帧的人体前景轮廓信息。选取参数化人体模型，利用二维关节信息和人体姿态先验信息进行约束，获得初始化的SMPL参数。
步骤二，迭代优化部分。对于完成初始化的参数化人体模型，在每一个关键帧利用二维关节信息和人体轮廓信息去优化人体姿态参数，联合所有帧的信息构建约束优化人体体态参数。
根据本发明实施例提出的高精度人体体态重建方法，利用人体旋转一周的几个角度二维的彩色RGB图片，以及由其获得的二维关节分布和人体轮廓信息，利用迭代的方法分别优化人体的姿态信息和体态信息，最终得到高精度人体三维模型，可以更好地重建人体模型，使得重建得到的人体模型更精确地反应真实人体身材。
其次参照附图描述根据本发明实施例提出的高精度人体体态重建系统。
图3是本发明一个实施例的高精度人体体态重建系统结构示意图。
如图3所示，该高精度人体体态重建系统10包括：选取模块100、获取模块200、约束模块300和优化模块400。
其中，选取模块100用于获取人体视频，并选取人体视频的关键帧。获取模块200用于搭建深度神经网络获取关键帧的人体轮廓信息和二维关节信息。约束模块300用于构造参数化人体模型，利用人体轮廓信息和二维关节信息对参数化人体模型进行约束，获得初始化人体姿态参数。优化模块400用于利用二维关节信息和人体轮廓信息优化初始化人体姿态参数，并选取人体视频的全部帧，构造联合约束，再次优化初始化人体姿态参数，利用高斯牛顿公式迭代两次优化过程，直至相邻两次迭代的能量差值小于预设阈值。
进一步地，在本发明的一个实施例中，人体视频为利用固定位置的RGB相机拍摄人体旋转一周的视频，其中，人体旋转一周的过程中，需保持相同姿势。
需要说明的是，前述对高精度人体体态重建方法实施例的解释说明也适用于该系统，此处不再赘述。
根据本发明实施例提出的高精度人体体态重建系统，利用人体旋转一周的几个角度二维的彩色RGB图片，以及由其获得的二维关节分布和人体轮廓信息，利用迭代的方法分别优化人体的姿态信息和体态信息，最终得到高精度人体三维模型，可以更好地重建人体模型，使得重建得到的人体模型更精确地反应真实人体身材。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种高精度人体体态重建方法，其特征在于，包括以下步骤：
获取人体视频，并选取所述人体视频的关键帧，其中，所述关键帧需从所述人体视频中均匀选取；
搭建深度神经网络获取所述关键帧的人体轮廓信息和二维关节信息；
构造参数化人体模型，利用所述人体轮廓信息和所述二维关节信息对所述参数化人体模型进行约束，获得初始化人体姿态参数；
利用所述二维关节信息和所述人体轮廓信息优化所述初始化人体姿态参数，并选取所述人体视频的全部帧，构造联合约束，再次优化所述初始化人体姿态参数，利用高斯牛顿公式迭代两次优化过程，直至相邻两次迭代的能量差值小于预设阈值，进一步包括，选取关键帧，得到关键帧的人体分割结果和二维关节检测结果,初始优化每帧姿态pose和距离translation：利用2d joints二维关节信息和Apose prior人体轮廓信息等约束,优化每帧姿态pose：利用2d joints和mask作约束,多帧联合优化人体体态shape：利用各项的mask和2d joints作约束，利用高斯牛顿公式进行迭代优化，直至相邻两次迭代能量相差收敛至阀值之下；
其中，所述搭建深度神经网络获取所述关键帧的人体轮廓信息和二维关节信息进一步包括：
利用深度神经网络对所述关键帧进行分割，得到所述人体轮廓信息；
利用深度神经网络提取所述关键帧的二维关节点热力图，得到所述二维关节信息。
2.根据权利要求1所述的方法，其特征在于，所述人体视频为利用固定位置的RGB相机拍摄人体旋转一周的视频。
3.根据权利要求2所述的方法，其特征在于，人体旋转一周的过程需保持相同姿势。
4.一种高精度人体体态重建系统，其特征在于，包括：
选取模块，用于获取人体视频，并选取所述人体视频的关键帧，其中，所述关键帧需从所述人体视频中均匀选取；
获取模块，用于搭建深度神经网络获取所述关键帧的人体轮廓信息和二维关节信息；
约束模块，用于构造参数化人体模型，利用所述人体轮廓信息和所述二维关节信息对所述参数化人体模型进行约束，获得初始化人体姿态参数；
优化模块，用于利用所述二维关节信息和所述人体轮廓信息优化所述初始化人体姿态参数，并选取所述人体视频的全部帧，构造联合约束，再次优化所述初始化人体姿态参数，利用高斯牛顿公式迭代两次优化过程，直至相邻两次迭代的能量差值小于预设阈值，进一步包括，选取关键帧，得到关键帧的人体分割结果和二维关节检测结果,初始优化每帧姿态pose和距离translation：利用2d joints二维关节信息和Apose prior人体轮廓信息等约束,优化每帧姿态pose：利用2d joints和mask作约束,多帧联合优化人体体态shape：利用各项的mask和2d joints作约束，利用高斯牛顿公式进行迭代优化，直至相邻两次迭代能量相差收敛至阀值之下；
其中，所述获取模块还包括：分割单元，用于搭建深度神经网络对所述关键帧进行分割，得到所述人体轮廓信息；
提取单元，用于搭建深度神经网络提取所述关键帧的二维关节点热力图，得到所述二维关节信息。
5.根据权利要求4所述的系统，其特征在于，所述人体视频为利用固定位置的RGB相机拍摄人体旋转一周的视频。
6.根据权利要求5所述的系统，其特征在于，人体旋转一周的过程中，需保持相同姿势。
CN201910630399.4A 2019-07-12 2019-07-12 高精度人体体态重建方法及系统 Active CN110415336B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910630399.4A CN110415336B (zh) 2019-07-12 2019-07-12 高精度人体体态重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910630399.4A CN110415336B (zh) 2019-07-12 2019-07-12 高精度人体体态重建方法及系统

Publications (2)

Publication Number Publication Date
CN110415336A CN110415336A (zh) 2019-11-05
CN110415336B true CN110415336B (zh) 2021-12-14

Family

ID=68361230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910630399.4A Active CN110415336B (zh) 2019-07-12 2019-07-12 高精度人体体态重建方法及系统

Country Status (1)

Country Link
CN (1) CN110415336B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611997B (zh) * 2020-04-30 2023-04-18 青岛联合创智科技有限公司 一种基于人体动作迁移的卡通定制形象运动视频生成方法
CN112183184B (zh) * 2020-08-13 2022-05-13 浙江大学 基于非同步视频的运动捕捉方法
CN112819944B (zh) * 2021-01-21 2022-09-27 魔珐(上海)信息科技有限公司 三维人体模型重建方法、装置、电子设备及存储介质
CN112991515B (zh) * 2021-02-26 2022-08-19 山东英信计算机技术有限公司 一种三维重建方法、装置及相关设备
CN113313818B (zh) * 2021-06-07 2023-04-11 聚好看科技股份有限公司 一种三维重建方法、装置及系统
CN113688907B (zh) * 2021-08-25 2023-07-21 北京百度网讯科技有限公司 模型训练、视频处理方法，装置，设备以及存储介质
CN114998514A (zh) * 2022-05-16 2022-09-02 聚好看科技股份有限公司 一种虚拟角色的生成方法及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218824A (zh) * 2012-12-24 2013-07-24 大连大学 基于距离曲线幅度的运动关键帧提取
CN103679747A (zh) * 2013-11-15 2014-03-26 南昌大学 一种运动捕捉数据关键帧提取方法
CN105809681A (zh) * 2016-03-04 2016-07-27 清华大学 基于单相机的人体rgb-d数据恢复与三维重建方法
CN107134008A (zh) * 2017-05-10 2017-09-05 广东技术师范学院 一种基于三维重建下的动态物体识别的方法及系统
CN108629801A (zh) * 2018-05-14 2018-10-09 华南理工大学 一种视频序列的三维人体模型姿态与形状重构方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1710611A (zh) * 2005-07-14 2005-12-21 中国科学院计算技术研究所 一种基于优化思想的人体姿态变形方法
CN101246602B (zh) * 2008-02-04 2010-09-08 东华大学 基于几何骨架的人体姿态重建方法
US9072461B2 (en) * 2011-02-25 2015-07-07 Embraer S.A. Posture observer for ergonomic observation, posture analysis and reconstruction
KR20140108828A (ko) * 2013-02-28 2014-09-15 한국전자통신연구원 카메라 트래킹 장치 및 방법
CN103942829A (zh) * 2014-04-02 2014-07-23 上海交通大学 单幅图像的人体三维姿态重构方法
CN105321205B (zh) * 2015-10-20 2018-05-01 浙江大学 一种基于稀疏关键点的参数化人体模型重建方法
CN106709746A (zh) * 2015-11-17 2017-05-24 北京三件客科技有限公司 3d扫描、模型测量一体化的互联网服装定制系统
CN106204718B (zh) * 2016-06-28 2019-08-20 华南理工大学 一种基于单个Kinect的简易高效三维人体重建方法
EP3324365A1 (en) * 2016-11-22 2018-05-23 Dassault Systèmes Computer-implemented method for simulating a body taking a posture, in particular to look at a target
CN106683178B (zh) * 2016-12-30 2020-04-28 天津大学 基于图论的低秩矩阵恢复三维骨架方法
CN107545598A (zh) * 2017-07-31 2018-01-05 深圳市蒜泥科技有限公司 一种人体三维模型合成及身体数据获取方法
CN107766930B (zh) * 2017-09-06 2021-03-26 华东师范大学 基于dtw群集模糊分群som神经元的等效rom距离计算方法
CN108053469A (zh) * 2017-12-26 2018-05-18 清华大学 多视角相机下的复杂动态场景人体三维重建方法及装置
CN108665537B (zh) * 2018-05-15 2020-09-25 清华大学 联合优化人体体态与外观模型的三维重建方法及系统
CN109859296B (zh) * 2019-02-01 2022-11-29 腾讯科技（深圳）有限公司 Smpl参数预测模型的训练方法、服务器及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218824A (zh) * 2012-12-24 2013-07-24 大连大学 基于距离曲线幅度的运动关键帧提取
CN103679747A (zh) * 2013-11-15 2014-03-26 南昌大学 一种运动捕捉数据关键帧提取方法
CN105809681A (zh) * 2016-03-04 2016-07-27 清华大学 基于单相机的人体rgb-d数据恢复与三维重建方法
CN107134008A (zh) * 2017-05-10 2017-09-05 广东技术师范学院 一种基于三维重建下的动态物体识别的方法及系统
CN108629801A (zh) * 2018-05-14 2018-10-09 华南理工大学 一种视频序列的三维人体模型姿态与形状重构方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于视频的三维人体重建和运动捕捉;王征;《中国博士学位论文全文数据库 信息科技辑》;20101215(第12期);I138-54 *

Also Published As

Publication number Publication date
CN110415336A (zh) 2019-11-05

Similar Documents

Publication Publication Date Title
CN110415336B (zh) 高精度人体体态重建方法及系统
Park et al. Nerfies: Deformable neural radiance fields
CN107578436B (zh) 一种基于全卷积神经网络fcn的单目图像深度估计方法
EP3602494B1 (en) Robust mesh tracking and fusion by using part-based key frames and priori model
Menze et al. Joint 3d estimation of vehicles and scene flow
Furukawa et al. Accurate, dense, and robust multiview stereopsis
Kumar et al. Monocular dense 3d reconstruction of a complex dynamic scene from two perspective frames
Habbecke et al. A surface-growing approach to multi-view stereo reconstruction
Furukawa et al. Dense 3d motion capture from synchronized video streams
Li et al. Detail-preserving and content-aware variational multi-view stereo reconstruction
KR101195942B1 (ko) 카메라 보정 방법 및 이를 이용한 3차원 물체 재구성 방법
US20130083966A1 (en) Match, Expand, and Filter Technique for Multi-View Stereopsis
Lee et al. Silhouette segmentation in multiple views
Vicente et al. Balloon shapes: Reconstructing and deforming objects with volume from images
Stier et al. Vortx: Volumetric 3d reconstruction with transformers for voxelwise view selection and fusion
Zhang et al. Critical regularizations for neural surface reconstruction in the wild
CN111462300A (zh) 衣物物理模型驱动的实时人体动态三维重建方法及系统
CN115298708A (zh) 多视角神经人体渲染
Morgenstern et al. Progressive non-rigid registration of temporal mesh sequences
CN115951784B (zh) 一种基于双神经辐射场的穿衣人体运动捕捉和生成方法
CN115428027A (zh) 神经不透明点云
Yeh et al. Photoscene: Photorealistic material and lighting transfer for indoor scenes
CN114450719A (zh) 人体模型重建方法、重建系统及存储介质
Chen et al. Research on 3D reconstruction based on multiple views
Zhang et al. GigaMVS: a benchmark for ultra-large-scale gigapixel-level 3D reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant