CN110310319A - 光照分离的单视角人体服装几何细节重建方法及装置 - Google Patents
光照分离的单视角人体服装几何细节重建方法及装置 Download PDFInfo
- Publication number
- CN110310319A CN110310319A CN201910507871.5A CN201910507871A CN110310319A CN 110310319 A CN110310319 A CN 110310319A CN 201910507871 A CN201910507871 A CN 201910507871A CN 110310319 A CN110310319 A CN 110310319A
- Authority
- CN
- China
- Prior art keywords
- clothes
- illumination
- image
- frame
- intrinsic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 128
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000000926 separation method Methods 0.000 title claims abstract description 16
- 238000004088 simulation Methods 0.000 claims abstract description 41
- 238000009877 rendering Methods 0.000 claims abstract description 29
- 239000002245 particle Substances 0.000 claims abstract description 9
- 230000011218 segmentation Effects 0.000 claims description 18
- 238000009499 grossing Methods 0.000 claims description 7
- 238000009958 sewing Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 abstract description 2
- 230000000386 athletic effect Effects 0.000 abstract 1
- 238000000354 decomposition reaction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种光照分离的单视角人体服装几何细节重建方法及装置,其中,方法包括:利用现有的从图像中获取人物姿态的方法,先对人体模型和衣服模型进行初步物理模拟;再通过光照分离的方法,提取光照和衣服表面的光影信息,从而对衣物的表面细节进行建模,并根据人体的运动姿态动态模拟衣服的褶皱等细节信息。人体模型重建基于单图像人体模板拟合的方法;衣物模拟主要利用物理粒子模拟的框架;而衣服表面细节重建则主要通过光照和表面法向的渲染结果,与分解出的本征光照图像进行比较和求解。该方法通过衣服建模和表面细节求解的框架,可以使得输入图像中衣服的细节能够得到比较好的重建,并可以适用于单RGB采集人体运动的人体和衣物重建。
Description
技术领域
本发明涉及计算机视觉技术领域,特别涉及一种光照分离的单视角人体服装几何细节重建方法及装置。
背景技术
三维重建在计算机视觉这个领域里,是目前一个科研、工业界和媒体娱乐产业都重点关注的技术。经过三维重建得到的模型在影音游戏、建筑学、基础工业等领域都有较高的研究和实用价值。
然而,关于人体服装重建方法,由于人体动作和衣物的几何细节形变较为丰富,因此是三维重建领域的一个较大的难题。现有的衣服细节重建技术大部分是通过三维扫描或是深度获取的方式,这些方法需要比较特殊的采集设备,对数据采集要求较高。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的一个目的在于提出一种光照分离的单视角人体服装几何细节重建方法,该方法通过衣服建模和表面细节求解的框架,可以使得输入图像中衣服的细节能够得到比较好的重建,并可以适用于单RGB采集人体运动的人体和衣物重建。
本发明的另一个目的在于提出一种光照分离的单视角人体服装几何细节重建装置。
为达到上述目的,本发明一方面实施例提出了一种光照分离的单视角人体服装几何细节重建方法,包括:通过单RGB采集人体运动数据,得到单RGB图像,并从所述单RGB图像中提取人物姿态,求解每一帧中人物的形状、姿态和相对空间位置;通过预设的衣服模板生成二维衣服网格模型,并通过粒子模拟的方法使得衣服的不同部分缝合及穿到处于初始姿态的人物身上;将人物姿态过渡变换到视频中第1帧的姿态下,并对三维的衣物进行联合物理模拟,且对于后续所有帧均基于人体姿态进行逐帧的衣服物理仿真;通过人体分割的方法求解衣服参数,使得模拟后衣服形状与图像中的分割图达到吻合条件;对于视频中的每一帧,使用图像光照分离的方法提取出图像的本征光照图像和本征反照率图像;通过物理模拟出的初始衣服形状,并求解得到所述衣服网格模型的逐顶点法向,并通过球谐光照的假设得到光照信息;通过球谐光照的假设在预设球谐光照系数的前提下,求解衣服的逐顶点形变,得到衣服的几何细节;将每帧求解后的所述衣服逐顶点形变投影到逐顶点上的局部坐标系下,并做每一帧投影系数的时域平滑,得到最终动态衣服细节重建结果。
本发明实施例的光照分离的单视角人体服装几何细节重建方法,可以只需要一台RGB相机采集人体,利用图像的本征分解信息得到场景光照,从而可以联合求解光照和衣服的表面细节信息,并获取就可以对单RGB视频中的人物和衣物同时进行建模和仿真,进而通过衣服建模和表面细节求解的框架,可以使得输入图像中衣服的细节能够得到比较好的重建,并可以适用于单RGB采集人体运动的人体和衣物重建。
另外,根据本发明上述实施例的光照分离的单视角人体服装几何细节重建方法还可以具有以下附加的技术特征:
进一步地,在本发明的一个实施例中,还包括:将重建后的最终动态衣服细节重建结果用所述球谐光照进行渲染,完成重建和渲染仿真。
进一步地,在本发明的一个实施例中,所述本征光照图像、所述本征反照率图像和原始图像满足:
S(u,v)A(u,v)=I(u,v),
其中,(u,v)为各个图像中的像素坐标,S为所述本征光照图像、A为所述本征反照率图像和I为所述原始图像。
进一步地,在本发明的一个实施例中,通过球谐光照的假设为:
其中,(u,v)为衣服顶点投影得到的像素坐标,为衣服顶点对应的法向,li为待求解球谐光照系数,Hi为球谐光照的基。
进一步地,在本发明的一个实施例中,形变后的衣服法向在光照条件下,渲染结果与所述本征光照图像达到预设匹配条件。
为达到上述目的,本发明另一方面实施例提出了一种光照分离的单视角人体服装几何细节重建装置,包括:采集模块,用于通过单RGB采集人体运动数据,得到单RGB图像,并从所述单RGB图像中提取人物姿态,求解每一帧中人物的形状、姿态和相对空间位置;生成模块,用于通过预设的衣服模板生成二维衣服网格模型,并通过粒子模拟的方法使得衣服的不同部分缝合及穿到处于初始姿态的人物身上;变换模块,用于将人物姿态过渡变换到视频中第1帧的姿态下,并对三维的衣物进行联合物理模拟,且对于后续所有帧均基于人体姿态进行逐帧的衣服物理仿真;第一求解模块,用于通过人体分割的方法求解衣服参数,使得模拟后衣服形状与图像中的分割图达到吻合条件;提取模块,用于对于视频中的每一帧,使用图像光照分离的方法提取出图像的本征光照图像和本征反照率图像;第二求解模块,用于通过物理模拟出的初始衣服形状,并求解得到所述衣服网格模型的逐顶点法向,并通过球谐光照的假设得到光照信息;第三求解模块,用于通过球谐光照的假设在预设球谐光照系数的前提下,求解衣服的逐顶点形变,得到衣服的几何细节;投影模块,用于将每帧求解后的所述衣服逐顶点形变投影到逐顶点上的局部坐标系下,并做每一帧投影系数的时域平滑,得到最终动态衣服细节重建结果。
本发明实施例的光照分离的单视角人体服装几何细节重建装置,可以只需要一台RGB相机采集人体,利用图像的本征分解信息得到场景光照,从而可以联合求解光照和衣服的表面细节信息,并获取就可以对单RGB视频中的人物和衣物同时进行建模和仿真,进而通过衣服建模和表面细节求解的框架,可以使得输入图像中衣服的细节能够得到比较好的重建,并可以适用于单RGB采集人体运动的人体和衣物重建。
另外,根据本发明上述实施例的光照分离的单视角人体服装几何细节重建装置还可以具有以下附加的技术特征:
进一步地,在本发明的一个实施例中,还包括:渲染模块,用于将重建后的最终动态衣服细节重建结果用所述球谐光照进行渲染,完成重建和渲染仿真。
进一步地,在本发明的一个实施例中,所述本征光照图像、所述本征反照率图像和原始图像满足:
S(u,v)A(u,v)=I(u,v),
其中,(u,v)为各个图像中的像素坐标,S为所述本征光照图像、A为所述本征反照率图像和I为所述原始图像。
进一步地,在本发明的一个实施例中,通过球谐光照的假设为:
其中,(u,v)为衣服顶点投影得到的像素坐标,为衣服顶点对应的法向,li为待求解球谐光照系数,Hi为球谐光照的基。
进一步地,在本发明的一个实施例中,形变后的衣服法向在光照条件下,渲染结果与所述本征光照图像达到预设匹配条件。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为根据本发明实施例的光照分离的单视角人体服装几何细节重建方法的流程图;
图2为根据本发明实施例的光照分离的单视角人体服装几何细节重建装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的光照分离的单视角人体服装几何细节重建方法及装置,首先将参照附图描述根据本发明实施例提出的光照分离的单视角人体服装几何细节重建方法。
图1是本发明一个实施例的光照分离的单视角人体服装几何细节重建方法的流程图。
如图1所示,该光照分离的单视角人体服装几何细节重建方法包括以下步骤:
在步骤S101中,通过单RGB采集人体运动数据,得到单RGB图像,并从单RGB图像中提取人物姿态,求解每一帧中人物的形状、姿态和相对空间位置。
可以理解的是,本发明实施例可以使用一台RGB相机,采集单个人体的运动序列。具体地,使用单RGB采集人体运动数据,使用现有的从单RGB图像中提取人物姿态的方法,求解每一帧中人物的形状、姿态和相对空间位置。
在步骤S102中,通过预设的衣服模板生成二维衣服网格模型,并通过粒子模拟的方法使得衣服的不同部分缝合及穿到处于初始姿态的人物身上。
其中,预设的衣服模板可以为现有的衣服模板,本领域技术人员可以根据实际情况进行选择,在此不做具体限定。
在步骤S103中,将人物姿态过渡变换到视频中第1帧的姿态下,并对三维的衣物进行联合物理模拟,且对于后续所有帧均基于人体姿态进行逐帧的衣服物理仿真。
可以理解的是,将人物姿态过渡变换到视频中第1帧的姿态下,在此过程中对三维的衣物进行联合物理模拟,然后对于后续所有帧,基于人体姿态进行逐帧的衣服物理仿真。
在步骤S104中,通过人体分割的方法求解衣服参数,使得模拟后衣服形状与图像中的分割图达到吻合条件。
其中,吻合条件可以理解为模拟后衣服形状与图像中的分割图尽可能吻合,当然,本领域技术人员可以根据实际情况设置具体的吻合条件,在此不做具体限定。
可以理解的是,本发明实施例可以利用现有的人体分割的方法,求解衣服参数使得模拟后衣服形状与图像中的分割图尽可能吻合。
在步骤S105中,对于视频中的每一帧,使用图像光照分离的方法提取出图像的本征光照图像和本征反照率图像。
可以理解的是,对于视频中的每一帧,使用现有的图像光照分离的方法,提取出图像的本征光照图像和本征反照率图像。其中,本征光照图像S、本征反照率图像A和原始图像I满足:
S(u,v)A(u,v)=I(u,v),
其中,(u,v)为各个图像中的像素坐标。
在步骤S106中,通过物理模拟出的初始衣服形状,并求解得到衣服网格模型的逐顶点法向,并通过球谐光照的假设得到光照信息。
可以理解的是,本发明实施例通过物理模拟出的初始衣服形状,求解得到衣服网格模型的逐顶点法向,并通过球谐光照的假设,即:
其中,(u,v)为衣服顶点投影得到的像素坐标,为衣服顶点对应的法向,li为待求解球谐光照系数,Hi为球谐光照的基。根据上一步提取的本征光照图像S,就可以求解光照信息。
在步骤S107中,通过球谐光照的假设在预设球谐光照系数的前提下,求解衣服的逐顶点形变,得到衣服的几何细节。
在本发明的一个实施例中,形变后的衣服法向在光照条件下,渲染结果与本征光照图像达到预设匹配条件。
其中,预设匹配条件可以理解为渲染结果与本征光照图像尽可能匹配,当然,本领域技术人员可以根据实际情况设置具体的匹配条件,在此不做具体限定。
可以理解的是,同样利用球谐光照的假设,在固定球谐光照系数li(i=1,2,...,9)的前提下,求解衣服的逐顶点形变,使得形变后的衣服法向在该光照条件下,渲染结果与本征光照图像S尽可能匹配,从而求解得到衣服的几何细节。
在步骤S108中,将每帧求解后的衣服逐顶点形变投影到逐顶点上的局部坐标系下,并做每一帧投影系数的时域平滑,得到最终动态衣服细节重建结果。
进一步地,在本发明的一个实施例中,本发明实施例的方法还包括:将重建后的最终动态衣服细节重建结果用球谐光照进行渲染,完成重建和渲染仿真。
可以理解的是,本发明实施例将重建后的结果用步骤S106中求解的光照进行渲染,完成重建和渲染仿真。
综上,本发明实施例基于光照分离的方法,利用了球谐光照模型联合求解光照和衣服几何细节,从而进行人体和衣物的三维重建。
下面将通过具体实施例对光照分离的单视角人体服装几何细节重建方法进行进一步阐述,具体步骤如下:
步骤S1,使用一台RGB相机,采集单个人体的运动序列。
步骤S2,将该RGB序列中的每一帧图片利用背景减和图割的方法进行前背景分割,从而得到人物的分割图Mi。
步骤S3,将人物分割图Mi和原始图片作为输入,使用现有的单RGB图像估计人体姿态和体型的方法,得到基于骨架蒙皮的人体模板的姿态Pi和体型S的信息。
步骤S4,对人物所穿服装进行大致分类(比如长裤/短裤/裙子),并使用相应的参数化布料信息,对衣物进行建模。
步骤S5,使用基于粒子模型的物理仿真,对每一帧衣服和人体姿态进行联合物理模拟。
步骤S6,对视频中的每一帧Fi,通过深度学习网络进行不同衣物的分割,并通过建立渲染后的衣服轮廓和分割图之间的差来建立能量函数,并求解相关的衣服二维模板参数。优化项为渲染图像和分割图像在操作下的偏差:
其中,对二值图像C的操作定义如下:对二值图像C做距离变换(distancetransform)操作,求出每个像素点到二值图像边界的二范数距离,并构成图像D,之后对图像D做阈值处理:
步骤S7,将参数估计后的衣服进行重新建模,并重新对每一帧做物理模拟。
步骤S8,利用现有光照分离方法,提取视频中每一帧Fi的本征光照图像Si和本征反照率图像Ai,本征光照图像Si会用于接下来的光照估计和衣服几何细节重建。
步骤S9,用步骤S7中建模得到的第1帧衣服得到初始的衣服顶点法向并通过该法向求解球谐光照系数如下:
假设通过渲染判断得到的可视顶点集合为V,待求解光照系数为lj(j=1,2,...,9),则建立能量方程如下:
其中,为可视顶点的三维坐标,为相机投影矩阵作用下投影的图片坐标,lj为待求解光照系数,而Hj为球谐光照的前9个基函数。
步骤S10,对后续每一帧,求解每个衣服顶点的变形假设变形后的顶点记作下标i的顶点相邻顶点集合为Ni,那么变形后法向 建立能量方程如下:
Ecloth=Edetail_SH+λEreg,
其中,变量为(i为衣服顶点)。
步骤S11,将每一帧(第t帧)中变形前衣服顶点通过其法向和相邻顶点方向做正交化,建立局部坐标系并将求解后偏移投影到三个局部坐标轴上得到三个局部分量,即为:
并做时域平滑,即为:
其中,
步骤S12,将每一帧(第t帧)作用到该帧的每个衣服顶点上,从而完成衣服细节重建。并通过步骤S9中求解的球谐光照系数进行渲染,从而得到人体和衣服的完整重建和仿真结果。
综上,本发明实施例的方法利用现有的从图像中获取人物姿态的方法,先对人体模型和衣服模型进行初步物理模拟;再通过光照分离的方法,提取光照和衣服表面的光影信息,从而对衣物的表面细节进行建模,并根据人体的运动姿态动态模拟衣服的褶皱等细节信息。人体模型重建基于单图像人体模板拟合的方法;衣物模拟主要利用物理粒子模拟的框架;而衣服表面细节重建则主要通过光照和表面法向的渲染结果,与分解出的本征光照图像进行比较和求解。
根据本发明实施例提出的光照分离的单视角人体服装几何细节重建方法,可以只需要一台RGB相机采集人体,利用图像的本征分解信息得到场景光照,从而可以联合求解光照和衣服的表面细节信息,并获取就可以对单RGB视频中的人物和衣物同时进行建模和仿真,进而通过衣服建模和表面细节求解的框架,可以使得输入图像中衣服的细节能够得到比较好的重建,并可以适用于单RGB采集人体运动的人体和衣物重建。
其次参照附图描述根据本发明实施例提出的光照分离的单视角人体服装几何细节重建装置。
图2是本发明一个实施例的光照分离的单视角人体服装几何细节重建装置的结构示意图。
如图2所示,该光照分离的单视角人体服装几何细节重建装置10包括:采集模块100、变换模块200、第一求解模块300、提取模块400、第二求解模块500、第三求解模块600和投影模块700。
其中,采集模块100用于通过单RGB采集人体运动数据,得到单RGB图像,并从单RGB图像中提取人物姿态,求解每一帧中人物的形状、姿态和相对空间位置;生成模块,用于通过预设的衣服模板生成二维衣服网格模型,并通过粒子模拟的方法使得衣服的不同部分缝合及穿到处于初始姿态的人物身上。变换模块200用于将人物姿态过渡变换到视频中第1帧的姿态下,并对三维的衣物进行联合物理模拟,且对于后续所有帧均基于人体姿态进行逐帧的衣服物理仿真。第一求解模块300用于通过人体分割的方法求解衣服参数,使得模拟后衣服形状与图像中的分割图达到吻合条件。提取模块400用于对于视频中的每一帧,使用图像光照分离的方法提取出图像的本征光照图像和本征反照率图像。第二求解模块500用于通过物理模拟出的初始衣服形状,并求解得到衣服网格模型的逐顶点法向,并通过球谐光照的假设得到光照信息。第三求解模块600用于通过球谐光照的假设在预设球谐光照系数的前提下,求解衣服的逐顶点形变,得到衣服的几何细节。投影模块700用于将每帧求解后的衣服逐顶点形变投影到逐顶点上的局部坐标系下,并做每一帧投影系数的时域平滑,得到最终动态衣服细节重建结果。本发明实施例的装置10通过衣服建模和表面细节求解的框架,可以使得输入图像中衣服的细节能够得到比较好的重建,并可以适用于单RGB采集人体运动的人体和衣物重建。
进一步地,在本发明的一个实施例中,本发明实施例的装置10还包括:渲染模块。其中,渲染模块用于将重建后的最终动态衣服细节重建结果用球谐光照进行渲染,完成重建和渲染仿真。
进一步地,在本发明的一个实施例中,本征光照图像、本征反照率图像和原始图像满足:
S(u,v)A(u,v)=I(u,v),
其中,(u,v)为各个图像中的像素坐标,S为本征光照图像、A为本征反照率图像和I为原始图像。
进一步地,在本发明的一个实施例中,通过球谐光照的假设为:
其中,(u,v)为衣服顶点投影得到的像素坐标,为衣服顶点对应的法向,li为待求解球谐光照系数,Hi为球谐光照的基。
进一步地,在本发明的一个实施例中,形变后的衣服法向在光照条件下,渲染结果与本征光照图像达到预设匹配条件。
需要说明的是,前述对方法实施例的解释说明也适用于该实施例的装置,此处不再赘述。
根据本发明实施例提出的光照分离的单视角人体服装几何细节重建装置,可以只需要一台RGB相机采集人体,利用图像的本征分解信息得到场景光照,从而可以联合求解光照和衣服的表面细节信息,并获取就可以对单RGB视频中的人物和衣物同时进行建模和仿真,进而通过衣服建模和表面细节求解的框架,可以使得输入图像中衣服的细节能够得到比较好的重建,并可以适用于单RGB采集人体运动的人体和衣物重建。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种光照分离的单视角人体服装几何细节重建方法,其特征在于,包括:
通过单RGB采集人体运动数据,得到单RGB图像,并从所述单RGB图像中提取人物姿态,求解每一帧中人物的形状、姿态和相对空间位置;
通过预设的衣服模板生成二维衣服网格模型,并通过粒子模拟的方法使得衣服的不同部分缝合及穿到处于初始姿态的人物身上;
将人物姿态过渡变换到视频中第1帧的姿态下,并对三维的衣物进行联合物理模拟,且对于后续所有帧均基于人体姿态进行逐帧的衣服物理仿真;
通过人体分割的方法求解衣服参数,使得模拟后衣服形状与图像中的分割图达到吻合条件;
对于视频中的每一帧,使用图像光照分离的方法提取出图像的本征光照图像和本征反照率图像;
通过物理模拟出的初始衣服形状,并求解得到所述衣服网格模型的逐顶点法向,并通过球谐光照的假设得到光照信息;
通过球谐光照的假设在预设球谐光照系数的前提下,求解衣服的逐顶点形变,得到衣服的几何细节;
将每帧求解后的所述衣服逐顶点形变投影到逐顶点上的局部坐标系下,并做每一帧投影系数的时域平滑,得到最终动态衣服细节重建结果。
2.根据权利要求1所述的方法,其特征在于,还包括:
将重建后的最终动态衣服细节重建结果用所述球谐光照进行渲染,完成重建和渲染仿真。
3.根据权利要求1所述的方法,其特征在于,所述本征光照图像、所述本征反照率图像和原始图像满足:
S(u,v)A(u,v)=I(u,v),
其中,(u,v)为各个图像中的像素坐标,S为所述本征光照图像、A为所述本征反照率图像和I为所述原始图像。
4.根据权利要求1所述的方法,其特征在于,通过球谐光照的假设为:
其中,(u,v)为衣服顶点投影得到的像素坐标,为衣服顶点对应的法向,li为待求解球谐光照系数,Hi为球谐光照的基。
5.根据权利要求1所述的方法,其特征在于,形变后的衣服法向在光照条件下,渲染结果与所述本征光照图像达到预设匹配条件。
6.一种光照分离的单视角人体服装几何细节重建装置,其特征在于,包括:
采集模块,用于通过单RGB采集人体运动数据,得到单RGB图像,并从所述单RGB图像中提取人物姿态,求解每一帧中人物的形状、姿态和相对空间位置;
生成模块,用于通过预设的衣服模板生成二维衣服网格模型,并通过粒子模拟的方法使得衣服的不同部分缝合及穿到处于初始姿态的人物身上;
变换模块,用于将人物姿态过渡变换到视频中第1帧的姿态下,并对三维的衣物进行联合物理模拟,且对于后续所有帧均基于人体姿态进行逐帧的衣服物理仿真;
第一求解模块,用于通过人体分割的方法求解衣服参数,使得模拟后衣服形状与图像中的分割图达到吻合条件;
提取模块,用于对于视频中的每一帧,使用图像光照分离的方法提取出图像的本征光照图像和本征反照率图像;
第二求解模块,用于通过物理模拟出的初始衣服形状,并求解得到所述衣服网格模型的逐顶点法向,并通过球谐光照的假设得到光照信息;
第三求解模块,用于通过球谐光照的假设在预设球谐光照系数的前提下,求解衣服的逐顶点形变,得到衣服的几何细节;
投影模块,用于将每帧求解后的所述衣服逐顶点形变投影到逐顶点上的局部坐标系下,并做每一帧投影系数的时域平滑,得到最终动态衣服细节重建结果。
7.根据权利要求6所述的装置,其特征在于,还包括:
渲染模块,用于将重建后的最终动态衣服细节重建结果用所述球谐光照进行渲染,完成重建和渲染仿真。
8.根据权利要求6所述的装置,其特征在于,所述本征光照图像、所述本征反照率图像和原始图像满足:
S(u,v)A(u,v)=I(u,v),
其中,(u,v)为各个图像中的像素坐标,S为所述本征光照图像、A为所述本征反照率图像和I为所述原始图像。
9.根据权利要求6所述的装置,其特征在于,通过球谐光照的假设为:
其中,(u,v)为衣服顶点投影得到的像素坐标,为衣服顶点对应的法向,li为待求解球谐光照系数,Hi为球谐光照的基。
10.根据权利要求6所述的装置,其特征在于,形变后的衣服法向在光照条件下,渲染结果与所述本征光照图像达到预设匹配条件。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910507871.5A CN110310319B (zh) | 2019-06-12 | 2019-06-12 | 光照分离的单视角人体服装几何细节重建方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910507871.5A CN110310319B (zh) | 2019-06-12 | 2019-06-12 | 光照分离的单视角人体服装几何细节重建方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110310319A true CN110310319A (zh) | 2019-10-08 |
CN110310319B CN110310319B (zh) | 2021-02-12 |
Family
ID=68076185
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910507871.5A Expired - Fee Related CN110310319B (zh) | 2019-06-12 | 2019-06-12 | 光照分离的单视角人体服装几何细节重建方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110310319B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111063034A (zh) * | 2019-12-13 | 2020-04-24 | 四川中绳矩阵技术发展有限公司 | 一种时域交互方法 |
CN111369658A (zh) * | 2020-03-24 | 2020-07-03 | 北京畅游天下网络技术有限公司 | 一种渲染方法及装置 |
CN113096249A (zh) * | 2021-03-30 | 2021-07-09 | Oppo广东移动通信有限公司 | 训练顶点重建模型的方法、图像重建方法及电子设备 |
WO2023055842A1 (en) * | 2021-09-30 | 2023-04-06 | Snap Inc. | Applying augmented reality elements to a garment appearing on a monocular image of a person |
CN116051696A (zh) * | 2023-01-10 | 2023-05-02 | 之江实验室 | 一种可重光照的人体隐式模型的重建方法和装置 |
US11651572B2 (en) | 2021-10-11 | 2023-05-16 | Snap Inc. | Light and rendering of garments |
US11673054B2 (en) | 2021-09-07 | 2023-06-13 | Snap Inc. | Controlling AR games on fashion items |
US11734866B2 (en) | 2021-09-13 | 2023-08-22 | Snap Inc. | Controlling interactive fashion based on voice |
US11900506B2 (en) | 2021-09-09 | 2024-02-13 | Snap Inc. | Controlling interactive fashion based on facial expressions |
US11983826B2 (en) | 2021-09-30 | 2024-05-14 | Snap Inc. | 3D upper garment tracking |
US12056832B2 (en) | 2021-09-01 | 2024-08-06 | Snap Inc. | Controlling interactive fashion based on body gestures |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6725124B2 (en) * | 2000-09-11 | 2004-04-20 | He Yan | System and method for texture mapping 3-D computer modeled prototype garments |
CN103473806A (zh) * | 2013-09-23 | 2013-12-25 | 北京航空航天大学 | 一种基于单幅图像的服装三维模型构建方法 |
CN104978762A (zh) * | 2015-07-13 | 2015-10-14 | 北京航空航天大学 | 服装三维模型生成方法及系统 |
GB2546572A (en) * | 2015-08-14 | 2017-07-26 | Metail Ltd | Method and system for generating an image file of a 3D garment model on a 3D body model |
CN109064386A (zh) * | 2018-07-23 | 2018-12-21 | 西安建筑科技大学 | 一种三维立体衣服模型的建立方法 |
-
2019
- 2019-06-12 CN CN201910507871.5A patent/CN110310319B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6725124B2 (en) * | 2000-09-11 | 2004-04-20 | He Yan | System and method for texture mapping 3-D computer modeled prototype garments |
CN103473806A (zh) * | 2013-09-23 | 2013-12-25 | 北京航空航天大学 | 一种基于单幅图像的服装三维模型构建方法 |
CN104978762A (zh) * | 2015-07-13 | 2015-10-14 | 北京航空航天大学 | 服装三维模型生成方法及系统 |
GB2546572A (en) * | 2015-08-14 | 2017-07-26 | Metail Ltd | Method and system for generating an image file of a 3D garment model on a 3D body model |
CN109064386A (zh) * | 2018-07-23 | 2018-12-21 | 西安建筑科技大学 | 一种三维立体衣服模型的建立方法 |
Non-Patent Citations (3)
Title |
---|
TAO YU ET AL.: "Bodyfusion: Real-time capture of human motion and surface geometry using a single depth camera", 《PROCEEDINGS OF THE IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 * |
朱李丽: "三维环境下服装面料真实感实现技术的研究", 《中国优秀博硕士学位论文全文数据库工程科技Ⅰ辑》 * |
秦可 等: "服装CAD中三维人体模型的参数化研究", 《计算机辅助设计与图形学学报》 * |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111063034A (zh) * | 2019-12-13 | 2020-04-24 | 四川中绳矩阵技术发展有限公司 | 一种时域交互方法 |
CN111063034B (zh) * | 2019-12-13 | 2023-08-04 | 四川中绳矩阵技术发展有限公司 | 一种时域交互方法 |
CN111369658A (zh) * | 2020-03-24 | 2020-07-03 | 北京畅游天下网络技术有限公司 | 一种渲染方法及装置 |
CN111369658B (zh) * | 2020-03-24 | 2024-02-02 | 北京畅游天下网络技术有限公司 | 一种渲染方法及装置 |
CN113096249A (zh) * | 2021-03-30 | 2021-07-09 | Oppo广东移动通信有限公司 | 训练顶点重建模型的方法、图像重建方法及电子设备 |
CN113096249B (zh) * | 2021-03-30 | 2023-02-17 | Oppo广东移动通信有限公司 | 训练顶点重建模型的方法、图像重建方法及电子设备 |
US12056832B2 (en) | 2021-09-01 | 2024-08-06 | Snap Inc. | Controlling interactive fashion based on body gestures |
US11673054B2 (en) | 2021-09-07 | 2023-06-13 | Snap Inc. | Controlling AR games on fashion items |
US11900506B2 (en) | 2021-09-09 | 2024-02-13 | Snap Inc. | Controlling interactive fashion based on facial expressions |
US11734866B2 (en) | 2021-09-13 | 2023-08-22 | Snap Inc. | Controlling interactive fashion based on voice |
US11636662B2 (en) | 2021-09-30 | 2023-04-25 | Snap Inc. | Body normal network light and rendering control |
US11983826B2 (en) | 2021-09-30 | 2024-05-14 | Snap Inc. | 3D upper garment tracking |
WO2023055842A1 (en) * | 2021-09-30 | 2023-04-06 | Snap Inc. | Applying augmented reality elements to a garment appearing on a monocular image of a person |
US11651572B2 (en) | 2021-10-11 | 2023-05-16 | Snap Inc. | Light and rendering of garments |
CN116051696A (zh) * | 2023-01-10 | 2023-05-02 | 之江实验室 | 一种可重光照的人体隐式模型的重建方法和装置 |
CN116051696B (zh) * | 2023-01-10 | 2023-12-22 | 之江实验室 | 一种可重光照的人体隐式模型的重建方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110310319B (zh) | 2021-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110310319B (zh) | 光照分离的单视角人体服装几何细节重建方法及装置 | |
Guo et al. | Vid2avatar: 3d avatar reconstruction from videos in the wild via self-supervised scene decomposition | |
Achenbach et al. | Fast generation of realistic virtual humans | |
CN105354876B (zh) | 一种基于移动终端的实时立体试衣方法 | |
Hasler et al. | Multilinear pose and body shape estimation of dressed subjects from image sets | |
Hilton et al. | Virtual people: Capturing human models to populate virtual worlds | |
Cheng et al. | Parametric modeling of 3D human body shape—A survey | |
CN109829972B (zh) | 一种面向连续帧点云的三维人体标准骨架提取方法 | |
Robertini et al. | Model-based outdoor performance capture | |
US20210375045A1 (en) | System and method for reconstructing a 3d human body under clothing | |
CN111861872A (zh) | 图像换脸方法、视频换脸方法、装置、设备和存储介质 | |
CN108230431B (zh) | 一种二维虚拟形象的人体动作动画生成方法及系统 | |
CN115951784B (zh) | 一种基于双神经辐射场的穿衣人体运动捕捉和生成方法 | |
US11640687B2 (en) | Volumetric capture and mesh-tracking based machine learning 4D face/body deformation training | |
Ma et al. | Neural point-based shape modeling of humans in challenging clothing | |
CN114693570A (zh) | 一种人体模型图像的融合处理方法、设备和存储介质 | |
CN117557755B (zh) | 虚拟场景中师生化身服饰可视化方法及系统 | |
Richter et al. | Real-time reshaping of humans | |
Cushen et al. | Markerless real-time garment retexturing from monocular 3d reconstruction | |
Ju et al. | Individualising Human Animation Models. | |
CN110309554B (zh) | 基于服装建模与仿真的视频人体三维重建方法及装置 | |
Hilton et al. | Multiple view reconstruction of people | |
Chen et al. | Optimizing human model reconstruction from RGB-D images based on skin detection | |
Govindaraj | Application of Active Appearance Model to Automatic Face Replacement. | |
CN115936796A (zh) | 一种虚拟换妆方法、系统、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210212 |