CN104992441B - 一种面向个性化虚拟试衣的真实人体三维建模方法 - Google Patents

一种面向个性化虚拟试衣的真实人体三维建模方法 Download PDF

Info

Publication number
CN104992441B
CN104992441B CN201510397321.4A CN201510397321A CN104992441B CN 104992441 B CN104992441 B CN 104992441B CN 201510397321 A CN201510397321 A CN 201510397321A CN 104992441 B CN104992441 B CN 104992441B
Authority
CN
China
Prior art keywords
frame
point
human body
model
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510397321.4A
Other languages
English (en)
Other versions
CN104992441A (zh
Inventor
陶文兵
孙琨
黄文杰
陶晓斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201510397321.4A priority Critical patent/CN104992441B/zh
Publication of CN104992441A publication Critical patent/CN104992441A/zh
Application granted granted Critical
Publication of CN104992441B publication Critical patent/CN104992441B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种面向个性化虚拟试衣的真实人体三维建模方法。该算法以视频作为输入数据，经过特征匹配、关键帧选取、三维点云生成、模板映射、纹理映射等几个步骤，得到人体表面三维模型。采用运动恢复结构的技术大大简化了重建过程，减轻了数据采集者和被采集者的负担，降低了对仪器和设备的要求，同时能获得较为精确的重建结果。利用模板映射能获得完整的人体表面模型，使算法对于人体纹理信息缺失和自身遮挡更加鲁棒。按照本发明，从数据输入到模型输出仅需在模板映射之前人工标记若干对控制点，其它过程全部实现了自动化处理。利用本发明重建得到的模型可用于游戏和动画设计、影视特效以及个性化虚拟试衣等。

Description

一种面向个性化虚拟试衣的真实人体三维建模方法
技术领域
本发明属于计算机视觉领域，具体涉及一种面向个性化虚拟试衣的真实人体三维建模方法。
背景技术
随着虚拟现实技术的发展，人体三维建模受到了越来越多的关注，并成为影视特效、动画仿真、虚拟试衣等技术的基础环节。现有的人体三维表面重建方法主要包括主动测量方法、参数建模方法和基于深度图像的建模方法。
主动测量方法是指利用激光扫描仪、结构光扫描仪等设备对人体表面进行扫描并得到点云的三维坐标。使用这类设备获取目标表面三维信息的方式比较直接，结果比较精确,常用于标准三维人体模板的制备。但是该方法使用的扫描设备结构复杂、价格昂贵且不易操作。此外，此类方法测量时间长，被测者的舒适性差，而且很难处理人体自身的遮挡问题。
参数建模方法需要获取人体少数特定部位的控制点和特征尺寸(如身高、腰围、臂长等)，根据几何约束对人体拓扑结构进行调整，最后利用曲面对表面进行建模。这类方法简单易行，常用于服装设计相关领域，根据输入的参数可以获得实时重建效果。然而，该类方法容易受到非专业人士测量误差的影响，而且人体大部分区域是没有获得测量数据的，在这些区域上的重建精度不高。
基于深度图像的建模方法利用深度相机(如微软的Kinect)在拍摄彩色图像的同时，获得每个像素的深度信息。该方法操作简单、设备价格低廉，比主动测量方法更具通用性，但其得到的深度信息包含空洞和较多噪声，适用于对精度要求不高的实时动态人体三维重建。此外，深度相机远远低于普通数码相机的普及率也限制了当前该技术的应用范围。
近20年来，随着计算机视觉理论的完善和普通数码成像设备的普及，从图像中恢复场景三维结构的技术取得了很大进展。运动恢复结构(Structure from Motion，SFM)的方法只需一组无序图像作为输入便可完全自动地估计出相机参数和稀疏三维点云，因此得到了广泛的应用。典型的SFM过程包含特征匹配、相机参数估计和相机参数优化三个主要步骤。然而，由于人体不属于静态刚体目标并且缺乏丰富的纹理信息，SFM算法得到的三维模型在精度和完整度上都很难达到实际应用的要求，无法直接用于人体三维建模。因此，研究基于计算机视觉技术的人体三维重建算法，改善人体图像匹配精度和相机参数估计精度，提高重建模型的完整性，不仅有很强的理论意义，而且具有非常广阔的应用前景。
发明内容
本发明所要解决的技术问题是克服现有SFM技术针对人体三维重建存在的缺陷，仅以视频作为基本数据内容，提出一种面向个性化虚拟试衣的真实人体三维建模方法，从而构建尺度精确、结构完整、效果真实的人体三维模型，重建后的模型可用于游戏和动画设计、影视特效以及个性化虚拟试衣等。
按照本发明，提出了一种面向个性化虚拟试衣的真实人体三维建模方法，该算法具体包括以下步骤：
(1)数据准备。
这里描述的步骤仅仅用于获取人体数据，便于从数据中恢复人体裸身尺寸信息。由于运动恢复结构技术只能对静态刚体场景进行重建，无法处理动态的非刚体场景，因此必须要求被测者保持站立姿势不动。被测者的双臂不应自然下垂或紧贴身体，应保持伸直姿态并向身体两侧略微张开25至50度；同样地，被测者的双腿不应并拢，应保持直立姿态并分开与肩同宽。这样做是为了避免手臂和腿部内侧被多度遮挡，使更多身体表面暴露在视野范围之内。在三维服装设计和虚拟试衣的应用中，重建得到的人体模型应该是能反映特定个体真实尺寸的裸身模型。如果被测者身着宽松的衣物参与数据采集，重建得到的模型尺寸将会与裸身尺寸产生较大偏差。然而，处于隐私保护和伦理观念的考虑，要求被测者裸身或者身着内衣进行数据采集是不可行的。因此，在本发明中要求被测者A身着印有图案的紧身衣。这一策略有两个优点：第一，身穿紧身衣既不会对模型尺寸造成较大影响，又不会产生隐私和伦理的纠纷；第二，紧身衣上印刷的花纹大大简化了特征提取和匹配的过程，便于后面利用SFM进行重建。
本发明中对花纹的具体样式不做限定，但应尽量保证花纹包含较丰富的纹理信息，避免大面积的单色区域，同时花纹应尽量均匀地覆盖整个人体。具体地，可以让被测者A身穿印有黑白棋盘网格的紧身衣保持站立姿势不动，测量者B使用手机或数码相机围绕被测者A拍摄一段视频。
(2)对视频中相邻的两帧图像进行特征提取与匹配，根据匹配构建特征点的轨迹。
特征点的轨迹是指一个特征点在一段连续子序列的每一帧上的匹配点构成的集合，每个轨迹对应于空间中的一个三维点。这些轨迹将在SFM算法中用于对相机参数的估计和优化。
(3)对视频进行处理分析，剔除冗余信息，抽取视频中关键帧用于重建。关键帧的选取应当满足两个约束：即相邻两个关键帧之间有足够多的匹配，同时相邻两个关键帧的基线尽可能宽。
(4)人体三维点云模型的生成。根据特征点的轨迹估计并优化所有关键帧的相机参数，得到轨迹对应的稀疏的三维点云，并通过点云在三维空间中的扩展得到稠密的人体三维点云模型。
(5)将预先制备的标准人体模型向重建得到的点云模型映射，映射过程中允许发生一定程度的姿态变化和表面形状变化，以便标准模型能最大程度地拟合重建模型，最终得到完整光滑的人体表面模型；
(6)根据关键帧和对应的相机参数，对生成的人体表面模型进行纹理映射，得到最终重建结果。
在本发明的一个实施例中，所述步骤(2)具体包括：
(2.1)在视频第一帧上提取特征点，并利用光流法对其进行跟踪，得到在下一帧上特征点位置的预测值；
(2.2)为了减少噪声的干扰，需要通过可靠性验证来过滤不可靠的跟踪结果；
(2.3)随着新的场景进入视野，需要在没有特征点的图像区域重新提取特征点；
(2.4)根据特征点匹配的结果构建特征点的轨迹。
进一步地，在本发明的一个实施例中，所述步骤(2.4)中特征点的轨迹是指一个特征点在一段连续子序列的每一帧上的匹配点构成的集合。
在本发明的一个实施例中，所述步骤(3)具体包括：
(3.1)清空关键帧队列，并将视频序列的第一帧作为初始关键帧加入关键帧队列；
(3.2)设置搜索起始帧为关键帧队列的最后一帧，然后将当前帧初始化为搜索起始帧；
(3.3)判断当前帧是否是视频序列的最后一帧。如果是，则执行步骤(3.7)，如果不是，则当前帧沿视频序列向后移动一帧；
(3.4)根据搜索起始帧和当前帧之间的匹配计算基础矩阵，统计满足极线几何约束的匹配点的数量，并将不满足该约束的匹配剔除；
(3.5)根据搜索起始帧和当前帧之间的匹配计算单应变换矩阵，统计满足单应变换矩阵约束的匹配点数量占所有匹配点数量的比例；
(3.6)判断搜索起始帧和当前帧之间满足极线几何约束的匹配点数量是否小于预先设定的阈值，判断搜索起始帧和当前帧之间满足单应变换的匹配点比例是否小于一个阈值。如果二者满足其一，即终止当前向后搜索过程，把当前帧作为新的关键帧加入关键帧队列的尾部，并执行步骤(3.2)；如果二者皆不满足，则执行步骤(3.3)。
(3.7)关键帧选取过程结束,返回关键帧队列。
在本发明的一个实施例中，所述步骤(4)具体包括：
(4.1)从关键帧队列中取出前两个关键帧，计算其对应的相机参数的初始值和三维点云的初始坐标；
(4.2)对起始两个关键帧的相机参数和重建得到的点云坐标进行调整，得到优化后的相机参数和点云坐标；
(4.3)判断关键帧队列是否为空。如果关键帧队列不为空，从关键帧队列的队首取出一个关键帧。如果为空，执行步骤(4.6)；
(4.4)估计新添加的关键帧对应的相机参数初始值，并添加新的三维点云；
(4.5)对当前所有已重建的所有的相机参数和点云坐标进行调整，得到优化后的相机参数和点云坐标，跳转至步骤(4.3)；
(4.6)根据估计的相机参数，利用PMVS算法生成稠密的人体三维点云模型。
在本发明的一个实施例中，所述步骤(5)具体包括：
(5.1)根据标准人体模型所包含的三维点的数量，对重建得到的三维点云进行稀疏采样；
(5.2)通过人机交互分别在重建得到的三维点云和标准人体模型上标记若干对对应的三维点作为控制点；
(5.3)进行点云的初始配准。标准人体模型上的每一个点用一个空间仿射变换向重建得到的三维点云映射，计算并最小化一个包含两项的能量函数。第一项是控制点拟合数据项，该项约束经过仿射变换以后，对应控制点的距离应当尽可能地小。第二项是变换平滑项，该项控制标准人体模型上相邻的三维点的仿射变换尽可能地相似。这两项的权重系数分别为a和b。
(5.4)接下来进行点云的局部精确配准。除了考虑控制点拟合数据项和变换平滑项，还引入能量函数的第三项：所有点拟合数据项。该项首先寻找标准人体模型上的每个三维点在重建得到的三维点云中的最近邻，并最小化标准人体模型上的每个三维点经过仿射变换映射后和其在重建得到的三维点云中最近邻点的距离。以上三项对应的权重系数分别为a、b和c。
(5.5)为了获得更精确的映射结果，采用迭代执行精确配准的策略。首先判断迭代次数是否达到上限阈值，如果是，则执行步骤(5.6)，如果不是，则保持a不变，减小b和c的值，执行步骤(5.4)。
(5.6)结束当前过程，返回映射后的结果。
按照本发明实施的人体重建完全依赖于计算机视觉技术，其过程相较已有方法得到简化，从数据输入到模型输出仅需在模板映射之前人工标记若干对控制点，其它过程全部实现了自动化处理。实验设备价格低廉、易于操作，重建使用的数据形式单一、采集方便。重建结果在精确度、完整度等指标上都有较大改善，不仅能精确反映人体各个部位的真实尺寸，并能有效解决由于人体自身遮挡和纹理信息缺失导致重建结果易出现空洞的问题。
附图说明
图1为本发明方法的总体流程图；
图2为本发明一实施例中特征点轨迹的说明示意图；
图3为本发明一实施例中关键帧选取的流程图；
图4为本发明一实施例中相机参数估计和稠密点云模型生成的流程图；
图5为本发明一实施例中模板映射的流程图；
图6为本发明一实施例中控制点标记位置示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
该方法涉及到特征点匹配、多视图几何、三维重建、点集配准、能量优化等技术，可直接用于从视频序列中恢复完整、精确和真实的人体三维表面模型，进而用于游戏和动画设计、影视特效以及个性化虚拟试衣等。
图1展示了本发明的总体流程图。从图1可以看出，作为输入的视频数据需要经过特征匹配、关键帧选取、三维点云生成、模板映射、纹理映射等几个步骤，得到最终的完整的人体模型。其具体实施方式如下：
(1)人体视频数据准备。
被测者A身穿印有丰富纹理图案(具体地，可以是黑白棋盘网格)的紧身衣保持站立姿势不动。被测者的双臂不应自然下垂或紧贴身体，应保持伸直姿态并向身体两侧略微张开25至50度；同样地，被测者的双腿不应并拢，应保持直立姿态并分开与肩同宽。测量者B使用手机或数码相机围绕被测者A拍摄一段视频。
(2)对视频中相邻的两帧图像进行特征提取与匹配，根据匹配在时序和空序的对应关系，构建特征点的轨迹。
优选地，在本发明的一个实施例中，图像特征点提取采用Harris角点检测算法，特征点匹配可选用LK(Lucas-Kanade)或者KLT(Kanade-Lucas-Tomasi)光流跟踪算法。除此之外，本发明中使用的特征点还可以任意选用具有局部显著性和稳定性的特征如二值鲁棒尺度不变特征点(BRISK,Binary Robust Invariant Scalable Keypoints)、加速分割试验特征(FAST,Features from Accelerated Segment Test)和加速稳健特征(SURF,Speed UpRobust Feature)等。
(2.1)在视频第一帧上提取Harris角点，并对角点响应值进行排序，剔除角点响应值最低的α％个角点。优选地，在本发明的一个实施例中，α＝20。接下来，利用光流法跟踪角点，得到在下一帧上角点位置的预测值。
(2.2)为了减少噪声的干扰，需要计算以下四项指标来过滤不可靠的跟踪结果，同时满足四项指标的跟踪结果将被保留。第一项指标是零均值归一化互相关系数(ZNCC,Zero-based Normalized Cross Correlation)相似性得分，度量匹配特征点在前后两帧上的局部邻域的相似性，相似性大于预设阈值的跟踪结果为可靠结果；第二项指标是前向-后向(Forward-Backward，FB)跟踪误差,度量的是一个特征点跟踪到下一帧后再反向跟踪到当前帧上位置发生的偏移，该误差小于预设阈值的跟踪结果为可靠结果；第三项指标是Harris角点响应值，度量跟踪到的特征点所在位置是否仍然位于角点处，该值大于预设阈值的跟踪结果为可靠结果；第四项指标是几何约束得分，用当前匹配结果估计一个仿射变换，计算每对匹配在该变换下的几何误差，误差小于预设阈值的跟踪结果为可靠结果。
(2.3)随着新的场景进入视野，以及当前不可靠的跟踪结果被剔除，保留在图像上的角点越来越少，因此需要在图像空白区域重新提取Harris角点。首先生成一个图像掩模模板MSK，其元素全部为1。把MSK上所有已存在的特征点周围l×l的区域置为0，得到不包含特征点的空白区域掩模模板。在空白区域按照步骤(2.1)所述方法重新提取新的角点用于下一步跟踪。
(2.4)根据特征点匹配的结果构建特征点的轨迹。如图2所示，特征点的轨迹是指一个特征点在一段连续子序列的每一帧上的匹配点构成的集合。图2分别展示了用圆形、三角形和正方形表示的3个具有不同长度的特征点轨迹，它们之间的匹配关系分别用实线、点划线和虚线表示。
(3)对视频进行关键帧的抽取。
现代数码摄像机的帧率一般都在30fps，因此一段视频中包含的图像数量非常大。然而，由于这些图像在时间和空间上的相关性，我们没有必要使用全部图像进行重建，因此需要对视频进行处理分析，剔除冗余信息，抽取视频中对重建有正效应的关键帧，用这些关键帧重建人体三维模型。关键帧的选取应当满足两个约束条件：第一个是匹配点个数约束，即相邻两个关键帧之间有足够多的匹配，以便有足够多的数据对几何模型进行估计；第二个是基线宽度约束，即相邻两个关键帧的基线尽可能宽，以保证重建结果具有较高的精度。图3描述了本发明一实施例中关键帧选取的过程。
(3.1)在关键帧选取算法开始时，清空关键帧队列，并将视频序列的第一帧作为初始关键帧加入关键帧队列；
(3.2)设置搜索起始帧为关键帧队列的最后一帧，然后将当前帧初始化为搜索起始帧；
(3.3)判断当前帧是否是视频序列的最后一帧。如果是，则执行步骤(3.7)，如果不是，则当前帧沿视频序列向后移动一帧；
(3.4)根据搜索起始帧和当前帧之间的匹配计算基础矩阵，统计满足极线几何约束的匹配点的数量n，并将不满足该约束的匹配剔除；
(3.5)根据搜索起始帧和当前帧之间的匹配计算单应变换矩阵，统计满足单应变换矩阵约束的匹配点数量占所有匹配点数量的比例r；
(3.6)判断搜索起始帧和当前帧之间满足极线几何约束的匹配点数量n是否小于预先设定的阈值N，判断搜索起始帧和当前帧之间满足单应变换的匹配点比例r是否小于一个阈值R。如果二者满足其一，即终止当前向后搜索过程，把当前帧作为新的关键帧加入关键帧队列的尾部，并执行步骤(3.2)；如果二者皆不满足，则执行步骤(3.3)。
(3.7)关键帧选取算法结束。
优选地，在本发明的一个实施例中，所述步骤(3.4)和(3.5)中估计基础矩阵和单应变换矩阵所沿用的方法为随机抽样一致性算法(RANdom SAmple Consensus，RANSAC)。
(4)根据特征点轨迹估计相机参数并利用点云扩展算法得到稠密三维点云模型。
根据步骤(3)选取的视频序列中的关键帧进行重建，大大减少了数据处理的规模并提高了算法的鲁棒性。该步骤包含相机参数估计和稠密三维点云生成两个主要模块，在本发明的一个实施例中，相机参数的估计采用增量式的SFM策略，稠密三维点云的生成采用基于面片的多视图立体匹配算法(Patch-based Multi-View Stereo,PMVS)。图4描述了该步骤的详细流程。
(4.1)从关键帧队列中取出前两个关键帧，根据特征点的轨迹计算其对应的相机参数的初始值和三维点云的初始坐标；
(4.2)对起始两个关键帧的相机参数和重建得到的点云坐标进行调整，得到优化后的相机参数和点云坐标；
(4.3)判断关键帧队列是否为空。如果关键帧队列不为空，继续从关键帧队列的队首取出一个关键帧。如果为空，执行步骤(4.7)；
(4.4)根据特征点的轨迹估计新添加的关键帧对应的相机参数初始值，并添加新的三维点云的初始位置；
(4.5)对当前所有已重建的所有的相机参数和点云坐标进行调整，得到优化后的相机参数和点云坐标，跳转至步骤(4.3)；
(4.6)根据估计的相机参数，利用PMVS算法生成稠密的人体三维点云模型。
优选地，在本发明的一个实施例中，所述步骤(4.2)和(4.5)中调整相机参数和点云坐标的算法采用稀疏集束调整算法(Sparse Bundle Adjustment，SBA)。
(5)将预先制备的标准人体模型向重建得到的点云模型映射，最终得到完整光滑的人体表面模型。
由于人体缺乏丰富的纹理信息和人体自身的相互遮挡，按照步骤(4)得到的稠密人体三维点云模型会不可避免地包含噪声点和空洞。为了得到精确的、完整的人体表面模型，本发明采用将预先制备的标准人体模型向重建得到的点云模型映射的方式来修复重建的点云模型。标准人体模型是一个网格模型，包含三维顶点和顶点之间的边的信息。该模型既可以通过激光扫描仪扫描获得，也可以通过三维建模软件建模获得。标准人体模型上的每一个点通过一个空间仿射变换向重建得到的点云模型映射，其过程实质上是一个点集配准过程。如图5展示了具体的施步骤。
(5.1)对重建得到的点云模型进行降采样。
重建得到的点云模型所包含的三维点和标准人体模型包含的三维点在数量上可能有较大差异，一般来说，重建得到的点云模型包含的三维点数量多于标准人体模型包含的三维点数量。因此，需要对重建得到的点云模型进行降采样。优选地，在本发明的一个实施例中，降采样后的点云数量应该是标准人体模型点云数量的2至3倍。
(5.2)在标准人体模型和重建得到的点云模型之间标记若干对控制点对，这些控制点将用于控制两个点集的初始对齐。图6从不同角度展示了控制点在人体的分布情况，共需标记37个控制点。
(5.3)标准人体模型和重建得到的点云模型进行初始配准。
初始配准的目的是通过约束控制点的映射，使标准人体模型和重建得到的点云模型能够在拓扑结构上保持对齐。首先计算控制点拟合数据项和变换平滑项，并给它们分配权值a和b，然后最小化包含这两项的能量函数。控制点拟合数据项计算所有控制点经过仿射变换以后和对应控制点的弗罗贝尼乌斯(Frobeniu)距离的和，以约束经映射后控制点应该尽可能地靠近。变换平滑项计算所有邻接点的仿射变换的弗罗贝尼乌斯(Frobeniu)距离之和，以约束相邻的三维点映射到空间相近的位置。
优选地，在本发明的一个实施例中，a＝105，b＝10-2。
(5.4)标准人体模型和重建得到的点云模型进行精确配准。
初始配准仅能保证点云模型在拓扑结构上保持对齐，因此还需要进一步进行精确的配准来保持局部的细节信息。在计算控制点拟合数据项、变换平滑项的基础上，还需引入所有点拟合数据项。首先寻找标准人体模型上的每个三维点在重建得到的三维点云中的最近邻，然后计算所有三维点经过仿射变换以后和其在重建得到的三维点云中最近邻点的弗罗贝尼乌斯(Frobeniu)距离的和。最后最小化包含这三项的能量函数，每一项的权重分别是a，b和c。
优选地，在本发明的一个实施例中，a＝105，b＝10-2，c＝5。
(5.5)为了获得更精确的映射结果，采用迭代执行精确配准的策略。首先判断迭代次数是否达到上限阈值，如果是，则执行步骤(5.6)，如果不是，则保持a不变，减小b和c的值，执行步骤(5.4)。
(5.6)结束当前过程，返回映射后的结果。
(6)根据关键帧和对应的相机参数，对生成的人体表面模型进行纹理映射，输出最终重建结果。优选地，在本发明的一个实施例中，纹理映射方法使用两步纹理映射法。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种面向个性化虚拟试衣的真实人体三维建模方法，其特征在于，所述方法包括如下步骤：
(1)环绕人体采集视频，获取人体真实尺寸数据；
(2)对视频中相邻的两帧图像进行特征提取与匹配，根据匹配构建特征点的轨迹；
(3)对视频进行处理分析，剔除冗余信息，抽取视频中关键帧用于重建，其中关键帧的选取应当满足两个约束：即相邻两个关键帧之间有足够多的匹配，同时相邻两个关键帧的基线尽可能宽；所述步骤(3)具体包括：
(3.1)清空关键帧队列，并将视频序列的第一帧作为初始关键帧加入关键帧队列；
(3.2)设置搜索起始帧为关键帧队列的最后一帧，然后将当前帧初始化为搜索起始帧；
(3.3)判断当前帧是否是视频序列的最后一帧；如果是，则执行步骤(3.7)，如果不是，则当前帧沿视频序列向后移动一帧；
(3.4)根据搜索起始帧和当前帧之间的匹配计算基础矩阵，统计满足极线几何约束的匹配点的数量，并将不满足该约束的匹配剔除；
(3.5)根据搜索起始帧和当前帧之间的匹配计算单应变换矩阵，统计满足单应变换矩阵约束的匹配点数量占所有匹配点数量的比例；
(3.6)判断搜索起始帧和当前帧之间满足极线几何约束的匹配点数量是否小于预先设定的阈值，判断搜索起始帧和当前帧之间满足单应变换的匹配点比例是否小于一个阈值，如果二者满足其一，即终止当前向后搜索过程，把当前帧作为新的关键帧加入关键帧队列的尾部，并执行步骤(3.2)；如果二者皆不满足，则执行步骤(3.3)；
(3.7)关键帧选取过程结束,返回关键帧队列；
(4)根据特征点的轨迹估计并优化所有关键帧的相机参数，得到轨迹对应的稀疏的三维点云，并通过点云在三维空间中的扩展得到稠密的人体三维点云模型；
(5)将预先制备的标准人体模型向重建得到的点云模型映射，映射过程中允许发生一定程度的姿态变化和表面形状变化，以便标准模型能最大程度地拟合重建模型，最终得到完整光滑的人体表面模型；
(6)根据关键帧和对应的相机参数，对生成的人体表面模型进行纹理映射，得到最终重建结果。
2.如权利要求1所述的方法，其特征在于，所述步骤(2)具体包括：
(2.1)在视频第一帧上提取特征点，并利用光流法对其进行跟踪，得到在下一帧上特征点位置的预测值；
(2.2)为了减少噪声的干扰，需要通过可靠性验证来过滤不可靠的跟踪结果；
(2.3)随着新的场景进入视野，需要在没有特征点的图像区域重新提取特征点；
(2.4)根据特征点匹配的结果构建特征点的轨迹。
3.如权利要求1或2所述的方法，其特征在于，所述步骤(4)具体包括：
(4.1)从关键帧队列中取出前两个关键帧，计算其对应的相机参数的初始值和三维点云的初始坐标；
(4.2)对起始两个关键帧的相机参数和重建得到的点云坐标进行调整，得到优化后的相机参数和点云坐标；
(4.3)判断关键帧队列是否为空；如果关键帧队列不为空，从关键帧队列的队首取出一个关键帧；如果为空，执行步骤(4.6)；
(4.4)估计新添加的关键帧对应的相机参数初始值，并添加新的三维点云；
(4.5)对当前所有已重建的所有的相机参数和点云坐标进行调整，得到优化后的相机参数和点云坐标，跳转至步骤(4.3)；
(4.6)根据估计的相机参数，利用PMVS算法生成稠密的人体三维点云模型。
4.如权利要求1或2所述的方法，其特征在于，所述步骤(5)具体包括：
(5.1)根据标准人体模型所包含的三维点的数量，对重建得到的三维点云进行稀疏采样；
(5.2)通过人机交互分别在重建得到的三维点云和标准人体模型上标记若干对对应的三维点作为控制点；
(5.3)进行点云的初始配准；标准人体模型上的每一个点用一个空间仿射变换向重建得到的三维点云映射，计算并最小化一个包含两项的能量函数；第一项是控制点拟合数据项，该项约束经过仿射变换以后，对应控制点的距离应当尽可能地小；第二项是变换平滑项，该项控制标准人体模型上相邻的三维点的仿射变换尽可能地相似；这两项的权重系数分别为a和b；
(5.4)进行点云的局部精确配准；除了考虑控制点拟合数据项和变换平滑项，还引入能量函数的第三项：所有点拟合数据项；该项首先寻找标准人体模型上的每个三维点在重建得到的三维点云中的最近邻，并最小化标准人体模型上的每个三维点经过仿射变换映射后和其在重建得到的三维点云中最近邻点的距离；以上三项对应的权重系数分别为a、b和c；
(5.5)为了获得更精确的映射结果，采用迭代执行精确配准的策略；首先判断迭代次数是否达到上限阈值，如果是，则执行步骤(5.6)，如果不是，则保持a不变，减小b和c的值，执行步骤(5.4)；
(5.6)结束当前过程，返回映射后的结果。
5.如权利要求1或2所述的方法，其特征在于，所述步骤(1)具体为：
被测者A身穿印有丰富纹理图案的紧身衣保持站立姿势不动；被测者的双臂应保持伸直姿态并向身体两侧略微张开25至50度；同样地，被测者的双腿应保持直立姿态并分开与肩同宽；测量者B使用手机或数码相机围绕被测者A拍摄一段视频。
6.如权利要求1或2所述的方法，其特征在于，所述步骤(2)中图像特征点提取采用Harris角点检测算法，特征点匹配选用LK(Lucas-Kanade)或者KLT(Kanade-Lucas-Tomasi)光流跟踪算法。
7.如权利要求1或2所述的方法，其特征在于，所述步骤(2)中特征点选用具有局部显著性和稳定性的特征，包括二值鲁棒尺度不变特征点(BRISK,Binary Robust InvariantScalable Keypoints)、加速分割试验特征(FAST,Features from Accelerated SegmentTest)和加速稳健特征(SURF,Speed Up Robust Feature)。
8.如权利要求2所述的方法，其特征在于，在所述步骤(2.2)中计算以下四项指标来过滤不可靠的跟踪结果，同时满足四项指标的跟踪结果将被保留：第一项指标是零均值归一化互相关系数(ZNCC,Zero-based Normalized Cross Correlation)相似性得分，度量匹配特征点在前后两帧上的局部邻域的相似性，相似性大于预设阈值的跟踪结果为可靠结果；第二项指标是前向-后向(Forward-Backward，FB)跟踪误差,度量的是一个特征点跟踪到下一帧后再反向跟踪到当前帧上位置发生的偏移，该误差小于预设阈值的跟踪结果为可靠结果；第三项指标是Harris角点响应值，度量跟踪到的特征点所在位置是否仍然位于角点处，该值大于预设阈值的跟踪结果为可靠结果；第四项指标是几何约束得分，用当前匹配结果估计一个仿射变换，计算每对匹配在该变换下的几何误差，误差小于预设阈值的跟踪结果为可靠结果。
9.如权利要求1所述的方法，其特征在于，所述步骤(3.4)和(3.5)中估计基础矩阵和单应变换矩阵所沿用的方法为随机抽样一致性算法(RANdom SAmple Consensus，RANSAC)。
CN201510397321.4A 2015-07-08 2015-07-08 一种面向个性化虚拟试衣的真实人体三维建模方法 Expired - Fee Related CN104992441B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510397321.4A CN104992441B (zh) 2015-07-08 2015-07-08 一种面向个性化虚拟试衣的真实人体三维建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510397321.4A CN104992441B (zh) 2015-07-08 2015-07-08 一种面向个性化虚拟试衣的真实人体三维建模方法

Publications (2)

Publication Number Publication Date
CN104992441A CN104992441A (zh) 2015-10-21
CN104992441B true CN104992441B (zh) 2017-11-17

Family

ID=54304249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510397321.4A Expired - Fee Related CN104992441B (zh) 2015-07-08 2015-07-08 一种面向个性化虚拟试衣的真实人体三维建模方法

Country Status (1)

Country Link
CN (1) CN104992441B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766464A (zh) * 2019-01-15 2019-05-17 广州唯品会研究院有限公司 体型样本数据库的生成方法、装置及计算机可读存储介质

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105551086B (zh) * 2015-12-04 2018-01-02 华中科技大学 一种基于计算机视觉的个性化脚部建模与鞋垫定制方法
CN107194984A (zh) * 2016-03-14 2017-09-22 武汉小狮科技有限公司 移动端实时高精度三维建模方法
CN105825539A (zh) * 2016-03-16 2016-08-03 成都电锯互动科技有限公司 一种三维动画制作方法
US11024088B2 (en) * 2016-05-27 2021-06-01 HoloBuilder, Inc. Augmented and virtual reality
CN107316338B (zh) * 2016-06-12 2020-05-19 中国石油化工股份有限公司 石化企业智能巡检中装置三维空间快速构建方法
CN106327570B (zh) * 2016-08-16 2019-04-12 华中科技大学 一种基于脚部三维模型的定制鞋垫模型生成方法和系统
CN106844289A (zh) * 2017-01-22 2017-06-13 苏州蜗牛数字科技股份有限公司 基于手机摄像头扫描环境进行建模的方法
CN106952334B (zh) * 2017-02-14 2019-08-30 深圳奥比中光科技有限公司 人体净模型的创建方法与三维试衣系统
CN110503681B (zh) * 2017-02-14 2022-03-29 奥比中光科技集团股份有限公司 人体模型自动创建方法及三维试衣系统
CN107204025B (zh) * 2017-04-18 2019-10-18 华北电力大学 基于视觉感知的自适应服装动画建模方法
CN107274480B (zh) * 2017-06-06 2021-07-20 山东大学深圳研究院 基于随机抽样一致性的对象运动特性重建方法
CN107270829B (zh) * 2017-06-08 2020-06-19 南京华捷艾米软件科技有限公司 一种基于深度图像的人体三围测量方法
CN107341844A (zh) * 2017-06-21 2017-11-10 上海大学 一种基于多Kinect的实时三维人体绘制方法
WO2019065784A1 (ja) * 2017-09-29 2019-04-04 Ｎｅｃソリューションイノベータ株式会社 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体
CN108230431B (zh) * 2018-01-24 2022-07-12 深圳市云之梦科技有限公司 一种二维虚拟形象的人体动作动画生成方法及系统
CN108734022B (zh) * 2018-04-03 2021-07-02 安徽师范大学 基于三维网格划分的隐私保护轨迹数据发布方法
CN108830925B (zh) * 2018-05-08 2020-09-15 中德（珠海）人工智能研究院有限公司 一种基于球幕视频流的三维数字化建模方法
CN109242950B (zh) * 2018-07-11 2023-05-02 天津大学 多人紧密交互场景下的多视角人体动态三维重建方法
CN109102472A (zh) * 2018-07-23 2018-12-28 上海滚滚文化传播有限公司 一种三维仿二维建模渲染后制作漫画特效的方法
CN109377564B (zh) * 2018-09-30 2021-01-22 清华大学 基于单目深度相机的虚拟试衣方法及装置
CN110060329B (zh) * 2019-01-15 2023-03-10 叠境数字科技（上海）有限公司 一种基于彩色深度视频流数据的移动端人体模型重建方法
CN109685040B (zh) * 2019-01-15 2021-06-29 广州唯品会研究院有限公司 形体数据的测量方法、装置以及计算机可读存储介质
CN109508708B (zh) * 2019-01-15 2021-11-16 广州唯品会研究院有限公司 形体数据的测量方法、装置以及计算机可读存储介质
CN109816784B (zh) * 2019-02-25 2021-02-23 盾钰（上海）互联网科技有限公司 三维重构人体的方法和系统及介质
CN111862296B (zh) * 2019-04-24 2023-09-29 京东方科技集团股份有限公司 三维重建方法及装置、系统、模型训练方法、存储介质
CN110189202A (zh) * 2019-05-30 2019-08-30 广东元一科技实业有限公司 一种三维虚拟试衣方法及系统
CN110769261A (zh) * 2019-06-28 2020-02-07 叠境数字科技（上海）有限公司 一种三维动态序列模型的压缩编码方法
CN110363862B (zh) * 2019-07-15 2023-03-10 叠境数字科技（上海）有限公司 基于人体模板对齐的三维网格序列压缩方法
CN110827342B (zh) * 2019-10-21 2023-06-02 中国科学院自动化研究所 三维人体模型重建方法及存储设备、控制设备
CN110930503B (zh) * 2019-12-05 2023-04-25 武汉纺织大学 一种服装三维模型建立方法、系统、存储介质及电子设备
CN111079765B (zh) * 2019-12-13 2022-07-01 电子科技大学 一种基于深度图的稀疏点云稠密化及路面去除方法
CN111127633A (zh) * 2019-12-20 2020-05-08 支付宝(杭州)信息技术有限公司 三维重建方法、设备以及计算机可读介质
CN112085849A (zh) * 2020-07-28 2020-12-15 航天图景（北京）科技有限公司 基于航拍视频流的实时迭代三维建模方法、系统及可读介质
CN112348958A (zh) * 2020-11-18 2021-02-09 北京沃东天骏信息技术有限公司 关键帧图像的采集方法、装置、系统和三维重建方法
CN112365589B (zh) * 2020-12-01 2024-04-26 东方梦幻虚拟现实科技有限公司 一种虚拟三维场景展示方法、装置及系统
CN113177977B (zh) * 2021-04-09 2022-06-10 上海工程技术大学 一种非接触式三维人体尺寸的测量方法
CN113989434A (zh) * 2021-10-27 2022-01-28 聚好看科技股份有限公司 一种人体三维重建方法及设备
CN115035238B (zh) * 2022-04-25 2024-06-11 Oppo广东移动通信有限公司 人体重建插帧方法及相关产品
CN115578523B (zh) * 2022-11-21 2023-03-10 慧医谷中医药科技(天津)股份有限公司 一种多角度图像融合的舌部三维建模方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573180A (zh) * 2014-12-02 2015-04-29 浙江工业大学 基于单目多视角机器视觉的真人鞋型复制装置和鞋楦制造方法
CN104732586A (zh) * 2015-03-24 2015-06-24 中国人民解放军国防科学技术大学 一种三维人体动态形体和三维运动光流快速重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9202278B2 (en) * 2011-08-19 2015-12-01 Adobe Systems Incorporated Plane-based self-calibration for structure from motion

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573180A (zh) * 2014-12-02 2015-04-29 浙江工业大学 基于单目多视角机器视觉的真人鞋型复制装置和鞋楦制造方法
CN104732586A (zh) * 2015-03-24 2015-06-24 中国人民解放军国防科学技术大学 一种三维人体动态形体和三维运动光流快速重建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Human Motion: Modeling and Recognition of Actions and Interactions;J.K. Aggarwal 等;《Proceedings of the 2nd International Symposium on 3D Data Processing, Visualization, and Transmission》;20040909;1-7 *
三维试衣系统人体建模方法总结与系统前景展望;王建一 等;《价值工程》;20110528;170-171 *
基于多视角立体视觉的植株三维重建与精度评估;胡鹏程 等;《农业工程学报》;20150608;第31卷(第11期);209-214 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766464A (zh) * 2019-01-15 2019-05-17 广州唯品会研究院有限公司 体型样本数据库的生成方法、装置及计算机可读存储介质
CN109766464B (zh) * 2019-01-15 2021-08-17 广州唯品会研究院有限公司 体型样本数据库的生成方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
CN104992441A (zh) 2015-10-21

Similar Documents

Publication Publication Date Title
CN104992441B (zh) 一种面向个性化虚拟试衣的真实人体三维建模方法
CN108154550B (zh) 基于rgbd相机的人脸实时三维重建方法
CN104680582B (zh) 一种面向对象定制的三维人体模型创建方法
CN105631861B (zh) 结合高度图从无标记单目图像中恢复三维人体姿态的方法
CN103733227B (zh) 三维对象建模拟合与跟踪
CN112001926B (zh) 基于多维语义映射rgbd多相机标定方法、系统及应用
CN109872397A (zh) 一种基于多目立体视觉的飞机零件的三维重建方法
CN103839277B (zh) 一种户外大范围自然场景的移动增强现实注册方法
CN110148217A (zh) 一种实时三维重建方法、装置及设备
CN105787439A (zh) 一种基于卷积神经网络的深度图像人体关节定位方法
CN106097348A (zh) 一种三维激光点云与二维图像的融合方法
CN106952335B (zh) 建立人体模型库的方法及其系统
Hu et al. 3DBodyNet: fast reconstruction of 3D animatable human body shape from a single commodity depth camera
CN105913444B (zh) 基于软激光测距的牲畜体型轮廓重构方法及体况评分方法
CN102178530A (zh) 基于三维点云数据的人体尺寸自动测量方法
CN104915978A (zh) 基于体感相机Kinect的真实感动画生成方法
CN101393497A (zh) 基于双目立体视觉的多点触摸方法
CN106952334B (zh) 人体净模型的创建方法与三维试衣系统
CN104376599A (zh) 一种简便的三维头部模型生成系统
CN109655011B (zh) 一种人体建模维度测量的方法及系统
CN111047678B (zh) 一种三维人脸采集装置和方法
CN108629828B (zh) 三维大场景的移动过程中的场景渲染过渡方法
CN108010122A (zh) 一种人体三维模型重建与测量的方法及系统
WO2022240745A1 (en) Methods and systems for representing a user
CN115131504A (zh) 一种宽视场大场景下的多人三维重建方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171117

Termination date: 20190708