CN108053482A - 一种基于手机扫描的人体3d建模方法 - Google Patents

一种基于手机扫描的人体3d建模方法 Download PDF

Info

Publication number
CN108053482A
CN108053482A CN201810112678.7A CN201810112678A CN108053482A CN 108053482 A CN108053482 A CN 108053482A CN 201810112678 A CN201810112678 A CN 201810112678A CN 108053482 A CN108053482 A CN 108053482A
Authority
CN
China
Prior art keywords
mobile phone
human body
image
scanning
tsdf
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810112678.7A
Other languages
English (en)
Inventor
喻强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201810112678.7A priority Critical patent/CN108053482A/zh
Publication of CN108053482A publication Critical patent/CN108053482A/zh
Priority to CN201810927926.3A priority patent/CN109147051B/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于手机扫描的人体3D建模方法，该方法应用在手机上，该方法包括以下步骤：S1:生成TSDF 3D网格模型；S2:密集图像校准:S3：关键帧选择:S4：密集图像匹配，生成深度图像S5：体积网格模型更新:S6:在手机屏幕上生成人体2D图像。本发明利用手机自带的摄像头对人体进行三维建模，无需任何附带设备同时利用手机自身的计算能力可以完成人体的三维建模计算工作；利用人体对称原理，只要扫描了半边身体，系统就会自动将整个人体的三维生成；大大节省使用者的扫描时间，当使用者一只手在拿着手机，不方便扫描也不会受影响；不用消费者填写任何资料，操作简单，成本低。

Description

一种基于手机扫描的人体3D建模方法
技术领域
本发明属于3D建模领域，具体涉及一种基于手机扫描的人体3D建模方法。
背景技术
在服饰领域给人体建三维(3D)模型是进行三维虚拟试衣，三维虚拟现实(VR)等应用的基础。
目前国内主要采用以下几种方法来实现。
第一种：三维(3D)软件建模。
第二种：三维(3D)扫描建模。
第三种：模特替换法。
第一种利用三维(3D)软件建立人体三维模型需要利用3D软件工具对模型进行修改塑性。很难在短时间内自动得到与个体对象体型一致的三维模型。因为太耗时，使用者要等待太久，所以在服饰的线上虚拟试衣等应用上，此种建模方式很难被推广商用。
第二种利用三维(3D)扫描建模。需要用专业的3D扫描设备进行扫描。这种方式获得的模型数据最准确的反映了被测对象的体型。但是需要昂贵和体积较大的3D扫描仪设备的支持。最典型的商用(用于虚拟试衣的人体三维建模)是Mirror Display(魔镜展示)。就是在大型模拟试衣镜框里安装几台传感器和立体扫描仪，当用户走到镜前时，抓取人体身材数据(立体扫描)即时生成三维人体模型，然后用于下一步的虚拟试衣。从中我们可以看到，因为扫描设备太大。只能在服饰领域的实体店安装使用。根本不适合在网上虚拟试衣所需要的人体三维建模。用途受到极大局限。
第三种模特替换法(要是利用3D软件进行模型仿真)有三种替换方式：替换一：少量固定模特替换。就是用几具固定的模特，用户可在移动终端选择一具看上去比较接近自己体形的固定模特进行置换(固定模特用具事先已经过了3D扫描建模)。因为可供选择的固定模特类型有限，很难满足大众不同型体的需要，而且消费者自己也很难判断哪一个模特与自己体型相近，替换后与真人相差甚远，这也是目前普及不了的原因。替换二：这是一种模型仿真方法，其做法是用计算机系统事先搜集大量的人体资料，建立人体数据库。(这些录入的人体模特已经建立了三维人体模型)。将用户资料去数据库中比对相近的体形再置换本人的头部而得到的三维模型。其做法是利用事先录好1万多中国女性人体建立人体模型。然后将这些模型建立后台人体数据库。使用者准备好自己的正面相片，填写25项左右的个人身材资料(比如身高、体重、三围等等与个人相片一并上传，通过这些个人的身材数据信息在人体数据库中找到最接近你的目标模特进行替换而生成的个人人体三维模型。这种方法虽然逼真度可以大幅提高，但是用户要填写输入大量的个人身材资料，有些数据用户还要通过其它方法取得，用户会觉得太繁琐，麻烦。同时提供商也要花费大量的人力、时间去建立庞大的人体数据库。替换三、替换二的变形，也是一种模型仿真方法，事先3D录入大量人体模特建立人体数据库，将数据库中的人体关节，肢体数据化后尽量拼接到与取得的被测量人外型接近而生成的被测量者人体模型。这是上述替换二的变形。申请号CN201710132436X就是使用的这个方法来实现人体三维建模的。操作流程是用手机在一定距离拍二张清晰的正面照和侧面轮廓照，简单填写几项本人身体资料，然后一并上传。后台系统利用得到的身体数据资料和轮廓照片和正面照片，与数据库中的资料匹配拼接而生成被测量者的人体三维模型。此方法虽然用户要填写的项目减少了一些，但是其它方面产生的缺陷更大。为了取得清晰可用的轮廓照片，首先要求拍照者拍照时要有一定的距离。这使自拍变得很困难。其次要求拍照者必须穿深色紧身衣物。使用者应该是会非常抗拒这种方式的。未来的推广使用前景堪忧。
发明内容
为了克服现有技术的不足，本发明提供了一种基于手机扫描的人体3D建模防范。
本发明的技术方案是这样实现的：一种基于手机扫描的人体3D建模方法，该方法应用在手机上，该方法包括以下步骤：
S1:生成TSDF 3D网格模型:
S1-1：采用深度重建的算法估算手机摄像头每个时间点的位置和朝向；
S1-2：基于立体匹配算法，通过采用手机摄像头拍摄同一场景下不同角度的一组图像来获得该场景深度图像；
S1-3：通过S1-1和S1-2获取的计算摄像头的位置和朝向以及深度图像通过坐标转换得到相关的点云数据，所述点云数据是指扫描资料以点的形式记录，每一个点包含有三维坐标，用来代表一个物体外表面形状；
S1-4：采用TSDF算法对得到的点云数据进行融合处理，得到TSDF 3D网格模型；
S2:密集图像校准:采用深度浮点重建算法在扫描场景中追踪手机摄像头使得手机摄像头的位置和上一次摄像头位置对准对齐,获得手机摄像头位置的追踪结果,得到手机的运动轨迹；
S3：关键帧选择:通过S2得到手机的运动轨迹后，从手机运动轨迹中选择一个关键帧和当前图像进行比对，采用立体匹配算法生成当前视角的深度图像；
S4：密集图像匹配，生成深度图像:计算手机运动轨迹中任意两帧图像上毎个点的对应关系以及所述两帧图像拍摄位置之间的关系，通过对极几何生成整体深度图像；
S5：体积网格模型更新:将S2和S3得到当前视角的深度图像和整体深度图像导入到体积网格模型中对TSDF 3D网格模型进行更新得到不同视角的深度图像融合；
S6:生成2D图像:把更新后的的TSDF 3D网格模型映射到手机的2D的当前摄像头位置上，在手机屏幕上生成2D图像。
所述关键帧选择步骤中选择的关键帧和当前图像满足以下要求：
关键帧和当前人体图像的重叠部分越多越好；当前人体图像中远方的背景不计算；根据人体对称原理对当前人体图像采用镜像对称处理，计算一半图像，另一半进行复制。
本发明的有益效果：本发明利用手机自带的摄像头对人体进行三维建模，无需任何附带设备同时利用手机自身的计算能力可以完成人体的三维建模计算工作；利用人体对称原理，只要扫描了半边身体，系统就会自动将整个人体的三维生成；大大节省使用者的扫描时间，当使用者一只手在拿着手机，不方便扫描也不会受影响；不用消费者填写任何资料，操作简单，成本低。
附图说明
图1是一种基于手机扫描的人体3D建模方法的方法原理图。
图2是一种基于手机扫描的人体3D建模方法的步骤流程图。
具体实施方式
下面对本发明的具体实施方式作进一步说明：
如图1-2所示，一种基于手机扫描的人体3D建模方法，该方法应用在手机上，该方法包括以下步骤：
一种基于手机扫描的人体3D建模方法，该方法应用在手机上，该方法包括以下步骤：
S1:生成TSDF 3D网格模型:
S1-1：采用深度重建的算法估算手机摄像头每个时间点的位置和朝向；
S1-2：基于立体匹配算法，通过采用手机摄像头拍摄同一场景下不同角度的一组图像来获得该场景深度图像；
S1-3：通过S1-1和S1-2获取的计算摄像头的位置和朝向以及深度图像通过坐标转换得到相关的点云数据，所述点云数据是指扫描资料以点的形式记录，每一个点包含有三维坐标，用来代表一个物体外表面形状；
S1-4：采用TSDF算法对得到的点云数据进行融合处理，得到TSDF 3D网格模型；
在S1步骤中深度重建为Align Depth To Reconstruction，是现有的一种算法。
深度图像也叫距离图像，是指将从图像釆集器到场景中各点的距离(深度)值作为像素值的图像。它直接反映了景物可见表面的几何形状。
TSDF为truncated signed distance function的简称，中文意思是截断有符号距离函数或截短的符号距离函数。
TSDF模型将整个待重建的三维空间划分成网格，每个网格中存储了数值，网格模型中值的大小代表网格离重建好的表面的距离。重建好的表面到相机一侧都是正值，另一侧都是负值。网格点离重建好的表面距离越远绝对值越大。在网格模型中从正到负的穿越点表示重建好的场景的表面。采用这个方法用来更新每个小网格中的一个数值。该数值代表了该网格到模型表面的最近距离，也称为TSDF值。对于每个网格，在每一帧都会更新并汇录TSDF的值，然后再通过TSDF值还原出重建模型。这种方法通常被称为基于体数据的方法(volumetric based method)。该方法的核心思想是通过不断更新并融合(fusion)TSDF这种类型的测量值，我们能够越来越接近所需要的真实值。
S2:密集图像校准:采用深度浮点重建算法在扫描场景中追踪手机摄像头使得手机摄像头的位置和上一次摄像头位置对准对齐,获得手机摄像头位置的追踪结果,得到手机的运动轨迹；
S3：关键帧选择:通过S2得到手机的运动轨迹后，从手机运动轨迹中选择一个关键帧和当前图像进行比对，采用立体匹配算法生成当前视角的深度图像；
S4：密集图像匹配，生成深度图像:计算手机运动轨迹中任意两帧图像上毎个点的对应关系以及所述两帧图像拍摄位置之间的关系，通过对极几何生成整体深度图像；
S5：体积网格模型更新:将S2和S3得到当前视角的深度图像和整体深度图像导入到体积网格模型中对TSDF 3D网格模型进行更新得到不同视角的深度图像融合；
S6:生成2D图像:把更新后的的TSDF 3D网格模型映射到手机的2D的当前摄像头位置上，在手机屏幕上生成2D图像。
具体地，在所述S3关键帧选择步骤中选择的关键帧和当前图像满足以下要求：
关键帧和当前人体图像的重叠部分越多越好；当前人体图像中远方的背景不计算，这里的远方是指人体图像中离人体2米以外的场景；根据人体对称原理对当前人体图像采用镜像对称处理，计算一半图像，另一半进行复制。这样可以大大地节省运算量，提高速率。
S3步骤中的立体匹配算法主要是通过建立一个能量代价函数，通过此能量代价函数最小化来估计像素点视差值。立体匹配算法的实质就是一个最优化求解问题，通过建立合理的能量函数，增加一些约束。采用最优化理论的方法进行方程求解，这也是所有的病态问题求解方法。
另外，S4：密集图像匹配，生成深度图像中的对极几何(Epipolar Geometry)是指两个相机在不同的位置拍摄同一物体，如果两张照片中的景物有重叠的部分，我们有理由相信，这两张照片之间存在一定的对应关系。如何描述它们之间的对应关系，描述工具是对极几何。它是研究立体视觉的重要数学方法。
要寻找两幅图像之间的对应关系，最直接的方法就是逐点匹配，如果加以一定的约束条件对极约束(epipolar constraint)，搜索的范围可以大大减小。
本发明主要一种多图成像技术利用普通手机进行3D扫描，其中多图成像技术，类似于人眼的成像机制。
本发明要做的就将构建好的3D物体显示在2D屏幕坐标上。对于这一过程而言，坐标系转换顺序为：物体坐标系一世界坐标系一相机坐标系一投影坐标系一图像(像素)坐标系。
我们将手机扫描后获取的3D信息由相机坐标系降维到(2维)投影坐标系再转换为图像坐标系(2D)这样就完成了构建好的3D物体显示在2D屏幕坐标上的工作啦。实际上就是通过坐标转换，在2D的屏幕上就可以看到3D的物体。
根据上述说明书的揭示和教导，本发明所属领域的技术人员还可以对上述实施方式进行变更和修改。因此，本发明并不局限于上面揭示和描述的具体实施方式，对发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对本发明构成任何限制。

Claims (2)

1.一种基于手机扫描的人体3D建模方法，其特征在于，该方法应用在手机上，该方法包括以下步骤：
S1:生成TSDF 3D网格模型:
S1-1：采用深度重建的算法估算手机摄像头每个时间点的位置和朝向；
S1-2：基于立体匹配算法，通过采用手机摄像头拍摄同一场景下不同角度的一组图像来获得该场景深度图像；
S1-3：利用S1-1和S1-2获取的摄像头位置、朝向以及深度图像通过坐标转换得到相关的点云数据，所述点云数据是指扫描资料以点的形式记录，每一个点包含有三维坐标，用来代表一个物体外表面形状；
S1-4：采用TSDF算法对得到的点云数据进行融合处理，得到TSDF 3D网格模型；
S2:密集图像校准:采用深度浮点重建算法在扫描人体的场景中追踪手机摄像头使得手机摄像头的位置和上一次摄像头位置对准对齐,获得手机摄像头位置的追踪结果,得到手机的运动轨迹；
S3：关键帧选择:通过S2得到手机的运动轨迹后，从手机运动轨迹中选择一个关键帧和当前人体图像进行比对，采用立体匹配算法生成当前视角的深度图像；
S4：密集图像匹配，生成深度图像:计算手机运动轨迹中任意两帧图像上毎个点的对应关系以及所述两帧图像拍摄位置之间的关系，通过对极几何生成整体深度图像；
S5：体积网格模型更新:将S2和S3得到当前视角的深度图像和整体深度图像导入到TSDF 3D网格模型中对TSDF 3D网格模型进行更新得到不同视角的深度图像融合；
S6:生成2D图像:把更新后的的TSDF 3D网格模型映射到当前手机的2D的摄像头位置上，在手机屏幕上生成人体2D图像。
2.如权利要求1所述的一种基于手机扫描的人体3D建模方法，其特征在于，所述S3：关键帧选择步骤中选择的关键帧和当前图像满足以下要求：
关键帧和当前人体图像的重叠部分越多越好；当前人体图像中远方的背景不计算；根据人体对称原理对当前人体图像采用镜像对称处理，计算一半图像，另一半进行复制。
CN201810112678.7A 2018-02-05 2018-02-05 一种基于手机扫描的人体3d建模方法 Pending CN108053482A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810112678.7A CN108053482A (zh) 2018-02-05 2018-02-05 一种基于手机扫描的人体3d建模方法
CN201810927926.3A CN109147051B (zh) 2018-02-05 2018-08-15 一种基于手机扫描的人体3d建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810112678.7A CN108053482A (zh) 2018-02-05 2018-02-05 一种基于手机扫描的人体3d建模方法

Publications (1)

Publication Number Publication Date
CN108053482A true CN108053482A (zh) 2018-05-18

Family

ID=62125880

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810112678.7A Pending CN108053482A (zh) 2018-02-05 2018-02-05 一种基于手机扫描的人体3d建模方法
CN201810927926.3A Active CN109147051B (zh) 2018-02-05 2018-08-15 一种基于手机扫描的人体3d建模方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201810927926.3A Active CN109147051B (zh) 2018-02-05 2018-08-15 一种基于手机扫描的人体3d建模方法

Country Status (1)

Country Link
CN (2) CN108053482A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846885A (zh) * 2018-06-06 2018-11-20 广东您好科技有限公司 一种基于三维扫描的模型活化技术
CN108898630A (zh) * 2018-06-27 2018-11-27 清华-伯克利深圳学院筹备办公室 一种三维重建方法、装置、设备和存储介质
CN109241901A (zh) * 2018-08-30 2019-01-18 天津理工大学 一种对具有孔洞的三维点云的检测与识别方法
CN109816784A (zh) * 2019-02-25 2019-05-28 盾钰（上海）互联网科技有限公司 三维重构人体的方法和系统及介质
CN112053435A (zh) * 2020-10-12 2020-12-08 武汉艾格美康复器材有限公司 一种自适应的实时人体三维重建方法
CN112606929A (zh) * 2020-11-08 2021-04-06 泰州程顺制冷设备有限公司 车座高度升降控制系统
CN113260835A (zh) * 2018-12-14 2021-08-13 光谱Md公司 用于高精度多孔径光谱成像的系统和方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110006340B (zh) * 2019-03-26 2020-09-08 华为技术有限公司 一种物体尺寸测量方法和电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521878B (zh) * 2011-12-20 2013-08-14 恒源祥（集团）有限公司 可编程三维人体建模和人体测量系统和方法
US10360718B2 (en) * 2015-08-14 2019-07-23 Samsung Electronics Co., Ltd. Method and apparatus for constructing three dimensional model of object
WO2017104984A1 (ko) * 2015-12-15 2017-06-22 삼성전자 주식회사 볼륨 최근접 거리 접근법을 이용한 3차원 모델 생성 방법 및 장치

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846885A (zh) * 2018-06-06 2018-11-20 广东您好科技有限公司 一种基于三维扫描的模型活化技术
CN108898630A (zh) * 2018-06-27 2018-11-27 清华-伯克利深圳学院筹备办公室 一种三维重建方法、装置、设备和存储介质
CN109241901A (zh) * 2018-08-30 2019-01-18 天津理工大学 一种对具有孔洞的三维点云的检测与识别方法
CN113260835A (zh) * 2018-12-14 2021-08-13 光谱Md公司 用于高精度多孔径光谱成像的系统和方法
US11989860B2 (en) 2018-12-14 2024-05-21 Spectral Md, Inc. System and method for high precision multi-aperture spectral imaging
CN109816784A (zh) * 2019-02-25 2019-05-28 盾钰（上海）互联网科技有限公司 三维重构人体的方法和系统及介质
CN112053435A (zh) * 2020-10-12 2020-12-08 武汉艾格美康复器材有限公司 一种自适应的实时人体三维重建方法
CN112606929A (zh) * 2020-11-08 2021-04-06 泰州程顺制冷设备有限公司 车座高度升降控制系统
CN112606929B (zh) * 2020-11-08 2021-09-14 山东格菱电动车有限公司 车座高度升降控制系统

Also Published As

Publication number Publication date
CN109147051A (zh) 2019-01-04
CN109147051B (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
CN108053482A (zh) 一种基于手机扫描的人体3d建模方法
CN110599540B (zh) 多视点相机下的实时三维人体体型与姿态重建方法及装置
CN103971408B (zh) 三维人脸模型生成系统及方法
CN110335343B (zh) 基于rgbd单视角图像人体三维重建方法及装置
CN106875493B (zh) Ar眼镜中虚拟目标物的叠加方法
CN104599317B (zh) 一种实现3d扫描建模功能的移动终端及方法
CN108053437B (zh) 基于体态的三维模型获取方法及装置
Choi et al. Three-dimensional shape recovery from the focused-image surface
CN104657103B (zh) 基于深度摄像机的手持cave投影系统
CN104881114B (zh) 一种基于3d眼镜试戴的角度转动实时匹配方法
CN107590708B (zh) 一种生成用户特定体形模型的方法和装置
CN108053435A (zh) 基于手持移动设备的动态实时三维重建方法和系统
WO2023284713A1 (zh) 一种三维动态跟踪方法、装置、电子设备和存储介质
CN111932678A (zh) 多视点实时人体运动、手势、表情、纹理重建系统
CN107578469A (zh) 一种基于单张照片的3d人体建模方法及装置
CN106500626A (zh) 一种手机立体成像方法及三维成像手机
CN109523635A (zh) 一种三维人体扫描非刚性重建和测量方法及装置
CN109655011A (zh) 一种人体建模维度测量的方法及系统
CN108205822B (zh) 贴图方法及装置
CN107610213A (zh) 一种基于全景相机的三维建模方法及系统
CN111047678B (zh) 一种三维人脸采集装置和方法
CN108549484A (zh) 基于人体动态姿态的人机交互方法和装置
CN107610215A (zh) 一种高精度多角度口腔三维数字成像模型构建方法
KR20030054360A (ko) 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치 및그 방법
CN107066095A (zh) 一种信息处理方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180518