CN107305702A - 使用移动终端采集二维图像进行足部三维重建的方法 - Google Patents

Abstract

本发明提出了一种使用移动终端采集二维图像进行足部三维重建的方法，包括以下步骤：S1)将一带有复杂文字或图案的纸张放置于地面，需要测量的足部踏在纸张上面；S2)采用带摄像头的移动终端环绕足部从不同角度进行拍照得到若干照片；S3)将获得的照片根据SfM算法及空间雕刻算法进行足部图像三维重建。该方法不需要用户必须穿上具有很多纹理的袜子，也无需用户具备计算机视觉的基本知识，降低了用户的使用门槛，为推广使用该技术的产品扫除了一个最大障碍，具有极大的实用价值和商业前景。

Description

使用移动终端采集二维图像进行足部三维重建的方法

技术领域

本发明涉及人体尺寸数据测量领域，特别是指一种使用移动终端采集二维图像进行足部三维重建的方法。

背景技术

专业的足部三维重建系统通常采用的是结构光或激光的主动式测量方法：这样的系统由一个发射装置发出结构光或激光照射到人脚上，一个接收装置测量反射回来的结构光或激光，然后系统根据发射回来的光线特征计算出脚上各点的深度，最后通过配准算法融合各个角度的深度图像完成足部的三维重建。目前市场上常见的足部扫描仪，如infoot，3D CaMega，JD-Foot 3D Scanner等都属于这类产品。这类专业扫描仪虽然有着精度高、扫描速度快的优点，但其高昂的价格、复杂的操作规程等缺点限制了它们的大规模应用，目前只有制鞋厂家、科研单位和少数专卖店在使用，普通消费者无法使用。

与专业足部扫描仪相比，智能手机、平板等移动终端普及率高、使用方便、用户成本低，因此是一个非常理想的家用足部扫描仪的运算平台。现有的使用手机采集二维图像进行足部三维重建的主流方法是从运动恢复结构(structurefrom motion，简称SfM)。SfM的基本思路是：通过匹配不同图像中的关键点找到同一关键点在不同图像中的位置，然后利用这些关键点匹配所引入的约束等式计算本征矩阵，从而计算出相机的内参数(包括焦距，成像中心偏移量，非线性畸变等)及外参数(拍摄每幅图像时相机在三维空间中的位置和朝向)，这样利用三角测量法就可以得知图像中的关键点在三维空间中的坐标，完成了三维重建的工作。

然而在实际实施中，基于SfM的手机足部三维重建系统有很多不可克服的缺点使得它无法达到实用要求。

SfM得以顺利进行的前提条件是图像中有足够多的关键点供算法进行匹配、跟踪，这就要求图像和图像中的物体有丰富的纹理。而人的皮肤是没有多少纹理供SfM算法提取关键点的。因此现有的手机足部三维重建APP通常要求用户穿上具有大量花纹的袜子。现实中，这样的袜子在普通用户家庭中并不常见。另外即使用户有这种丰富纹理的袜子，这种袜子的脚趾和脚跟部分也是单色的，SfM仍然无法重建出这两个部分。

SfM需要用户提供物体各个角度的照片，为此要求用户持手机环绕足部一圈或更多圈拍摄几十张甚至上百张照片才能得到比较满意的结果。另外还要求拍照时保持与脚一定距离；两张相邻照片相差的角度不能太大，这样两张照片间才能有足够多的重复关键点；所有照片所覆盖的角度要足够多，最好是从高到低、环绕360度拍摄。这些要求都对普通用户造成了很多困难，因此直至目前为止实际的用户依然很有限。

发明内容

本发明提出一种使用移动终端采集二维图像进行足部三维重建的方法，其特殊之处是基于移动终端便携性，让每个用户可以在家里或者任何地方进行足部尺寸的三维测量，并通过所拍摄的照片重建足部三维模型。

本发明的技术方案是这样实现的：

一种使用移动终端采集二维图像进行足部三维重建的方法，包括以下步骤：

S1)将一带有复杂文字或图案的纸张放置于地面，需要测量的足部踏在纸张上面；

S2)采用带摄像头的移动终端环绕足部从不同角度进行拍照得到若干照片；

S3)将获得的照片根据SfM算法及空间雕刻算法进行足部图像三维重建。

上述技术方案中，步骤S3)具体如下：

S31)根据SfM算法从照片中检测出足部：对每幅足部照片输出一个同等尺寸的足部掩码，其中亮度为0的像素对应于原照片的背景，为非足部区域；亮度为非0的像素对应于原照片中的前景，为足部区域；

S32)从照片中检测出纸张，并从纸张的文字或图案中提取足够多的关键点，依此重建出地面并计算出移动终端的内参数和拍摄时的外参数；

S33)使用空间雕刻法从足部掩码与移动终端内参数和外参数重建出足部三维模型。

上述技术方案能够得到足部粗略的模型，由于拍摄角度有限和照片数量不足，容易使生成的足部模型表面不连续，作为进一步优化，还包括以下步骤：

S4)使用曲面拟合方法把足部模型表面变成一个连续、光滑的曲面。

更进一步地，上述技术方案得到的足部模型中没有尺度信息，若想要测量足部的参数，可以做进一步改进：

S5)在纸张前放置一已知尺寸的平面标定物，并根据SfM算法从照片中检测出该标定物；

利用标定物建立一个重建三维模型与真实世界的比例尺，具体为：以检测到的平面标定物的四个顶点的二维坐标由步骤S32)所获得的移动终端的内参数和外参数映射到三维空间中得到。

上述技术方案中，所述平面标定物可以采用身份证、银行卡、A4纸、驾照等等。

上述技术方案中，所述带有复杂文字或图案的纸张可以采用报纸。

上述技术方案中，所述移动终端为智能手机或平板等。

与现有技术相比，本发明的使用移动终端采集二维图像进行足部三维重建的方法不需要用户必须穿上具有很多纹理的袜子，用户可以选择赤脚或穿一双普通的袜子。这样用户就不必为此单独购买特殊的袜子，从而为用户节省了使用成本。

其次，普通用户不具备计算机视觉的基本知识，因此很少有人知道如何正确拍摄SfM所需要的照片。即使是有经验的用户也需要经过长时间训练才能掌握。本方法没有这些要求，大大降低了用户的使用门槛，为推广使用该技术的产品扫除了一个最大障碍。

总之，该方法是利用手机、平板等进行足部三维重建领域里的一个重大突破，为将在此基础上开发的手机APP推广到千家万户提供了技术上的保证，具有极大的实用价值和商业前景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明使用移动终端采集二维图像进行足部三维重建的方法的流程示意图。

图2为本发明采用的空间雕刻算法的原理示意图。

图3为本发明所采用的照片的拍摄方法示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提供一种使用移动终端采集二维图像进行足部三维重建的方法，包括以下步骤：

S1)将一带有复杂文字或图案的纸张放置于地面，需要测量的足部踏在纸张上面；

S2)采用带摄像头的移动终端环绕足部从不同角度进行拍照得到若干照片；

S3)将获得的照片根据SfM算法及空间雕刻算法进行足部图像三维重建。

上述技术方案中，步骤S3)具体如下：

S31)根据SfM算法从照片中检测出足部：对每幅足部照片输出一个同等尺寸的足部掩码，其中亮度为0的像素对应于原照片的背景，为非足部区域；亮度为非0的像素对应于原照片中的前景，为足部区域；

S32)从照片中检测出纸张，并从纸张的文字或图案中提取足够多的关键点，依此重建出地面并计算出移动终端的内参数和拍摄时的外参数；

S33)使用空间雕刻法从足部掩码与移动终端内参数和外参数重建出足部三维模型。

上述步骤S33)具体来讲如下：一个位于三维空间的物体的表面把整个三维空间分成两部分，一部分属于该物体，代表了该物体所占据的三维空间；一部分不属于该物体，代表了该物体以外的三维空间。空间雕刻法的基本思想就是把三维空间不属于该物体的部分剔除，这样剩下的部分就都属于该物体了(参考图2)。

空间雕刻法得到结果比较粗糙，还有很多足部附近不属于足部但在观察时被足部遮挡的部分没有被剔除。如果我们有足够多的照片，这些被遮挡部分有可能在其他照片里被剔除；但是由于我们观察的角度有限，留下了很多这样的残余部分，导致空间雕刻法生成的足部模型表面不连续，要解决这个问题，可以对技术方案做进一步优化，还包括以下步骤：

S4)使用曲面拟合方法把足部模型表面变成一个连续、光滑的曲面。

更进一步地，上述技术方案得到的足部模型中没有尺度信息，若想要测量足部的参数，可以做进一步改进：

S5)在纸张前放置一已知尺寸的平面标定物，并根据SfM算法从照片中检测出该标定物；

利用标定物建立一个重建三维模型与真实世界的比例尺，具体为：以检测到的平面标定物的四个顶点的二维坐标由步骤S32)所获得的移动终端的内参数和外参数映射到三维空间中得到。

具体的，要实现上述方法步骤，先从足部照片中检测出平面标定物，该标定物的实际尺寸是已知的，并且与地面处于同一水平面上。标定物的形状通常是矩形，所以最后检测的实际是该标定物的四个顶点在每幅照片中的坐标，有的照片里看不见标定物，这样的照片我们一律跳过。

在上述方法重建的三维模型中的每一单位长度对应于真实世界的长度。得到这个具有真实尺度的足部三维模型后，在此基础上即可以从事各种足部相关的应用开发，如量足、足鞋匹配等等。

上述技术方案中，所述平面标定物可以采用身份证、银行卡、A4纸等等。

上述技术方案中，所述带有复杂文字或图案的纸张可以采用报纸。

上述技术方案中，所述移动终端为智能手机或平板等。

具体的，本案的照片拍摄方法可以按照图3所示进行操作：

在地上放带有复杂文字或图案的纸张5，纸张前放一个身份证之类尺寸已知的平面标定物1，然后用手机2或其他移动终端从上往下拍摄一张带有纸张和平面标定物1的照片，这张照片我们称之为背景照片；

把足部4放到纸张上，手3持手机2从不同角度拍摄几张足部的照片，这些照片我们称之为足部照片；

对照片进行数据处理。

与现有技术相比，本发明的使用移动终端采集二维图像进行足部三维重建的方法不需要用户必须穿上具有很多纹理的袜子，用户可以选择赤脚或穿一双普通的袜子。这样用户就不必为此单独购买特殊的袜子，从而为用户节省了使用成本。

其次，普通用户不具备计算机视觉的基本知识，因此很少有人知道如何正确拍摄SfM所需要的照片。即使是有经验的用户也需要经过长时间训练才能掌握。本方法没有这些要求，大大降低了用户的使用门槛，为推广使用该技术的产品扫除了一个最大障碍。

总之，该方法是利用手机、平板等进行足部三维重建领域里的一个重大突破，为将在此基础上开发的手机APP推广到千家万户提供了技术上的保证，具有极大的实用价值和商业前景。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种使用移动终端采集二维图像进行足部三维重建的方法，其特征在于，包括以下步骤：

S1)将一带有复杂文字或图案的纸张放置于地面，需要测量的足部踏在纸张上面；

S2)采用带摄像头的移动终端环绕足部从不同角度进行拍照得到若干照片；

S3)将获得的照片根据SfM算法及空间雕刻算法进行足部图像三维重建。

2.根据权利要求1所述的使用移动终端采集二维图像进行足部三维重建的方法，其特征在于，步骤S3)具体如下：

S31)根据SfM算法从照片中检测出足部：对每幅足部照片输出一个同等尺寸的足部掩码，其中亮度为0的像素对应于原照片的背景，为非足部区域；亮度为非0的像素对应于原照片中的前景，为足部区域；

S32)从照片中检测出纸张，并从纸张的文字或图案中提取足够多的关键点，依此重建出地面并计算出移动终端的内参数和拍摄时的外参数；

S33)使用空间雕刻法从足部掩码与移动终端内参数和外参数重建出足部三维模型。

3.根据权利要求2所述的使用移动终端采集二维图像进行足部三维重建的方法，其特征在于，还包括以下步骤：

S4)使用曲面拟合方法把足部模型表面变成一个连续、光滑的曲面。

4.根据权利要求3所述的使用移动终端采集二维图像进行足部三维重建的方法，其特征在于，还包括以下步骤：

S5)在纸张前放置一已知尺寸的平面标定物，并根据SfM算法从照片中检测出该标定物。

5.根据权利要求4所述的使用移动终端采集二维图像进行足部三维重建的方法，其特征在于：

所述平面标定物采用身份证或银行卡。

6.根据权利要求5所述的使用移动终端采集二维图像进行足部三维重建的方法，其特征在于：

所述带有复杂文字或图案的纸张为报纸。

7.根据权利要求6所述的使用移动终端采集二维图像进行足部三维重建的方法，其特征在于：

所述移动终端为智能手机或平板。