CN107305699A - 基于二维图像信息足部三维重建方法及其足-鞋匹配系统 - Google Patents

Abstract

本发明提出一种基于二维图像信息的足部三维测量方法及据其设计的足‑鞋匹配系统，该系统包括：基于移动终端的足部三维扫描系统、及标定系统；鞋靴内部结构三维扫描系统，包括可放置于鞋楦内部的小型三维空间扫描仪、及接收其扫描信息的数据处理终端；云端服务器，用于对得到的足部或鞋靴数据进行处理；匹配系统，用于将足部大数据云端和鞋靴大数据云端的数据进行二维数据的配对和三维数据的匹配；其基于移动终端便携性，让每个用户可以在家里或者任何地方进行足部尺寸的三维测量，并通过云端的数据库为用户匹配最适合其脚型的鞋靴类产品。

Description

基于二维图像信息足部三维重建方法及其足-鞋匹配系统

技术领域

本发明涉及人体尺寸数据测量领域，特别是指一种基于二维图像信息的足部三维测量方法及其足-鞋匹配系统。

背景技术

人体尺寸数据是一项重要的基础数据资源，是产品造型和空间布局的基本依据，其应用几乎涉及所有工业设计领域。随着社会进步和科技发展，人们越来越重视工业设计和人类工效学的应用，而人体尺寸数据是进行工业设计和人类工效学应用的前提和基础。各种与人有关的标准的确立都是以人体尺寸数据为基础，并进而应用到工业设计中。

足部尺寸数据对于鞋楦的设计、制鞋厂商、定制鞋等也是至关重要。传统的获得足部尺寸的方法是采用手工测量的方法，用直尺、卡尺、卷尺等工具对足长、足宽、足围、足背高、足趾高等多组数据进行手工测量并获取相关数值。随着技术的进步，足部三维扫描仪(激光式、结构光式等)开始大规模的用于足部尺寸的专业扫描和测量，同时避免了手工测量仅仅获得二维尺寸数据的缺点，足部三维扫描仪可获得人体足部的三维尺寸信息更有利于鞋类相关产品的研发和设计参考。

但上述两种方法均存在各自的缺陷，首先，手工测量一是时间较长，而且需要有经验的量足师或者裁缝进行足部尺寸的测量，效率较低；二是，手工测量仅仅得到的是二维尺寸数据无法获得足部的三维数据信息；其次，足部三维扫描仪的缺点在于价格较贵一般在几万或者十几万左右，成本过高导致大部分企业并不会大批量的购买该仪器，而导致在大样本测量的时候，无法快速测量大批量的数据、也导致时间成本的增加。

此外，由于不同鞋厂所采用的制造鞋靴产品的鞋楦不同，导致同一码数的不同品牌的鞋靴其内部尺寸也各有不同，这对消费在网上购买鞋类产品的时候产生了极大的不便，同时也增加了线上销售平台的退单率。

发明内容

本发明提出一种基于二维图像信息的足部三维测量方法及其应用足-鞋匹配系统，其特殊之处是基于移动终端便携性，让每个用户可以在家里或者任何地方进行足部尺寸的三维测量，并通过云端的数据库为用户匹配最适合其脚型的鞋靴类产品。

本发明的技术方案是这样实现的：

首先本发明提供了一种基于二维图像信息足部三维重建方法，包括以下步骤：

S1)使用移动终端的相机对足部进行一组二维图像的拍摄；

S2)由基于运动的结构恢复算法来恢复地面信息并计算相机在三维空间中的位置和朝向；

S3)对相机拍摄到的一组二维图像进行物体分割，得到侧影图像；

S4)根据步骤S3)得到的侧影图像由侧影重建技术恢复足部的3D模型，并得到关键二维数据。

上述技术方案中，步骤S2)由基于运动的结构恢复算法来恢复地面信息并计算相机在三维空间中的位置和朝向，具体包括：

S21)通过相应软件读取相机的各个内部参数；

S22)在拍摄照片的同时从相机的惯性传感器中读取相机的运动信息；

S23)根据步骤S22)读取的运动信息估计出粗略的相机位置信息；

S24)求解物体表面的每一点的三维坐标及每一张照片里相机的三维坐标及朝向。

上述技术方案中，所述相机的运动信息为相机的加速度等信息。

由于相机的三维坐标已经有了一个很接近真实值的初始值，从而使该算法得到简化，提高了运算速度。

上述技术方法中，步骤S3)对相机拍摄到的一组二维图像进行物体分割，得到侧影图像，具体为：

S31)根据人体皮肤的特定颜色分布区分足部和非足部；

S32)使用高斯混合模型参数化表示肤色所占据的区域；

S33)用0和1分别标明足部和背景所占据的区域，得到侧影图像。

人体肤色的主要差异在亮度上，在去除了亮度的色彩空间中，即使是考虑到黄白黑棕等人种差别，不同人的肤色仍然集中分布于一个很小的区域。

使用高斯混合模型(Gaussian Mixed Model)可以参数化表示肤色所占据的区域，从而大大简化肤色与非肤色的判别。

上述技术方案中，所述侧影重建技术是通过可见壳(Visual Hull)算法实现的。

利用以上基于二维图像信息足部三维重建方法，本发明还设计了一种足-鞋匹配系统，其包括以下结构：

扫描系统，包括：

基于移动终端的足部三维扫描系统、及标定系统；

鞋靴内部结构三维扫描系统，包括可放置于鞋楦内部的小型三维空间扫描仪、及接收其扫描信息的数据处理终端；

云端服务器，包括：

足部大数据云端，其通过无线网络与所述移动终端进行数据连接和交换，并对来自移动终端的数据依照基于二维图像信息足部三维重建方法进行数据处理；

鞋靴大数据云端，通过无线网络与所述小型三维扫描仪的数据处理终端相连接，将鞋靴内部的三维数据进行分类和整理；

匹配系统，用于将足部大数据云端和鞋靴大数据云端的数据进行二维数据的配对和三维数据的匹配。

上述技术方案中，所述移动终端可以为手机或者平板，以及其他具有操作系统的移动终端。

上述技术方案中，所述标定系统为一个已知尺寸的平面物品，如A4纸、身份证、银行卡或驾驶执照等。

上述技术方案中，足部大数据云端对移动终端扫描信息的数据处理具体为：将移动终端扫描的二维图像信息，进行移动终端分类筛选后，在远端依照前述基于二维图像信息足部三维重建方法进行处理，形成足部三维数据，并基于标定系统的尺寸信息，对足部三维数据进行自动数据分析，依据出足部三维关键特征点，计算得出多个二维尺寸。

上述技术方案中，所述小型三维空间扫描仪放置于鞋靴的中部进行鞋靴内部三维尺寸扫描，所述数据处理终端获得数据后进行三维数据重建，并依据一些特征点，自动测量楦内部的多个二维尺寸，并将所有数据结果上传到鞋靴大数据云端。

与现有技术相比较，本发明提供的基于二维图像信息足部三维重建方法及其应用的足-鞋匹配系统，可利用普通移动终端如手机等进行足部拍摄的照片重建足部3D模型并得出关键二维尺寸，操作简单，无需专业人员操作，使得每个普通用户在家里或者任何地方进行足部尺寸的三维测量，并通过云端为用户匹配最合适的鞋靴产品，应用市场及其广泛。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明足-鞋匹配系统的结构组成示意图。

图2为本发明的基于二维图像信息足部三维重建方法中所采用的侧影图像。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的技术方案是这样实现的：

首先本发明提供了一种基于二维图像信息足部三维重建方法，包括以下步骤：

S1)使用移动终端的相机对足部进行一组二维图像的拍摄；

S2)由基于运动的结构恢复算法来恢复地面信息并计算相机在三维空间中的位置和朝向；

S3)对相机拍摄到的一组二维图像进行物体分割，得到侧影图像；

S4)根据步骤S3)得到的侧影图像由侧影重建技术恢复足部的3D模型并得到关键二维数据。

上述技术方案中，步骤S2)由基于运动的结构恢复算法来恢复地面信息并计算相机在三维空间中的位置和朝向，具体包括：

S21)通过相应软件读取相机的各个内部参数；

S22)在拍摄照片的同时从相机的惯性传感器中读取其运动信息；

S23)根据步骤S22)读取的运动信息估计出粗略的相机位置信息；

S24)求解物体表面的每一点的三维坐标及每一张照片里相机的三维坐标及朝向。

上述技术方案中，所述相机的运动信息为相机的加速度等信息。

由于相机的三维坐标已经有了一个很接近真实值的初始值，从而使该算法得到简化，提高了运算速度。

上述技术方法中，步骤S3)对相机拍摄到的一组二维图像进行物体分割，得到侧影图像，具体为：

S31)根据人体皮肤的特定颜色分布区分足部和非足部；

S32)使用高斯混合模型参数化表示肤色所占据的区域；

S33)用0和1分别标明足部和背景所占据的区域，得到侧影图像。

人体肤色的主要差异在亮度上，在去除了亮度的色彩空间中，即使是考虑到黄白黑棕等人种差别，不同人的肤色仍然集中分布于一个很小的区域。

使用高斯混合模型(Gaussian Mixed Model)可以参数化表示肤色所占据的区域，从而大大简化肤色与非肤色的判别。

经过肤色检测，我们可以得到一个二进制图像，用0和1分别标明图中足部和背景(如地面，报纸等)所占据的区域，这种图像又称为侧影图像(Silhouetteimage)，如图2所示。

上述技术方案中，所述侧影重建技术是通过Visual Hull(可见壳)算法现实的。

可见壳算法是通过一系列侧影图像及每张图像所对应相机姿态来对所测物体几何体进行恢复。

其基本的工作原理可以理解为：在已知相机姿态(坐标和转角)及相机内部参数的情况下(这一步我们已经通过基于运动的结构恢复算法中获取)，我们可以通过相机中心和侧影图像边界投射出一个锥体，待恢复的物体形状可以是这个锥体内任意的一个几何体。同样的方法，我们对其它的侧影图像都可以产生一个从不同角度投射出的锥体。真实的物体必须满足它在所有的锥体里，这需要对所有锥体进行一个交集运算。通过这种方式，在我们对足部进行360度扫描之后，我们就可以恢复一个满足所有足部侧影的3D足部模型。

给定人脚3D模型后，要实现计算机自动量足，首先基于机器学习的足部测量技术，在训练足部数据库中，每个足部3D模型的关键点都由标记员标定，训练过程中，计算机在关键点周围的3D点云中提取特征描述子，找出关键点与非关键点在特征描述子空间中的差异及分布模型，并用机器学习中的随机森林技术加以拟合。使用训练好的随机森林，我们可以在新的3D足部模型中找到相应的关键点。为了提高检测精度，弥补特征描述子在平滑区域不能准确定位的缺陷，我们还使用了基于无向图的足部关键点网格模型，利用临近关键点之间的几何关系约束修正检测到的关键点。最后，通过这些关键点测量各足部模型参数就简化为了欧式距离或测地线距离的度量问题，最终得到关键的二维尺寸数据。

利用以上基于二维图像信息足部三维重建方法，本发明还设计了一种足-鞋匹配系统，其包括以下结构：

扫描系统，包括：

基于移动终端的足部三维扫描系统、及标定系统；

鞋靴内部结构三维扫描系统，包括可放置于鞋楦内部的小型三维空间扫描仪、及接收其扫描信息的数据处理终端；

云端服务器，包括：

足部大数据云端，其通过无线网络与所述移动终端进行数据连接和交换，并对来自移动终端的数据依照基于二维图像信息足部三维重建方法进行数据处理；

鞋靴大数据云端，通过无线网络与所述小型三维扫描仪的数据处理终端相连接，将鞋靴内部的三维数据进行分类和整理；

匹配系统，用于将足部大数据云端和鞋靴大数据云端的数据进行二维数据的配对和三维数据的匹配。

上述技术方案中，所述移动终端可以为手机或者平板，以及其他具有操作系统的移动终端。

上述技术方案中，所述标定系统为一个已知尺寸的平面物品，如A4纸、身份证、银行卡、驾驶执照等。

上述技术方案中，足部大数据云端对移动终端扫描信息的数据处理具体为：将移动终端扫描的二维图像信息，进行移动终端分类筛选后，在远端依照前述基于二维图像信息足部三维重建方法进行处理，形成足部三维数据，并基于标定系统的尺寸信息，对足部三维数据进行自动数据分析，依据出足部三维关键特征点，计算得出多个二维尺寸。

上述技术方案中，所述小型三维空间扫描仪放置于鞋靴的中部进行鞋靴内部三维尺寸扫描，所述数据处理终端获得数据后进行三维数据重建，并依据一些特征点，自动测量楦内部的多个二维尺寸，并将所有数据结果上传到鞋靴大数据云端。

本发明的足-鞋匹配系统，其使用方法举例如下：

步骤1：将小型三维空间扫描仪放置于鞋楦内部进行鞋靴内部尺寸的三维扫描，将获得的三维数据和自动计算的二维尺寸均上传到鞋靴大数据云端；二维尺寸包括鞋靴内部的鞋长、鞋宽、足趾处围度、鞋跟围、鞋背高等可量化的尺寸；鞋靴大数据云端包括大量不同款式、品牌、功能的鞋靴内部尺寸数据。

步骤2：进行足部尺寸三维扫描：拍摄前，被扫描的脚不穿袜子踩在一张报纸上，脚侧放一张身份证；拍摄时，首先打开APP，手持手机环绕自己的足部拍摄一段包含自己足部各个角度的视频。

步骤3：手机APP通过无线网络把这段视频自动上传到足部大数据云端上；服务器端从这段视频重建出用户足型的3D模型并计算出各个足型二维尺寸参数，参数包括足长、足宽、足趾围、足背围、足背高等可量化的二维尺寸参数。

步骤4：足部大数据云端足部数据与鞋靴大数据云端的鞋靴数据进行二维尺寸和三维结构的多重匹配。先以二维尺寸筛选鞋靴，再以3D模型进行足型与鞋型的3D配准，从而找出与足型最为匹配的鞋靴产品。

与现有技术相比较，本发明提供的基于二维图像信息足部三维重建方法及其应用的足-鞋匹配系统，可利用普通移动终端如手机等进行足部拍摄的照片重建足部3D模型并得出关键二维尺寸，操作简单，无需专业人员操作，使得每个普通用户在家里或者任何地方进行足部尺寸的三维测量，并通过云端为用户匹配最合适的鞋靴产品，应用市场及其广泛。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于二维图像信息足部三维重建方法，其特征在于，包括以下步骤：

S1)使用移动终端的相机对足部进行一组二维图像的拍摄；

S2)由基于运动的结构恢复算法来恢复地面信息并计算相机在三维空间中的位置和朝向；

S3)对相机拍摄到的一组二维图像进行物体分割，得到侧影图像；

S4)根据步骤S3)得到的侧影图像由侧影重建技术恢复足部的3D模型，并得到关键二维数据。

2.根据权利要求1所述的基于二维图像信息足部三维重建方法，其特征在于，步骤S2)具体包括：

S21)通过相应软件读取相机的各个内部参数；

S22)在拍摄照片的同时从相机的惯性传感器中读取相机的运动信息；

S23)根据步骤S22)读取的运动信息估计出粗略的相机位置信息；

S24)求解物体表面的每一点的三维坐标及每一张照片里相机的三维坐标及朝向。

3.根据权利要求2所述的基于二维图像信息足部三维重建方法，其特征在于：

所述相机的运动信息为相机的加速度等信息。

4.根据权利要求1所述的基于二维图像信息足部三维重建方法，其特征在于，步骤S3)具体包括：

S31)根据人体皮肤的特定颜色分布区分足部和非足部；

S32)使用高斯混合模型参数化表示肤色所占据的区域；

S33)用0和1分别标明足部和背景所占据的区域，得到侧影图像。

5.根据权利要求1所述的基于二维图像信息足部三维重建方法，其特征在于：

所述侧影重建技术通过可见壳算法实现。

6.一种足-鞋匹配系统，其特征在于，包括：

扫描系统，包括：

基于移动终端的足部三维扫描系统、及标定系统；

鞋靴内部结构三维扫描系统，包括可放置于鞋楦内部的小型三维空间扫描仪、及接收其扫描信息的数据处理终端；

云端服务器，包括：

足部大数据云端，其通过无线网络与所述移动终端进行数据连接和交换，并对来自移动终端的数据依照权利要求1所述的基于二维图像信息足部三维重建方法进行数据处理；

鞋靴大数据云端，通过无线网络与所述小型三维扫描仪的数据处理终端相连接，将鞋靴内部的三维数据进行分类和整理；

匹配系统，用于将足部大数据云端和鞋靴大数据云端的数据进行二维数据的配对和三维数据的匹配。

7.根据权利要求6所述的足-鞋匹配系统，其特征在于：

所述移动终端可以为手机或者平板。

8.根据权利要求6所述的足-鞋匹配系统，其特征在于：

所述标定系统为一个已知尺寸的平面物品。

9.根据权利要求6所述的足-鞋匹配系统，其特征在于，所述足部大数据云端对移动终端扫描信息的数据处理具体为：

将移动终端扫描的二维图像信息，进行移动终端分类筛选后，在远端依照前述基于二维图像信息足部三维重建方法进行处理，形成足部三维数据，并基于标定系统的尺寸信息，对足部三维数据进行自动数据分析，依据出足部三维关键特征点，计算得出多个二维尺寸。

10.根据权利要求6所述的足-鞋匹配系统，其特征在于：

所述小型三维空间扫描仪放置于鞋靴的中部进行鞋靴内部三维尺寸扫描，所述数据处理终端获得数据后进行三维数据重建，并依据一些特征点，自动测量楦内部的多个二维尺寸，并将所有数据结果上传到鞋靴大数据云端。