CN111127625B - 一种足部扫描方法、系统及装置 - Google Patents

Abstract

本发明提供一种足部扫描方法、系统及装置，方法包括：标定深度相机，得到标定结果参数，其中，所述深度相机包括多个，且按照预设规则进行分布；通过所述深度相机获取目标足部的深度图像和彩色图像；接收所述目标足部的深度图像和彩色图像，同时获取所述深度相机的标定结果参数；根据所述深度图像、所述彩色图像和所述标定结果参数实时进行三维点云重建和足部建模并实时显示足部建模结果。通过深度相机获取深度图像价格低廉，不受光照纹理影响；在获取深度图像的同时调用标定数据，实现足部三维数据的快速获取、拼接和融合避免扫描过程中由于足部晃动造成的误差，实时重建三维点云，大幅度减少了三维点云重建的时间，进一步提高了扫描的精度。

Description

一种足部扫描方法、系统及装置

技术领域

本发明涉及足部测量技术领域，尤其涉及一种足部扫描方法、系统及装置。

背景技术

现有的脚型测量方法主要分为接触式测量和非接触式测量，其中，非接触式测量在计算机、光学等学科发展的带动下，越来越受重视。脚型的非接触式扫描方法主要采用传统的基于结构光测量、激光测量等。

关于结构光测量：结构光三维视觉基于光学三角法原理，由结构光投射器向被测物体表面投射可控制的光点、光条或光面结构，并由图像传感器获取图像，通过系统几何关系，利用三角原理计算得到物体的三维坐标。结构光测量方法具有计算简单、体积小、价格低、便于安装和维护的特点，在实际三维轮廓测量中广泛使用，但是测量精度受物理光学的限制，存在遮挡问题，测量精度与速度相互矛盾，难以同时得到提高。

关于激光测量：由一个多边形镜头定位的一根直线可视激光束，通过高频扫描来对物体表面进行扫描测量；用三角定律，激光束在物体表面经发射后由激光接收器接受，然后经计算获得物体表面的坐标。激光扫描可以精确地提供三维环境信息，数据处理简单，受环境影响小。但成本高、精度、测距与扫描速率存在矛盾关系。

现有技术中缺乏一种测量精度高、成本低的足部扫描方法。

发明内容

本发明为了解决现有的问题，提供一种足部扫描方法、系统及装置。

本发明采用的技术方案如下所述：

一种足部扫描方法，包括如下步骤：S1：标定深度相机，得到标定结果参数，其中，所述深度相机包括多个，且按照预设规则进行分布；S2：通过所述深度相机获取目标足部的深度图像和彩色图像；S3：接收所述目标足部的深度图像和彩色图像，同时获取所述深度相机的标定结果参数；根据所述深度图像、所述彩色图像和所述标定结果参数实时进行三维点云重建和足部建模并实时显示足部建模结果。

优选地，通过至少5个深度相机采集所述目标足部的深度图像和彩色图像。

优选地，根据所述深度图像、所述彩色图像和所述标定结果参数实时进行三维点云重建和足部建模并实时显示足部建模结果包括：根据所述标定结果参数获取多个深度相机之间的坐标系转换关系；根据所述坐标系转换关系，将所述深度图像、所述彩色图像对应的多幅点云对齐到同一坐标系中，并进行足部建模实时显示足部建模结果。

优选地，所述方法还包括：通过压力传感器，获取所述足部压力信息；建立所述足部压力信息和实时显示的建模结果之间的对应关系。

优选地，在进行三维点云重建之前，所述方法还包括：采用双边滤波器对所述深度图像进行滤波处理。

本发明还提供一种足部扫描系统，包括：标定单元，用于标定深度相机，其中，所述深度相机包括多个，且按照预设规则进行分布；图像获取单元，通过所述深度相机获取目标足部的深度图像和彩色图像；处理单元，接收所述目标足部的深度图像和彩色图像，同时获取所述深度相机的标定结果参数；根据所述深度图像、所述彩色图像和所述标定结果参数实时进行三维点云重建和足部建模并实时显示足部建模结果。

本发明又提供一种足部扫描装置，包括：标定组件，用于对深度相机进行标定，其中，所述深度相机包括多个，且按照预设规则进行分布；深度相机，用于获取目标足部的深度图像和彩色图像；本体，用于放置足部，承载深度相机和/或标定组件；处理器，用于接收所述目标足部的深度图像和彩色图像，同时获取所述深度相机的标定结果参数；根据所述深度图像、所述彩色图像和所述标定结果参数实时进行三维点云重建和足部建模并实时显示足部建模结果。

优选地，所述深度相机至少5个，其中至少4个深度相机位于所述本体用于放置足部的平面的上方，至少一个深度相机位于所述本体用于放置足部的平面的下方。

优选地，还包括至少2个压力传感器，所述压力传感器设置在所述本体用于放置足部的平面上并位于足部放置位置的两侧。

优选地，还包括反光结构，所述反光结构设置在所述本体用于放置足部的平面的下方与所述平面呈一定夹角。

本发明的有益效果为：提供一种足部扫描方法、系统及装置，通过深度相机获取深度图像价格低廉，易于普及，不受光照纹理影响；在获取深度图像的同时调用深度相机的标定数据，来实现足部三维数据的快速获取、拼接和融合，能够避免扫描过程中由于足部晃动造成的误差，极大的节省了成本；这样在采集深度图像的同时，根据标定结果可以实时重建三维点云，大幅度减少了三维点云重建的时间，进一步提高了扫描的精度。

附图说明

图1是本发明实施例中足部扫描方法的方法示意图。

图2是本发明实施例中一种标定板的示意图。

图3是本发明实施例中一种足部扫描系统的示意图。

图4是本发明实施例中足部扫描装置的示意图。

图5是本发明实施例中本体用于放置足部的平面的示意图。

图6是本发明实施例中人体足部的动态足部点云示意图。

图7是本发明实施例中人体足部三维模型的示意图。

其中，1-深度相机，2-本体，3-显示器，4-放置足部的平面，5-压力传感器，6-足部放置位置。

具体实施方式

为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接既可以是用于固定作用也可以是用于电路连通作用。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

如图1所示，本发明提供一种足部扫描方法，包括如下步骤：

S1：标定深度相机，得到标定结果参数，其中，所述深度相机包括多个，且按照预设规则进行分布；

S2：通过所述深度相机获取目标足部的深度图像和彩色图像；

S3：接收所述目标足部的深度图像和彩色图像，同时获取所述深度相机的标定结果参数；根据所述深度图像、所述彩色图像和所述标定结果参数实时进行三维点云重建和足部建模并实时显示足部建模结果。

本发明通过深度相机获取深度图像价格低廉，易于普及，不受光照纹理影响；在获取深度图像的同时调用深度相机的标定数据，来实现足部三维数据的快速获取、拼接和融合，能够避免扫描过程中由于足部晃动造成的误差，极大的节省了成本；这样在采集深度图像的同时，根据标定结果可以实时重建三维点云，大幅度减少了三维点云重建的时间，进一步提高了扫描的精度。

区别于现有技术中，足部扫描装置中使用的电荷耦合器件(Charge-coupledDevice，简称为CCD)相机，容易受光照影响，而且采集图像时间长，受晃动影响大，所以精度低；处理思路也与现有技术中不同，现有技术中深度相机先采集深度图像，然后通过串口将多幅深度图像传输至计算机，通过计算机拼接软件。

在本发明的一种实施例中，通过至少5个深度相机采集所述目标足部的深度图像和彩色图像。深度相机包括：

红外投影仪，用于向所述目标足部投射结构光图案；

红外相机，用于采集所述目标足部的结构光图案；

彩色相机，用于采集所述目标足部的彩色图像；

处理器，用于接收所述红外结构光图像后执行深度计算并输出所述目标足部的深度图像。

在一种实施例中，处理器包括高性能处理芯片，高性能处理芯片在执行深度计算算法时，将预先标定的参考结构光图像与当前采集的红外结构光图像进行匹配计算，以获取图像之间各像素的偏离值d，再基于结构光三角法原理由偏离值计算出深度值。可以理解的是，也可以采用现有技术中的其他方法获得深度图像。

由于深度相机在采集图像时，仅需100毫秒，而现有的脚型扫描仪中使用的CCD相机需要6秒左右，因此本发明使用的深度相机能够避免扫描过程中由于足部晃动造成的误差。

步骤S1中，标定深度相机包括预标定阶段和测量阶段；

预标定阶段包括基于摄影测量的标定技术获取所述深度相机的内参数和相对外参数；基于摄影测量的标定技术，对所有深度相机的红外和彩色相机进行标定。通过将印制有标定板放置于预标定的深度相机上的红外相机和彩色相机的公共视场下，标定板印有圆环形的编码标志点和圆点型的非编码标志点。通过移动标定板拍摄多个不同位姿下标定板的红外图像和彩色图像。其后，通过图像处理，识别图像中的编码点和非编码点利用工业摄影测量原理进行整体一次性解算，得到所有相机的内参数和相对外参数。

如图2所示，是本发明实施例中的一种标定板的示意图。

测量阶段包括采用双面标定板进行所述深度相机的全局标定，该双面标定板，前后均粘贴有环形编码点，这些编码点的相对位置已知。将双面标定板放置在足部扫描仪装置的中心位置，并确保所有深度相机上的红外相机都能够清晰的采集到标定板横向中央部分的编码点图像。标定时，每个深度相机只需采集单张红外图像，即可根据全局编码点的坐标解算出多个深度相机上的红外相机的相对外参数。结合预标定阶段获得的标定参数，得到所有深度相机上的红外相机和彩色相机的内参数和相对外参数。

在标定过程中，采集红外图像时主要包括：1)关闭红外投射器，否则会在标定板图案上显示出散乱的光点，影响标定板图像质量。2)红外光源正面照射标定板，并根据现场环境调整红外光源的亮度，使编码图案清晰、灰度对比明显。

通过上述步骤，本发明在单个深度相机标定后，再对多个深度相机进行全局标定，一旦标定完成后就可以进行重复扫描，三维重建的速度比较快，进一步提高了扫描的精度。

步骤S2中，图像采集时，开启所有深度相机的深度流和彩色流，通过计算机同步控制多个深度相机从不同角度拍摄足部表面的深度图像和彩色图像。每个深度相机采集2张图像，包括1张深度图像和1张彩色图像，深度图像用于后续的三维点云生成，而彩色图像用于为生成的三维点着色。

可选地，在本发明中，通过深度相机获取深度图像的同时，调用上述第一步的标定数据，这样在采集的同时，根据标定结果，可以实时重建三维点云，而不是现有技术中，深度相机先采集深度图像，然后通过串口，将多幅深度图像传输至计算机，通过计算机拼接软件，重建三维点云，进而大幅度减少了三维点云重建的时间。

步骤S3中，在三维点云重建前，由于深度数据中含有大量的噪声，需要对其滤波处理。本发明采用双边滤波器进行滤波处理，在去噪、平滑的同时，较好的保留了人体足部表面的特征信息。

双边滤波的公式如下：

由公式(1)可知，(i，j)像素坐标处的目标像素深度值g(i，j)由其附近的半径为R的圆圈内的像素值*权值决定。由公式(2)，对于特定的(k，l)像素坐标，其权值为w(i，j，k，l)，由2部分组成，即公式(2)中的第一项距离权值和第二项深度值权值。由于考虑到目标像素附近的深度值差异，该权值能够在平滑去噪的同时具有保持边缘的作用。

在本发明的一种实施例中，根据所述深度图像、所述彩色图像和所述标定结果参数实时进行三维点云重建和足部建模并实时显示足部建模结果包括：

根据所述标定结果参数获取多个深度相机之间的坐标系转换关系；

根据所述坐标系转换关系，将所述深度图像、所述彩色图像对应的多幅点云对齐到同一坐标系中，并进行足部建模实时显示足部建模结果。

对于每个深度相机，根据第一步标定得到的红外相机内参数，映射滤波后的深度图像上的像素点到对应的空间三维点，完成三维点云重建；根据由第一步标定得到的红外相机和彩色相机的相对外参数转换三维点云到彩色相机坐标系中；根据第一步标定得到的彩色相机内参数，将转换后的三维点云映射到彩色图像的坐标系中，通过双线性插值得到对应像素的RGB值，从而为每个三维点云中的点着色。

多幅点云配准。第三步的点云重建后，每个深度相机都生成了一幅三维点云，需要将多幅三维点云配准以获得完整的足部点云。根据第一步获得的多个深度相机上红外相机之间的相对外参数，即多个深度相机生成的点云之间的坐标系转换关系，可将多幅点云对齐到统一坐标系下，从而获得对齐后的足部点云。至少需要5幅三维点云，也可以是每幅采集多个，然后做平均，这样可以进一步提高点云配准精度。

第五步，人体足部三维建模。经过第四步配准后的多幅点云仍然可能存在噪声大、点云重叠、数据空缺等问题。本发明首先点云数据进行采样处理，在保持点云特征的同时精简点云；然后应用泊松重建算法融合带有噪声的重叠点云；再利用移动立方体算法对精简的点云进行三角化处理从而建立足部的三维网格模型。最后，对点云的顶点颜色进行融合，对带有颜色的网格模型进行渲染后，得到具有彩色纹理的人体足部三维模型。

在本发明的另一种实施例中，足部扫描方法还包括：

通过压力传感器，获取所述足部压力信息；

建立所述足部压力信息和实时显示的建模结果之间的对应关系。

实施例2

如图3所示，本发明还提供一种足部扫描系统，包括：

标定单元，用于标定深度相机，其中，所述深度相机包括多个，且按照预设规则进行分布；

图像获取单元，通过所述深度相机获取目标足部的深度图像和彩色图像；

处理单元，接收所述目标足部的深度图像和彩色图像，同时获取所述深度相机的标定结果参数；根据所述深度图像、所述彩色图像和所述标定结果参数实时进行三维点云重建和足部建模并实时显示足部建模结果。

可以理解的是，现有技术中可以实现本发明系统的功能的硬件都可以组合在一起形成本发明的系统。

实施例3

如图4所示，本发明提供一种足部扫描装置，其特征在于，包括：

标定组件(图中未示出)，用于对深度相机进行标定，其中，所述深度相机包括多个，且按照预设规则进行分布；

深度相机1，用于获取目标足部的深度图像和彩色图像；

本体2，用于放置足部，承载深度相机和/或标定组件；

处理器(图中未示出)，用于接收所述目标足部的深度图像和彩色图像，同时获取所述深度相机的标定结果参数；根据所述深度图像、所述彩色图像和所述标定结果参数实时进行三维点云重建和足部建模并实时显示足部建模结果。

处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述足部扫描装置的控制中心，利用各种接口和线路连接整个足部扫描装置的各个部分。

在本发明的一种实施例中，还包括存储器，所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述足部扫描装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

在本发明的一种实施例中，深度相机1至少5个，其中至少4个深度相机位于所述本体用于放置足部的平面4的上方，至少一个深度相机位于所述本体用于放置足部的平面4的下方。在本发明的一种实施例中，足部扫描装置还包括反光结构，所述反光结构设置在本体用于放置足部的平面4的下方与平面4呈一定夹角。可选地，该反光结构可以为一面镜子。

反光结构通过镜像原理，使足底形貌在底部深度相机中成像，完成足部的扫描。

在本发明的一种实施例中，足部扫描装置还包括显示器3，用于显示足部建模结果。

如图5所示，足部扫描装置还包括至少2个压力传感器5，所述压力传感器5设置在所述本体用于放置足部的平面4上并位于足部放置位置6的两侧。该压力传感器通过串口连接至计算机，通过测量得到的足部压力信息，建立压力和足部变形之间的对应关系，进而能够实现足部在行走中“落地、踩踏、抬起”这一全过程中动态模型获取，并通过力学分析，为不同用户制作更舒适的鞋垫，实现鞋垫的个性化定制，进一步提高了用户体验度。

实施例4

采用本发明的足部扫描方法、系统及装置进行足部扫描时，主要包括以下步骤：

第一步，多相机快速标定。

需要说明的是，本实施例中提供的对相机快速标定的方法和上述实施例1相同。

第二步，足部静态和动态图像快速采集。

在本实施例中，除了可以采集人体一只脚的静态数据外，还可以使用压力传感器采集另一只脚在被施加不同的压力时，足部整个变形过程，例如，“落地、踩踏、抬起”这一全过程动态获取。

具体地，可以在图5所示装置的人体足部踩踏位置两侧设置至少2个压力传感器，人体两只脚可以同时站在该装置上，一只脚踩入该装置凹陷位置处，以采集静态数据，另一只脚可以踩在压力传感器之上，通过该压力传感器采集另一只脚的动态数据。其中，该动态数据至少包括：压力与足部形变对应关系。

第三步，足部静态和动态图像三维点云重建。在三维点云重建前，由于深度数据中含有大量的噪声，需要对其滤波处理。本发明采用双边滤波器进行滤波处理，在去噪、平滑的同时，较好的保留了人体足部表面的特征信息，具体实现方式和上述实施例1的方法基本相同。

第四步，多幅点云配准。第三步的点云重建后，每个深度相机都生成了一幅三维点云，需要将多幅三维点云配准以获得完整的足部点云。根据第一步获得的多个深度相机上红外相机之间的相对外参数，即多个深度相机生成的点云之间的坐标系转换关系，可将多幅点云对齐到统一坐标系下，从而获得对齐后的足部点云。其中，人体足部的动态足部点云如图6所示。

第五步，人体足部三维建模。经过第四步配准后的多幅点云仍然可能存在噪声大、点云重叠、数据空缺等问题。本发明首先点云数据进行采样处理，在保持点云特征的同时精简点云；然后应用泊松重建算法融合带有噪声的重叠点云；再利用移动立方体算法对精简的点云进行三角化处理从而建立足部的三维网格模型。最后，对点云的顶点颜色进行融合，对带有颜色的网格模型进行渲染后，得到具有彩色纹理的人体足部三维模型，如图7所示。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (5)

1.一种足部扫描方法，其特征在于，包括如下步骤：

S1：标定深度相机，得到标定结果参数，其中，所述深度相机包括多个，且按照预设规则进行分布；每个所述深度相机均包括红外相机和彩色相机；

S2：通过所述深度相机获取目标足部静态数据和动态数据，所述静态数据包括深度图像和彩色图像，所述动态数据包括压力与足部变形对应关系；

S3：接收所述目标足部的深度图像和彩色图像，接收所述目标足部的深度图像的同时，调用所述深度相机的标定结果参数，采用双边滤波器对所述深度图像进行滤波处理，进行实时三维点云重建；根据所述深度图像、所述彩色图像和所述标定结果参数实时进行足部建模并实时显示足部建模结果；

S3中包括：根据所述标定结果参数获取多个深度相机之间的坐标系转换关系；所述坐标系转换关系为根据所述红外相机和彩色相机的相对外参数转换三维点云到彩色相机坐标系中，根据所述彩色相机的内参数，将转换后的三维点云映射到彩色图像的坐标系中，通过双线性插值为每个三维点云着色；

根据所述坐标系转换关系，将所述深度图像、所述彩色图像对应的多幅点云对齐到同一坐标系中；

所述方法还包括：通过压力传感器，获取足部压力信息与足部变形信息；建立所述足部压力信息、所述足部变形信息和实时显示的建模结果之间的对应关系，以获取足部在行走中“落地、踩踏、抬起”这一全过程中的动态模型，再通过力学分析，从而为不同用户实现鞋的个性化定制。

2.如权利要求1所述的足部扫描方法，其特征在于，通过至少5个深度相机采集所述目标足部的深度图像和彩色图像。

3.一种足部扫描系统，其特征在于，用于实现如权利要求1至2任一项所述的足部扫描方法，所述足部扫描系统包括：

标定单元，用于标定深度相机，其中，所述深度相机包括多个，且按照预设规则进行分布；

图像获取单元，通过所述深度相机获取目标足部的深度图像和彩色图像；

处理单元，接收所述目标足部的深度图像和彩色图像，同时获取所述深度相机的标定结果参数；根据所述深度图像、所述彩色图像和所述标定结果参数实时进行三维点云重建和足部建模并实时显示足部建模结果。

4.一种足部扫描装置，其特征在于，用于实现如权利要求1至2任一项所述的足部扫描方法，所述足部扫描装置包括：

标定组件，用于对深度相机进行标定，其中，所述深度相机包括多个，且按照预设规则进行分布；

深度相机，用于获取目标足部的深度图像和彩色图像；

本体，用于放置足部，承载深度相机和/或标定组件；

至少两个压力传感器，所述压力传感器设置在所述本体用于放置足部的平面上并位于足部放置位置的两侧；

处理器，用于接收所述目标足部的深度图像和彩色图像，同时获取所述深度相机的标定结果参数；根据所述深度图像、所述彩色图像和所述标定结果参数实时进行三维点云重建和足部建模并实时显示足部建模结果。

5.如权利要求4所述的足部扫描装置，其特征在于，所述深度相机至少5个，其中至少4个深度相机位于所述本体用于放置足部的平面的上方，至少一个深度相机位于所述本体用于放置足部的平面的下方。