CN107767442A - 一种基于Kinect和双目视觉的脚型三维重建与测量方法 - Google Patents
一种基于Kinect和双目视觉的脚型三维重建与测量方法 Download PDFInfo
- Publication number
- CN107767442A CN107767442A CN201710961929.4A CN201710961929A CN107767442A CN 107767442 A CN107767442 A CN 107767442A CN 201710961929 A CN201710961929 A CN 201710961929A CN 107767442 A CN107767442 A CN 107767442A
- Authority
- CN
- China
- Prior art keywords
- mtd
- mtr
- point
- mrow
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
一种基于Kinect和双目视觉的脚型三维重建与测量方法，包括如下步骤：步骤S1，从不同角度拍摄人体脚型，获得多幅不同的脚型图像和脚型的深度图像；步骤S2，进行深度图像到三维坐标的转换；步骤S3，将获得的不同方向的双目图像先进行特征匹配，通过双目相机系统求得正确匹配特征点的三维坐标；步骤S4，将不同视图的双目图像正确匹配的特征点利用ICP算法求得其最佳的旋转平移矩阵；步骤S5，利用步骤S4中求得的参数将Kinect传感器获得的三维点云进行点云拼接；步骤S6，对步骤S5中拼接好的三维点云，进行曲面重建和渲染，最后得到脚的三维模型，对重建后的脚模型进行特征参数的测量和提取。本发明方法硬件成本低，操作简单，并具有准确快速的优点。
Description
技术领域
本发明属于三维重建技术领域，更具体地，特别涉及的是一种基于Kinect和双目视觉的脚型三维重建与测量方法。
背景技术
鞋与脚的不匹配会给人造成很多的不适感，甚至造成疾病。目前，国内对于鞋码尺寸的分类仅仅局限于足部的长度，这样是不够的。现今制鞋业应不只是重视鞋的外形设计与流行性，功能与舒适性也需成为关注重点，量脚定制势在必行。鞋楦是制鞋的模型，鞋楦的准确与否决定了鞋子的舒适度。
准确高效的脚型测量方法是鞋楦制作的前提，现有的脚型测量方法分为接触式测量和非接触式两种，其中接触式测量主要是指用尺子和皮尺，还有一些设备进行测量，其不能自动化测量，只能通过手工去测量。非接触测量主要是指利用激光扫描、结构光投影和计算机立体视觉等技术进行测量，获得脚的模型参数。
基于激光的测量主要通过激光扫描的方式对脚进行扫描，但是这种扫描是逐步进行扫描，一般采用的线激光通过电机的移动进行扫描的方式，这样虽然能获得较高的精度，但是其价格比较昂贵，不利于中小鞋业公司的推广使用。基于结构光测量的方法和激光的方法大致相同，不同的是利用基于面结构光的方法可获取整个面的数据，这样降低了测量者因抖动带来的误差，但是其价格也是比较昂贵，也不利于推广。基于立体视觉的三维脚型获取技术主要通过摄像机采集脚型图像，然后通过利用图像分析、视觉重建、几何处理等手段恢复脚型的三维模型。虽然价格便宜，但是基于立体视觉的测量一般测量精度不高，而且很难获得大量的点云，造成了其重建精度不高。
发明内容
本发明要克服现有技术的上述缺点，提出一种基于Kinect和双目视觉的脚型三维重建与测量方法。该方法可以准确快速的完成对脚型的三维重建与测量，具有准确、快速、低成本和易操作等优点。
本发明所提供的一种基于Kinect和双目视觉的脚型三维重建与测量方法，包括如下步骤：
步骤S1，从不同的角度的拍摄人体脚型，获得多幅不同的脚型图像和脚型的深度图像；
步骤S2，进行深度图像到三维坐标的转换；
步骤S3，将获得的不同方向的双目图像先进行特征匹配，通过双目相机系统求得正确匹配特征点的三维坐标；
步骤S4，将不同视图的双目图像正确匹配的特征点利用ICP算法求得其最佳的旋转平移矩阵；
步骤S5，利用步骤S4中求得的参数将Kinect传感器获得的三维点云进行点云拼接；
步骤S6，对步骤S5中拼接好的点云，进行曲面重建和渲染，最后得到脚的三维模型，对重建后的脚模型进行特征参数的测量和提取。
为了实现上述方法，本发明采用了以下装置，包括一个双目摄像机、一个Kinect传感器和一台计算机，双目摄像机固定在Kinect传感器上面，视为刚性结构，双目摄像机和Kinect传感器通过数据线与计算机相连。该装置用来实现本发明方法，但本发明方法不仅限于该装置。
本发明的有益效果是：
通过本发明的方法可以准确快速的实现对脚型的三维重建与测量，本方法需求的硬件成本低，解决了基于激光测量与基于结构光测量高成本的问题；本方法通过结合双目像机和Kinect传感器，解决了单一使用立体视觉重建时精度不高，无法获取大量点云的问题；本方法通过改进的Harris-SIFT算法以及改进的ICP算法，提高了脚型三维重建的精度和效率。
附图说明
图1是本发明方法所使用的装置图；
图2是双目视觉测定三维坐标的原理图；
图3是SIFT特征描述子生成图；
图4是本发明方法的基本流程图；
图5是脚型的三维渲染图；
图6是脚型特征测量参数示意图，其中图6a是侧视角度下的脚型特征测量图，图6b是仰视角度下脚型特征测量图。
具体实施方式
为了对本发明的方法有更加深刻的理解，首先我们将结合附图对本发明的相关原理与算法做具体阐述。
如图1所示为本发明方法所使用的装置图，Kinect传感器和双目相机系统的结构设计为上下结构，将其固定在一起，可视为刚性结构，则对Kinect和双目相机进行标定，可知Kinect的坐标中心和双目系统的坐标中心存在以下转换关系：
上式中，(Xk,Yk,Zk)为Kinect的坐标系的中心，(xb,yb,zb)为双目相机系统的坐标系的中心，Rkb，Tkb为坐标转换的旋转矩阵和平移矩阵。
如图2所示为双目视觉获取物体三维坐标的基本原理，图中b为基线长度即两摄像机之间的距离，D为三维坐标点P到摄像机的距离，f为相机镜头焦距，图中L,R分别代表左右两个摄像机。设空间任意一点P的坐标为(X,Y,Z)，在左CCD成像平面中成像坐标为Pl(xl,yl)，在右CCD成像平面中的成像坐标为Pr(xr,yr)，根据相似三角形我们可以得到：其中d＝xl-xr为左右两图像平面上形成的视差，通过空间物点在左右摄像机下的像素坐标值和视差可以求得物体的三维坐标。
Harris-Laplace检测特征点原理如下所示：Harris-Laplace检测特征点重要的一步就是构造多尺度的特征空间，在不同的尺度空间检测出稳定的特征点，构造尺度空间是指在原有的图像模型中引入一个被视为尺度的参数，通过连续变化的尺度参数获得不同尺度下的图像信息，通过在不同尺度下的获取图像的本质特征。在每一层的图像空间上构造Harris的二阶Hessian矩阵，在不同的尺度空间上其构造的尺度特征也不同。二阶矩阵表示的是一个点在其周围邻域内的二阶偏导数，也就是其梯度分布，其梯度常常被用来作为特征点的检测。
在某一尺度空间图像上的Harris的二阶微分矩阵表示为：其中σD表示微分尺度因子，σI表示积分尺度因子,σD＝sσI，s是一个常数，在方法中取0.7。Lx＝I(x,y)*Gx(x,y,σD)，Ly＝I(x,y)*Gy(x,y,σD)，I(x,y)为输入图像，则Lx、Ly为函数L(x,y,σ)分别对x、y的偏导数，L(x,y,σ)表示构造好的尺度空间，下一步，在不同的尺度空间下求取Harris的矩阵μ(x,σI,σD)，计算图像中每个像元在不同尺度图像上的Harris响应值
R＝{R:det(μ(X,σI,σD))-α(trace(μ(X,σI,σD)))2}，式中：
det(μ(X,σI,σD))-α(trace(μ(X,σI,σD)))2，trace(μ(X,σI,σD))为矩阵
μ(X,σI,σD)的迹；α为经验常数，本方法中取为0.4。
最后，计算R的值，提取在每个不同尺度图像上的Harris角点。首先，以图像中的某一个像元为中心构造一个3×3的窗口，若其中心像元的R值大于其周围领域的8个点的R值，且给中心像元R值设定一个阈值Threshold，若同时R＞Threshold，则此像元所对应的像素值就是所提取的特征点。
如图3所示为SIFT特征描述子生成图，本文选取以特征点为中心的16×16的区域，然后在选取均分为4×4的子区域，这样一共生成了16个子区域，在每个子区域内将360°等分成8个方向，将区域内每个点的梯度方向分配到这8个方向上去，最后每一个子区域形成一个种子点。由16个子区域就形成了16个种子点，即每个特征点形成了一个16×8＝128维的特征向量，则此特征向量就是我们所得的特征描述子。该特征描述子具有旋转、平移、线性不变性，很好的表征了特征点的特性。为了减少外界光照对特征向量的影响，对所求得的特征向量进行归一化处理。
ICP算法是计算两个数据域的数据配准及图像的融合算法，主要用在图像的拼接领域、不同坐标系的坐标融合，其参数用以下向量表示：
X＝[q0 qx qy qz tx ty tz]T，式中[q0,qx,qy,qz]为旋转参数，[tx,ty,tz]为平移参数。则旋转参数满足迭代出的Pi＝P0(X0)＝R(X0)P+t(X0)，其中R为旋转矩阵，t为平移向量，X0为迭代时的初值，P0为初始点集，Pi为新的点集，i为迭代的次数，则X0的初值为X0＝[1 0 0 0 0 0 0]T。
其ICP配准步骤如下：
(1)根据数据点云集Pk中的点坐标，寻找对应的待匹配点云集上的最近点点集Prk；
(2)分别计算Pk和Prk的重心坐标，将坐标点集进行中心化处理，得到新的点集矩阵N；
(3)根据最大特征向量等于残差的平方和最小旋转矩阵R，得到旋转矩阵为：
(4)求得最优的R和t之后，结合旋转矩阵和两个坐标点集的重心点来确定这两个点集的重心差异；
(5)将迭代后的Xk+1、R、t代入生成新的点集Pk+1；
(6)当fk-fk+1＜τ时停止迭代，fk为两个点集对应点的距离平方和，τ为经验常数。
当ICP算法迭代停止并完成点云的拼接之后，此时得到了拼接之后的初始的三维点云。引入某种约束规则或评价标准来去除错误点对，去除错误的关系点对，以此来获得更高精度的物体的三维点云。
本发明利用Kinect传感器和双目摄像机来实现脚型三维重建与测量的方法，如图4所示，具体包括以下步骤：
1、分别获取脚型不同视角的双目图像与深度图像，获取图像时需要人自然的坐在椅子上，脚处于自然的悬空状态，然后移动装置，每隔30°左右采集一次图像，旋转360°后完成全方位的脚型深度图像与双目图像的采集。拍摄图像时脚模和Kinect传感器之间不能有遮挡物，以免拍摄的深度图像和RGB图像会出现遮挡现象。
2、在对深度图像进行滤波去噪处理和背景分割之后，进行不同视图的深度图像到三维点云的转换，Kinect传感器获得三维点云的原理和双目视觉获得三维点云的原理相同，都是利用了三角法的基本原理。通过红外深度相机的焦距f，测得的深度距离d，Kinect的三维坐标系与图像物理坐标系的夹角θ(一般为90°)，可得到：
(X,Y,Z)为转换后点的三维坐标，(u,v)为图像像素坐标系点坐标，(u0,v0)为图像物理坐标系的中心坐标，k，l为像素的单位坐标系，K为相机的内置矩阵，通过K即可建立图像像素坐标和世界三维坐标之间的关系，即可直接求得点云的三维坐标。
3、对不同视图的双目图像进行特征点的提取与匹配，并求得正确匹配特征点的三维坐标。
(3.1)利用前面介绍的Harris-Laplace特征点检测原理，生成不同视图图像的相应Harris角点；
(3.2)利用前面介绍的SIFT特征描述子，生成(3.1)中Harris角点的SIFT特征描述；
(3.3)利用本发明方法的特征匹配算法来进行特征点的匹配，利用上述(3.1)中生成的Harris角点和(3.2)中生成角点的SIFT特征描述，使用k-d树来优先搜索到待匹配点的最近邻和次近邻的两个特征点，这样节省了后续匹配的时间。如果待匹配点与最近邻特征点距离和待匹配点与次近邻特征点距离的比值小于某一个设定的阈值，即认为最近邻特征点作为候选匹配点，否则，继续寻找下一个最优匹配点。对于上面所提到的距离指的两个特征向量之间的欧氏距离，用以下公式表示：其中Desp[i]，Desq[i]是128维的特征向量；
对求得的特征点进行粗略匹配之后，要进行下一步的精匹配，删除一些错误的特征匹配。由于两台双目立体相机之间存在着平移和旋转关系，利用图像对的双极线约束关系对已匹配的特征点进行精确的匹配。则对于匹配的特征点对(uL,vL)和(uR,vR)，|vL-vR|≤δ，δ是一个标量值，选取不同的值对匹配点的对数有着很大的影响，对后续脚模的三维重建有着至关重要的作用。本发明方法经过实验验证，选取δ＝10时重建的效果最好；
(3.4)利用前面介绍过的双目视觉测定三维坐标的原理，求得正确匹配特征点的三维坐标。
4、利用前面介绍过的ICP算法，将(3.4)得到的正确匹配特征点的三维坐标进行迭代计算，并求出最优的旋转矩阵和平移向量。
5、本发明方法在前面介绍过的ICP算法的基础之上，提出了针对本发明方法的基于特征匹配的初始配准的点云拼接算法，其详细步骤如下：
(5.1)步骤3中以正确提取与匹配了不同视图的特征点，并求出了其三维坐标，现在将采集的第一幅和第二幅图的正确匹配点的三维坐标记为
(5.2)根据之前介绍过的ICP算法的基本步骤对步骤(5.1)中求得的两组三维坐标点集和进行迭代计算，并求出最优的旋转矩阵R和平移向量t，将其作为ICP的初始配准。使得均方根误差和f的值最小：
(5.3)利用Kinect拍摄获得的前两幅的深度图像的三维坐标点集用和表示，利用步骤(5.2)中的求得的旋转矩阵R和平移向量t，对进行坐标求解变换，从而得到新的点集为变换公式为：
(5.4)将作为基准点集，将变换后的点集与基准点集进行坐标融合，并将重复冗余的点合并；
(5.5)对采集的第N幅图像，重复上述(5.1)—(5.4)的步骤，以此类推，用初始点云PN为坐标中心，去配准PN'-1点云，直至完成整个三维坐标的统一，则配准后的整个空间的三维坐标点云可以表示为(P1；P2'；...；PN')。
通过以上步骤完成了不同视图不同坐标系的三维点云的拼接。
6、对获得的拼接后的点云进行精简，然后采用基于映射的方法对脚模点云进行Delaunay三角剖分处理，步骤如下：
(6.1)将脚模数据点云运用基于区域增长法进行分成片区，确保每个片区的点云数据经过映射后没有重叠；
(6.2)将分片后的区域点云映射到二维平面上，并保持原空间点云数据之间的距离属性；
(6.3)将步骤(6.2)中的二维平面上的点云数据选择逐点插入法进行Delaunay三角剖分，并将其重新映射到三维空间中；
(6.3)在曲面重建阶段，本发明方法选择精确化曲面的方法进行重构，首先构造轮廓线和曲面片，对构造的曲面片进行调整优化处理；
(6.4)对优化处理好的曲面片进行格栅构造，最后对格栅完成后的数据进行NURBS(Non-Uniform Rational B-Spline)曲面拟合。
对三角网格化中出现的一些孔洞进行修复和填补，对一些网格化之后出现的毛刺和钉状物进行删除，在GEOMAGIC软件上进行渲染后的结果如图5所示。
7、根据实际需求，在重建的三维模型中提取相应的特征点、线、局部曲面的位置，利用软件测出实际需求的脚的参数。本发明方法测出的脚的特征如图6所示，分别是：脚长Lf、脚横宽w＝y1+y2、跖围C1、跗围C2、兜围C3、跖趾高H1、跗高H2、舟高H3。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。
Claims (1)
1.一种基于Kinect和双目视觉的脚型三维重建与测量方法，包括以下步骤：
1、分别获取脚型不同视角的双目图像与深度图像，获取图像时需要人自然地坐在椅子上，脚处于自然悬空状态，然后移动装置，每隔一个预设的角度采集一次图像，旋转360°后完成全方位的脚型深度图像与双目图像的采集；
2、在对深度图像进行滤波去噪处理和背景分割之后，进行不同视图的深度图像到三维点云的转换，Kinect传感器获得三维点云的原理和双目视觉获得三维点云的原理相同，都是利用了三角法的基本原理；通过红外深度相机的焦距f，测得的深度距离d，Kinect的三维坐标系与图像物理坐标系的夹角θ，可得到：
<mfenced open = "" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>X</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>Y</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>Z</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>f</mi>
</mfrac>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mi>k</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>cos</mi>
<mi>&theta;</mi>
<mo>&CenterDot;</mo>
<mi>l</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>u</mi>
<mn>0</mn>
</msub>
<mi>k</mi>
<mo>-</mo>
<mi>cos</mi>
<mi>&theta;</mi>
<mo>&CenterDot;</mo>
<msub>
<mi>v</mi>
<mn>0</mn>
</msub>
<mi>l</mi>
<mo>+</mo>
<mi>d</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mi>sin</mi>
<mi>&theta;</mi>
<mo>&CenterDot;</mo>
<mi>d</mi>
<mo>&CenterDot;</mo>
<mi>l</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mi>sin</mi>
<mi>&theta;</mi>
<mo>&CenterDot;</mo>
<msub>
<mi>v</mi>
<mn>0</mn>
</msub>
<mi>d</mi>
<mi>l</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mi>f</mi>
<mo>&CenterDot;</mo>
<mi>d</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>u</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>v</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>&ap;</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mi>k</mi>
<mo>/</mo>
<mi>f</mi>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<msub>
<mi>u</mi>
<mn>0</mn>
</msub>
<mi>k</mi>
<mo>+</mo>
<mi>d</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mi>d</mi>
<mi>l</mi>
<mo>/</mo>
<mi>f</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>v</mi>
<mn>0</mn>
</msub>
<mi>d</mi>
<mi>l</mi>
<mo>/</mo>
<mi>f</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mi>d</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>u</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>v</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<msup>
<mi>K</mi>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<msup>
<mrow>
<mo>&lsqb;</mo>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
<mo>,</mo>
<mn>1</mn>
<mo>&rsqb;</mo>
</mrow>
<mi>T</mi>
</msup>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
(X,Y,Z)为转换后点的三维坐标，(u,v)为图像像素坐标系点坐标，(u0,v0)为图像物理坐标系的中心坐标，k，l为像素的单位坐标系，K为相机的内置矩阵，通过K即可建立图像像素坐标和世界三维坐标之间的关系，即可直接求得点云的三维坐标；
3、对不同视图的双目图像进行特征点的提取与匹配，并求得正确匹配特征点的三维坐标；
(3.1)利用前面介绍的Harris-Laplace特征点检测原理，生成不同视图图像的相应Harris角点；
(3.2)利用前面介绍的SIFT特征描述子，生成(3.1)中Harris角点的SIFT特征描述；
(3.3)利用本发明方法的特征匹配算法来进行特征点的匹配，利用上述(3.1)中生成的Harris角点和(3.2)中生成角点的SIFT特征描述，使用k-d树优先搜索法，找到待匹配点的最近邻和次近邻的两个特征点，可节省后续匹配时间。如果待匹配点与最近邻特征点距离和待匹配点与次近邻特征点距离的比值小于某一个设定的阈值，即认为最近邻特征点作为候选匹配点；否则，继续寻找下一个最优匹配点；采用欧氏距离，用以下公式表示：其中Desp[i]，Desq[i]分别是128维的特征向量；
对求得的特征点进行粗匹配之后，要进行下一步的精匹配，删除一些错误的特征匹配。由于两台双目立体相机之间存在着平移和旋转关系，利用图像对的双极线约束关系对已匹配的特征点进行精确匹配。则对于待匹配的特征点对(uL,vL)和(uR,vR)，|vL-vR|≤δ，δ是一个标量值，选取不同的值对匹配点个数有着很大的影响，对后续脚模的三维重建有着至关重要的作用。本发明方法经过实验验证，选取δ＝10时重建的效果最好；
(3.4)利用前面介绍过的双目视觉测定三维坐标的原理，求得正确匹配特征点的三维坐标；
4、利用前面介绍过的ICP算法，将步骤(3.4)得到的正确匹配特征点的三维坐标进行迭代计算，并求出最优的旋转矩阵和平移向量；
5、在前面介绍过的ICP算法的基础之上，提出基于特征匹配的初始配准的点云拼接算法，其详细步骤如下：
(5.1)步骤3中以正确提取与匹配了不同视图的特征点，并求出了其三维坐标，现在将采集的第一幅和第二幅图的正确匹配点的三维坐标记为和
(5.2)根据之前介绍过的ICP算法的基本步骤对步骤(5.1)中求得的两组三维坐标点集和进行迭代计算，并求出最优的旋转矩阵R和平移向量t，将其作为ICP的初始配准。使得均方根误差和f的值最小：其中R为旋转矩阵，t为平移向量；
(5.3)利用Kinect拍摄获得的前两幅的深度图像的三维坐标点集用和表示，利用步骤(5.2)中求得的旋转矩阵R和平移向量t，对进行坐标变换，从而得到新的点集为变换公式为：
(5.4)将作为基准点集，将变换后的点集与基准点集进行坐标融合，并将重复冗余的点合并；
(5.5)对采集的第N幅图像，重复上述(5.1)—(5.4)的步骤，以此类推，用初始点云PN为坐标中心，去配准P′N-1点云，直至完成整个三维坐标的统一，则配准后的整个空间的三维坐标点云可以表示为(P1；P′2；...；P′N)；
通过以上步骤完成了不同视图不同坐标系的三维点云的拼接；
6、对获得的拼接后的点云进行精简，然后采用基于映射的方法对脚模点云进行Delaunay三角剖分处理，步骤如下：
(6.1)将脚模数据点云运用基于区域增长法分成几个片区，确保每个片区的点云数据经过映射后没有重叠；
(6.2)将分片后的区域点云映射到二维平面上，并保持原空间点云数据之间的距离属性；
(6.3)将步骤(6.2)中的二维平面上的点云数据选择逐点插入法进行Delaunay三角剖分，并将其重新映射到三维空间中；
(6.3)在曲面重建阶段，本发明方法选择精确化曲面的方法进行重构，首先构造轮廓线和曲面片，对构造的曲面片进行调整优化处理；
(6.4)对优化处理好的曲面片进行格栅构造，最后对格栅完成后的数据进行非均匀有理B样条(Non-Uniform Rational B-Spline)曲面拟合；
对三角网格化中出现的一些孔洞进行修复和填补，对一些网格化之后出现的毛刺和钉状物进行删除，在GEOMAGIC软件上进行渲染；
7、根据实际需求，在重建的三维模型中提取相应的特征点、线、局部曲面的位置，利用软件测出实际需求的脚的参数，分别是：脚长Lf、脚横宽w＝y1+y2、跖围C1、跗围C2、兜围C3、跖趾高H1、跗高H2、舟高H3。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710961929.4A CN107767442B (zh) | 2017-10-16 | 2017-10-16 | 一种基于Kinect和双目视觉的脚型三维重建与测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710961929.4A CN107767442B (zh) | 2017-10-16 | 2017-10-16 | 一种基于Kinect和双目视觉的脚型三维重建与测量方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107767442A true CN107767442A (zh) | 2018-03-06 |
| CN107767442B CN107767442B (zh) | 2020-12-25 |
Family
ID=61269295
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710961929.4A Active CN107767442B (zh) | 2017-10-16 | 2017-10-16 | 一种基于Kinect和双目视觉的脚型三维重建与测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107767442B (zh) |
Cited By (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108470323A (zh) * | 2018-03-13 | 2018-08-31 | 京东方科技集团股份有限公司 | 一种图像拼接方法、计算机设备及显示装置 |
| CN108648264A (zh) * | 2018-04-25 | 2018-10-12 | 吉林大学 | 基于运动恢复的水下场景重建方法及存储介质 |
| CN108898673A (zh) * | 2018-06-13 | 2018-11-27 | 东莞时谛智能科技有限公司 | 一种重构脚部三角网格模型处理方法及系统 |
| CN109064536A (zh) * | 2018-07-27 | 2018-12-21 | 电子科技大学 | 一种基于双目结构光的书页三维重建方法 |
| CN109147028A (zh) * | 2018-06-04 | 2019-01-04 | 成都通甲优博科技有限责任公司 | 一种包含尺度信息的人脸三维重建方法及系统 |
| CN109191509A (zh) * | 2018-07-25 | 2019-01-11 | 广东工业大学 | 一种基于结构光的虚拟双目三维重建方法 |
| CN109544606A (zh) * | 2018-11-02 | 2019-03-29 | 山东大学 | 基于多个Kinect的快速自动配准方法及系统 |
| CN109727277A (zh) * | 2018-12-28 | 2019-05-07 | 江苏瑞尔医疗科技有限公司 | 多目立体视觉的体表摆位跟踪方法 |
| CN109816724A (zh) * | 2018-12-04 | 2019-05-28 | 中国科学院自动化研究所 | 基于机器视觉的三维特征提取方法及装置 |
| CN109870106A (zh) * | 2019-02-14 | 2019-06-11 | 南京邮电大学 | 一种基于无人机图片的建筑物体积测量方法 |
| CN109875562A (zh) * | 2018-12-21 | 2019-06-14 | 鲁浩成 | 一种基于体感设备多视觉分析的人体体型监测系统 |
| CN110033465A (zh) * | 2019-04-18 | 2019-07-19 | 天津工业大学 | 一种应用于双目内窥镜医学图像的实时三维重建方法 |
| CN111008602A (zh) * | 2019-12-06 | 2020-04-14 | 青岛海之晨工业装备有限公司 | 一种小曲率薄壁零件用二维和三维视觉结合的划线特征提取方法 |
| CN111046906A (zh) * | 2019-10-31 | 2020-04-21 | 中国资源卫星应用中心 | 一种面状特征点可靠加密匹配方法和系统 |
| CN111260574A (zh) * | 2020-01-13 | 2020-06-09 | 深圳市安印科技有限公司 | 一种印章照片矫正的方法、终端及计算机可读存储介质 |
| CN111353985A (zh) * | 2020-03-02 | 2020-06-30 | 电子科技大学 | 一种基于深度相机的机场自助托运行李的检测方法 |
| CN111798515A (zh) * | 2020-06-30 | 2020-10-20 | 大连亚泰华光电技术有限公司 | 用于焚烧状况识别的立体视觉监测方法 |
| CN112070816A (zh) * | 2020-07-29 | 2020-12-11 | 深圳瀚维智能医疗科技有限公司 | 人体背部三维点云重建方法、装置及计算机可读存储介质 |
| CN112085657A (zh) * | 2020-09-10 | 2020-12-15 | 北京信息科技大学 | 一种基于双目立体视觉跟踪和视网膜血管特征的oct图像拼接方法 |
| CN112161571A (zh) * | 2020-10-09 | 2021-01-01 | 山东科技大学 | 一种低数据量的双目视觉采煤机定位与位姿检测系统及方法 |
| CN112393722A (zh) * | 2020-11-04 | 2021-02-23 | 中国船舶重工集团公司第七一六研究所 | 一种远距离目标的实时多视角协同定位头盔及方法 |
| CN112634435A (zh) * | 2020-12-17 | 2021-04-09 | 中国地质大学（武汉） | 一种基于“Eye in Hand”模型的陶瓷制品三维点云重建方法 |
| CN112700480A (zh) * | 2020-12-29 | 2021-04-23 | 河北工业大学 | 一种面向小尺寸物体旋转扫描的点云快速配准方法及应用 |
| CN112767542A (zh) * | 2018-03-22 | 2021-05-07 | 影石创新科技股份有限公司 | 一种多目相机的三维重建方法、vr相机和全景相机 |
| CN112862687A (zh) * | 2021-02-24 | 2021-05-28 | 之江实验室 | 一种基于二维特征点的双目内窥图像三维拼接方法 |
| WO2021142843A1 (zh) * | 2020-01-19 | 2021-07-22 | Oppo广东移动通信有限公司 | 图像扫描方法及装置、设备、存储介质 |
| CN113587816A (zh) * | 2021-08-04 | 2021-11-02 | 天津微深联创科技有限公司 | 一种阵列式大场景结构光三维扫描测量方法及其装置 |
| CN114072025A (zh) * | 2019-07-09 | 2022-02-18 | 尼茨股份有限公司 | 经由移动计算设备进行脚部扫描的系统和方法 |
| CN114169022A (zh) * | 2021-10-29 | 2022-03-11 | 深圳精匠云创科技有限公司 | 在胚料上雕刻出雕刻标的3d表面的方法及系统 |
| CN114463405A (zh) * | 2022-01-26 | 2022-05-10 | 熵智科技(深圳)有限公司 | 面扫线激光3d相机加速方法、装置、系统及fpga |
| CN115839675A (zh) * | 2023-02-20 | 2023-03-24 | 宜科(天津)电子有限公司 | 一种物体轮廓线的识别系统 |
| CN115880448A (zh) * | 2022-12-06 | 2023-03-31 | 温州鹿城佳涵网络技术服务工作室 | 基于双目成像的三维测量方法、装置、设备及存储介质 |
| CN115880448B (zh) * | 2022-12-06 | 2024-05-14 | 西安工大天成科技有限公司 | 基于双目成像的三维测量方法及装置 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024015891A1 (en) * | 2022-07-15 | 2024-01-18 | The Regents Of The University Of California | Image and depth sensor fusion methods and systems |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013013969A (ja) * | 2011-07-04 | 2013-01-24 | Hirotaka Niitsuma | ｍｉｃｒｏｓｏｆｔｋｉｎｅｃｔによるロボット制御とその応用 |
| CN106361345A (zh) * | 2016-11-29 | 2017-02-01 | 公安部第三研究所 | 基于摄像头标定的视频图像中人体身高测量的系统及方法 |
| CN107167077A (zh) * | 2017-07-07 | 2017-09-15 | 京东方科技集团股份有限公司 | 立体视觉测量系统和立体视觉测量方法 |
-
2017
- 2017-10-16 CN CN201710961929.4A patent/CN107767442B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013013969A (ja) * | 2011-07-04 | 2013-01-24 | Hirotaka Niitsuma | ｍｉｃｒｏｓｏｆｔｋｉｎｅｃｔによるロボット制御とその応用 |
| CN106361345A (zh) * | 2016-11-29 | 2017-02-01 | 公安部第三研究所 | 基于摄像头标定的视频图像中人体身高测量的系统及方法 |
| CN107167077A (zh) * | 2017-07-07 | 2017-09-15 | 京东方科技集团股份有限公司 | 立体视觉测量系统和立体视觉测量方法 |
Non-Patent Citations (2)
| Title |
|---|
| VICENTE MORELL等: "Geometric 3D point cloud compression", 《PATTERN RECOGNITION LETTERS》 * |
| 禹素萍 等: "基于 Kinect 的三维人体分块点云数据的拼接与模型重建", 《计算机应用与软件》 * |
Cited By (46)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11308579B2 (en) | 2018-03-13 | 2022-04-19 | Boe Technology Group Co., Ltd. | Image stitching method, image stitching apparatus, display apparatus, and computer product |
| CN108470323A (zh) * | 2018-03-13 | 2018-08-31 | 京东方科技集团股份有限公司 | 一种图像拼接方法、计算机设备及显示装置 |
| CN112767542A (zh) * | 2018-03-22 | 2021-05-07 | 影石创新科技股份有限公司 | 一种多目相机的三维重建方法、vr相机和全景相机 |
| CN108648264A (zh) * | 2018-04-25 | 2018-10-12 | 吉林大学 | 基于运动恢复的水下场景重建方法及存储介质 |
| CN108648264B (zh) * | 2018-04-25 | 2020-06-23 | 吉林大学 | 基于运动恢复的水下场景重建方法及存储介质 |
| CN109147028A (zh) * | 2018-06-04 | 2019-01-04 | 成都通甲优博科技有限责任公司 | 一种包含尺度信息的人脸三维重建方法及系统 |
| CN108898673A (zh) * | 2018-06-13 | 2018-11-27 | 东莞时谛智能科技有限公司 | 一种重构脚部三角网格模型处理方法及系统 |
| CN109191509A (zh) * | 2018-07-25 | 2019-01-11 | 广东工业大学 | 一种基于结构光的虚拟双目三维重建方法 |
| CN109064536A (zh) * | 2018-07-27 | 2018-12-21 | 电子科技大学 | 一种基于双目结构光的书页三维重建方法 |
| CN109544606A (zh) * | 2018-11-02 | 2019-03-29 | 山东大学 | 基于多个Kinect的快速自动配准方法及系统 |
| CN109816724B (zh) * | 2018-12-04 | 2021-07-23 | 中国科学院自动化研究所 | 基于机器视觉的三维特征提取方法及装置 |
| CN109816724A (zh) * | 2018-12-04 | 2019-05-28 | 中国科学院自动化研究所 | 基于机器视觉的三维特征提取方法及装置 |
| CN109875562A (zh) * | 2018-12-21 | 2019-06-14 | 鲁浩成 | 一种基于体感设备多视觉分析的人体体型监测系统 |
| CN109727277A (zh) * | 2018-12-28 | 2019-05-07 | 江苏瑞尔医疗科技有限公司 | 多目立体视觉的体表摆位跟踪方法 |
| CN109870106A (zh) * | 2019-02-14 | 2019-06-11 | 南京邮电大学 | 一种基于无人机图片的建筑物体积测量方法 |
| CN110033465B (zh) * | 2019-04-18 | 2023-04-25 | 天津工业大学 | 一种应用于双目内窥镜医学图像的实时三维重建方法 |
| CN110033465A (zh) * | 2019-04-18 | 2019-07-19 | 天津工业大学 | 一种应用于双目内窥镜医学图像的实时三维重建方法 |
| CN114072025A (zh) * | 2019-07-09 | 2022-02-18 | 尼茨股份有限公司 | 经由移动计算设备进行脚部扫描的系统和方法 |
| CN111046906B (zh) * | 2019-10-31 | 2023-10-31 | 中国资源卫星应用中心 | 一种面状特征点可靠加密匹配方法和系统 |
| CN111046906A (zh) * | 2019-10-31 | 2020-04-21 | 中国资源卫星应用中心 | 一种面状特征点可靠加密匹配方法和系统 |
| CN111008602A (zh) * | 2019-12-06 | 2020-04-14 | 青岛海之晨工业装备有限公司 | 一种小曲率薄壁零件用二维和三维视觉结合的划线特征提取方法 |
| CN111260574B (zh) * | 2020-01-13 | 2023-09-22 | 深圳市安印科技有限公司 | 一种印章照片矫正的方法、终端及计算机可读存储介质 |
| CN111260574A (zh) * | 2020-01-13 | 2020-06-09 | 深圳市安印科技有限公司 | 一种印章照片矫正的方法、终端及计算机可读存储介质 |
| WO2021142843A1 (zh) * | 2020-01-19 | 2021-07-22 | Oppo广东移动通信有限公司 | 图像扫描方法及装置、设备、存储介质 |
| CN111353985B (zh) * | 2020-03-02 | 2022-05-03 | 电子科技大学 | 一种基于深度相机的机场自助托运行李的检测方法 |
| CN111353985A (zh) * | 2020-03-02 | 2020-06-30 | 电子科技大学 | 一种基于深度相机的机场自助托运行李的检测方法 |
| CN111798515B (zh) * | 2020-06-30 | 2024-01-12 | 大连亚泰华光电技术有限公司 | 用于焚烧状况识别的立体视觉监测方法 |
| CN111798515A (zh) * | 2020-06-30 | 2020-10-20 | 大连亚泰华光电技术有限公司 | 用于焚烧状况识别的立体视觉监测方法 |
| CN112070816B (zh) * | 2020-07-29 | 2024-04-05 | 深圳瀚维智能医疗科技有限公司 | 用于按摩设备的人体背部三维点云重建方法、装置及计算机可读存储介质 |
| CN112070816A (zh) * | 2020-07-29 | 2020-12-11 | 深圳瀚维智能医疗科技有限公司 | 人体背部三维点云重建方法、装置及计算机可读存储介质 |
| CN112085657A (zh) * | 2020-09-10 | 2020-12-15 | 北京信息科技大学 | 一种基于双目立体视觉跟踪和视网膜血管特征的oct图像拼接方法 |
| CN112085657B (zh) * | 2020-09-10 | 2023-09-26 | 北京信息科技大学 | 一种基于双目立体视觉跟踪和视网膜血管特征的oct图像拼接方法 |
| CN112161571B (zh) * | 2020-10-09 | 2022-02-22 | 山东科技大学 | 一种低数据量的双目视觉采煤机定位与位姿检测系统及方法 |
| CN112161571A (zh) * | 2020-10-09 | 2021-01-01 | 山东科技大学 | 一种低数据量的双目视觉采煤机定位与位姿检测系统及方法 |
| CN112393722A (zh) * | 2020-11-04 | 2021-02-23 | 中国船舶重工集团公司第七一六研究所 | 一种远距离目标的实时多视角协同定位头盔及方法 |
| CN112393722B (zh) * | 2020-11-04 | 2022-09-27 | 中国船舶重工集团公司第七一六研究所 | 一种远距离目标的实时多视角协同定位头盔及方法 |
| CN112634435A (zh) * | 2020-12-17 | 2021-04-09 | 中国地质大学（武汉） | 一种基于“Eye in Hand”模型的陶瓷制品三维点云重建方法 |
| CN112700480A (zh) * | 2020-12-29 | 2021-04-23 | 河北工业大学 | 一种面向小尺寸物体旋转扫描的点云快速配准方法及应用 |
| CN112862687B (zh) * | 2021-02-24 | 2023-10-31 | 之江实验室 | 一种基于二维特征点的双目内窥图像三维拼接方法 |
| CN112862687A (zh) * | 2021-02-24 | 2021-05-28 | 之江实验室 | 一种基于二维特征点的双目内窥图像三维拼接方法 |
| CN113587816A (zh) * | 2021-08-04 | 2021-11-02 | 天津微深联创科技有限公司 | 一种阵列式大场景结构光三维扫描测量方法及其装置 |
| CN114169022A (zh) * | 2021-10-29 | 2022-03-11 | 深圳精匠云创科技有限公司 | 在胚料上雕刻出雕刻标的3d表面的方法及系统 |
| CN114463405A (zh) * | 2022-01-26 | 2022-05-10 | 熵智科技(深圳)有限公司 | 面扫线激光3d相机加速方法、装置、系统及fpga |
| CN115880448A (zh) * | 2022-12-06 | 2023-03-31 | 温州鹿城佳涵网络技术服务工作室 | 基于双目成像的三维测量方法、装置、设备及存储介质 |
| CN115880448B (zh) * | 2022-12-06 | 2024-05-14 | 西安工大天成科技有限公司 | 基于双目成像的三维测量方法及装置 |
| CN115839675A (zh) * | 2023-02-20 | 2023-03-24 | 宜科(天津)电子有限公司 | 一种物体轮廓线的识别系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107767442B (zh) | 2020-12-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107767442A (zh) | 一种基于Kinect和双目视觉的脚型三维重建与测量方法 | |
| CN109242954B (zh) | 基于模板变形的多视角三维人体重建方法 | |
| Furukawa et al. | Accurate, dense, and robust multiview stereopsis | |
| Delaunoy et al. | Photometric bundle adjustment for dense multi-view 3d modeling | |
| CN101887589B (zh) | 一种基于立体视觉的实拍低纹理图像重建方法 | |
| CN103971404B (zh) | 一种高性价比的3d实景复制装置 | |
| Wong et al. | A stratified approach for camera calibration using spheres | |
| CN106910222A (zh) | 基于双目立体视觉的人脸三维重建方法 | |
| CN104361627B (zh) | 基于sift的双目视觉沥青路面微观纹理三维图像重构方法 | |
| CN107862744A (zh) | 航空影像三维建模方法及相关产品 | |
| CN104240289A (zh) | 一种基于单个相机的三维数字化重建方法及系统 | |
| CN109579695B (zh) | 一种基于异构立体视觉的零件测量方法 | |
| CN105654547B (zh) | 三维重建方法 | |
| CN106997605A (zh) | 一种通过智能手机采集脚型视频和传感器数据获取三维脚型的方法 | |
| JP2013178656A (ja) | 画像処理装置、画像処理方法および画像処理用のプログラム | |
| CN103308000B (zh) | 基于双目视觉的曲线物体测量方法 | |
| CN106780573A (zh) | 一种全景图特征匹配精度优化的方法及系统 | |
| CN116188558A (zh) | 基于双目视觉的立体摄影测量方法 | |
| Ran et al. | High-precision human body acquisition via multi-view binocular stereopsis | |
| Yong-guo et al. | The navigation of mobile robot based on stereo vision | |
| Liu et al. | Pose estimation from reflections for specular surface recovery | |
| Tyle_ek et al. | Refinement of surface mesh for accurate multi-view reconstruction | |
| Coorg | Pose imagery and automated three-dimensional modeling of urban environments | |
| Lhuillier | Toward flexible 3d modeling using a catadioptric camera | |
| CN116883590A (zh) | 一种三维人脸点云优化方法、介质及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |