CN105551086B - 一种基于计算机视觉的个性化脚部建模与鞋垫定制方法 - Google Patents
一种基于计算机视觉的个性化脚部建模与鞋垫定制方法 Download PDFInfo
- Publication number
- CN105551086B CN105551086B CN201510882157.6A CN201510882157A CN105551086B CN 105551086 B CN105551086 B CN 105551086B CN 201510882157 A CN201510882157 A CN 201510882157A CN 105551086 B CN105551086 B CN 105551086B
- Authority
- CN
- China
- Prior art keywords
- foot
- point
- plane
- shoe
- grid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/30—Polynomial surface description
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Mathematical Analysis (AREA)
- Algebra (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Footwear And Its Accessory, Manufacturing Method And Apparatuses (AREA)
Abstract
本发明公开了一种基于计算机视觉的个性化脚部建模与鞋垫定制方法,包括:获取被测者的脚部视频数据,对脚部视频数据中相邻的两帧图像进行特征点提取,并用利用光流法对相邻视频帧之间的特征点进行跟踪匹配,采用零均值归一化互相关系数ZNCC验证剔除其中不可靠的跟踪结果,并根据跟踪匹配的结果构造特征点的轨迹,对脚部视频数据中的关键帧进行选取,根据得到的特征点轨迹,并利用SFM方法对视频关键帧队列中的特征点轨迹进行三维重建,以生成脚部网格模型。本发明能够解决现有定制鞋垫中采集数据困难和成本过高的技术问题。
Description
技术领域
本发明属于计算机视觉及图形图像处理技术领域,更具体地,涉及一种基于计算机视觉的个性化脚部建模与鞋垫定制方法。
背景技术
在鞋类用品领域,定制鞋垫受到越来越多的关注,定制鞋垫的设计已经成为鞋类产品开发中极为重要的一环。定制的鞋垫不仅可以实现足底分压,提高跑步等运动项目的成绩,更对糖尿足、足弓塌陷等足部疾病有着良好的治疗效果。
传统的定制鞋垫技术是通过石膏绷带与泡沫定性的方式获得足部轮廓,通过贴合足部曲线、手工翻模获得定制鞋垫的基本形状。但这种定制过程相当繁杂,也不够精确,不能大量复制。近年来随着数字技术的发展,出现了一种新型的定制鞋垫的制作方法。通过三维扫描软件对脚部扫描,采集脚部数据,再通过计算机辅助设计(Computer Aided Design,简称CAD)与计算机辅助制造技术(Computer Aided Manufacturing,简称CAM)对鞋垫进行修型、成型与适配。数字技术使定制的鞋垫更加精准,制作速度也更快,但是精确的三维扫描仪器比较昂贵,成本较高。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种基于计算机视觉的个性化脚部建模与鞋垫定制方法,其目的在于,解决现有定制鞋垫中采集数据困难和成本过高的技术问题,仅以脚部视频数据作为输入数据,利用运动恢复结构(Structure FromMotion,简称SFM)方法重建三维场景和相机参数的特性,来进行个性化的定制鞋垫的设计。
为实现上述目的,按照本发明的一个方面,提供了一种基于计算机视觉的个性化脚部建模与鞋垫定制方法,包括以下步骤:
(1)获取被测者的脚部视频数据;
(2)对脚部视频数据中相邻的两帧图像进行特征点提取,并利用光流法对相邻视频帧之间的特征点进行跟踪匹配,采用零均值归一化互相关系数(Zero-based NormalizedCross Correlation,简称ZNCC)验证剔除其中不可靠的跟踪结果,并根据跟踪匹配的结果构造特征点的轨迹;
(3)对脚部视频数据中的关键帧进行选取;
(4)根据步骤(2)得到的特征点轨迹,并利用SFM方法对视频关键帧队列中的特征点轨迹进行三维重建,以生成脚部网格模型。
(5)在脚部网格模型中,根据步骤(3.3)中的人工标注的标记物的两端点,找到两个对应的重建的三维点,计算其欧氏距离,进而得到重建的比例因子,测算出脚长,将脚部网格模型向脚底平面方向进行投影,以得到鞋垫轮廓图;
(6)使用步骤(5)得到的鞋垫轮廓图对准脚部模型,对准的轮廓图沿使用步骤(5)得到的脚底平面π的法线方向拉伸并接触到脚底曲面,从而得到拟合脚底曲面的鞋垫轮廓体,对鞋垫轮廓体进行裁剪,以得到定制鞋垫。
优选地,步骤(2)包括以下子步骤:
(2.1)剔除脚部视频数据中最开始的a帧,并把接下来的一帧当做视频的第一帧,其中a的取值范围是10到50;
(2.2)在视频的第一帧上进行角点检测,并采用光流法跟踪检测得到的角点,以得到该角点在下一帧上位置的预测值,并采用ZNCC来剔除掉不可靠的跟踪结果;
(2.3)在图像空白区域重新进行角点检测,重新检测得到的新角点用于下一步的光流法跟踪;
(2.4)对脚部视频数据中剩余的所有视频帧执行上述步骤(2.2)和(2.3),从而根据光流法跟踪的结果得到特征点之间的匹配关系,并根据跟踪匹配关系构造特征点的轨迹。
优选地,步骤(3)包括以下子步骤:
(3.1)构建一个空视频关键帧队列;
(3.2)按照脚部视频数据帧率的20-70%对脚部视频数据进行间隔采样;
(3.3)对脚部视频数据的关键帧挑选完毕后,在出现步骤(1)所描述的标记物的关键帧中,人工标注标记物的两端点。
优选地,步骤(4)包括以下子步骤:
(4.1)根据步骤(2)得到的特征点的轨迹,利用SFM方法获得视频关键帧队列的相机参数和对应的稀疏三维点云;
(4.2)利用基于块状的多视角立体视觉算法PMVS将稀疏三维点云作为扩展种子点在三维空间中进行扩展,以得到稠密三维点云;
(4.3)对稠密三维点云进行泊松表面重建,以得到脚部网格模型。
优选地,步骤(5)包括以下子步骤:
(5.1)建立O-XYZ右手坐标系,在脚部网格模型中,找到对应的步骤(3.3)中人工标注的标记物两端点的三维点,根据标记物的两端点实际长度L计算两端点的三维点间的欧式距离l,只保留脚踝以下脚部网格,手动剔除其他的多余网格;
(5.2)建立一个点云队列,将稠密三维点云中所有三维点都入队。并设置变量dmax用来存储两平行平面之间的距离,初始化dmax=0;
(5.3)判断点云队列是否为空,为空就跳转至步骤(5.8),不为空就继续执行步骤(5.4);
(5.4)点云队列的队首元素出队,设为点E,过点E设置一条与Z轴平行的直线n0,过n0任意作一平面γ;
(5.5)过点E且以n0为法线作平面α,判断平面α与脚部网格是否相切,如果相切则在脚部网格的与平面α相对的另一侧,作与平面α平行的平面β从远处逼近脚部网格,直到与脚部网格相切,这样脚部网格就位于两平行平面α、β之间,此时计算两平行平面α、β之间的距离d,如果d>dmax,则令dmax=d,并保存平行平面α、β;
(5.6)以点E为旋转中心,将法向量n0在平面γ内向同一方向旋转θ度,其中要求360是θ的整数倍,判断法向量n0是否已经旋转一周,未旋转一周就跳转至步骤(5.5),已旋转一周就继续执行步骤(5.7);
(5.7)以n0为旋转中心每次将平面γ沿同一方向旋转θ度。判断平面γ是否已经旋转一周,未旋转一周就跳转至步骤(5.5),已旋转一周就跳转至步骤(5.3);
(5.8)返回dmax和与dmax对应的两平行平面α、β;
(5.9)利用标记物与脚部模型重建的比例因子相同的特性,计算脚长:
D=dmax*L/l,
其中,D为脚长,L为标记物两端点的实际长度,l是标记物两端点对应的三维点的欧式距离,dmax为与脚部网格相切的距离最大的两平行平面α、β之间的距离;
(5.10)得到与脚部网格相切的距离最大的两平行平面α、β后,则可得到与平面α、β都垂直的平面π,平面π即为脚底平面,将脚部网格沿平面π的法线方向向平面π投影,最终得到鞋垫轮廓图。
优选地,步骤(6)包括以下子步骤:
(6.1)将鞋垫轮廓图与脚部网格沿投影方向对准;
(6.2)使用步骤(6.1)得到的对准脚部网格的鞋垫轮廓图沿投影方向拉伸并接触到脚底曲面为止,从而实现鞋垫轮廓图与脚部网格的拼接拟合,得到具有空间体积的鞋垫轮廓体;
(6.3)选择鞋垫厚度对鞋垫轮廓体进行剪裁,并剔除局部的毛刺点,输出最终的定制鞋垫。
按照本发明的另一方面,提供了一种基于计算机视觉的个性化脚部建模与鞋垫定制系统,包括:
第一模块,用于获取被测者的脚部视频数据;
第二模块,用于对脚部视频数据中相邻的两帧图像进行特征点提取,并利用光流法对相邻视频帧之间的特征点进行跟踪匹配,采用零均值归一化互相关系数ZNCC验证剔除其中不可靠的跟踪结果,并根据跟踪匹配的结果构造特征点的轨迹;
第三模块,用于对脚部视频数据中的关键帧进行选取;
第四模块,用于根据第二模块得到的特征点轨迹,并利用SFM方法对视频关键帧队列中的特征点轨迹进行三维重建,以生成脚部网格模型;
第五模块,用于在脚部网格模型中,根据步骤(3)中产生的人工标注的标记物的两端点,找到两个对应的重建的三维点,计算其欧氏距离,进而得到重建的比例因子,测算出脚长,将脚部网格模型向脚底平面方向进行投影,以得到鞋垫轮廓图;
第六模块,用于使用第五模块得到的鞋垫轮廓图对准脚部模型,对准的轮廓图沿使用第五模块得到的脚底平面π的法线方向拉伸并接触到脚底曲面,从而得到拟合脚底曲面的鞋垫轮廓体,对鞋垫轮廓体进行裁剪,以得到定制鞋垫。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,能够取得下列有益效果:
1、能够解决现有定制鞋垫中采集数据困难的技术问题:由于采用了步骤(1),只须测量者手持相机围绕被测者的脚部拍摄一圈,拍摄得到的脚部视频数据作为输入进行个性化鞋垫定制,此外,脚部视频数据可通过网络进行传输,具有异地采集网络传输的优点,免去了现场采集的繁琐不便。因此本发明能够解决现有定制鞋垫中采集数据困难的技术问题。
2、能够解决现有定制鞋垫中成本过高的技术问题:由于采用了步骤(1)、步骤(2)、步骤(3)和步骤(4),使用已经普及的相机或手机进行脚部视频数据拍摄,对脚部视频数据选取关键帧后,利用SFM方法进行三维重建得到脚部网格模型,无须特定的采集数据设备,只需要借助用户的相机或手机,让用户自行拍摄脚部视频,极大的减少了人力和设备成本。因此本发明能够解决现有定制鞋垫中成本过高的技术问题。
3、能够解决现有定制鞋垫中人机交互过多的技术问题:从脚部的三维重建到定制鞋垫的设计,基本由计算机计算完成,解决了人工的过多参与导致鞋垫制作标准不统一的问题,大大降低了各个环节中的误差。因此本发明能够解决现有定制鞋垫中人机交互过多的技术问题。
附图说明
图1是本发明基于计算机视觉的个性化脚部建模与鞋垫定制方法的整体流程图;
图2是本发明方法的视频拍摄示意图;
图3是本发明方法中脚部网格生成定制鞋垫的流程图;
图4是本发明方法中鞋垫轮廓图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示为本发明的整体流程图。从图1可以看出,作为输入的视频数据经过特征匹配、三维重建、点云稠密扩展、表面重建等步骤,从视频序列中重建出精确的脚部模型,进而设计出定制鞋垫。本发明基于计算机视觉的个性化脚部建模与鞋垫定制方法包括以下步骤:
(1)获取被测者的脚部视频数据;
被测者A的脚穿上印有丰富纹理图案的薄而且紧身的袜子,为了便于说明,这里假定纹理图案为黑白棋盘网格。如图2所示,大腿4靠放在某固定物1上,脚部5悬在空中,脚的下方摆放有标记物3,标记物两端的长度已知,测量者B使用相机从上至下围绕被测者A的脚部拍摄一圈。本发明对于拍摄方式和脚部姿势不做限定,图2只是本发明的一个实施例,但是本发明中拍摄方式和脚部姿势必须满足以下两点要求,第一,脚部必须静止且每一个脚部部位都要被拍摄;第二,必须保证拍摄的视频中一段连续子序列帧中含有标记物的两端点,从而保证SFM方法能够重建出标记物的两端点。
在本发明的一个实施例中,在本发明中的标记物采用已知网格行、列数和每个格子边长的黑白棋盘网格。
(2)对脚部视频数据中相邻的两帧图像进行特征点提取,并用利用光流法对相邻视频帧之间的特征点进行跟踪匹配,采用ZNCC验证剔除其中不可靠的跟踪结果,并根据跟踪匹配的结果构造特征点的轨迹。
特征点的提取和匹配的准确与否直接关系到后续重建的精度,因此必须保证特征点正确的提取、匹配的准确。本发明中的特征点应尽量满足以下标准:有较好的稳定性和显著性,有好的抗噪性,定位要准确,不提取假的特征点。
在本发明的一个实施例中,特征点提取采用最小核值相似区特征(SmallUnivalue Segment Assimilating Nucleus,简称SUSAN)角点检测算法,特征点的跟踪匹配采用KLT(Kanade-Lucas-Tomasi,简称KLT)光流跟踪法。具体实施时特征点提取也可采用Forstner算子、Harris角点等,并不仅限于SUSAN角点。
具体而言,本步骤包括以下子步骤:
(2.1)剔除脚部视频数据中最开始的a帧,并把接下来的一帧当做视频的第一帧,其中a的取值范围是10到50;具体而言,刚开始拍摄视频时,由于手部晃动等原因,视频帧的质量不高,因此需要执行剔除帧的操作。
(2.2)在视频的第一帧上进行角点检测,并采用光流法跟踪检测得到的角点,以得到该角点在下一帧上位置的预测值,并采用ZNCC来剔除掉不可靠的跟踪结果。
具体而言,本实施方式中采用的是SUSAN角点检测算法;为了提高SUSAN角点跟踪的准确度,剔除噪声点,在本实施例中,采用ZNCC得分来过滤不可靠的跟踪结果,ZNCC在跟踪算法中具有良好的光照适应性和抗噪性,可用来度量匹配的特征点在相邻前后两帧上的局部邻域的相似程度,局部邻域越相似,则ZNCC相似性得分越高,将ZNCC相似性得分小于某一阈值b的跟踪结果视为不可靠结果,并进行剔除。具体而言,阈值b的范围在0.55到0.95之间,阈值b越大,则剔除的跟踪结果越多,得到的跟踪结果越准确,但是也有可能剔除掉正确的跟踪结果。
(2.3)拍摄脚部视频时,随着相机位置的移动,会有新的场景区域进入相机视野,以及不可靠的跟踪结果被剔除,保留在图像中的角点越来越少,因此需要在图像空白区域重新进行角点检测,重新检测得到的新角点用于下一步的光流法跟踪。在本发明的一个实施例中,新场景区域可通过视频帧图像与图像掩模卷积得到。
(2.4)对脚部视频数据中剩余的所有视频帧执行上述步骤(2.2)和(2.3),从而根据光流法跟踪的结果得到特征点之间的匹配关系,并根据跟踪匹配关系构造特征点的轨迹。具体而言,匹配的特征点依照视频帧的顺序构成的集合即为该特征点的轨迹。
(3)对脚部视频数据中的关键帧进行选取。
在脚部视频数据的获取上,绕脚拍摄一段视频至少需要十多秒,而相机的视频帧率可达30fps,因此一段脚部视频中包含的数据量相当大。另一方面,由于拍摄时需要保持视频的清晰度,因此只能缓慢移动镜头,导致这些相邻视频帧之间在时间和空间上的相关性非常大,换句话说,视频帧之间存在信息冗余,因此没有必要对所有视频帧图片进行重建。同时考虑到SFM方法的运算复杂度,在图像信息量比较大的情况下,相当耗费计算机的空间和时间资源。出于这两个方面的考虑,因此有必要对视频帧进行选取,剔除冗余信息帧,只保留对重建有用的关键帧。
本步骤具体包括以下子步骤:
(3.1)构建一个空视频关键帧队列;
(3.2)按照脚部视频数据帧率的c%对脚部视频数据进行间隔采样;具体而言,如果当前帧率为30fps,则每隔30*c%帧采样一帧,并将采样的帧依次加入步骤(3.1)构建的空关键帧队列,在本发明的一实施例中,c的取值范围是20到70;
(3.3)对脚部视频数据的关键帧挑选完毕后,在出现步骤(1)所描述的标记物的关键帧中,人工标注标记物的两端点;具体而言,本步骤的目的是用于后续步骤(5)的脚长计算。
(4)根据步骤(2)得到的特征点轨迹,并利用SFM方法对视频关键帧队列中的特征点轨迹进行三维重建,以生成脚部网格模型。
本步骤具体包括以下子步骤:
(4.1)根据步骤(2)得到的特征点的轨迹,利用SFM方法获得视频关键帧队列的相机参数和对应的稀疏三维点云。
(4.2)利用基于块状的多视角立体视觉算法(Patch-based Multi-View Stereo,简称PMVS)将稀疏三维点云作为扩展种子点在三维空间中进行扩展,得到稠密三维点云。
(4.3)对稠密三维点云进行泊松表面重建,得到脚部网格模型。最终得到的脚部模型面片数较多,在精度上能达到鞋垫的设计要求,可直接使用脚部模型来进行定制鞋垫的设计。
(5)在脚部网格模型中,根据步骤(3)中产生的人工标注的标记物的两端点,找到两个对应的重建的三维点,计算其欧氏距离,进而得到重建的比例因子,测算出脚长,将脚部网格模型向脚底平面方向进行投影,以得到鞋垫轮廓图。如图4所示,展示了由脚部网格模型生成的鞋垫轮廓图。
由于我们最初无从得知脚底平面的位置,步骤(5)的主要目的就是通过迭代计算最终求得脚底平面位置。此外,由于需要对计算机自动生成的结果进行优化完善,因此有部分地方需要人工交互,如剔除毛刺噪声点等。如图3所示,详细了描述了脚部网格模型生成定制鞋垫的过程。
本步骤具体包括以下子步骤:
(5.1)建立O-XYZ右手坐标系,在脚部网格模型中,找到对应的步骤(3.3)中人工标注的标记物两端点的三维点,根据标记物的两端点实际长度L计算两端点的三维点间的欧式距离l,只保留脚踝以下脚部网格,手动剔除其他的多余网格,包括标记物和脚踝及以上部位等网格。
(5.2)建立一个点云队列,将稠密三维点云中所有三维点都入队。并设置一个变量dmax用来存储两平行平面之间的距离,初始化dmax=0。
(5.3)判断点云队列是否为空,为空就跳转至步骤(5.8),不为空就继续执行步骤(5.4);
(5.4)点云队列的队首元素出队,设为点E,过点E设置一条与Z轴平行的直线n0,过n0任意作一平面γ。
(5.5)过点E且以n0为法线作平面α,判断平面α与脚部网格是否相切(在本发明中,平面与脚部网格的相切指的是平面与脚部网格有且仅有一个交点),如果相切则在脚部网格的与平面α相对的另一侧,作与平面α平行的平面β从远处逼近脚部网格,直到与脚部网格相切,这样脚部网格就位于两平行平面α、β之间,此时计算两平行平面α、β之间的距离d,如果d>dmax,则令dmax=d,并保存平行平面α、β。
(5.6)以点E为旋转中心,将法向量n0在平面γ内向同一方向旋转θ度,其中要求360是θ的整数倍。判断法向量n0是否已经旋转一周,未旋转一周就跳转至步骤(5.5),已旋转一周就继续执行步骤(5.7);具体而言,θ取得越小,则得到的脚底平面越准确,计算复杂度越高,为了保证脚底平面的准确度,θ的取值范围为小于0.05,且360必须是θ的整数倍。
(5.7)以n0为旋转中心每次将平面γ沿同一方向旋转θ度。判断平面γ是否已经旋转一周,未旋转一周就跳转至步骤(5.5),已旋转一周就跳转至步骤(5.3)。
(5.8)返回dmax和与dmax对应的两平行平面α、β。
(5.9)利用标记物与脚部模型重建的比例因子相同的特性,计算脚长:
D=dmax*L/l,
其中,D为脚长,L为标记物两端点的实际长度,l是标记物两端点对应的三维点的欧式距离,dmax为与脚部网格相切的距离最大的两平行平面α、β之间的距离。
(5.10)得到与脚部网格相切的距离最大的两平行平面α、β后,则可得到与平面α、β都垂直的平面π,平面π即为脚底平面,将脚部网格沿平面π的法线方向向平面π投影,最终得到鞋垫轮廓图。
(6)使用步骤(5)得到的鞋垫轮廓图对准脚部模型,对准的轮廓图沿使用步骤(5)得到的脚底平面π的法线方向拉伸并接触到脚底曲面,从而得到拟合脚底曲面的鞋垫轮廓体,选择合适厚度对鞋垫轮廓体进行裁剪,得到定制鞋垫。
本步骤具体包括以下子步骤:
(6.1)将鞋垫轮廓图与脚部网格沿投影方向(即脚底平面π的法线方向)对准;由于鞋垫轮廓图是由脚部网格投影得到的,因此沿着投影方向鞋垫轮廓图和脚部网格已经对准。
(6.2)使用步骤(6.1)得到的对准脚部网格的鞋垫轮廓图沿投影方向拉伸并接触到脚底曲面为止,从而实现鞋垫轮廓图与脚部网格的拼接拟合,得到具有空间体积的鞋垫轮廓体;具体而言,根据脚底部的曲线变化情况确定鞋垫造型的弯曲弧度,这样拉伸得到的鞋垫轮廓体的曲面就具有不同凹凸度且与脚底曲面相吻合。
(6.3)选择鞋垫厚度对鞋垫轮廓体进行剪裁,并剔除局部的毛刺点,输出最终的定制鞋垫。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于计算机视觉的个性化脚部建模与鞋垫定制方法,其特征在于,包括以下步骤:
(1)获取被测者的脚部视频数据;
(2)对脚部视频数据中相邻的两帧图像进行特征点提取,并利用光流法对相邻视频帧之间的特征点进行跟踪匹配,采用零均值归一化互相关系数ZNCC验证并剔除其中不可靠的跟踪结果,并根据跟踪匹配的结果构造特征点的轨迹;
(3)对脚部视频数据中的关键帧进行选取;
(4)根据步骤(2)得到的特征点轨迹,并利用运动恢复结构SFM方法对视频关键帧队列中的特征点轨迹进行三维重建,以生成脚部网格模型;
(5)在脚部网格模型中,根据人工标注的标记物的两端点,找到两个对应的重建的三维点,计算其欧氏距离,进而得到重建的比例因子,测算出脚长,将脚部网格模型向脚底平面方向进行投影,以得到鞋垫轮廓图;
其中,步骤(5)包括以下子步骤:
(5.1)建立O-XYZ右手坐标系,在脚部网格模型中,找到人工标注的标记物两端点的三维点,根据标记物的两端点实际长度L计算两端点的三维点间的欧式距离l,只保留脚踝以下脚部网格,手动剔除其他的多余网格;
(5.2)建立一个点云队列,将稠密三维点云中所有三维点都入队,并设置变量dmax用来存储两平行平面之间的距离,初始化dmax=0;
(5.3)判断点云队列是否为空,为空就跳转至步骤(5.8),不为空就继续执行步骤(5.4);
(5.4)点云队列的队首元素出队,设为点E,过点E设置一条与Z轴平行的直线n0,过n0任意作一平面γ;
(5.5)过点E且以n0为法线作平面α,判断平面α与脚部网格是否相切,如果相切则在脚部网格的与平面α相对的另一侧,作与平面α平行的平面β从远处逼近脚部网格,直到与脚部网格相切,这样脚部网格就位于两平行平面α、β之间,此时计算两平行平面α、β之间的距离d,如果d>dmax,则令dmax=d,并保存平行平面α、β;
(5.6)以点E为旋转中心,将法向量n0在平面γ内向同一方向旋转θ度,其中要求360是θ的整数倍,判断法向量n0是否已经旋转一周,未旋转一周就跳转至步骤(5.5),已旋转一周就继续执行步骤(5.7);
(5.7)以n0为旋转中心每次将平面γ沿同一方向旋转θ度,判断平面γ是否已经旋转一周,未旋转一周就跳转至步骤(5.5),已旋转一周就跳转至步骤(5.3);
(5.8)返回dmax和与dmax对应的两平行平面α、β;
(5.9)利用标记物与脚部网格模型重建的比例因子相同的特性,计算脚长:
D=dmax*L/l,
其中,D为脚长,L为标记物两端点的实际长度,l是标记物两端点对应的三维点的欧式距离,dmax为与脚部网格相切的距离最大的两平行平面α、β之间的距离;
(5.10)得到与脚部网格相切的距离最大的两平行平面α、β后,则得到与平面α、β都垂直的平面π,平面π即为脚底平面,将脚部网格沿平面π的法线方向向平面π投影,最终得到鞋垫的轮廓图;
(6)使用步骤(5)得到的鞋垫轮廓图对准脚部网格模型,对准的轮廓图沿使用步骤(5)得到的脚底平面π的法线方向拉伸并接触到脚底曲面,从而得到拟合脚底曲面的鞋垫轮廓体,对鞋垫轮廓体进行裁剪,以得到定制鞋垫。
2.根据权利要求1所述的基于计算机视觉的个性化脚部建模与鞋垫定制方法,其特征在于,步骤(2)包括以下子步骤:
(2.1)剔除脚部视频数据中最开始的a帧,并把接下来的一帧当做视频的第一帧,其中a的取值范围是10到50;
(2.2)在视频的第一帧上进行角点检测,并采用光流法跟踪检测得到的角点,以得到该角点在下一帧上位置的预测值,并采用ZNCC来剔除掉不可靠的跟踪结果;
(2.3)在图像空白区域重新进行角点检测,重新检测得到的新角点用于下一步的光流法跟踪;
(2.4)对脚部视频数据中剩余的所有视频帧执行上述步骤(2.2)和(2.3),从而根据光流法跟踪的结果得到特征点之间的匹配关系,并根据跟踪匹配关系构造特征点的轨迹。
3.根据权利要求2所述的基于计算机视觉的个性化脚部建模与鞋垫定制方法,其特征在于,步骤(3)包括以下子步骤:
(3.1)构建一个空视频关键帧队列;
(3.2)按照脚部视频数据帧率的20-70%对脚部视频数据进行间隔采样;
(3.3)对脚部视频数据的关键帧挑选完毕后,在有标记物的关键帧中,人工标注标记物的两端点。
4.根据权利要求3所述的基于计算机视觉的个性化脚部建模与鞋垫定制方法,其特征在于,步骤(4)包括以下子步骤:
(4.1)根据步骤(2)得到的特征点的轨迹,利用SFM方法获得视频关键帧队列的相机参数和对应的稀疏三维点云;
(4.2)利用基于块状的多视角立体视觉算法PMVS将稀疏三维点云作为扩展种子点在三维空间中进行扩展,以得到稠密三维点云;
(4.3)对稠密三维点云进行泊松表面重建,以得到脚部网格模型。
5.根据权利要求4所述的基于计算机视觉的个性化脚部建模与鞋垫定制方法,其特征在于,步骤(6)包括以下子步骤:
(6.1)将鞋垫轮廓图与脚部网格沿投影方向对准;
(6.2)使用步骤(6.1)得到的对准脚部网格的鞋垫轮廓图沿投影方向拉伸并接触到脚底曲面为止,从而实现鞋垫轮廓图与脚部网格的拼接拟合,得到具有空间体积的鞋垫轮廓体;
(6.3)选择鞋垫厚度对鞋垫轮廓体进行剪裁,并剔除局部的毛刺点,输出最终的定制鞋垫。
6.一种基于计算机视觉的个性化脚部建模与鞋垫定制系统,其特征在于,包括:
第一模块,用于获取被测者的脚部视频数据;
第二模块,用于对脚部视频数据中相邻的两帧图像进行特征点提取,并利用光流法对相邻视频帧之间的特征点进行跟踪匹配,采用零均值归一化互相关系数ZNCC验证并剔除其中不可靠的跟踪结果,并根据跟踪匹配的结果构造特征点的轨迹;
第三模块,用于对脚部视频数据中的关键帧进行选取;
第四模块,用于根据第二模块得到的特征点轨迹,并利用SFM方法对视频关键帧队列中的特征点轨迹进行三维重建,以生成脚部网格模型;
第五模块,用于在脚部网格模型中,根据人工标注的标记物的两端点,找到两个对应的重建的三维点,计算其欧氏距离,进而得到重建的比例因子,测算出脚长,将脚部网格模型向脚底平面方向进行投影,以得到鞋垫轮廓图;
其中,所述第五模块具体用于执行以下操作:
(5.1)建立O-XYZ右手坐标系,在脚部网格模型中,找到人工标注的标记物两端点的三维点,根据标记物的两端点实际长度L计算两端点的三维点间的欧式距离l,只保留脚踝以下脚部网格,手动剔除其他的多余网格;
(5.2)建立一个点云队列,将稠密三维点云中所有三维点都入队,并设置变量dmax用来存储两平行平面之间的距离,初始化dmax=0;
(5.3)判断点云队列是否为空,为空就跳转至步骤(5.8),不为空就继续执行步骤(5.4);
(5.4)点云队列的队首元素出队,设为点E,过点E设置一条与Z轴平行的直线n0,过n0任意作一平面γ;
(5.5)过点E且以n0为法线作平面α,判断平面α与脚部网格是否相切,如果相切则在脚部网格的与平面α相对的另一侧,作与平面α平行的平面β从远处逼近脚部网格,直到与脚部网格相切,这样脚部网格就位于两平行平面α、β之间,此时计算两平行平面α、β之间的距离d,如果d>dmax,则令dmax=d,并保存平行平面α、β;
(5.6)以点E为旋转中心,将法向量n0在平面γ内向同一方向旋转θ度,其中要求360是θ的整数倍,判断法向量n0是否已经旋转一周,未旋转一周就跳转至步骤(5.5),已旋转一周就继续执行步骤(5.7);
(5.7)以n0为旋转中心每次将平面γ沿同一方向旋转θ度,判断平面γ是否已经旋转一周,未旋转一周就跳转至步骤(5.5),已旋转一周就跳转至步骤(5.3);
(5.8)返回dmax和与dmax对应的两平行平面α、β;
(5.9)利用标记物与脚部网格模型重建的比例因子相同的特性,计算脚长:
D=dmax*L/l,
其中,D为脚长,L为标记物两端点的实际长度,l是标记物两端点对应的三维点的欧式距离,dmax为与脚部网格相切的距离最大的两平行平面α、β之间的距离;
(5.10)得到与脚部网格相切的距离最大的两平行平面α、β后,则得到与平面α、β都垂直的平面π,平面π即为脚底平面,将脚部网格沿平面π的法线方向向平面π投影,最终得到鞋垫的轮廓图;
第六模块,用于使用第五模块得到的鞋垫轮廓图对准脚部网格模型,对准的轮廓图沿使用第五模块得到的脚底平面π的法线方向拉伸并接触到脚底曲面,从而得到拟合脚底曲面的鞋垫轮廓体,对鞋垫轮廓体进行裁剪,以得到定制鞋垫。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510882157.6A CN105551086B (zh) | 2015-12-04 | 2015-12-04 | 一种基于计算机视觉的个性化脚部建模与鞋垫定制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510882157.6A CN105551086B (zh) | 2015-12-04 | 2015-12-04 | 一种基于计算机视觉的个性化脚部建模与鞋垫定制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105551086A CN105551086A (zh) | 2016-05-04 |
CN105551086B true CN105551086B (zh) | 2018-01-02 |
Family
ID=55830261
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510882157.6A Expired - Fee Related CN105551086B (zh) | 2015-12-04 | 2015-12-04 | 一种基于计算机视觉的个性化脚部建模与鞋垫定制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105551086B (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106073030A (zh) * | 2016-07-25 | 2016-11-09 | 董张勇 | 一种鞋的预定制方法 |
CN106327570B (zh) * | 2016-08-16 | 2019-04-12 | 华中科技大学 | 一种基于脚部三维模型的定制鞋垫模型生成方法和系统 |
CN107014396A (zh) * | 2017-03-30 | 2017-08-04 | 强辉 | 精确测量视频中目标人的鞋长与步幅的方法 |
CN107411226A (zh) * | 2017-05-17 | 2017-12-01 | 杭州安足科技有限公司 | 一种基于计算机的矫形鞋垫定制方法以及矫形鞋垫 |
CN107481279B (zh) * | 2017-05-18 | 2020-07-07 | 华中科技大学 | 一种单目视频深度图计算方法 |
CN107296327A (zh) * | 2017-05-19 | 2017-10-27 | 广州体育学院 | 一种作为网球专项的功能性鞋垫的制作方法 |
US10609975B2 (en) * | 2017-05-30 | 2020-04-07 | L'oreal | Systems and methods for fabricating custom eyelash prostheses |
CN107301402B (zh) * | 2017-06-30 | 2020-06-16 | 锐捷网络股份有限公司 | 一种现实场景关键帧的确定方法、装置、介质及设备 |
CN109754457A (zh) * | 2017-11-02 | 2019-05-14 | 韩锋 | 重构对象三维模型的系统、方法和电子设备 |
CN107928001A (zh) * | 2017-11-29 | 2018-04-20 | 太原理工大学 | 基于生物力学的客制化鞋垫制备方法 |
CN110008789A (zh) * | 2018-01-05 | 2019-07-12 | 中国移动通信有限公司研究院 | 多类物体检测与识别的方法、设备及计算机可读存储介质 |
CN108830925B (zh) * | 2018-05-08 | 2020-09-15 | 中德(珠海)人工智能研究院有限公司 | 一种基于球幕视频流的三维数字化建模方法 |
CN108898661B (zh) * | 2018-05-31 | 2023-04-18 | 深圳先进技术研究院 | 三维图像构建的方法、装置及具有存储功能的装置 |
CN113034606A (zh) * | 2021-02-26 | 2021-06-25 | 嘉兴丰鸟科技有限公司 | 一种运动恢复结构计算方法 |
CN113436321B (zh) * | 2021-07-08 | 2023-05-30 | 山东沂人智能制造科技有限公司 | 一种适配用户鞋子的全接触鞋垫定制方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104992441A (zh) * | 2015-07-08 | 2015-10-21 | 华中科技大学 | 一种面向个性化虚拟试衣的真实人体三维建模方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110001794A1 (en) * | 2009-03-03 | 2011-01-06 | Bhanti Amit V | System and method for shape capturing as used in prosthetics, orthotics and pedorthics |
-
2015
- 2015-12-04 CN CN201510882157.6A patent/CN105551086B/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104992441A (zh) * | 2015-07-08 | 2015-10-21 | 华中科技大学 | 一种面向个性化虚拟试衣的真实人体三维建模方法 |
Non-Patent Citations (2)
Title |
---|
Delcam PowerSHAPE在功能鞋垫建模上的应用;喻伟才等;《中国皮革》;20110218;第112-113页 * |
Rapid 3D human body modeling based on Kinect technology;HE Kunlin等;《Computer Aided Drafting, Design and Manufacturing》;20130315;第23卷(第1期);第7-13页 * |
Also Published As
Publication number | Publication date |
---|---|
CN105551086A (zh) | 2016-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105551086B (zh) | 一种基于计算机视觉的个性化脚部建模与鞋垫定制方法 | |
CN104680582B (zh) | 一种面向对象定制的三维人体模型创建方法 | |
CN104992441B (zh) | 一种面向个性化虚拟试衣的真实人体三维建模方法 | |
KR101812379B1 (ko) | 포즈를 추정하기 위한 방법 및 장치 | |
US11514646B2 (en) | System, device, and method of generating a reduced-size volumetric dataset | |
CN104008571B (zh) | 基于深度相机的人体模型获取方法及网络虚拟试衣系统 | |
CN106997605B (zh) | 一种通过智能手机采集脚型视频和传感器数据获取三维脚型的方法 | |
CN109427007B (zh) | 基于多视角的虚拟试衣方法 | |
CA2575704C (en) | A system and method for 3d space-dimension based image processing | |
Theobalt et al. | Pitching a baseball: tracking high-speed motion with multi-exposure images | |
JP5167248B2 (ja) | 深度マップによるヒューマノイド形状のモデル化 | |
US20150347833A1 (en) | Noncontact Biometrics with Small Footprint | |
US20090051683A1 (en) | Method and system for foot shape generation | |
CN102054276B (zh) | 物体三维几何重建相机定标方法和系统 | |
CN101681423A (zh) | 捕获、处理、以及绘制图像的方法 | |
CN108305283A (zh) | 基于深度相机和基本姿势的人体行为识别方法及装置 | |
CN103198508A (zh) | 人脸表情动画生成方法 | |
JP2009536731A5 (zh) | ||
CN108053476A (zh) | 一种基于分段三维重建的人体参数测量系统及方法 | |
CN108305286A (zh) | 基于颜色编码的多目立体视觉脚型三维测量方法、系统和介质 | |
CN108369729A (zh) | 用于结构光深度图的离群值检测和校正的方法和设备 | |
CN110443884B (zh) | 手部运动重建方法和装置 | |
JP4761670B2 (ja) | 動立体モデル生成装置及び方法 | |
CN109325995A (zh) | 基于人手参数模型的低分辨率多视角手部重建方法 | |
Cheung | Visual hull construction, alignment and refinement for human kinematic modeling, motion tracking and rendering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180102 Termination date: 20181204 |
|
CF01 | Termination of patent right due to non-payment of annual fee |