CN102222357B

CN102222357B - 基于图像分割和网格细分的脚型三维表面重建方法

Info

Publication number: CN102222357B
Application number: CN201010146581.1A
Authority: CN
Inventors: 罗胜
Original assignee: Wenzhou University
Current assignee: Wenzhou University
Priority date: 2010-04-15
Filing date: 2010-04-15
Publication date: 2014-01-15
Anticipated expiration: 2030-04-15
Also published as: CN102222357A

Abstract

本发明涉及一种基于图像分割和网格细分的脚型三维表面重建方法，对鞋楦样本集进行统计分析得到统计变形模型，用多个相机获得人脚的图像，再用统计模型拟合脚型图像，得到稀疏的网格模型，再从各个图像中分割出图像特征点，并把平面特征点还原成空间点，最后用空间特征点细分网格模型并迭代进行，从而得到与目标对象一致的脚型模型。本发明不需要在脚上设置标记点，也不需要高精度的激光测量设备，不需要人工参与，只使用相机和计算机等器件，重建任务由软件全自动完成。重建网格能够自动与目标脚型的形状相一致，能够自动捕捉到图像中的细节特征，能够与图像提供的信息自动适应。

Description

基于图像分割和网格细分的脚型三维表面重建方法

技术领域

本发明涉及三维表面重建的方法，特别是基于图像分割和网格细分的脚型三维表面重建方法，可用于脚型测量、鞋及楦定制、足部医疗等多个领域。

背景技术

脚型表面三维重建的方法，目前较为流行的是激光测量等三坐标测量设备，但是这些三坐标测量设备往往输出离散点，需要后续的逆向工程处理才能得到目标对象的三维表面，并且不适用于人体肌肤等对象的测量；而其他从图像重建目标的方法，往往思路单一，对不同形状的脚型适应性差、不能自动达到图像所提供信息量的最高重建精度。中国专利200510061271.9面向稀疏网格的基于曲面细分的三维脚型数据测量方法，利用网格细分方法，在统计变形模型对脚型进行初估计之后，重建目标对象的细节部分，捕捉不同脚型的个性特点，能够根据多幅照片自动还原原真实脚型的三维表面，但诸多环节需要手工操作，没有实现全自动化，实用效果有限。

发明内容

本发明所要解决的技术问题在于，提供一种全自动化、能适应各种脚型、基于图像分割和网格细分的脚型三维表面重建方法，能保证重建表面完整、精确。

为解决上述技术问题，本发明采用一种基于图像分割和网格细分的技术方案，其特征是包括有以下步骤：

1)接收来自至少六个不同视角的相机所采集的视图像；

2)生成初始网格：用鞋楦的统计变形模型拟合各视图像，生成了初步估计模型，并把初步估计模型转换成初始网格；

3)将网格投影到各视图像来分割图像；

4)采用特征检测算法，检测各视图像中的特征并切割特征生成平面特征点，其中特征检测算法采用多分辨率方法，分辨出的特征等级由特征检测算法的参数确定；

5)针对平面特征点，在其它视图像对应的图像分割区内搜索平面特征点的匹配点，生成新增空间点，然后用新增空间点细分网格，其中搜索特征点的匹配点结合了对极约束、空间网格对图像投影分割图像约束、光照一致性约束来保证匹配点的准确性；

6)不断减小特征检测算法参数，重复步骤3)、4)、5)直到图像中没有更细节的特征，网格迭代细分逼近目标对象；

7)网格各顶点重定位至亚像素精度；

8)网格整理优化，生成Delaunay三角网格；

9)输出重建网格模型。

本发明基于图像分割和网格细分的脚型三维表面重建方法，先采集视图像，然后对视图像进行网格重投影，再用多分辨率的图像特征提取方法提取特征，并把特征按距离分割成特征点，再提取各图像分块上的特征点重建空间点，利用新空间点细分网格，整个过程迭代进行，网格从粗变细，网格投影对图像的分割也逐步细化，所提取的特征逐渐细化，网格逐步逼近目标对象的过程也是从大特征到小特征自动进行特征重建的过程。这种方法能重建不同形状的脚型、能自动达到图像可分辨特征的最大分辨精度，与图像的信息量是自动适应的，并且可以在网格上敷贴纹理，重建成具有色彩等信息的三维模型，具有明显的优势。本发明还具有以下优点：

1)不需要激光等设备，只需要多个相机及计算机等硬件，成本低廉；

2)不需要扫描，多个相机同时成像，数据采集步骤上耗时少，对人体等生物进行测量时特别适合；

3)统计变形模型完成对目标脚型的初始估计，捕捉目标脚型的大致外形轮廓，而本发明从统计变形模型开始进行处理，从粗到精地捕捉目标脚型的特征，自动重建到图像信息所能提供的最细节特征，与图像内容是自动适应的；

4)从粗到精地捕捉目标脚型特征的处理顺序，使得重建网格从粗到精自动捕捉目标对象的表面特征，与之相配合的网格生长机制保证网格的拓朴结构能自动与目标对象的外形一致；

5)把网格重投影回各视图像，网格投影分割图像，并且这种方法分割的图像区域，不同视之间是相互一致的，同一空间区域在不同视被划分成同一平面分区，能够抗仿射变换，在为特征点搜索匹配点时，缩小了范围；并且由此匹配出的新增空间点就细分此三角形，无需搜索。因此这种方法降低了生成错误点的机率，提高了处理速度，增加了重建的精度；

6)统计变形模型、网格细分、图像分块与图像特征检测四个方法相互配合，保证网格从粗到精地捕捉目标脚型的特征、每一等级上有特征在不同视图像上的分块能相互自动吻合、检测到相应等级的图像特征，然后用与特征等级相配合的半径去切割特征，生成平面特征点；

7)采用了对极约束、空间网格对图像投影分割图像约束、光照一致性约束等多种约束来保证匹配点的准确性，提高新增空间点的可靠性。

附图说明

图1为本发明方法流程图；

图2为本发明细化的方法流程图；

图3为三角形的可见视与主视的示意图；

图4为特征点与匹配点的约束关系示意图。

具体实施方式

一种基于图像分割和网格细分的脚型三维表面重建方法的具体实施方式，如图1、图2所示，包括有以下步骤：

1) 接收来自至少六个不同视角的相机所采集的视图像；

为了分析相机采集视图像的位置布置问题，对人眼的观察机制进行总结，正常状态时观察人时只需要正面一张照片，就可得知此人是谁；但即使是熟人，如果仅有特征不明显的侧面照片，那么就很难猜到此人是谁的内容；如果是背面照片，更难得知，这说明不同的视有不同的信息量，从信息量丰富的视可以获得较多的三维重建线索，因此，视布置的主要任务就是让每个视包含的信息尽量多，视间重复的信息尽量少。对于鞋楦样本的统计变形模型有以下关系式中p是主形状因子，b_3D是主形状因子向量，SP₀是平均鞋楦，SP_i为样本鞋楦。每只鞋楦的形状分成共性和个性两部分，SP₀代表共性部分，pb_3D代表个性部分。主形状因子是从鞋楦样本集中各个样本去除掉共性之后得到个性部分的变化因子，主形状因子按主形状因子向量b_3D进行线性组合得到个性形状部分。主形状因子向量b_3D发生变化，对应模型的个性部分发生变化，再加上共性部分就成为一只鞋楦。统计变形模型中的主形状因子向量b_3D有许可变化范围，这种变化范围限定了模型还具有鞋楦的形状。一组主形状因子向量b_3D对应一个唯一的形状。因此，能尽量反映地主形状因子向量b_3D的视就是信息含量大的视。相机布置就是取信息含量尽量大、并且视间信息冗余尽量少的相机位置。

Figure 2010101465811100002DEST_PATH_IMAGE001

式中P_proj是投影矩阵，SP_i是样本鞋楦，P_pp×b是平面的形状因子向量。可以认为，形状因子向量P_pp×b越大，对空间的形状因子向量b_3D表现得越充分。利用上述公式可计算包含脚型统计变形模型中主形状因子信息量最多的相机位置。

视的布置包括有以下步骤：

.计算脚型的统计变形模型；

b.根据已知参数（相机焦距，目标大小）计算相机分布球的半径R；

c.在相机分布球上计算出包含脚型统计变形模型中主形状因子信息量最多的相机位置；

d.确定输出的相机位置点，增加该相机位置下可见模型点及轮廓上模型点的信息量，并删除在轮廓内成像信息量、轮廓上成像信息量分别大于设定阈值的模型点；

e.重新计算模型点减少后的新脚型统计变形模型；

f.重复步骤c 、d 、e，直至统计变形模型中所有模型点都被充分成像，都能够根据图像信息重建出来；

g.输出相机位置点的坐标，据此坐标布置相机。

一般六个视就可达到三维重建效果，一种优选方案是视为八个。

3)将网格投影到各视图像，将各幅图像分割成块。同一空间三角形，在不同的视，包含有不同的信息量，从信息量丰富的视，即正视的视中可以获得较多的三维重建线索。对于空间网格，将各个网格点进行投影，同时再考虑网格三角形的法向与相机光轴的位置关系以及此三角形是否被遮挡，就能得到网格的投影。如图3所示，相机V_p、V_q在三角形的背面，三角形被遮挡，此三角形在V_p、V_q视图像上没有投影；而相机V_i、V_j、V_k没有被遮挡，是此三角形的可见视。将相机法向与过三角形中心的法线之间的夹角定义了视角，如图3中的θ。将可见视按视角θ升序排列，得到三角形的可见视队列，图3中三角形的可见视队列为{V_i，V_j，V_k}。其中第一个视，即视角θ最小的视，被称为主视。主视是与三角形法线的夹角最小、三角形在其上投影面积最大、视线最“正”的，显然，主视最能反映三角形中的特征。

4)采用特征检测算法，检测各视图像中的特征并切割特征生成平面特征点。其中特征检测算法采用多分辨率，分辨出的特征等级由特征检测算法的参数确定。抽取图像特征的方法很多，例如Marr-Hildreth算子、LOG算子、Canny算子、Wallis算子、Sobel算子、LOG滤波器小波分析、基于广义熵映射的方法等等。一种优选方案，采用 Marr-Hildreth算子检测图像特征，然后切割特征，生成平面特征点。切割特征是用半径为r的圆去截取特征，以特征的一边端点为圆心，以半径r作圆，与特征相交生成一个特征点；然后以此特征点为圆心，向另一端点推进，继续切割，直到到达另一边的端点。如果边缘两端点间间距小于半径r，将边缘的任一端点作为切割出的交点。随着算法的不断迭代，切割图像特征的圆半径也逐渐变小的，特征越来越细。

设定所有视图像中的所有网格边，最长边长度L_maxinmesh，最短边长度L_mininmesh，两者最大的比例范围为2，如果边长超过比例，则在长边的1/3-2/3范围内，取灰度梯度最大值的位置作为切割点。同时，在如果特征点在网格点投影的0.1×L_mininmesh范围内，则被删除，不再进行后面的处理，因为有时切割点会聚集在网格点的投影附近，用这些点细分网格会产生大量尺度两极分化的三角形。

5)在其它视图像对应的分割区内搜索平面特征点的匹配点，生成新增空间点，然后用新增空间点细分网格。

作为一种改进，在所述步骤5)中计算现有空间网格中每个三角形在所述步骤1)中至少六个不同视角中的可计算视和主视，然后在每个三角形的主视中进行以下处理：对主视中相应投影三角形内的特征点，在其它可计算视中寻找匹配点，特征点与匹配点生成新增空间点，然后用新增空间点细分网格，不是主视中相应投影三角形内的特征点，不做处理。

其中搜索特征点的匹配点结合了对极约束、空间网格对图像投影分割图像约束、光照一致性约束来保证匹配点的准确性。寻找匹配点的主要依据是对极约束、唯一约束、平滑约束、顺序约束、光照一致性约束等五种线索，如图4所示，空间点M在二个视O和O’中分别成像m和m’，并且O’的光心在O中的像为e，O的光心在O’视中的像为e’。由投影几何关系可知，视图像O中过e和m两点的直线l与视图像O’中过e’和m’两点的直线l’是对应的直线，两条直接线上的点一一对应。如果已知特征点m，那么匹配点m’就在与直线l的对应线l’上，这就是对极约束；而且m与匹配点m’两者是唯一对应的，这被称为唯一约束；如图4所示，如果空间点L、X所成像都比较接近，并且灰度变化不大，那么这两点的空间距离也不会远，这被称为平滑约束；并且，空间点L、X在各视图像之间的位置关系在一定条件下是相同的，L在一个视中的像出现在X的像上边，在其它视中也会如此，这是顺序约束；而最重要的是，空间点在各个视中的像，在理论上灰度应该是一样的，这被称为光照一致性约束，如图4中的m和m’两点的色彩和灰度都应该一致；空间位置约束，如图11中的红色空间三角形投影在两个视图像中，那么视V_i中的特征点在视V_j中的对应匹配点就一定在相应红色平面三角形内。在本实施方式中，对极约束、网格对图像投影分割图像约束和光照一致性约束三个约束就可以准确地为特征点找到匹配点。

如果特征点及其匹配点都已知，如图4中的m和m’已知，并且相机的焦距、位置等参数全部已知，那么根据几何关系就能够还原空间点M。

作为一种改进，在步骤5)中不同视的平面特征点映射产生的多个空间点的中心点作为新增空间点，以消除由于成像质量等因素的影响。因为每个三角形的可计算视不只两个，因此主视中的特征点在其它可计算视中的匹配点不只一个，特征点与这些匹配点实际上是同一空间点的投影，但是特征点与这些匹配点直接计算将产生多个空间点，例如空间点X在三个视图中所成像m₁、m₂、m₃，相互间是对应的。但是由于成像质量等因素的影响，所找到的三个点与m₁、m₂、m₃有偏移，则三个图像点会计算出三个空间点。在本系统中的计算是，以三个空间点的中心为真实空间点的位置X。

作为一种改进，优先用最靠近空间三角形中心的新增空间点细分空间三角形，然后其余新增空间点再细分被分解出的三角形，保证每次细分后网格中各个三角形的大小相近、三角形之间不相互纠缠，有利于保证网格的拓朴结构能自动与目标对象的外形一致。

网格细化以后可能会产生空三角形、相交三角形、空洞。如果三角形在各个视中的投影都在目标对象的图像之外就是空三角形。如果网格中的边只附着在一个三角形上，那么这个地方就有空洞。整理网格就是要删除空三角形，厘清相交三角形，填补空洞。如果三角形相交，按如下的方法去除相交。设置4个三角形队列：存储种子三角形的种子队列SQ，存储相交三角形的相交队列IQ，要删除的三角形队列DQ和存储最后的合格三角形队列VQ。种子三角形是没有相交的三角形，在开始时从三角形网格中随机抽取的。对每个种子三角形，首先放入队列VQ，然后检查相邻三角形。如果相邻三角形没有相交，放入种子队列SQ；否则放入相交队列IQ。如果种子队列空，除了相交队列外还有未处理三角形，从未处理三角形中再取种子三角形，继续处理直到没有未处理三角形。

6)不断减小特征检测算法参数，反复检测图像特征，重复步骤3)、4)、5)直到图像中没有更细节的特征，网格迭代细分逼近目标对象。

7)网格各顶点重定位至亚像素精度；因为空间点在一个视中的投影正好在一个像素点上，而在另一视中的投影，有可能没在一个像素点上，而在两个像素点之间。因此把网格各顶点重投影回各视图像，检查投影的色彩与灰度是否一致。如果一致，说明顶点位置准确；如果不一致，则在邻近区域的亚像素级范围内插值，寻找更准确的位置。

8)网格整理优化，生成Delaunay三角网格；

9)输出重建网格模型。

Claims

1.一种基于图像分割和网格细分的脚型三维表面重建方法，其特征是包括有以下步骤：

1)接收来自至少六个不同视角的相机所采集的视图像；

3) 将网格投影到各视图像来分割图像；

4)采用特征检测算法，检测各视图像中的特征并切割特征生成平面特征点，其中特征检测算法采用多分辨率，分辨出的特征等级由特征检测算法的参数确定，所述特征检测算法为：采用Marr-Hildreth算子检测图像特征，然后切割特征，生成平面特征点，切割特征是用半径为r的圆去截取特征，以特征的一边端点为圆心，以半径r作圆，与特征相交生成一个特征点；然后以此特征点为圆心，向另一端点推进，继续切割，直到到达另一边的端点，如果边缘两端点间间距小于半径r，将边缘的任一端点作为切割出的交点；

6)不断减小特征检测算法参数，参数为圆的半径r，重复步骤3)、4)、5)直到图像中没有更细节的特征，网格迭代细分逼近目标对象；

7)网格各顶点重定位至亚像素精度；把网格各顶点重投影回各视图像，检查投影的色彩与灰度是否一致；如果一致，说明顶点位置准确；如果不一致，则在邻近区域的亚像素级范围内插值，寻找更准确的位置；

8)网格整理优化，生成Delaunay三角网格；

9)输出重建网格模型。

2.根据权利要求1所述的基于图像分割和网格细分的脚型三维表面重建方法，其特征是所述步骤5)中优先用最靠近空间三角形中心的新增空间点细分空间三角形，然后其余新增空间点再细分被分解出的三角形，保证每次细分后网格中各个三角形的大小相近、三角形之间不相互纠缠。

3.根据权利要求1或2所述的基于图像分割和网格细分的脚型三维表面重建方法，其特征是所述步骤5)中不同视的平面特征点与匹配点映射产生的多个空间点的中心点作为新增空间点。

4.根据权利要求1或2所述的基于图像分割和网格细分的脚型三维表面重建方法，其特征是所述步骤4)中还包括有对网格边和网格点优化选择的过程：检测网格边在视图像的投影，限制最长边和最短边的比例，如果边长超过比例，则在长边的1/3-2/3范围内，取灰度梯度最大值的位置作为切割点；删除接近网格点投影的一定范围内的切割点。

5.根据权利要求3所述的基于图像分割和网格细分的脚型三维表面重建方法，其特征是在所述步骤4)中还包括有对网格边和切割点优化选择的过程：检测网格边在视图像的投影，限制最长边和最短边的比例，如果边长超过比例，则在长边的1/3-2/3范围内，取灰度梯度最大值的位置作为切割点；删除接近网格点投影的一定范围内的切割点。

6.根据权利要求1或2所述的基于图像分割和网格细分的脚型三维表面重建方法，其特征是在所述步骤5)中计算现有空间网格中每个三角形在所述步骤1)中至少六个不同视角中的可计算视和主视，在每个三角形的主视中进行以下处理：对主视中相应投影三角形内的特征点，在其它可计算视中寻找匹配点，特征点与匹配点生成新增空间点，然后用新增空间点细分网格。

7.根据权利要求3所述的基于图像分割和网格细分的脚型三维表面重建方法，其特征是在所述步骤5)中计算现有空间网格中每个三角形在所述步骤1)中至少六个不同视角中的可计算视和主视，在每个三角形的主视中进行以下处理：对主视中相应投影三角形内的特征点，在其它可计算视中寻找匹配点，特征点与匹配点生成新增空间点，然后用新增空间点细分网格。

8.根据权利要求4所述的基于图像分割和网格细分的脚型三维表面重建方法，其特征是在所述步骤5)中计算现有空间网格中每个三角形在所述步骤1)中至少六个不同视角中的可计算视和主视，在每个三角形的主视中进行以下处理：对主视中相应投影三角形内的特征点，在其它可计算视中寻找匹配点，特征点与匹配点生成新增空间点，然后用新增空间点细分网格。

9.根据权利要求5所述的基于图像分割和网格细分的脚型三维表面重建方法，其特征是在所述步骤5)中计算现有空间网格中每个三角形在所述步骤1)中至少六个不同视角中的可计算视和主视，在每个三角形的主视中进行以下处理：对主视中相应投影三角形内的特征点，在其它可计算视中寻找匹配点，特征点与匹配点生成新增空间点，然后用新增空间点细分网格。