CN103854301A

CN103854301A - 基于复杂背景下可见外壳的三维重建方法

Info

Publication number: CN103854301A
Application number: CN201210495803.XA
Authority: CN
Inventors: 张志佳; 王博实
Original assignee: Shenyang University of Technology
Current assignee: Shenyang University of Technology
Priority date: 2012-11-29
Filing date: 2012-11-29
Publication date: 2014-06-11

Abstract

本发明介绍了一种基于复杂背景下可见外壳的三维重建方法，首先提出一种基于图像侧影轮廓线相机自标定的方法，该方法无需对相机运动方式作任何限定，结合对极几何理论对图像轮廓的限制条件确定相机投影参数，计算投影矩阵；再用可视外壳技术拟合出物体三维模型，用两幅图像重建物体模型；最后用自然抠图方法从复杂背景中提取重建物体轮廓，这种抠图方法打破了阈值法的单一局限性。该发明比较简单实用，重建精度高，重建速度快，生成的三维模型准确真实，不需要通过实验室条件下的特殊仪器进行标定即可实现目标三维重建，具有很强的实用价值。

Description

基于复杂背景下可见外壳的三维重建方法

技术领域

本发明主要涉及一种基于复杂背景下可见外壳的三维重建方法，特别是涉及相机自标定，可见外壳理论与自然图像抠图方法。

背景技术

在机械加工、虚拟现实、三维通讯以及医学诊断等领域，三维重建技术都有着广泛的应用前景。传统的重建方法需要用标定板标定相机，并基于双目相机模型下，匹配特征点，通过特征点重建，而且在提取物体轮廓时经常用到阈值法，这种传统的方法精度不高，而且耗时。基于此本发明提出了一种基于复杂背景下可见外壳的三维重建方法。

在图像测量过程以及机器视觉领域中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为相机标定。无论是在图像测量或者机器视觉应用中，相机参数的标定都是非常关键的环节，其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性，做好相机标定是做好后续工作的前提。其中自标定就是很好的标定方法，它通过物体之间的平行于正交约束关系得到内外参数。自标定的优点在于无需使用标定板对相机参数进行标定，不需要高密度的图像采集，较之其他方法有着速度上的优势。

可见外壳重建的方法是基于真实物体在照片上的侧影轮廓线实现了物体的三维重建。在不断的完善中，可采用计算机视觉中的极线几何技术来加速可见外壳的计算。在可见外壳建模方法中，侧影轮廓线是物体在投影图像的边缘线条，是理解物体几何形状的一条重要依据，也是重建物体模型的重要前提。轮廓线作为图像基本特征，易于计算并能够精确地反应出物体的几何边缘。可见外壳可以认为是目标物体的一个合理逼近，当拍摄视角足够多的时候，目标物体的合理逼近就会越准确。

在一般的物体轮廓提取方法中，对物体拍摄时常常把物体与背景颜色区分开，这样便于更好的物体轮廓提取。基于此本发明介绍了一种自然图像抠图的方法，它是一种把图像的前景部分从背景中分离出来的技术, 它通过用户交互, 指定图像中的少量部分前景和背景区域, 并根据这些线索按照一定的判定逻辑自动、准确地分离出所有的前景物体。在重建过程中，物体轮廓提取是一个重要的因素，决定了重建模型的逼近程度。这种方法打破了尽量用颜色差异来精确提取物体轮廓的局限性。能够在复杂颜色背景下提取轮廓，为后续重建过程打下很好基础。

发明内容

发明目的

本发明涉及一种基于复杂背景下可见外壳的三维重建方法，其目的在于设计一种快速准确重建物体三维模型的方法，使重建物体效果好，精度高，速度快。

技术方案

一种基于复杂背景下可见外壳的三维重建方法，其特征在于：该方法步骤如下：

（1）相机自标定：

相机自标定来确定每幅参考图像所对应的相机拍摄方位及其内部参数；

（2）用可视外壳算法重建三维模型：

得到相机的内外参数后，利用可视外壳算法重建三维模型；可见外壳生成方法也叫做侧影轮廓的三维重建方法，可见外壳是由空间物体的所有已知侧影轮廓线决定的该物体的空间包络；利用每个视点的投影矩阵构建从二维到三维空间的投影锥，利用投影锥之间的交集计算得到物体的三维信息；

（3）自然图像抠图：

用自然图像抠图提取物体轮廓，在给定的源图像上，每一个像素点颜色值C都由前景分量F和背景分量B线性组合形成，抠图过程为已知像素值C，求解未知分量F值和 B值的过程。

该方法基本设备构成主要包括水平面、平面镜a、平面镜b、数码相机、重建的物体、0度图片、90度图片、0度图片的轮廓提取图片、90度图片的轮廓提取图片；

平面镜a与平面镜b成一定角度立在水平面上，夹角在70~75度之间，把需要重建的物体放在这两个平面镜之间，固定数码相机的焦距，用相机拍摄物体两次；第一次与水平面接近0度拍摄第一幅图片，设为0度图片；第二次水平面角度接近90度拍摄第二幅图片，设为90度图片；照片包括1个真实的物体和4个虚像，通过自然抠图法对90度图片进行提取轮廓处理，对0度图片进行提取轮廓处理；通过提取轮廓处理后的图片计算相机参数，完成相机自标定；把相机的参数求出之后，用可见外壳的方法处理90度图片的轮廓提取图片与0度图片的轮廓提取图片，得到基于复杂背景下可见外壳的三维重建模型。

用自然抠图法提取0度图片与90度图片边缘，边缘内的像素值为255，边缘外的像素值为0，得到0度图片的轮廓提取图片与90度图片的轮廓提取图片。

通过0度图片的轮廓提取图片与90度图片的轮廓提取图片之间的约束关系计算数码相机的参数矩阵和焦距，完成自标定。

通过0度图片的轮廓提取图片与90度图片的轮廓提取图片的可见外壳算法计算物体的合理逼近模型。

优点及效果

本发明提出了一种基于复杂背景下可见外壳的三维重建方法，具有如下优点及有益效果：

1、对比传统标定方法，本发明提出的双平面镜成像自标定方法，该方法高包含的物体信息量更大，重建效果好。

2、自标定方法简单易操作，避免使用专业标定板带来的不便。

3、双平面镜成像可在1幅图片上呈现5个角度的物体角度信息。并且方便于用可见外壳投影理论重建物体。

4、可见外壳算法较传统双目重建方法更精确。

5、自然图像抠图方法对比传统阈值法更能适应复杂背景，用时更短，精度更高。

6、本发明符合精确快速重建物体的理念，操作方便，效率高。

附图说明

图1为本发明中极线几何的示意图；

图2为本发明计算四个极点示意图；

图3为本发明计算转换参数矩阵示意图；

图4为本发明计算数码相机焦距示意图；

图5为本发明可见外壳的二维图像示意图；

图6为本发明重建物体杯子与水平面夹角接近90度的示意图；

图7为本发明复杂背景下用抠图法分离出的杯子示意图；

图8为本发明重建物体杯子与水平面夹角接近0度的示意图；

图9为本发明复杂背景下用抠图法分离出的杯子示意图；

图10为本发明重建的物体模型示意图；

图11为本发明重建的物体模型示意图；

具体实施方式：

下面结合附图和具体的实施例对本发明做进一步的说明：

本发明提出了一种基于复杂背景下可见外壳的三维重建方法，如图1~图11中所示，该方法步骤如下：

（1）相机自标定：

（2）用可视外壳算法重建三维模型：

得到相机的内外参数后，利用可视外壳算法重建三维模型；可见外壳生成方法也叫做侧影轮廓的三维重建方法，可见外壳是由空间物体的所有已知侧影轮廓线决定的该物体的空间包络；利用每个视点的投影矩阵构建从二维到三维空间的投影锥，利用投影锥之间的交集计算得到物体的三维信息，当拍摄视角足够多时，可见外壳就可以被认为是空间物体的一个合理的逼近；

（3）自然图像抠图：

相机自标定是用来确定每幅参考图像所对应的相机拍摄方位及其内部参数。目前出现的自标定算法中主要是利用相机运动的约束。利用场景约束主要是利用场景中的一些平行或者正交的信息。自标定方法灵活性强，标定效果较好。

在得到相机内外参后，利用可视外壳算法重建三维模型。可见外壳生成方法也叫做侧影轮廓的三维重建方法, 可见外壳是由空间物体的所有已知侧影轮廓线决定的该物体的空间包络。可视外壳算法的基本运算思想是利用每个视点的投影矩阵构建从二维到三维空间的投影锥，利用投影锥之间的交集计算得到物体的三维信息，当拍摄视角足够多时, 可见外壳就可以被认为是空间物体的一个合理的逼近。基于可见外壳的物体重建方法具有较强的鲁棒性，能够较好地保证几何和拓扑结构的一致性, 并且可以通过增加视点数目来得到越来越精确的三维模型。

在提取物体轮廓的过程中，自然图像抠图法是一种有效提取物体边缘的方法。在给定的源图像上，每一个像素点颜色值C都由前景分量F和背景分量B线性组合形成。抠图过程则可以表示为已知像素值C，求解未知分量F值和 B值的过程。

本发明包括水平面1、平面镜a 2、平面镜b 3、数码相机、重建的物体5、0度图片、90度图片、0度图片的轮廓提取图片、90度图片的轮廓提取图片；

基本的操作过程为：平面镜a 2与平面镜b 3成一定角度立在水平面1上，夹角在70~75度之间。水平面1的背景可以单一也可以复杂。数码相机为普通的数码相机，并且固定焦距，通过平面镜a 2与平面镜b 3成像原理，用数码相机拍摄物体，一幅图片中应包含5个重建物体。把需要重建的物体5放在这两个平面镜之间，固定数码相机的焦距，用相机拍摄物体两次；第一次数码相机与水平面1夹角接近0度拍摄第一幅图片，设为0度图片，如图8所示；第二次数码相机4与水平面1夹角接近90度拍摄第二幅图片，设为90度图片，如图6所示；通过自然抠图法对90度图片和0度图片进行提取轮廓处理；即用自然抠图法提取0度图片与90度图片边缘，边缘内的像素值为255，边缘外的像素值为0，得到0度图片的轮廓提取图片与90度图片的轮廓提取图片。通过0度图片的轮廓提取图片与90度图片的轮廓提取图片之间的约束关系计算数码相机的参数矩阵和焦距，完成相机自标定。把相机的参数求出之后，最后通过可见外壳算法对0度图片的轮廓提取图片与90度图片的轮廓提取图片计算物体的合理逼近模型，实现了快速简单的三维重建。

用数码相机拍摄重建的物体5时应正对重建的物体5。

具体如下：

相机自标定

图1~图4所示为自标定的过程，其中极线几何是自标定过程中涉及的一种重要方法，极线几何最初是从双目视觉中的对应问题开始考虑的, 是研究同一场景若干幅图像之间约束关系的重要工具。在双视点结构下, 图像点间的对应点遵循极线几何关系。它包括摄像机的所有的内外参数信息，因此它对摄像机的标定具有重要意义。极线几何关系可表示为一幅图像上的特征点在其他图像上的匹配点一定在对应极线上，其中极线是成像平面与空间点和两个相机中心决定的平面的交线。两幅或多幅图像上对应点之间存在着极线约束关系，它由极线几何确定。如图1所示，M是平面镜，C₁是真实相机中心位置，C₂ 是C₁在平面镜中的虚像；E₁和E₂是C₁和C₂连线在各自成像平面上的交点，即极点。它们在成像平面上的投影是与两个侧影轮廓线分别相切的直线。若找到满足条件的两条直线，即可以计算出对应极点的位置。如图2所示，五个圆圈为物体通过平面镜成像后的实像与虚像，E₁ 、E₁₂ 、E₂₁ 、E₂为四个极点位置。如图3所示，利用给定平面镜成像的10幅图像确定拍摄这些图像时相机的空间方位。该方法首先选取图像序列中的两幅图像建立一个初始的重建框架，然后将后续图像逐一加入上述框架，从而确定图像序列中每一幅参考图像的拍摄方位与确定旋转向量。设П为通过所有相机中心的平面，它与真实相机的成像平面相交于一条直线，则这条直线通过极点 E₁，E₂，E₃，E₄，即四点共线，可在平面上求相机焦距f，E₁C和 E₄B分别是与E₄A和E₁A平行的直线，C是E₁C与AE₃延长线的交点，B是E₄D与AE₂延长线的交点，CAE₁是等腰三角形。同理AE₄B也是等腰三角形。AE垂直于E₁E₄，线段E₁E₂、 E₂ E₃及E₃E₄的长度在成像平面上已知，并分别记为a₁，a₂，a₃。计算一下公式可得到相机参数。

根据三角形的相似关系，我们得到

在△AE₄E₁中，由余弦定理可以得到

由三角形面积计算公式可以得到

由以上公式联立就可以得到AE。

如图4所示，再计算出相机焦距f。定义图像中心为主点C₀。相机焦距f为，则：

完成以上计算后，设两个相同相机在不同位置拍摄物体，可以把相机P坐标系作为世界坐标系，这样P外参数矩阵为[I|0]，Q相机投影矩阵为K[I|0]，Q相机的投影矩阵为K[R|t]，其中 I 是三维单位矩阵，K是相机的内参数矩阵，R和 t分别是Q相机相对于P相机的旋转向量和平移向量。设单位的法向量为[

]T，相对于该镜面的对称旋转矩阵可以用如下的公式表达：

两相机的变换矩阵为

可见外壳计算物体模型

如图5所示，C1,C2,C3是三个相机，虚线为从相机到物体的投影射线，射线与物体相切，相切的实线部分组成物体外包围壳，也就是物体的逼近模型。当相机越多时，角度越多，对物体的模型逼近就越精确。本文创新地提出了一种自适应可见外壳方法。可见外壳可以被看做一个封闭曲面，这个曲面包含着整个物体。可见外壳可视为一个等值曲面。假设在面上找到一点，以该点为中心构造体素，并将这个点作为种子体素遍历整个曲面，找到所有和等值面相交的体素，能够实现包围盒大小未知的情况下实现可见外壳的构造。同时在体素逐步生长中根据曲率的大小调整体素的大小，从而完善自适应重建。可见外壳的体素方法可看做是在包围盒中将等值面包围区域之外的所有体素切割掉。如果找到这个表面的体素，就可以计算出等值面上得等值体素，这种体素计算方法可以用可见外壳的三角面法来表示。然后通过不同视角的多特征点匹配方法，可计算出与立体多特征点对应的三维空间点，这些三维空间点位于三维物体表面或附近处。如果以其中某个点为中心构造体素，那么该中心点体素将与等值面相交。若以该体素为种子体素，在等值面上生长直到遍历整个表面，则可获得所有与等值面相交的体素。通过立体匹配构造种子体素，再用体素生长的方法可实现无需包围盒的自适应可见外壳重建。

在可见外壳的体素生长过程中，需要判断体素是否与等值面相交。如果体素位于等值面包围区域的内部或外部，显然体素中心及其它的顶点在所有视点成像平面上的投影点都落在物体的内部或外部；反之则体素的部分顶点的投影点落在剪影之内，部分顶点的投影点落在剪影之外。通过这种方式来判断体素是否与等值面相交。本发明中自适应体素可见外壳构造方法主要包括初始化、生成初始种子体素，检测到特征点；寻找每个特征点在外极线附近寻找匹配特征点。根据体素顶点的符号，从查找表中找出对应情况，并用对应情况下的三角面表示体素；同时将这些三角面添加到三角面链表中；体自适应生长，假设一个体素链表和自适应采样。初始化用于设置第一个种子属性、建立体素链表和三角面链表，分别用于存储生成的体素和体素转化成的三角面。根据体素和等值面相交的情况，通过查找表将体素表示转化成三角面表示。自适应采样根据种子体素处的曲率大小调整由种子体素生成的体素大小，曲率变化大的地方体素较小，而曲率变化小的地方体素较大。这种方法在不知道物体包围盒大小的情况下能够正确构造出可见外壳。这种自适应可见外壳方法优于当前的几个主流方法，重建的模型更逼近真实物体。

自然图像抠图

如图6~图11所示，在重建过程中，物体轮廓提取是一个重要的因素，决定了重建模型的逼近程度。在一般的物体轮廓提取方法中，对物体拍摄时常常把物体与背景颜色区分开，这样便于更好提取物体轮廓。某种程度上物体与背景的颜色差别决定了提取物体轮廓的质量。本发明提出了一种自然图像抠图的方法，这种方法打破了尽量用颜色差异来精确提取物体轮廓的局限性。能够在复杂颜色背景下提取轮廓，为后续重建过程打下很好基础。自然图像抠图是一种把图像的前景部分从背景中分离出来的技术，它通过用户交互，指定图像中的少量部分前景和背景区域。并根据这些线索按照一定的判定逻辑自动、准确地分离出所有的前景物体。

自然图象抠图方法主要分为两个步骤：第一步是在前景与背景上分别用白色与黑色画刷粗略地画几笔，标志出前景与背景，再采用图分割算法分割图片。为了提高计算效率，首先采用分水岭算法来对输入图像进行预分割，将输入图像变成一系列超像素区域，再来应用图分割算法，此步为硬分割。第二步是对硬分割线用数学形态学进行膨胀，把膨胀区域当成边缘提取图像的初始未知区域，对膨胀区域以外的半透明区域，用区域生长的方式把他们逐渐加入到未知区域内，形成最终的边缘提取图像。对硬分割产生的硬轮廓，利用形态学进行膨胀，膨胀区域就形成提取的初始未知区域。边缘提取越精确，抠图效果就越好，在进行膨胀时尽量减小幅度。对于边界上存在的半透明像素，膨胀区域无法覆盖到，可以采用区域生长法，循环检测膨胀区的最外边界，把所有的半透明区域都包括到未知区域内。提取图像的生成速度较快，效果较好。

结论：本发明重建物体效果好，精度高，速度快，打破用专业标定板标定的局限性，适合于快速精确重建三维物体的发展趋势。

Claims

1.一种基于复杂背景下可见外壳的三维重建方法，其特征在于：该方法步骤如下：

（1）相机自标定：

（2）用可视外壳算法重建三维模型：

（3）自然图像抠图：

2.根据权利要求1所述的基于复杂背景下可见外壳的三维重建方法，其特征在于：该方法基本设备构成主要包括水平面（1）、平面镜a（2）、平面镜b（3）、数码相机、重建的物体（5）、0度图片、90度图片、0度图片的轮廓提取图片、90度图片的轮廓提取图片；

平面镜a（2）与平面镜b（3）成一定角度立在水平面（1）上，夹角在70~75度之间，把需要重建的物体（5）放在这两个平面镜之间，固定数码相机的焦距，用相机拍摄物体两次；第一次与水平面（1）接近0度拍摄第一幅图片，设为0度图片；第二次水平面（1）角度接近90度拍摄第二幅图片，设为90度图片；照片包括1个真实的物体和4个虚像，通过自然抠图法对90度图片进行提取轮廓处理，对0度图片进行提取轮廓处理；通过提取轮廓处理后的图片计算相机参数，完成相机自标定；把相机的参数求出之后，用可见外壳的方法处理90度图片的轮廓提取图片与0度图片的轮廓提取图片，得到基于复杂背景下可见外壳的三维重建模型。

3.根据权利要求2所述的基于复杂背景下可见外壳的三维重建方法，其特征在于：用自然抠图法提取0度图片与90度图片边缘，边缘内的像素值为255，边缘外的像素值为0，得到0度图片的轮廓提取图片与90度图片的轮廓提取图片。

4.根据权利要求2或3所述的基于复杂背景下可见外壳的三维重建方法，其特征在于：通过0度图片的轮廓提取图片与90度图片的轮廓提取图片之间的约束关系计算数码相机的参数矩阵和焦距，完成自标定。

5.根据权利要求2或3所述的基于复杂背景下可见外壳的三维重建方法，其特征在于：通过0度图片的轮廓提取图片与90度图片的轮廓提取图片的可见外壳算法计算物体的合理逼近模型。