CN103679806B - 自适应可视外壳生成方法及装置 - Google Patents

Abstract

本发明公开了一种自适应可视外壳生成方法及装置，涉及图像三维重建技术领域，本发明对特定的节点进行细分，从而实现了重建模型的自适应细分，避免了将所有节点都分到同一层次，大幅提高了重建精度。

Description

自适应可视外壳生成方法及装置

技术领域

本发明涉及图像三维重建技术领域，特别涉及一种自适应可视外壳生成方法及装置。

背景技术

三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。

现有的三维重建方法产生了非常多的不必要的面片，而且面片的质量很差。一般来说，得到的网格需要通过正则化、优化和简化来得到比较合适的质量同时保持特征和精度，当使用八叉树来进行加速计算的时候，八叉树的最终可用叶子节点都必须在同一个层次，对内存给予了很大的限制，很难表现出重建物体的细节特征。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何对重建模型进行自适应细分，避免将所有节点都分到同一层次，造成由于细分不够而导致的模型精度缺失或细分层次过高导致的表面网格数据庞大。

(二)技术方案

为解决上述技术问题，本发明提供了一种自适应可视外壳生成方法，所述方法包括以下步骤：

S1：获取N幅待重建的二值图像及标定参数，将所述二值图像转换为积分图，并根据所述二值图像及标定参数建立三维空间包围盒，所述二值图像区分前景部分和背景部分；

S2：将所述三维空间包围盒作为根节点，根据所述积分图进行M次的八叉树空间细分，所述M为不小于0的整数；

S3：将空间细分后得到的节点进行判断，若当前节点所包含的待重建物体体积小于阈值或所述当前节点所包含的待重建物体表面是平滑的，则不对所述当前节点进行八叉树空间细分，否则对所述当前节点进行八叉树空间细分，重复执行步骤S3，直至执行S3的次数达到T次，所述T为不小于1的整数；

S4：对步骤S3得到的叶子节点的顶点进行内外状态判断，并根据所述内外状态对所述叶子节点的各个顶点进行赋值，使用所述叶子节点的各个顶点的值给其父节点以及祖先节点对应的顶点进行赋值，根据所述叶子节点的各个顶点的值确定位于叶子节点上的所有线段，对所述叶子节点进行遍历，若当前叶子节点的某一个面上具有线段存在、邻居节点在该面上没有线段存在，并且该邻居节点的细分层数小于当前叶子节点，则以该邻居节点为根节点进行八叉树空间细分，直至该邻居节点与所述当前叶子节点的细分层数相同，再对所述邻居节点细分获得的叶子节点的内外状态进行判断，并根据所述内外状态对所述叶子节点的各个顶点进行赋值，使用所述叶子节点的各个顶点的值给其父节点以及祖先节点对应的顶点进行赋值，以获得所有节点的各个顶点的值；

S5：根据所述叶子节点的各个顶点的值寻找出等值点；

S6：根据所述等值点及所有节点的各个顶点的值确定连接线段，再根据所述等值点及等值点的连接线段形成封闭网格，以实现外壳生成。

其中，步骤S1中，建立所述三维空间包围盒包括：

S101：根据所述待重建的二值图像提取前景部分的矩形包围盒，第i幅二值图像对应的矩形包围盒的x方向的最小值和最大值分别为ri_xmin和ri_xmax，所述第i幅二值图像对应的矩形包围盒的y方向的最小值和最大值分别为ri_ymin和ri_ymax，i＝1,…,N；

S102：对所有二值图像对应的不等式组联立求解，以获得所述待重建物体在三维空间X,Y,Z三个方向的最大值和最小值；

S103：根据所述X，Y，Z三个方向的最大值和最小值建立所述三维空间包围盒；

其中，所述不等式组包括以下四个公式：

(p₀₀-p₂₀*ri_xmin)*X+(p₀₁-p₂₁*ri_xmin)*Y+(p₀₂-p₂₁*ri_xmin)*Z≥p₂₃*ri_xmin-p₀₃

(p₁₀-p₂₀*ri_ymin)*X+(p₁₁-p₂₁*ri_ymin)*Y+(p₁₂-p₂₁*ri_ymin)*Z≥p₂₃*ri_ymin-p₁₃

(p₀₀-p₂₀*ri_xmax)*X+(p₀₁-p₂₁*ri_xmax)*Y+(p₀₂-p₂₁*ri_xmax)*Z≤p₂₃*ri_xmax-p₀₃

(p₁₀-p₂₀*ri_ymax)*X+(p₁₁-p₂₁*ri_ymax)*Y+(p₁₂-p₂₁*ri_ymax)*Z≤p₂₃*ri_ymax-p₁₃

其中，为相机投影矩阵，其由获取的标定参数决定；(x_i，y_i)为空间点在第i幅二值图像中的投影点的坐标；(X，Y，Z)为待重建物体在三维空间中的坐标，λ＝p₂₀*X+p₂₁*Y+p₂₂*Z+p₂₃。

其中，所述根节点具有一个活动链表，所述活动链表中包括所述积分图的图像标号，所述二值图像中背景部分设为0，前景部分设为1；

步骤S2包括：

S201：将所述三维空间包围盒作为根节点，并将根节点作为父节点；

S202：判断所述M是否为0，若否，则将所述父节点等分成八个长方体包围盒，每个长方体包围盒均代表一个子节点，每个子节点继承所述父节点的活动链表，若是直接执行步骤S3；

S203：遍历步骤S202获得的子节点，将当前子节点的八个顶点投影至所述当前子节点的活动链表中对应的积分图中，求取所述当前子节点在各积分图内的投影矩形包围盒的面积和投影矩形包围盒的局部积分图值，若满足下面两种情况，则直接处理下一子节点，第一种情况：各积分图的投影矩形包围盒的局部积分值至少一个为0；第二种情况：各积分图的投影矩形包围盒的面积与局部积分值与投影矩形包围盒的局部积分图值均相等；

若不满足上面两种情况，则将所述当前子节点标记为灰色节点，若所述当前子节点在某积分图的投影矩形包围盒的面积和投影矩形包围盒的局部积分图值相等，则将该积分图的图像标号从所述当前子节点的活动链表中移除；

S204：将标记为灰色节点的子节点作为新的父节点，将所述M减1，并返回步骤S202。

其中，步骤S3包括：

S301：在每个父节点中均匀采样X个三维点，判断每个父节点所采样出的三维点是否位于所述待重建物体表面，所述X为不小于8的整数；

S302：遍历步骤S301中的每个父节点，将当前父节点位于所述待重建物体表面的三维点进行主成分分析，以获得位于新三维坐标系中的三个特征值，所述三个特征值为位于所述待重建物体表面的三维点在新三维坐标系中三个轴上的投影长度，将其分别记为Axis₁,Axis₂,Axis₃，且Axis₁≥Axis₂≥Axis₃；

若Axis₁＜δ₁，则认为所述当前父节点所包含的待重建物体体积小于阈值，则直接处理下一父节点；

若且Axis₃≤δ₃，则认为所述当前父节点所包含的待重建物体表面是平滑的，则直接处理下一父节点；

若为其他情况，则将所述当前父节点标记为待细分的父节点，并直接处理下一父节点；

S303：判断所述T是否为0，若否，将所述待细分的父节点等分成八个长方体包围盒，每个长方体包围盒均代表一个子节点，每个子节点继承所述父节点的活动链表，若是直接执行步骤S4；

S304：遍历步骤S303获得的子节点，将当前子节点的八个顶点投影至所述当前子节点的活动链表中对应的积分图中，求取所述当前子节点在各积分图内的投影矩形包围盒的面积和投影矩形包围盒的局部积分图值，若满足下面两种情况，则直接处理下一子节点，第一种情况：各积分图的投影矩形包围盒的局部积分值至少一个为0；第二种情况：各积分图的投影矩形包围盒的面积与局部积分值与投影矩形包围盒的局部积分图值均相等；

若不满足上面两种情况，则执行将所述当前子节点标记为灰色节点，若所述当前子节点在某积分图的投影矩形包围盒的面积和投影矩形包围盒的局部积分图值相等，则将该积分图从所述当前子节点的活动链表中移除；

S305：将标记为灰色节点的子节点作为新的父节点，将所述T减1，并返回步骤S301。

其中，步骤S4包括：

S401：对步骤S3得到的叶子节点的顶点进行内外状态判断，并若某个顶点的投影点在一幅二值图像中处于背景部分，则将该顶点赋值为0，若某个顶点的所有投影点均处于前景部分，则将该顶点赋值为1，使用所述叶子节点的各个顶点的值给其父节点以及祖先节点对应的顶点进行赋值；

S402：根据所述叶子节点的各个顶点的值确定位于叶子节点上的所有线段，对所述叶子节点进行遍历，若当前叶子节点的某一个面上具有线段存在、邻居节点在该面上没有线段存在，并且该邻居节点的细分层数小于当前叶子节点，则以该邻居节点为根节点进行八叉树空间细分，直至该邻居节点与所述当前叶子节点的细分层数相同；

S403：对所述邻居节点细分获得的叶子节点的内外状态进行判断，若某个顶点的投影点在一幅二值图像中处于背景部分，则将该顶点赋值为0，若某个顶点的所有投影点均处于前景部分，则将该顶点赋值为1，使用所述邻居节点细分获得的叶子节点的各个顶点的值给其父节点以及祖先节点对应的顶点进行赋值，以获得所有节点的各个顶点的值。

其中，步骤S5包括：

S501：若所述当前叶子节点具有的12条边中任何一条边的两个顶点的取值不同，则认为该边上具有等值点；

S502：将判断为具有等值点的边在所述当前叶子节点的活动链表中的二值图像进行投影，以形成投影线段，寻找所述投影线段与所述二值图像的前景部分边界的交点，并记录所述投影线段处于所述二值图像的背景部分的长度与投影线段的比例；

S503：根据所述比例最大的二值图像所对应的交点计算所述等值点的坐标。

本发明还公开了一种自适应可视外壳生成装置，所述装置包括：

获取建立模块，用于获取N幅待重建的二值图像及标定参数，将所述二值图像转换为积分图，并根据所述二值图像及标定参数建立三维空间包围盒，所述二值图像区分前景部分和背景部分；

规则细分模块，用于将所述三维空间包围盒作为根节点，根据所述积分图进行M次的八叉树空间细分，所述M为不小于0的整数；

自适应细分模块，用于将空间细分后得到的节点进行判断，若当前节点所包含的待重建物体体积小于阈值或所述当前节点所包含的待重建物体表面是平滑的，则不对所述当前节点进行八叉树空间细分，否则对所述当前节点进行八叉树空间细分，重复执行步骤S3，直至执行S3的次数达到T次，所述T为不小于1的整数；

赋值细分模块，用于对所述自适应细分模块得到的叶子节点的顶点进行内外状态判断，并根据所述内外状态对所述叶子节点的各个顶点进行赋值，使用所述叶子节点的各个顶点的值给其父节点以及祖先节点对应的顶点进行赋值，根据所述叶子节点的各个顶点的值确定位于叶子节点上的所有线段，对所述叶子节点进行遍历，若当前叶子节点的某一个面上具有线段存在、邻居节点在该面上没有线段存在，并且该邻居节点的细分层数小于当前叶子节点，则以该邻居节点为根节点进行八叉树空间细分，直至该邻居节点与所述当前叶子节点的细分层数相同，再对所述邻居节点细分获得的叶子节点的内外状态进行判断，并根据所述内外状态对所述叶子节点的各个顶点进行赋值，使用所述叶子节点的各个顶点的值给其父节点以及祖先节点对应的顶点进行赋值，以获得所有节点的各个顶点的值；

等值点寻找模块，用于根据所述叶子节点的各个顶点的值寻找出等值点；

封闭网络形成模块，用于根据所述等值点及所有节点的各个顶点的值确定连接线段，再根据所述等值点及等值点的连接线段形成封闭网格，以实现外壳生成。

(三)有益效果

本发明对特定的节点进行细分，从而实现了重建模型的自适应细分，避免了将所有节点都分到同一层次，大幅提高了重建精度。

附图说明

图1是本发明一种实施方式的自适应可视外壳生成方法的流程框图；

图2是待重建物体(恐龙模型)的第一个角度的原始图像；

图3是图2第二个角度的原始图像；

图4是图2第三个角度的原始图像；

图5是图2第四个角度的原始图像；

图6是本发明一种实施方式对图2～5所示的原始图像在M＝0，T＝7情况下的重建网格示意图(顶点数目：16610，三角形数目：33192)；

图7是本发明一种实施方式对图2～5所示的原始图像在M＝7，T＝0情况下的重建网格示意图(顶点数目：36312，三角形面片数目：72584)；

图8是本发明一种实施方式对图2～5所示的原始图像在M＝5，T＝0情况下的重建网格示意图(顶点数目：1958，三角面片数目：3904)；

图9是本发明一种实施方式对图2～5所示的原始图像在M＝5，T＝2情况下的重建网格示意图(顶点数目：20226，三角面片数目：40424)；

图10是待重建物体(小像模型)的第一个角度的原始图像；

图11是图10第二个角度的原始图像；

图12是图10第三个角度的原始图像；

图13是图10第四个角度的原始图像；

图14是本发明一种实施方式对图10～13所示的原始图像在M＝7，T＝0情况下的重建网格示意图(顶点数：39976，三角面片数：79944)；

图15是本发明一种实施方式对图10～13所示的原始图像在M＝5，T＝0情况下的重建网格示意图(顶点数：2376，三角面片数：4372)；

图16是本发明一种实施方式对图10～13所示的原始图像在M＝5，T＝2情况下的重建网格示意图(顶点数：13298，三角面片数：26588)；

图17是待重建物体(鳄鱼模型)的第一个角度的原始图像；

图18是图17第二个角度的原始图像；

图19是图17第三个角度的原始图像；

图20是图17第四个角度的原始图像；

图21是本发明一种实施方式对图17～20所示的原始图像在M＝7，T＝0情况下的重建网格示意图(顶点数目：37982，三角面片数目：75964)；

图22是本发明一种实施方式对图17～20所示的原始图像在M＝5，T＝0情况下的重建网格示意图(顶点数目：2110，三角面片数目：4216)；

图23是本发明一种实施方式对图17～20所示的原始图像在M＝5，T＝2情况下的重建网格示意图(顶点数目：14849，三角面片数目：29678)；

图24是计算等值点的时候直接以0.5为等值点方式得到的结果示意图(右边部分是左边圆圈部分换了一个视角网格)；

图25是使用二值图像搜索等值点方式得到的结果示意图(右边部分是左边圆圈部分换了一个视角网格)；

图26是本发明一种实施方式的自适应可视外壳生成装置的结构框图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

图1是本发明一种实施方式的自适应可视外壳生成方法的流程框图；参照图1，所述方法包括以下步骤：

S1：获取N幅待重建的二值图像及标定参数，将所述二值图像转换为积分图，并根据所述二值图像及标定参数建立三维空间包围盒，所述二值图像区分前景部分和背景部分；

S2：将所述三维空间包围盒作为根节点，根据所述积分图进行M次的八叉树空间细分，所述M为不小于0的整数；

S3：将空间细分后得到的节点进行判断，若当前节点所包含的待重建物体体积小于阈值或所述当前节点所包含的待重建物体表面是平滑的，则不对所述当前节点进行八叉树空间细分，否则对所述当前节点进行八叉树空间细分，重复执行步骤S3，直至执行S3的次数达到T次，所述T为不小于1的整数；

S4：对步骤S3得到的叶子节点的顶点进行内外状态判断，并根据所述内外状态对所述叶子节点的各个顶点进行赋值，使用所述叶子节点的各个顶点的值给其父节点以及祖先节点对应的顶点进行赋值，根据所述叶子节点的各个顶点的值确定位于叶子节点上的所有线段，对所述叶子节点进行遍历，若当前叶子节点的某一个面上具有线段存在、邻居节点在该面上没有线段存在，并且该邻居节点的细分层数小于当前叶子节点，则以该邻居节点为根节点进行八叉树空间细分，直至该邻居节点与所述当前叶子节点的细分层数相同，再对所述邻居节点细分获得的叶子节点的内外状态进行判断，并根据所述内外状态对所述叶子节点的各个顶点进行赋值，使用所述叶子节点的各个顶点的值给其父节点以及祖先节点对应的顶点进行赋值，以获得所有节点的各个顶点的值；

S5：根据所述叶子节点的各个顶点的值寻找出等值点；

S6：根据所述等值点及所有节点的各个顶点的值确定连接线段，再根据所述等值点及等值点的连接线段形成封闭网格，以实现外壳生成，本步骤中，可通过作者为Kazhdan,MichaelandKlein,AllisonandDalal,KetanandHoppe,Hugues，名称为Unconstrainedisosurfaceextractiononarbitraryoctrees的论文中的方法来实现，本论文在2007年发布。

参照图2～23，从上面三组数据可以看出，尽管规则细分很多层可以得到保持物体细节特征的网格，但是网格顶点和三角面片数目都非常多，不适合于后面继续重建纹理。尽管可以使用简化等算法来减少规则细分重建出来的网格，但是会出现两种问题：第一，简化算法本身会引入新的问题，比如引入折叠的网格；第二，对于有的物体，要想得到比较细节特征是需要细分层数非常多的，这时候用规则细分会引起内存不够等问题。

而从上面的实验结果可以看出，规则细分层数比较少的时候(本文为5层)，重建物体的很多细节特征都丢失了。但是使用一部分规则细分，一部分根据特征节点判断的自适应细分的方式(上面实验中的5层规则细分+2层自适应细分)，可以用比较少的顶点数和面片数得到重建物体的细节特征。不但节省了内存等资源，而且可以为后面的进一步处理打下很好的基础。

为实现自动计算空间包围盒，以避免传统的经验估计而产生的三维空间包围盒过大而导致的计算量过大，优选地，步骤S1中，建立所述三维空间包围盒包括：

S101：根据所述待重建的二值图像提取前景部分的矩形包围盒，第i幅二值图像对应的矩形包围盒的x方向的最小值和最大值分别为ri_xmin和ri_xmax，所述第i幅二值图像对应的矩形包围盒的y方向的最小值和最大值分别为ri_ymin和ri_ymax，i＝1,…,N；

S102：对所有二值图像对应的不等式组联立求解，以获得所述待重建物体在三维空间X,Y,Z三个方向的最大值和最小值；

S103：根据所述X,Y,Z三个方向的最大值和最小值建立所述三维空间包围盒；

其中，所述不等式组包括以下四个公式：

(p₀₀-p₂₀*ri_xmin)*X+(p₀₁-p₂₁*ri_xmin)*Y+(p₀₂-p₂₁*ri_xmin)*Z≥p₂₃*ri_xmin-p₀₃

(p₁₀-p₂₀*ri_ymin)*X+(p₁₁-p₂₁*ri_ymin)*Y+(p₁₂-p₂₁*ri_ymin)*Z≥p₂₃*ri_ymin-p₁₃

(p₀₀-p₂₀*ri_xmax)*X+(p₀₁-p₂₁*ri_xmax)*Y+(p₀₂-p₂₁*ri_xmax)*Z≤p₂₃*ri_xmax-p₀₃

(p₁₀-p₂₀*ri_ymax)*X+(p₁₁-p₂₁*ri_ymax)*Y+(p₁₂-p₂₁*ri_ymax)*Z≤p₂₃*ri_ymax-p₁₃

其中，为相机投影矩阵，其由获取的标定参数决定；(x_i，y_i)为空间点在第i幅二值图像中的投影点的坐标；(X，Y，Z)为待重建物体在三维空间中的坐标，λ＝p₂₀*X+p₂₁*Y+p₂₂*Z+p₂₃。

为确认本方案可行，经过验证可得下表(即为采用步骤S101～103所计算的结果与真实数据的对比)：

为减少计算量，故而引入积分图和活动链表，优选地，所述根节点具有一个活动链表，所述活动链表中包括所述积分图的图像标号，所述二值图中背景部分设为0，前景部分设为1；

步骤S2包括：

S201：将所述三维空间包围盒作为根节点，并将根节点作为父节点；

S202：判断所述M是否为0，若否，则将所述父节点等分成八个长方体包围盒，每个长方体包围盒均代表一个子节点，每个子节点继承所述父节点的活动链表，若是直接执行步骤S3；

S203：遍历步骤S202获得的子节点，将当前子节点的八个顶点投影至所述当前子节点的活动链表中对应的积分图中，求取所述当前子节点在各积分图内的投影矩形包围盒的面积和投影矩形包围盒的局部积分图值，若满足下面两种情况，则直接处理下一子节点，第一种情况：各积分图的投影矩形包围盒的局部积分值至少一个为0；第二种情况：各积分图的投影矩形包围盒的面积与局部积分值与投影矩形包围盒的局部积分图值均相等；

若不满足上面两种情况，则将所述当前子节点标记为灰色节点，若所述当前子节点在某积分图的投影矩形包围盒的面积和投影矩形包围盒的局部积分图值相等，则将该积分图的图像标号从所述当前子节点的活动链表中移除；

S204：将标记为灰色节点的子节点作为新的父节点，将所述M减1，并返回步骤S202。

为实现自适应细分，优选地，步骤S3包括：

S301：在每个父节点中均匀采样X个三维点，判断每个父节点所采样出的三维点是否位于所述待重建物体表面，所述X为不小于8的整数；

S302：遍历步骤S301中的每个父节点，将当前父节点位于所述待重建物体表面的三维点进行主成分分析，以获得位于新三维坐标系中的三个特征值，所述三个特征值为位于所述待重建物体表面的三维点在新三维坐标系中三个轴上的投影长度，将其分别记为Axis₁,Axis₂,Axis₃，且Axis₁≥Axis₂≥Axis₃；

若Axis₁<δ₁，则认为所述当前父节点所包含的待重建物体体积小于阈值，则直接处理下一父节点；

若且Axis₃≤δ₃，则认为所述当前父节点所包含的待重建物体表面是平滑的，则直接处理下一父节点；

若为其他情况，则将所述当前父节点标记为待细分的父节点，并直接处理下一父节点；

S303：判断所述T是否为0，若否，将所述待细分的父节点等分成八个长方体包围盒，每个长方体包围盒均代表一个子节点，每个子节点继承所述父节点的活动链表，若是直接执行步骤S4；

S304：遍历步骤S303获得的子节点，将当前子节点的八个顶点投影至所述当前子节点的活动链表中对应的积分图中，求取所述当前子节点在各积分图内的投影矩形包围盒的面积和投影矩形包围盒的局部积分图值，若满足下面两种情况，则直接处理下一子节点，第一种情况：各积分图的投影矩形包围盒的局部积分值至少一个为0；第二种情况：各积分图的投影矩形包围盒的面积与局部积分值与投影矩形包围盒的局部积分图值均相等；

若不满足上面两种情况，则执行将所述当前子节点标记为灰色节点，若所述当前子节点在某积分图的投影矩形包围盒的面积和投影矩形包围盒的局部积分图值相等，则将该积分图从所述当前子节点的活动链表中移除；

S305：将标记为灰色节点的子节点作为新的父节点，将所述T减1，并返回步骤S301。

由于自适应细分会导致叶子节点的大小不一致，故而会导致有些线段无法连接，保证形成封闭网格，优选地，步骤S4包括：

S401：对步骤S3得到的叶子节点的顶点进行内外状态判断，并若某个顶点的投影点在一幅二值图像中处于背景部分，则将该顶点赋值为0，若某个顶点的所有投影点均处于前景部分，则将该顶点赋值为1，使用所述叶子节点的各个顶点的值给其父节点以及祖先节点对应的顶点进行赋值；

S402：根据所述叶子节点的各个顶点的值确定位于叶子节点上的所有线段，对所述叶子节点进行遍历，若当前叶子节点的某一个面上具有线段存在、邻居节点在该面上没有线段存在，并且该邻居节点的细分层数小于当前叶子节点，则以该邻居节点为根节点进行八叉树空间细分，直至该邻居节点与所述当前叶子节点的细分层数相同；

S403：对所述邻居节点细分获得的叶子节点的内外状态进行判断，若某个顶点的投影点在一幅二值图像中处于背景部分，则将该顶点赋值为0，若某个顶点的所有投影点均处于前景部分，则将该顶点赋值为1，使用所述邻居节点细分获得的叶子节点的各个顶点的值给其父节点以及祖先节点对应的顶点进行赋值，以获得所有节点的各个顶点的值。

为便于寻找等值点，优选地，步骤S5包括：

S501：若所述当前叶子节点具有的12条边中任何一条边的两个顶点的取值不同，则认为该边上具有等值点；

S502：将判断为具有等值点的边在所述当前叶子节点的活动链表中的二值图像进行投影，以形成投影线段，寻找所述投影线段与所述二值图像的前景部分边界的交点，并记录所述投影线段处于所述二值图像的背景部分的长度与投影线段的比例；

S503：根据所述比例最大的二值图像所对应的交点计算所述等值点的坐标，本步骤可采用作者为Liang,ChenandWong,Kwan-YeeKenneth，名称为ExactVisualHullFromMarchingCubes的论文中提到的方法来实现，该论文在2008年公开在VISAPP上。

参照图24～25，由于构建的八叉树的节点是一个0，1的二值图，上面的两幅图像显示了在在重建网格的时候直接使用0.5作为等值面的值和通过边的投影与轮廓图求交来得到等值点。从实验结果中可以看到，直接使用0.5做等值的时候(参见图24)可以明显的看到生成了阶梯状网格，而采用的边与轮廓求交的方法(即步骤S401～404的方法)得到的网格明显是非常平滑的，不存在阶梯状网格(参见图25)。

实施例

下面以一个具体的实施例，来说明本发明，但不限定本发明的保护范围。

第一步：在标定板上拍摄重建物体照片30张，然后对拍摄的照片进行前背景分割，得到二值模板图像(即二值图像)；对拍摄的照片进行标定，得到标定参数；

第二步：将所述二值模板图像生成对应的积分图；

第三步：根据输入的模板图像提取前景部分矩形包围盒，使用ri_xmin，ri_xmax，ri_ymin，ri_ymax，i＝1，2，...，30来分别代表第i张图像中求得的矩形包围盒的x和y方向的最小值和最大值。

第四步：根据输入的标定参数和矩形包围盒求取待重建物体的三维空间包围盒；

对于每幅图像，在不考虑畸变参数的情况下由如下公式：

$\mathrm{\&lambda;}\left[\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right]=P_i\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$

其中为相机投影矩阵，为图像坐标系中的点，为重建物体在三维空间中的点，λ＝p₂₀*X+p₂₁*Y+p₂₂*Z+p₂₃。

由于重建物体的投影点一定会落在对应图像的前景包围盒中，由如下不等式：

${\mathrm{ri}}_{xmin}\&le;x_i=\frac{p_{00}*X+p_{01}*Y+p_{02}*Z+p_{03}}{p_{20}*X+p_{21}*Y+p_{22}*Z+p_{23}}\&le;{\mathrm{ri}}_{xmax}$

${\mathrm{ri}}_{ymin}\&le;x_i=\frac{p_{10}*X+p_{11}*Y+p_{12}*Z+p_{13}}{p_{20}*X+p_{21}*Y+p_{22}*Z+p_{23}}\&le;{\mathrm{ri}}_{ymax}$

整理之后有下面四个不等式：

(p₀₀-p₂₀*ri_xmin)*X+(p₀₁-p₂₁*ri_xmin)*Y+(p₀₂-p₂₁

*ri_xmin)*Z≥p₂₃*ri_xmin-p₀₃

(p₁₀-p₂₀*ri_ymin)*X+(p₁₁-p₂₁*ri_ymin)*Y+(p₁₂-p₂₁

*ri_ymin)*Z≥p₂₃*ri_ymin-p₁₃

(p₀₀-p₂₀*ri_xmax)*X+(p₀₁-p₂₁*ri_xmax)*Y+(p₀₂-p₂₁

*ri_xmax)*Z≤p₂₃*ri_xmax-p₀₃

(p₁₀-p₂₀*ri_ymax)*X+(p₁₁-p₂₁*ri_ymax)*Y+(p₁₂-p₂₁

*ri_ymax)*Z≤p₂₃*ri_ymax-p₁₃

这样，30幅图像的矩形包围盒以及对应的标定参数可以构成120个不等式。由于上述不等式构成的是关于X，Y，Z的线性不等式组。本实例使用LpSolve库，在上面不等式组的限制条件下，计算获得重建物体的空间包围盒的X_min，X_max，Y_min，Y_max，Z_min，Z_max，根据所述X，Y，Z三个方向的最大值和最小值建立所述三维空间包围盒。

第五步：初始化八叉树结构，给八叉树根节点(上一步求出的空间包围盒)设定一个活动链表(ActiveList)，里面包含了图像标号ID(1，2，3，...，30)；

第六步：本实例中采用了5层规则细分，2层不规则细分的模式。本步骤进行5层八叉树规格细分重建：该部分从八叉树根节点开始，首先把根节点分成八个大小相等的第一层节点。对于生成的每一个新的节点，都从其父节点中继承一个活动链表，这里就是包含1-30这30个ID的活动链表。对于每个新的节点，把其八个顶点投影到活动链表中的ID对应的图像中，对每幅图像中投影的八个点求取矩形包围盒pr_i，然后根据对应的积分图求得矩形包围盒pr_i部分的局部积分图的值IntValue_pri。同时，求取矩形包围盒pr_i部分的面积为S_pri，i＝1，2，...，30。这样，如果某一幅图像对应的IntValue_pri等于0，那该八叉树节点肯定位于重建物体外部，称这种节点为BlackNode(即黑色节点)；相反，如果每幅图像对应的IntValue_pri都和对应的S_pri相等，那该八叉树节点肯定位于重建物体内部，称这种节点为WhiteNode(即白色节点)；否则，该节点的状态是不能判断的，它有很大的可能性是处于重建物体的表面，但是也有可能处于重建物体的外边，称这种节点为GrayNode(即灰色节点)。如果一个节点的投影在某幅图像中的IntValue_pri和相应的S_pri相等，把该幅图像对应的ID从该节点的活动链表中移出。在本实例中，八个子节点的第一个节点在第1幅图像中的局部积分图值为0，这样就直接判断它肯定处于重建模型外部，把它标记为BlackNode，也不再继续往活动链表中的其它图像做投影，直接处理第二个节点。对于第二个节点，它在所有图像中的局部积分图都不为0，但是在第3，4，5图像中的投影的局部积分图的值等于投影包围盒的面积，这样知道该节点的所有子节点的投影肯定也都会在这几幅图像中处于前景部分，所以把3,4,5从第二个节点的活动链表中移出，同时标记第二个节点为GrayNode。对于第三个节点，它在所有的图像中的投影的局部积分图都等于投影包围盒的面积，所以该节点肯定位于重建模型内部，把它标记为WhiteNode，然后处理下一个节点。用类似的方法处理完所有的8个节点以后，第1个节点为BlackNode，第3，4节点为WhiteNode，剩余的节点都是GrayNode。这样，把标记为GrayNode的5个节点使用上面类似的方法继续细分，标记为BlackNode和WhiteNode的节点不再进行细分。这样一直细分八叉树到达第5层。

第七步：2层自适应细分重建

对于八叉树每层细分的节点，仍然按照规则细分中相同的方法来维护活动链表，仍然按照规则细分的方法判断节点的属性(BlackNode,WhiteNode,GrayNode)。对于判断为GrayNode的节点，本实例实施中在该节点内部均匀采样512个三维点，然后判断这些采样点是否位于重建模型表面。在实际操作过程中，直接把当前需要判断的节点分成8*8*8的子节点，以每个子节点的中心点作为的均匀采样点。这样可以判断每个子节点是否为GrayNode，如果是，那么认为该子节点的中心点位于模型表面的点，否则不是模型表面的点。

把所有判断为位于物体表面的采样点收集起来，形成一个N*3的矩阵，其中N为表面点的数目。对这个矩阵作SVD分解，得到的三个特征值就是采样点的三个主投影轴的长度，记作Axis₁，Axis₂，Axis₃，其中Axis₁≥Axis₂≥Axis₃。这时候Axis₁，Axis₂可以看作平面的正交轴，而Axis₃是该平面的法向的长度。通过这三个轴的长度，可以判断该节点是否是一个特征节点以及是否需要细分：

(1)当Axis₁＜δ₁时，说明该节点包含的物体已经非常小，抛弃也不会有大的影响；

(2)当并且Axis₃≤δ₃时，说明该部分表面足够平滑，不进行细分也不会影响重建物体的视觉效果。

(3)除去上面两种情况，该节点属于一个细微特征节点，需要细分。

这样，判断出细微特征节点之后，只对这些特征节点进行细分。

对于每一个节点都进行上面的分析和细分，直到细分层数达到预设的2层。

第八步：对第七步得到的叶子节点的顶点进行内外状态判断，并根据所述内外状态对所述叶子节点的各个顶点进行赋值(对属性为GrayNode的叶子节点的八个顶点都投影到节点的活动链表中的每幅图像里面，如果投影点在至少一张图像厘米处于背景部分，那么这个顶点的值设置为0；而如果所有的投影点都处于对应图像的前景部分，那么这个顶点的值设置为1。这样八个顶点的值就可以组成01101011这样的二进制)，使用所述叶子节点的各个顶点的值给其父节点以及祖先节点对应的顶点进行赋值，根据所述叶子节点的各个顶点的值确定位于叶子节点上的所有线段，对所述叶子节点进行遍历，若当前叶子节点的某一个面上具有线段存在、邻居节点在该面上没有线段存在，并且该邻居节点的细分层数小于当前叶子节点，则以该邻居节点为根节点进行八叉树空间细分，直至该邻居节点与所述当前叶子节点的细分层数相同，再对所述邻居节点细分获得的叶子节点的内外状态进行判断，并根据所述内外状态对所述叶子节点的各个顶点进行赋值，使用所述叶子节点的各个顶点的值给其父节点以及祖先节点对应的顶点进行赋值，以获得所有节点的各个顶点的值；

第九步：生成叶子节点等值点和等值点连接方式

为了求取准确的等值点，把判断为有等值点的一条边投影到活动链表中的各幅二值模板图像中，然后在每幅图像中使用二分搜索(本实施例中，搜索点的方式采用二分法来搜索，而ExactVisualHullFromMarchingCubes这个论文中是采用Bresenham的直线生成算法来搜索，搜索的结果一样，但用二分搜索的方式，效率会更高)寻找投影线段与二值模板图像前景边界的交点I_i，并同时记录投影线段处于背景图像部分的长度L_i与投影线段的比例R_i。对所有图像处理完以后，取R_i最大的图像所对应的交点I_i，该交点和对应相机中心点的连线和三维空间的原始线段的交点即为需要求取的等值点。

这样，就生成了每个节点的等值点，并同时知道这些等值点该如何连接。

第十步：封闭网格的形成

根据所述等值点及所有节点的各个顶点的值确定连接线段，再根据所述等值点及等值点的连接线段形成封闭网格，以实现外壳生成，本步骤中，可通过作者为Kazhdan,MichaelandKlein,AllisonandDalal,KetanandHoppe,Hugues，名称为Unconstrainedisosurfaceextractiononarbitraryoctrees的论文中的方法来实现，本论文在2007年发布。

本发明还公开了一种自适应可视外壳生成装置，参照图26，所述装置包括：

获取建立模块，用于获取N幅待重建的二值图像及标定参数，将所述二值图像转换为积分图，并根据所述二值图像及标定参数建立三维空间包围盒，所述二值图像区分前景部分和背景部分；

规则细分模块，用于将所述三维空间包围盒作为根节点，根据所述积分图进行M次的八叉树空间细分，所述M为不小于0的整数；

自适应细分模块，用于将空间细分后得到的节点进行判断，若当前节点所包含的待重建物体体积小于阈值或所述当前节点所包含的待重建物体表面是平滑的，则不对所述当前节点进行八叉树空间细分，否则对所述当前节点进行八叉树空间细分，重复执行步骤S3，直至执行S3的次数达到T次，所述T为不小于1的整数；

赋值细分模块，用于对所述自适应细分模块得到的叶子节点的顶点进行内外状态判断，并根据所述内外状态对所述叶子节点的各个顶点进行赋值，使用所述叶子节点的各个顶点的值给其父节点以及祖先节点对应的顶点进行赋值，根据所述叶子节点的各个顶点的值确定位于叶子节点上的所有线段，对所述叶子节点进行遍历，若当前叶子节点的某一个面上具有线段存在、邻居节点在该面上没有线段存在，并且该邻居节点的细分层数小于当前叶子节点，则以该邻居节点为根节点进行八叉树空间细分，直至该邻居节点与所述当前叶子节点的细分层数相同，再对所述邻居节点细分获得的叶子节点的内外状态进行判断，并根据所述内外状态对所述叶子节点的各个顶点进行赋值，使用所述叶子节点的各个顶点的值给其父节点以及祖先节点对应的顶点进行赋值，以获得所有节点的各个顶点的值；

等值点寻找模块，用于根据所述叶子节点的各个顶点的值寻找出等值点；

封闭网络形成模块，用于根据所述等值点及所有节点的各个顶点的值确定连接线段，再根据所述等值点及等值点的连接线段形成封闭网格，以实现外壳生成。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (6)

1.一种自适应可视外壳生成方法，其特征在于，所述方法包括以下步骤：

S1：获取N幅待重建的二值图像及标定参数，将所述二值图像转换为积分图，并根据所述二值图像及标定参数建立三维空间包围盒，所述二值图像区分前景部分和背景部分；

S2：将所述三维空间包围盒作为根节点，根据所述积分图进行M次的八叉树空间细分，所述M为不小于0的整数；

S3：将空间细分后得到的节点进行判断，若当前节点所包含的待重建物体体积小于阈值或所述当前节点所包含的待重建物体表面是平滑的，则不对所述当前节点进行八叉树空间细分，否则对所述当前节点进行八叉树空间细分，重复执行步骤S3，直至执行S3的次数达到T次，所述T为不小于1的整数；

S4：对步骤S3得到的叶子节点的顶点进行内外状态判断，并根据所述内外状态对所述叶子节点的各个顶点进行赋值，使用所述叶子节点的各个顶点的值给其父节点以及祖先节点对应的顶点进行赋值，根据所述叶子节点的各个顶点的值确定位于叶子节点上的所有线段，对所述叶子节点进行遍历，若当前叶子节点的某一个面上具有线段存在、邻居节点在该面上没有线段存在，并且该邻居节点的细分层数小于当前叶子节点，则以该邻居节点为根节点进行八叉树空间细分，直至该邻居节点与所述当前叶子节点的细分层数相同，再对所述邻居节点细分获得的叶子节点的内外状态进行判断，并根据所述内外状态对所述叶子节点的各个顶点进行赋值，使用所述叶子节点的各个顶点的值给其父节点以及祖先节点对应的顶点进行赋值，以获得所有节点的各个顶点的值；

S5：根据所述叶子节点的各个顶点的值寻找出等值点；

S6：根据所述等值点及所有节点的各个顶点的值确定连接线段，再根据所述等值点及等值点的连接线段形成封闭网格，以实现外壳生成；

步骤S5包括：

S501：若所述当前叶子节点具有的12条边中任何一条边的两个顶点的取值不同，则认为该边上具有等值点；

S502：将判断为具有等值点的边在所述当前叶子节点的活动链表中的二值图像进行投影，以形成投影线段，寻找所述投影线段与所述二值图像的前景部分边界的交点，并记录所述投影线段处于所述二值图像的背景部分的长度与投影线段的比例；

S503：根据所述比例最大的二值图像所对应的交点计算所述等值点的坐标。

2.如权利要求1所述的方法，其特征在于，步骤S1中，建立所述三维空间包围盒包括：

S101：根据所述待重建的二值图像提取前景部分的矩形包围盒，第i幅二值图像对应的矩形包围盒的x方向的最小值和最大值分别为ri_xmin和ri_xmax，所述第i幅二值图像对应的矩形包围盒的y方向的最小值和最大值分别为ri_ymin和ri_ymax，i＝1,…,N；

S102：对所有二值图像对应的不等式组联立求解，以获得所述待重建物体在三维空间X,Y,Z三个方向的最大值和最小值；

S103：根据所述X,Y,Z三个方向的最大值和最小值建立所述三维空间包围盒；

其中，所述不等式组包括以下四个公式：

(p₀₀-p₂₀*ri_xmin)*X+(p₀₁-p₂₁*ri_xmin)*Y+(p₀₂-p₂₁*ri_xmin)*Z≥p₂₃*ri_xmin-p₀₃

(p₁₀-p₂₀*ri_ymin)*X+(p₁₁-p₂₁*ri_ymin)*Y+(p₁₂-p₂₁*ri_ymin)*z≥p₂₃*ri_ymin-p₁₃

(p₀₀-p₂₀*ri_xmax)*X+(p₀₁-p₂₁*ri_xmax)*Y+(p₀₂-p₂₁*ri_xmax)*Z≤p₂₃*ri_xmax-p₀₃

(p₁₀-p₂₀*ri_ymax)*X+(p₁₁-p₂₁*ri_ymax)*Y+(p₁₂-p₂₁*ri_ymax)*Z≤p₂₃*ri_ymax-p₁₃

其中，为相机投影矩阵，其由获取的标定参数决定；(x_i，y_i)为空间点在第i幅二值图像中的投影点的坐标；(X，Y，Z)为待重建物体在三维空间中的坐标，λ＝p₂₀*X+p₂₁*Y+p₂₂*Z+p₂₃。

3.如权利要求1所述的方法，其特征在于，所述根节点具有一个活动链表，所述活动链表中包括所述积分图的图像标号，所述二值图像中背景部分设为0，前景部分设为1；

步骤S2包括：

S201：将所述三维空间包围盒作为根节点，并将根节点作为父节点；

S202：判断所述M是否为0，若否，则将所述父节点等分成八个长方体包围盒，每个长方体包围盒均代表一个子节点，每个子节点继承所述父节点的活动链表，若是直接执行步骤S3；

S203：遍历步骤S202获得的子节点，将当前子节点的八个顶点投影至所述当前子节点的活动链表中对应的积分图中，求取所述当前子节点在各积分图内的投影矩形包围盒的面积和投影矩形包围盒的局部积分图值，若满足下面两种情况，则直接处理下一子节点，第一种情况：各积分图的投影矩形包围盒的局部积分值至少一个为0；第二种情况：各积分图的投影矩形包围盒的面积与局部积分值与投影矩形包围盒的局部积分图值均相等；

若不满足上面两种情况，则将所述当前子节点标记为灰色节点，若所述当前子节点在某积分图的投影矩形包围盒的面积和投影矩形包围盒的局部积分图值相等，则将该积分图的图像标号从所述当前子节点的活动链表中移除；

S204：将标记为灰色节点的子节点作为新的父节点，将所述M减1，并返回步骤S202。

4.如权利要求3所述的方法，其特征在于，步骤S3包括：

S301：在每个父节点中均匀采样X个三维点，判断每个父节点所采样出的三维点是否位于所述待重建物体表面，所述X为不小于8的整数；

S302：遍历步骤S301中的每个父节点，将当前父节点位于所述待重建物体表面的三维点进行主成分分析，以获得位于新三维坐标系中的三个特征值，所述三个特征值为位于所述待重建物体表面的三维点在新三维坐标系中三个轴上的投影长度，将其分别记为Axis₁,Axis₂,Axis₃，且Axis₁≥Axis₂≥Axis₃；

若Axis₁<δ₁，则认为所述当前父节点所包含的待重建物体体积小于阈值，则直接处理下一父节点；

若且Axis₃≤δ₃，则认为所述当前父节点所包含的待重建物体表面是平滑的，则直接处理下一父节点；

若为其他情况，则将所述当前父节点标记为待细分的父节点，并直接处理下一父节点；

S303：判断所述T是否为0，若否，将所述待细分的父节点等分成八个长方体包围盒，每个长方体包围盒均代表一个子节点，每个子节点继承所述父节点的活动链表，若是直接执行步骤S4；

S304：遍历步骤S303获得的子节点，将当前子节点的八个顶点投影至所述当前子节点的活动链表中对应的积分图中，求取所述当前子节点在各积分图内的投影矩形包围盒的面积和投影矩形包围盒的局部积分图值，若满足下面两种情况，则直接处理下一子节点，第一种情况：各积分图的投影矩形包围盒的局部积分值至少一个为0；第二种情况：各积分图的投影矩形包围盒的面积与局部积分值与投影矩形包围盒的局部积分图值均相等；

若不满足上面两种情况，则执行将所述当前子节点标记为灰色节点，若所述当前子节点在某积分图的投影矩形包围盒的面积和投影矩形包围盒的局部积分图值相等，则将该积分图从所述当前子节点的活动链表中移除；

S305：将标记为灰色节点的子节点作为新的父节点，将所述T减1，并返回步骤S301。

5.如权利要求4所述的方法，其特征在于，步骤S4包括：

S401：对步骤S3得到的叶子节点的顶点进行内外状态判断，并若某个顶点的投影点在一幅二值图像中处于背景部分，则将该顶点赋值为0，若某个顶点的所有投影点均处于前景部分，则将该顶点赋值为1，使用所述叶子节点的各个顶点的值给其父节点以及祖先节点对应的顶点进行赋值；

S402：根据所述叶子节点的各个顶点的值确定位于叶子节点上的所有线段，对所述叶子节点进行遍历，若当前叶子节点的某一个面上具有线段存在、邻居节点在该面上没有线段存在，并且该邻居节点的细分层数小于当前叶子节点，则以该邻居节点为根节点进行八叉树空间细分，直至该邻居节点与所述当前叶子节点的细分层数相同；

S403：对所述邻居节点细分获得的叶子节点的内外状态进行判断，若某个顶点的投影点在一幅二值图像中处于背景部分，则将该顶点赋值为0，若某个顶点的所有投影点均处于前景部分，则将该顶点赋值为1，使用所述邻居节点细分获得的叶子节点的各个顶点的值给其父节点以及祖先节点对应的顶点进行赋值，以获得所有节点的各个顶点的值。

6.一种自适应可视外壳生成装置，其特征在于，所述装置包括：

获取建立模块，用于获取N幅待重建的二值图像及标定参数，将所述二值图像转换为积分图，并根据所述二值图像及标定参数建立三维空间包围盒，所述二值图像区分前景部分和背景部分；

规则细分模块，用于将所述三维空间包围盒作为根节点，根据所述积分图进行M次的八叉树空间细分，所述M为不小于0的整数；

自适应细分模块，用于将空间细分后得到的节点进行判断，若当前节点所包含的待重建物体体积小于阈值或所述当前节点所包含的待重建物体表面是平滑的，则不对所述当前节点进行八叉树空间细分，否则对所述当前节点进行八叉树空间细分，重复执行步骤S3，直至执行S3的次数达到T次，所述T为不小于1的整数；

赋值细分模块，用于对所述自适应细分模块得到的叶子节点的顶点进行内外状态判断，并根据所述内外状态对所述叶子节点的各个顶点进行赋值，使用所述叶子节点的各个顶点的值给其父节点以及祖先节点对应的顶点进行赋值，根据所述叶子节点的各个顶点的值确定位于叶子节点上的所有线段，对所述叶子节点进行遍历，若当前叶子节点的某一个面上具有线段存在、邻居节点在该面上没有线段存在，并且该邻居节点的细分层数小于当前叶子节点，则以该邻居节点为根节点进行八叉树空间细分，直至该邻居节点与所述当前叶子节点的细分层数相同，再对所述邻居节点细分获得的叶子节点的内外状态进行判断，并根据所述内外状态对所述叶子节点的各个顶点进行赋值，使用所述叶子节点的各个顶点的值给其父节点以及祖先节点对应的顶点进行赋值，以获得所有节点的各个顶点的值；

等值点寻找模块，用于根据所述叶子节点的各个顶点的值寻找出等值点；

封闭网络形成模块，用于根据所述等值点及所有节点的各个顶点的值确定连接线段，再根据所述等值点及等值点的连接线段形成封闭网格，以实现外壳生成。