CN106355646A - 应用于图像处理的表面细化方法、装置以及系统 - Google Patents

Abstract

本发明公开了一种应用于图像处理的表面细化方法、装置以及系统，其中，所述方法包括：根据表面分析策略将表面上的网格分为具有细化意义的第一类网格和不具有细化意义的第二类网格；针对所述第一类网格进行细化处理。采用本发明，通过分类并仅针对具有细化意义的第一类网格进行细化处理，在保证细化质量的同时，能够降低需要进行优化的表面面积从而降低计算量，具有高效性和鲁棒性，具有高效性和鲁棒性。

Description

应用于图像处理的表面细化方法、装置以及系统

技术领域

本发明涉及图像处理领域，更为具体而言，涉及一种应用于图像处理的表面细化方法、装置以及系统。

背景技术

现有的立体细化方法使用多视点光一致性泛函数(multi-view photo-consistency functional)优化表面呈现。这种优化是迭代的，需要遍及表面区域的梯度的重复计算，这是对细化的计算效率造成不利影响的瓶颈。具体而言，从图像恢复真实的3D模型是多视点立体(multi-view stereo，MVS)方法的根本目标。得益于公开的MVS基准(例如，参照参考文献16：Strecha,C.,von Hansen,W.,Gool,L.V.,Fua,P.,Thoennessen,U.:Onbench-marking camera calibration and multi-view stereo for high resolutionimagery.In:Computer Vision and Pattern Recognition,2008.CVPR 2008.IEEEConference on.pp.1-8.IEEE(2008)；参考文献15：Seitz,S.M.,Curless,B.,Diebel,J.,Scharstein,D.,zeliski,R.:A comparison and evaluation of multi-view stereoreconstruction algorithms.In:Computer vision and pattern recognition,2006IEEEComputer Society Conference on.vol.1,pp.519-528.IEEE(2006)；参考文献7：Fabri,A.,Pion,S.:Cgal:The computational geometry algorithms library.In:Proceedingsof the 17th ACM SIGSPATIAL international conference on advances in geographicinformation systems.pp.538-539.ACM(2009))，在过去十年，立体视觉的精度已经显著提升。人们相信高精度的关键要素是最终的表面细化步骤。以三角形网格呈现表面，细化是通过优化多视点光一致性来反复(或迭代)调整顶点(vertex)位置的过程。

但是，这种反复细化的运算量很大。主要原因是在所有可见表面区域上的细化梯度(refinement gradient)的重复计算。另一原因是在细化中使用的网格细分(meshsubdivision)会显著的增加需要优化的顶点的数量(#vertices)。较高密度的网格顶点还导致较慢的与网格相关的操作，例如，网格平滑(mesh smoothing)、可见性测试(visibility testing)。

发明内容

为了解决现有的图像处理技术所存在的缺陷，本发明实施方式提供一种应用于图像处理的表面细化方法、装置以及系统，能够减少表面细化的计算量，具有高效性和鲁棒性。

一方面，本发明实施方式提供了一种应用于图像处理的表面细化方法，包括：

根据表面分析策略将表面上的网格分为具有细化意义的第一类网格和不具有细化意义的第二类网格；

针对所述第一类网格进行细化处理。

或者，进一步包括：剔除所述第二类网格和/或将所述第二类网格整体简化为比所述第二类网格数量更少的网格。

相应地，本发明实施方式还提供了一种应用于图像处理的表面细化装置包括：

分类模块，用于根据表面分析策略将表面上的网格分为具有细化意义的第一类网格和不具有细化意义的第二类网格；

细化模块，用于针对所述第一类网格进行细化处理。

或者，进一步地，还包括简化模块，用于剔除所述第二类网格和/或将所述第二类网格整体简化为比所述第二类网格数量更少的网格。

此外，本发明实施方式还提供了一种应用于图像处理系统，其采用本发明实施方式提供的表面细化装置进行表面细化处理。

采用本发明的各种实施方式具有以下有益效果：

通过分类并仅针对具有细化意义的第一类网格进行细化处理，在保证细化质量的同时，能够降低需要进行优化的表面面积从而降低计算量，具有高效性和鲁棒性。

附图说明

图1是根据本发明实施例的一种应用于图像处理的表面细化方法的流程示意图；

图2是根据本发明实施例的根据本发明实施例的另一种应用于图像处理的表面细化方法的流程示意图；

图3是根据本发明实施例的一种应用于图像处理的表面细化装置的框图；

图4是图3所示装置的分离模块的框图的一例；

图5是图3所示装置的分离模块的框图的另一例；

图6示出了根据本发明实施例的一种表面细化处理过程的图例示意；

图7示出了根据本发明实施例的一种双视点再投影场景及顶点梯度处理示意图；

图8示出了根据本发明实施例的一种错误重投影及其影响的示意图；

图9示出了在不同数据集中的不同区域的梯度分布示意图；

图10示出了根据本发明实施例的一种最优平衡决策的示意图；

图11示出了完全细化与根据本发明实施例的ARC细化之间的演进比较示意图；

图12示出了完全细化与根据本发明实施例的ARC细化之间基于四种数据集的性能比较示意图；

图13示出了本发明实施例与现有技术基于不同数据集的比较以及本发明实施例的效果图。

具体实施方式

以下结合附图和具体实施方式对本发明的各个方面进行详细阐述。其中，众所周知的模块、单元及其相互之间的连接、链接、通信或操作没有示出或未作详细说明。并且，所描述的特征、架构或功能可在一个或一个以上实施方式中以任何方式组合。本领域技术人员应当理解，下述的各种实施方式只用于举例说明，而非用于限制本发明的保护范围。也可以容易理解，本文所述和附图所示的各实施方式中的模块或单元或步骤可以按各种不同配置进行组合和设计。还可以容易理解，虽然可能仅在部分实施例中对特定名称、术语、范围等进行解释，但该解释同样适用于其它实施例，除非特别说明。

此外，本发明中引用的参考文献的相关内容并入本文以作为本发明的一部分。

图1是根据本发明实施例的一种应用于图像处理的表面细化方法的流程示意图，参照图1，所述方法包括：

100：根据表面分析策略进行网格分类。具体而言，根据表面分析策略将表面上的网格分为具有细化意义的第一类网格和不具有细化意义的第二类网格。

在本发明中，网格是否具有细化意义可以根据网格的成本效益判断，所述成本效益由用于量化网格(三角形网格)的几何改善和运行时间成本确定。或者，可以进一步综合成本效益以及预设的几何改善和运行时间成本的权重确定。

可选地，在本实施例的一种实现方式中，关于处理100的详细说明请参照下文关于“自适应分辨率控制”的详细说明。

102：针对目标网格进行细化处理。具体而言，针对所述第一类网格进行细化处理。换言之，本发明只针对具有细化意义的网格进行细化。

采用本发明实施例提供的表面细化方法，通过分类并仅针对具有细化意义的第一类网格进行细化处理，在保证细化质量的同时，降低计算量，具有高效性和鲁棒性。

示例性地，本发明实施例提供的方法可以应用于3D重建中。例如，在多视点立体技术中，可以采用本发明实施例提供的方法对3D重建获得的表面(例如，噪声表面)或经过预处理(例如，平滑处理)的表面进行表面细化处理。

可选地，在本实施例的一种实现方式中，处理100可以通过以下方式实现：计算表面上各顶点的gi值以及各网格的tc值，其中，gi表示几何改善，tc表示运行时间成本；将gi/tc的值满足预设条件的网格标记为所述第一类网格。其中，所述几何改善表示顶点和单环相邻面之间的平方距离的最大值；所述运行时间成本表示为可见图像对的数量乘以三角形的面积，所述预设条件可以是预设的阈值、数量或范围。

可选地，在本实施例的一种实现方式中，处理100可以通过以下方式实现：计算表面上各顶点的gi值以及各网格的tc值，其中，gi表示几何改善，tc表示运行时间成本；根据各网格的gi/tc的值将所有网格升序排列；按照所述升序排列顺序，通过在x轴上的tc的递增总和以及在y轴上的gi获得累积曲线；将所述累积曲线上不高于指定点的点所对应的网格标记为所述第二类网格；将所述累积曲线上高于所述指定点的点所对应的网格标记为所述第一类网格。

其中，示例性地，所述指定点可以通过以下方式确定：将所述累计曲线的x轴和y轴归一化得到归一化曲线；从归一化曲线上选取斜率为w_l/w_r的点作为所述指定点；其中，w_l表示l的权重，w_r表示r的权重，r对应于归一化曲线的x轴，l对应于归一化曲线的y轴。

图2是根据本发明实施例的根据本发明实施例的另一种应用于图像处理的表面细化方法的流程示意图，参照图2，所述方法包括：

100：根据表面分析策略进行网格分类。具体而言，根据表面分析策略将表面上的网格分为具有细化意义的第一类网格和不具有细化意义的第二类网格。

102：针对目标网格进行细化处理。

104：针对非目标网格进行剔除和/或简化处理。具体而言，剔除所述第二类网格和/或将所述第二类网格整体简化为比所述第二类网格数量更少的网格。

采用本发明实施例，同样能够达到图1所示实施例的有益效果。

可选地，在图1或图2所示实施例的一种实现方式中，所述方法还包括：采用图割优化产生分段的平滑标记。示例性地，对此的详细说明，请参照下文关于“图形优化”的详细说明。

可选地，在图1或图2所示实施例的一种实现方式中，所述方法还包括：在再投影的绘制中，检测并剔除问题轮廓。示例性地，对此的详细说明，请参照下文关于“轮廓选择”的详细说明。

图3是根据本发明实施例的一种应用于图像处理的表面细化装置的框图。参照图3，所述装置包括分类模块30和细化模块32。其中，分类模块30，用于根据表面分析策略将表面上的网格分为具有细化意义的第一类网格和不具有细化意义的第二类网格。细化模块，用于针对所述第一类网格进行细化处理。

可选地，在本实施例的一种实现方式中，如图3中虚线框所示，表面细化装置还包括简化模块34，用于剔除所述第二类网格和/或将所述第二类网格整体简化为比所述第二类网格数量更少的网格。

可选地，在本实施例的一种实现方式中，如图4所示，分类模块30包括：第一计算子模块302，用于计算表面上各顶点的gi值以及各网格的tc值，其中，gi表示几何改善，tc表示运行时间成本；第一标记子模块304，用于将gi/tc的值满足预设条件的网格标记为所述第一类网格。其中，几何改善表示顶点和单环相邻面之间的平方距离的最大值；运行时间成本表示为可见图像对的数量乘以三角形的面积。

可选地，在本实施例的一种实现方式中，如图5所示，分类模块30包括：第二计算子模块306，用于计算表面上各顶点的gi值以及各网格的tc值，其中，gi表示几何改善，tc表示运行时间成本；排序子模块308，用于根据各网格的gi/tc的值将所有网格升序排列；曲线子模块310，用于按照所述升序排列顺序，通过在x轴上的tc的递增总和以及在y轴上的gi获得累积曲线；第二标记子模块312，用于将所述累积曲线上不高于指定点的点所对应的网格标记为所述第二类网格，将所述累积曲线上高于所述指定点的点所对应的网格标记为所述第一类网格。

进一步可选地，如图5中虚线框所示，分类模块30还可以包括指定点子模块314，用于将所述累计曲线的x轴和y轴归一化得到归一化曲线，以及从归一化曲线上选取斜率为w_l/w_r的点作为所述指定点；其中，w_l表示l的权重，w_r表示r的权重，r对应于归一化曲线的x轴，l对应于归一化曲线的y轴。

可选地，在图4或图5所示实施例中，分类模块30还可以包括图割优化子模块，用于采用图割优化产生分段的平滑标记。

可选地，在本实施例的一种实现方式中，表面细化装置还以包括剔除模块，用于在再投影的绘制中检测并剔除问题轮廓。

本领域技术人员应当理解，本发明提供的方法实施例可以理解为装置实施例的处理逻辑，而本发明的装置实施例可以用于实施本发明的方法实施例，因此，在装置实施例中，关于各个模块、子模块所执行处理和可执行处理的详细说明，关于相关名词、术语、范围等的解释，以及关于相关特征及优点的详细描述，请参照方法实施例以及下文的具体描述中的详细说明。

图6是根据本发明实施例的一种表面细化处理过程的图例示意。参照图6，该过程包括：(a)表示以初始噪声网格作为输入；(b)表示采用本发明的表面细化将网格标记为两种区域；(c)表示自适应网格密度，具体而言，仅对有意义的区域(橘色所示区域)采用细化，而剔除和简化其它不具有意义的区域(紫色所示区域)；(d)表示最终细化后的网格。采用本发明实施例能够大大降低待优化的表面面积，同时保持有价值的细节。

本发明在保护前述表面处理方法和表面处理装置的同时，还保护一种图像处理系统，该系统具有本发明提供的表面处理装置。

下面结合附图，从本发明的发明人对于表面细化的理解、研究、探索及实验等角度，对本发明的一种具体实现进行更详细的说明。本领域技术人员应当理解，下文所详细描述的内容，可以用于解释本发明的相关特征，或者作为前置处理或后置处理对本发明的方法进行补充，同时也可以作为对现有技术的改进。

根据发明人的观察，并不是所有区域的细化均为几何改善贡献相同的力量。例如，多数平面或低纹理(low-textured)区域几乎不具有有价值的细化梯度，可能是由于这些区域早期收敛或缺少梯度。细化几乎(或实质上)不对他们产生几何改善。而且，在这些区域上的网格细分创建了过密(over-dense)的三角形，带来额外的计算和存储负担。事实上，这些区域有时候占据网格表面(参考图9)中相当大的比例。放弃对他们的细化能够带来相当好的性能加速。

与以前仅以优化光一致性为目标的方法不同，本发明还考虑了将运行时间性能作为目标。更具体而言，本发明量化性能和精度，并探索在实现最大化的性能加速和最小化的精度损失之间的最佳(或理想)平衡。下面，本发明证明本发明工作的双重贡献。

首先，本发明提出了网格表面细化框架，具有对基本方法(参照参考文献19：Vu,H.H.,Labatut,P.,Pons,J.P.,Keriven,R.:High accuracy and visibility-consistentdense multiview stereo.IEEE Transactions on Pattern Analysis and MachineIntelligence 34(5),889-901(2012))的改善。本发明的细化算法分为图像配准(Imageregistration)问题和梯度聚类(gradient aggregation)问题。本发明采用更加有效和直接的方法来解决图像相似性的梯度，其给出了细化的最陡取向。而且，本发明确定了轮廓问题并通过明确地剔除有问题的区域来处理轮廓问题。本发明的细化框架是确保高精度重建的根本。

其次，本发明提出新颖的自适应分辨率控制(Adaptive Resolution Control，ARC)。ARC将网格标记为两个区域(参照图10b)，其中，作用区域对几何改善具有最多贡献，而非作用区域则是不重要的区域(通常为平面或无纹理non-textured区域)。为了保持标记分段平滑，可采用图割优化(graph cut optimization)。本发明仅会细化和细分所述作用区域，而所述非作用区域则会被丢弃以及简化为较少的三角形。这导致自适应分辨率的网格：所述作用区域具有密集的三角形而所述非作用区域则是稀少的(图6c)。由于细化面积和网格#顶点的显著减少，本发明的方法实现了几倍的加速。并且，如图6d所示，本发明的方法还能够保留精美的细节。

【相关工作】

MVS以已知的相机参数开始，旨在重建目标对象的密集呈现。在MVS中已经进行了大量的工作。这里，本发明只探索与表面细化相关的工作。

表面细化是MVS中的最后步骤，并且是最终精度的关键因素。给出粗糙的初始表面，其目的是通过优化光一致性(通常最小化再投影错误)来细化细节。

Pons et al.:(参照参考文献14：Pons,J.P.,Keriven,R.,Faugeras,O.:Multi-view stereo reconstruction and scene flow estimation with a global image-based matching score.International Journal of Computer Vision 72(2),179-193(2007))提出了一种表面细化的变分法(variational method)(参照参考文献8：Faugeras,O.,Keriven,R.:Variational Principles,Surface Evolution,PDE's,Level SetMethods and the Stereo Problem.Tech.Rep.RR-3021,INRIA(Oct 1996))和用于水平集(level set)框架的场景流(scene flow)估计。他们的公式将总体图像再投影错误泛函数最小化。Vu et al.(参照参考文献19)进一步将他们的工作延伸至在离散的三角形网格上使用。他们的方法反复地将输入的三角形网格细化和细分，产生非常细节的结果。Delaunoyet al.(参照参考文献5：Delaunoy,A.,Prados,E.,Piracés,P.G.I.,Pons,J.P.,Sturm,P.:Minimizing the multi-view stereo reprojection error for triangular surfacemeshes.In:BMVC 2008-British Machine Vision Conference.pp.1-10.BMVA(2008)；参考文献4：Delaunoy,A.,Prados,E.:Gradient flows for optimizing triangular mesh-based surfaces:Applications to 3d reconstruction problems dealing withvisibility.International journal of computer vision 95(2),100-123(2011))严格地模拟了考虑到可见性变化的网格细化问题。他们的公式被进一步延伸为束调整(bundleadjustment)问题(参照参考文献3：Delaunoy,A.,Pollefeys,M.:Photometric bundleadjustment for dense multi-view 3d modeling.In:Computer Vision and PatternRecognition(CVPR),2014IEEE Conference on.pp.1486-1493.IEEE(2014))。除了表面，基于块(patch-based)的方法为块的呈现(即，正常和深度)施加细化(参照参考文献10：Furukawa,Y.,Ponce,J.:Accurate,dense,and robust multiview stereopsis.IEEETransactions on Pattern Analysis and Machine Intelligence 32(8),1362-1376(2010)；参考文献12：Heise,P.,Jensen,B.,Klose,S.,Knoll,A.:Variational patchmatchmultiview reconstruction and refinement.In:Proceedings of the IEEEInternational Conference on Computer Vision.pp.882-890(2015))。一些较早的方法使用对象轮廓信息估算细化梯度(参照参考文献9：Furukawa,Y.,Ponce,J.:Carved visualhulls for image-based modeling.In:Computer Vision-ECCV 2006,pp.564-577.Springer(2006)；参考文献6：Esteban,C.H.,Schmitt,F.:Silhouette and stereofusion for 3d object modeling.Computer Vision and Image Understanding96(3),367-392(2004)和参考文献18：Tylecek,R.,Sara,R.:Refinement of surface mesh foraccurate multi-view reconstruction.The International Journal of VirtualReality 9(1),45-54(2010))，但是这些方法被限于有条件的场景中。

多数细化方法采用迭代方式以优化表面形状。本发明的细化框架与Vu的方法(参考文献19)最接近，可以将Vu的方法看作本发明方法的基准。在本文的后续部分，首先陈述改善的表面细化框架，然后提出新颖的ARC，并引出密集的实验以支持所提出的方法的有效性。

【网格表面细化】

在先的用于三角形网格的细化方法产生令人印象深刻的结果(参照参考文献19和参考文献3)。本发明的方法坚持这条主要规则，但是，本发明将其视为两种子问题(图像配准和梯度聚类)的结合。本发明还提出快速光一致性(NCC)梯度计算和轮廓选择作为对在先方法的改善。

(公式)

指示一对图像I_i,I_j和表面S。如参考文献14所描述的，将他们的再投影错误最小化的标准化公式表示为：

其中，是图像j通过表面S在视图i中的再投影，是图像相似性测量结果。E_i，j(S)积分图像对i和j的通常可见区域上的错误。然后，总结所有图像对的错误E(S)＝∑_{i， j}E_i，j(S)被最小化。假设相机参数正确并且对象是朗伯的(lambertian)，I_i和之间的不同是由于不精确的表面S。这里，本发明将最小化分成两个子问题。

图像配准。原公式(1)测量I_i和之间的光一致性。相反地，本发明将测量空间转换至x_j坐标，即，测量和I_j。这种特别的选择使得两个子问题通过代理(proxy)x_j被重组。为了取图像相似性的最大值，本发明求至其第一个参数x_j的偏导数：

2D梯度场可被看作将配准至I_j的光流(optical-flow)。本发明会在2.2部分示出其快速计算。

梯度聚类(gradient aggregation)。参照图7，其中，(a)表示将双视点细化问题构造为图像配准问题和梯度聚类问题，(b)表示通过以正则化执行的逐点梯度的最小二乘解决离散顶点梯度。下面进行详细说明。

本发明考虑了双视图情景(图7a)，表面点P具有两个投影坐标x_i＝∏_i(p)，x_i＝Π_i(p)。图像再投影根据表面S变形而变形。因为是优化的梯度，本发明解决了导致期望的的表面梯度G_S。为了关联他们，本发明用表面变化δS的导数代替公式(2)：

请注意，在第二行，第一项被预先计算。第二项是投影矩阵Π_j的雅可比行列式(Jacobian)。假设表面移动是沿着表面的正常方向(参考文献14)，第三项能转换为其中，N是P的法线(normal)，d_i是加入的从相机中心(camera center)i至P的向量。然后，表面点P的梯度是：

$G_S\left(p\right)=\[G_{I_i^{S,j}}\left(x_j\right)\·J_j\·\frac{d_i}{N^T{d}_i}\]N---\left(3\right)$

正则化的离散化(regularized discretization)。这里，采用优化然后离散化的策略。表面被表示为三角网格M＝{v₀,v₁,...v_n}，并且，顶点细化梯度被表示为G_M。任意的表面点P能够被写作封闭三角形顶点的质心(barycentric)坐标p＝∑_kφ_kv_k，其中，∑_kφ_|k＝1。这种关系还适用于他们的梯度G_S(p)＝Σ_kφ_kG_M(v_k)。为了解决G_M，本发明将其公式化为线性最小二乘(linear least square)问题A_[m*n]G_M＝G_S。其中，矩阵A填满相应的质心权重m＝#表面点(#surface point)，n＝#顶点(m>>n)。如图6b所示，逐点梯度G_S(p)对噪音敏感。但是，最小二乘离散梯度G_M(v)更加正则化。

为数据项采用另外的正则化：顶点的梯度被期望与其邻域(neighborhood)平滑：所有顶点的这种关系可以被写作βB_[n*n]G_M＝0：其中，β是调整平滑度的权重。累计矩阵A和βB形成大量稀疏矩阵，并且能通过双共扼梯度法(bi-conjugate gradient method)解决G_M。在每一次迭代中，G_M被用于网格：M_i+1＝M_i+∈G_M。

请注意，在先前的方法中(例如，参考文献19)，顶点梯度是遍及该顶点的来自所有对的单环三角形的总和。尽管符合其公式，但当表面可见性不平衡时，梯度幅值会有偏差。例如，被更多图像对查看(view)的区域具有较大的幅度。本发明的基于最小二乘的离散化能阻止可见性偏移问题。

由粗到精(coarse-to-fine)。为了缓解局部最优的问题，本发明采用了由粗到精的策略。预先建立多个规模的网格。输入网格首先被平滑和简化为一定水平，接下来，在迭代中从低分辨率图像逐步到高分辨率图像进行细化。在任何图像对中，如果三角形投影区域覆盖多于9像素，则将该三角形细分。可根据网格的边缘长度全局调整步长(step size)∈。

(快速NCC梯度)

图像相似性梯度本质上驱动着表面细化。其也是整个算法的最大的性能瓶颈。此处，本发明提供一种在NCC相似性测量方面的快速梯度计算。

在参考文献5中，相似性度量标准是简单的像素强度的方差||I_i-I_j||₂，其难以应对不一致的明亮度(illumination)。在参考文献19和14中，采用ZNCC作为相似性度量标准，但是，利用链式法则，梯度被分为其中，是简单的图像梯度。本发明认为，由于两个原因其减缓了收敛：1)由于是标量，其隐式地将细化梯度约束在图像梯度取向但是实际上，其可能不是最陡(steepest)的取向；2)单像素强度I(x)被用于关联链式法则，但是，ZNCC的实际运算是在x的邻域上。

为了进行改善，本发明采取更加有效和直接的方式解决具体地，本发明使用归一化互相关(Normalized Cross Correlation，NCC)代替零均值版本(zero-mean version)，这降低了零分母的几率。将方程式2认为是对将动态图像I_d照准到静态图像I_s的梯度的计算。本发明指示数积然后通过求动态图像I_d的坐标的倒数计算梯度:

$G_I\left(x\right)=\frac{{\∂}_{1}NCC(I_d,I_s)\left(x\right)}{\∂x}=\frac{\∂}{\∂x}\left(\frac{A}{B}\right)=\frac{B\frac{\∂A}{\∂x}-A\frac{\∂B}{\∂x}}{B^2}$

其中，

$\frac{\∂A}{\∂x}=\frac{\∂s(d,s,x)}{\∂x}=\underset{N}{\Σ}\left(D_d\right(x\left)I_s\right(x\left)\right)=S(d^{\′},s,x),$

$\frac{\∂B}{\∂x}=\frac{\∂{\[S(d,d,x)S(s,s,x)\]}^{1/2}}{\∂x}={\[\frac{S(s,s,x)}{S(d,d,x)}\]}^{\frac{1}{2}}S(d^{\′},d,x)$

D表示图像梯度。最终的方程式简化为：

$G_I\left(x\right)=\frac{S(d^{\′},s,x)-S(d^{\′},d,x)\frac{S(d,s,x)}{S(d,d,x)}}{\sqrt{S(d,d,x)S(s,s,x)}}$

G_I(x)的计算是独立于各像素x，使其完美地适应于GPU并行性。

(轮廓选择)

由于不准确的初始网格，图像i可能再投影至错误的深度层。这经常沿着对象的轮廓发生，如图8a所示。而该问题在先前的方法中没有被解决，本发明在再投影的绘制中通过明确地检测轮廓并剔除有问题的轮廓区域来处理它。当且仅当两个入射三角(incidenttriangles)t_0/1是正面和背面时，网格边缘E是关于视图i的轮廓边沿，即，轮廓边缘(silhouette edge)t₀，t₁∈N(E)}。在细化时SE上的像素被放弃。其中，Nview表示视线的角度。N_t0、N_t1表示三角形t0、t1的法向量。斜体N代表邻域。

更具体而言，参照图8中的(a)和(b)，其中，(a)表示不精确的表面引起在错误层上的再投影，并导致错误的细化梯度(如(b)左侧所示)。(b)右侧图则示出了通过轮廓剔除避免上述问题的效果。

【自适应分辨率控制】

通过仔细观察诸如图9之类的图片，本发明的发明人产生采用ARC将原来的完全细化放宽为在所选择区域上的部分细化的突发动机。其中，图9示出了在早期迭代中，4种EPFL数据集的细化梯度。大多数区域例如平壁或地面具有非常小的梯度值(如蓝色所示)，在细化之前和细化之后，他们具有很少的集合改变。

本发明的ARC将表面分为两个区域：作用(active)区域和非作用(Inactive)区域。作用区域呈现会被施加细化的有显著意义的部分。非作用区域表示将从细化中放弃以换取性能提升的不具有显著意义的部分。

以f表示为各个表面区域R分配标签的函数f(R)∈{active，Inactive}。平衡可以被公式化为效用最大化(utility maximization)：

u(f)＝u_accuracy(f)+u_{time_reduction}(f) (4)

(三角形网格的量化)

在关于网格的内容中，三角形是表面区域的最小单元。本发明为三角形定义两种度量以具体地表示关于网格的平衡问题。下面的描述会结合图10，其中，图10中的(a)表示顶点的几何改善是从v到平面(v')的最大平方距离；(b)表示在时间减少和精度损失之间的平衡曲线；(c)表示通过最优平衡决策f^optimality进行标记，其中，橘色对应作用区域，紫色对应非作用区域；(d)表示通过图割优化的最终标记。下面进行具体说明。

几何改善。如前所述，对各顶点的细化对几何改善具有不同贡献。为了量化这种改善，本发明借用在网格简化中使用的二次误差度量(quadric error metric)(参照参考文献11：Garland,M.,Heckbert,P.S.:Surface simpli_cation using quadric errormetrics.In:Proceedings of the 24th annual conference on Computer graphics andinteractive techniques.pp.209-216.ACM Press/Addison-Wesley Publishing Co.(1997))，来获得顶点位移(displacement)所能带来的几何区别的量。这是比顶点梯度幅值更好的选择，因为细化具有与简化相反的目标(简化将几何变化最小化而细化将其最大化)并且因此应该使用相同的度量设置。以v和v'表示在细化迭代之前和之后的相同顶点。如图10a所示，本发明将顶点v的几何改善(gi)定义为在v和单环(one-ring)相邻面v'(称作planes(v'))之间的平方距离的最大值，定义三角形的gi为其三个顶点的平均：

gi_v＝max_{p∈planes(v′)}{p^tv)²}

${\mathrm{gi}}_t=\frac{1}{3}\underset{i}{\overset{3}{\Σ}}{\mathrm{gi}}_{v_i},$

其中，V＝[v_x v_y v_z 1]^t，p＝[a b c d]^t以标准形式表示平面。

运行时间成本。主要的运算花费在细化梯度方面。在三角形上花费的成本是可见图像对(visible image pair)的数量乘以三角形的面积的因素。那么，三角形t的时间成本(tc)表示为：

${\mathrm{tc}}_t=\frac{1}{2}|(v_2-v_0)\×(v_1-v_0)|\·(\#visibleimagepair(t\left)\right)$

其中，v₀，v₁，v₂是t的三个顶点。

(最优平衡决策)

基于上述介绍的度量，本发明定义三角形t的成本效益(ce_t)为其几何改善在其时间成本上的比率，即，ce_t＝gi_t/tc_t。较高的ce意味着通过将其标记为active能在相同单位的时间成本上实现更高精度。因此，本发明应该总是将较低ce的三角形标记为inactive。

为了更好地举例说明该标记规则的效果，本发明计算所有三角形的ce_t并按照升序将他们排序。然后通过在x轴上的tc_t的递增总和以及以上述排序顺序的在y轴上的gi_t获得累积曲线(accumulation curve)。在该曲线上的每一个点表示基于所述原则的标记配置，这会将所有在特定点之下和之上的三角形为inactive和active。然后，本发明将两个轴归一化为[0，1]，x轴、y轴可以被解释为时间减少和精度损失 (如图10b所示)。其中，表示所有三角形的tc_t的总和，表示所有三角形的gi_t的总和。

该曲线给本发明提供了控制平衡的量的灵活性。本发明能根据应用需求在时间减少或精度损失方面设置阈值或范围。更重要地，本发明能将问题空间(problem space)从标记分配函数f转换至2d空间(r，l)∈curve(curve，曲线)。可以将方程式4重写为：

u(r，l)＝u_accuracy(l)+u_{time_reduction}(r)

＝w_l·(1-l)+w_r·r

其中，w_l和w_r是精度(accuracy)损失和时间减少(time_reduction)的权重。最优平衡决策点(r₀，l₀)在曲线上使得：

u(r_o，l_o)＝max_{(r，l)∈curue}u(r，l)

其可以通过对u(r，l)求导来求解。可以推理得到，曲线上的最优点(r₀，l₀)具有的斜率等于该点表示最优标记，即，fo^ptimality，并且其是唯一的，因为曲线的斜率从其排序之后就是严格增加的。请注意，完全优化可以被看作由曲线上的点(0，0)表示的特殊情况。权重比率是默认的并且在下文的实验中，本发明使用的权重比率为1，这意味着为精度损失和时间减少设置相同的权重。

(图形优化)

仅通过优化平衡决策标记网格最大化了本发明的效用函数，但是，同样使得标记分散为许多小区域。如图10c所示的示例。当在网格上被分片平滑时，期望的标记应当与数据项标记一致。因此，采用图割优化(参照参考文献1：Boykov,Y.,Veksler,O.,Zabih,R.:Fast approximate energy minimization via graph cuts.IEEE Transactions onPattern Analysis and Machine Intelligence23(11),1222-1239(2001))以应对这个问题。

以f表示标记配置(labeling configuration)，所述标记配置为各个三角形t分配标签f_t∈{active，inactive}。f的能量函数表示为三个项的和：

E(f)＝E_optimality(f)+E_smoothness(f)+E_prior(f)

最优性(optimality)。期望最终的标记保持对通过最优平衡决策、f^optimality提供的数据项标签的尽可能多的保真度。所以，E_optimality(f)累积所有违反最优性标签(标记)的三角形标签的惩罚(penalty)，即，

平滑(smoothness)。作为一种特征，标记应当是分段平滑。更重要地，平滑标记使得有效的简化被施加至较大块的网格。本发明简单地使用Potts模型来执行(enforce)在邻近三角形t_i和t_j之间的标记平滑。通过本发明的实验，本发明省略了使用诸如边缘长度||e_i，j||之类的加权方式，因为进一步的归一化会容易地受最长边缘的影响。相反地，本发明使用统一的加权以实现与E_optimality(f)的合理平衡。

在先的纹理(textureness prior)。在图优化之前增加纹理是可选地。在2d图像中的急剧梯度变化并不总是意味着在3d场景中的真正细节(例如，平壁上的纹理图案)，但是，事实上，在多数情况下，真正的3d几何细节会在其投影的2d图像上产生急剧的坡度。本发明采用在先能量(prior energy)使纹理区域被标记为active。具体而言，遍及在具有三角形t的最大投影面积的图像的像素，计算平均图像梯度幅值(归一化为[0,1])，即:

$E_{prior}\left(f\right)={\mathrm{\Σ}}_t\left|\right|\▿I\left(t\right)|{|}_2\·\[f_t=inactive\].$

上述图割优化产生分段的平滑标记(如图10d所示)。值得一提的是，所述标记自然的适应场景。例如，模型具有越多的非纹理区域，则越高的比例会被标记为inactive，因此得到更高的性能增益。

(与细化结合)

前述细化采用由粗到精的策略，默认使用3种水平和20次细化迭代的图像金字塔。一旦图像水平改变，ARC标记重新计算，所以在整个细化中ARC仅执行3次，这是微不足道的成本。active三角形承受细化算法并且如果需要会被细分。inactive三角形则经受具有一定简化率(simplifying ratio)的QEM(参考文献11)简化。在本发明的实验中，所述简化率被设为0.2。#三角形(#triangle)的显著下降有效的加快了绘制以及网格处理。然后，这些三角形在随后的迭代中被固定。除了可见性测试之外，与他们相关的所有计算被剔除。

图11示出了在基本的完全细化(full refinement)和本发明的ARC细化之间的演进比较。具体而言，如左侧图所示，在细化之前，噪声网格被平滑。如右侧图所示，完全细化产生相当密集的网格，而ARC写话产生自适应分辨率的网格：有价值的(例如，边缘)区域具有比不重要的区域(例如，平面)更密集的三角形，但是最终的质量与完全细化的质量非常近似。整体地，所述完全细化产生更密集的网格，而ARC方法则以自适应分辨率产生非常紧凑(compact)的网格。两种网格表面最终的质量非常接近，并且视觉上几乎难以区分。

【实验】

本发明所提供的方法在具有8核Inter I7-4770k和32g内存的机器上实现和评价。图像再投影和细化梯度使用具有NVIDIA GTX980显卡的OpenGL计算。

在下面的实验中，本发明方法的两种配置被比较。完全细化指的是最高精度细化。ARC细化是使用默认参数的在第3部分描述的ARC。

(评量基准(benchmarking))

DTU基准(参照参考文献13：Jensen,R.,Dahl,A.,Vogiatzis,G.,Tola,E.,Aan_s,H.:Large scale multi-view stereopsis evaluation.In:Computer Vision andPattern Recognition(CVPR),2014IEEE Conference on.pp.406-413.IEEE(2014))包括大范围的对象并且各个对象由49或64个不同视图组成，每个视图是1600×1200像素的图像。高精度相机校准和数据集(dataset)一同被提供。为了测试本发明的细化算法，本发明借用了通过方法tola(参照参考文献17：Tola,E.,Lepetit,V.,Fua,P.:Daisy:An efficientdense descriptor applied to wide-baseline stereo.IEEE Transactions on PatternAnalysis and Machine Intelligence 32(5),815-830(2010))产生的初始表面，并通过遵循作者的指导方针评价了本发明的最终被细化的网格的精度(accuracy)和完备性(completeness)。请注意，精度被定义为从产生的表面到地面实况(ground truth)的距离，完备性则正好相反。

本发明已经测试了完全细化和ARC细化与基本细化方法Vu(参考文献19)和在基准中提供的三种参考方法(名称为tola(参考文献17)，furu(参考文献10)，camp(参考文献2：Campbell,N.,Vogiatzis,G.,Hern_andez,C.,Cipolla,R.:Using multiple hypothesesto improve depth-maps for multi-view stereo.Computer Vision-ECCV 2008pp.766-779(2008))的比较。表1示出了所选的来自基准中的不同分类的三种数据集(scan 36，63，106)的统计。

表1：基于选择的DTU基准(参考文献13)的数据集的定量对比

与初始网格(参考文献17)相比，所有三种细化算法一致地改善了精度和完备性，并且，在所有三种数据集中，本发明的完全细化的精度最具有竞争力。值得一提的是，本发明的ARC细化能够通过仅细化部分区域实现与完全细化十分接近的精度和完备性。

(性能增益(performance gain))

本发明在公共EPFL(参考文献16)和本发明的私人数据集进行试验并量化ARC细化的实际精度损失和性能增益。

为了量化精度损失，本发明采用豪斯多夫(Hausdorff)距离来测量两网格之间的差别。实际损失其中，M_full是完全细化的网格，M_ARC是通过ARC细化的网格，M_initial是平滑的初始网格，d_H(M_A，M_B)表示从M_A至M_B的距离。所测得的处理时间排除不相干的公共操作，例如，I/O(输入/输出)。性能增益简单地表示为处理时间比率。

如表2所示，在所有的8个数据集中ARC实现了3-6倍的性能增益。实际的性能增益随各个独立的数据集而变化。例如，“castle-P30”实现了最高的性能增益和第二低的精度损失，因为在数据集中的大面积的平面壁和地面。但是，“campus”数据集具有最高的精度损失和最差的性能增益。本发明认为这是由于在该数据集中的大面积植被，其是可变形的因此不适合细化。在这种区域处的顶点通常具有大而错误的梯度。毕竟，精度损失对于所有数据集均少于10％，这在很多应用中是可以接受的。

本发明还为4种EPEL数据集记录了每次细化迭代的顶点的数目，如图12所示。#vertex的增大是由于网格的细分。ARC细化的#vertex保持在大约完全细化的#vertex的三分之一。#vertex的大幅下降同样降低了峰值内存占用。

(定性评价)

图13示出了本发明实施例与现有技术基于不同数据集的比较以及本发明实施例的效果图。其中，图13中的(a)表示在完全细化和ARC细化之间的顶点密度比较；在图13中的(b)表示大型数据集的定性结果，其中，与Swanstone数据集相关的图片的左侧表示初始平滑网格，右侧表示细化后的网格。

在图13a中，本发明示出了使用EPFL数据集(参考文献16)的定性比较。本发明的ARC细化在三角形网格上产生自适应的顶点密度，并且总地来讲，相比于完全细化具有非常少量的顶点和三角形。

本发明所提供的方法能够通过采用分而治之(divide and conquer)的策略处理大型项目。大网格会被分为数块，以便每个具有可见图像的单独的块能适应于存储。如图13b所示，4种私人数据集均通过UAV获得。Swanstone数据集组成217副4k分辨率的图像。以粗糙网格表面作为输入，ARC细化能够恢复城堡的精细细节，例如窗口或者塔的清晰结构。

【总结】

本发明提出用于多视点立体中的网格表面细化的灵活和有效的框架。新提出的自适应分辨率控制(ARC)通过曲线分析评估在几何精度和性能之间的最佳平衡。然后，使用图割优化将所述区域分类为有意义的区域和无意义的区域。之后，在后续细化过程中，各区域被相应地细分和简化，以自适应分辨率产生三角形网格。因此，ARC通过剔除大多数无意义区域几倍地加快立体细化，同时保持与最先进的方法所能达到水平相似的的几何细节。本发明已经实现了ARC并基于公共基准和私人数据集进行了证明，这都证实了ARC的高效性和鲁棒性。

更具体而言，本发明提出的ARC估计最重要的部分以细化并丢弃其它不重要的部分以换来性能增益。控制精度和性能之间的平衡的权重比率被公开并且可调整，这为应用需求提供了更多的灵活性。本发明的实验证明，与作为基准的完全细化相比，具有默认设置的ARC能达到3到6倍的显著加速以及少于10％的精度损失。这证明了本发明的ARC设计的有效性和鲁棒性。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件结合硬件平台的方式来实现。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，智能手机或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本发明说明书中使用的术语和措辞仅仅为了举例说明，并不意味构成限定。本领域技术人员应当理解，在不脱离所公开的实施方式的基本原理的前提下，对上述实施方式中的各细节可进行各种变化。因此，本发明的范围只由权利要求确定，在权利要求中，除非另有说明，所有的术语应按最宽泛合理的意思进行理解。

Claims (17)

1.一种应用于图像处理的表面细化方法，其特征在于，所述方法包括：

根据表面分析策略将表面上的网格分为具有细化意义的第一类网格和不具有细化意义的第二类网格；

针对所述第一类网格进行细化处理。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

剔除所述第二类网格和/或将所述第二类网格整体简化为比所述第二类网格数量更少的网格。

3.如权利要求1所述的方法，其特征在于，所述根据表面分析策略将表面上的网格分为具有细化意义的第一类网格和不具有细化意义的第二类网格，包括：

计算表面上各顶点的gi值以及各网格的tc值，其中，gi表示几何改善，tc表示运行时间成本；

将gi/tc的值满足预设条件的网格标记为所述第一类网格。

4.如权利要求1所述的方法，其特征在于，所述根据表面分析策略将表面上的网格分为具有细化意义的第一类网格和不具有细化意义的第二类网格，包括：

计算表面上各顶点的gi值以及各网格的tc值，其中，gi表示几何改善，tc表示运行时间成本；

根据各网格的gi/tc的值将所有网格升序排列；

按照所述升序排列顺序，通过在x轴上的tc的递增总和以及在y轴上的gi获得累积曲线；

将所述累积曲线上不高于指定点的点所对应的网格标记为所述第二类网格；

将所述累积曲线上高于所述指定点的点所对应的网格标记为所述第一类网格。

5.如权利要求4所述的方法，其特征在于，通过以下方式确定所述指定点：

将所述累计曲线的x轴和y轴归一化得到归一化曲线；

从归一化曲线上选取斜率为w_l/w_r的点作为所述指定点；

其中，w_l表示l的权重，w_r表示r的权重，r对应于归一化曲线的x轴，l对应于归一化曲线的y轴。

6.如权利要求3或4所述的方法，其特征在于，

所述几何改善表示顶点和单环相邻面之间的平方距离的最大值；

所述运行时间成本表示为可见图像对的数量乘以三角形的面积。

7.如权利要求3-5中任一项所述的方法，其特征在于，所述方法还包括：

采用图割优化产生分段的平滑标记。

8.如权利要求1所述的方法，其特征在于，所述方法还包括：

在再投影的绘制中，检测并剔除问题轮廓。

9.一种应用于图像处理的表面细化装置，其特征在于，所述装置包括：

分类模块，用于根据表面分析策略将表面上的网格分为具有细化意义的第一类网格和不具有细化意义的第二类网格；

细化模块，用于针对所述第一类网格进行细化处理。

10.如权利要求9所述的装置，其特征在于，所述装置还包括：

简化模块，用于剔除所述第二类网格和/或将所述第二类网格整体简化为比所述第二类网格数量更少的网格。

11.如权利要求9所述的装置，其特征在于，所述分类模块包括：

第一计算子模块，用于计算表面上各顶点的gi值以及各网格的tc值，其中，gi表示几何改善，tc表示运行时间成本；

第一标记子模块，用于将gi/tc的值满足预设条件的网格标记为所述第一类网格。

12.如权利要求9所述的装置，其特征在于，所述分类模块包括：

第二计算子模块，用于计算表面上各顶点的gi值以及各网格的tc值，其中，gi表示几何改善，tc表示运行时间成本；

排序子模块，用于根据各网格的gi/tc的值将所有网格升序排列；

曲线子模块，用于按照所述升序排列顺序，通过在x轴上的tc的递增总和以及在y轴上的gi获得累积曲线；

第二标记子模块，用于将所述累积曲线上不高于指定点的点所对应的网格标记为所述第二类网格，将所述累积曲线上高于所述指定点的点所对应的网格标记为所述第一类网格。

13.如权利要求12所述的装置，其特征在于，所述分类模块还包括：

指定点子模块，用于将所述累计曲线的x轴和y轴归一化得到归一化曲线，以及从归一化曲线上选取斜率为w_l/w_r的点作为所述指定点；其中，

w_l表示l的权重，w_r表示r的权重，r对应于归一化曲线的x轴，l对应于归一化曲线的y轴。

14.如权利要求11或12所述的装置，其特征在于，

所述几何改善表示顶点和单环相邻面之间的平方距离的最大值；

所述运行时间成本表示为可见图像对的数量乘以三角形的面积。

15.如权利要求11-13中任一项所述的装置，其特征在于，所述分类模块还包括：

图割优化子模块，用于采用图割优化产生分段的平滑标记。

16.如权利要求9所述的装置，其特征在于，所述装置还包括：

剔除模块，用于在再投影的绘制中检测并剔除问题轮廓。

17.一种图像处理系统，其特征在于，所述系统具有如权利要求9-16中任一项所述的表面细化装置。