CN103247045A - 一种从多视图中得到人造场景主方向及图像边缘的方法 - Google Patents

Abstract

本发明公开一种从多视图中得到人造场景主方向及图像边缘的方法，该方法从多幅人造场景图像中求取其三个相互正交的主方向并在图像中找到与之对应的边缘的，步骤为：对图像采集特征点，通过特征点进行标定和点云的重建；从领域中计算点云法向并通过投票的方式确定三个主方向；然后在图像中确定消影点；最后结合双边滤波提取边缘。本发明可以精确地恢复人造场景中常见的结构信息，并在图像中完整而准确地予以表现。

Description

一种从多视图中得到人造场景主方向及图像边缘的方法

技术领域

本发明属于计算机视觉和计算机图形学领域，具体涉及三维稠密点云重建，图像边缘提取以及大规模优化领域。

背景技术

在计算机视觉领域，三维重建长期以来都是其中的核心问题，并在近年来取得了极大的进展。三维重建作为一个综合性极强的工程问题，涉及了计算机视觉和图形学领域的各个主要研究方向，包括计算几何、特征提取、特征匹配、正则化、表面重建和纹理映射等等方面，其本身也被广泛地运用在地质地貌研究、三维地图、虚拟现实、文物保护、医学诊断、自动导航、增强现实等重要的领域。

常用的三维重建方法可以分为主动式和被动式两种。主动式的三维重建主要通过某种特性已知的方式对目标进行投影，根据接收到信息与发射出信息之间的关系来计算深度，主要包括激光扫描、激光雷达、扫描线等方法。这类方法的缺陷在于设备昂贵且受空间约束很大，准确度与其利用的介质直接相关。被动式的三维重建则是通过普通的相机在不同的位置对目标进行采样，通过得到的二维图像进行重建。这类方法的适用性很强，且成本很低。除此之外，图像本身所包含的的颜色信息对于得到三维模型后的纹理映射过程也非常重要，这可以使最终的模型拥有更好的视觉效果。而主动式的重建方法则往往需要额外地拍摄照片并与模型配准，这一过程的效率很低而且往往包含误差，导致模型失真。

可是，由于直接获得的是二维信息，被动式的多视图重建过程难以避免地会遇到很强的歧义和不确定性。为了解决这些不确定性，各种先验通过归一化或优化的方式引入三维重建当中，最常见的就是表面光滑性约束。对于人造场景而言，这种约束导致的表面往往过于复杂，而在边缘和角点处又往往过于平滑，因此需要更强的约束。Manhattan-World是在场景重建中常用的约束方式，它假定了目标由三类朝向相互正交的平面构成。大多数的建筑都符合这样的约束，而少数满足条件的平面也可以通过更细小的平面的组合来拟合，故也保证了模型的通用性。而在这一约束框架下，图像消影点的识别是最关键的一个步骤。

图像的消影点对应了三维中的一族平行线，这些平行线的投影均经过其对应的消影点。在图像中识别消影点就意味着识别了三维空间中目标的三个主方向，这样就可以将重建的复杂度降低到一维，为更进一步的重建算法提供了强有力的约束。

消影点辨识最常用的方法是Hough变换和RANSAC（随机抽样一致性算法）来进行。其中基于Hough变换的方法受离散化程度的影响较大，同时很难加上正交的约束，因为三个主方向往往是依次生成的；而基于RANSAC的方法无法从理论上保证结果的最优性，且由于包含随机过程，其结果不是确定性的。除了上述两种方法之外，穷举和EM（Expectation&Maximization）方法也被运用在消影点辨识中，但是两种方法都受初始情况的影响很大，容易陷于局部极小。

辨识了消影点后，则需要辨识与消影点相一致的直线特征，这些直线包括了三维中各平面的相交线，可以形成这些平面的边缘，为模型提供简洁而准确的描述，因此非常重要。受点云重建精度和密度的约束，在三维空间中寻找这些直线是非常困难的，因此一般还是需要在图像上求取，在寻找其间的对应关系从而反投影到三维空间中确定其确切的位置。常用的边缘提取算法（包括Hough变换）无法保证结果满足消影点的约束，因此必须在其后进行进一步的筛选和裁剪，这就会导致边缘在连续性和直线性两方面难以兼备，即当筛选较为严格时只能保留很多间断的短边缘，而当筛选较为宽松时又无法保证边缘为与消影点一致的直线。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种更加准确的从多视图中得到人造场景主方向及图像边缘的方法。

为实现上述目的，本发明采用的技术方案：本发明仅依靠多幅普通图像通过标定和重建得到三维点云，对点云进行法向量的计算，在此基础上通过投票机制和均值漂移计算三个相互正交的主方向，然后将主方向投影到图像上形成消影点，最后结合双边滤波、局部Hough变换等技术提取出与主方向平行的直线边缘。

本发明提供一种从多视图中得到人造场景主方向及图像边缘的方法，包括如下步骤：

第一步，使用相机在不同的位置、不同的角度对场景进行拍照，获得真实场景的二维图像序列；

第二步，使用SIFT算法对第一步图像进行特征提取及匹配；

第三步，通过光束平差法（Bundle Adjustment）同时进行相机定标以及匹配特征的三维重建，生成稀疏点云；

第四步，使用PMVS（基于图像块的多视图重建）算法，从稀疏点云开始，反复进行扩散和滤波。其中扩散从已确定的点开始，在其附近寻找与各图像相匹配的三维点，滤波则对扩散后的点进行检验，去除不符合可见性约束、图像一致性约束的点去除。最终的结果为较为稠密的点云；

第五步，在点云中通过对一个合适的临域大小内进行主成分分析（PCA）计算每个点的法向量；

所述第五步中，临域的大小与点云的平均密度成正比，平均密度的定义为每个点与其最近点之间的距离的平均值，将点云放入Kd树的数据结构中，对包含在每个临域中的点计算协方差矩阵后定义对应于最小特征值的特征向量为临域中心点的法向。

第六步，在空间上定义若干均匀分布的向量，以法向量投票的方式确定三个相互正交的主方向，并投影到图像中确定消影点；

所述第六步中的投票机制通过与事先定义的在单位球上均匀分布的单位向量计算点乘来进行，已知法向与单位向量的夹角小于一阈值时即计数加一；完成计数后，选取基数最大的三个正交方向为主方向，最后在三个方向上使用窗高斯核进行若干次均值漂移。

第七步，对图像进行多次双边滤波简化，然后以Canny算子提取其边缘；

所述第七步中通过若干次双边滤波，在保留图像边缘的同时使边缘两边的部分尽量平滑；随后用一般的Canny算子即完整地找出图像的边缘（连通）并予以准确的定位（单像素宽度）。

第八步，边缘点通过简化的局部Hough变换确定其是否与消影点匹配，最后连接相一致的点形成与主方向平行的线段。

所述第八步中对之前得到的每个边缘像素点，在其临域中采用Hough变换，但直线的方向仅为三个主方向投影，然后通过阈值来判断该点是否属于与某主方向平行的直线，这一步可以采用并行计算；最后将所有满足阈值要求的点分类并连成所需要的直线。

本发明的主要优点有：主方向的获取非常精确，不会陷于局部最小且满足正交性约束；图像边缘与消影点一致，且能够保证其直线特性和连通性。该发明不需要人工干预，只需要事先确定若干参数，且结果对于参数的鲁棒性很好，能在很大的范围内保证结果的稳定。

本发明为基于Manhattan-World假设的三维重建提供了准确的方向定位以及边缘信息。

与现有技术相比，本发明具有如下的有益效果：

本发明的消影点辨识利用了点云重建的特性，利用投票机制来避免局部极小，同时通过均值漂移算法自然地包含了主方向的正交性约束。而在边缘提取阶段，用双边滤波弱化了噪声对于结果的影响并增强了弱边缘，局部Hough变换和Canny算子保证了边缘为直线并与三个消影点一致。在获得图像边缘后，有很多基于边缘或图像一致性的方法可以在此基础上构造三维模型，而这些方法对于边缘的完整性和准确性都有很高的要求，本发明相对于已有方法而言，可以显著地提高这些指标。

附图说明

通过阅读参照以下附图对该算法所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为输入的普通图像集。

图2为从输入图像中得到的稠密点云示意图。

图3-图4为本发明的结果示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。本实施例中没有详细说明的部分均可以采用现有技术实现。

本实施例提供一种从多视图中得到人造场景主方向及图像边缘的方法，包括如下步骤：

第一步，使用相机在不同的位置、不同的角度对场景进行拍照，获得真实场景的二维图像序列；本实施例中得到的如图1所示的普通图像集；

根据计算几何的理论，需要在不同的角度和不同的位置进行拍摄以获取目标对象的图像序列；此外需要保证每个关键点（边缘点、角点等）至少出现在三个或以上的视图中。

第二步，使用SIFT算法对图像进行特征提取及匹配；

第三步，通过光束平差法（Bundle Adjustment）同时进行相机定标以及匹配特征的三维重建，生成稀疏点云；

第四步，使用PMVS算法，从稀疏点云开始，反复进行扩散和滤波。其中扩散从已确定的点开始，在其附近寻找与各图像相匹配的三维点，滤波则对扩散后的点进行检验，去除不符合可见性约束、图像一致性约束的点去除。最终的结果为较为稠密的点云；如图2所示；

由于图像一致性的约束，确定性较好的表面（纹理明显、光照一致）会产生较多的三维点，反之则较少，对于平整的表面，每个三维点与其临域内的点是近似共面的。

第五步，在点云中通过对一个合适的临域大小内进行主成分分析（PCA）计算每个点的法向量；

临域的大小与点云的平均密度成正比，平均密度的定义为每个点与其最近点之间距离的平均值，为了加速计算，将点云放入Kd树的数据结构中方便查找最近邻；对包含在每个临域中的点计算协方差矩阵后定义对应于最小特征值的特征向量为临域中心点的法向。

第六步，在空间上定义若干均匀分布的向量，以法向量投票的方式确定三个相互正交的主方向，并投影到图像中确定消影点；

投票机制通过与事先定义的在单位球上均匀分布的单位向量计算点乘来进行，已知法向与单位向量的夹角小于一阈值时即计数加一；完成计数后，选取基数最大的三个正交方向为主方向。最后在三个方向上使用窗高斯核进行若干次均值漂移使结果更加准确。

为了使结果满足正交性的约束，先选择三个正交而与当前主方向最接近的方向为初值，选择球壳坐标下与其接近的法向计算均值作为旋转向量进行均值漂移以更新初值，当迭代稳定后，三个方向作为最终的主方向。

第七步，对图像进行多次双边滤波简化，然后以Canny算子提取其边缘；

对图像进行双边滤波后，图像的边缘将得以保留，而其他的孤立噪点会得到抑制。多次的双边滤波迭代会使边缘两边的部分变得非常平滑。在此基础上的Canny算子可以将弱边界的阈值降低以得到更多的边缘而不会受到灰度均匀变化或噪声的影响。

第八步，边缘点通过简化的局部Hough变换确定其是否与消影点匹配，最后连接相一致的点形成与主方向平行的线段。

对第七步中得到的每个边缘像素点，在其临域中运用Hough变换（注意只对边缘点进行计数），但直线的方向仅为三个主方向投影，然后通过阈值来判断该点是否属于与某主方向平行的直线。如果有较大部分的边缘点与该点所形成的向量指向某个消影点，则认为该点位于与消影点一致的直线上，这一步可以采用并行计算。最后将所有满足阈值要求的点分类并连成直线即可，一般情况下，对边缘点判断后聚类得到的结果已经基本满足了连通性的要求，因此连线的过程只需要弥补较小的间断，以防止错误的连接。

如图3和图4所示，本方法成功地检测出了图像中与主方向一致的直线边缘，即使是一些梯度信息非常弱的边缘也可以成功地发现。这些边缘信息结合点云对于三维建模提供了充足的约束，因而有着极其重要的意义。

本发明可以精确地恢复人造场景中常见的结构信息，并在图像中完整而准确地予以表现。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (6)

1.一种从多视图中得到人造场景主方向及图像边缘的方法，其特征在于，包括如下步骤：

第一步，使用相机在不同的位置、不同的角度对场景进行拍照，获得真实场景的二维图像序列；

第二步，使用SIFT算法对图像进行特征提取及匹配；

第三步，通过光束平差法同时进行相机定标以及匹配特征的三维重建，生成稀疏点云；

第四步，使用PMVS算法，从稀疏点云开始，反复进行扩散和滤波，其中扩散从已确定的点开始，在其附近寻找与各图像相匹配的三维点，滤波则对扩散后的点进行检验，去除不符合可见性约束、图像一致性约束的点去除，最终的结果为较为稠密的点云；

第五步，在点云中通过对一个临域内进行主成分分析计算每个点的法向量；

第六步，在空间上定义若干均匀分布的向量，以法向量投票的方式确定三个相互正交的主方向，并投影到图像中确定消影点；

第七步，对图像进行多次双边滤波简化，然后以Canny算子提取其边缘；

第八步，边缘点通过简化的局部Hough变换确定其是否与消影点匹配，最后连接相一致的点形成与主方向平行的线段。

2.根据权利要求1所述的从多视图中得到人造场景主方向及图像边缘的方法，其特征在于：第一步中，需在不同的角度和不同的位置进行拍摄以获取目标对象的图像序列，保证每个关键点至少出现在三个或以上的视图中，所述关键点包括边缘点、角点。

3.根据权利要求1所述的从多视图中得到人造场景主方向及图像边缘的方法，其特征在于：所述第五步中，临域的大小与点云的平均密度成正比，平均密度的定义为每个点与其最近点之间的距离的平均值，将点云放入Kd树的数据结构中，对包含在每个临域中的点计算协方差矩阵后定义对应于最小特征值的特征向量为临域中心点的法向。

4.根据权利要求1所述的从多视图中得到人造场景主方向及图像边缘的方法，其特征在于：所述第六步中的投票机制通过与事先定义的在单位球上均匀分布的单位向量计算点乘来进行，已知法向与单位向量的夹角小于一阈值时即计数加一；完成计数后，选取基数最大的三个正交方向为主方向，最后在三个方向上使用窗高斯核进行若干次均值漂移。

5.根据权利要求1所述的从多视图中得到人造场景主方向及图像边缘的方法，其特征在于：所述第七步中通过若干次双边滤波，在保留图像边缘的同时使边缘两边的部分尽量平滑；随后用一般的Canny算子即完整地找出图像的边缘并予以准确的定位。

6.根据权利要求1所述的从多视图中得到人造场景主方向及图像边缘的方法，其特征在于：所述第八步中对之前得到的每个边缘像素点，在其临域中采用Hough变换，但直线的方向仅为三个主方向投影，然后通过阈值来判断该点是否属于与某主方向平行的直线，这一步采用并行计算；最后将所有满足阈值要求的点分类并连成所需要的直线。

Images