CN108805972A

CN108805972A - 一种基于地面法向和二维交线的三维重建方法

Info

Publication number: CN108805972A
Application number: CN201810319864.8A
Authority: CN
Inventors: 颜成钢; 邵碧尧; 徐枫; 施海南; 张勇东; 孙垚棋
Original assignee: Hangzhou Dianzi University
Current assignee: Hangzhou Dianzi University
Priority date: 2018-04-11
Filing date: 2018-04-11
Publication date: 2018-11-13

Abstract

本发明公开了一种基于地面法向和二维交线的三维重建方法。本发明步骤如下：步骤1：输入一张清晰具有三条相交平面交线的二维图片，并且注明该二维图片所对应地面的法向量以便确定所有平面的空间位置。步骤2：利用canny算子对输入的二维图片进行边缘检测；步骤3：获取二维图片中三条平面交线的像素坐标；步骤4：利用fmincon函数进行优化求解；步骤5：根据fmincon函数求解得到的函数最优值，最优值对应的X值为交线上点的坐标对应的z坐标值。步骤6：利用已经求得的数据坐标，使用MATLAB自带的surf函数绘制出三维平面。本发明减小三维重建对硬件设备的要求，降低硬件成本，节约用户资金。

Description

一种基于地面法向和二维交线的三维重建方法

技术领域

本发明涉及计算机视觉，尤其针对三维重建方面存在的问题，提供一种基于地面法向和二维交线的三维重建方法。

背景技术

二维图像转成三维图像已经成为越来越来人研究的目标，是三维重建领域非常重要的存在，正如三维重建技术所解释的那样：三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。想要重建三维是一项不简单的事情，而我们的专利针对的是其中一项非常普遍但仍有许多突破口的领域——二维图像转换为三维图像。

在此细分领域，已经有前人提出了许多了方法，但这些方法或多或少都有一定的缺点：(1)需要对想要建模的物体进行多个角度的拍摄，还有要保证每张影像之间有较高的重叠度；(2)计算复杂度和时间开销非常大；(3)所得到的重建图片并不能得到很好的效果。

如Song等人提出的二维图形换为三维图形的方法，获取二维图形的脚本信息，该脚本信息包括二维图形的类型和位置参数；根据二维图形的类别和位置参数构建二维图形对应的三维模型；该三维模型包括多个顶点坐标，以及标识各顶点坐标间是否位于同一平面的索引关系。将三维模型在初始化后的三维场景中进行渲染操作，以生成三维模型对应的三维图形。然而我们都知道根据二维图形的类别和位置参数构建二维图形对应的三维模型是比较复杂的事情，并且没有规律，无法适用于大规模二维转化为三维的应用。

在医学领域有Ai等人提出的基于VTK实现二维医学图像的三维可视化系统的方法，其中包括实现虚拟内窥镜技术中所涉及到的医学数据可视化理论，三维重建的面绘制技术、体绘制技术的经典方法以及在其基础之上的优化改进算法，通过使用可视化技术将大幅度提高计算机软件渲染能力，降低三维可视化医学图像处理系统对硬件平台的要求，尽可能的为系统用户节约资金，同时也能够在一定程度上降低软件自身对系统资源的消耗，提高整体运行速度。这种方法虽然能实现，但是系统仍然存在一定的问题。就提高算法的效率上讲，在图像质量与执行效率之间始终找不到一个很好的平衡点。由于三维医学图像处理技术处理的数据信息都是一些超大规模的数据，这些数据的处理对可视化的要求比较高，计算的复杂程度比较大，时间开销显著.

还有Wang等人提出的基于二维图像的三维重建技术，次方法提出了空间点重构的方案，得到了世界坐标系与像素坐标系之间的转换关系式，为摄像机标定提供了准确的数学模型。特征点的提取式三维重构的前提和基础，在摄像机标定之前，该方法采用加权平均值法对图像进行了灰度化处理，并利用Harris角点检测法和高斯滤波函数得到了图像中的角点，考虑到二维图片中的非线性畸变，从图片中选取 10角点，运用openCV中对矩阵进行处理的函数，结合VC++编程技术，采用了线性标定的方法得到摄像机的内部参数的综合矩阵---摄像机的投影矩阵

FU等人提出的基于单幅图像恢复物体三维形貌方法根据单幅图像中场景的灰度变化就可实现0<'。>180<'。>的三维形貌恢复，其核心思想就是根据单幅图像中物体留下的3D线索—阴影来恢复物体的三维形貌(Shape from shading，简称SFS)。该方法避免了对应点的匹配问题，所以操作简单，适应性广，目前己经成为国内外研究的热点。然而在国内，从单幅图像恢复物体三维形貌的研究尚没有形成完善的理论系统，也没有系统出版物对之进行介绍.

发明内容

本发明的目的是针对现有技术的不足，同时为了利用空间平面的二维交线图片还原得到相机坐标系下的三维平面，提供一种基于地面法向和二维交线的三维重建方法。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1：输入一张清晰具有三条相交平面交线的二维图片，并且注明该二维图片所对应地面的法向量以便确定所有平面的空间位置。

步骤2：利用canny算子对输入的二维图片进行边缘检测，canny 算子边缘检测步骤如下：

2-1.用高斯滤波器平滑图象，得到二维数字图像中变化最为明显的几个点；

2-2.利用2*2的数据阵列，用一阶偏导的有限差分来计算梯度的幅值和方向；

2-3.对梯度幅值进行非极大值抑制；

2-4.用双阈值算法检测和连接边缘。

以上完成了对二维图像的简单处理，去除了噪声，同时使标识出的边缘与实际图像中的实际边缘尽可能接近。

步骤3：获取二维图片中三条平面交线的像素坐标

3-1.利用霍夫变换提取平面交线

a、得到一副边缘图像；

b、针对边缘图像中的每一个边缘点，在k-b空间中，任意两个边缘点画出一条直线；

c.针对各直线的交点采取“投票”(vote)的方式进行赋值，即 n条直线相交的点的值为n；

d、遍历k-b空间，先寻找出局部最大值(极值)的点，该最大值的坐标(k，b)就是边缘图像中可能出现的直线的斜率和截距；

3-2.利用得到的直线方程求解相交像素点，并分别记为q12(1、2 平面的交线)、q13(1、3平面相交像素点)、q23(2、3平面相交像素点)。其中1平面默认为地面。

步骤4：利用fmincon函数进行优化求解

4-1.编写目标fun函数

a、像素坐标系中，交线上的任意点都同时属于相交的两个平面；例如q12(1、2平面的交线)上的点既属于平面1，也属于平面2；像素坐标和空间坐标之间存在这样一个关系，Q表示空间坐标，λ其实是空间坐标的z坐标，K为相机内参矩阵，q表示像素坐标:

Q_i＝λ_iK^-1q_i

b、空间坐标和平面的法向、距离存在如下关系:

n_p·Q_i＝λ_in_p·(K^-1q_i)＝d_p

其中，n_p表示平面的法向，d_p表示平面到相机中心的距离；

4-2、填写约束函数myfun

根据两个不同平面的法向和距离能够得到一个像素点对应到空间中的两个空间坐标，理论上两个空间坐标应该是同一个点；通过约束交线上的点，用两个平面的法向和距离得到的空间坐标的z坐标差的平方最小，此时空间坐标最接近，约束条件为：

c.法向量为单位法向量；

d.法向量两两正交如下：

n_p·Q_i＝λ_in_p·(K^-1q_i)＝d_p

4-3.根据约束条件和目标函数设置fmincon优化求解目标函数，

求最优值对应的X值。

步骤5：根据fmincon函数求解得到的函数最优值，最优值对应的X值为交线上点的坐标对应的z坐标值。

步骤6：利用已经求得的数据坐标，使用MATLAB自带的surf 函数绘制出三维平面。

本发明有益效果如下：

1.减小三维重建对硬件设备的要求，降低硬件成本，节约用户资金

2.基于RGB图像进行三维重建减少了对硬件的依赖，有利于三维重建技术的推广

3.有利于三维重建技术在增强现实和虚拟现实技术中应用

附图说明

图1是标明平面交线的二维图像；

图2是输出得到的三维平面；

图3是二维像素可视化流程的扑拓图。

具体实施方式

传统方法或多或少有一些限制，为了克服这些限制，我们开发了一种基于MATLAB的二维空间交线可视化为三维平面的新的处理办法。我们很清楚的明白，在已经得到一张三维图像的时候，我们可以通过它得到二维图像中的一个像素点，但是反过来的话，通过二维图像的某个点，我们是很难直接得到它对应的三维图像中的那个点。因为Z坐标的难以确定性，导致了此类事件的发生。而在我们需要做到的过程中，同样是解决Z坐标的问题，但我们所做的不是精确地去求出这个Z坐标的数值，因为直接求工作量很大，且不一定能到达很好的效果。但是我们可以知道的是，根据两个不同平面的法向和距离是可以得到一个像素点对应到空间中的两个空间坐标，理论上两个空间坐标应该是同一点，但在实际操作的过程中必然会出现一定的误差，因此我们要做的是将通过两个平面的法向和距离得到的空间坐标的z 坐标差的平方最小，此时空间坐标最接近。同时我们规定了各个平面的标志：地面：0，天花板：1，墙面从左到右：2,3,4,5，根据标记可以得知交线属于哪两个平面。

(1)三线变面具体过程：

如图1所示，我们首先分析原来的二维图像，得到其中的三条交线及其交点，并分析图中三条交线标志，各是哪几个平面之间的交线。我们从图中可知右线为平面1,3交线，下线为平面1,2交线，左上线为平面2,3线，同时由交线标志得到地面法向量以便确定所有平面的空间位置。

之后利用canny算子进行边缘检测：

(1)、利用高斯平滑算子对图片进行最优化平滑处理，高斯平滑算子如下：

将二维图像上代表X，Y方向的导数的指针代入上式，δ代表梯度的幅度。

通过水平和竖直微分，把二维平滑算子分解为水平和竖直两个方向的滤波器，从而提高了算子的平滑速度。

(2)计算图片的梯度传统

Canny算子采用2×2的数据阵列，邻域一阶偏导的有限差分来计算平滑后I(z，y)的梯度幅值和方向，其中水平和垂直方向的差分算子分别为：

Dx[i,j]＝(I[i,j+1]-I[i,j]+I[i+1,j+1]-[i+1,j])/2

Dy[i,j]＝(I[i,j]-I[i+1,j]+I[i,j+1]-I[i+1,j+1])/2

(3)抑制局部非最大(MNS)

数字图像中的边缘对应图像中灰度变化剧烈的部分，即梯度模值比较大的部分，因此可以把边缘检测问题转换为计算梯度模值的局部极大值的问题，即将梯度模值的局部极大值点作为边缘，这一过程就是抑制局部非最大的过程(Non-maxima Sup—pression，NMS)。通过抑制局部非最大，可以提取出图像中粗略的边缘信息。Canny算子通过对每个梯度非零的点，沿梯度方向上查找相邻像素的梯度模值，如果该点梯度模值小于任意一个相邻像素的梯度模值，将该点剔除，并将其梯度模值设为零；如果该点梯度模值大于相邻两个像素的梯度模值，则将该点保留，作为边缘像素的候选点。

(4)双门限检测与连接边缘

非极大值抑制后的图像中的边缘只是粗略的边缘，还要经过双门限检测以剔除伪边缘点。Canny算子通过设定高低两个阈值，如果边缘候选点的梯度模值小于低阈值，则判定该点是伪边缘点；如果边缘候选点的梯度模值大于高阈值，则判定该点是边缘点；如果边缘候选点的梯度模值小于高阈值而大于低阈值，那么判断此点与前面得到的边缘点是否为8连通，若是的话则将此点记为边缘点，得到的图像就是边缘图像。

接着我们分别定义三条交线上的像素点，分别记为q12，q13， q13。

根据空间坐标和平面法向，距离之间的关系得到：

n_p·Q_i＝λ_in_p·(K^-1q_i)＝d_p

像素坐标系下交线上一点既属于平面一，也属于平面二，像素坐标和空间坐标之间存在这样一个关系，Q表示空间坐标，λ其实是空间坐标的z坐标，K为相机内参矩阵，q表示像素坐标，N表示平面的法向，d表示平面到相机中心的距离。

接下来我们将fmincon函数实际应用到图1之中。我们选取图1 中的平面1,2交线上的一个像素点，记为q12，它既属于平面1，也属于平面2，此时我们根据约束条件已经得到的信息是：1、地面单位法向量；2、相机内参矩阵；3、像素点q12到平面1,2的距离。我们根据这三点可以求解得到两个不同的Z坐标，即λ。理论上只存在于一个Z点，但由于边缘检测的不确定，平面本身的误差，我们只能将这两个Z值的平方差确定到最小。此时，我们可以得到最为接近的空间坐标。

根据fmincon函数求解得到的函数最小值X即平面1，2的法向和平面1,2分别到相机的中心的距离。

最后根据空间坐标，分别将X，Y设置为(0:5:10)，将Z设置为 (0:2:10)代入matlab中的surf函数，输出图2。

至此我们完成了一副二维图像交线还原为相机坐标系下的三维图片。

(2)过程分析：

我们针对输入图片所需要的限制条件：地面交线以及各个平面标志，进行了简析处理，利用一些简单的脚本大量制作出了符合我们输入条件的二维图像。同时，我们针对各个图片的不确定性，在最大程度上寻找了各个类型的图片。并且因为本身方案的简洁性，利用 MATLAB处理图片本身所需要的时间并不多，因此我们方案在计算复杂度和时间开销的处理上无疑是成功的。

经过还原得到的相机坐标系下的三维平面，可以看到各个二维平台的具体位置，同时各个像素点的位置也比较清楚，而且图像本身质量也可以接受，所需要的其他辅助查看图片的条件也不需要。

综上所述，我们所提出的相机坐标系下的三维平面重建方法是一种简洁有效，同时计算复杂度和时间开销并不大的新方法，在利用二维图像重建三维图像以及分析三维图像中的某些重要特征时具有重要的意义。

Claims

1.一种基于地面法向和二维交线的三维重建方法，其特征在于包括如下步骤：

步骤1：输入一张清晰具有三条相交平面交线的二维图片，并且注明该二维图片所对应地面的法向量用于确定所有平面的空间位置；

步骤2：利用canny算子对输入的二维图片进行边缘检测，canny算子边缘检测步骤如下：

2-1.用高斯滤波器平滑图象，得到二维数字图像中变化最为明显的K个点；

2-3.对梯度幅值进行非极大值抑制；

2-4.用双阈值算法检测和连接边缘；

步骤3：获取二维图片中三条平面交线的像素坐标：

3-1.利用霍夫变换提取平面交线，从而得到一副边缘图像；针对边缘图像中的每一个边缘点，在k-b空间中，任意两个边缘点画出一条直线；针对画出的各直线的交点采取“投票”的方式进行赋值，即n条直线相交的点的值为n；遍历k-b空间，先寻找出局部最大值的点，该最大值的坐标(k，b)就是边缘图像中可能出现的直线的斜率和截距；

3-2.利用得到的斜率和截距求解相交像素点，并分别记为q12、q13、q23，其中q12为1、2平面的交线，q13为1、3平面相交像素点、q23为2、3平面相交像素点，其中1平面默认为地面；

步骤4：利用fmincon函数进行优化求解

4-1.编写目标函数fun

a、在像素坐标系中，交线上的任意点都同时属于相交的两个平面；像素坐标和空间坐标之间存在关系如下：

Q_i＝λ_iK^-1q_i

其中，Q表示空间坐标，λ其实是空间坐标的z坐标，K为相机内参矩阵，q表示像素坐标；

b、空间坐标和平面的法向、距离存在如下关系:

n_p.Q_i＝λ_in_p.(K^-1q_i)＝d_p

其中，n_p表示平面的法向，d_p表示平面到相机中心的距离；

4-2、填写约束函数myfun

c.法向量为单位法向量；

d.法向量两两正交如下：

n_p.Q_i＝λ_in_p.(K^-1q_i)＝d_p

4-3.根据约束条件和目标函数设置fmincon函数，优化求解目标函数；

步骤5：根据fmincon函数求解得到的函数最优值，最优值对应的X值为交线上点的坐标对应的z坐标值；

步骤6：利用已经求得的数据坐标，使用MATLAB自带的surf函数绘制出三维平面。