CN103297798A - 双目立体视觉系统中场景点的三维重建方法 - Google Patents

Abstract

一种双目立体视觉系统中场景点的三维重建方法，包括由两个摄像机形成的双目摄像机，其先对双目摄像机进行标定，计算出双目摄像机的光心O_A和O_B；再将场景点与摄像机成像平面中得到的图像点进行匹配，在成像平面上得到对应点的坐标P_A，P_B；根据双目摄像机的光心和对应的图像点形成的两条射线相交于一点P，该点即为图像点的原像点，以双目摄像机的光心和图像点的原像点作为控制顶点，生成2次Bézier曲线；将2次Bézier曲线进行升阶处理得到3次Bézier曲线，该3次Bézier曲线以双目摄像机的光心点和双目摄像机的成像平面中的图像点为控制顶点。由于2次Bézier曲线和升阶后的3次Bézier曲线表示空间中的同一条曲线，联列方程组，求得空间中的原像点坐标P。本发明可以直接、简单、准确的确定两幅图像点的三维坐标原像。

Description

双目立体视觉系统中场景点的三维重建方法

技术领域

本发明涉及立体视觉系统中场景点的深度测量及三维重建方法，适用于计算机视觉和摄影测量中双目立体视觉系统中场景点的三维重建方法。

背景技术

双目立体视觉系统主要是先对两个摄像机进行标定，得到摄像机的内、外参数；再通过一个场景点在两个摄像机中的对应图像点坐标，并通过融合两个摄像机观察到的场景点，求出该场景点在空间的三维坐标，对这些场景点进行重建得到三维原像。

进行三维重建时，两幅图像上对应点的原像在理论上出现在经过相机成像点和相应光心的射线的交点处。然而由于图像特征点的匹配误差和图像噪声的影响，经过光心和相应图像坐标点的射线永远也不会真正相交。在这种情况下，就需要提出合理的重建方法来确定空间中的三维坐标点。常用的方法是建立一条同时垂直两条射线并与两条射线相交的线段，采用这条线段上的中点的坐标作为相应两幅图像的像点的原像。这种方法在寻找线段跟射线相交并且垂直的过程比较复杂，往往得不到最优解。

发明内容

本发明的目的在于提出一种双目立体视觉系统中的场景点的三维重建方法，通过该方法可以直接、简单、准确的确定两幅图像点的三维坐标原像。为解决上述技术问题，本发明所采用的第一种技术方案为：一种双目立体视觉系统中场景点的三维重建方法，包括由两个摄像机(A、B)形成的双目摄像机，该方法包括如下步骤：

1)对双目摄像机中的摄像机(A、B)分别进行标定，得到摄像机(A、B)的内、外参数，并分别计算摄像机(A、B)的光心坐标O_A，O_B；

2)对摄像机(A、B)分别摄取的同一场景的两幅图像(π_A，π_B)，进行对应点匹配，求出两幅图像中的对应点坐标P_A，P_B；

3)用上述得到的摄像机(A、B)的光心坐标O_A，O_B和场景点在空间中的原像点坐标P作为控制顶点，生成一条2次Bézier曲线，其表达式如下所示：其中，u∈(0，1)；C²(u)＝(1-u)²O_A+2u(1-u)P+u²O_B

4)将上一步生成的2次Bézier曲线进行升阶处理得到3次Bézier曲线，该3次Bézier曲线以摄像机(A、B)的光心坐标O_A，O_B和上述两幅图像中的对应点坐标P_A，P_B作为控制顶点，该3次Bézier曲线的表达式如下所示：

C³(u)＝(1-u)³O_A+3u(1-u)²P_A+3u²(1-u)P_B+u³O_B

其中，u∈(0，1)；

5)计算场景点在空间中的原像点坐标P：由于上述生成的2次Bézier曲线C²(u)和3次Bézier曲线C³(u)表示空间中的同一条曲线，所以C²(u)＝C³(u)，即：

(1-u)²O_A+2u(1-u)P+u²O_B＝（1-u)³O_A+3u(1-u)²P_A+3u²(1-u)P_B+u³O_B

其中，u∈(0，1)，即得原像点坐标

该原像点坐标P即为场景点的三维坐标，如此完成场景点的三维重建。

为解决上述技术问题，本发明还提供了一种多目立体视觉系统中场景点的三维重建方法，其包括多个摄像机，其选取其中任意两个摄像机构成双目立体视觉系统，再采用上述双目立体视觉系统中场景点的三维重建方法进行场景点的三维重建，然后将所有双目立体视觉系统所得到的场景点的原像点进行融合，得出最终三维重建结果。

与现有的三维重建方法相比，本发明直接计算场景点在空间中原像点的理论值，排除了图像匹配误差和图像噪声等引起的计算误差，而且计算量小，场景点的空间点的原像只与摄像机的光心和成像平面上的对应点相关。因此，采用本发明方法进行三维重建的精度高于采用未经行优化过程的图像校正方法所得的结果。

附图说明

图1为本发明的双目摄像机立体视觉重建系统及场景点在图像平面的投影示意图。

具体实施方式

图1所示是一个双目摄像机立体视觉重建系统，其包括A、B摄像机，图中O_A和O_B分别是A、B摄像机的光心；π_A，π_B分别是A摄像机和B摄像机的成像平面；P_A，P_B是一个场景点分别投影到π_A，π_B上形成的图像点，即称为该场景点于成像平面π_A，π_B形成的对应点；在理想情况下，通过双目摄像机光心O_A、O_B与一场景点于成像平面π_A，π_B分别形成的图像点P_A，P_B的射线O_AP_A和O_BP_B应相交于一点P，该点P即为场景点在空间中的原像点。本发明构造一种三维重建P的坐标的直接方法，包括以下步骤：

1、对双目摄像机，即A、B摄像机进行标定和光心坐标计算：采用立体视觉领域的传统标定方法对双目摄像机进行标定，计算摄像机的内、外参数。假设标定后得到双目摄像机内参数矩阵分别为：

$A=\left[\begin{array}{ccc}{\mathrm{\α}}_A& 0& u_A\\ 0& {\mathrm{\β}}_A& v_A\\ 0& 0& 1\end{array}\right]$ $B=\left[\begin{array}{ccc}{\mathrm{\α}}_B& 0& u_B\\ 0& {\mathrm{\β}}_B& v_B\\ 0& 0& 1\end{array}\right]$

其中α_A，β_A和α_B，β_B分别为A、B摄像机的主距，而(u_A，v_A)和(u_B，v_B)分别是A、B摄像机的主点坐标，即可得到A、B摄像机的光心O_A，O_B。

2、场景点的对应点匹配：采用立体视觉领域中的传统匹配方法，将场景点与成像平面π_A，π_B中的图像点进行匹配，如图1所示，P_A，P_B是一对匹配的对应点，它们的图像坐标点在π_A，π_B平面中为已知。

3、用从摄像机标定得到的摄像机光心O_A，O_B和场景点在空间中的原像点P作为控制顶点，生成一条2次Bézier曲线，其表达式如下所示：

C²(u)＝(1-u)²O_A+2u(1-u)P+u²O_B

其中，u∈(0，1)。

4、以双目摄像机的光心O_A，O_B和一场景点于成像平面π_A，π_B分别形成的图像点P_A，P_B共四个已知点作为控制顶点将上述得到的2次Bézier曲线升阶为2次Bézier曲线。由于空间的2次Bézier曲线可以表示成3次Bézier曲线，而不改变曲线的形状和几何性质，因此将2次Bézier曲线进行升阶处理。其表达式如下所示：

C³(u)＝(1-u)³O_A+3u(1-u)²P_A+3u²(1-u)P_B+u³O_B

其中，u∈(0，1)。

5、计算空间坐标点P：由于2次Bézier曲线C²(u)和3次Bézier曲线C³(u)表示空间中的同一条曲线，所以C²(u)＝C³(u)，即：

(1-u)²O_A+2u(1-u)P+u²O_B＝(1-u)³O_A+3u(1-u)²P_A+3u²(1-u)P_B+u³O_B

其中，u∈(0，1)。由于O_A，O_B，P_A，P_B已知，根据Bézier曲线的性质和u的选取，可以得到待求点P点即为场景点的三维坐标，如此即可完成场景点的三维重建。

如上所述的是由两个摄像机构成的双目立体视觉系统，对于由三个或者多个摄像机构成的多摄像机立体系统，可以由其中任意两个摄像机构成双目立体视觉系统，按上述1至5的步骤进行场景点的三维重建，然后根据重建的结果进行融合，可以得出更为精确的三维重建结果。

Claims (2)

1.一种双目立体视觉系统中场景点的三维重建方法，包括由两个摄像机(A、B)形成的双目摄像机，其特征在于包括如下步骤：

1)对双目摄像机中的摄像机(A、B)分别进行标定，得到摄像机(A、B)的内、外参数，并分别计算摄像机(A、B)的光心坐标O_A，O_B；

2)对摄像机(A、B)分别摄取的同一场景的两幅图像(π_A，π_B)，进行对应点匹配，求出两幅图像中的对应点坐标P_A，P_B；

3)用上述得到的摄像机(A、B)的光心坐标O_A，O_B和场景点在空间中的原像点坐标P作为控制顶点，生成一条2次Bézier曲线，其表达式如下所示：

C²(u)＝(1-u)²O_A+2u(1-u)P+u²O_B

其中，u∈(0，1)；

4)将上一步生成的2次Bézier曲线进行升阶处理得到3次Bézier曲线，该3次Bézier曲线以摄像机(A、B)的光心坐标O_A，O_B和上述两幅图像中的对应点坐标P_A，P_B作为控制顶点，该3次Bézier曲线的表达式如下所示：

C³(u)＝(1-u)³O_A+3u(1-u)²P_A+3u²(1-u)P_B+u³O_B

其中，u∈(0，1)；

5)计算场景点在空间中的原像点坐标P：由于上述生成的2次Bézier曲线C²(u)和3次Bézier曲线C³(u)表示空间中的同一条曲线，所以C²(u)＝C³(u)，即：

(1-u)²O_A+2u(1-u)P+u²O_B＝(1-u)³O_A+3u(1-u)²P_A+3u²(1-u)P_B+u³O_B

其中，u∈(0，1)，即得原像点坐标

该原像点坐标P即为场景点的三维坐标，如此完成场景点的三维重建。

2.一种多目立体视觉系统中场景点的三维重建方法，其包括多个摄像机，其特征在于，选取其中任意两个摄像机构成双目立体视觉系统，再采用上述双目立体视觉系统中场景点的三维重建方法进行场景点的三维重建，然后将所有双目立体视觉系统所得到的场景点的原像点进行融合，得出最终三维重建结果。

Images