CN101320473A

CN101320473A - 自由多视角、实时的三维重建系统和方法

Info

Publication number: CN101320473A
Application number: CNA200810040016XA
Authority: CN
Inventors: 张之江; 崔桂涣; 董志华; 庄克成; 陶江良
Original assignee: University of Shanghai for Science and Technology
Current assignee: University of Shanghai for Science and Technology
Priority date: 2008-07-01
Filing date: 2008-07-01
Publication date: 2008-12-10
Anticipated expiration: 2028-07-01
Also published as: CN101320473B

Abstract

本发明涉及一种自由多视角、实时的三维重建系统和方法。本系统由一台CCD摄像机、一台装配有多通道图像采集卡的计算机和一块平面标定模板组成，平面标定模板中央绘有两个同心圆和八条延长线经过圆心的直线段，用于标定摄像机参数。本发明的技术方案是将重建对象固定于标定模板中央，手托模板带动重建对象在一台位置固定的摄像机的视野和景深范围内作自由旋转运动，图像采集和对象重建同步进行，因此能够及时发现采集中遗漏的视角，实时显示重建结果。本三维重建方法包括图像分割、全自动摄像机标定、对象形状的三维重建等步骤。本发明的三维重建系统基于计算机视觉技术，重建方法以从轮廓恢复形状为依据，可实现自由多视角、实时的三维重建。

Description

自由多视角、实时的三维重建系统和方法

技术领域

本发明涉及计算机视觉、计算机技术、图像处理等技术领域，特别是一种自由多视角、实时的三维重建系统和方法。

背景技术

三维重建是计算机视觉中的一个重要研究内容，目的是从二维信息中获取物体在空间中的三维特征，建立物体的三维模型。随着当今社会朝着网络化和数字化方向的发展，三维重建在电子商务、网上旅游、数字博物馆和三维游戏等领域有着广泛的应用前景。

目前，三维重建的研究方法主要分为两大类：一类是主动式方法，如激光扫描仪，它可以获得较高的重建精度，但设备价格昂贵，且需要专门的光源装置来提供物体周围的照明；另一类是被动式方法，如基于图像序列的方法，它利用场景在自然光照下的二维图像来重建景物的三维信息，这类方法不仅对设备要求低，而且操作简便，因此受到了广泛的应用。

在基于图像序列的三维重建系统中，由于在某一特定的视角下所获得的三维数据只是对应于重建对象的某一局部表面的三维信息，为了实现全周360度的物体表面重建，则必须采集重建对象的多视角图像。目前主要有两种方法，一是使用转台旋转重建对象，记录转台转过的角度，这种方法可以获得较高的重建精度，但需要高精度的旋转角控制；另一种方法是摄像机围绕重建对象以规则或自由方式采集多视角图像，该方法的硬件较为简单，但在应用上有一定的局限性，即将图像采集和对象重建分割为两个独立的步骤，因此不能及时发现采集时遗漏的对象视角，从而可能导致对象某些视角上三维信息的缺失。因此，如何利用简单的设备且在较少的操作约束下，实时显示对象的重建结果成为近年来三维重建领域的研究热点。

发明内容

本发明的目的在于提出一种可以在较低环境要求和较少操作约束下使用的三维重建方法，即一种自由多视角、实时的三维重建系统和方法。在该系统中，图像采集和对象重建同步进行，重建结果实时显示，能够及时发现采集过程中遗漏的视角，提高使用者的灵活性。

为达到上述目的，本发明的构思是：

自由多视角、实时的三维重建系统，如图1所示：由一台CCD摄像机，一台装配有多通道图像采集卡的计算机和一块平面标定模板组成，平面标定模板用于标定摄像机参数。其中，计算机通过图像采集卡与摄像机连接，计算机内设有一套三维重建程序，包括图像分割、摄像机标定和对象形状重建三个环节。本发明的系统特点是：

①对场景的照明无特殊要求，均是在自然光照下完成；

②对重建对象的运动不作严格限制，从理论上讲，对象可以作任意自由运动，但从有效性的角度考虑，希望对象在摄像机镜头视野和景深内作旋转运动；

③平面标定模板，如图2所示：中央绘有两个同心圆，八条延长线经过圆心的直线段等分同心圆，将某一对相差180度的直线段向离心方向延伸一定长度，并在其中一根延长线旁绘制一根平行短线段(标记1、标记2所指)，取线段与同心圆的16个交点作为标定特征点。

④摄像机标定程序可实现全自动、高精度的摄像机参数标定；

⑤对象形状重建程序与图像采集同时进行，实时地显示重建结果；

⑥全过程无人工干预。

本发明的自由多视角、实时三维重建方法采用上述系统实现，具有如下特点：

①利用阈值处理技术实现了对象的初始分割，进而结合对象的几何特性利用数学形态学的处理方法实现了外围场景、重建对象和模板图案三者的分离；

②将标定模板固定于对象底部，对每一帧图像进行一次标定，从而确定摄像机与对象之间的实时位置关系；

③利用从轮廓恢复形状结合体素切割法重建对象的三维信息，并以三角面片法将三维信息转换为对象的三维模型；

④加入容错设计提高程序的可靠性。

将重建对象固定在标定模板中央，通过手托模板带动重建对象在一台位置固定的摄像机视野和景深内作自由旋转运动，如图1所示。

自由多视角实时的三维重建方法，其具体工作步骤为：一台CCD摄像机和一块平面标定模板以及固定在模板中央的重建对象定位好之后，计算机启动一套三维重建程序，依次包括图像分割、摄像机标定和对象形状重建三个子程序。首先读入采集到的第一帧图像进行图像分割，得到模板掩模和对象掩模；之后为确定摄像机和对象实时的位置关系，对得到的模板掩模图像进行摄像机标定，并利用标定参数结合体素切割法重建对象的三维信息，最后以三角面片法将该视角下的三维信息转换为对象的三维模型；接着读入采集到的第二帧图像，重复对第一帧图像的操作过程，如此循环，直到获得较为精确的三维形状为止。该过程无任何人工干预，图像采集和对象重建同步进行，重建结果实时显示，且提高了使用者的灵活性。

上述的图像分割子程序具有如下步骤：

由于物体和背景的对比度比较明显，因此首先采用全局阈值处理技术实现对图像的初始分割，得到二值化的图像，然后根据对象几何特征(包括是否含有细线、是否有空洞和是否位于图像中央等)综合多种数学形态学方法(包括细化、开启、填充等)对初始分割后的图像进一步分割，从而将模板图案和重建对象从背景中分离出来，得到模板掩模和对象掩模。

上述的摄像机自动标定子程序具有如下步骤：

首先取标定模板上线段与同心圆的16个交点作为标定特征点，对读入的每一帧模板掩模图像进行特征点提取和特征点编号。其中特征点提取过程如下：分别提取圆和直线在摄像机成像面上的投影曲线的样本点，圆的投影曲线为椭圆，直线的投影仍为直线，将提取的样本点以最小二乘法拟合，从而获得两个椭圆方程和八条直线方程，再将两个椭圆方程分别和每个直线方程联立求解，则得到16个二元二次方程组，从而可求解出椭圆与直线的交点的亚像素图像坐标；之后按直线所在的角度不同对交点进行特征点编号，以此来建立已知物体的三维世界坐标和摄像机图像平面坐标的对应关系。

然后进行摄像机标定：根据求得的交点坐标，计算摄像机外部参数——旋转矩阵R和位移向量T，继而求得摄像机内部参数——焦距f和镜头畸变系数k。

上述的对象形状重建子程序具有如下步骤：

体素法要求将重建对象置于一个足够容纳它的体素块中，将块中的每一个体素往图像平面做投影成像，从而将以(x_w，y_w，z_w)为世界坐标的某个体素点按标定参数建立的成像模型转化为图像平面上一个以(X_f，Y_f)为像素坐标的投影点；再按图像分割中的方法获取当前视角下实际对象的投影，与体素投影作比较，将所有落在对象投影外部的体素切割掉，这样就完成了一个视角下的切割，如图4所示。当围绕物体选取不同的视角且视角越来越多时，物体模型就会变得越来越小，越来越接近物体的真实形状，最终得到物体的三维模型。

根据上述的发明构思，本发明采用下述技术方案：

一种自由多视角实时的三维重建系统，由一台CCD摄像机，一台装配有多通道图像采集卡的计算机和一块平面标定模板组成，平面标定模板用于标定摄像机参数。其中，计算机通过图像采集卡与摄像机连接，其特征在于：

①重建对象固定于平面标定模板中央，手动标定模板能使重建对象在一台位置固定的摄像机视野和景深范围内作自由旋转运动；

②所述的平面标定模板中央绘有两个同心圆，八条延长线经过圆心的直线段等分同心圆，将某一对相差180度的直线段向离心方向延伸一定长度，并在其中一根延长线旁绘制一根平行短线段，并标记上标记1、标记2，取线段与同心圆的16个交点作为标定特征点。

一种自由多视角、实时的三维重建方法，采用上述三维重建系统进行对象重建，其特征在于具体工作步骤为：

①采集图像，同时计算机启动一套图像分割程序，对第一帧图像进行分割，获取模板掩模图像和对象掩模图像；

②为确定摄像机和对象实时的位置关系，对由步骤①得到的模板掩模图像进行摄像机自动标定，求得摄像机内外参数；

③对象形状重建：根据从轮廓恢复形状理论，利用步骤②求得的标定参数结合体素切割法重建对象在该视角下的三维信息，最后以三角面片法将三维信息转换为三维对象模型；接着读入下一帧图像，重复步骤①、步骤②和步骤③，当采集图像的视角越来越多时，重建的结果越接近对象的真实形状，从而得到逼真的对象模型。

上述的图像分割程序具有如下步骤：

①对采集到的图像利用全局阈值处理技术实现初始分割，将重建对象和模板图案从背景中分离出来；

②结合对象的几何特征，利用数学形态学的处理方法将重建对象和模板图案分离开来，从而得到模板掩模和对象掩模。

上述的摄像机自动标定程序具有如下步骤：

①标定特征点的提取，以平面标定模板(3)上绘制的径向直线与圆的交点作为标定特征点：

a)读入图像分割后获得的模板掩模图像，

b)分别提取圆和直线在摄像机成像面上的投影曲线的样本点，圆的投影曲线为椭圆，直线的投影仍为直线，

c)分别使用椭圆方程和直线方程以最小二乘法拟合提取的样本点，联立拟合的两组方程，求解出椭圆与直线的交点的亚像素坐标；

②基于特征点所在直线的角度进行特征点编号，以此来建立已知物体的三维世界坐标和摄像机图像平面坐标的对应关系。

③摄像机参数标定计算：

a)根据求得的交点坐标，计算摄像机外部参数——旋转矩阵R和位移向量T，

b)求摄像机内部参数——焦距f和镜头畸变系数k。

上述的对象形状重建具有如下步骤：

①将重建对象置于一个足够容纳它的体素块中；

②将体素块中的每一个体素往图像平面做投影成像，即将以世界坐标为(x_w，y_w，z_w)的某个体素点按标定参数建立的成像模型转换为图像面上一个以(X_f，Y_f)为像素坐标的投影点；

③将权利要求3中获得当前视角下的对象掩模，即实际对象的投影，与体素投影作比较，将所有落在对象投影外部的体素切割掉，这样就完成了一个视角下的体素切割，最终获得物体的三维模型。

本发明与现有技术相比，具有如下显而易见的突出实质性特点和显著优点：

1.实验设备简单，只需一台摄像机和一台装有图像采集卡的计算机即可；

2.实验环境要求低，对场景的照明无特殊要求，均在自然光照下完成；

3.对重建对象的运动没有严格限制，可在摄像机视野和景深内作自由旋转运动，提高了灵活性，真正实现了自由多视角；

4.摄像机标定简便、自动化。标定模板使用的是成本低廉的平面型模板，其特征点径向分布，可在一定程度上抵消径向畸变对标定的影响，计算机内的标定程序可自动完成模板特征点的高精度提取、编号、及摄像机内外参数求解等全部计算工作，无需人工介入。

5.图像采集和对象重建同步进行，具有实时显示重建结果的特点，使用者可以及时发现遗漏的视角，并在此视角附近对对象进行再次重建。

6.全过程无人工干预。

本发明可实现自由多视角、实时的三维重建。

附图说明

图1是本发明的系统结构示意图。

图2是图1示例的平面标定模板。

图3是图1示例的考虑径向畸变的小孔透视成像模型。

图4是图1示例的在一个视角下对体素块的切割示意图。

具体实施方式

本发明的具体实施方式如下：

参见图1，本自由多视角、实时的三维重建系统，由一台CCD摄像机1，一台装配有多通道图像采集卡的计算机2和一块平面标定模板3组成，平面标定模板3用于标定摄像机参数。其中，计算机2通过图像采集卡与摄像机1连接，计算机2内设有一套三维重建程序，包括图像分割、摄像机标定和对象形状重建三个子程序。

本发明自由多视角、实时的三维重建方法是采用上述三维重建系统进行对象重建，其步骤如下：

采集图像前，将一部CCD摄像机固定于某一支架上，确保重建对象和模板的大概位置位于摄像机的视野和景深范围内。开始采集图像，并启动计算机内置的三维重建程序，对每一帧图像进行处理，分下面三个部分依次进行：

第一部分，对图像进行分割将模板图案和重建对象从背景中分离出来获得模板掩模和对象掩模。由于物体和背景的对比度比较明显，因此首先采用全局阈值处理技术实现对图像的初始分割，得到二值化的图像。之后对对象的几何特征进行归纳，如表1所示。

表1对象的几何特征

由观察表1可归纳出以下三条结论：

1)模型和外围场景的主要区别在于他们所处的位置不同；

2)模板图案由细线条组成，可由开启运算消除；

3)模型内部有空洞，可由填充运算消除。

从这三条结论出发，本发明设计了以下分割方法：

1)对原始图像的二值化图像BW进行细化，得到单像素宽度的模板图案BW_thin；

BW_thin＝morph_thin(BW)

2)再将BW_thin进行开启运算消除模板图案，得到BW_temp；

BW_temp＝BоBW_thin

3)然后选取画面中央的对象并执行填充操作，得到对象掩模ObjectMask；

ObjectMask＝imfill(object_center(BW_temp))

4)将BW_temp和BW_thin相减后取绝对值，得到模板掩模PatternMask，

PatternMask＝|BW_temp-BW_thin |

以上形态学算法的结构元素B均取为三阶单位方阵。经过上述操作后可将重建对象和模板图案从背景中分离开来，获得模板掩模和对象掩模。

第二部分，进行摄像机标定。考虑径向畸变的摄像机模型如图3所示，其中P(x_w，y_w，z_w)是P点在世界坐标系x_wy_wz_w中的坐标，P(x，y，z)是P点在摄像机坐标系xyz中的坐标，其中透镜光轴方向为z轴，有效焦距f是图像平面XOY和光学中心O的距离。(X_u，Y_u)是在理想小孔摄像机模型下P点的图像坐标，(X_d，Y_d)是由于透镜畸变引起的偏离(X_u，Y_u)的实际图像坐标，以上坐标均有量纲。摄像机标定的目的是确定摄像机的外部参数——旋转矩阵

R = [\begin{matrix} r_{1} & r_{2} & r_{3} \\ r_{4} & r_{5} & r_{6} \\ r_{7} & r_{8} & r_{9} \end{matrix}],

位移向量

T = [\begin{matrix} T_{x} \\ T_{y} \\ T_{z} \end{matrix}]

和内部参数——焦距f、镜头径向畸变系数k。自动标定程序的算法分为如下两步：

第一步首先对每一帧模板掩模图像进行特征点的提取和编号。如图2所示，本发明使用标定模板上线段与同心圆的16个交点作为标定特征点，为实现高精度的特征点提取，这里使用了特征曲线拟合的方法。分别提取圆和直线在摄像机成像面上的投影曲线的样本点，圆的投影曲线为椭圆，直线的投影仍为直线，将提取的样本点以最小二乘法拟合，从而获得两个椭圆方程和八条直线方程，再将两个椭圆方程分别和每个直线方程联立求解，则得到16个二元二次方程组，从而可求解出椭圆与直线的交点的亚像素图像坐标。其中椭圆方程和直线方程分别如式(1)(2)所示。

Ax²+Bxy+Cy²+Dx+Ey+1＝0

(1)

y＝mx+b

(2)

特征点提取为标定提供了特征点的像素坐标，又由于模板上的特征点是人为设计的，因而它们的三维坐标是事先已知的。要建立两个坐标系的关系还要解决图像点和三维点的对应问题，因此利用一种基于特征点所在直线的角度进行编号的方法进行特征点编号，以此来建立已知物体的三维世界坐标和摄像机图像平面坐标的对应关系。

第二步是摄像机内外参数的计算，如图3所示。参数计算利用前面求出的特征点坐标分两步完成。

1)利用径向共线约束分离出外部参数，解超定线性方程组，求得除T_z以外的外部参数。具体操作如下：

首先将世界坐标(x_w，y_w，z_w)转换为摄像机坐标(x，y，z)，转换关系为：

[\begin{matrix} x \\ y \\ z \end{matrix}] = R [\begin{matrix} x_{w} \\ y_{w} \\ z_{w} \end{matrix}] + T - - - (3)

式中：

R = [\begin{matrix} r_{1} & r_{2} & r_{3} \\ r_{4} & r_{5} & r_{6} \\ r_{7} & r_{8} & r_{9} \end{matrix}]

为3×3的正交变换矩阵；

T = [\begin{matrix} T_{x} \\ T_{y} \\ T_{z} \end{matrix}]

为3×1的平移矢量。

根据径向共线约束条件，存在如下关系：

\frac{X_{d}}{Y_{d}} = \frac{x}{y} = \frac{r_{1} x_{w} + r_{2} y_{w} + r_{3} z_{w} + T_{x}}{r_{4} x_{w} + r_{5} y_{w} + r_{6} z_{w} + T_{y}} - - - (4)

这里用同一个平面上的空间点来做标定，选取世界坐标系中的z_w＝0，上式两边同除以T_y并将方程表示为矩阵形式，得

[\begin{matrix} x_{w} Y_{d} & y_{w} Y_{d} & Y_{d} & - x_{w} X_{d} & - y_{w} Y_{d} \end{matrix}] [\begin{matrix} r_{1} / T_{y} \\ r_{2} / T_{y} \\ T_{x} / T_{y} \\ r_{4} / T_{y} \\ r_{5} / T_{y} \end{matrix}] = X_{d} - - - (5)

因此选取合适的五个点，使方程的系数矩阵满秩，就可以解出列矢量中的5个分重。虽然由式5可解出r₁r₂r₄r₅四个变量，但由正交性可求出R的其它5个变量。因此由式5可唯一地确定旋转矩阵R和平移分量T_xT_y。

2)线性求解内部参数和T_z，以解的值作为初始值，按成像模型建立非线性方程组，用迭代方法优化求解。具体操作如下：

首先对每个特征点P_i计算：

y_i＝r₄x_wi+r₅y_wi+T_y

z_i＝r₇x_wi+r₈y_wi+T_z

(6)

设w_i＝r₇x_wi+r₈y_wi，若不计透镜畸变，则有

\frac{y_{u}}{f} = \frac{y_{i}}{z_{i}} - - - (7)

由于Y_u＝(Y_f-Y_c)/N_y，将上式写成矩阵形式，得

[y_{i} - (Y_{f} - Y_{c}) / N_{y}] [\begin{matrix} f \\ T_{z} \end{matrix}] = (Y_{f} - Y_{c}) w_{i} / N_{y} - - - (8)

假设径向畸变系数k＝0，解此方程可分别求出有效焦距f和平移分量T_z，然后再用这些值作初始试探，利用优化算法求解下列非线性方程组：

Y (1 + {kr}^{2}) = f \frac{r_{4} x_{wi} + r_{5} y_{wi} + T_{y}}{r_{7} x_{wi} + r_{8} y_{wi} + T_{z}}

X (1 + {kr}^{2}) = f \frac{r_{1} x_{wi} + r_{2} y_{wi} + T_{x}}{r_{7} x_{wi} + r_{8} y_{wi} + T_{z}}

(9)

由此可解得f、T_z、k的精确值。

第三部分，结合标定参数利用体素切割法，重建对象在该视角下的三维信息，如图4所示。体素法要求将重建对象置于一个足够容纳它的体素块中，将块中的每一个体素往图像平面做投影成像，整个成像过程可表示为四步坐标变换：

(1)利用式(3)将体素的世界坐标(x_w，y_w，z_w)转换为摄像机坐标(x，y，z)；

(2)将摄像机坐标(x，y，z)转换为理想图像坐标(X_u，Y_u)；

X_{u} = f \frac{x}{z}

Y_{u} = f \frac{y}{z}

(10)

(3)考虑径向畸变，将理想图像坐标(X_u，Y_u)转换为实际图像坐标(X_d，Y_d)；

X_d＝X_u(1+kr²)^-1 X_d＝Y_u(1+kr²)^-1

(11)

其中r²＝X_u ²+Y_u ²。

(4)将实际图像坐标(X_d，Y_d)转换为像素坐标(X_f，Y_f)；

X_f＝N_xX_d+X_c Y_f＝N_yY_d+Y_c

(12)

其中(X_c，Y_c)为计算机图像中心的像素坐标，(N_x，N_y)为图像平面上单位距离上的像素点数。

这样，以(x_w，y_w，z_w)为世界坐标的某个体素点就按标定参数建立的成像模型转为图像平面上一个以(X_f，Y_f)为像素坐标的投影点；按图像分割的方法获取当前视角下实际对象的投影，与体素投影作比较，将所有落在对象投影外部的体素切割掉，这样就完成了一个视角下的切割，如图4所示。

对每一帧图像都重复进行上述操作，当围绕物体选取不同的视角采集图像且视角越来越多时，物体模型就会变得越来越接近物体的真实形状，最终得到物体的三维模型。

Claims

1.一种自由多视角、实时的三维重建系统，由一台CCD摄像机(1)，一台装配有多通道图像采集卡的计算机(2)和一块平面标定模板(3)组成，平面标定模板(3)用于标定摄像机参数。其中，计算机(2)通过图像采集卡与摄像机(1)连接，其特征在于：

②所述的平面标定模板(3)中央绘有两个同心圆，八条延长线经过圆心的直线段等分同心圆，将某一对相差180度的直线段向离心方向延伸一定长度，并在其中一根延长线旁绘制一根平行短线段，并标记上标记1、标记2，取线段与同心圆的16个交点作为标定特征点。

2.一种自由多视角、实时的三维重建方法，采用权利要求1所述的自由多视角、实时的三维重建系统进行对象重建，其特征在于具体工作步骤为：

3.根据权利要求2所述的自由多视角、实时三维重建方法，其特征在于所述的图像分割程序具有如下步骤：

4.根据权利要求2所述的自由多视角、实时三维重建方法，其特征在于所述的摄像机自动标定程序具有如下步骤：

a)读入图像分割后获得的模板掩模图像，

③摄像机参数标定计算：

b)求摄像机内部参数——焦距f和镜头畸变系数k。

5.根据权利要求3所述的自由多视角、实时三维重建方法，其特征在于所述的对象形状重建具有如下步骤：

①将重建对象置于一个足够容纳它的体素块中；

6.将权利要求3中获得当前视角下的对象掩模，即实际对象的投影，与体素投影作比较，将所有落在对象投影外部的体素切割掉，这样就完成了一个视角下的体素切割，最终获得物体的三维模型。