CN101783027B - 基于多台图像传感器的动态场景三维记录方法 - Google Patents

Abstract

本发明公开了基于多台图像传感器的动态场景三维记录方法，包括以下步骤：在场景周围放置图像传感器再用L.Wang的方法对所有的图像传感器进行标定，算出图像传感器的内参和外参；之后利用图像传感器进行图像采集；利用图像传感器的内参和外参计算需要密集匹配的图像A和图像B之间的基本矩阵F；用Marc Pollefeys的方法，根据F对图像A，B进行矫正，使A，B的对极线平行；进行密集匹配计算；用三角形法进行结构计算；最后进行点云优化计算；本发明提供一种对基于多台图像传感器的动态场景三维记录的方法，可以方便的对动态场景的三维信息进行记录。

Description

基于多台图像传感器的动态场景三维记录方法

技术领域

本发明涉及到无线传感网络，计算机视觉领域，特别涉及到计算机视觉中的三维重建技术。

背景技术

基于图像序列的场景三维重建是计算机视觉中的重要领域，它包括：相机标定：相机标定的过程可以理解为求解相机矩阵P的过程，矩阵P＝K[R t]，其中矩阵K表示相机的内参，它包括x，y方向的焦距，主点坐标和切向畸变。R，t表示相机的外部参数，它描述世界坐标系在相机坐标系中的偏转和平移。通过矩阵P，世界坐标系中的点X和图像坐标系中的点x可以通过下面的式子进行关联：

sx＝PX

其中s是一个常数，对上面的式子进行展开，我们有：

s[u v 1]^T＝P[x y z 1]^T

其中u，v是点在图像中的坐标，x，y，z是点在世界坐标系中的坐标。对极几何：空间中的一个点，在两幅图像上的像x，x’有如下的性质，

x′^TFx＝0

其中F是一个3×3的并且秩为2的矩阵。另外，x在另外一副图像上的点在它的对极线上，这条线可以用方程1’＝Fx表示。对应两张图像的F和它们的矩阵P，P’有如下关系：

F＝[e′]_xP′P⁺

其中P⁺是P的伪逆矩阵，e’＝P’C，而C通过求解PC＝0解出。

结构计算：结构计算中最常用的是线性三角形法，给定一个点在两个图像中的像x，x’我们有x＝PX，x’＝P’X，通过x×(PX)＝0消去齐次因子，两个式子展开，我们组成形如AX＝0的方程：

其中A可以表示成：

A＝[A1 A2 A3 A4]^T

A1＝[xP^3T-P^1T]

A2＝[yP^3T-P^2T]

A3＝[x′P′^3T-P′^1T]

A4＝[y′P′^3T-P′^2T]

P^iT表示矩阵P的第i行，通过求解上述方程，我们可以求出点的三维齐次坐标。因为实际的测量数据会带有误差，因此x＝PX并不能完全满足，可以通过用Levenberg-Marquardt算法来最小化重投影误差，来优化计算出的点云数据。

发明内容

本发明提供一种基于多台图像传感器的动态场景三维记录方法，一种基于多台图像传感器的动态场景三维记录方法，它包括以下的步骤：

(1)在动态场景周围放置图像传感器；

所述的动态场景是指场景中物体的三维结构或者说几何形状会随着时间的改变而发生变化。我们所指的记录动态场景的三维信息，是指记录任一时间点的场景三维信息，这些任一时间点的场景三维信息集合就组成了一个时间段内的场景的三维信息及其变化的过程。

在动态场景的周围放置图像传感器，使得需要进行三维记录的区域至少在两个图像传感器的视域内，并且使得对着同一视域的图像传感器中的任意两个图像传感器的主轴的夹角在10度到30度之间。通过图像传感器连接的同步模块，使多个图像传感器可以同步工作。图像传感器间的同步通过图像传感器链接的专有同步模块进行设置的。同步的工作方式可以通过各个图像传感器间发送时间同步包来进行同步，或是通过激光脉冲方法进行同步，激光脉冲方法进行同步可以达到较高的时间同步精度。同步工作的实现，可以根据当时的环境选择有线网络，或无线网络接入，也可以是通过接入大容量的存储设备来实现。

有时候我们并不需要对整个动态场景进行记录，而仅仅是需要记录整个动态场景中的局部区域，那么至少保证有两个图像传感器的视域可以覆盖需要进行三维记录的局部区域，对该局部区域进行图像记录的至少两个图像传感器中，任意两个图像传感器的主轴的夹角在10度到30度之间。

需要说明的是，有可能还有其他图像传感器的视域也覆盖了需要进行三维记录的局部区域，但由于不是专为该局部区域设置的，所以并不严格要求这些非专设的图像传感器与专设的图像传感器的主轴的夹角。

(2)用L.Wang的方法对所有的图像传感器进行标定，求出图像传感器的内参和外参；

通过使用L.Wang的方法，用一个带至少3个标志点的直杆对多个图像传感器(相机)进行标定。具体可以参照L.Wang的论文(参考文献1)“L.Wang F.C.Wu and Z.Y.HU Multi-Camera Calibration withOne-Dimensional Object under General Motions，ICCV2007”。

两个图像传感器同步地拍摄10到15张图片，这些图片中要包含上面所述的带至少有3个标志点的直杆。将两个图像传感器中的图像的中的直杆的标记点的图像坐标提取出来，把这些标志点的图像坐标以及标志点间的实际距离带入到L.Wang的相机标定算法中，计算出所有图像传感器的相机矩阵。如果标定成功，进行下一步工作，否则重复上述过程重新对两个图像传感器进行标定。

L.Wang的方法在大范围内散乱分布的相机阵列的标定时可以得到很好的效果，而其他的方法只在范围较小或单个相机的标定中比较试用。

(3)利用图像传感器进行图像采集；

在进行图像采集的过程中，所有的图像传感器应该是同步工作。因为我们记录的场景可以是动态的，因此需要记录一个时间段内的场景的几何结构及其变化的过程。通过图像传感器同步的方式，每间隔一定时间通过图像传感器对场景进行一次同步拍摄，通过拍摄的图片，计算出这一个时间点的场景的三维信息。可以根据场景机构变化的速度来调整同步拍摄的时间间隔。通过这些时间点的场景的三维信息，我们可以得出一个时间段内的场景的三维信息及其变化过程。

(4)利用图像传感器的内参和外参计算需要密集匹配的图像A和图像B之间的基本矩阵F；

通过前面的标定过程求出的图像A对应的相机矩阵P和图像B所对应的相机矩阵P’，我们可以求出矩阵F，具体公式如下：

F＝[e′]_xP′P⁺

其中P⁺是P的伪逆矩阵，e’＝P’C，C通过求解PC＝0解出。

(5)用Marc Pollefeys的方法，根据F对图像A，B进行矫正，使A，B的对极线平行；

有了上一步求出的F我们对两张图像进行矫正，矫正后的图像满足对应的对极线是平行的。具体可以参考Marc Pollefeys的论文(参考文献2)“Marc Pollefeys and Reinhard Koch and Luc Van Gool A simple and efficientrectification method for general motion，1999”。

(6)对图像A和图像B进行密集匹配计算，得到对应点的点对；

首先对图像A中的每个像素点p1，按先下列方式设置描述向量，以p1为圆心，12个像素为半径的圆上，选取均匀分布的8个点，c1，c2，c3，c4，c5，c6，c7，c8。以p1，c1，c2，c3，c4，c5，c6，c7，c8这9个点为中心，选取9个长为21个像素宽为15个像素的矩形区域。对每一个矩形区域内的所有点做如下计算，以点的灰度值除以该点到矩形中心的距离，得到灰度值与距离的比值，然后将这些比值求和。将上面求得的9个加和值组成向量，同时计算p1在图像B上的对极线上的所有点的描述向量，并求与p1距离最小的描述向量所对应的点。遍历图像A上的所有点，找到它在图像B上的对应点，如果不存在对应点，则将A上的点忽略。

(7)用三角形法对所求出的点对进行结构计算，得到动态场景中需要进行记录的区域的点的空间坐标。

对每一组对应点x，x’我们有x＝PX，x’＝P’X通过x×(PX)＝0消去齐次因子，两个式子展开，我们组成形如AX＝0的方程：

其中A可以表示成：

A＝[A1 A2 A3 A4]^T

A1＝[xP^3T-P^1T]

A2＝[yP^3T-P^2T]

A3＝[x′P′^3T-P′^1T]

A4＝[y′P′^3T-P′^2T]

PiT表示矩阵P的第i行，通过求解上述方程，我们可以求出点的三维齐次坐标。对所有的对应点进行上面的计算，最后求出三维场景的需要进行记录的区域的点的空间坐标数据。

(8)对所求得的空间坐标数据进行优化计算；

因为实际的测量数据带有噪音，因此我们通过Levenberg-Marquardt算法来最小化重投影误差，来优化计算出的点云数据。最终得到需要记录的场景的三维信息。

本发明基于多台图像传感器的动态场景三维记录方法，具有以下优点：

可以对动态的场景进行建模。通过引入同步工作的图像传感器，我们可以采集同一时刻的场景的各个视角的图像。通过这些图像，采用计算机视觉中的三维重构方法，我们可以对这一个时间点的场景进行建模。

密集匹配准确度提高。通过引入我们设计的图像点的描述向量，图像密集匹配的精度可以得到提高。特别是在对低纹理的场景的重构中，可以具有很好的准确度。

附图说明

图1是本发明基于多台图像传感器的动态场景三维记录方法流程图；

图2是图像传感器的逻辑结构图；

图3是构造像素点p1的描述向量的示意图；

图4是未矫正之前的对极线示意图；

图5是矫正之后的对极线示意图。

具体实施方式：

本发明基于多台图像传感器的动态场景三维记录方法实施过程如下：

(1)在场景周围放置图像传感器；

在场景的周围放置图像传感器，使得需要进行三维记录的点的区域在两个图像传感器的视域内，这两个图像传感器的主轴的夹角为20度。

(2)用L.Wang的方法对所有的图像传感器进行标定，求出图像传感器的内参和外参；

通过使用L.Wang的方法，用一个带3个标志点的直杆对两个图像传感器(相机)进行标定。“L.Wang F.C.Wu and Z.Y.HU Multi-CameraCalibration with One-Dimensional Object under General Motions，ICCV2007”。L.Wang的方法通过平行线段的长度比在射影变换下的不变性以及标杆的长度对相机的内参进行约束，同时利用无穷远单应对相机矩阵进行约束，最后求出相机的矩阵。为了减少噪声对结果的影响，该方法还通过使用捆集调整对结果进行优化。

两个图像传感器(相机)采用激光脉冲方法进行同步。两个图像传感器同步地拍摄15张图片，这些图片中要包含上面所述的带有3个标志点的直杆。将两个图像传感器中的图像的中的直杆的标记点的图像坐标提取出来，把这些标志点的图像坐标以及标志点间的实际距离带入到L.Wang的相机标定算法中，计算出所有图像传感器的相机矩阵。如果标定成功，进行下一步工作，否则重复上述过程重新对两个图像传感器进行标定。

(3)利用同步工作的图像传感器进行图像采集；

每间隔1秒钟通过图像传感器对场景进行一次同步拍摄。

(4)利用图像传感器的内参和外参计算需要密集匹配的图像A和图像B之间的基本矩阵F；

通过前面的标定过程求出的P，P’我们可以求出需要密集匹配的图像A和图像B之间的基本矩阵F.具体公式如下：

F＝[e′]_xP′P⁺

其中P⁺是P的伪逆矩阵，e’＝P’C，C通过求解PC＝0解出。

(5)用Marc Pollefeys的方法，根据F对图像A，B进行矫正，使A，B的对极线平行；

有了上一步求出的F我们对两张图像进行矫正，矫正后的图像满足对应的对极线是平行的。“Marc Pollefeys and Reinhard Koch and Luc Van GoolA simple and efficient rectification method for general motion，1999”。MarcPollefeys的方法在对极点附近对极图像进行极坐标参数化，并通过图像间的基本矩阵将两幅图像矫正成对极线平行。通过Marc Pollefeys的方法我们可以简化后面所述的密集匹配计算过程，提高了程序的运算效率。

(6)需要密集匹配的图像中的所有点进行密集匹配计算，得到对应点的点对；

首先对图像A中的每个像素点p1，按先下列方式设置描述向量，以p1为圆心，12个像素为半径的圆上，选取均匀分布的8个点，c1，c2，c3，c4，c5，c6，c7，c8。以p1，c1，c2，c3，c4，c5，c6，c7，c8这9个点为中心，选取9个长为21个像素宽为15个像素的矩形区域。对每个区域做如下计算，对区域内的所有点的像素值除以其到中心距离的半径，然后求和。将上面求得的9个值组成向量，同时计算图像B中与p1对应的的对极线上的点的描述向量。所有的向量中与p1的描述向量距离最小的点，置为p1在图像B中的对应点。遍历图像A上的所有点，找到它在图像B上的对应点，如果不存在对应点，则将A上的点忽略。在具体的实施过程中，可以根据场景的复杂度以及图像传感器采集图像的大小来设置半径的大小和矩形区域的长度和宽度。

(7)用三角形法进行结构计算；

对每一组对应点x，x’我们有x＝PX，x’＝P’X通过x×(PX)＝0消去齐次因子，两个式子展开，我们组成形如AX＝0的方程：

其中A可以表示成：

A＝[A1 A2 A3 A4]^T

A1＝[xP^3T-P^1T]

A2＝[yP^3T-P^2T]

A3＝[x′P′^3T-P′^1T]

A4＝[y′P′^3T-P′^2T]

通过求解上述方程，我们可以求出点的三维齐次坐标。对所有的对应点进行上面的计算，最后求出三维场景的点云数据。

(8)进行点云优化计算；

因为实际的测量数据带有噪音，因此我们通过Levenberg-Marquardt算法来最小化重投影误差，来优化计算出的点云数据，即前面算出的所有对应点的三维坐标的集合，最终得到需要记录的场景的三维信息。

Claims (2)

1.一种基于多台图像传感器的动态场景三维记录方法，其特征在于：包括以下步骤：

(1)在动态场景周围放置图像传感器，至少有两个图像传感器的视域覆盖所述的动态场景中需要进行三维记录的区域；

(2)对所有的图像传感器进行标定，得到图像传感器的内参和外参；

(3)利用图像传感器进行图像采集；

(4)利用图像传感器的内参和外参计算需要密集匹配的图像之间的基本矩阵F；

(5)根据步骤(4)得到的基本矩阵F对需要密集匹配的图像进行矫正，使需要密集匹配的图像中的对极线平行；

(6)对需要密集匹配的图像中的所有点进行密集匹配计算，得到对应点的点对；需要密集匹配的图像为两幅，分别标记为图像A，图像B，在进行密集匹配计算时，步骤如下：

a)在图像A中，以某一需要进行密集匹配计算的点X为圆心，以12个像素为半径做圆，在圆周上选取均匀分布的8个点；

b)分别以所述圆的圆心及圆周上的8个点为中心，得到9个矩形区域，所述的矩形区域的长均为21个像素，宽均为15个像素；

c)对每个矩形区域内的所有点做如下计算得到9个加和值：

以点的灰度值除以该点到矩形中心的距离，得到灰度值与距离的比值，然后将这些比值求和，得到加和值；

d)将步骤c)求得的9个加和值组成点X的描述向量；

e)根据点X得到图像B中与其对应的对极线，对该对极线上的所有的点，依照步骤a)到步骤d)的方法计算其描述向量，找出与点X的描述向量距离最小的描述向量所对应的点Y，点Y就是点X在图像B中的对应点；

f)遍历图像A上的所有点，完成点的密集匹配计算；

(7)利用步骤(2)得到的内参和外参，对步骤(6)得到的点对用三角形法进行结构计算，得到动态场景中需要进行记录的区域的点的空间坐标；

(8)对步骤(7)得到的点的空间坐标进行优化计算，得到所述点的最终空间坐标。

2.如权利要求1所述的基于多台图像传感器的动态场景三维记录方法，其特征在于：步骤(3)中进行图像采集时，所有的图像传感器应同步工作。

Images