CN102679961A - 便携式四目立体摄影测量系统及方法 - Google Patents

Abstract

本发明涉及一种便携式四目立体摄影测量系统及方法，基于本发明提供的系统能完成四台相机的同步拍摄，并保持事先标定好的设备参数，然后在计算机上对立体影像进行自动测量，得到物体或场景的位置、大小、形状等物理几何信息和物体的材质、纹理等物理属性信息。并在这些信息的基础上自动构建三维模型，或分析三维物体的体积、面积等。该系统主要表现了便携性，即方便于个人携带和操作，能灵活运用于多种场景的测量和三维重建工作中。

Description

便携式四目立体摄影测量系统及方法

技术领域

本发明涉及摄影技术领域，尤其是涉及一种便携式四目立体摄影测量系统及相应方法。

背景技术

随着科技的发展，信息和信息技术已成为影响人类社会极大变革的科学技术的重大突破。而各种场景和物体的数字化三维空间数据是信息的重要基础之一。而其中的一个重要部分就是数字化三维空间数据的获取，它的关键之处在于这一过程如何有效、快速、全面和正确地进行。

传统的测量和场景三维数字化方法主要依靠的设备有米尺、测距仪、全站仪等，它们能完成现场的单个尺寸测量。这种测量方法的缺点在于：测量效率低；在现场耗费时间长；从测量数据到场景的真实三维之间缺乏直观的联系；场景的三维建模费时费力；现场的重现性差，对遗漏的、动态变化的三维场景信息难以再次测量等。

发明内容

为了解决现有技术的问题，本发明提出了一种便携式四目立体摄影测量系统及方法。

本发明的技术方案为一种便携式四目立体摄影测量系统，包括左相机组和右相机组，左相机组包括两个相机，两个相机上下排列并放置于一个相机护罩内；右相机组包括两个相机，两个相机上下排列并放置于一个相机护罩内；设置连接四个相机的刚性连接杆；设置同步控制器，所述同步控制器接收无线遥控器的脉冲信号，然后输出四路触发信号到四个相机，使四个相机同时快门闭合。

而且，所述相机是数码照相机或数字式摄像机。

本发明还提供了相应四目立体摄影测量方法，预先标定各相机的参数，包括设置若干立柱，每个立柱上设若干白色圆点，圆点的中心刻有黑色十字丝，每个圆点的中心坐标使用经纬仪按前方交汇方法测出；

根据预先标定所得任意两个相机的参数和相应相机拍摄所得图像平面坐标，建立线性方程组并采用最小二乘解方法求解，得到物方空间点坐标(X,Y，Z)。

而且，基于核线相交原理对不同像对中的同名点全自动匹配，所得物方空间点坐标构成立体影像数据集，然后应用立体影像数据获取场景的三维空间信息自动完成三维重建。

本发明提供了一种便于个人携带的四目立体摄影测量系统及方法，可通过遥控器同步拍摄立体影像，该立体影像能保持相对的位置和姿态，因此可用事先标定好的参数来进行图像测量，以实现非接触的、可视化的物体尺寸测量和场景三维自动重建。

附图说明

图1为本发明实施例的系统结构示意图。

图2为本发明实施例的控制场示意图。

图3为本发明实施例的相机成像模型示意图。

图4为本发明实施例的四目摄影测量示意图。

图5为本发明实施例的同名点匹配测量示意图。

图6为本发明实施例的同步控制器结构示意图。

具体实施方式

进行四目立体摄影测量的前提是：①、构成四目的四台相机必须同步拍摄，以防止相机自身运动或动态场景、物体运动造成的参数失效；②、已知四目立体系统的参数，且在测量时一直保持不变。此外，考虑到实际工作的便携性需要，设备要求轻便，操作要求灵活，且能对核心的设备进行必要的防护。本发明所述便携式四目立体摄影测量系统提供一种基于图像的非接触测量设备，它能对被测物体进行四台相机的同步摄影成像。然后，可以在图像上进行测量，得到描述物体所需要的三维坐标、尺寸和形状等物理几何信息和物体的材质、纹理等物理属性信息。并在此基础上自动建立被测物体的三维模型，从而实现场景和物体的三维数字化建模。本发明技术方案突出表现了三维信息获取的便捷性和三维重建的全自动化，能灵活运用于多种场景的测量和三维重建工作中。

如图1，本发明实施例所提供一种便携式四目立体摄影测量系统，包括左相机组1、右相机组2、相机护罩3、刚性连接杆4和同步控制器5。本发明设计一个专用于控制相机的同步控制器，它能接收来自于手持遥控器的拍摄信号，并给四台相机输出快门闭合信号。此外，控制器内的单片机还能管理相机的电源，给出电源的电量指示，长时间待机节电策略和已拍摄影像的数量指示。这种基于电子快门的同步控制器能给出高精度的同步的快门闭合信号，保证了四台相机的同步拍摄工作。因为四台相机固定在一个刚性的连接杆上，这样就保持了四台相机的相对位置和姿态。当系统设备在专用的标定场里检校后，其参数可以一直有效。此外，采用重量轻、刚性好的铝合金材料作为连接杆，并在相机外安装一个保护罩来防止碰撞和误操作。保护罩开有窗口，以方便于对相机的设置和操作。最后得到的设备适合于单人操作，且方便携带和使用。

具体同步控制器可由本领域技术人员采用现有芯片实现。为便于实施参考起见，提供实施建议如附图6：CPU模块采用Microchip公司的PIC16F876单片机，采用精简指令集(RISC)和哈佛总线结构，指令执行速度比一般的单片机快4～5倍。当采用20MHz晶振时，其指令周期仅为400ns。以PIC16F876为中心设置GPIO（总线扩展器）、USART（全双工通用同步/异步串行收发模块）、IIC（总线），其中还包括TIMER1实时时钟。在单片机系统基础上设置遥控接收模块、手动拍照、RS232（串口）、GPS模块、Flash ROM。此外还有常见的4MHz时钟、LCD显示、电源，本发明不予赘述。GPIO分别连接遥控接收模块和手动拍照控制器（一般采用按键），以接受手持遥控器的拍摄信号或者手动直接操作的拍摄信号。根据拍摄信号，PIC16F876单片机同时输出快门闭合信号到四台相机，具体实施时相机一般均已提供快门闭合信号的数据线，将PIC16F876单片机的输出与四台相机的数据线连接即可。USART分别连接RS232、GPS模块：GPS模块接收导航数据，可采用并行12通道GPS接收机、可同时跟踪12颗卫星、定位精度高、功耗低,。RS232可用于设置延时关机时间等形象。IIC（总线）连接FlashROM，以将拍照所得数据存储入Flash ROM。

在图1中，左、右各上下排列两台相机分别放置于相机防护罩内，护罩能保护相机防止碰撞和误操作。护罩开有窗口以便操控相机，护罩上有电源座，以便于电源的更换。四台相机通过刚性连接杆连接，以保持相对的位置和姿态。连接杆中间有同步控制器，可接受遥控器信号来同步拍摄立体影像。

刚性连接的四台相机能同步采集立体影像数据，通过标定过程能得到设备的参数，相机拍摄的结果可实时传到计算机，测量时可由计算机自动解算得到目标点的空间三维坐标。这些坐标既可直接用于物体的三维定位、几何量测量，也可由后续软件用做三维数字空间物体重建。基于本发明实施例提供的便携式四目立体摄影测量系统，可实现三维信息获取，三位信息处理，目标三维重建与真实场景2维、2.5维与3维显示。

为便于实施参考起见，提供本发明实施例所提供便携式四目立体摄影测量系统的标定方法：如图2，每个立柱上有若干白色圆点，圆点的中心刻有黑色十字丝，每个圆点的中心坐标已使用经纬仪按现有的前方交汇方法精确测出。而立柱和地面已固定，且考虑了热胀冷缩效应，保证了在任何天气和气温情况下都能有好的点位坐标。把本发明实施例提供的便携式四目立体摄影测量系统对着控制场拍照，则可使用拍摄所得立体影像和已有的控制点坐标标定该系统，得到系统的设备参数。由于相机的内、外方位元素可标定，因此在拍摄测量用立体影像时，被测量场景里无需提供标尺或设置已知点。

为便于实施参考起见，提供本发明实施例所提供便携式四目立体摄影测量系统的相机成像模型：在图3中，(r,c)表示图像平面坐标系，它是一个二维的数字图像平面坐标系，其坐标原点在图像的左上角，图像的行和列正方向分别指向右和下。(u,v)表示像平面坐标系，o为坐标系原点，是相机光轴与像平面的交点，它也是一种平面坐标系，用来表示目标点经成像系统后在像平面内的实际位置。f为相机的焦距，也是像平面坐标系uv平面到像空间坐标系xy平面的距离。(x,y，z)表示像空间坐标系,它是一种右旋的直角坐标系，表示像点的三维坐标。该坐标系的原点选在镜头投影中心点s，其x,y轴分别平行与像平面坐标系的u,v轴，并且指向也一致。(X,Y，Z)表示物方空间坐标系，是一种右旋坐标系，它表示的是三维空间的任意一点在物方空间坐标中的坐标。

在理想状态下，即镜头不存在畸变时，物方空间点A，投影中心S和该点在像平面上的投影点a在一条直线上，因此，物点和像点之间的关系为：

$\frac{r-r_o}{f_u}=\frac{a_{1}X+a_{2}Y+a_{3}Z+X_s}{c_{1}X+c_{2}Y+c_{3}Z+Z_s}---\left(1\right)$

$\frac{c-c_o}{f_v}=\frac{b_{1}X+b_{2}Y+b_{3}Z+Y_s}{c_{1}X+c_{2}Y+c_{3}Z+Z_s}$

其中，(r_o,c_o)、(f_u,f_v)分别为相机的中心坐标和行列等效焦距，（a_i、b_i、c_i）为旋转矩阵的第i行元素（表示了相机的方位），i的取值为1、2、3；(X_S,Y_S,Z_S)为相机的位置。然而在实际成像中，像点往往会受到畸变的影响而偏离理想位置。常用的畸变模型有：径向畸变、偏轴畸变和薄棱镜畸变。因此，（1）式可改写为：

$\frac{a_{1}X+a_{2}Y+a_{3}Z+X_s}{c_{1}X+c_{2}Y+c_{3}Z+Z_s}=\hat{u}+{\mathrm{\σ}}_u^{\′}(\hat{u},\hat{v})$

$\frac{b_{1}X+b_{2}Y+b_{3}Z+Y_s}{c_{1}X+c_{2}Y+c_{3}Z+Z_s}=\hat{v}+{\mathrm{\σ}}_v^{\′}(\hat{u},\hat{v})---\left(2\right)$

其中，

分别表示畸变在u,v轴上的总量，

和

表示畸变在u,v轴上的分量。畸变系数的个数，可以在相机标定阶段依据选择的镜头来决定。镜头畸变效果显著，则选择更多的高次项。本发明实施例设畸变系数有k₁、k₂、k₂，p₁、p₂、p₃、p₄、p₅、p₆，s₁、s₂、s₃、s₄、s₅、s₆。

上述中相机的中心坐标和行列等效焦距、相机方位、位置和畸变系数统称为相机的参数，参数的名称如表1所示，它们可通过图2控制场里的标定点计算得到。对于构成系统的四台相机，都按此方法得到各自的参数。

表1：相机参数列表

图4中，物方空间有一点(X,Y，Z)，它在左相机组图像IMG1、IMG3上的图像平面坐标为P₁(r₁,c₁)、P₃(r₃,c₃)，在右相机组IMG2、IMG4的图像平面坐标为P₂(r₂,c₂)、P₄(r₄,c₄)。例如，可通过已知的(r₁,c₁)和(r₂,c₂)，以及左上相机和右上相机的参数，求解(X,Y，Z)。具体方式如下：

观察式(2)，由于相机参数已知，因此等式右边可解，令变量u_F、v_F如下式：

$u_F=\hat{u}+{\mathrm{\σ}}_u^{\′}(\hat{u},\hat{v})$

$v_F=\hat{v}+{\mathrm{\σ}}_v^{\′}(\hat{u},\hat{v})$

那么对于左上相机有：

$\frac{a_{L11}X+a_{L12}Y+a_{L13}Z+X_{L1s}}{c_{L11}X+c_{L12}Y+c_{L13}Z+Z_{L1s}}=u_{L1F}$

$\frac{b_{L11}X+b_{L12}Y+b_{L13}Z+Y_{L1s}}{c_{L11}X+c_{L12}Y+c_{L13}Z+Z_{L1s}}=v_{L1F}$

其中，（a_L1i、a_L1i、c_L1i）为左上相机的旋转矩阵的第i行元素，i的取值为1、2、3；（X_L1s，Y_L1s，Z_L1s）为左上相机的位置。

可写为如下形式：

(a_L11-u_L1Fc_L11)X+(a_L12-u_L1Fc_L12)Y+(a_L13-u_L1Fc_L13)Z=u_L1FZ_L1s-X_L1s

(b_L11-v_L1Fc_L11)X+(b_L12-v_L1Fc_L12)Y+(b_L13-v_L1Fc_L13)Z=v_L1FZ_L1s-Y_L1s

同样右上相机也有：

$\frac{a_{R21}X+a_{R22}Y+a_{R23}Z+X_{R2s}}{c_{R21}X+c_{R22}Y+c_{R23}Z+Z_{R2s}}=u_{R2F}$

$\frac{b_{R21}X+b_{R22}Y+b_{R23}Z+Y_{R2s}}{c_{R21}X+c_{R22}Y+c_{R23}Z+Z_{R2s}}=v_{R2F}$

可得关系式：

(a_R21-u_R2Fc_R21)X+(a_R22-u_R2Fc_R22)Y+(a_R23-u_R2Fc_R23)Z=u_R2FZ_R2s-X_R2s

(b_R21-v_R2Fc_R21)X+(b_R22-v_R2Fc_R22)Y+(b_R23-v_R2Fc_R23)Z=v_R2FZ_R2s-Y_R2s

其中，（a_R2i、b_R2i、c_R2i）为右上相机的旋转矩阵的第i行元素，i的取值为1、2、3；X_R2s，Y_R2s，Z_R2s为右上相机的位置。

这样就可以构成一个线性方程组，可用最小二乘解方法求解。

已知任意两个相机（共有6种组合）和相应参数，都可以采用以上方法构成一个线性方程组进行求解。

在立体影像数据输入进计算机后，可以采用本领域技术人员设计的计算机软件程序自动获取场景的三维空间信息，如点的坐标、两点之间的距离、点到直线的距离及点到平面的距离等信息，对同一像对中的同名点全自动匹配，自动构三角网，自动粘贴纹理，自动完成三维数字空间的重建。图5中表示了同名点的匹配策略，根据本设计中四台相机的分布特点，四台相机可以组成

个双目立体视觉成像对，如图5所示，首先左上图像IMG1上的特征点p₁在左下图像IMG3上很容易找到对应的匹配特征点p₃，且精度也相对较高，根据核线约束准则，左上相机与右上相机的核线l₁₂和左下相机与右上相机的核线l₂₃相交于一点p₂，该点即为p₁在右上相机像平面上对应的匹配特征点，同样的，也很容易在右下像平面上找到p₂对应的匹配特征点p₄，其匹配精度也较高。同时右上相机与右下相机的核线l₂₄和左下相机与右下相机的核线l₃₄也能很好地确定特征点p₂在右下像平面上对应的匹配特征点，可设此点为p′₄，因此可以根据p₄、p′₄是否重合来检验p₂、p₄匹配是否正确，若不重合，说明匹配错误，重新找另一特征点继续进行匹配，若重合，则利用同样的方法进一步根据左上相机与左下相机的核线l₁₃和左上相机与右下相机的核线l₁₄的交点p′₁来检验p₁、p₃是否匹配正确，若不正确重新找另一特征点进行匹配，若正确则保存结果并进行下一特征点的匹配，直到所有特征点匹配完毕。其核心是核线相交原理，由于存在相机的标定误差和不同相机的成像差别，同名点不一定严格位于其核线之上，而是位于其核线附近，由于是四目系统，它既大大地缩小特征点匹配的搜索范围，又消除了粗大误差，同时还有多余观测用于校核，保证了匹配的精准性。

Claims (4)

1.一种便携式四目立体摄影测量系统，其特征在于：包括左相机组和右相机组，左相机组包括两个相机，两个相机上下排列并放置于一个相机护罩内；右相机组包括两个相机，两个相机上下排列并放置于一个相机护罩内；设置连接四个相机的刚性连接杆；设置同步控制器，所述同步控制器接收无线遥控器的脉冲信号，然后输出四路触发信号到四个相机，使四个相机同时快门闭合。

2.根据权利要求1所述便携式四目立体摄影测量系统，其特征在于：所述相机是数码照相机或数字式摄像机。

3.根据权利要求1或2所述便携式四目立体摄影测量系统的四目立体摄影测量方法，其特征在于：

预先标定各相机的参数，包括设置若干立柱，每个立柱上设若干白色圆点，圆点的中心刻有黑色十字丝，每个圆点的中心坐标使用经纬仪按前方交汇方法测出；

根据预先标定所得任意两个相机的参数和相应相机拍摄所得图像平面坐标，建立线性方程组并采用最小二乘解方法求解，得到物方空间点坐标(X,Y,Z)。

4.根据权利要求1或2所述便携式四目立体摄影测量系统的四目立体摄影测量方法，其特征在于：基于核线相交原理对不同像对中的同名点全自动匹配，所得物方空间点坐标构成立体影像数据集，然后应用立体影像数据获取场景的三维空间信息自动完成三维重建。

Images