CN1567384A - 三维空间物体图像获取、数字化测量及重建方法和设备 - Google Patents

Abstract

本发明公开了一种基于计算机立体视觉和计算机图形学及光学成像原理，获取三维空间物体图像、数字化测量及重建方法和设备。它是通过至少两台设定距离的、已知参数的图像传感器同时对同一空间物体进行成像获得向对应的至少两幅图像，两幅图像传送给计算机并通过计算机，根据光学成像原理计算确定空间物体上任一目标点的三维坐标，依据所测多个目标点的三维坐标，根据几何关系确定空间物体的几何参数，从而完成对空间物体的测量。依据所测空间物体的几何参数可与现有绘图软件交互绘图，或直接建立三维立体数字模型。本发明的优点在于瞬间获取被测物体大量物理信息和几何信息；广泛用于相对中小场景的三维重建工作。也适用于虚拟现实等。

Description

三维空间物体图像获取、数字化测量及重建方法和设备

技术领域

本发明属于物体成像数字处理技术，具体涉及的是一种根据光学成像原理，在物体成像后，直接测量描述物体所需要的三维坐标，从而建立被测物体的三维模型，实现各种现场的三维数字化的技术。

背景技术

随着科技的发展，信息和信息技术已成为影响人类社会极大变革的科学技术的重大突破。从数字地球的概念可以理解到，数字地球是“对真实地球及其有关现象统一的数字化重现和认识”，其中海量的真实反映不同尺度空间(场景)的数字化三维空间信息是数字地球的重要基础之一。信息的一个重要部分就是信息的获取。从数字地球概念的提出开始，人们便开始思考和着手实践怎样有效地获取我们需要的三维空间信息。

作为传统的测量设备和场景三维数字化方法，主要依靠传统的设备如尺、经纬仪、全站仪等完成现场的单个尺寸的测量。他们测量的效率低下；在现场耗费时间长；从测量的数据结果到物体三维模型的建立，缺乏直接的数据链接手段；物体的三维建模费时费力；现场的重现性差，对三维场景的信息获取非常困难。

发明内容

本发明的目的在于提供一种基于计算机立体视觉和计算机图形学的及光学成像原理，获取三维空间物体图像、数字化测量及重建方法和设备。

本发明的方法如下：它是通过至少两台设定距离的、已知参数的图像传感器同时对同一空间物体进行成像获得向对应的至少两幅图像，两幅图像传送给计算机并通过计算机，根据光学成像原理计算确定空间物体上任一目标点的三维坐标，依据所测多个目标点的三维坐标，根据几何关系确定空间物体的几何参数，从而完成对空间物体的测量。

在完成空间物体的测量后，依据所测空间物体的几何参数可与AUTOCAD交互绘图，或直接建立三维立体数字模型。

本发明方法基本的三维测量原理如下：

本设备需对同一物体一次拍摄两幅或两幅以上的图像，图像经转换后以数字方式或直接以数字方式存储。数字图象包含了被摄目标的信息，对测量而言，主要是目标物体的几何信息。三维测量的目的就是通过图像上的信息，由几何变换求得目标物体在三维空间的几何信息。从数字图象中求解物体在三维空间的几何信息，必需建立图像元素与所拍摄摄物体表面点之间的数学关系。

在建立像片与被摄物体的几何变换关系时，本方法成像涉及到以下原理。

在本方法中单个图像传感器成像系统中，像片是物方的中心投影，存在从3-D物体点到2-D图象平面的透视投影变换模型。

物方三维点P(X，Y，Z)＝＝＞像平面点p(x，y)，这个变换是不可逆的。因此单纯从图像传感器成像像平面中的像点测量物体三维点坐标是不可能的。若已知相机的焦距f及投影中心到物方平面的距离Z，则可由f，Z及象点坐标求出物方平面上点的三维坐标(X，Y，Z)(以投影中心为原点)。

本发明所涉及的方法中包含两个或两个以上的图像传感器，任意两个图像传感器组成立体视觉单元，多个图像传感器组成多个立体视觉单元。立体视觉单元仿照人类双目感知距离和位置的方法，实现对三维信息的感知和量测。计算视觉理论表明：采用对某一场景或物体的一个像对，在满足一定的约束条件下能够恢复原场景中的三维信息。本发明的功能之一就是利用双目或多目来体视重构世界的三维原理，也就是通过把在两个不同视点所得到的一对二维图象进行组合建立其周围表面深度。这种模式是机器视觉三维感知的一种重要方法。本发明所涉及的方法中每个立体视觉单元基本原理如图S-1所示。

图1中P为物体上的某一个3-D点；O1、O2-为本发明所涉及的设备中立体视觉单元图像传感器坐标系中的原点；C1、C2--为本发明所涉及的设备中立体视觉单元两个图像传感器的投影中心；p1、p2--点P分别在两个图像传感器上的像点；L--基线分隔距离(图像传感器间距离)；f--摄像机焦距。

根据图1简单的几何关系，可得到下列关系式：

$\frac{x1}{f}=\frac{X1}{Z+f}-----(S-0-1)$

$\frac{x2}{f}=\frac{X2}{Z+f}-----(S-0-2)$

        X2＝X1+L                    (S-O-3)

将(S-O-3)代如入(S-O-2)并联解(S-O-1)可得P点的距离Z，即深度信息：

$Z=\frac{-f(x2-x1-L)}{x2-x1}-----(S-0-4)$

若以投影中心为图像传感器坐标原点，则P点的距离表达式为：

$Z=\frac{f\·L}{x2-x1}-----(S-0-5)$

由(S-O-5)式可知：z与f、L、(x2-x1)有关，(x2-x1)称为点P的从两个不同位置观察同一点的图象差异--视差。

如果P点在图像传感器(数码照相机)1、2的图象点相应找到，而基线长L和焦距f已知，求Z坐标计算就很简单。P点X、Y坐标可根据象点坐标(xi，yi)及比例系数Z/f(也称为伸缩比，Z/f＞＞1)求得。即，可根据象点p1坐标(xi1，yi1)、p2坐标(xi2，yi2)、基线长L和焦距f完全求得P点的物方三维坐标(X，Y，Z)。在求得物方点的坐标后，即可根据点的空间几何关系求得空间物体的几何参数，如长度、面积、角度等。

本发明的设备包括：(1)至少两个图像传感器，图像传感器之间的距离已知，图像传感器优选数码照相机；

(2)用以控制多个图像传感器动作的控制器；

(3)与图像传感器进行数据通讯的图像处理设备；

(4)为图像传感器提供的电源；

(5)图像传感器拍摄指令发生装置。

本发明的优点在于瞬间获取被测物体大量物理信息和几何信息；一种非接触性量测手段，不伤及测量目标，不干扰被测物的自然状态；适合动态物体外形和运动状态测定的手段；也可以对微观和对较远目标测量手段；本发明在与CAD交互绘图，或直接建立三维立体数字模型后即得到空间物体的数字图像信息，便于存储、管理和再现。广泛用于相对中小场景的三维重建工作。如工厂的数字化、建筑和室内的三维重现、公安、刑侦现场的三维重建、考古现场的三维重建、街道和社区的三维重建以及模拟生产加工等场合，也适用于虚拟现实等。

附图说明

图1本发明原理简图

图2本发明设备原理图

图3坐标系统及外方元素图

图4点位坐标的测量处理流程软件图

图5本发明软件流程图

图6本发明软件模块示图

图7本发明设备结构示图

图8本发明设备之控制器原理图

图9本发明应用两显示器测量界面示意图

图10本发明图像管理界面示意图

图11本发明与AUTOCAD系统交互测量界面示意图

具体实施方式

如图2所示，本发明采用两台数码照相机，其中1、7分别是左右数码照相机的光学系统，2、8分别是左右数码照相机的曝光控制电路，3、9分别是左右数码照相机的成像器件，4、10分别是存储器，5是计算机，6是控制器。

如图3所示，图像传感器相对位置参数：物方空间坐标系的原点并不总选择在图像传感器的投影中心(物方空间坐标系的原点与象空间坐标系原点不重合)且无法保证象空间坐标系各轴平行于物方空间坐标系的各轴，因此，象空间坐标系(投影光束)在物方空间的方位需要“三个线定位元素”和“三个角定向元素”来确定。三个线定位元素为投影中心S点在物方空间坐标系中的坐标，即Xs，Ys，Zs，定义象片的空间位置；三个角定向元素为ψ，ω，κ定义象片的空间倾斜。Xs、Ys、Zs、ψ、ω、κ一起称为摄影的外方位元素。

图像传感器在拍摄前图像传感器的内、外方位元素已经经过标定，因此在用系统对空间目标进行量测和建模时时，不需要在被测量空间放置标尺，不需要在现场测量用于标定图像传感器的控制点。依据此点，在场景的三维重建过程中，在现场的作业时间可以缩短到最低限度，最大限度地减少对现场地占用和干扰，这一点对于一些重要或敏感场合的应用尤为关键。

本实施例中左图像传感器的参数包括：

XsL，YsL，ZsL，FiL，WoL，KaL，这六个参数分别描左图像传感器相对于坐标原点的三个平移量和相对于坐标轴的三个旋转量，根据刚体自由度定义，这六个变量严格限定左图像传感器的空间姿态。

dxL，dyL，fL，xOL，yOL，L_S1，L_S2，L_K1，L_K2，L_K3，L_P1，L_P2，L_P3，L_P4，L_W，L_H这十六的参数描述左图像传感成像参数。其中，dxL，dyL为比例因子，指图像传感器件单位像素的几何尺寸，(mm/像素)，由于图像传感器件的成像单元大小及在行、列两方向的A/D转换比例不同，因此dxL，dyL不同；fL，xOL，yOL为确定左图像传感器成像中心与像片间位置关系所需的元素，用于恢复成像光束的形状；L_S1，L_S2，L_K1，L_K2，L_K3，L_P1，L_P2，L_P3，L_P4这九个参数描述左图像传感器成像透镜系统的畸变，实际光学系统成像存在光学畸变，包括轴对称畸变、偏心畸变、薄棱镜畸变；L_W，L_H为左图像传感器的数字成像幅面。

右图像传感器的参数包括：

XsR，YsR，ZsR，FiR，WoR，KaR，这六个参数分别描右图像传感器相对于坐标原点的三个平移量和相对于坐标轴的三个旋转量，根据刚体自由度定义，这六个变量严格限定右图像传感器的空间姿态；

dxR，dyR为fR，xOR，yOR，R_S1，R_S2，R_K1，R_K2，R_K3，R_P1，R_P2，R_P3，R_P4，R_W，R_H这十六的参数描述右图像传感成像参数。其中，dxR，dyR为比例因子，指图像传感器件单位像素的几何尺寸，(mm/像素)，由于图像传感器件的成像单元大小及在行、列两方向的A/D转换比例不同，因此dxR，dyR不同；fR，xOR，yOR为确定右图像传感器成像中心与像片间位置关系所需的元素，用于恢复成像光束的形状；R_S1，R_S2，R_K1，R_K2，R_K3，R_P1，R_P2，R_P3，R_P4这九个参数描述右图像传感器成像透镜系统的畸变，实际光学系统成像存在光学畸变，包括轴对称畸变、偏心畸变、薄棱镜畸变；R_W，R_H为右图像传感器的数字成像幅面。

本发明所涉及的设备的在使用前都已经经过严格的检定，检定的结果是获得本发明中所涉及图像传感器件之间相对位置参数和图像传感成像参数。该结果参数也作为本发明所涉及的设备的后处理软件的一部分一并提供。

对于拍摄物体的测量是基于物体上的目标点的测量，其软件如图4所示，包括对两图像传感器的参数初始化，分别获取两幅图像，检查两幅图像的一致性；拾取目标点分别在两幅图像上的像点，检查两像点的对应性；两像点像素坐标到像平面坐标的转换；消除两像点像平面坐标畸变误差；依据图像传感器的参数计算中间变量；组成解算方程组；计算得到目标点的三维坐标。

具体的左和右图像的一致性检查：该要点要求参与解算的左和右图像必须是同一时刻拍摄的图像。本发明所涉及的设备必须利用两个或两个以上图像传感器对场景或目标同步成像。在对景物或目标成像时，往往是拍摄一系列图像用于量测，错误的图像配对将导致量测解算的失败。因此在拍摄完成后，需根据每幅图像拍摄的时间整理成一系列的像对，或者在调入某对图像量测时，检查图像中时间标记的对应性。

像点的对应性检查：在量测时，针对目标点A，需拾起目标点A在左图像上的像点a和右图像上的像点a’。的对应性检查主要是防止人为的拾点错误。根据立体视觉的原理，一旦目标点A的在左图像上的像点a确定，目标点A在右图像上的像点a’只可能在右图像上的一段确定的线段上。若拾取的a’不在上面，则像点a和a’不对应，解算不能继续。

像素坐标到像平面坐标的转换：本发明所涉及的设备后处理软件图像像素坐标(i，j)到像平面坐标(x，)的转换计算方法：(dx，dy为比例因子，xO，yO为成像中心在像面上的投影坐标，f为焦距)

像点坐标畸变误差的消除：像点的坐标畸变直接影响到量测的结果。根据不同的成像透镜，可选用不同的畸变模型。本发明所涉及的设备采用了复杂且完整的畸变描述模型用于修正由成像像所带来的畸变误差：

σ_x(x，y)＝s₁r²+p₁(r²+2x²)+2p₂xy+p₃(y²-2r²/3)+x(k₁r²+k₂r⁴+k₃r⁶)

σ_y(x，y)＝s₂r²+2p₁xy+p₂(r²+2y²)+p₄(x²-2r²/3)+y(k₁r²+k₂r⁴+k₃r⁶)

r²＝x²+y²

本发明所涉及的设备，采用S-O-8式成像能获得建立完整的物体三维空间的解算公式。

图像传感器各参数可通过标定获得，物方点的象点坐标可以从像片上获得，求解物方点的坐标(X，Y，Z)仅仅用两个方程是不充分的。因此必须采用双目立体或多目摄影测量，尽管采用了两台或多台图像传感器，但每台都严格遵循单象片的空间解析关系。

若两台图像传感器相机对同一目标进行摄像形成立体象对，对物体上的同一点A在左相机成象于a点(xp，yp)，在右相机成象于a′点(xp′，yp′)(a与a′称为同名点)，两台相机的内、外方位元素都已知，则可分别对左、右图像传感器按(S-O-8)建立方程，组成方程组(S-O-9)。

可变换形式为；

其中：(S-O-11)

A₁＝a₁f+a₃(x-x₀)               (S-O-12)

C₄＝c′₂f′+c′₃(y′-y′₀)

共有四个方程，可用最小二乘法求解，解X，Y，Z三个未知数，即可求解物方点的坐标(X，Y，Z)，即完成点位坐标的测量。

本实施例实现对空间物体的测量软件如图5所示，调入图片；图片参数与调入相应参数的一致性判断；选择测量模式包括点的测量，点到点的测量，点到线的测量，点到面的测量，面积测量，角度测量；得出测量结果。依据测量结果可以形成典型特征实体参数。本发明所涉及的设备和后处理软件，一方面测量的数据可以通过软件的数据交换功能，直接把测量数据所表示的基本图素(点、线、面)显示在通用建模软件的模型空间中(如AutoCAD或Pro-E)，这些基本图素可以作为三维建模的定位点和骨架；另一方面，基于量测的基础上产生典型特征实体参数，软件具有按照通用三维实体模型ACIS标准，自动地建立典型特征实体三维立体数字模型的功能，典型特征实体三维立体数字模型文件可以直接被通用三维建模工具软件(如AutoCAD、Pro-E或3DMAX)读取。如图11所示，与AUTOCAD系统交互测量界面示意图。典型特征实体的包括长方体、圆柱、球体、弯管、三通、角钢、工字钢等，软件维护了一个通用特征三维实体库(零件库、构件库)，利用典型特征实体参数，能实现从测量的数据结果到物体三维模型的数字链接。

对多种几何要素测量，包括点位坐标、距离、宽度、角度、点到面距离等，以满足建立物体三维模型的需要。点位坐标的测量是最基本的测量要素，在获得三维点位坐标后，本实施例采用的点与点的距离(计算式S-O-13，计算1、2点间距离)、点与线的距离(计算式S-O-14，计算1点到2、3点连线的距离)、两直线的夹角及点与面的距离都可以按解析几何的方法，由相关点的三维坐标值计算出来。

$d=\sqrt{{(\mathrm{Xw}2-\mathrm{Xw}1)}^2+{(\mathrm{Yw}2-\mathrm{Yw}1)}^2+{(\mathrm{Zw}2-\mathrm{Zw}1)}^2}-----(S-0-13)$

$L1=\sqrt{{(\mathrm{Xw}2-\mathrm{Xw}1)}^2+{(\mathrm{Yw}2-\mathrm{Yw}1)}^2+{(\mathrm{Zw}2-\mathrm{Zw}1)}^2}$

$L2=\sqrt{{(\mathrm{Xw}3-\mathrm{Xw}2)}^2+{(\mathrm{Yw}3-\mathrm{Yw}2)}^2+{(\mathrm{Zw}3-\mathrm{Zw}2)}^2}$

$L3=\sqrt{{(\mathrm{Xw}1-\mathrm{Xw}3)}^2+{(\mathrm{Yw}1-\mathrm{Yw}3)}^2+{(\mathrm{Zw}1-\mathrm{Zw}3)}^2}-----(S-0-14)$

$P=\frac{L1+L2+L3}{2}$

$S=\sqrt{P(P-L1)(P-L3)(P-L3)}$

$W=2\frac{S}{L1}$

如图6所示，软件模块示图，它具有图像管理功能，即两幅图像传送给计算机后，对图像系列根据拍摄时间、地点及拍摄相机的编号对图像系列进行编码，组成立体像对实现，使用状态如图10。

为了在计算机进行数据解算和三维重建时操作方便，采用两个显示器作业，其中一个显示器作空间坐标测量，另一个显示器作三维重建。如图9所示。

依据上述方法，本实施例提出的设备如图7所示，支架20上设横梁21，两个数码照相机22、23左右相距设在横梁上。遥控接收器27与控制器24设在横梁21上。电源电池25、26分别与数码照相机22、23连接。支架20上还设有左右两个监视器28、29。两数码照相机可通过通讯线与计算机连接，计算机在图中未视。

控制器24控制电路如图8所示，包括：遥控发射单元103，用以接收处理无线接收器100接受遥控的信号、电源管理单元101输入信号的控制单元微处理器200MCU；用以接收控制单元微处理器MCU控制信号，产生同步曝光控制信号的同步控制器，在此采用可编程逻辑器300CPLD为同步曝光信号控制器。控制单元微处理器200MCU与光强检测器102连接。可编程逻辑器300CPLD的曝光控制信号输出端直接分别与数码照相机22、23的曝光控制电路连接(图中未视)。

这里所述光强检测器102是一种现有摄像用的光强检测装置，它的信号输出端与控制单元微处理器200MCU连接。它用以测量拍摄现场的光强，并将测量结果传给控制单元微处理器200MCU。

遥控发射单元103及无线接收器100用以产生拍摄信号，即图像传感器拍摄指令发生装置，当然它也可以是有线的装置。

电源管理单元101：由稳压滤波，自动关机电路和待机开关组成。系统电池安装上以后，按下待机开关，无线接收单元、同步控制单元、与系统连接的图像感器接通电源，处于待机状态；在设定的时间内(例如30分钟)，如果没有设备的操作，系统自动断开电源，在持续按下按钮3秒钟以上时，系统也将自动断开电源。

同步控制器，在接收到无线接收器的输出脉冲后，MCU控制单元将曝光控制信号按照不同图象传感器的要求，同时综合光强检测器拾取的光强信号，将不同的控制码发送到CPLD(可编程逻辑器件)。CPLD由此产生相应的曝光控制信号，同时传送给每个图像传感器的曝光控制电路，曝光控制信号一方面作为图像传感器的拍摄触发信号，另一方面信号的持续时间作为图像传感器曝光时间，从而达到直接控制拍摄和快门速度的目的。为实现同步拍摄的有效控制，同步电路还具有读取图像传感器的当前状态功能，即读取图像传感器“准备好”信号，只有当设备中的所有图像传感器都为当前状态都为“准备好”，安装在设备上的指示等为“绿色”，设备才能接受同步拍照信号，避免设备在拍摄曝光、数据传输或存盘过程中接收无效同步信号或不同图像传感器处于不同状态导致产生无效像对。此外，同步电路上安装有光强检测器，自动检测环境光的光照强度，当光照不足时，提供“红灯”指示。一般在室外使用本发明涉及的设备，图像传感器都会在设定的快门速度下，获得很好的图像质量，在室内条件小，设备可能会指示光照不足，这时需要额外提供足够的照明。

Claims (15)

1、三维空间物体图像获取、数字化测量及重建方法，其特征是：它是通过至少两台设定距离的、已知参数的图像传感器同时对同一空间物体进行成像获得相对应的至少两幅图像，两幅图像传送给计算机并通过计算机，根据光学成像原理计算确定空间物体上任一目标点的三维坐标，依据所测多个目标点的三维坐标，根据几何关系确定空间物体的几何参数，从而完成对空间物体的测量。

2、如权利要求1所述三维空间物体图像获取、数字化测量及重建方法，其特征是：所述图像传感器是数码照相机。

3、如权利要求1所述三维空间物体图像获取、数字化测量及重建方法，其特征是：所述计算机对两幅图像的处理计算为：调入图片；图片参数与调入相应参数的一致性判断；选择测量模式包括点的测量，点到点的测量，点到线的测量，点到面的测量，面积测量，角度测量；得出测量结果。

4、如权利要求3所述三维空间物体图像获取、数字化测量及重建方法，其特征是：所述计算机点的测量为：对两图像传感器的参数初始化，分别获取两幅图像，检查两幅图像的一致性；拾取目标点分别在两幅图像上的像点，检查两像点的对应性；两像点像素坐标到像平面坐标的转换；消除两像点像平面坐标畸变误差；依据图像传感器的参数计算中间变量；组成解算方程组；计算得到目标点的三维坐标。

5、如权利要求4所述三维空间物体图像获取、数字化测量及重建方法，其特征是：计算得到目标点的三维坐标的方法是：最小二乘法解方程组。

6、如权利要求1或3所述三维空间物体图像获取、数字化测量及重建方法，其特征是：两幅图像传送给计算机后，对图像系列根据拍摄时间、地点及拍摄相机的编号对图像系列进行编码，组成立体像对实现图像管理。

7、如权利要求3或4所述三维空间物体图像获取、数字化测量及重建方法，其特征是：所测空间物体的几何参数可与AutoCAD或Pro-E通用软件交互绘图，或直接建立三维立体数字模型。

8、如权利要求1或7所述三维空间物体图像获取、数字化测量及重建方法，其特征是：计算机在进行数据解算和三维重建时，采用两个显示器作业，其中一个显示器作空间坐标测量，另一个显示器作三维重建。

9、三维空间物体图像获取、数字化测量及重建的设备，其特征在于包括：(1)至少两个图像传感器，图像传感器之间的距离已知，图像传感器优选数码照相机；

(2)用以控制多个图像传感器动作的控制器；

(3)与图像传感器进行数据通讯的图像处理设备，图像处理设备可优选计算机；

(4)为图像传感器提供的电源；

(5)图像传感器拍摄指令发生装置。

10、如权利要求8所述三维空间物体图像获取、数字化测量及重建的设备，其特征在于它还包括支撑架，所述图像传感器设在支架上。

11、如权利要求10所述三维空间物体图像获取、数字化测量及重建的设备，其特征在于支架上连接横梁，两个图像传感器相距设在横梁上。

12、如权利要求8所述三维空间物体图像获取、数字化测量及重建的设备，其特征在于所述图像传感器拍摄指令发生装置为有线或无线装置，特别采用遥控器和无线接收器。

13、如权利要求8所述三维空间物体图像获取、数字化测量及重建的设备，其特征在于所述控制器包括：

用以接收处理无线接收器接受遥控的信号、电源管理单元101输入信号的控制单元微处理器MCU；

用以接收控制单元微处理器MCU控制信号，产生同步曝光控制信号的同步控制器，特别采用可编程逻辑器CPLD为同步控制器。

14、如权利要求13所述三维空间物体图像获取、数字化测量及重建的设备，其特征在于所述控制器还包括拍摄场地光强检测器，光强检测器与控制单元微处理器MCU连接。

15、如权利要求8或13或14所述三维空间物体图像获取、数字化测量及重建的设备，其特征在于所述控制器即可编程逻辑器CPLD的曝光控制信号输出端直接与图像传感器即数码照相机的曝光控制电路连接。

Images