CN101533529A

CN101533529A - 基于深度图像的三维空间数据处理方法与装置

Info

Publication number: CN101533529A
Application number: CN200910077846A
Authority: CN
Inventors: 王晏民; 危双丰
Original assignee: Beijing University of Civil Engineering and Architecture
Current assignee: Beijing University of Civil Engineering and Architecture
Priority date: 2009-01-23
Filing date: 2009-01-23
Publication date: 2009-09-16
Anticipated expiration: 2029-01-23
Also published as: CN101533529B

Abstract

本发明涉及基于深度图像的三维空间数据处理方法与装置，其利用地面激光雷达扫描物体获得物体的表面的三维点云数据，利用PL/SQL程序设计方法创建数据库对象表，根据事先分割好的点云拟合参考基准面，生成点云的最小外包盒(MBB)，接着根据拟合得到的参考基准面生成深度图像。之后将最小外包盒和深度图像数据写入数据库对象表中，并建立MBB与深度图像对象之间的关系，接着对已经入库的数据库对象建立R树三维空间数据库索引，最后基于Oracle Objects for OLE(OO4O)和OpenGL实现可视化。

Description

基于深度图像的三维空间数据处理方法与装置

技术领域

本发明属于计算机图形学，三维可视化领域，涉及到一种基于深度图像的三维空间数据处理的方法与装置。

背景技术

上世纪90年代，出现了利用地面激光雷达获取空间对象三维信息的新的测量技术，地面激光雷达扫描获取的数据能够对物体进行精细的表达，而对于结构复杂的物体，例如比现代建筑复杂得多的古建筑结构，进行扫描获取的数据量不仅庞大，而且数据具有典型的古建筑构件特征。因此如何对大规模的古建筑三维激光扫描数据按照不同的特征进行有效的分割、简化、模型重建以及模型组织与管理，来实现快速的浏览和流畅的显示，成为迫切需要解决的问题。除了古建筑，例如敦煌石窟等物体也有同样的问题。

点云(Point Cloud)是在同一空间参考坐标系下可以表达目标空间分布的XYZ坐标的集合，还可以包括如激光反射强度或RGB真彩色等其他信息(Barber D.M.，Mills J.P.and BryanP.G，2003)。目前测绘领域所常提到的点云数据主要通过两种方式获取：第一种通过激光测量技术获取，包括主要地面激光雷达，机载Lidar和车载激光雷达获取的点云数据。第二种是通过摄影测量的方法从航空遥感影像中获得，但是相比激光测量技术获取的点云数据量来说，要小的多。常见的点云数据的格式有dxf(AutoCAD)、XYZ、TXT、PTX等。

目前对于三维激光扫描技术获取的数据的处理大多采用国外的软件。各种类型的三维激光扫描仪配有相应的点云数据处理软件，如Leica公司Cyrax的cyclone软件、RIGEL公司LMS-Z420的3D-RiSCAN软件、OpTech公司ILRIS-3D的ILRIS-3D Parser软件、MENSI公司GS100的3Dipsos&RealWorks软件、I_SITE公司I-SiTE Scanner的I-SiTE3DLaserImaging软件等。这些软件一般都具有点云数据可视化、配准与拼接、编辑、三维建模、纹理分析处理和数据转换等功能。而随着数据量的增大，在基于不同视点进行显示时，模型渲染速度缓慢。所以，对于大规模点云建模和管理，要实现实时快速的渲染，必须研究最佳的模型表达方式，并对建立的模型实施有效的数据组织与管理，才能满足用户需求。

对于大量的点云数据如何进行有效的组织与管理是目前点云数据管理是当前面临的技术问题。现有的比较流行的点云处理软件，也提供了对点云的数据库管理，如Leica公司的cyclone软件提供了对多站点云的有效管理，现在的cyclone5.6可以对10亿个点的管理。目前，大规模数据可视化研究的焦点大多集中在面的绘制，而不是点的绘制。人们提出了各种各样的数据模型和方法：LoD模型(LevelofDetail)(杨崇源，张继贤etal.2001；RemondinoFabio2003；华炜，2002)、基于点的绘制等(Marc.and Szymon2000；Wand，Fischer et al.2001，Wand and Straber 2002)，其主要思想就是减少实际交给显卡绘制的数据量，使用少量三角形或者少量片状有向点绘制精度较低的数据，使用密集的三角形或者片状有向点绘制精度较高以及形状变化剧烈的地方。在绘制大数据量网格时，这些方法起了一定的优化作用，比如Out-of-Core技术是一种在计算机图形显示中常用的加快显示速度的技术，将要显示的数据按照一定的规则组织在外存，绘制时直接将外存的数据调入到内存进行显示，而不需要进行太多的内存计算，将Out-of-Core技术应用于地面三维激光扫描点云的快速显示，但是其实验中所处理的数据量较小，而且将数据组织成为适合Out-of-Core显示的格式通常需要大量的计算时间。但是并没有考虑实际应用中需要快速加载原始数据，在较短的时间内将原始数据组织成为适合显示的格式。

发明内容

本发明致力于解决上述技术问题，为此，本发明提供一种基于深度图像的三维数据处理装置，该装置包括一个数据模块，其包含一个数据库，可以是ORACLE，用于存储深度图像；以及一个点云数据存储模块(附图1中的FILES)，用于存储点云数据；

一个数据处理模块，其包括一个深度图像生成模块，其从点云数据存储模块中读取点云数据，根据点云数据拟合得到参考基准面，并根据参考基准面生成深度图像，以及一个数据存储模块，用于实现与数据模块之间的数据存取操作，该数据存储模块可以通过PL/SQL和Oracle Objects for OLE(OO4O)等语言命令来控制；

一个数据库管理模块(附图1中的“LOD管理模块”和“空间数据库索引模块”)，用于接收数据处理模块的数据，深度图像的LOD(LevelofDetail，细分层次)管理和三维空间数据库索引的建立；上述数据库管理模块还用于计算点云的最小包围盒MBB，建立MBB和深度图像之间对应关系；

一个显示模块(附图1中的“场景绘制模块”)，基于OpenGL等可视化技术实现大规模场景的实时绘制；

更进一步，上述点云数据的处理装置包括一个数据检索模块，用于对物体(例如感兴趣建筑物)构件的查询。

以上各模块从逻辑上看可以分为四个层面：数据层、数据处理层、数据管理层和应用层，如图1所示。该装置中所涉及到的模块的进一步限定将在随后进行描述。

另外一个方面，本发明提供一种基于深度图像的三维数据处理方法，该方法包括：

在空间中布置测站；

在测站利用激光扫描仪对物体进行扫描，获取点云数据；

根据点云数据生成基准面；

根据生成的基准面生成深度图像；

计算点云的最小包围盒(MBB)，建立MBB和深度图像之间对应关系。

上述方法更进一步包括将MBB和深度图像对象模型一并存入数据库的步骤。

更进一步，所述基准面包括平面基准面、柱面基准面或球面基准面，所述深度图像可以是根据平面深度图像、柱面深度图像或球面深度图像；

另一方面，针对地面激光雷达扫描获取的大规模古建筑点云数据，本发明提供一种利用基于不同参考面的深度图像来对建筑构件进行重新建模并显示的方法，并以每个构件所在的最小外包盒(Minimum Bounding Box，MBB)作为空间数据库管理对象，建立三维R树空间索引，实现海量数据的快速可视化。

该方法包括，利用地面激光雷达扫描物体获得物体的表面的点云数据，其特征在于，包括以下步骤：

利用扫描仪对建筑物进行扫描，得到三维点云数据；

将扫描获得的建筑物不同站点的点云数据进行配准之后，从建筑整体点云模型中按照建筑特征对点云进行分割和提取；

根据已按照几何特征分割好的点云数据拟合与其特征相应的基本几何形状的参考基准面；

将点云数据以相应参考面为基准生成深度图像；

将以参考面为基准生成的深度图像以最小外包盒方式转换为三维直角坐标系中的表达形式并以数据库形式存储；

对数据库中的数据库对象建立三维R树空间索引；

利用三维R树空间索引，利用金字塔分层组织结构来建立的深度图像的层次细节LOD模型，实现物体实际形状的实时快速可视化。

更进一步，上述将点云数据以相应参考面为基准生成基准图像的步骤进一步包括：

a)根据拟合得到的参考基准面，获得基准面姿态即获取基准面的旋转、平移参数，并确定参考基准面所在的局部坐标系；

b)将点云数据投影到参考基准面，得到二维的X、Y坐标并计算点到投影面的距离值，形成局部坐标系下的点云数据集合，同时确定点在投影面的坐标覆盖范围；

c)按照内插格网间距，将坐标覆盖范围进行划分，生成等间距的规则格网；

d)根据局部坐标系下的点云集合，内插这些格网点相对于基准面的距离值从而生成新的深度图像。

更进一步，所述的参考面可以是平面、柱面、球面。其中，以平面为参考面拟合的深度图像中采用最小二乘法拟合；以球面为参考面拟合的深度图像中采用线性最小二乘法拟合；

更进一步，以柱面为参考面拟合的深度图像中采用如下算法拟合：

1)建立圆柱面几何距离函数的参数方程；

2)采用高斯映射法，首先在高斯图上，通过求取过高斯图坐标系原点的平面，确定圆柱体轴线的方向向量，然后，在轴线方向向量已知的情况下，将点投影到过原点法向量为轴向方法的平面上，并利用基于Hough变换的圆检测方法对投影点集进行拟合，求取圆柱体轴线上一点的坐标及圆柱的半径，从而确定距离函数参数化方程中的五个参数初始值；

3)将以上求取的曲面各参数的初始值作为迭代初始值，采用Levenberg-Marquardt方法进行迭代计算，最后得到迭代最优解。

更进一步地说，本发明的数据库采用双字节存储法，来对深度图像距离值进行有效压缩。

所述的三维R树空间索引由三维R树索引类型(INDEXTYPE)和空间操作算子(Operators)实现。

本发明的有益效果是：以地面三维激光扫描得到点云作为研究对象，以不同参考基准面建立的深度图像为三维空间数据模型，并以此模型的最小外包盒为建立R树三维空间数据库索引，结合层次细节(LOD)等技术，形成一套数据建模、组织管理与可视化完整的体系。为地面激光雷达扫描数据的管理和快速可视化提供服务。为古建筑大规模三维场景重建以及快速可视化提供了思路和解决方案。其中的深度图像采用双字节存储法，可以对数据进行有效压缩；三维R树索引类型(INDEXTYPE)和操作算子，弥补了现在众多空间数据库管理系统对三维索引支持不够的缺陷。

附图说明

图1是本发明提供的处理点云数据的装置的示意图；

图2是本发明提供的处理点云数据的方法的示意图；

图3是本发明的深度图像模型生成流程图；

图4是本发明的概念模型图；

图5是本发明的网格索引图；

图6是本发明的数据库物理模型图；

图7是本发明的数据库表设计图；

图8是本发明的数据库组织索引建立流程图；

图9是本发明的海量数据可视化流程图；

图10是本发明的数据检索流程图；

图11是本发明的系统主界面图；

图12是古建筑门牌的的深度图像；

图13是古建筑内部梁的原始点云与拟合结果重叠显示；

图14是古建筑内柱子的圆柱基准面深度图像与点云叠加显示；

图15是本发明的古建筑屋顶与大木结构图；

图16是本发明的Imageware中大木结构NURBS表面模型。

具体实施方式

下面结合附图对本发明的具体实施例加以说明：本实施例中，将某古建筑的地面激光雷达扫描数据，按梁、柱和部分的瓦构件进行特征分割，生成相应的深度图像并存入数据库，然后采用相应的可视化技术实现海量深度图像的快速可视化。

表1 环境配置表

软件	配置版本	数量
软件	配置版本	数量	配置环境	Microsoft Windows XP Profesional Service Pack 2，Intel(R)Xeon(TM)CPU 3.00GHZ，2.00GB内存	3台
数据库	Oracle 10g、PL/SQL语言、Oracle Objects for OLE(OO4O)开发包	1个服务器，2个客户端	配置环境		3台
数据库	Oracle 10g、PL/SQL语言、Oracle Objects for OLE(OO4O)开发包	1个服务器，2个客户端	数据库模型设计工具	PowerDesigner 11
图形库	OpenGL图形库		数据库模型设计工具	PowerDesigner 11
图形库	OpenGL图形库		软件开发环境	Microsoft Visual C++

本实施例采用Microsoft Windows XP Profesional Service Pack 2，Intel(R)Xeon(TM)CPU3.00GHZ，2.00GB内存的PC电脑，以Oraele10g作为数据库平台，利用数据库系统设计工具PowerDesigner设计数据库对象模型、数据库表，使用PL/SQL语言进行数据库建库和管理，最后基于Oracle Objects for OLE(OO4O)和OpenGL可视化编程技术，利用Microsoft VisualC++开发具有快速显示和检索查询功能的可视化管理系统。其环境和工具如表1。

附图1发明提供的点云数据的处理装置的示意图。该装置包括一个数据模块，其包含一个数据库，可以是ORACLE，用于存储深度图像；以及一个点云数据存储模块附图中的FILES)，用于存储点云数据；

一个数据库管理模块(附图1中的“LOD管理模块”和“空间数据库索引模块”)，用于接收数据处理模块的数据，深度图像的LOD(LevelofDetail，细分层次)管理和三维空间数据库索引的建立；上述数据库管理模块还用于计算点云的最小包围盒MBB，建立MBB和深度图像之间对应关系。

更进一步，上述点云数据的处理装置包括一个数据检索模块，用于对感兴趣建筑物构件的查询。

以上各模块可以采用硬件或者软件来实现，从逻辑上看可以分为四个层面：数据层、数据处理层、数据管理层和应用层，如图1所示。

实现对点云数据的处理的方法如附图2所示：首先建立基于深度图像的三维空间数据概念模型，并在此基础之上设计相应的物理模型，然后利用PL/SQL程序设计方法创建数据库对象表，接下来根据事先分割好的点云拟合参考基准面，并生成点云的最小外包盒(MBB)，再接着根据拟合得到的参考基准面生成深度图像。之后将最小外包盒和深度图像数据写入数据库对象表中，并建立MBB与深度图像对象之间的关系，接着对已经入库的数据库对象建立R树三维空间数据库索引，最后基于Oracle Objects for OLE(OO4O)和OpenGL可视化编程技术，利用Microsoft Visual C++开发地面激光雷达数据可视化管理系统。

以下部分对上述装置和方法中的细节进行描述。

利用扫描仪对建筑物进行扫描，得到三维点云数据；

利用预先基于照建筑构件特征分割好的点云数据生成不同基准面的深度图像模型，其过程参见图3。

本实施方式利用预先按照古建筑构件特征分割好的点云生成不同基准面的深度图像模型的流程图如图3。本实施方式采用平面基准面、柱面基准面或球面基准面。

具体过程描述如下：首先进行点云特征分割的预处理工作；然后导入点云数据，根据点云形状判断点云所参考的基准面；然后采用基准面拟合的策略方法分别生成平面基准面、柱面基准面或球面基准面；接着指定内插格网大小，根据生成的基准面类型，分别生成平面深度图像、柱面深度图像或球面深度图像；最后计算点云的最小包围盒(MBB)，建立MBB和深度图像之间对应关系，并将MBB和深度图像对象模型一并存入数据库。

整个古建筑扫描最原始布置测站92个，获取古建筑的外部数据选取中程距离扫描仪HDS3000进行扫描，对于建筑室内的扫描采用短程距离扫描仪HDS4500获取的扫描。

扫描获取的数据一般以数据库或文件的形式存储。采用Leica的Cyclone软件将数据以数据库的形式组织管理，所有扫描信息都存放在一个imp格式的文件中。利用Cyclone将这些原始数据配准后分块存储，生成11块数据。取其中3块数据作为实施数据，在其中进行特征分割并去噪，提取门、梁、柱、瓦等构件后得到点云的PTX文件数据，然后建立深度图像存入数据库。

本实施例中的古建筑主要以门、瓦片、梁、柱构成，所以以平面、柱面或球面作为深度图像的参考框架，建立不同参考基准面的深度图像。

下面具体介绍如何按照古建筑特征对点云进行分割和提取，以三种不同参考基准面生成深度图像。本实施例采用最小二乘法对提取点云进行平面基准面的拟合。对于圆柱面基准面拟合，所采取的方法是首先建立柱面距离函数的参数化方程，然后利用高斯映射法获取拟合初值，最后采用Levenberg-Marquardt方法进行非线性最小二乘求解。球面基准面的拟合采用线性最小二乘方法。下面分别对平面、圆柱面和球面拟合方法进行详细的介绍。

平面拟合：采用最小二乘法。

设拟合的平面方程为a₀+a₁x+a₂y＝-z，由点(x，y，z)组成的矛盾方程组为

\{\begin{matrix} a_{0} + a_{1} x_{0} + a_{2} y_{0} = - z_{0}, \\ a_{0} + a_{1} x_{1} + a_{2} y_{1} = - z_{1}, \\ \cdot \cdot \cdot \cdot \cdot \cdot \cdot \cdot \cdot \cdot \cdot \cdot \cdot \cdot \cdot \cdot \cdot \cdot \cdot \cdot \cdot \cdot \cdot \cdot \cdot \cdot \cdot \cdot \cdot \cdot \cdot \cdot \\ a_{0} + a_{1} x_{n} + a_{2} y_{n} = - z_{n} \end{matrix} - - - (1)

根据最小二乘法原理，要使给定点的偏差的平方和Q最小：

Q = Σ_{i = 0}^{n} {(a_{0} + a_{1} x_{i} + a_{2} y_{i} + z_{i})}^{2} - - - (2)

要使Q值最小，则当Q对a₀，a₁，a₂的偏导数同时为零时，它将出现最小值。则：

\{\begin{matrix} \frac{&PartialD; Q}{&PartialD; a_{0}} = Σ_{i = 0}^{n} 2 (a_{0} + a_{1} x_{i} + a_{2} y_{i} + z_{i}) = 0 \\ \frac{&PartialD; Q}{&PartialD; a_{1}} = Σ_{i = 0}^{n} 2 (a_{0} + a_{1} x_{i} + a_{2} y_{i} + z_{i}) x_{i} = 0 \\ \frac{&PartialD; Q}{&PartialD; a_{2}} = Σ_{i = 0}^{n} 2 (a_{0} + a_{1} x_{i} + a_{2} y_{i} + z_{i}) y_{i} = 0 \end{matrix} - - - (3)

用矩阵形式表示可得

[\begin{matrix} 1 & 1 & . . . & 1 \\ x_{0} & x_{1} & . . . & x_{n} \\ y_{0} & y_{1} & . . . & y_{n} \end{matrix}] ([\begin{matrix} 1 & x_{0} & y_{0} \\ 1 & x_{1} & y_{1} \\ M & M & M \\ 1 & x_{n} & y_{n} \end{matrix}] [\begin{matrix} a_{0} \\ a_{1} \\ a_{2} \end{matrix}] - [\begin{matrix} - z_{0} \\ - z_{1} \\ M \\ - z_{2} \end{matrix}]) = [\begin{matrix} 0 \\ 0 \\ M \\ 0 \end{matrix}] - - - (4)

令

M = [\begin{matrix} 1 & x_{0} & y_{0} \\ 1 & x_{1} & y_{1} \\ M & M & M \\ 1 & x_{n} & y_{n} \end{matrix}], A = [\begin{matrix} a_{0} \\ a_{1} \\ a_{2} \end{matrix}], Z = [\begin{matrix} - z_{0} \\ - z_{1} \\ M \\ - z_{n} \end{matrix}],

则M^T(MA-Z)＝0，从而

A＝(M^TM)^-1M^TZ (5)

根据式(5)带入点云x，y，z坐标求得系数a₀，a₁，a₂，因此拟合曲面法向量为(a₁，a₂，1)，标准化为：

n = (n_{x}, n_{y}, n_{z}) = (\frac{a_{1}}{\sqrt{a_{1}^{2} + a_{2}^{2} + 1}}, \frac{a_{2}}{\sqrt{a_{1}^{2} + a_{2}^{2} + 1}}, \frac{1}{\sqrt{a_{1}^{2} + a_{2}^{2} + 1}}) - - - (6)

圆柱面拟合：

设圆柱面到坐标原点的最近距离为ρ|n|，其中n为圆柱的法向量，且|n|＝1。设圆柱中心轴的方向矢量为a，且|a|＝1，圆柱的半径为1/κ，n·a＝0。将n用球面坐标表示，即其中

为n与z轴的夹角，θ为n与x轴的夹角。n对

θ的偏导数分别为

将

标准化：

则

和n构成正交基，矢量就可参数化为：

(9)

因此柱面就可参数化为

可见，经过重新参数化后，圆柱面的参数由方程：

F (x, y, z) =

\sqrt{{[(x - x_{0}) m - (y - y_{0}) l]}^{2} + {[(y - y_{0}) n - (z - z_{0}) m]}^{2} + {[(z - z_{0}) l - (x - x_{0}) n]}^{2}} - R = 0

中关联的7个参数(x₀，y₀，z₀，m，n，l，R)转变为相互独立的5个参数

设p_i为空间任意一点，将p_i到圆柱面的距离函数

d (S, p_{i}) = | (p_{i} - (ρ + \frac{1}{κ}) n) \times a | - \frac{1}{κ}

= \sqrt{{| p_{i} - (ρ + \frac{1}{κ}) n |}^{2} - {((p_{i} - (ρ + \frac{1}{κ}) n) \cdot a)}^{2}} - \frac{1}{κ} - - - (10)

然后将形成

d (S, p_{i}) = \sqrt{g} - h

的距离函数用

d (S, p_{i}) = \frac{g - h^{2}}{2 h} = d + \frac{d^{2}}{2 h}

用来近似，避免对根式的求解以简化计算。对于柱面，距离函数(10)就可用

d (S, p_{i}) = \frac{κ}{2} ({| p_{i} |}^{2} - 2 ρ p_{i} \cdot n - {(p_{i} \cdot a)}^{2} + ρ^{2}) + ρ - p_{i} \cdot n - - - (11)

来近似表示。将

带入得到

其中

P (p_{i}) = (x_{i}^{2}, y_{i}^{2}, z_{i}^{2}, x_{i} y_{i}, x_{i} z_{i}, y_{i} z_{i}, x_{i}, y_{i}, z_{i}, 1)

对于柱面参数的拟合可以采用Levenberg-Marquardt方法求解该非线性最小二乘解。

参数κ、ρ、

、θ及α的初值采用高斯映射法获取，高斯映射是指将曲面上任一点的单位法向量的起点平移到坐标原点的过程。圆柱体(不包括两个端部)的高斯图是高斯球上过坐标原点的一个平面与高斯球所交圆弧曲线上的点集，因此圆柱体轴线向量与其高斯图所在平面的法向量平行(TRabbani，2005)。为了获取较好的初值，利用圆柱体轴线方向向量与其高斯图所在平面的法向量平行的特性，首先在高斯图上，通过求取过高斯图坐标系原点的平面，确定圆柱体轴线的方向向量；其次，在轴线方向向量已知的情况下，将点投影到过原点法向量为轴向方法的平面上，并利用基于Hough变换的圆检测方法对投影点集进行拟合，求取圆柱体轴线上一点的坐标及圆柱体半径。具体步骤如下：

(1)圆柱体高斯图生成

因为圆柱高斯图是测量点的单位法向量的集合，所以高斯图的计算过程就是计算测量点的单位法向量。为了提高法向计算精度，本实施例采用二次曲面拟合的办法来实现单位法向量的计算。一般二次曲面方程为

F(x，y，z)＝a₁₁x²+a₂₂y²+a₃₃z²+a₁₂xy+a₂₃yz+a₁₃xz+a₁₄x+a₂₄y+a₃₄z+a₄₄＝0 (13)

令：

F₁(x，y，z)≡a₁₁x+a₁₂y+a₁₃z+a₁₄，F₂(x，y，z)≡a₁₂x+a₂₂y+a₂₃z+a₂₄，

F₃(x，y，z)≡a₁₃x+a₂₃y+a₃₃z+a₃₄，F₄(x，y，z)≡a₁₄x+a₂₄y+a₃₄z+a₄₄。

二次曲面在非奇点(x_i，y_i，z_i)处的切平面为

(x-x_i)F₁(x_i，y_i，z_i)+(y-y_i)F₂(x_i，y_i，z_i)+(z-z₁)F₃(x_i，y_i，z_i)＝0 (14)

故二次曲面上任一点的法向向量n_i为(F₁(x_i，y_i，z_i)，F₂(x_i，y_i，z_i)，F₃(x_i，y_i，z_i))，二次曲面拟合采用线性最小二乘法。

(2)确定轴向参数初值

设轴向为a＝(l，m，n)，则可以通过二次曲面点的法向拟合轴向，拟合方程组为a·n_i＝0，即

lF_i(x_i，y_i，z_i)+mF₁(x_i，y_i，z_i)+nF₃(x_i，y_i，z_i)＝0 (15)

同样采用线性最小二乘拟合法得到轴向a，进而确定参数

、θ及a的初值。

(3)确定圆柱轴线某一点坐标和半径初值

接着将点投影到过原点法向量为a的平面上，并利用基于Hough变换[10]的圆检测方法对投影点集进行拟合，可以确定圆心和圆半径即圆柱半径的初值R₀。最后将获取的平面圆心变换到原始坐标系中记为O₀，从而可以确定参数κ和ρ的初值。其中κ＝1/R₀，ρ＝|OO₀|-R₀。

对于圆柱状或似圆柱状物体扫描进行点云提取，然后建立圆柱面的参数方程后，就可以进行圆柱面拟合的具体求解计算，对于二次曲面的拟合都需要求解非线性最小二乘解。采用Levenberg-Marquardt方法求解，通常这样的迭代方法都需要给定一个较好的初始值，下面给出本实施例所述柱面拟合算法的一般步骤：

a)建立圆柱面几何距离函数的参数方程；

b)采用高斯映射法，首先在高斯图上，通过求取过高斯图坐标系原点的平面，确定圆柱体轴线的方向向量；然后，在轴线方向向量已知的情况下，将点投影到过原点法向量为轴向方法的平面上，并利用基于Hough变换的圆检测方法对投影点集进行拟合，求取圆柱体轴线上一点的坐标及圆柱的半径。从而确定距离函数参数化方程中的五个参数初始值。

c)将以上求取的曲面各参数的初始值作为迭代初始值，采用Levenberg-Marquardt方法(袁亚湘，孙文瑜，2003)进行迭代计算，最后得到迭代最优解。

球面拟合：球面拟合采用线性最小二乘法实现。

球面方程的一般形式为：

F (x, y, z) = x^{2} + y^{2} + z^{2} + c_{7} x + c_{8} y + c_{9} z + c_{10} = 0 \{\begin{matrix} x_{0} = - \frac{c_{7}}{2} \\ y_{0} = - \frac{c_{8}}{2} \\ z_{0} = - \frac{c_{9}}{2} \\ R = \frac{\sqrt{c_{7}^{2} + c_{8}^{2} + c_{9}^{2} + - 4 c_{10}}}{2} \end{matrix}

由于方程中包含常数项

故可以采用奇异值分解法求解。球面拟合方程组Ax＝b，其中

A = [\begin{matrix} x_{1} & y_{1} & z_{1} & 1 \\ x_{2} & y_{2} & z_{2} & 1 \\ M & M & M & M \\ x_{n} & y_{n} & z_{n} & 1 \end{matrix}], x = [\begin{matrix} c_{7} \\ c_{8} \\ c_{9} \\ c_{10} \end{matrix}], b = [\begin{matrix} x_{1}^{2} + y_{1}^{2} + z_{1}^{2} \\ x_{2}^{2} + y_{2}^{2} + z_{2}^{2} \\ M \\ x_{n}^{2} + y_{n}^{2} + z_{n}^{2} \end{matrix}]

在求得最小二乘解x后，通过球面方程就可得到球面的参数：球心坐标(x₀，y₀，z₀)和半径R。

得到平面、柱面、球面的参考基准面之后，就可以将点云数据以参考基准面为基准来生成深度图像，其过程如下：

(1)根据拟合得到的参考基准面，获得基准面姿态即获取基准面的旋转、平移参数，并确定参考基准面所在的局部坐标系；

(2)将点云投影到参考基准面，得到二维的X、Y坐标并计算点到投影面的距离值；形成局部坐标系下的点云集合，同时确定点在投影面的坐标覆盖范围；

(3)按照内插格网间距，将坐标覆盖范围进行划分，生成等间距的规则格网；

(4)根据局部坐标系下的点云集合，内插这些格网点相对于基准面的距离值，从而生成新的深度图像。

从上述过程可以看出，生成深度图像涉及基准面姿态的确定、内插格网间距的确定和不同局部坐标系下的内插策略和方法，下面分别对这几个问题作相应的说明。

基准面姿态的确定：确定基准面的姿态就是要根据拟合的基准面参数获取基准面的旋转、平移参数，对于平面基准面，可根据拟合平面的法向确定旋转角度，平移量则由平面新的原点确定；对于圆柱面基准面，旋转角度可根据轴线方向确定，平移量则由柱面新的原点即

o_{0}^{'} = (ρ + \frac{1}{κ}) n + o_{0}

确定；球面只需确定球心坐标即可确定球面姿态。

深度图像内插格网大小的确定：本实施例采用基于格网的快速内插算法。具体方法描述如下：首先根据在拟合基准面坐标系下新生成的坐标确定点云在XOY平面的最小最小X、Y坐标，确定这些点云在XOY投影平面的最小外包矩形(MBR)，然后根据上节获取的格网间距，将MBR分割为m行n列的正方形格网(如图5)，(m，n)表示第m行第n列的格网点，左上角点(m，0)表示第m行第0列，右下角点(0，n)表示第0行第n列)，然后逐一为每一个点建立格网索引；在内插时，对于每一个需要内插的格网点，取其周围的4个格网中所有点来进行高程值的加权平均，从而获得格网点的距离值，灰度值则取所有点中离格网点最近的点的灰度值。图5中点(i，j)为需要拟合的格网点。

深度图像生成之后，需要将深度图像封装为数据库对象存入数据库。同时也需要将深度图像最小外包盒存入数据库。深度图像模型的最小外包盒根据提取的初始点云来确定，即最小外包盒的最大最小x、y、z值为点云坐标中的最大最小x、y、z值。

将生成的MBB对象模型数据存入数据库时，与其包含的深度图像进行关联，即利用MBB的深度图像指针建立MBB与深度图像数据库对象的联系，附图4示意了一种联系。

为了建立有效的数据库模型，本实施例设计了一些实体模型。下面首先介绍各实体模型所包含的属性，然后叙述实体间的相互关系，其模型及关系如图4。

为了更清楚地说明本发明，下面对本发明中所使用的一些术语做出必要的说明：

(1)最小外包盒

最小外包盒表达深度图像所在的最小外包盒(MBB)，包括左下后点、右上前点、平移旋转矩阵，深度图像对象指针等属性。其中左下后点和右上前点确定最外包盒的空间位置，平移旋转矩阵记录深度图像的参考基准面的原点相对于最小外包盒的几何变换关系，深度图像指针指向深度图像数据库对象。

(2)深度图像

深度图像包括的属性有：基准面类型，坐标单位、行数、列数、X方向格网间距、Y方向格网间距、距离缩放比例尺、距离最大值、距离最小值、反射强度最大值、反射强度最小值，距离和反射强度值集合。其中基准面是平面基准面、柱面基准面和球面基准面中的任何一中，行数和列数是根据点在基准面的二维投影范围以及X方向格网间距和Y方向格网间距计算得到。

(3)仿真深度图像：仿真深度图像是赋有光学影像纹理的深度图像，它从深度图像派生而来，除了继承深度图像的所有属性，还增加了影像数据属性。

(4)参考基准面：参考基准面是一个抽象对象，主要包括类型ID和原点属性。它是平面基准面、柱面基准面或球面基准面的父类。

(5)平面基准面：平面参考基准面是从参考基准面派身而来，除了继承参考基准面的类型ID和原点属性，还包括平面的法方向属性。

(6)柱面基准面：柱面参考基准面是从参考基准面派身而来，除了继承参考基准面的类型ID和原点属性，还包括柱面的中心轴方向、圆柱半径、圆柱高度等属性。

(7)球面基准面：球面参考基准面是从参考基准面派身而来，除了继承参考基准面的类型ID和原点属性，还包括球面的半径属性。

(8)三维双精度点：三维双精度点实体记录了点的空间位置，包括坐标X、坐标Y和坐标Z属性。

(9)旋转平移矩阵：旋转平移矩阵实体记录参考基准面的原点相对于最小外包盒的几何变换矩阵，包括绕X轴的旋转角、绕Y轴的旋转角、绕Z轴的旋转角、X轴方向的位移、Y轴方向的位移、Z轴方向的位移等属性。

为了更加清楚地说明本发明，以下对本发明中所使用的术语之间的关系进行说明，本领域的技术人员应当明白，这些说明只是解释性的，而不是对本发明精神的限制。

参考基准面与深度图像：参考基准面与深度图像是1:1的关系，每一个深度图像都必须含有唯一一个参考基准面。而这个参考面是从它派生的平面基准面、柱面基准面或球面基准面中的一个对象。

三维双精度点与最小外包盒：三维双精度点与最小外包盒是2:1的关系，每一个最小外包盒都必须含有两个双精度点即左下后点和右上前点。

最小外包盒与三维双精度点：最小外包盒与三维双精度点是2:1的关系，每一个最小外包盒都必须含有两个双精度点即左下后点和右上前点。

最小外包盒与平移旋转矩阵最小外包盒与平移旋转矩阵是1:1的关系，每一个最小外包盒都必须含有唯一的平移旋转矩阵。

最小外包盒与深度图像：最小外包盒与深度图像是1:1或1:0的关系，每一个最小外包盒都必须对唯一一个深度图像对象，这个对象可能是深度图像对象，也可能是仿真深度图像对象。

最小外包盒与仿真深度图像：最小外包盒与仿真深度图像是1:n的关系，每一个最小外包盒都必须对唯一一个深度图像对象，这个对象可能是仿真深度图像对象，也可能是深度图像对象。

为了数据便于压缩，本实施例并采用双字节存储法存储深度图像数据库模型中的距离数据。由于用2字节的无符号整数来存储坐标值，因此其能够有效地压缩数据存储量。

本实施例可以基于Oracle技术来实现。其中包括数据库表、抽象数据类型、对象操作包以及触发器等的设计。在一种实施方式中，利用PowerDesigner软件设计来设计数据库物理模型，其中包括11个抽象数据类型、6个表和一个触发器的设计。

其中抽象数据类型即对象类型，它是Oracle的PL/SQL语言提供的一种面向对象的数据结构。对象类型与Java和C++中的类相似，它是对象的定义或模板，而不是对象本身。也是由一些属性和方法构成，属性描述对象的特征，方法是描述对象的行为或动作的过程。

在六个表中有四个表为对象表，两个表为一般表。关于对象表，指的是基于对象类型创建的，与对象类型的属性定义相一致，对象表包含对象列，对象表中的每一行都是对象的一个实例，并且对象表中只包含与对象类型的属性相匹配的列。

本实施例的数据库中还包括触发器的设计。触发器指的是存在数据库中的某个触发行为，其与在数据库中执行的某种操作相关联。本实施例用到的触发器主要是进行表的插入操作后记录当前插入行的ROWID值。

下面分别对它们的具体设计内容做介绍。

数据库中的物理模型设计图如图6，具体描述如下：

1)抽象数据类型

其中抽象数据类型(Abstract Data Type)为自定义的数据类型，主要的结构包括(如图6)：三维双精度点、单位向量、基准面类型、平面基准面类型、柱面基准面类型、球面基准面类型、几何变换对象类型、最小外包盒(MBB)对象类型、深度图像对象类型、仿真深度图像对象类型、深度图像LOD对象类型。

2)表设计

表的设计包括如下六个表，其最小包围盒表、深度图像对象表、仿真深度图像对象表、深度图像LOD对象表等四个表为对象表，R树索引表和LOD级别字典为一般表。其中表之间的关系如图7所示：最小包围盒对象表通过叶子深度图像对象指针访问深度图像或仿真深度图像对象表中对应的实例，R树索引表中的叶子节点通过节点ID与最小包围盒对象表建立联系，深度图像LOD对象表通过原始深度图像OID与深度图像对象表建立联系，同时通过层次细节级别与LOD级别字典建立联系。

3)触发器设计

本实施例设计的触发器名称为DEMOBJTABLE_INSERT，其功能是在DEMOBJTABLE表进行插入或更新操作后，获取新生成的当前对象的ROWID。

数据建库组织流程

已经存入数据库的深度图像数据，首先根据需要创建用于表现不同层次细节的金字塔数据，创建层次细节等级元数据描述表，设置不同等级对于的视觉距离。建立金字塔与层次细节的对应关系，同时为数据库的深度图像创建三维R树空间索引，以供查询检索时使用。整个数据建库组织流程如图8所示。

本实施例采用Oracle空间索引中的域索引Oracle空间索引通过Oracle数据库系统存储和管理空间数据，其域索引能够处理诸如空间数据、音频或视频数据等的复杂数据。由于空间数据具有其特殊的空间特性，因此在建立空间域索引的过程中，必须定义针对空间对象设计操作算子，来支持空间查询和分析。本实施例设计了三维R树索引类型(INDEXTYPE)和空间操作算子(Operators)。利用该索引类型(INDEXTYPE)创建R树数据库域索引，实现对深度图像的数据库查询和检索。创建三维R树索引类型(INDEXTYPE)的关键是三维R树ODCIIndex接口实现类型的设计和MBB三维空间操作算子的设计。对于三维R树ODCIIndex接口实现类型，主要需要实现ODCIIndexCreate、ODCIIndexInsert、ODCIIndexDelete、ODCIIndexStart等函数，他们分别实现了R树的创建，插入、删除和查询操作。对于MBB三维空间操作算子，以MBB数据库模型作为基本的空间处理对象，本发明设计了空间操作方法和MBB几何体处理函数。

本实施例使用该R树空间数据库索引，来进行数据查询。在海量数据可视化中利用R树索引和LOD技术，实现海量数据的快速高效交互式显示，下面介绍如何进行数据查询和快速高效交互式显示。

为了实现海量深度图像快速可视化，本实施例根据深度图像的特点采用金字塔分层组织结构来抽取层次细节(LOD)深度图像模型，并在数据库中建立不同分辨率LOD模型的对应关系；在可视化时结合R树空间数据库索引，采用基于视点的LOD技术，并利用数据输入输出线程和场景绘制线程相结合的多线程技术从数据库动态调度数据，实现海量数据的渐进绘制。

海量数据快速可视化流程如图9所示，可视化流程描述如下：首先根据视点对数据进行可见性裁剪，然后对可见对象基于视点确定其应该显示的层次细节LOD，然后根据LOD等级从原始深度图像中进行金字塔抽取，最后根据MBB中记录的深度图像的旋转平移矩阵进行实时绘制。

数据检索流程图

本实施方式采用两种方式对建筑物构件进行检索，对于可视化技术调度显示的深度图像数据，可以以点选择方式、矩形拉框选择方式进行查询。点选择查询时采用射线拾取法进行快速的查找。拉框查询则采用正视体查询，正视体就是将矩形框按照最近和最远平面进行延伸得到的三维盒。利用该正视体与当前可见的构件相交的到查询结果。查询得到的结果中包括了古建筑构件的层次细节信息和属性信息。数据检索流程如图10所示。

用户界面设计

为了方便地使用上述技术，本实施例还设计了一套深度图像的三维空间数据管理系统(如图11)。系统提供了对海量点云数据的读取、显示、基准面拟合、深度图像模型的生成、模型入库、深度图像LOD管理、深度图像数据库索引建立以及检索操作等功能，具体功能如下：

(1)点云数据的读取显示：提供对XYZ、TXT和PTX格式数据的读取显示功能。

(2)提供不同视角的查看方式，正射和透视投影查看方式，并可以隐藏或显示点云，隐藏或显示拟合基准面、启用光照，以渔网或灰度方式显示深度图像等功能；

(3)基准面拟合：分别提供了平面、柱面、球面基准面拟合方式；

(4)深度图像生成：分别提供了平面、柱面、球面基准面的深度图像生成方式；

(5)模型入库：分别提供了平面、柱面、球面基准面的深度图像入库方式；

(6)LOD管理：提供从原始深度图像生成静态深度图像金字塔，LOD层次细节的设定和对象LOD信息查询功能；

(7)加载数据库：提供加载所有深度图像功能，加载不同类型深度图像以及清空数据库的功能；

(8)空间索引：提供R树索引创建功能；

(9)选择与查询：提供点选择查询与拉框查询、删除选中MBB等功能。

深度图像生成实例

下面分别以表达不同特征的点云建立深度图像。给出三个实例：第一个是对古建筑的门牌扫描获取的点云建立平面基准面的深度图像；第二个例子是对古建筑内部的某根梁通过多面拟合建立平面基准面的深度图像；第三个例子是对古建筑内部的某根柱子的点云数据建立圆柱面基准面的深度图像。

1)单面构件拟合(门牌)

如下为对一个古建筑门牌点云数据建立深度图像的具体过程：

a)首先导入原始点云并生成点云的最小外包盒。

b)接着根据点云的特征拟合参考平面。

c)然后再根据参考平面生成深度图像，如图12灰色部分为生成的深度图像。

2)多面构件拟合(内部梁)

如下为利用一个古建筑内部梁的点云数据建立深度图像的具体过程：

a)首先导入梁的原始点云并生成点云的最小外包盒。

b)将梁的点云分割为三个面的点云数据，对这三个面的点云数据进行拟合，得到三个深度图像，如图13组成梁的三个灰色的面。

3)圆柱构件拟合(古建筑内柱子)

如下为利用一个古建筑内部某柱子的点云数据建立深度图像的具体过程：

a)首先导入柱子的原始点云并生成点云的最小外包盒。

b)接着根据点云的特征拟合参考圆柱面。

c)然后根据参考柱面生成深度图像，如图14灰色部分为生成的深度图像。

整体渲染比较

本发明提供的实施例中，采用古建筑的三维激光扫描数据进行深度图像的建模，主要是对古建筑的柱和梁进行深度图像的建模并进行入库管理，并最终实现快速的调度显示。如图15为以深度图像建立的古建筑屋顶和大木结构模型在本原型系统中的显示效果图。

为了与现有的点云建模软件进行比较，在同一台计算机上，利用Imageware软件为古建筑的大木结构建立NURBS表面模型(如图16)。在进行渲染浏览时发现：Imageware中的大木结构模型在实时交互式渲染时，有明显的停顿，而在本实施方式中即使将所有深度图像模型导入到内存并显示都不会出现明显的停顿。从而证明了本发明所提出的技术方案的正确性和可行性。

Claims

1.基于深度图像的三维空间数据模型，其利用地面激光雷达扫描物体获得物体表面的点云数据，其特征在于：

1)利用扫描仪对物体进行扫描，得到点云数据；

2)将扫描获得的物体不同站点的点云数据进行配准之后，从物体整体点云模型中按照物体特征对点云进行分割和提取；

3)根据已按照几何特征分割好的点云数据拟合与其特征相应的基本几何形状的参考基准面；

4)将各点云数据以相应参考基准面为基准生成深度图像，其步骤如下：

a)根据拟合得到的参考基准面，获得基准面姿态，即获取基准面的旋转、平移参数，并确定参考基准面所在的局部坐标系；

b)将点云投影到参考基准面上，得到二维的X、Y坐标，并计算点到投影面的距离值，形成局部坐标系下的点云集合，同时确定点在投影面的坐标覆盖范围；

d)根据局部坐标系下的点云集合内插这些格网点相对于基准面的距离值，从而生成新的深度图像；

5)将上述各个基于不同参考基准面形成的深度图像和其原始点云所在的最小外包盒以数据库对象的形式存储到Oracle数据库中；

6)对数据库中的数据库对象建立三维R树空间索引；

7)利用三维R树空间索引，通过可视化技术，实现物体三维场景的实时快速可视化。

2.根据权利要求1所述的基于深度图像的三维空间数据模型，其特征在于：所述的参考基准面可以是平面、柱面、球面；所述的三维R树空间索引由三维R树索引类型(INDEXTYPE)和空间操作算子(Operators)实现。

3.根据权利要求2所述的基于深度图像的三维空间数据模型，其特征在于：所述的平面参考面拟合采用最小二乘法进行拟合；所述的柱面参考面拟合采用如下算法进行拟合：

1)建立圆柱面几何距离函数的参数方程；

3)将以上求取的曲面的参数初始值作为迭代初始值，采用Levenberg-Marquardt方法进行迭代计算，最后得到迭代最优解；

所述的球面参考面拟合采用线性最小二乘法进行拟合。

4.一种基于深度图像的三维数据处理装置，该装置包括：

一个数据模块，其包括一个数据库，用于存储深度图像，和一个点云数据存储模块，用于存储点云数据；

一个数据处理模块，其包括一个深度图像生成模块，其从点云数据存储模块中读取点云数据，根据点云数据拟合得到参考基准面，并根据参考基准面生成深度图像，和一个数据存储模块，用于实现所述数据处理模块与数据库之间的数据存取操作；

一个数据库管理模块，用于接收数据处理模块的数据，实现深度图像的细分层次LOD管理和建立三维空间数据库索引。

5.如权利要求4所述的一种基于深度图像的三维数据处理装置，其特征在于：还包括一个显示模块，基于数据库管理模块用于将数据库中的数据实时还原成图像，和一个数据检索模块，基于数据库管理模块用于对感兴趣建筑物构件的查询。

6.一种如权利要求5所述的基于深度图像的三维数据处理装置，其特征在于：所述深度图像生成模块用于执行：

b)将点云数据投影到参考基准面上，得到二维的X、Y坐标并计算点到投影面的距离值，形成局部坐标系下的点云数据集合，同时确定点在投影面的坐标覆盖范围；

c)按照内插格网间距将坐标覆盖范围进行划分，生成等间距的规则格网；

d)根据局部坐标系下的点云集合内插这些格网点相对于基准面的距离值从而生成新的深度图像；

上述数据库管理模块还用于计算点云的最小包围盒MBB，建立MBB和深度图像之间对应关系。

7.一种如权利要求6所述的基于深度图像的三维数据处理装置，其特征在于：所述的参考基准面是平面、柱面、球面；

以平面为参考基准面拟合的深度图像中采用最小二乘法拟合；以球面为参考基准面拟合的深度图像中采用线性最小二乘法拟合；

以柱面为参考基准面拟合的深度图像中采用如下算法拟合：

1)建立圆柱面几何距离函数的参数方程；

2)采用高斯映射法，首先在高斯图上，通过求取过高斯图坐标系原点的平面，确定圆柱体轴线的方向向量，然后，在轴线方向向量已知的情况下，将点投影到过原点法向量为轴向方法的平面上，并利用基于Hough变换的圆检测方法对投影点集进行拟合，求取圆柱体轴线上一点的坐标及圆柱的半径，从而确定距离函数参数化方程中的曲面参数的初始值；

3)将以上求取的曲面参数的初始值作为迭代初始值，采用Levenberg-Marquardt方法进行迭代计算，最后得到迭代最优解。

8.一种基于深度图像的建立并显示三维数据模型的方法，包括以下步骤：利用扫描仪对建筑物进行扫描，得到三维点云数据；

将点云数据以相应参考基准面为基准生成深度图像；

将以参考基准面形成的深度图像以最小外包盒方式转换为三维直角坐标系中的表达形式，并以数据库形式存储；

对数据库中的数据建立三维R树空间索引；

根据三维R树空间索引，利用金字塔分层组织结构来建立的深度图像的层次细节LOD模型；

利用OPENGL技术实现三维场景的实时可视化。

9.如权利要求8所述的基于深度图像的建立并显示三维数据模型的方法，其特征在于，将点云数据以相应参考基准面为基准生成深度图像的步骤进一步包括：

10.如权利要求9所述的基于深度图像的建立并显示三维数据模型的方法，其特征在于：所述的参考基准面是平面、柱面、球面；并且，以平面二乘法拟合；以球面为参考基准面拟合的深度图像中采用线性最小二乘法拟合；

以柱面为参考基准面拟合的深度图像中采用如下算法拟合：

1)建立圆柱面几何距离函数的参数方程；

2)采用高斯映射法，首先在高斯图上，通过求取过高斯图坐标系原点的平面，确定圆柱体的轴线方向向量，然后，根据所确定的轴线方向向量，将点投影到过原点法向量为轴向方法的平面上，并利用基于Hough变换的圆检测方法对投影点集进行拟合，求取圆柱体轴线上一点的坐标及圆柱的半径，从而确定距离函数参数化方程中的五个参数初始值；

3)将以上求取的曲面的参数初始值作为迭代初始值，采用Levenberg-Marquardt方法进行迭代计算，最后得到迭代最优解。

数据库采用双字节存储法；

所述的三维R树空间索引由三维R树索引类型INDEXTYPE和空间操作算子(Operators)实现。