CN106575448A - 激光扫描数据的图像渲染 - Google Patents

Abstract

描述了一种对三维激光扫描数据(6)的图像进行渲染的方法。该方法包括提供距离立方体贴图(25)及对应的图像立方体贴图(26；27)，使用该距离立方体贴图生成镶嵌图案以及通过采样图像立方体贴图，基于该镶嵌图案来渲染图像。

Description

激光扫描数据的图像渲染

技术领域

本发明涉及一种用于渲染激光扫描数据的图像的方法及系统。

背景技术

三维激光扫描仪能够用来勘测诸如加工厂、船舶或其他设施之类的环境。典型的扫描仪包括激光测距仪，该激光测距仪能够测量扫描仪和所观看的表面上的点之间的间距。通过扫掠视场(典型地水平视场角为360度，垂直视场角接近180度)，扫描仪能够捕获一组用于周围环境的距离(本文中称为“激光扫描数据”)。这些距离能够用来在三维空间中生成一组点，该一组点常常被称为“点云”。在EP1176393A2中对点云的示例进行了描述。

在环境中的不同位置处能够执行多次扫描，并且来自不同扫描的点云能够被组合以产生覆盖更广泛区域的组合(“聚合”)点云。在WO 2004/003844 A1中能够发现对点云数据进行组合的示例。

除了获得距离数据之外，扫描仪还能够通过测量所反射的激光的强度或者使用相机来捕获周围环境的图像。

点云和图像能够用来通过点云查看器应用或三维计算机辅助设计(CAD)应用来可视化和/或分析环境。典型地，这些应用分为两类：即采用来自单次扫描的点工作的应用和采用来自多次扫描组合的点工作的应用。

激光扫描最简单的应用之一是显示单次扫描所捕获的图像。由于来自激光扫描的图像是球面的并且覆盖了激光扫描仪周围的区域，所以软件应用能够把图像映射到球体内部上。该应用能够在计算机屏幕上显示球体的一部分。用户能够旋转视图以查看整个图像的不同部分。这种呈现方式被称为“气泡视图(bubble view)”。

在气泡视图中，用户能够在图像上选择点并使用用于该激光扫描的点云数据检索到该位置的三维坐标。通过选择两个点，用户能够测量间距。

一种类型的应用能够在气泡视图中覆盖三维CAD模型。由于该应用知道点在气泡视图中的三维位置，所以该应用能够将CAD模型的适当部分遮蔽在气泡视图之后。该组合的图像在设计设施的新区域时是有用的。

气泡视图的一个吸引人的特征是它看起来比较真实。真实性源自在扫描仪位置处捕获的图像。然而，气泡视图的局限性在于，仅能够针对激光扫描仪所位于的位置产生气泡视图。虽然用户能够选择气泡视图并向左和右或向下和上旋转，但是用户不能向前、向后、水平或垂直移动气泡视图以从不同的视角查看环境。

为了使得能够自由扫视(roaming)，一些软件应用采用来自多次扫描的组合点云来工作。使用该应用，用户选择设施内的位置和观察方向。然后，该应用从用户的视点出发显示组合点云中该位置周围的每个点。用户能够移动观察位置和方向以从不同的视角看到点。

一些应用能够在与组合点云相同的三维空间中显示CAD模型。然后，用户能够测量CAD模型中的位置和点云中的点之间的间距。用户还能够确定点云的部分是否与CAD模型的部分相交。

虽然显示组合点云使得用户能够从不止一个视角观察点，但是该方法还具有一个或多个缺点。

显示单个点往往计算量大。在近距离处，在所扫描的表面的表示中会出现间隙，并因此变得难以辨别表面。

发明内容

根据本发明的第一方面，提供了一种三维激光扫描数据的图像进行渲染的方法。该方法包括：提供距离立方体贴图及对应的图像立方体贴图，使用距离立方体贴图生成镶嵌图案，以及通过采样图像立方体贴图，基于镶嵌图案来渲染图像。

根据本发明的第二方面，提供了一种处理三维激光扫描数据的方法。该方法包括：根据三维激光扫描数据准备距离立方体贴图及对应的图像立方体贴图以供渲染使用。

通过将针对给定扫描的激光扫描数据保存为一组点(与针对多次扫描聚合激光扫描数据相反)并且通过利用事实“能够以位移图(displacement map)的形式来提供激光扫描数据，该位移图能够直接通过图形系统来处理”，能够有效地和/或快速地渲染激光扫描数据的图像。当组合来自多次扫描的图像时，这尤其有用，这是由于能够独立地处理每次扫描并且来自不同扫描的图像能够易于在公共缓冲区中进行组合。这使得不仅能有效/快速地渲染静态图像，还能有效/快速地渲染移动图像(例如当用户“路过”环境时)。

此外，通过以下方式将每组扫描数据转换为立方体贴图可更高效和/或快速地渲染图像：如果扫描数据尚未采用全景球面纹理的形式，则将扫描数据转换成全景球面纹理，然后将全景球面纹理映射到立方体中。

图像立方体贴图可以包括强度纹理或颜色纹理(颜色纹理可以使用相机来捕获)，强度纹理用于渲染扫描的单色图像，颜色纹理用于渲染扫描的彩色图像。

该方法可以包括预渲染过程和后续的渲染过程，该预渲染过程能被执行一次，并且包括准备距离立方体贴图及对应的图像立方体贴图。优选地，使用一个或多个图形处理单元(GPUs)来执行预渲染过程。优选地，使用一个或多个GPUs来执行渲染。相同的GPU或GPUs能够用于预渲染或渲染。

该方法可以包括例如在预渲染过程中，根据球面全景距离纹理生成距离立方体贴图。

该方法可以包括例如在预渲染过程中，根据球面全景图像纹理生成图像立方体贴图。图像立方体贴图可以包括强度纹理图像立方体贴图。图像立方体贴图可以包括颜色纹理图像立方体贴图。

该方法可以包括例如在预渲染过程中，生成第一图像立方体贴图和第二图像立方体贴图。第一图像立方体贴图可以是强度纹理图像立方体贴图，第二图像立方体贴图可以是颜色纹理图像立方体贴图。

生成所述或每个图像立方体贴图可以包括生成或使用瓦片贴图。瓦片贴图可以包括位于立方体的每个面上的多个瓦片。瓦片贴图可以包括多边形瓦片，每个瓦片具有三个或更多顶点。这些瓦片可以具有相同的形状。这些瓦片可以具有相同的大小。这些瓦片可以为矩形。一个面可以包括n×m个瓦片，其中，n和m为正整数。n可以等于m，即n＝m。n可以至少为8，即n≥8。n可以高达64，即n≤64、或更大。n可以等于16，即n＝16。矩形瓦片可以使用两个对角线相对的顶点来限定。每个瓦片可以分成基元(primitive)。该基元可以是三角形。该方法可以包括镶嵌每个瓦片以及使用球面全景距离纹理中对应的距离纹理像素将镶嵌的点投影到立方体的面上。

生成所述或每个图像立方体贴图可以包括：针对立方体的面，提供布置在瓦片中的一组顶点；以及针对每个面，镶嵌每个瓦片并且使用球面全景距离纹理中对应的距离纹理像素将镶嵌的点投影到立方体的面上。

生成所述或每个图像立方体贴图还可以包括剔除至少一个基元(即三角形)。剔除基元可以包括确定基元是否定向成与扫描源成锐角，通过确定该基元被定向成与扫描源成锐角，剔除基元。确定基元是否定向成与视点成锐角可以包括执行法线测试(normaltest)。

该方法可以包括识别一个或多个瓦片(“无用瓦片(dead tile)”)，该一个或多个瓦片与不满足一组一个或多个条件(例如，具有零距离和/或超过给定阈值)的距离值对应，将面上的无用瓦片的身份标识存储在文件中。

生成所述或每个图像立方体贴图可以包括将每个基元分成基元片段(例如三角形片段)，以及针对每个基元片段，采样球面全景图像纹理的对应的纹理像素。

该图像立方体贴图可以存储在例如图形存储器和/或系统存储器的存储器中和/或贮存器中。

预渲染过程可以执行一次，并且此后，在后续的渲染期间不需要使用球面全景距离、图像和/或颜色纹理。

该方法可以包括：对于每个帧，针对给定的视点以相对低的分辨率离屏渲染与多次扫描对应的图像，以及针对给定的视点，选择哪些图像要以相对高的分辨率进行当前屏幕渲染。

渲染可以包括生成或使用瓦片贴图。瓦片贴图可以包括立方体的每个面上的多个瓦片。瓦片贴图可以包括多边形瓦片，每个瓦片具有三个或更多顶点。这些瓦片可以具有相同的形状。这些瓦片可以具有相同的大小。这些瓦片可以是矩形。一个面可以包括n×m个瓦片，其中，n和m为正整数。n可以等于m，即n＝m。n可以至少为8，即n≥8。n可以高达64，即n≤64、或更大。n可以等于16，即n＝16。矩形瓦片可以使用两个对角线相对(diagonally-opposite)的顶点来限定。每个瓦片可以分成基元。该基元可以是三角形。该方法可以包括镶嵌每个瓦片以及使用球面全景距离纹理中对应的距离纹理像素将镶嵌的点投影到立方体的面上。

渲染可以包括针对立方体的面，提供一组布置在瓦片中的顶点。通过确定瓦片为无用瓦片，则该无用瓦片不需要被镶嵌。换言之，可以剔除无用瓦片的顶点。这能够帮助减少对GPU资源的使用。可以通过镶嵌控制着色器(或具有相同或相似功能的着色器)执行对无用瓦片的顶点的剔除。

渲染可以包括：针对每个面，镶嵌每个瓦片并使用距离立方体贴图中对应的距离纹理像素将镶嵌的瓦片投影到立方体的面上。

渲染可以包括剔除基元(例如三角形)。剔除基元可以包括确定基元是否定向成与扫描源成锐角，并由此确定该基元被定向成与扫描源成锐角，剔除基元。确定基元是否与视点成锐角可以包括执行法线测试。

渲染图像可以包括采样强度立方体贴图。渲染图像可以包括采样颜色立方体贴图。

GPU可以配置成使用OpenGL4.3(或更新版本)或微软(RTM)DirectX(RTM)11(或更新版本)的应用编程接口(API)。

该方法还可以包括针对扫描生成一组像素以及执行深度测试。

该方法可以包括根据像素的法线(normal)给像素着色。该方法可以包括根据图像的对应部分中的强度和/或颜色给像素着色。

该方法可以包括提供不止一组激光扫描数据，每组激光扫描数据与各自的扫描对应。每组激光扫描数据被提供为各自的距离立方体贴图和至少一个图像立方体贴图。该方法可以包括组合来自不同扫描的渲染图像。组合来自不同扫描的渲染图像可以包括使用深度缓冲区。

根据本发明的第三方面提供了一种计算机程序，该计算机程序包括用于执行该方法的指令。

根据本发明的第四方面提供了一种计算机可读介质或非瞬态计算机可读介质，用于存储计算机程序。

根据本发明的第五方面提供了一种计算机系统，包括存储器和至少一个处理单元。该至少一个处理单元配置成通过使用距离立方体贴图生成镶嵌图案。以及通过采样与距离立方体贴图对应的图像立方体贴图基于镶嵌图案来渲染图像。

该至少一个处理单元优选地包括至少一个图形处理单元。该至少一个处理单元可以包括一个处理单元，例如一个图形处理单元。

该至少一个处理单元是能使用OpenGL4.3(或更新版本)的应用编程接口来配置的。该至少一个处理单元是能使用微软(RTM)DirectX(RTM)11(或更新版本)的应用编程接口来配置的。

附图说明

现在将参照附图、通过示例来描述本发明的特定实施例，在附图中：

图1为用于获得并处理激光扫描数据、以及渲染图像的系统的示意方框图；

图2为用来处理激光扫描数据并渲染图像的计算机系统的示意方框图；

图3为预渲染过程的过程流程图；

图4为用于将全景球面纹理映射到立方体(本文中称为“立方体映射”)上的管线的示意方框图；

图5示出了每个面被分成瓦片的立方体；

图6示出了在立方体映射期间将镶嵌的点投影到立方体上；

图7示出了在立方体的面上采样全景球面纹理以生成立方体贴图；

图8示意性地示出了立方体映射；

图9示出了使用实际扫描和图像数据的立方体映射；

图10示出了布局后的立方体贴图；

图11示意性地示出了标记无用瓦片；

图12示出了三维图像空间中有和无无用瓦片的渲染的实际颜色全景球面纹理的图像及渲染的颜色全景球面纹理对应的颜色立方体贴图的图像；

图13为投影数据的示意方框图；

图14为渲染过程的过程流程图；

图15示出了第一个第二镶嵌的表面及观察点；

图16为渲染过程的管线的示意方框图；

图17示出了每个面被分成瓦片的立方体；

图18示出了在渲染期间将镶嵌的点投影到立方体上；

图19示出了在渲染期间使用单色/彩色立方体贴图的着色/上色片段；

图20示出了在快速浏览所勘测的环境期间从第一视点获取的第一屏幕截图；

图21示出了在快速浏览图20中示出的所勘测的环境期间从第二观察点获取的第二屏幕截图。

具体实施方式

系统概述

参照图1，示出了用于生成并处理激光扫描数据以及用于渲染图像的系统1。

系统1包括用于勘测环境3(或“场景”)的一个或多个三维激光扫描仪2，环境3包括多个目标表面4。所述或每个激光扫描仪2包括激光扫描单元5、可选的彩色相机7和机载贮存器9，该激光扫描单元5生成原始激光扫描数据6(本申请中简称为“激光扫描数据”或简称为“扫描数据”)，例如对于每个像素，(可以以压缩形式存储的)激光扫描数据6包含距离(range)、强度、方位角(azimuth)和仰角(elevation)；彩色相机7能够用来生成例如JPEG文件形式的彩色图像数据8；机载贮存器9用于存储数据6、8。激光扫描数据6能够转换为ZFC文件格式。所述或每个激光扫描仪2包括处理器10和存储器11，处理器10能够用来处理激光扫描数据6，例如处理数据和/或图像数据8的格式。

激光扫描单元5通过以下方式生成点的扫描数据6的元素(可以被称为“像素”)：沿给定方向(即，以给定的水平角和给定的垂直角)发出脉冲激光束12、感测从目标表面4反射回激光扫描仪2的光束13以及基于激光束12、13的飞行时间确定至目标表面4的距离R。能够通过以快速上绕圆周扫射(rapidup-and-over circular sweeps)的方式扫描激光束12获得一组扫描数据6以围绕扫描仪2建立一组点，快速上绕圆周扫射即在垂直扫描平面内所进行的、同时缓慢转动(即围绕垂直轴旋转扫描平面)的扫射。以一组笛卡尔坐标的形式提供扫描数据6中的每个点，即每个点以(x，y，z)来表达。通过方位角和仰角来为一组数据6中的点排序。

将扫描数据6和图像数据8上传至扫描数据服务器14(本文中还称为“网关”)。扫描数据服务器14包括扫描数据处理模块15和贮存器16。扫描数据服务器14能够例如通过从单色图像的扫描数据6中提取强度数据17来预处理扫描数据6。

扫描数据6、强度数据17以及可选地图像数据8被下载到计算机系统19以用于渲染。计算机系统19包括用于执行一次性数据预处理的预渲染系统20和贮存器21。

预渲染系统20将扫描数据6、强度数据17和图像数据18转换成对应的等极式全景球面纹理22、23、24(本文中还成为“全景球面纹理”或“等效矩形纹理”)。转换可能在纹理22、23、24中导致间隙或孔洞(未示出)，因此预渲染系统20还能够例如通过内插来进行孔洞填充。

预渲染系统20将用于每次扫描的全景球面纹理22、23、24转换成对应的立方体贴图25、26、27。预渲染系统20还生成无用瓦片文件28，即针对每个立方体贴图的每个面、识别该立方体面中不包含有用距离数据的那些区域的文件。这对户外扫描特别有用。

将全景球面纹理22、23、24映射到立方体的面上能够有助于减少存储的数据量(例如减少到大约四分之一)，而不会产生任何有关质量的可察觉的损失。此外，立方体贴图25、26、27的面能够根据需求单独加载到图形系统中用于渲染。此外，能够例如通过丢弃无用瓦片(即，不包含有用距离数据的区域)来在存储器中更有效地管理立方体贴图面。

计算机系统19包括用户输入设备30(诸如鼠标和/或键盘)、渲染系统31和显示器32(或多个显示器32)，显示器32用于显示场景3从视点(point of view,POV)34的图像33。渲染系统31使用从一个或多个不同扫描得到的纹理25、26、27来生成三角化的三维表面，并且从任何视点34实时渲染这些表面，从而将从扫描得到的表面组合到图像中。

预渲染系统20和渲染系统31在同一计算机系统中被实施。然而，系统20、31可以在不同的计算机系统中被实施。

还参照图2，更详细地示出了计算机系统19。

计算机系统19可以采用以下形式：工作站、台式计算机、膝上电脑或其它具有足够计算能力的计算设备。

计算机系统19包括一个或多个中央处理单元(CPUs)35、系统存储器36、图形模块37和输入/输出(I/O)接口41，中央处理单元35具有各自的内存缓存(未示出)，图形模块37例如以显卡的形式并且包括图形处理单元(GPU)38和图形存储器39(可以称为“视频RAM”)，图形存储器39提供帧缓冲存储器40等等，输入/输出(I/O)接口41可操作地通过总线系统42来连接。合适的图形模块37的示例为有1GB视频RAM的NVIDIA(RTM)GeForce 460GPU。

I/O接口41可操作地连接到总线和/或网络接口43(诸如以太网接口或无线局域网接口)以用于接收扫描数据6、图像数据8和强度数据17。I/O接口41还可操作地连接到用户输入设备30和(例如为一个或多个硬盘驱动器和/或固态驱动器形式的)贮存器21。一些诸如可移动贮存器之类的外设设备和其他计算机部件未示出。计算机系统19可以具有与图2中示出的配置不同的配置。

正如下文将更详细地解释的，投影数据44存储在贮存器21中。投影数据44包括针对多组扫描45(图13)的经处理扫描数据，每组扫描包括名称46(图13)、变换(图13)以及针对每个立方体面63(图13)的距离纹理25、强度纹理26、可选的颜色纹理27和无用瓦片文件28。

采用中央处理单元35运行的软件来实施扫描数据6和强度数据17以及可选的图像数据8到对应的全景球面纹理22、23、24的转换。用于实施转换的计算机代码48存放在贮存器21中并且加载到存储器36中以由中央处理单元35来执行。其他预渲染过程(即立方体映射和无用瓦片检测)优选地使用GPU38来实施。

使用GPU38来实施渲染以利用GPU的增强的图形处理能力，特别是镶嵌。

应用软件49用来访问投影数据44及与图形模块37进行交互。

预渲染处理

参照图1、2和3，现在将更详细地对预渲染系统20的操作进行描述。

将扫描数据转换成全景球面纹理

预渲染系统20经由通信网络(未示出)从扫描数据服务器14加载针对一扫描的一组扫描数据6、强度数据17和可选地彩色图像数据8(步骤S3-1)。

预渲染系统20将扫描数据6、强度数据17和可选地彩色图像数据8转换成对应的全景球面纹理22、23、24(步骤S3-2)。全景纹理22、23、24典型地各自包含10000×5000个像素。

将距离数据从扫描仪坐标映射到全景球面坐标会导致孔洞。因此，能够使用内插值来添加距离值以避免不连续性(步骤S3-3)。孔洞具有零值，因此对图像进行扫描以查找孔洞，并且使用周围的近邻来计算非零值以填充该孔洞。

以同样的方式来复制强度值并将其映射到强度全景球面纹理23中。能够以相似的方式将例如以RGB分量值的形式的颜色数据8复制到全景球面颜色图27中。

全景球面纹理22、23、24暂时存储在贮存器21中。正如下文将更详细解释的，将全景球面纹理22、23、24转换成对应的立方体贴图25、26、27，并且上述转换一旦发生，纹理22、23、24将会被丢弃。

将全景球面纹理转换成立方体贴图

预渲染系统20将每个全景球面纹理22、23、24转换成对应的立方体贴图25、26、27。尽管通过中央处理单元35能够执行立方体映射，但是通过GPU38能够更快地执行该立方体映射。

参照图4，使用通过GPU38(图2)实施的管线51来执行立方体映射。管线41包括顶点着色器52、镶嵌控制着色器53、镶嵌评估着色器54、几何着色器55和片段着色器56。镶嵌控制着色器53可以称为“外壳着色器”，镶嵌评估着色器54可以称为“域着色器”，并且片段着色器56可以称为“像素着色器”。

还参照图5，管线51处理顶点57(本文中还称为“顶点数据”)，对于有六个面60的立方体59，该顶点57设置在瓦片58中。顶点57用(u，v)坐标来表达。每个面60分成瓦片58。在这种情况中，每个面分成16×16个瓦片58。

在瓦片58中，将用于每个面60的顶点57馈送给顶点着色器52，顶点着色器52将顶点57传递到镶嵌控制着色器53。镶嵌控制着色器53将用于每个瓦片58的镶嵌水平(未示出)输出到镶嵌评估着色器54中。在这种情况中，使用了默认的镶嵌值。

还参照图6，镶嵌评估着色器54镶嵌每个瓦片58并将镶嵌的点61投影到三维空间中的单位立方体63的面62上。利用笛卡尔空间中的左上角和右下角来描述瓦片58。一经镶嵌，位于单位立方体上的每个三角面64的每个顶点57则使用距离纹理22、通过每个顶点的对应的距离值来进行投影。然后，使用例如以保持位置和方位的4×4齐次变换矩阵形式的扫描变换47将顶点57投影到正确的自然位置(world position)。

镶嵌的点62被传送到几何着色器55。几何着色器55负责剔除三角形64。丢弃相对于扫描是尖锐的三角形64。这通过使用针对每个三角形64的表面法线测试(surfacenormal test)来完成。将由此产生的点61传送到片段着色器56。

还参照图7，片段着色器56将强度和/或颜色纹理23、24贴到正确的三角形64上。片段着色器56采样强度和/或颜色纹理23、24并将纹理23、24中纹理像素65中的值复制为立方体63的面62上的三角形片段66(也可以称为“像素”)的值，从而生成新的基于立方体的纹理23、24，即立方体贴图23、24。能够示出以列的方式布局的立方体贴图25。然而，可使用其他的立方体布局。片段着色器56还绘制背面，即在立方体渲染中能够看到的蓝色阴影中的面朝外侧的面73(图12)。

立方体贴图23、24例如存储在离屏缓冲器40中。

图8示意性地示出了将全景球面纹理22、23、24变换成对应的立方体贴图25，立方体贴图25包括极点67、68、中心点69和子午线71，中心点69位于极点67、68之间的水平线70上，子午线71穿过中间点69。图8示出了极点之一68周围的盲点(blind spot)72。

图9示出了真实色彩全景球面纹理22的图像及对应的展开(laid-out)的距离和颜色立方体贴图25、27的图像。

检测无用瓦片

参照图10，立方体贴图25上的每个面62由瓦片74构成。一些瓦片74可能不包含有用的距离数据。例如，当在户外执行扫描时，该扫描可以覆盖天空。因此，立方体贴图25的顶面62中的全部瓦片74可能不包含有用的数据。此外，前、后、左和右面62中的较上的瓦片74也不包含有用的距离数据。

参照图11，不包含有用的距离数据(例如没有距离值或距离值超过给定阈值)的每个瓦片74_D被识别，并且将与无用瓦片74_D对应的瓦片标识符72添加到无用瓦片74_D的列表28中。无用瓦片文件28存储在贮存器21(图2)中。

在预渲染过程中检测无用瓦片74_D。该操作执行一次并且存储结果。无用瓦片74_D在几何着色器55(图4)中被发现。用于无用瓦片74的三角形64(图6)典型地是尖锐的，因而将会被剔除。因此，瓦片74_D将不会有三角形64，因而瓦片74_D被标记为无用。

正如下文将更详细解释的，对应的图像立方体贴图26、27中的无用瓦片74_D不被渲染。不对无用瓦片74_D进行渲染能够加速对场景的渲染。

图12示出了在有无用瓦片的情况下和无无用瓦片74_D的情况下三维图像空间中，真实色彩全景球面纹理24的经渲染图像及真实色彩全景球面纹理对应的颜色立方体贴图的经渲染图像。

投影数据

如上文中所述，针对每次扫描仅需执行一次预渲染数据处理过程。一旦针对扫描生成了距离纹理25、强度纹理26、颜色纹理27和无用瓦片文件28，就能够丢弃初始扫描数据6、强度数据17和可选地彩色图像数据8、以及球面全景纹理22、23、24。

一般地，存储具有全分辨率的距离纹理25、强度纹理26及可选的颜色纹理27。在渲染期间，能够以全分辨率(即以1:1比率)对纹理25、26、27进行采样或者以n:1比率对纹理25、26、27进行欠采样，其中n为正整数。

图13示出了投影44。投影44可以针对多次(例如500次或更多)扫描存储扫描数据45。

参照图13，每组扫描数据45包括扫描名称46、扫描变换46以及针对每个立方体面62的距离纹理25、强度纹理26、可选的颜色纹理27及无用瓦片文件28。

渲染

参照图1、2、13和14，现在将对渲染过程进行描述。

初始化渲染系统31(步骤S14-1)以及系统31识别能够由用户经由输入设备30来进行控制的视点34(步骤S14-2)。

正如之前所解释的，激光扫描投影可以包含高达500次或更多扫描。对于图形模块37而言该扫描次数太多而难以处理。针对视点34，渲染系统31通过在每个帧的起始处渲染决策基色(decision key)(步骤S14-3)以及识别要渲染的扫描(步骤S14-4)来决定要渲染的扫描。渲染所选择的扫描(步骤S14-5)，并且继续下一帧的渲染过程(步骤S14-6)。

决策基色

决策基色包括以非常低的分辨率离屏渲染投影中的全部扫描。

每个面具有16×16个瓦片，并且GPU38计算每个瓦片的平均距离以使每个面具有256个粗糙距离水平(coarse range level)。因此，每次扫描由1536个点(即，6个面×256个距离水平)组成。然而，点的数量能够例如因瓦片数量不同而不同。

参照图15，在三维图像空间中示出了源自第一和第二次不同扫描的第一和第二镶嵌表面75、76。从视点34看去，第一镶嵌表面75可见并且超过最小尺寸阈值。然而，第二镶嵌表面75可以被第一表面遮蔽和/或可以降至尺寸阈值以下。这在着色器之后的z缓冲区中自动发生。着色器并不具有任何累积的图像可见性，并且决策基色在z缓冲区中执行。在前景中将绘制最接近的三角形。

渲染

渲染系统31从贮存器21中提取针对决策基色中识别的扫描45的距离纹理25、强度纹理26、颜色纹理27和无用瓦片文件35，并且将纹理25、26、27和无用瓦片文件28传递给图形模块37。

参照16，使用管线81执行渲染，该管线81由GPU38(图2)来实施并且包括顶点着色器82、镶嵌控制着色器83、镶嵌评估着色器84、几何着色器85和片段着色器86。着色器可以被称为其他名称。

还参照图17，管线81处理顶点87，针对具有六个面90的立方体89，顶点87被布置在瓦片中。该顶点87以(u，v)坐标来表达。每个面90分成瓦片88。在这种情况中，每个面分成16×16个瓦片。

在瓦片88中将用于每个面90的顶点87馈送给顶点着色器82，该顶点着色器82应用了基于用户定义的视点34的扫描变换92。顶点着色器82将变换后的顶点数据82输出到镶嵌控制着色器83。镶嵌控制着色器83将用于每个瓦片88的镶嵌水平(未示出)输出到镶嵌评估着色器54中。

被镶嵌控制着色器83剔除的用于无用瓦片的顶点87被检测到并且不通过镶嵌控制着色器83。因此，这能够有助于减少GPU资源的使用，从而加速渲染。

还参照图18，镶嵌评估着色器84镶嵌每个瓦片88并且将镶嵌的点92投影到移动了距离R的三维空间中的单位立方体94的面93上，距离R通过采样距离纹理25中点87的坐标(u，v)处的距离纹理像素来获得。

将镶嵌的点92的流馈送给几何着色器85，几何着色器85剔除成钝角的三角形。

还参照图19，根据被渲染的是单色图像还是彩色图像，片段着色器86采样强度立方体贴图26或颜色立方体贴图27并且将立方体贴图26、27中纹理像素96中的值复制成用于立方体94的面93上的三角形片段的值。在立方体94的面93上，上述操作具有以下作用：将单色或彩色图像投影到由距离纹理所提供的浮雕(relief)中。

将像素数据97发送给帧缓冲存储器40。由几次扫描生成的像素数据97能够被写入同一帧缓冲存储器40中，并且因此，能够形成包括有来自多次扫描的数据的图像。

图20和图21示出了“快速浏览”所勘测的环境期间的屏幕截图，该截图包括建筑物98(标记为“法律学院管理学院”)。图9中示出了用于扫描的颜色全景球面纹理25及对应的展开的距离图像立方体贴图25和颜色图像立方体贴图27。图12中示出了对应的彩色图像数据。场景由多次扫描形成并且根据不同的视点来渲染。用户能够实时平滑地快速浏览环境。屏幕截图示出了指示扫描仪2(图1)执行扫描时的位置99的“阴影”。

可以理解的是，可以对以上所描述的实施例作出多种变形。这些变形可以涉及设计、制造和使用激光扫描数据系统和/或图形处理系统及他们的组成部分中已经知道的等同方案和其他特征，并且可以使用这些变形来代替或除去本文中已经描述的特征。一个实施例的特征可以由另一实施例的特征所代替或补充。

虽然在该申请中权利要求规定为特征的特别组合，但是应该理解的是，无论本发明的公开范围是否涉及任一权利要求中目前所保护的相同的发明以及是否缓解本发明确实缓解了任何或全部相同的技术问题，本发明的公开范围还包括任何新颖特征或本文中明确或隐含公开的特征的任何新颖的组合或他们的任何概括。因此申请人告知：在本申请或从本申请得到的任何进一步申请的授权期间，新的权利要求可以规定为上述这些特征和/或上述这些特征的组合。

Claims (22)

1.一种对三维激光扫描数据的图像进行渲染的方法，所述方法包括：

提供距离立方体贴图及对应的图像立方体贴图；

使用所述距离立方体贴图生成镶嵌图案；以及

通过采样所述图像立方体贴图，基于所述镶嵌图案来渲染图像。

2.一种处理三维激光扫描数据的方法，所述方法包括:

根据所述三维激光扫描数据准备距离立方体贴图及对应的图像立方体贴图。

3.根据权利要求1或2所述的方法，其中，所述图像立方体贴图包括强度纹理。

4.根据权利要求1、2或3所述的方法，其中，所述图像立方体贴图包括颜色纹理。

5.根据任一前述权利要求所述的方法，包括：

预渲染过程，包括准备所述距离立方体贴图及对应的所述图像立方体贴图；以及

渲染过程，包括使用所述距离立方体贴图生成镶嵌图案以及使用所述图像立方体贴图渲染所述图像。

6.根据权利要求5所述的方法，其中，所述预渲染过程能被执行一次以准备所述距离立方体贴图及对应的所述图像立方体贴图，和/或所述渲染过程能被执行不止一次。

7.根据任一前述权利要求所述的方法，包括：

根据球面全景距离纹理生成所述距离立方体贴图。

8.根据任一前述权利要求所述的方法，包括：

根据球面全景图像纹理生成图像立方体贴图。

9.根据权利要求8所述的方法，其中，生成所述图像立方体贴图包括：

针对立方体的面，提供布置在瓦片中的一组顶点；以及

针对每个面，镶嵌每个瓦片并且使用所述球面全景距离纹理中对应的距离纹理像素将镶嵌的点投影到所述立方体的所述面上。

10.根据权利要求8或9所述的方法，其中，生成所述图像立方体贴图包括：

剔除至少一个基元。

11.根据权利要求8至10中任一项所述的方法，其中，生成所述图像立方体贴图包括：

识别所具有的距离值不满足一组一个或多个条件的一个或多个瓦片；以及

将面上的所述一个或多个瓦片的身份标识存储在文件中。

12.根据权利要求8至11中任一项所述的方法，其中，生成所述图像立方体贴图包括：

将每个基元分成多个基元片段；以及

针对每个基元片段，采样所述球面全景图像纹理中对应的纹理像素。

13.根据任一前述权利要求所述的方法，还包括：在渲染期间，

对于每个帧，针对给定的视点以相对低的分辨率离屏渲染与多次扫描对应的图像，以及针对所述给定的视点，选择哪些图像要以相对高的分辨率进行当前屏幕渲染。

14.根据任一前述权利要求所述的方法，其中，渲染所述图像包括：

生成或使用瓦片贴图。

15.根据权利要求14所述的方法，其中，渲染所述图像包括：

将至少一个瓦片镶嵌在所述瓦片贴图中；

使用所述距离立方体贴图中对应的距离纹理像素，将镶嵌的点投影到所述立方体的所述面上。

16.根据权利要求14或15所述的方法，其中，渲染所述图像包括：

根据所具有的距离值不满足一组一个或多个条件的瓦片，不镶嵌该瓦片。

17.一种计算机程序，包括用于执行根据任一前述权利要求所述的方法的指令。

18.一种计算机可读介质，存储有根据权利要求17所述的计算机程序。

19.一种计算机系统，包括：

存储器；

至少一个处理单元；

其中，所述至少一个处理单元配置成使用距离立方体贴图生成镶嵌图案，以及通过采样与所述图像立方体贴图对应的图像立方体贴图，基于所述镶嵌图案来渲染图像。

20.根据权利要求19所述的计算机系统，其中，所述至少一个处理单元包括至少一个图形处理单元GPU。

21.根据权利要求19或20所述的计算机系统，其中，所述至少一个处理单元是能使用OpenGL应用编程接口来配置的。

22.根据权利要求19或20所述的计算机系统，其中，所述至少一个处理单元是能使用微软(RTM)DirectX(RTM)应用编程接口来配置的。