CN102317973A

CN102317973A - 用于场景解释和对准性能估计的2d电光图像和3d点云数据的融合

Info

Publication number: CN102317973A
Application number: CN2010800074857A
Authority: CN
Inventors: K·米尼尔; D·普利; A·O·史密斯
Original assignee: Harrier Inc
Current assignee: Harris Corp; Harrier Inc
Priority date: 2009-02-13
Filing date: 2010-02-10
Publication date: 2012-01-11
Also published as: JP2012517652A; BRPI1005836A2; US20100207936A1; US8179393B2; CA2751025A1; WO2010093682A1; EP2396766A1; KR20110127202A

Abstract

用于组合2D图像与3D点云以进行共同场景的改进视觉化和对准过程的成功的解释的方法和系统。得到的融合数据包含来自原始3D点云的组合信息和来自2D图像的信息。按照彩色地图标记过程将原始3D点云数据颜色编码。通过融合来自不同传感器的数据，得到的场景具有与作战空间了解、目标识别、在呈现的场景内的变化探测和对准成功的确定相关的几个有用属性。

Description

用于场景解释和对准性能估计的2D电光图像和3D点云数据的融合

技术领域

发明的装置涉及二维和三维图像数据的对准，并且更具体地说，涉及用于2D和3D图像数据的对准性能的视觉解释的方法。这种技术用作确定对准成功的度量。

背景技术

常规电光(EO)传感器已经长期用于这样的图像数据的收集，并且一般产生二维数据。这样的数据一般与图像到可完全由x和y坐标轴定义的平面区域上的投影相对应。最近，对三维成像数据的兴趣已逐渐增大。例如，LIDAR系统使用高能激光器、光学探测器和计时电路，以产生三维点云数据。在3D点云中的每个点与由数字摄像机产生的像素数据空间相似，不同之处是，3D点云数据按三维排列，使点定义在由x、y和z坐标系定义的三维空间的各个位置处。一种主要差别是，激光雷达(lidar)是范围数据，而2D EO数据具有位置和强度信息。然而，存在其中激光雷达传感器可停留因而创建强度‘图像’的模式。应该注意，不需要这种模式来完成在本专利中描述的两个数据类型的重叠以便确定数据对齐或对准。

点云数据可能难以解释，因为在原始数据中的对象或地表特征不容易区分。代之以，原始点云数据在三维坐标系上可显现成几乎不定形的和没有信息的点的集合。彩色地图已经用来帮助视觉化点云数据。例如，彩色地图已经用来作为每个点的高度坐标的函数，选择性地改变在3D点云中的每个点的颜色。在这样的系统中，颜色的变化用来表示在地面上不同高度或高程处的点。尽管使用这样的常规彩色地图，但3D点云数据仍然难以解释。

便利的是，对于同一场景组合2D EO成像数据与3D点云数据。这种过程有时叫做数据融合(data fusion)。然而，组合两种不同的图像数据集必定要求图像对准步骤，以在空间上对准点。这样的图像对准步骤通常借助于与每个图像相关的元数据。例如，这样的元数据可包括：1)传感器的方位和姿势信息；2)与图像的角部点相关的经纬坐标；及3)在点云数据的情况下，用于点云数据的原始x、y和z点位置。

2D对3D图像对准步骤可能是困难的和耗时的，因为它要求由不同传感器在不同数据收集时间和不同相对传感器位置处获得的EO和LIDAR数据的精确对准。况且，点云数据与EO图像数据相比通常是不同格式，造成更复杂的对准问题。为了解决上述对准问题，已经提出各种对准方案。然而，得到的对准EO和LIDAR数据的视觉解释对于人类分析者常常仍然是困难的。这种困难的一个原因是，即使在两种类型的成像数据的对准和融合之后，三维LIDAR点云也将常常显得浮在代表二维图像数据的平的二维平面上方。这产生两个值得注意的问题。具体地说，它使得人们更难以将由融合的图像数据代表的场景视觉化。这因为可能难以理解如何将点云数据拟合到二维图像中而发生。相同的效果也使得更难以评估对准过程工作得多好。关于显得浮在平的二维表面上的三维点云数据，人类难以判断由点云代表的各种特征(例如，结构、车辆)与在二维图像中的对应特征(例如，建筑物轮廓或印迹、和道路)对准得多好。与选中的特定对准方案无关，评估结果的性能是有用的。

发明内容

本发明涉及组合2D图像与3D点云用于共同场景的改进视觉以及对准过程的成功的解释的方法和系统。得到的融合的数据包含来自原始3D点云的组合信息和来自2D图像的信息。按照彩色地图标记过程将原始3D点云数据颜色编码。通过融合来自不同传感器的数据，得到的场景具有与作战空间了解、目标识别、在呈现的场景内的变化探测和对准成功的确定相关的几个有用属性。

用来组合2D图像与3D点云LIDAR的方法包括几个步骤。如果图像还没有对准，那么方法可从将2D图像和3D点云对准的对准步骤开始。此后，方法涉及分析2D图像，以识别在共同场景中多个区域的基于选中内容的特性。例如，基于内容的特性可包括城市场景内容、自然场景内容、水内容和人造结构内容。此后，将已经识别的多个区域的每一个赋予与区域的基于内容的特性相对应的彩色地图标签。

在使用2D图像的彩色地图标签对准之后，按照彩色地图标签将不同彩色地图赋予3D点云的多个区域的每一个。‘范围’型图像从2D图像创建。就是说，通过将Z值赋予2D图像中的每个像素(其中基于对于在3D LIDAR中的最近点的内插而确定每个Z值)并且呈现该Z值，从2D图像形成虚拟3D点云。基于在2D图像中的对应像素的颜色值，赋予用于虚拟3D点云的颜色值。2D图像颜色信息常常按11或16位值供给，其随后可被转换成RGB值。最后，通过重叠虚拟范围图像和3D点云数据而创建融合的场景。

按这种方式形成的融合的场景对于评估对准步骤的性能或质量特别有用。具体地说，可视觉地检查融合的场景，以确定在共同区域中的特征是否适当地对准。

附图说明

图1是对于理解本发明有用的计算机系统的方块图。

图2是对于理解本发明有用的流程图。

图3是对于理解如何由不同有利点获得图像数据有用的图。

图4是对于理解如何可将彩色地图标签赋予2D图像有用的概念图。

图5是对于理解二维图像数据或点云数据有用的图。

图6是对于理解二维图像数据有用的图。

图7是对于理解如何将在图6中的二维图像数据转换成虚拟三维图像有用的图。

图8是二维图像数据的例子，该二维图像数据可用在图2中描述的过程中。

图9是融合图像的例子，在该融合图像中，将虚拟3D图像与3D点云数据相组合。

具体实施方式

在本发明中，2D图像被修改，并且然后与用于共同场景的3D点云数据相融合。过程促进场景的分析，并且允许图像对准过程的质量的改进评估。利用适当对准过程来对准2D图像和3D点云数据。此后，处理3D点云数据，以识别和定义地面表格。地面表格代表在场景中地面的轮廓。地面表格然后用来将2D图像变换成包括地面轮廓的虚拟3D图像。通过选择性修改与2D图像的像素相关的Z值，从而它们一般与由地面表格定义的Z值相一致，而创建虚拟3D图像。按这种方式，将地面的轮廓赋予2D图像，由此形成虚拟3D图像。一旦这个过程完成，就将先前对准的3D点云数据重叠在虚拟3D图像上。得到的融合的3D图像提供场景的改进视觉化，并且允许对准质量的更好评估。

现在参照附图在下文将更充分地描述本发明，在这些附图中，表示本发明的说明性实施例。然而，本发明可以按多种不同形式实施，并且不应该解释成限于这里叙述的实施例。例如，本发明可实施成方法、数据处理系统、或计算机程序产品。相应地，本发明可采取完全硬件实施、完全软件实施、硬件/软件实施的形式。

本发明涉及一种用来评估对准过程的相关性能的方法，该对准过程涉及构成点云的三维(3D)图像数据和二维(2D)图像数据。为了本发明的目的，2D图像数据和3D点云数据将被假定成已经借助于某种对准过程对准。各种对准过程在本领域中已知。相应地，不再详细地描述具体对准过程。

本发明可在一个计算机系统中实现。可选择地，本发明可在几个互连的计算机系统中实现。适于执行这里描述的方法的任何种类的计算机系统或其它设备是适当的。硬件和软件的典型组合可能是通用计算机系统。通用计算机系统可具有计算机程序，该计算机程序可控制计算机系统，从而它执行这里描述的方法。

本发明可采取在计算机可用存储介质(例如，硬盘或CD-ROM)上的计算机程序产品的形式。计算机可用存储介质可具有嵌在介质中的计算机可用程序代码。术语计算机程序产品，如这里使用的那样，是指一种装置，该装置包括能够实现这里描述的方法的实施的所有特征。在本上下文中计算机程序、软件应用、计算机软件例程和/或这些术语的其它变形，是指指令集按任何语言、代码、或注释的任何表达，这些指令打算使具有信息处理能力的系统直接地或在如下的任一个或两者之后完成特定功能：a)转换成另一种语言、代码、或注释；或b)按不同材料形式再现。

计算机系统100可包括各种类型的计算系统和装置，包括服务器计算机、客户端用户计算机、个人计算机(PC)、图形输入板PC、笔记本电脑、台式计算机、控制系统、网络路由器、开关或桥、或能够执行规定将由该装置采取的行动的指令集的任何其它装置(依次或以其他方式)。要理解，本公开的装置也包括提供音频、视频或数据通信的任何电子装置。而且，尽管表明单个计算机，但短语“计算机系统”要理解成，包括个别或联合地执行一个指令集(或多个指令集)以执行这里讨论的任一种或多种方法的计算装置的任何集合。

计算机系统100可包括处理器102(如中央处理单元(CPU)、图形处理单元(GPU、或两者)、主存储器104及静态存储器106，这些可经总线108彼此通信。计算机系统100还可包括显示单元110，如视频显示器(例如，液晶显示器或LCD)、平面板、固态显示器、或阴极射线管(CRT))。计算机系统100可包括输入装置112(例如，键盘)、光标控制装置114(例如，鼠标)、盘驱动单元116、信号产生装置118(例如，扬声器或遥控器)及网络接口装置120。

盘驱动单元116可包括计算机可读存储介质122，在该计算机可读存储介质122上存储一个或多个指令集124(例如，软件代码)，这些指令集124配置成实施这里描述的方法、过程或功能的一个或多个。指令124也可完全或至少部分地驻留在主存储器104、静态存储器106内，并且/或者在其由计算机系统100执行期间，驻留在处理器102内。主存储器104和处理器102也可构成机器可读介质。

可以同样构造专用硬件实施以实施这里描述的方法，这些专用硬件实施包括但不限于专用集成电路、可编程逻辑阵列和其它硬件装置。可包括各个实施例的设备和系统的应用广义地包括各种电子系统和计算机系统。某些实施例在两个或更多个特定互连硬件模块或装置中实施功能，其中相关控制和数据信号在模块之间和通过模块通信，或者作为专用集成电路的部分。因而，示范系统适用于软件、固件和硬件实施。

按照本发明的各个实施例，下面描述的方法可存储为在计算机可读存储介质中的软件程序，并且可配置成在计算机处理器上运行。此外，软件实施可包括但不限于，分布处理、元件/对象分布处理、并行处理、虚拟机处理，这些处理可构造成实施这里描述的方法。

在本发明的各个实施例中，包含指令124的计算机可读存储介质或者从传播信号接收和执行指令124的计算机可读存储介质从而连接到网络环境126上的装置可发送或接收音频和/或视频数据，并且可使用指令124在网络126上通信。指令124还可经网络接口装置120在网络126上传输或接收。

尽管计算机可读存储介质122在示范实施例中表示成是单个存储介质，但术语“计算机可读存储介质”应该认为包括单个介质或多个介质(例如，集中或分布数据库、和/或相关高速缓冲存储器和服务器)，该单个介质或多个介质存储一个或多个指令集。术语“计算机可读存储介质”也将认为包括能够存储、编码或执行用于由机器执行的指令集、并且使机器执行本公开的任一个或多个方法的任何介质。

术语“计算机可读存储介质”将相应地认为包括但不限于：固态存储器，如存储器卡、或容纳一个或多个只读(非易失)存储器、随机存取存储器、或其它可重写(易失)存储器的其它包装；磁光或光学介质，如盘或带；以及载波信号，如在传输介质中实施计算机指令的信号；及/或对于电子邮件的数字文件附件、或其它被认为是与有形存储介质等效的分布介质的自包含信息档案或档案集。相应地，本公开被认为包括这里所列出的计算机可读介质或分布介质的任一种或多种，并且包括识别的等效和后续介质(其中存储这里的软件实施)。

本领域技术人员将认识到，在图1中表明的计算机系统体系结构是计算机系统的一个可能例子。然而，本发明在这方面不受限制，并且也可没有限制地使用任何其它适当计算机系统体系结构。

现在参照图2，提供流程图。该流程图对于理解用于评估涉及构成点云的三维(3D)图像数据和二维(2D)图像数据的对准过程的相关性能的过程是有用的。方法在步骤202中开始，并且在步骤203中以用于共同场景的2D图像数据和3D图像数据的获得而继续。

如图3所示，第一和第二成像传感器302、304每个获得共同场景306的图像数据。尽管两个成像传感器表示在图3中，但应该理解，本发明不限于此。代之以，在两个不同的时间可使用共用传感器。重要地，在图3中，第一卫星302可配置成收集2D图像数据，并且第二传感器304可配置成收集3D点云图像数据。

便利地，获得的二维图像数据是可按颜色呈现的多光谱像。然而，关于全色像也可使用本发明。这里所描述的二维图像数据可由任何适当成像传感器收集，如本领域技术人员所知。例如，地球轨道卫星和空中数据收集平台通常使用电光(EO)传感器收集2D图像数据。这里所使用的术语“电光传感器”一般指各种各样的装置的任一种，在这些装置中，在选中样本时段内，光学系统用于从场景到成像装置的图像检测表面上的成像辐射。成像装置可采取感光区域的二维阵列的形式。各种基于半导体的成像装置在现有技术中是已知的。例如，电荷耦合器件(CCD)和电光二极管阵列常常用于这个目的，而没有限制。可是，应该理解，仅仅作为例子识别上述成像装置，而本发明不打算限于任何特定的EO型成像装置。例如，本发明也可用于医学图像的对准。

各种不同类型的成像传感器可用来产生3D成像数据，并且更具体地说，产生3D点云数据。本发明可用于评估从这些各种类型的成像系统的任一种得到的3D点云数据的对准性能。产生一帧或多帧3D点云数据的3D成像系统的一个例子是常规LIDAR成像系统。LIDAR数据的每个帧将包括与多范围回波相对应的三维中的点的集合(3D点云)。这些点可组织成“体素”(voxel)，这些“体素”代表在三维空间中在规则网格上的值。在3D成像中使用的体素与在2D成像装置的上下文中使用的像素相似。这些帧可被处理以重建目标的3D图像。在这方面，应该理解，在3D点云中的每个点具有各自的x、y及z值，按3D代表在场景内的实际表面。

3D数据的示范立方体500表示在图5中，而2D图像数据的帧表示在图6中。注意，2D图像数据的帧600定义在单个x、y平面中，而3D图像数据的立方体500包括按三维(x、y、z)定义的点云502。而且，应该注意，尽管在图5中的示范3D图像数据表示成定界为立方体，但本发明在这方面不受限制。尽管将认识到，立方体可能是用于此目的的方便形状，但可在任何其它适当的几何体积内定义3D数据。例如，代替立方体，矩形棱柱也可用于定界3D点云数据集。虽然有以上描述，但为了方便，将在点云数据立方体的上下文中描述本发明。

再参照图3，将认识到，成像传感器302、304可分别具有不同的位置和方位。本领域技术人员将认识到，传感器的位置和方位有时称作这样的传感器的姿态。例如，传感器302可被说成具有在获得3D图像数据的时刻由姿态参数定义的姿态。

由上文将理解，由传感器302、304获得的2D图像和3D点数据一般将基于以不同传感器为中心的坐标系。因此，将相对于不同坐标系定义2D图像和3D点数据。本领域技术人员将认识到，在来自两个或更多个图像传感器的2D图像和3D点数据可适当地表示在共用坐标系中之前，必须按需要在空间中旋转和平移这些不同的坐标系。上述过程通常称作对准。

在步骤204中，将包括2D图像的像素转换成对于3D点数据共用的X、Y格式。如由本领域技术人员将认识到的那样，除高度Z坐标之外，3D点云数据还通常按纬度、经度(X、Y)坐标表示。相反，2D图像像素数据将典型地处于不同格式。在步骤204中，将2D图像转换成X、Y格式，该X、Y格式与和构成3D图像的点云数据相关联的格式相一致。

在步骤206中，借助于能够对准2D图像和3D点云数据的某种对准过程，对准2D图像数据和3D点数据。任何适当算法或对准过程可用于这个目的，如本领域技术人员所知。由于本发明不直接涉及执行对准过程的方法，所以这里将不再详细地描述这样的对准过程。对准过程的结果将是按照某种对准方案大体对准的用于共同场景的2D图像数据和3D点云数据。

过程在步骤208中通过进行2D图像的图像内容分析而继续。图像内容分析是统计分析，该统计分析被选择或配置成识别在2D图像内包含的特定特征或区域的特性。这种分析可看作特征抽取步骤。例如，使用常规场景内容探测算法，可将场景分离成城市区域和自然区域。如图4所示，城市区域404能是在2D图像中被识别为包含多个建筑物和其它人造结构的那些区域。由于建筑物和其它人造结构通常包括多个直线边缘和角部，所以通过采用各种边缘和角部探测算法可容易地识别这样的结构，如本领域技术人员所知。自然区域402可被识别为除城市区域之外的那些区域。可是，本发明在这方面不受限制，并且可采用各种其他类型的图像识别算法，以识别城市、自然或其它类型的区域。例如，其它类型的区域可包括岩石或沙漠区域、林木繁茂区、农业区、水域、等等。

可替换地、或除仅仅将宽广地区或区域识别为城市或自然之外，场景内容探测算法还可探测在场景内包含的特定各个特征。例如，场景内容探测算法可识别在2D图像中存在的道路406。场景内容探测算法也可用来识别各个建筑物408或其它类型的结构，而没有限制。例如，也可识别车辆。用来完成这些功能的算法在本领域中已知，并因此在这里将不再详细地描述。

在图像内容探测分析完成之后，过程继续到步骤212。在步骤212中，对于2D图像的选中X、Y坐标区域，赋予不同的彩色地图标签。对于已经识别的不同区域或特征402、404、406、408，赋予不同的彩色地图标签。例如，第一类型的彩色地图标签可被赋予识别为城市的任何区域404，而第二彩色地图标签可被赋予指示为自然的任何区域402。而且，不同彩色地图标签可与特定特征，如在图像306内识别的各个建筑物408或道路406，的X、Y坐标相关。

根据本发明的一个实施例，每个个别的彩色地图标签与特定彩色地图相关。况且，每张彩色地图容易地被选择为帮助使与特定类型的场景或场景内容相关的特征视觉化。例如，一种这样的彩色地图在Minear等共同拥有的美国专利申请No.12/046,880中描述，该申请的内容通过参考明示包括在这里。如其中更详细描述的那样，彩色地图可被设计成通过选择性地挑选色调、饱和度和强度以高亮在不同高度处的特征，来增强场景中一定类型的主题。在这个HSI空间中创建的这些彩色地图能是非线性的，允许在感兴趣区域中的强度高亮，如在树冠下方以及在树木线上方。更具体地说，彩色地图可被选择，从而对于颜色饱和度和强度限定的值在一个或多个预定高度处具有峰值。例如，可在近似对应于预定特征高度范围的高度上限的高度处提供峰值。也可选择模仿通常与特定类型的场景内容(建筑物、植物、或道路)相关的颜色的彩色地图。

在步骤214中，使用3D点云创建地面表格。地面表格可看作在3D点云中包含的场景的地面轮廓的表示(按表格形式)。它基于3D点云的均匀网格，并且相对于X、Y和Z坐标轴被定义。地面表格定义代表用于场景的每个网格区域的近似高度的Z值。

为了理解如何创建地面表格，有用的是首先考虑3D点云数据的性质。用来获得3D点云数据的系统(例如，LIDAR)一般配置成测量“最后返回”数据点。这样的“最后返回”数据点常常是与地面数据噪声相关的反射能量的结果。因而，代之以代表底层地形的真实地图，与原始3D点云数据中的每个X、Y点相关的Z值也将与各种其它对象(如与植被、车辆和结构)相对应。为了确定与地形或地面相对应的点集，通常要求至少一些后处理，以排除实际上不与地形轮廓相对应的外来特征，如车辆、结构及植被。在本领域中，已知用来基于3D点云数据抽取或估计这样的地面高度的各种算法。任何这样的算法可用来产生地面表格。

一旦在步骤214中已经产生地面表格，过程就继续到步骤216。在步骤216中，从原始3D点云中选择性地删除数据点。实际上，通过去除与地面或地形相关的点，减少3D点云数据。根据本发明的实施例，对于在3D激光雷达数据中的每个子区域，这可通过删除在该子区域内不超过Z值(加上很小ΔZ)的任何点而完成，该Z值在地面表格中对于该子区域而规定。例如，用于特定子区域的Z值可能是一米。在该情况下，对位于该子区域内的原始点云数据中的每个点，可确定原始数据点的高度或Z值是否小于1米加上高度的很小Δ。如果是，那么删除该点；否则保持该点。可是，应该理解，任何其它技术可用来从原始点云数据中选择性地删除地面数据点。与应用的技术无关，这个步骤的目标是消除在点云数据内在刚好在地平线以上的某一Z值以下的所有点。这样做以消除地面噪声，该地面噪声对于评估图像对准过程的性能的目的一般是无用的。

在步骤216之后，方法继续到步骤218。尽管在步骤212中对于在2D图像中包含的一定X、Y区域赋予彩色地图标签，但彩色地图实际上不用来将颜色赋予与2D图像相关的像素。代之以，在步骤218中使用彩色地图，以便将颜色赋予在3D点云数据的对应X、Y区域中的点。由于2D图像和3D点云数据被对准，在特定场景中的区域和特征在每个图像数据集中将具有近似相同的X、Y坐标区域。例如，在2D场景中具有定义的X、Y坐标区域的特定城市区域将与在3D点云数据中的近似相同X、Y坐标区域相对应。对于场景中的各种其它特征，如各个建筑物和道路，情况也是如此。然后实际上，使用2D图像识别用于场景的不同部分的适当彩色地图，并且彩色地图在步骤218中被应用于在3D点云的对应区域中包含的数据点。

在步骤220中，赋予的彩色地图用来计算或以其他方式确定用于在3D点云中的每个数据点的RGB颜色值。彩色地图是Z坐标的函数，从而在3D点云中的每个点的实际颜色将基于：(1)赋予3D图像的X、Y区域的特定彩色地图；和(2)基于特定点的Z值或相对高度。相对高度可相对于地面测量。

本领域技术人员将认识到，这里称作表格、图表或数学公式的彩色地图可用来确定那些特定RGB值应该赋予具有特定Z值的点。任何适当的彩色地图可用于这个目的。然而，可能有利的是挑选对于观察者具有某种视觉化好处的彩色地图。例如，可能有利的是使用被设计成通过选择性地挑选色调和强度以高亮在不同高度处的特征来增强场景中的特定定类型的主题的彩色地图。也可能有利的是挑选使用通常理解为与特定场景相对应的特定色调的彩色地图。例如，棕色、棕黄色及绿色可以用于自然区域，因为它们自然地对应于植被的颜色。相反，各种灰色调可能与人类用户对城市区域的理解更一致。

在步骤222中，在步骤214中从3D图像数据导出的地面表格用来将Z值赋予2D图像数据的每个像素。通过在地面表格的区域中内插Z值而确定Z值。一旦从地面表格已经计算适当Z值，就赋予该Z值，作为用于在2D图像中的像素的Z值。结果是基于2D图像像素的虚拟3D点云。这在概念上表明在图7中，示出在来自地面表格的Z值已被赋予2D图像数据之后虚拟3D图像的轮廓702。在图7中，2D EO图像已经转换成虚拟3D范围图像。

方法在步骤224中通过计算用于在步骤222中得到的虚拟3D范围图像中的每个点的RGB颜色值而继续。用于虚拟3D图像的RGB颜色值基于任何适当的彩色地图。对于虚拟3D范围图像彩色地图的一种良好选择是具有最小色调变化的选择，从而不扰乱最终融合的产品。更具体地说，每个虚拟3D点现在将具有X、Y和Z坐标以及颜色值。

在步骤226中，方法以将3D点云数据与从2D EO图像创建的虚拟3D图像相融合的步骤继续。融合过程组合来自原始3D点云和虚拟3D点云的相关信息。这是真实的融合，因为它涉及将不同的信息源组合成一个场景，以获得用于视觉解释和场景了解的关于该环境的另外信息。

在步骤226之后得到的融合的场景将是3D场景，该3D场景包含来自原始LIDAR点云数据的组合信息和来自2D图像的信息。原始3D点云数据将按照彩色地图标记过程被颜色编码。得到的3D场景具有与作战空间了解、目标识别、呈现的场景内的变化探测和对准成功的确定相关的几个有用属性。下文将更详细地讨论这些特征的每一个。

现在参照图8，表示有可用来形成与在图7中表明的虚拟3D图像相似的虚拟3D图像的2D图像的例子。图9表示融合图像，其中在图8中的2D图像已经如在图7中那样首先转换成虚拟3D图像，然后按照在图2中叙述的各个步骤与3D点云数据相融合。图9中的图像可在计算机屏幕上旋转、放大及按三维观看，以帮助用户视觉化场景和评估对准过程的性能。

在诸如作战空间了解之类的场景解释领域中，在图9中的融合场景使视觉对于人类眼睛更清楚和更自然。点云数据不再显得浮在平的二维图像上方。代之以，将2D图像变换成与场景的实际地面轮廓相对应的虚拟3D图像。在得到的融合的图像中，地面轮廓将向3D点云数据提供改进的上下文和意义。被定义并然后映像到3D点上的颜色模型有利地被选择，从而它们与对应区域和特征的真实世界颜色密切相关。当视觉化数据时，这给用户熟悉性。在目标识别领域中，在融合图像内的目标可被抽取并且与已知目标的数据库相关。在变化探测领域中，按时间分离的融合场景可被重叠和比较用于对象差别和车辆运动。

另外，得到的融合的场景对于确定对准过程是否已经成功更有用。当试图将3D点云数据与2D图像数据对准时遇到的挑战之一是，确定对准过程是否正确地对准了两个数据集。参照图1-7描述的过程允许人员视觉地评估对准的质量。在得到的融合的图像中，与实际3D点云数据并列的虚拟3D图像的地面轮廓将向3D点云数据提供改进的上下文和意义。这为人类评估对准过程是否已经产生了其中由3D点云数据代表的对象看起来相对于2D数据适当地定位的融合图像提供了较好机会。而且，通过将在3D点云中的点颜色编码，使得能够对场景中的特征的适当对准进行清楚的视觉解释。例如，可关于建筑物角部、车辆、道路等的对准进行视觉评估。这个视觉评估过程在没有这样的颜色编码的情况下将显著地更困难或不可能。

Claims

1.一种组合2D图像与3D图像用于共同场景的改进可视化的方法，包括：

分析所述2D图像，以识别在所述共同场景中多个区域的基于选中内容的特性；

选择性地将与所述区域的基于内容的特性相对应的彩色地图标签赋予所述多个区域的每一个；

按照所述彩色地图标签，选择性地将不同的彩色地图赋予所述3D图像的多个区域的每一个；

通过基于所述3D图像中的地面轮廓将Z值赋予所述2D图像中的像素，从所述2D图像形成虚拟3D图像；

基于所需彩色地图，确定用于在虚拟3D图像中的点的颜色值；及

通过重叠所述3D图像和所述虚拟3D图像，创建融合的图像。

2.根据权利要求1所述的方法，还包括通过视觉地检查所述融合的图像以确定所述共同场景中的特征是否适当地对准，来评估所述对准步骤的性能或质量。

3.根据权利要求1所述的方法，其中，所述基于内容的特性选自包括城市内容、自然内容、水内容和人造结构内容的组。

4.根据权利要求3所述的方法，其中，所述人造结构内容选自包括建筑物、房屋、道路和车辆的组。

5.根据权利要求1所述的方法，其中，所述3D图像包括构成3D点云的多个点，其中，每个点按照X、Y和Z坐标轴值定义，并且所述2D图像包括具有按照由所述X和Y轴定义的值专门定义的位置的多个像素。

6.根据权利要求5所述的方法，还包括：基于赋予在所述2D图像中识别的所述多个区域的对应X、Y坐标值的所述彩色地图标签，将每个所述彩色地图赋予在所述3D图像中的区域内具有X、Y和Z坐标值的一个或多个点。

7.根据权利要求1所述的方法，还包括在所述融合步骤之前去除所述3D图像的构成地面数据的部分。

8.根据权利要求5所述的方法，其中，赋予所述Z值的所述步骤还包括：

对于具有所述X、Y坐标值的每个2D像素，赋予来自所述3D图像的地面轮廓的具有相同X、Y坐标值的Z值；和

如果在所述3D图像中没有与特定2D像素具有相同X、Y坐标值的数据点，则内插或估计Z值。

9.根据权利要求1所述的方法，其中，选择多个所述彩色地图，以模仿通常与对其使用彩色地图的区域的所述基于内容的特性共同相关的颜色或色调。

10.根据权利要求1所述的方法，还包括对准所述2D图像和所述3D图像。

11.一种组合2D图像与3D图像用于共同场景的改进可视化的系统，包括：

用指令集编程的计算机，该指令集用来

通过将Z值赋予所述2D图像中的像素，从所述2D图像形成虚拟3D图像，每个所述Z值基于所述3D图像中的地面轮廓而确定；

基于关于所述2D图像中的对应像素的颜色值的所需彩色地图，确定用于虚拟3D图像中的点的颜色值；及

通过重叠所述3D图像和所述虚拟3D图像，创建融合的图像。

12.根据权利要求11所述的系统，还包括通过视觉地检查所述融合的图像以确定所述共同场景中的特征是否适当地对准，来评估所述对准步骤的性能或质量。

13.根据权利要求11所述的系统，其中，所述基于内容的特性选自包括城市内容、自然内容、水内容和人造结构内容的组

14.根据权利要求13所述的系统，其中，所述人造结构内容选自包括建筑物、房屋、道路和车辆的组。

15.根据权利要求1所述的系统，其中，所述3D图像包括构成3D点云的多个点，其中，每个点按照X、Y和Z坐标轴值而定义，并且所述2D图像包括具有按照由所述X和Y轴定义的值专门定义的位置的多个像素。

16.根据权利要求15所述的系统，其中，所述计算机被编程为基于赋予在所述2D图像中识别的所述多个区域的对应X、Y坐标值的所述彩色地图标签，将每个所述彩色地图赋予在所述3D图像中的区域内具有X、Y和Z坐标值的一个或多个点。

17.根据权利要求11所述的系统，其中，所述计算机被编程为在所述融合步骤之前去除所述3D图像的构成地面数据的部分。

18.根据权利要求15所述的系统，其中，赋予所述Z值的所述步骤还包括：

19.根据权利要求11所述的系统，其中，多个所述彩色地图模仿通常与对其使用彩色地图的区域的所述基于内容的特性共同相关的颜色或色调。

20.根据权利要求11所述的系统，其中，所述计算机被编程为对准所述2D图像和所述3D图像。