CN102317972A - 3d点云数据对于2d电光图像数据的对准 - Google Patents

Abstract

用于对准二维图像集和包括点云数的三维图像的方法和系统。方法通过如下开始：剪切构成三维图像数据的点云数据的三维体积，以去除点云数据的构成场景内的地面的一部分；并且将三维体积划分成m个的多个子体积。此后，方法通过边缘增强二维图像数据而继续。然后，对于每个合格子体积，创建滤波的密度图像，基于滤波的密度图像和已经被边缘增强的所述二维图像计算二维相关表面，求出二维相关表面的峰值，确定在二维图像内所述峰值的对应位置，定义对应点集，及将对应点集存储在点集列表中。最后，确定使在点集列表中包含的多个对应点集之间的误差最小的变换。

Description

3D点云数据对于2D电光图像数据的对准

技术领域

发明的装置涉及图像对准，并且更具体地说，涉及由电光图像传感器获得的二维图像数据与由LIDAR传感器获得的三维点云图像数据的对准(registration)。

背景技术

成像传感器被用在各种各样的用途中，包括国家安全和军事用途。例如，这种类型的传感器通常定位在飞行器和地球轨道卫星平台上。常规电光(EO)传感器已经长期用于收集这样的图像数据，并且一般产生二维数据。这样的数据一般与图像到平面区域上的投影相对应，该平面区域可完全由x和y坐标轴定义。

最近，对三维成像数据的兴趣已逐渐增大。本领域技术人员将认识到，存在有各种不同类型的传感器、测量装置及成像系统，它们可用来产生3D点云数据。产生一帧或多帧3D点云数据的3D成像系统的一个例子是常规LIDAR成像系统。一般地，这样的LIDAR系统使用高能激光器、光学探测器和计时电路，以确定到目标的距离。在常规LIDAR系统中，一个或多个激光脉冲用来照射场景。每个脉冲触发计时电路，该计时电路与探测器阵列一起操作。一般地，系统测量光脉冲的每个像素通过从激光器到目标和返回到探测器阵列的往返路径的时间。从目标反射的光在探测器阵列中被探测，并且其往返行进时间被测量，以确定到在目标上的点的距离。对于组成目标的多个点，得到计算的范围或距离信息，由此创建3D点云。3D点云可用来再现物体的3-D形状。

在3D点云中的每个点与由数字摄像机产生的像素数据有些相似，不同之处是，3D点数据按三维排列，使点在各个位置处由x、y和z坐标系定义。由LIDAR传感器产生的点的3D图像或云通常称作点云数据。与2D像素数据相反，x、y、z坐标仅提供空间信息，而2D像素包含作为波长的函数的视觉强度信息。应该注意，某些LIDAR传感器通过在感兴趣区域上的长停留时间，可同时收集强度数据。

点云数据对于创建场景的3D模型是有用的。然而，它常常缺少通常与使用常规EO传感器获得的图像数据相关的大量详细视觉信息。相应地，便利的是，对于同一场景将2D EO成像数据与3D点云数据相结合。然而，结合两种不同集合的成像数据必定要求图像对准步骤。这样的图像对准步骤通常借助于与图像相关的元数据。例如，这样的元数据可包括：1)传感器的方位和姿势信息；2)与图像的角部点相关的经纬坐标；及3)在点云数据的情况下，用于点云数据的原始x、y和z点位置。这种元数据可用来确定在数据集之间的重叠区域以及对应点搜索到达区域。可是，这种图像对准步骤可能是困难的和耗时的，因为它要求由不同传感器在不同数据收集时间和不同相对传感器位置处获得的EO和LIDAR图像数据的精确对准。况且，点云数据与EO图像数据相比基本上是不同的，造成更复杂的交叉-传感器对准问题。

为了解决上述对准问题，已经提出各种对准方案。例如，某些对准方案利用LIDAR强度图像作为在对准过程中的帮助。LIDAR强度图像通过使LIDAR传感器在场景上停留延长的时间段而得到。在这个时间段期间，反射强度数据由传感器收集。这导致由LIDAR传感器得到的2D图像数据集，该2D图像数据集与由EO传感器收集的常规图像数据有些相似。LIDAR强度图像此后可用在各种方法中，以促进对准过程。可是，使用2D LIDAR强度图像的对准具有多种缺陷。首先，它仅提供LIDAR数据对于2D EO图像的2D对准。第二，使用这种2D LIDAR强度图像以及原始3D点云数据和2D EO图像，可能处理强度大，并且需要大量的计算机存储器。

其它2D对3D对准技术在如下意义上也是受限的：它们主要仅对于城市场景(并且要求形状信息)或涉及医学成像法的场景(并且要求在2D图像上的标记)有用。这样的系统还要求与对准相关的对准参数的良好初始推测。

发明内容

本发明涉及用于对准两个或更多个图像的方法和系统。针对共同场景，得到二维图像数据集和三维图像数据集。对于重叠区域，剪切点云数据的三维体积和二维图像数据。进一步的剪切去除点云数据的构成共同场景内的地面一部分。此后，将三维体积划分成m个子体积。将在每个子体积内的点云数据投影到与来自成像传感器的视线相垂直的对准平面上。

将二维图像数据边缘增强。此后，对于3D点的每个合格子体积，进行如下处理步骤：1)将合格子体积每一个投影到对准平面上；2)从每个子体积创建滤波的密度图像；3)从边缘增强的EO图像中选择对应区域；4)使用滤波的密度图像和对应的2D边缘增强EO图像，计算二维相关表面(有得到此表面的各种途径：NCC、相位、相位-rho、相互信息)；5)定位在二维相关表面上的最大峰值，(这个峰值包含在用于特定子区域的图像之间的位移信息)；6)使在相关表面上的峰值位置参考回到在每个EO子区域中的位置；7)使滤波的密度图像的每个子区域的中心位置参考回到EO子区域的中心；8)对于每个子区域，这两个点形成一对对应点；9)优化例程求出在对应点集之间的最好拟合。‘m’个对应点的例子可写作：

通过使用误差或成本函数使在点之间的距离最小而确定在对应点之间的变换。这种变换然后应用于在3D点云数据中的所有数据点。结果是，将3D LIDAR点云数据集与二维EO图像数据集对准。这个过程可应用在其它方向上，就是说，可求出将EO对准3D LIDAR的变换。

附图说明

图1是对于理解本发明有用的计算机系统的方块图。

图2是对于理解本发明有用的流程图。

图3是对于理解如何由不同有利点获得图像数据有用的图。

图4是对于理解三维图像数据或点云数据有用的图。

图5是对于理解二维图像数据有用的图。

图6是对于理解如何剪切三维图像数据以去除地表面有用的图。

图7是对于理解如何将图6的三维图像数据划分成子体积有用的图。

图8是对于理解如何使用滤波的密度图像和边缘增强二维图像计算二维相关表面有用的图。

图9是概念图，它对于理解在本发明中如何使用二维相关表面是有用的。

图10是对于理解对应点集列表是有用的图。

图11是对于理解如何EO传感器的姿态限定对准平面有用的图，该对准平面用来对准EO和3D点云数据。

具体实施方式

现在参照附图在下文将更充分地描述本发明，在这些附图中，表示本发明的说明性实施例。然而，本发明可以按多种不同形式实施，并且不应该解释成限于这里叙述的实施例。例如，本发明可实施成方法、数据处理系统、或计算机程序产品。相应地，本发明可采取完全硬件实施、完全软件实施、硬件/软件实施的形式。

本发明可在一个计算机系统中实现。可选择地，本发明可在几个互连的计算机系统中实现。适于执行这里描述的方法的任何种类的计算机系统或其它设备是适当的。硬件和软件的典型组合可能是通用计算机系统。通用计算机系统可具有计算机程序，该计算机程序可控制计算机系统，从而它执行这里描述的方法。

本发明可采取在计算机可用存储介质(例如，硬盘或CD-ROM)上的计算机程序产品的形式。计算机可用存储介质可具有嵌在介质中的计算机可用程序代码。术语计算机程序产品，如这里使用的那样，是指一种装置，该装置包括能够实现这里描述的方法的实施的所有特征。在本上下文中计算机程序、软件应用、计算机软件例程和/或这些术语的其它变形，是指指令集按任何语言、代码、或注释的任何表达，这些指令打算使具有信息处理能力的系统直接地或在如下的任一个或两者之后完成特定功能：a)转换成另一种语言、代码、或注释；或b)按不同材料形式再现。

计算机系统100可包括各种类型的计算系统和装置，包括服务器计算机、客户端用户计算机、个人计算机(PC)、图形输入板PC、笔记本电脑、台式计算机、控制系统、网络路由器、开关或桥、或能够执行规定将由该装置采取的行动的指令集的任何其它装置(依次或以其他方式)。要理解，本公开的装置也包括提供音频、视频或数据通信的任何电子装置。而且，尽管表明单个计算机，但短语“计算机系统”要理解成，包括个别或联合地执行一个指令集(或多个指令集)以执行这里讨论的任一种或多种方法的计算装置的任何集合。

计算机系统100可包括处理器102(如中央处理单元(CPU)、图形处理单元(GPU、或两者)、主存储器104及静态存储器106，这些可经总线108彼此通信。计算机系统100还可包括显示单元110，如视频显示器(例如，液晶显示器或LCD)、平面板、固态显示器、或阴极射线管(CRT))。计算机系统100可包括输入装置112(例如，键盘)、光标控制装置114(例如，鼠标)、盘驱动单元116、信号产生装置118(例如，扬声器或遥控器)及网络接口装置120。

盘驱动单元116可包括计算机可读存储介质122，在该计算机可读存储介质122上存储一个或多个指令集124(例如，软件代码)，这些指令集124配置成实施这里描述的方法、过程或功能的一个或多个。指令124也可完全或至少部分地驻留在主存储器104、静态存储器106内，并且/或者在其由计算机系统100执行期间，驻留在处理器102内。主存储器104和处理器102也可构成机器可读介质。

可以同样构造专用硬件实施以实施这里描述的方法，这些专用硬件实施包括但不限于专用集成电路、可编程逻辑阵列和其它硬件装置。可包括各个实施例的设备和系统的应用广义地包括各种电子系统和计算机系统。某些实施例在两个或更多个特定互连硬件模块或装置中实施功能，其中相关控制和数据信号在模块之间和通过模块通信，或者作为专用集成电路的部分。因而，示范系统适用于软件、固件和硬件实施。

按照本发明的各个实施例，下面描述的方法可存储为在计算机可读存储介质中的软件程序，并且可配置成在计算机处理器上运行。此外，软件实施可包括但不限于，分布处理、元件/对象分布处理、并行处理、虚拟机处理，这些处理可构造成实施这里描述的方法。

在本发明的各个实施例中，包含指令124的计算机可读存储介质或者从传播信号接收和执行指令124的计算机可读存储介质从而连接到网络环境126上的装置可发送或接收音频和/或视频数据，并且可使用指令124在网络126上通信。指令124还可经网络接口装置120在网络126上传输或接收。

尽管计算机可读存储介质122在示范实施例中表示成是单个存储介质，但术语“计算机可读存储介质”应该认为包括单个介质或多个介质(例如，集中或分布数据库、和/或相关高速缓冲存储器和服务器)，该单个介质或多个介质存储一个或多个指令集。术语“计算机可读存储介质”也将认为包括能够存储、编码或执行用于由机器执行的指令集、并且使机器执行本公开的任一个或多个方法的任何介质。

术语“计算机可读存储介质”将相应地认为包括但不限于：固态存储器，如存储器卡、或容纳一个或多个只读(非易失)存储器、随机存取存储器、或其它可重写(易失)存储器的其它包装；磁光或光学介质，如盘或带；以及载波信号，如在传输介质中实施计算机指令的信号；及/或对于电子邮件的数字文件附件、或其它被认为是与有形存储介质等效的分布介质的自包含信息档案或档案集。相应地，本公开被认为包括这里所列出的计算机可读介质或分布介质的任一种或多种，并且包括识别的等效和后续介质(其中存储这里的软件实施)。

本领域技术人员将认识到，在图1中表明的计算机系统体系结构是计算机系统的一个可能例子。然而，本发明在这方面不受限制，并且也可没有限制地使用任何其它适当计算机系统体系结构。

3D点云对于2D电光数据的对准

现在参照图2，提供流程图。此流程图对于理解用于包括点云的三维(3D)图像数据对于二维(2D)图像数据的对准的方法是有用的。方法在步骤210中，从用于共同场景的2D图像数据和3D图像数据的获得开始。这样一种获得过程的例子表示在图3中，其中，第一和第二成像传感器302、304每个获得共同场景306的图像数据。尽管两个成像传感器表示在图3中，但应该理解，本发明不限于此。代之以可以在两个不同的时间使用共用传感器。重要地，在图3中，第一卫星302可配置成收集2D图像数据，并且第二传感器304可配置成收集3D点云图像数据。

这里所描述的二维图像数据可由任何适当成像传感器收集，如本领域技术人员所知的那样。例如，地球轨道卫星和空中数据收集平台通常使用电光(EO)传感器收集2D图像数据。这里所使用的术语“电光传感器”一般指各种各样的装置的任一种，在这些装置中，在选中样本时段内，光学系统用于从场景到成像装置的图像检测表面上的成像辐射。成像装置可采取二维阵列的感光区域的形式。各种基于半导体的成像装置在现有技术中是已知的。例如，电荷耦合器件(CCD)和电光二极管阵列常常用于这个目的，而没有限制。可是，应该理解，仅仅作为例子识别上述成像装置，而本发明不打算限于任何特定EO型成像装置。例如，本发明也可用于医学图像的对准。

各种不同类型的成像传感器可用来产生3D成像数据，并且更具体地说，产生3D点云数据。本发明可用于从这些各种类型的成像系统的任一种得到的3D点云数据的对准。产生一帧或多帧3D点云数据的3D成像系统的一个例子是常规LIDAR成像系统。LIDAR数据的每个图像帧将包括与多范围回波相对应的三维中的点的集合(3D点云)。这些点可组织成“体素”(voxel)，这些“体素”代表在三维空间中在规则网格上的值。在3D成像中使用的体素与在2D成像装置的上下文中使用的像素相似。这些帧可被处理以重建目标的3D图像。在这方面，应该理解，在3D点云中的每个点具有各自的x、y及z值，按3D代表在场景内的实际表面。

3D图像数据的示范立方体400表示在图4中，而2D图像数据的帧表示在图5中。注意，2D图像数据的帧500定义在单个平面中，而3D图像数据的立方体400包括按三维定义的点云402。而且，应该注意，尽管在图4中的示范3D图像数据表示成定界为立方体，但本发明在这方面不受限制。尽管将认识到，立方体可能是用于此目的的方便形状，但可在任何其它适当的几何体积内定义3D数据。例如，代替立方体，矩形棱柱也可用于定界3D点云数据集。虽然有以上描述，但为了方便，将在点云数据立方体的上下文中描述本发明。

再参照图3，将认识到，成像传感器302、304可分别具有不同的位置和方位。本领域技术人员将认识到，传感器的位置和方位有时称作这样的传感器的姿态。例如，传感器302可被说成，在获得3D图像数据的时刻具有由姿态参数定义的姿态。

再参照图2，对准过程可在步骤202中继续。在步骤202中，剪切3D图像数据的立方体400的一部分。更具体地说，剪切过程去除与基础表面反射相对应的点云数据的一部分。当本发明应用在地球成像的上下文中时，基本表面一般将是地面。然而，本发明在这方面不受限制。这个过程按概念表明在图6中，其中从图像立方体中系统地排除落在平面602下面的数据。实际上，将3D点云数据体积系统地划分成区域。然后统计地分析用于每个区域的3D点数据，以探测地面轮廓。用于特定区域的地面轮廓可当作用于该区域的剪切平面。因此丢弃在区域内在这个平面以下的所有3D点。

在步骤202之后，方法继续步骤204，在该步骤204中，将3D点数据的体积划分成m个子体积。这细分步骤表明在图7中，图7表示立方体400细分成多个(m个)子体积702。m个子体积的每一个的形状也能是立方体，并且在这方面可被作为子立方体。可是，本发明在这方面不受限制，并且其它子体积形状也是可能的。在步骤204之后，在步骤206-230中进行涉及m个子体积702的迭代过程。下面描述迭代过程。

迭代过程在步骤206中开始，在该步骤206中，施加试验，以确定子体积是否具有进一步处理的资格。各种标准可用于这种试验的目的，以确定特定子体积是否合格。例如，将合格子体积限于包括足够量的数据或内容的那些子体积可能是有利的。例如，可将合格子体积限于具有其中包含至少预定量数据点的那些子体积。用于合格子区域的另一个标准可能是其中数据具有滴状(blob-like)结构的子区域。滴状点云可理解成是具有不定形形状的三维球或团。相应地，这里所提到的滴状点云一般不包括形成直线、曲线或平面的点云。在步骤206中，如果确定子体积不合格，那么过程继续到步骤208，其中确定是否已经评估所有m个子体积。如果是，则过程在步骤210中终止；否则，增大迭代值，并且过程返回到步骤206，以评估下个子体积702。如果在步骤206中确定子体积是合格的，那么过程继续到步骤214。

在步骤214中，通过使用子体积创建密度图像。更具体地说，将评估的当前子体积投影到由2D EO图像定义的对准平面上。来自EO传感器的高度数据用来确定这个平面是什么。图11是将用来对准EO和3D点云数据的对应平面1102和EO传感器姿势的例子。3D点云数据在形成滤波的密度图像之前，可投影到这个平面1102上。简单例子在图4和5中给出。为其中2D EO传感器姿势是最低点的情况提供例子，并因而对准平面就是x、y平面。将认识到，在其中2D EO传感器姿势不是最低点的更一般情况下，对准平面1102由某一其它x′、y′平面定义。为了解释简单，本发明将描述成好象对准就是x、y平面。然而，应该理解，本发明在这面不受限制。代之以，对于由图11示范的其中2D EO传感器不是最低点的那些实例，用由某一其它坐标轴系x′、y′定义的不同的基准平面代替对于这里的x、y平面的参考。

再参照图4和5，可观察到，在每个子体积702内构成3D点云的各个数据点从它们在点云内的位置投影到对准平面上。在图4和5中表示的对准平面是x、y平面的简单情况下，数据点的x和y值保持相同，而将用于数据点的每一个的z值设置到零。在更一般情况下(EO传感器不是最低点)，将数据点投影到已经定义的任何对准平面x′、y′(1102)上。这意味着，构成点云的每个点通过沿与对准平面正交的视线数学地调整它们的位置，直到它们重新定位在对准平面上而投影。步骤214的结果是，将包括3D点云数据的每个子体积702转换成在对准平面中的二维投影。这个二维投影用来创建密度图像。这里所描述的密度图像的目的是，允许以后施加的滤波过程求出将对准的二维形状的边缘内容。

在步骤216中，过程通过创建用于子体积702的滤波的密度图像而继续。在步骤216中滤波的密度图像的创建实际上涉及至少三个步骤。简短地说，步骤216包括：(1)用在步骤214中得到的二维投影形成密度图像；(2)进行密度图像的中间滤波；及(3)进行中间滤波的密度图像的边缘滤波。通过将规则网格施加到在步骤214中的二维投影上，从而将二维投影划分成多个规则网格区域，而形成密度图像。评估在每个单独网格区域内包含的点数，并且将该数字值赋予该网格区域。将每个单独网格区域的尺寸挑选成与EO图像的分辨率(有时称作地面样本距离或GSD)相对应。使密度图像视觉化的一种方式是把它看作模拟的全色像(imagery)。现在将更详细地描述滤波步骤(2)和(3)。

进行中间滤波步骤，主要是为了减少在密度图像中的噪声。中间滤波器在现有技术中是熟知的。中间滤波一般涉及作为长度和宽度上一定数量的像素的滤波器掩模的选择。掩模的准确尺寸可根据具体用途而变化。在本例中，已经发现具有5像素长×5像素宽尺寸的滤波器掩模提供适当结果。然而，本发明在这方面不受限制。在实际中，掩模与图像卷积。相应地，中间滤波器将用在掩模下的剩余像素值的中值代替中央像素值。通过首先将在掩模下的所有像素值分类成数值顺序，并且然后用中间像素值代替考虑的像素，而计算中值。

现在将更详细地描述边缘滤波步骤。图像处理领域的技术人员将容易地认识到，为了对准两个图像的目的，可能有帮助的是识别在图像中包含的对象的边缘。例如，探测形成图像的对象的边缘将显著地减小在图像中包含的数据总量。边缘探测保存图像的重要结构性质，但将去除对于图像对准目的一般无用的信息。相应地，有利的是在已经进行中间滤波之后，对密度图像进行边缘滤波。

如这里使用的那样，术语“边缘”一般指在二维图像内存在强烈强度对比的区域。在这样的区域中，通常有强度的迅速变化，如在相邻像素之间。在这方面，应该理解，有进行边缘探测的多种不同方式，所有这样的方法都打算包括在本发明的范围内。为了本发明的目的，边缘滤波可包括可用来探测或强调图像内的边缘的现在已知的任何技术或在将来发现的技术。

根据一个实施例，可使用常规Sobel滤波器执行在本发明中的边缘滤波。在Sobel滤波过程中，Sobel算子被用来确定对于图像的2-D空间梯度测量。用于Sobel滤波处理的常规技术是熟知的。相应地，这里将不再详细地描述Sobel滤波技术。然而，典型地，第一卷积掩模用来确定在x方向上的梯度。例如，第一卷积掩模能是3像素长和3像素宽。相同尺寸的第二卷积掩模用来确定在y方向上的梯度。在这方面，应该理解，第一和第二卷积掩模的每一个将比实际密度图像小得多。掩模各自在图像上滑动，按照Sobel算子一次操纵像素的一个3×3组。第一卷积掩模高亮在第一方向上的边缘，而第二卷积掩模高亮在第二方向上的边缘，该第二方向与第一方向横交(traverse)。如这里使用的那样，术语“高亮”可指允许在点云内的边缘被更清楚定义的任何图像或数据增强。过程的结果是，在与x和y轴都对准的方向上被高亮的边缘。

在步骤218中，2D图像500也被滤波，以增强2D图像的边缘。这种边缘滤波可使用任何适当的边缘滤波技术进行。例如，Sobel滤波过程可按与以上关于步骤216描述的相似的方式，用于这个目的。可是，本发明在这方面不受限制，并且其它适当的边缘滤波器可用于这个目的，如本领域技术人员将理解的那样。

在步骤220中，基于滤波的密度图像的区域和边缘增强的2D图像的对应区域，创建二维相关表面。这个过程表明在图8中，其中它表示用于特定子体积702_n的滤波的密度图像802一次移动一个像素，并且在每个位置处与边缘增强的2D EO图像801相关，以得到相关值。这些值然后如图9所示画出，图9在概念上表明二维相关图900_n。如本领域中所熟知，两个图像的交叉相关是可用来识别相似性(如在两个图像之间)的一种标准手段。如果两个图像包含至少某一共用主题，则交叉相关过程一般将导致，在与实际x、y变换误差相对应的位置处的相关值的峰值。

参照图8和9，交叉相关表面图的峰值出现在滤波的密度图像802_n与边缘增强的2D EO图像801最佳相关的地方。重要地，相关峰值位置将识别在滤波的密度图像802_n与2D EO图像之间的对准平面的移动。在图5和6表示的简单情况下，这种移动是x、y平面。更一般地，相关峰值位置将识别x′、y′平面的移动，其中x′、y′代表在图11中表示的对准平面1102。为了进行这种相关过程的目的，2DEO图像用作基准帧，而滤波的密度图像用作目标帧。然而，基准和目标基于在每个中的期望误差可互换。典型地，将具有最小绝对误差的一个看作基准。绝对误差是真实误差、或在数据坐标与用于那些点的地面真实位置之间的误差。

这里相对于步骤220描述的相关过程可使用归一化交叉相关(NCC)过程而进行。用于二维图像对准的NCC过程的使用在本技术领域中是熟知的。相应地，这里将不再详细地描述NCC过程。然而，一般地，两个图像i和j的交叉相关定义为如下乘积：

$\underset{p_i\∈w_i}{\mathrm{\Σ}}\underset{p_j\∈w_j}{\mathrm{\Σ}}{p}_i\⊗p_j$

其中，p_i是在滤波的密度图像i中的感兴趣域w_i上运行的像素指数，并且类似地p_j是在边缘增强的2D图像j中的感兴趣域w_j上的运行二维指数。如本技术领域中已知，指示为的交叉相关乘积可依据交叉相关的目的，由各种不同的函数定义。然而，典型乘积定义的一个例子如下：

$p_i\⊗p_j={\mathrm{\Σ}}_{w_i,w_j}\left(p_i{p}_j\right)$

本领域技术人员将认识到，上述乘积定义将提供在两个不同图像中包含的两个感兴趣区域多么相似的指示。在这方面，交叉相关值在得到最佳相关的峰值处。当然，本发明在这方面不受限制，并且可使用任何其它相关过程，条件是它产生识别在用于特定子体积702_n的密度图像与2D图像之间的转换误差的结果。

在步骤220中已经创建用于子体积702_n的2D相关表面之后，过程继续到步骤222。在步骤222中，识别2D相关表面的最大峰值902_n。峰值902_n的位置将与在2D图像500中由点

定义的某一位置相对应。相应地，在步骤224中，基于最大相关峰值的位置识别在2D图像500中的点

作为形成相关表面的过程的结果，存在在相关表面中的每个像素对于2D图像的直接映像。

在步骤226中，将用于点

的值存储在对应点集列表中。点集列表的例子表示在图10中。如这里表明的那样，将

值与对应

位置值一起存储。

位置值代表在3D图像数据的较大体积或立方体400内的滤波的密度图像802_n的中心。注意，为了对应点集的目的，不需要z分量，因为当对于共用x、y对准平面的投影发生时，去除这个变量。通过取得在数据集之间的对应点和使用包括成本函数的优化例程(如最小平方)使在它们之间的距离最小，来确定在两个数据集之间的实际误差。成本函数可包括如下的任一种(包括它们的组合)：平移、缩放、倾斜、旋转、多项式、以及由本领域技术人员已知的各种其它非线性方法。

在步骤226之后，在步骤228中确定是否已经在步骤206-226中处理所有m个子体积或子立方。如果不是，那么在步骤230中将n的值增加1，并且过程返回到步骤206，在该处评估和处理下个子体积，如前所述。当已经评估和处理所有子体积702_n时，方法继续到步骤232。

如关于步骤226解释的那样，值和对应的称作对应对，并且将这些位置值存储在点集列表中。在步骤232中，使用优化技术，以求出在两个点集之间的变换关系。一旦优化技术得到使成本函数最小的对应之间的最小距离，就定义这种变换。在本发明的一个实施例中，将最小平方误差函数用作优化技术。然而，应该理解，本发明在这方面不受限制。如将由本领域技术人员认识的那样，一旦已经识别对应对，则任何适当方法均可用来识别最优变换方案。存在在本领域中熟知的可用来使对应点之间的误差最小的几种优化例程。例如，优化例程可涉及同时扰动随机近似(SPSA)。可使用的其它优化方法包括Nelder Mead Simplex法、最小平方拟合法和准牛顿法。这些优化技术的每一种在本领域中是已知的，并因此这里不再详细地讨论。

一旦在步骤232中确定最优变换，方法就继续到步骤234。在步骤234中，将变换应用于在3D点云数据中的所有数据点。将最优变换应用于3D点云在理论上将3D点云数据与2D图像对准。结果是三维图像数据集与二维图像数据集对准。

Claims (10)

1.一种用于对准多个图像的方法，包括：

对于共同场景，获得二维图像数据和三维图像数据；

剪切构成所述三维图像数据的点云数据的三维体积，以去除所述点云数据的构成所述场景内的地面的一部分；

将所述三维体积划分成m个的多个子体积，其中m大于或等于一；

边缘增强所述二维图像数据；

对于每个合格子体积，创建滤波的密度图像，基于所述滤波的密度图像和已经被边缘增强的所述二维图像数据计算二维相关表面，求出二维相关表面的峰值，确定在二维图像内所述峰值的对应位置，定义对应点集，及将所述对应点集存储在点集列表中；

求出使在所述点集列表中包含的多个所述对应点集之间的误差最小的变换；及

将变换应用于在目标数据中的所述点，该目标数据选自包括三维图像数据和所述二维图像数据的组。

2.根据权利要求1所述的方法，其中，基于与特定子体积n相关的一个或多个选中特性和其中滴状结构的存在，识别所述合格子体积，所述特定子体积n选自其中包括预定数量的数据点的组。

3.根据权利要求1所述的方法，其中，所述创建滤波的密度图像的步骤包括：将在子体积n内的所述点云数据投影到由二维图像数据传感器姿势定义的对准平面上，以形成密度图像。

4.根据权利要求3所述的方法，其中，所述创建所述滤波的密度图像的步骤还包括中间滤波所述密度图像。

5.根据权利要求4所述的方法，其中，所述创建所述滤波的密度图像的步骤还包括边缘滤波所述密度图像，以增强在所述密度图像中的至少一个边缘。

6.根据权利要求5所述的方法，其中，将所述边缘滤波方法选择为Sobel边缘滤波器。

7.根据权利要求1所述的方法，其中，所述计算二维相关表面的步骤包括：要么将所述二维图像用作基准图像，将所述滤波的密度图像用作目标图像；要么将所述滤波的密度图像用作基准图像，将所述二维图像用作目标图像。

8.一种用于对准多个图像的系统，包括用指令集编程的处理装置，该指令集用来执行一系列步骤，这些步骤包括：

剪切构成三维图像数据的点云数据的三维体积，以去除所述点云数据的构成场景内的地面的一部分；

将所述三维体积划分成m个的多个子体积，其中m大于或等于一；

边缘增强二维图像数据；

对于每个合格子体积，创建滤波的密度图像，基于所述滤波的密度图像和已经被边缘增强的所述二维图像数据计算二维相关表面，求出二维相关表面的峰值，确定在二维图像内所述峰值的对应位置，定义对应点集，及将所述对应点集存储在点集列表中；

求出使在所述点集列表中包含的多个所述对应点集之间的误差最小的变换；及

将变换应用于在目标数据中的所述点，该目标数据选自包括三维图像数据和所述二维图像数据的组。

9.根据权利要求8所述的系统，其中，基于与特定子体积n相关的一个或多个选中特性和其中滴状结构的存在，识别所述合格子体积，所述特定子体积n选自其中包括预定数量的数据点的组。

10.根据权利要求8所述的系统，其中，所述创建滤波的密度图像的步骤包括：将在子体积n内的所述点云数据投影到由二维图像数据传感器姿势定义的对准平面上，以形成密度图像。

Images