CN107194962A - 点云与平面图像融合方法及装置 - Google Patents

Abstract

本发明涉及一种点云与平面图像融合方法及装置，获取目标物体的第一点云与第一平面图像后，首先将第一点云转换为第一深度图像，再获取能够反映第一平面图像与第一深度图像之间坐标转换关系的映射矩阵，最后利用该映射矩阵将第一深度图像与第一平面图像转换到同一坐标系下，并根据所述第一深度图像与所述第一点云之间的转换关系将所述第一平面图像与所述第一点云融合。因此，该点云与平面图像融合算法在进行数据融合时，只需确定两个二维图像(即深度图像与平面图像)之间的映射矩阵即可完成对点云与平面图像之间的融合，而无需考虑二维平面图像与三维点云之间的映射模型，从而简化了映射矩阵的计算过程。

Description

点云与平面图像融合方法及装置

技术领域

本发明涉及图像融合技术领域，特别是涉及一种点云与平面图像融合方法及装置。

背景技术

在无人驾驶、SLAM、ADAS等机器人应用领域，传感器是机器人感知外界事物的重要方式。主流的传感器主要是相机，已经有非常成熟的算法。近年来，激光雷达的使用也越来越普遍。激光雷达与相机各自有着各自的优点和缺陷。相机可以提供丰富的颜色信息，并且计算机视觉算法已经非常成熟，但是它不能提供三维信息。激光雷达可以提供三维信息，但不能提供颜色信息，相应的算法也较少。由此可见，激光雷达与相机，各自的优点恰好都是对方的缺陷，因此，将激光雷达与相机所提供的信息进行融合至关重要。

传统对激光雷达与相机采集数据进行融合的算法，需要建立二维平面图像到三维点云之间的映射模型，在计算映射模型时需要在三维点云中寻找与二维平面图像上各标定点所对应的点，这一过程较为困难。

发明内容

基于此，有必要针对传统融合算法计算二维平面图像到三维点云之间的映射模型较为困难的问题，提供一种点云与平面图像融合方法及装置。

一种点云与平面图像融合方法，包括：

获取目标物体的第一点云与第一平面图像；

将所述第一点云转换为第一深度图像；

获取能够反映所述第一平面图像与所述第一深度图像之间坐标转换关系的映射矩阵；

利用所述映射矩阵将所述第一深度图像与所述第一平面图像转换到同一坐标系下，并根据所述第一深度图像与所述第一点云之间的转换关系将所述第一平面图像与所述第一点云融合。

在其中一个实施例中，获取能够反映所述第一平面图像与所述第一深度图像之间坐标转换关系的映射矩阵包括：

获取标定物的第二点云与第二平面图像；其中，所述第二点云、第二平面图像的采集装置分别对应与所述第一点云、所述第一平面图像的采集装置相同；并且所述第二点云的采集装置相对所述第二平面图像的采集装置的位置，和所述第一点云的采集装置相对所述第一平面图像的采集装置的位置相同；

将所述第二点云转换为第二深度图像；其中，所述第二深度图像属于所述深度图像；

获取所述标定物上各标定点分别在所述第二平面图像、所述第二深度图像的坐标；

根据所有所述标定点分别在所述第二平面图像、所述第二深度图像的坐标计算出所述映射矩阵。

在其中一个实施例中，根据所有所述标定点分别在所述第二平面图像、所述第二深度图像的坐标计算出所述映射矩阵包括：

建立所述第二平面图像与所述第二深度图像之间的映射模型；

将各所述标定点分别在所述第二平面图像、所述第二深度图像的坐标代入所述映射模型中，从而得到所述映射矩阵。

在其中一个实施例中，所述映射模型为：

其中，P为所述映射矩阵，(x,y)为所述第二平面图像的点坐标，(x',y')为所述第二深度图像的点坐标，w为缩放系数。

在其中一个实施例中，将所述第一点云转换为第一深度图像包括：

将所述第一点云转换为球极坐标系(r，alpha，beta)下的点云；其中，r表示各点到所述球极坐标系中心的距离，alpha为各点在xy平面的投影旋转到x轴的角度，beta为各点旋转到z轴的角度；其中，z轴与重力方向平行；

根据各点在所述球极坐标系下的坐标得到所述第一深度图像。

在其中一个实施例中，所述第一深度图像中各点的坐标为：

x＝alpha/β+x₀

y＝beta/β+y₀

其中，β为最小角分辨率；(x₀,y₀)为所述第一深度图像的中心点坐标。

一种点云与平面图像融合装置，包括：

数据获取模块，用于获取目标物体的第一点云与第一平面图像；

点云转换模块，用于将所述第一点云转换为第一深度图像；

映射矩阵获取模块，用于获取能够反映所述第一平面图像与所述第一深度图像之间坐标转换关系的映射矩阵；

坐标系转换模块，用于利用所述映射矩阵将所述第一深度图像与所述第一平面图像转换到同一坐标系下，并根据所述第一深度图像与所述第一点云之间的转换关系将所述第一平面图像与所述第一点云融合。

在其中一个实施例中，所述映射矩阵获取模块包括：

标定物数据获取单元，用于获取标定物的第二点云与第二平面图像；其中，所述第二点云、第二平面图像的采集装置分别对应与所述第一点云、所述第一平面图像的采集装置相同；并且所述第二点云的采集装置相对所述第二平面图像的采集装置的位置，和所述第一点云的采集装置相对所述第一平面图像的采集装置的位置相同；

点云转换单元，用于将所述第二点云转换为第二深度图像；

标定点坐标获取单元，用于获取所述标定物上各标定点分别在所述第二平面图像、所述第二深度图像的坐标；

映射矩阵计算单元，用于根据所有所述标定点分别在所述第二平面图像、所述第二深度图像的坐标计算出所述映射矩阵。

在其中一个实施例中，所述映射矩阵计算单元包括：

映射模型建立子单元，用于建立所述第二平面图像与所述第二深度图像之间的映射模型；

模型求解子单元，用于将各所述标定点分别在所述第二平面图像、所述第二深度图像的坐标代入所述映射模型中，从而得到所述映射矩阵。

在其中一个实施例中，所述点云转换模块包括：

极坐标系转换单元，用于将所述第一点云转换为球极坐标系(r，alpha，beta)下的点云；其中，r表示各点到所述球极坐标系中心的距离，alpha为各点在xy平面的投影旋转到x轴的角度，beta为各点旋转到z轴的角度；其中，z轴与重力方向平行；

深度图像生成单元，用于根据各点在所述球极坐标系下的坐标得到所述第一深度图像。

上述点云与平面图像融合方法及装置具有的有益效果为：该点云与平面图像融合算法及装置中，获取目标物体的第一点云与第一平面图像后，首先将第一点云转换为第一深度图像，再获取能够反映第一平面图像与第一深度图像之间坐标转换关系的映射矩阵，最后利用该映射矩阵将第一深度图像与第一平面图像转换到同一坐标系下，并根据第一深度图像与第一点云之间的转换关系将第一平面图像与第一点云融合。因此，该点云与平面图像融合算法在进行数据融合时，只需确定两个二维图像(即深度图像与平面图像)之间的映射矩阵即可完成对点云与平面图像之间的融合，而无需考虑二维平面图像与三维点云之间的映射模型，从而简化了映射矩阵的计算过程。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他实施例的附图。

图1为一实施方式提供的点云与平面图像融合方法的流程图；

图2为图1所示实施方式的点云与平面图像融合方法中步骤S300其中一种实施例的流程图；

图3为图2所示实施例的点云与平面图像融合方法中步骤S340的其中一种具体流程图；

图4为图1所示实施方式的点云与平面图像融合方法中步骤S200的其中一种实施例的流程图；

图5为图4所示实施例的点云与平面图像融合方法中关于笛卡尔坐标系与球极坐标系的转换示意图；

图6为另一实施方式提供的点云与平面图像融合装置的组成框图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。

除非另有定义，本文所使用的所有的技术和科学术语与属于发明的技术领域的技术人员通常理解的含义相同。本文中在发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

一实施方式提供了一种点云与平面图像融合方法，可以由具有数据处理能力的智能设备(例如计算机等)执行。请参考图1，该点云与平面图像融合方法包括以下内容。

步骤S100.获取目标物体的第一点云与第一平面图像。

其中，第一点云的数据类型为点云，可以提供三维信息，例如第一点云可以由三维激光雷达对目标物体进行扫描而得出。第一平面图像的数据类型为二维图像，并且各像素值为灰度值或颜色值，其可以提供颜色信息。第一平面图像例如可以由相机对目标物体拍摄得到。

步骤S200.将第一点云转换为第一深度图像。

其中，第一深度图像的数据类型为深度图像，同样属于二维图像，但其各像素值代表了相对的深度信息。因此，该步骤相当于将三维数据(第一点云)转换成了二维数据(即第一深度图像)。

步骤S300.获取能够反映第一平面图像与第一深度图像之间坐标转换关系的映射矩阵。

该步骤中，映射矩阵能够将第一平面图像和第一深度图像转换到同一坐标系下，因此只要获取了映射矩阵，就可以将第一平面图像和第一深度图像转换到同一坐标系下。另外，需要说明的是，如果目标物体替换为另外的物体，只要采集装置相同，并且点云的采集装置与平面图像的采集装置之间的相对位置保持不变，那么映射矩阵同样适用于该新物体。举例来说，假设由三维激光雷达获取目标物体的第一点云，由相机获取目标物体的第一平面图像，那么只要保持该三维激光雷达和该相机之间的相对位置不变，不管目标物体替换为什么物体，都可以利用上述映射矩阵对各物体的平面图像与由点云生成的深度图进行融合。

步骤S400.利用映射矩阵将第一深度图像与第一平面图像转换到同一坐标系下，并根据第一深度图像与第一点云之间的转换关系将第一平面图像与第一点云融合。

该步骤中，利用映射矩阵将第一深度图像与第一平面图像转换到同一坐标系下，换言之，根据映射矩阵即可找到目标物体上的任一点分别在第一平面图像、第一深度图像中的位置。在此基础上，由于第一深度图像是由第一点云转换而来的，因此再根据第一深度图像与第一点云之间的转换关系(可以参考步骤S200中采用的转换关系)，即可进一步找到目标物体上的任一点分别在第一平面图像、第一点云中的位置(相当于建立了第一平面图像与第一点云之间的映射关系)，进而能够完成第一点云与第一平面图像之间的融合(即能够同时获取目标物体上任一点的三维信息和颜色信息)。

在传统点云与平面图像融合的方法中，需要计算三维点云与二维平面图像之间的映射矩阵，而由于维数不同，使得这一计算过程较为困难。而本发明提供的实施方式中，由于第一平面图像与第一深度图像都属于二维图像，因此基于维数相同的优势，使得获取两者之间的映射矩阵较为简单，从而降低了点云与平面图像融合的难度。

在其中一个实施例中，上述步骤S300的具体实现过程包括以下内容，请参考图2。

步骤S310.获取标定物的第二点云与第二平面图像。其中，第二点云、第二平面图像的采集装置分别对应与第一点云、第一平面图像的采集装置相同。并且，第二点云的采集装置相对第二平面图像的采集装置的位置，和第一点云的采集装置相对第一平面图像的采集装置的位置相同。

该步骤中，第二点云的数据类型同样为点云，与第一点云的区别仅在于所反映的物体不同(即第一点云用来反映目标物体，而第二点云用来反映标定物)。第二平面图像的数据类型同样为二维图像，与第一平面图像的区别仅在于所反映的物体不同(即第一平面图像用来反映目标物体，第二平面图像用来反映标定物)。并且，与目标物体相比，标定物的结构更简单，从而便于计算映射矩阵，例如标定物可以为设有几个空心圆的板状结构。

另外，第二点云、第二平面图像的采集装置分别对应与第一点云、第一平面图像的采集装置相同，换言之，第一点云、第二点云是由同一个采集装置(例如三维激光雷达)分别对目标物体、标定物扫描得到的点云。第一平面图像、第二平面图像是由同一个采集装置(例如相机)分别对目标物体、标定物进行拍摄而得到的平面图像。

步骤S320.将第二点云转换为第二深度图像。

其中，第二深度图像的数据类型为深度图像，同样属于二维图像，且其各像素值代表了相对的深度信息。

步骤S330.获取标定物上各标定点分别在第二平面图像、第二深度图像的坐标。

其中，标定点可以为标定物上具有较明显特征的点，例如如果标的物上设置了多个空心圆，则可以将这些空心圆作为标定点，从而便于分别在第二平面图像、第二深度图像上找出这些空心圆圆心的坐标。

在具体操作过程中，可以由操作员观察第二平面图像、第二深度图像上各标定点的坐标，并将观察到的坐标值输入至智能设备中。或者，也可以由操作员在智能设备的屏幕上指定各标定点的位置，智能设备根据操作员触摸的位置利用触摸屏的触摸位置检测原理来自动识别标定点分别第二平面图像、第二深度图像中的坐标。

步骤S340.根据所有标定点分别在第二平面图像、第二深度图像的坐标计算出映射矩阵。

本发明实施例中，标定点的数量需保证至少能够计算出映射矩阵，例如可以选择4个标定点。由于第二平面图像、第二深度图像分别与第一平面图像、第一深度图像的产生方式相同，因此计算出了第二平面图像与第二深度图像之间的映射矩阵，就相当于计算出了第一平面图像与第一深度图像之间的映射矩阵，进而能够利用该映射矩阵将第一平面图像与第一深度图像转换到同一坐标系下。

具体地，上述步骤S340的其中一种具体实现方式包括以下内容，请参考图3。

步骤S341.建立第二平面图像与第二深度图像之间的映射模型。

其中，映射模型用来描述第二平面图像与第二深度图像之间的映射关系，换言之，任一点分别在第二平面图像、第二深度图像的坐标代入到该映射模型中都成立。并且，映射模型中含有未知参数，这些未知参数可以通过各标定点的坐标计算出来，因此标定点的数量至少要等于或大于这些未知参数的数量。

具体地，映射模型可以为：

其中，P为映射矩阵，(x,y)为第二平面图像的点坐标，(x',y')为第二深度图像的点坐标，w为缩放系数。缩放系数用来反映第二平面图像、第二深度图像分别对标定物进行的缩放程度之间的相对比值，从而提高计算的精确性。

步骤S342.将各标定点分别在第二平面图像、第二深度图像的坐标代入上述映射模型中，从而得到映射矩阵。

在上述具体的映射模型(1)中，P和w均为未知参数，找出各标定点分别在第二平面图像、第二深度图像中的坐标的目的就是对这两个参数进行求解。因此，当求出了映射矩阵后，就相当于得到了第一平面图像与第一深度图像之间的坐标转换关系，从而能够利用该映射矩阵P将第一平面图像与第一深度图像转换到同一坐标系下，例如：将第一深度图像各点的坐标分别代入上述映射模型中的(x',y')，即可转换得到第一平面图像所在的坐标系下的各坐标(x,y)。

可以理解的是，计算映射矩阵的具体方式不限于上述情况，例如：如果目标物体本身就存在特征较为明显且容易识别的点时，则可以直接利用目标物体上这些点的坐标来求出映射矩阵，而无需再另外使用标定物进行标定。

在其中一个实施例中，上述步骤S200的其中一种具体实现方式包括以下内容，请参考图4。

步骤S210.将第一点云转换为球极坐标系(r，alpha，beta)下的点云。其中，r表示各点到球极坐标系中心的距离，alpha为各点在xy平面的投影旋转到x轴的角度，beta为各点旋转到z轴的角度。其中，z轴与重力方向平行；

本发明实施例中，如果第一点云是由三维激光雷达扫描得出，则第一点云所在的坐标系为笛卡尔坐标系。那么，该步骤相当于将笛卡尔坐标系转换至球极坐标系，这两个坐标系之间的转换关系请参考图5。其中，两条虚线相交的点为点(r，alpha，beta)在xy平面的投影。

步骤S220.根据各点在球极坐标系下的坐标得到第一深度图像。

在球极坐标系下，alpha代表深度图像中的水平位置(即x坐标值)，beta代表深度图像中的竖直位置(即y坐标值)，因此即可根据alpha、beta的上述特征得到第一深度图像。

具体地，第一深度图像中各点的坐标为：

其中，β为最小角分辨率，代表点云的生成装置(例如三维激光雷达)的指向精度。(x₀,y₀)为第一深度图像的中心点坐标。因此，根据上述坐标变化公式，即可将球极坐标系下各点的坐标转换为深度图像的坐标，并且各点的值为r，从而最终得到深度图像。

另外，上述步骤S320中，也可采用图4所示的上述具体方式将第二点云转换为第二深度图像，即先将第二点云转换到球极坐标系下，然后利用上述公式(2)再转换为深度图像。并且，β和(x₀,y₀)这两个设定值对于第一点云和第二点云都为相同的值。

需要说明的是，图1至图4为本发明实施例的方法的流程示意图。应该理解的是，虽然图1至图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图1至图4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

另一实施方式提供了一种点云与平面图像融合装置，请参考图6，包括以下内容。

数据获取模块100，用于获取目标物体的第一点云与第一平面图像；

点云转换模块200，用于将所述第一点云转换为第一深度图像；

映射矩阵获取模块300，用于获取能够反映所述第一平面图像与所述第一深度图像之间坐标转换关系的映射矩阵；及

坐标系转换模块400，用于利用所述映射矩阵将所述第一深度图像与所述第一平面图像转换到同一坐标系下，并根据所述第一深度图像与所述第一点云之间的转换关系将所述第一平面图像与所述第一点云融合。

在其中一个实施例中，映射矩阵获取模块300包括：

标定物数据获取单元，用于获取标定物的第二点云与第二平面图像。其中，所述第二点云、第二平面图像的采集装置分别对应与所述第一点云、所述第一平面图像的采集装置相同；并且所述第二点云的采集装置相对所述第二平面图像的采集装置的位置，和所述第一点云的采集装置相对所述第一平面图像的采集装置的位置相同；

点云转换单元，用于将所述第二点云转换为第二深度图像；

标定点坐标获取单元，用于获取所述标定物上各标定点分别在所述第二平面图像、所述第二深度图像的坐标；及

映射矩阵计算单元，用于根据所有所述标定点分别在所述第二平面图像、所述第二深度图像的坐标计算出所述映射矩阵。

在其中一个实施例中，所述映射矩阵计算单元包括：

映射模型建立子单元，用于建立所述第二平面图像与所述第二深度图像之间的映射模型；及

模型求解子单元，用于将各所述标定点分别在所述第二平面图像、所述第二深度图像的坐标代入所述映射模型中，从而得到所述映射矩阵。

在其中一个实施例中，所述点云转换模块200包括：

极坐标系转换单元，用于将所述第一点云转换为球极坐标系(r，alpha，beta)下的点云；其中，r表示各点到所述球极坐标系中心的距离，alpha为各点在xy平面的投影旋转到x轴的角度，beta为各点旋转到z轴的角度；其中，z轴与重力方向平行；及

深度图像生成单元，用于根据各点在所述球极坐标系下的坐标得到所述第一深度图像。

需要说明的是，本发明实施方式提供的上述各实施例的点云与平面图像融合装置，分别与上述实施方式的各实施例提供的点云与平面图像融合方法对应，这里就不再赘述。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种点云与平面图像融合方法，包括：

获取目标物体的第一点云与第一平面图像；

将所述第一点云转换为第一深度图像；

获取能够反映所述第一平面图像与所述第一深度图像之间坐标转换关系的映射矩阵；

利用所述映射矩阵将所述第一深度图像与所述第一平面图像转换到同一坐标系下，并根据所述第一深度图像与所述第一点云之间的转换关系将所述第一平面图像与所述第一点云融合。

2.根据权利要求1所述的点云与平面图像融合方法，其特征在于，获取能够反映所述第一平面图像与所述第一深度图像之间坐标转换关系的映射矩阵包括：

获取标定物的第二点云与第二平面图像；其中，所述第二点云、第二平面图像的采集装置分别对应与所述第一点云、所述第一平面图像的采集装置相同；并且所述第二点云的采集装置相对所述第二平面图像的采集装置的位置，和所述第一点云的采集装置相对所述第一平面图像的采集装置的位置相同；

将所述第二点云转换为第二深度图像；其中，所述第二深度图像属于所述深度图像；

获取所述标定物上各标定点分别在所述第二平面图像、所述第二深度图像的坐标；

根据所有所述标定点分别在所述第二平面图像、所述第二深度图像的坐标计算出所述映射矩阵。

3.根据权利要求2所述的点云与平面图像融合方法，其特征在于，根据所有所述标定点分别在所述第二平面图像、所述第二深度图像的坐标计算出所述映射矩阵包括：

建立所述第二平面图像与所述第二深度图像之间的映射模型；

将各所述标定点分别在所述第二平面图像、所述第二深度图像的坐标代入所述映射模型中，从而得到所述映射矩阵。

4.根据权利要求3所述的点云与平面图像融合方法，其特征在于，所述映射模型为：

其中，P为所述映射矩阵，(x,y)为所述第二平面图像的点坐标，(x',y')为所述第二深度图像的点坐标，w为缩放系数。

5.根据权利要求1至4中任一权利要求所述的点云与平面图像融合方法，其特征在于，将所述第一点云转换为第一深度图像包括：

将所述第一点云转换为球极坐标系(r，alpha，beta)下的点云；其中，r表示各点到所述球极坐标系中心的距离，alpha为各点在xy平面的投影旋转到x轴的角度，beta为各点旋转到z轴的角度；其中，z轴与重力方向平行；

根据各点在所述球极坐标系下的坐标得到所述第一深度图像。

6.根据权利要求5所述的点云与平面图像融合方法，其特征在于，所述第一深度图像中各点的坐标为：

x＝alpha/β+x₀

y＝beta/β+y₀

其中，β为最小角分辨率；(x₀,y₀)为所述第一深度图像的中心点坐标。

7.一种点云与平面图像融合装置，其特征在于，包括：

数据获取模块，用于获取目标物体的第一点云与第一平面图像；

点云转换模块，用于将所述第一点云转换为第一深度图像；

映射矩阵获取模块，用于获取能够反映所述第一平面图像与所述第一深度图像之间坐标转换关系的映射矩阵；

坐标系转换模块，用于利用所述映射矩阵将所述第一深度图像与所述第一平面图像转换到同一坐标系下，并根据所述第一深度图像与所述第一点云之间的转换关系将所述第一平面图像与所述第一点云融合。

8.根据权利要求7所述的点云与平面图像融合装置，其特征在于，所述映射矩阵获取模块包括：

标定物数据获取单元，用于获取标定物的第二点云与第二平面图像；其中，所述第二点云、第二平面图像的采集装置分别对应与所述第一点云、所述第一平面图像的采集装置相同；并且所述第二点云的采集装置相对所述第二平面图像的采集装置的位置，和所述第一点云的采集装置相对所述第一平面图像的采集装置的位置相同；

点云转换单元，用于将所述第二点云转换为第二深度图像；

标定点坐标获取单元，用于获取所述标定物上各标定点分别在所述第二平面图像、所述第二深度图像的坐标；

映射矩阵计算单元，用于根据所有所述标定点分别在所述第二平面图像、所述第二深度图像的坐标计算出所述映射矩阵。

9.根据权利要求8所述的点云与平面图像融合装置，其特征在于，所述映射矩阵计算单元包括：

映射模型建立子单元，用于建立所述第二平面图像与所述第二深度图像之间的映射模型；

模型求解子单元，用于将各所述标定点分别在所述第二平面图像、所述第二深度图像的坐标代入所述映射模型中，从而得到所述映射矩阵。

10.根据权利要求7至9中任一权利要求所述的点云与平面图像融合装置，其特征在于，所述点云转换模块包括：

极坐标系转换单元，用于将所述第一点云转换为球极坐标系(r，alpha，beta)下的点云；其中，r表示各点到所述球极坐标系中心的距离，alpha为各点在xy平面的投影旋转到x轴的角度，beta为各点旋转到z轴的角度；其中，z轴与重力方向平行；

深度图像生成单元，用于根据各点在所述球极坐标系下的坐标得到所述第一深度图像。