CN105374011B - 基于全景图像的点云数据拼接方法及装置 - Google Patents

Abstract

本发明公开了一种基于全景图像的点云数据拼接方法，包括：同步采集场景的一序列组图像和点云数据，相邻序列的所述图像具有预设重叠区域；按照所述预设重叠区域将一序列组所述图像拼接，得到所述场景的全景图像；将一序列组所述点云数据按照对应序列投影到所述全景图像中；将投影到所述全景图像中的一序列组所述点云数据进行拼接，以得到表达所述场景整体的点云数据集。本发明所述基于全景图像的点云数据拼接方法及装置，通过同步获取场景的图像，基于场景的全景图像实现对场景点云数据的拼接，与现有技术相比，避免了在扫描前需在场景中布置标记点，并且能够降低测量操作难度，提高测量效率和灵活性。

Description

基于全景图像的点云数据拼接方法及装置

技术领域

本发明涉及视觉图像处理技术领域，特别是涉及一种基于全景图像的点云数据拼接方法及装置。

背景技术

利用三维测量技术获取三维空间信息，对场景进行三维重建，在虚拟现实、文物保护、考古研究、工业设计、变形监测等方面有着广阔的应用前景。

三维激光扫描技术是近年来采用较多的三维空间信息的获取手段，它基于主动测量原理，具有快速、精确、非接触地获取被测物体或场景的三维信息的特点，因而得到广泛的应用。由于测量设备与环境的限制，每次扫描只能获得被扫描场景的局部数据，要得到物体或场景的完整三维点云数据需要架设多个测量站点，最后将各个站点获取的点云数据拼接起来。其中，点云数据的准确拼接需要相邻图幅中有特征明显的同名点，在实际应用中，通常通过测量前在被测物体或场景中布设特征点实现，这一过程不但大大降低了数据的获取效率与灵活性，而且增加了操作的难度，未经过培训的非专业人员短期内难以熟练使用。

因此，当前采用的这种三维测量方法，为实现多站点点云数据的准确拼接，需要在扫描前在被测场景中布设若干标记点，这导致测量操作复杂，难度较大，测量效率低下。

发明内容

本发明的目的是提供一种基于全景图像的点云数据拼接方法及装置，在测量时不需要在场景中设置标记点，能够降低测量操作难度，提高测量效率和灵活性。

为实现上述目的，本发明提供如下技术方案：

一种基于全景图像的点云数据拼接方法，包括：

同步采集场景的一序列组图像和点云数据，相邻序列的所述图像具有预设重叠区域；

按照所述图像的预设重叠区域将一序列组所述图像拼接，得到所述场景的全景图像；

将一序列组所述点云数据按照对应序列投影到所述全景图像中；

将投影到所述全景图像中的一序列组所述点云数据进行拼接，以得到表达所述场景整体的点云数据集。

可选地，所述按照所述图像的预设重叠区域将一序列组所述图像拼接，得到所述场景的全景图像，之前还包括：

将对应序列的所述图像和所述点云数据配准在同一空间位置。

可选地，所述按照所述图像的预设重叠区域将一序列组所述图像拼接，得到所述场景的全景图像包括：

将一序列组所述图像转换到同一坐标系中；

根据所述图像的预设重叠区域将同一坐标系中的一序列组所述图像进行拼接，得到所述全景图像；

所述将一序列组所述点云数据按照对应序列投影到所述全景图像中包括：将一序列组所述点云数据按照对应序列投影到所述全景图像的同一坐标系中。

可选地，所述将投影到所述全景图像中的一序列组所述点云数据进行拼接，以得到表达所述场景整体的点云数据集，包括：

根据所述全景图像去除一序列组所述点云数据之间的重叠部分；

对所述点云数据进行拼接，得到表达所述场景整体的点云数据集。

可选地，所述同步采集场景的一序列组图像和点云数据，包括：

同步采集所述场景水平方向360°范围内、竖直方向120°范围内的一序列组图像和点云数据。

可选地，所述同步采集场景的一序列组图像和点云数据，包括：

沿所述场景水平方向移动，同步采集所述场景竖直方向360°范围内的一序列组图像和点云数据。

一种基于全景图像的点云数据拼接装置，包括：

数据采集设备，用于同步采集场景的一序列组图像和点云数据，相邻序列的所述图像具有预设重叠区域；

数据处理设备，包括：

全景图拼接模块，用于按照所述图像的预设重叠区域将一序列组所述图像拼接，得到所述场景的全景图像，

点云数据投影模块，用于将一序列组所述点云数据按照对应序列投影到所述全景图像中；

点云数据拼接模块，用于将投影到所述全景图像中的一序列组所述点云数据进行拼接，以得到表达所述场景整体的点云数据集。

可选地，所述数据采集设备包括：

相邻设置在同一平面内的图像采集模块和点云数据采集模块；

所述图像采集模块用于采集所述场景的图像；

所述点云数据采集模块用于采集所述场景的点云数据。

可选地，所述点云数据采集模块包括：

向所述场景中投射检测光线的结构光投射器；

接收经所述场景调制的反馈光线的传感器；

所述图像采集模块、所述结构光投射器和所述传感器依次相邻设置在同一平面内。

可选地，所述图像采集模块包括摄像头；

所述结构光投射器为投射红外光线的结构光投射器；

所述传感器为设有红外滤波器的影像传感器。

由上述技术方案可知，本发明所提供的基于全景图像的点云数据拼接方法及装置，所述方法包括：同步采集场景的一序列组图像和点云数据，相邻序列的所述图像具有预设重叠区域；按照所述预设重叠区域将一序列组所述图像拼接，得到所述场景的全景图像；将一序列组所述点云数据按照对应序列投影到所述全景图像中；将投影到所述全景图像中的一序列组所述点云数据进行拼接，以得到场景的整体点云数据图。因此，本发明所述点云数据的拼接方法及装置，通过同步获取场景的图像，基于场景的全景图像实现对场景点云数据的拼接，与现有技术相比，避免了在扫描前需在场景中布置标记点，并且能够降低测量操作难度，提高测量效率和灵活性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于全景图像的点云数据拼接方法的流程图；

图2为本发明实施例提供的一种基于全景图像的点云数据拼接装置的结构示意图；

图3为本发明实施例提供的一种数据采集设备的结构示意图；

图4为本发明实施例提供的数据采集设备采集数据的一种方式示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

请参考图1，本发明实施例提供的一种基于全景图像的点云数据拼接方法，包括以下步骤：

S100：同步采集场景的一序列组图像和点云数据，相邻序列的所述图像具有预设重叠区域。

在被测场景中，对场景同一区域同时采集点云数据和图像，得到场景的一序列组图像和对应的一序列组点云数据，采集得到的图像要求相邻序列的图像具有预设重叠区域，如具有20％-30％的重叠区域。

所述图像为可见光图像，可以是彩色图像。采集的点云数据包含场景各个点的三维坐标，能够表达场景各个点的空间信息，包括位置信息和深度信息。

S101：按照所述图像的预设重叠区域将一序列组所述图像拼接，得到所述场景的全景图像。

根据相邻序列图像的预设重叠区域，将采集到的一序列组图像拼接，拼接得到场景的全景图像。

S102：将一序列组所述点云数据按照对应序列投影到所述全景图像中。

根据采集的点云数据与图像序列的对应关系，将点云数据投影到全景图像中对应序列的图像上，即同一区域的点云数据投影到相同区域采集的图像上。

S103：将投影到所述全景图像中的一序列组所述点云数据进行拼接，以得到表达所述场景整体的点云数据集。

由上述内容可知，本实施例所述点云数据的拼接方法，通过同步获取场景的图像，根据图像拼接后得到的全景图像对场景的点云数据进行拼接，得到表达场景整体的点云数据集。与现有技术相比，所述基于全景图像的点云数据拼接方法避免了在扫描前需要在场景中布置标记点，可提高测量效率和灵活性，并且能够降低测量操作难度，实用性更高。

下面以一具体实施方式详细说明本实施例所提供的基于全景图像的点云数据拼接方法，在本具体实施方式中，所述方法具体包括：

S200：同步采集场景的一序列组图像和点云数据，相邻序列的所述图像具有预设重叠区域。

具体地，在实际测量中，采集场景的图像和点云数据的方式可采用以下两种：

方式一：同步采集场景水平方向360°范围内、竖直方向120°范围内的一序列组图像和点云数据，具体地，数据采集设备的中心轴沿竖直方向，数据采集设备绕中心轴旋转进行扫描，采集场景水平方向360°范围内、竖直方向120°范围内的图像和点云数据。

方式二：沿所述场景水平方向移动，同步采集所述场景竖直方向360°范围内的一序列组图像和点云数据。在场景内数据采集设备的中心轴沿水平方向，沿中心轴移动，获取途径区域竖直方向360°范围内的图像和点云数据。

S201：将对应序列的所述图像和所述点云数据配准在同一空间位置。

同步获取对应场景同一区域的图像和点云数据在空间位置上会存在偏差，通过配准，将对应序列的图像和点云数据配准在同一空间位置，使同一物体在图像与点云数据中的位置是完全对应的，这是后续点云数据投影和拼接的基础。

S202：按照所述图像的预设重叠区域将一序列组所述图像拼接，得到所述场景的全景图像，具体包括以下步骤：

S2020：将一序列组所述图像转换到同一坐标系中。由于采集到的每幅图像，都是以采集点当前位置为原点的坐标系，将采集的一序列组图像转换到同一坐标系中，以便后续进行图像拼接。

S2021：根据所述图像的预设重叠区域将同一坐标系中的一序列组所述图像进行拼接，得到所述全景图像。

将转换到同一坐标系中的一序列组图像进行拼接，根据相邻序列的两幅图像的重叠区域，根据重叠区域的相似性原则进行图像的匹配，以拼接得到场景的全景图像。

S203：将一序列组所述点云数据按照对应序列投影到所述全景图像中。具体为，将一序列组所述点云数据按照对应序列投影到所述全景图像的同一坐标系中。这样，点云数据与图像位于同一坐标系中，对应序列的点云数据和图像之间存在对应关系，这是后续点云数据拼接的基础。

S204：将投影到所述全景图像中的一序列组所述点云数据进行拼接，以得到表达所述场景整体的点云数据集。具体包括：基于全景图像中包含的各序列图像与各序列点云数据的对应关系，根据所述全景图像去除一序列组所述点云数据之间的重叠部分，只保留与全景图像中各幅图对应的区域，然后将点云数据进行拼接，得到表达所述场景整体的点云数据集，以表达场景整体的三维空间信息。

因此，本实施例提供的基于全景图像的点云数据拼接方法，通过同步获取场景的图像，根据图像拼接后得到的全景图像对场景的点云数据进行拼接，得到表达场景整体的点云数据集。与现有的三维测量方法相比，使用三维激光扫描仪获取场景的三维点云数据时，为了各站点数据的拼接需要提前在场景中布设标志点，使测量操作复杂，难度大，而本实施例所述方法不需要设置标记点，测量操作更方便更灵活，可提高测量效率，可行性强。并且，通过所述方法获取的场景信息更丰富，在获取场景三维点云数据的同时，可获取场景的图像信息，图像信息可直观反映场景内容。

相应地，请参考图2，本发明实施例还提供一种基于全景图像的点云数据拼接装置，包括数据采集设备10和数据处理设备20。

数据采集设备10用于同步采集场景的一序列组图像和点云数据，相邻序列的所述图像具有预设重叠区域。

数据处理设备20包括：

全景图拼接模块200，用于按照所述图像的预设重叠区域将一序列组所述图像拼接，得到所述场景的全景图像；

点云数据投影模块201，用于将一序列组所述点云数据按照对应序列投影到所述全景图像中；

点云数据拼接模块202，用于将投影到所述全景图像中的一序列组所述点云数据进行拼接，以得到表达所述场景整体的点云数据集。

所述数据处理设备20还包括：数据配准模块，用于在按照所述图像的预设重叠区域将一序列组所述图像拼接，得到所述场景的全景图像之前，将对应序列的所述图像和所述点云数据配准在同一空间位置。

具体地，本实施例中，所述数据采集设备10包括相邻设置在同一平面内的图像采集模块100和点云数据采集模块101，图像采集模块100用于采集所述场景的图像，所述点云数据采集模块101用于采集所述场景的点云数据。图像采集模块100和点云数据采集模块101相邻设置在同一平面，在场景内测量采集数据时，能够同步地获取场景同一区域的图像和点云数据。

本实施例所述数据采集设备10在场景内采集数据时，可采用以下两种方式：

方式一：参考图4，数据采集设备10的中心轴沿竖直方向，数据采集设备10绕中心轴旋转进行扫描，采集场景水平方向360°范围内、竖直方向120°范围内的图像和点云数据。

方式二：在场景内，数据采集设备10的中心轴沿水平方向，数据采集设备10沿中心轴水平移动，获取途径区域竖直方向360°范围内的图像和点云数据。

具体地，本实施例中，所述点云数据采集模块101包括：向所述场景中投射检测光线的结构光投射器102，和接收经所述场景调制的反馈光线的传感器103。图像采集模块100、结构光投射器102和传感器103依次相邻设置在同一平面内，可参考图3。

结构光投射器102向场景中投射检测光线，检测光线经场景内物体调制后，携带场景内各物体空间信息，形成反馈光线，由传感器103接收，解码后得到场景的点云数据。

本实施例中采用结构光测量技术，获取场景的点云数据，结构光测量具有主动式、非接触的特性，目前被广泛应用，在逆向工程、质量检测、数字化建模、物体识别等领域具有无可比拟的优势，并且与激光扫描技术相比，具有很大的价格优势，能够使设备成本大大降低，实用性更强。

具体地，本实施例中，图像采集模块100包括摄像头，用于采集场景的图像，结构光投射器102为投射红外光线的结构光投射器，用于向场景投射红外光线，传感器103为设有红外滤波器的影像传感器，由物体返回的经调制编码的红外光线，经过红外滤波器滤波处理后，由影像传感器接收，采集得到场景的点云数据。所述影像传感器可采用CMOS影像传感器。

本实施例所述基于全景图像的点云数据拼接装置，通过同步获取场景的图像，基于场景的全景图像实现对场景点云数据的拼接，与现有技术相比，实现了自动测量和数据拼接，避免在扫描前需在场景中布置标记点，能够降低测量操作难度，提高测量效率和灵活性，并且能大幅度降低设备成本。实用性更强。

以上对本发明所提供的一种基于全景图像的点云数据拼接方法及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (8)

1.一种基于全景图像的点云数据拼接方法，其特征在于，包括：

同步采集场景的一序列组图像和点云数据，相邻序列的所述图像具有预设重叠区域；

按照所述图像的预设重叠区域将一序列组所述图像拼接，得到所述场景的全景图像；

将一序列组所述点云数据按照对应序列投影到所述全景图像中；

将投影到所述全景图像中的一序列组所述点云数据进行拼接，以得到表达所述场景整体的点云数据集；

所述按照所述图像的预设重叠区域将一序列组所述图像拼接，得到所述场景的全景图像，之前还包括：将对应序列的所述图像和所述点云数据配准在同一空间位置；

所述将投影到所述全景图像中的一序列组所述点云数据进行拼接，以得到表达所述场景整体的点云数据集，包括：

根据所述全景图像去除一序列组所述点云数据之间的重叠部分；

对所述点云数据进行拼接，得到表达所述场景整体的点云数据集。

2.如权利要求1所述的方法，其特征在于，所述按照所述图像的预设重叠区域将一序列组所述图像拼接，得到所述场景的全景图像包括：

将一序列组所述图像转换到同一坐标系中；

根据所述图像的预设重叠区域将同一坐标系中的一序列组所述图像进行拼接，得到所述全景图像；

所述将一序列组所述点云数据按照对应序列投影到所述全景图像中包括：将一序列组所述点云数据按照对应序列投影到所述全景图像的同一坐标系中。

3.如权利要求1所述的方法，其特征在于，所述同步采集场景的一序列组图像和点云数据，包括：

同步采集所述场景水平方向360°范围内、竖直方向120°范围内的一序列组图像和点云数据。

4.如权利要求1所述的方法，其特征在于，所述同步采集场景的一序列组图像和点云数据，包括：

沿所述场景水平方向移动，同步采集所述场景竖直方向360°范围内的一序列组图像和点云数据。

5.一种基于全景图像的点云数据拼接装置，其特征在于，包括：

数据采集设备，用于同步采集场景的一序列组图像和点云数据，相邻序列的所述图像具有预设重叠区域；

数据处理设备，包括：

全景图拼接模块，用于按照所述图像的预设重叠区域将一序列组所述图像拼接，得到所述场景的全景图像，

点云数据投影模块，用于将一序列组所述点云数据按照对应序列投影到所述全景图像中；

点云数据拼接模块，用于将投影到所述全景图像中的一序列组所述点云数据进行拼接，以得到表达所述场景整体的点云数据集；

数据配准模块，用于在按照所述图像的预设重叠区域将一序列组所述图像拼接，得到所述场景的全景图像之前，将对应序列的所述图像和所述点云数据配准在同一空间位置；

所述将投影到所述全景图像中的一序列组所述点云数据进行拼接，以得到表达所述场景整体的点云数据集，包括：

根据所述全景图像去除一序列组所述点云数据之间的重叠部分；

对所述点云数据进行拼接，得到表达所述场景整体的点云数据集。

6.如权利要求5所述的装置，其特征在于，所述数据采集设备包括：

相邻设置在同一平面内的图像采集模块和点云数据采集模块；

所述图像采集模块用于采集所述场景的图像；

所述点云数据采集模块用于采集所述场景的点云数据。

7.如权利要求6所述的装置，其特征在于，所述点云数据采集模块包括：

向所述场景中投射检测光线的结构光投射器；

接收经所述场景调制的反馈光线的传感器；

所述图像采集模块、所述结构光投射器和所述传感器依次相邻设置在同一平面内。

8.如权利要求7所述的装置，其特征在于，所述图像采集模块包括摄像头；

所述结构光投射器为投射红外光线的结构光投射器；

所述传感器为设有红外滤波器的影像传感器。