CN106971403A - 点云图像处理方法及装置 - Google Patents
点云图像处理方法及装置 Download PDFInfo
- Publication number
- CN106971403A CN106971403A CN201710291884.4A CN201710291884A CN106971403A CN 106971403 A CN106971403 A CN 106971403A CN 201710291884 A CN201710291884 A CN 201710291884A CN 106971403 A CN106971403 A CN 106971403A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- website
- cloud
- panorama
- dough sheet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 22
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000013507 mapping Methods 0.000 claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 17
- 230000004927 fusion Effects 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 3
- 230000008901 benefit Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 229910052573 porcelain Inorganic materials 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种点云图像处理方法及装置，涉及激光点云技术领域，包括获取预设空间内多个点云站点采集的三维点云数据以及多个全景站点采集的全景图像；根据多组所述三维点云数据确定激光点云三维视图；在所述激光点云三维视图中提取多个内部包含预设第一对象的面片；根据每个所述面片的位置和姿态，将每个所述点云站点采集的三维点云数据和与所述点云站点对应的全景站点采集的全景图像进行配准，得到全景图像的二维坐标与激光点云三维视图中三维坐标的映射关系，解决现有技术中计算机无法将二维平面图中的任一点的二维坐标转换为三维空间中三维坐标的技术问题，达到将二维平面图中任一点的二维坐标转化为三维坐标的技术效果。
Description
技术领域
本发明涉及激光点云技术领域，尤其是涉及一种点云图像处理方法及装置。
背景技术
全景图通过广角的表现手段以及绘画、相片、视频、三维模型等形式，尽可能多表现出周围的环境。360度全景，即通过对专业相机捕捉整个场景的图像信息或者使用建模软件渲染过后的图片，使用软件进行图片拼合，并用专门的播放器进行播放，即将平面照片或者计算机建模图片变为360度全景，用于虚拟现实浏览，把二维的平面图模拟成真实的三维空间，呈现给观赏者。
然而，在使用计算机将二维平面图模拟成三维空间非常困难，当用户点击街景中建筑物时，计算机无法获知用户点击的是什么样的建筑物，也就无法对用户的点击做出反馈，也就是说，针对二维平面图中的任一点的二维坐标，计算机无法将其转换为三维空间中对应的三维坐标，导致用户无法了解平面图中任意两点间实际距离，和/或无法了解平面图中对象的信息等等。
发明内容
有鉴于此，本发明的目的在于提供一种点云图像处理方法及装置，以解决现有技术中存在的计算机无法将二维平面图中的任一点的二维坐标转换为三维空间中三维坐标的技术问题。
第一方面，本发明实施例提供了一种点云图像处理方法，包括：
获取预设空间内多个点云站点采集的三维点云数据以及多个全景站点采集的全景图像，每个所述点云站点对应多个所述全景站点；
根据多组所述三维点云数据确定激光点云三维视图；
在所述激光点云三维视图中提取多个内部包含预设第一对象的面片，每个所述面片分别与所述预设空间内至少一个所述点云站点关联；
根据每个所述面片的位置和姿态，将每个所述点云站点采集的三维点云数据和与所述点云站点对应的全景站点采集的全景图像进行配准，得到全景图像的二维坐标与激光点云三维视图中三维坐标的映射关系。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述根据每个所述面片的位置和姿态，将每个所述点云站点采集的三维点云数据和与所述点云站点对应的全景站点采集的全景图像进行配准，包括：
确定每个所述面片关联的点云站点以及与所述点云站点对应的全景站点采集的多个全景图像；
针对每个所述面片，分别将所述面片在所述激光点云三维视图中所占的第一区域与任一所述全景图像中预设第一对象所占的第二区域对比；
若存在任一所述面片所占的第一区域和第二区域不同，调整全景图像的位置和姿态，以使所述第一区域和所述第二区域重合。
结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，在根据每个所述面片的位置和姿态，将每个所述点云站点采集的三维点云数据和与所述点云站点对应的全景站点采集的全景图像进行配准之前，所述方法还包括：
拼接多个点云站点采集的三维点云数据，得到空间点云数据；
将空间点云数据与多个全景图像进行数据融合处理。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，在根据每个所述面片的位置和姿态，将每个所述点云站点采集的三维点云数据和与所述点云站点对应的全景站点采集的全景图像进行配准之后，所述方法还包括：
存储全景图像的二维坐标与激光点云三维视图中三维坐标的映射关系；
根据激光点云三维视图中每个三维坐标与距离该三维坐标最近的全景站点之间的距离，生成深度图；
在所述深度图中为每个预设第二对象分别设置热点标注信息。
结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，预设空间内的多个全景站点分布在多条轨迹线上，每条轨迹线上相邻的两个全景站点间为通视关系；
每两个相邻的所述点云站点之间包括多个标靶球。
第二方面，本发明实施例还提供一种点云图像处理装置，包括：
获取模块，用于获取预设空间内多个点云站点采集的三维点云数据以及多个全景站点采集的全景图像，每个所述点云站点对应多个所述全景站点；
确定模块，用于根据多组所述三维点云数据确定激光点云三维视图；
提取模块，用于在所述激光点云三维视图中提取多个内部包含预设第一对象的面片，每个所述面片分别与所述预设空间内至少一个所述点云站点关联；
配准模块，用于根据每个所述面片的位置和姿态，将每个所述点云站点采集的三维点云数据和与所述点云站点对应的全景站点采集的全景图像进行配准，得到全景图像的二维坐标与激光点云三维视图中三维坐标的映射关系。
结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述配准模块，包括：
确定单元，用于确定每个所述面片关联的点云站点以及与所述点云站点对应的全景站点采集的多个全景图像；
对比单元，用于针对每个所述面片，分别将所述面片在所述激光点云三维视图中所占的第一区域与任一所述全景图像中预设第一对象所占的第二区域对比；
调整单元，用于若存在任一所述面片所占的第一区域和第二区域不同，调整全景图像的位置和姿态，以使所述第一区域和所述第二区域重合。
结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，所述装置还包括：
拼接模块，用于拼接多个点云站点采集的三维点云数据，得到空间点云数据；
融合模块，用于将空间点云数据与多个全景图像进行数据融合处理。
结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，所述装置还包括：
存储模块，用于存储全景图像的二维坐标与激光点云三维视图中三维坐标的映射关系；
生成模块，用于根据激光点云三维视图中每个三维坐标与距离该三维坐标最近的全景站点之间的距离，生成深度图；
在所述深度图中为每个预设第二对象分别设置热点标注信息。
结合第二方面，本发明实施例提供了第二方面的第四种可能的实施方式，其中，预设空间内的多个全景站点分布在多条轨迹线上，每条轨迹线上相邻的两个全景站点间为通视关系；
每两个相邻的所述点云站点之间包括多个标靶球。
本发明实施例带来了以下有益效果：本发明实施例通过获取预设空间内多个点云站点采集的三维点云数据以及多个全景站点采集的全景图像，每个所述点云站点对应多个所述全景站点；根据多组所述三维点云数据确定激光点云三维视图；在所述激光点云三维视图中提取多个内部包含预设第一对象的面片，每个所述面片分别与所述预设空间内至少一个所述点云站点关联；根据每个所述面片的位置和姿态，将每个所述点云站点采集的三维点云数据和与所述点云站点对应的全景站点采集的全景图像进行配准，得到全景图像的二维坐标与激光点云三维视图中三维坐标的映射关系。
本发明实施例提供的点云图像处理方法及装置，可以建立全景图像的二维坐标与激光点云三维视图中三维坐标的映射关系，进而实现将二维平面图中任一点的二维坐标转化为三维坐标，通过记录每个所述点云站点对应的多个所述全景站点，可以很大程度上减轻数据采集与数据处理的工作量，通过建立面片与所述预设空间内的点云站点之间关联关系，可实现预设空间内根据面片即可关联点云站点。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的点云图像处理方法的一种流程图；
图2为图1中步骤S104的流程图；
图3为本发明实施例提供的点云图像处理方法的另一种流程图；
图4为本发明实施例提供的点云图像处理方法的另一种流程图；
图5为本发明实施例提供的点云图像处理装置的结构图。
图标：11-获取模块；12-确定模块；13-提取模块；14-配准模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，在使用计算机将二维平面图模拟成三维空间非常困难，当用户点击街景中建筑物时，计算机无法获知用户点击的是什么样的建筑物，也就无法对用户的点击做出反馈，也就是说，针对二维平面图中的任一点的二维坐标，计算机无法将其转换为三维空间中对应的三维坐标，导致用户无法了解平面图中任意两点间实际距离，和/或无法了解平面途中对象的信息等等，基于此，本发明实施例提供的一种点云图像处理方法及装置，可以建立全景图像的二维坐标与激光点云三维视图中三维坐标的映射关系，进而实现将二维平面图中任一点的二维坐标转化为三维坐标。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种点云图像处理方法进行详细介绍，如图1所示，所述点云图像处理方法包括以下步骤。
在步骤S101中，获取预设空间内多个点云站点采集的三维点云数据以及多个全景站点采集的全景图像。
在本发明实施例中，点云站点可以指设置点云摄像机站点，全景站点可以指设置全景摄像机的站点，每个所述点云站点对应多个所述全景站点，预设空间内的多个全景站点分布在多条拍摄路径上，每条拍摄路径上相邻的两个全景站点间为通视关系；每两个相邻的所述点云站点之间包括多个标靶球。
在进行全景图像采集时，可以在预设空间内规划拍摄路径，设置拍摄站点时需要详细的踏勘现场环境，挑选有针对性，能体现全局效果的站点进行拍摄；对焦环焦距需根据实际情况调整至清晰效果并固定直至当前站点全景拍摄完毕，变焦调整为15mm，感光度必须调整至相机最低值，光圈曝光时间和景深调整以拍摄图片真实为准；可以在水平方向每隔60°拍摄一张，共计6张全景图像，顶部拍摄一张，底部拍摄一张。一个拍摄站点共完成3组及以上不同曝光值全景拍摄。在确定全景站点数量时，可以根据客户需求设定，也可以通过工程师现场踏勘，根据客户的需求布设站点位置，保证全景站点与相邻站点相互视野可见。
在通过多个全景站点采集图像且每个全景站点采集多张全景图像后，首先，需要将采集的多张全景图像使用拼接软件拼接成多张整体的720°全景影像；然后，将软件拼接的一组全景影像进行高动态光照渲染(High-Dynamic Range，简称HDR)合成，以保证在最大的图像曝光宽容度内，亮部和暗部的曝光正常；最后，对HDR合成后的整体的720°全景影像导入Photoshop软件中进行较色等优化处理。
在进行三维激光点云数据采集时，需要踏勘扫描场地，根据现场情况合理布设扫描站点，需保证每两站之间有4个或4个以上的公共靶球。扫描的分辨率设置为1/4，扫描质量4倍。为了能够准确地提取靶标中心点，对靶标分别采取了较高分辨率的扫描。公共靶球即公共靶球即当前激光扫描测站点和邻近测站点相互视野可见的标靶球。
在步骤S102中，根据多组所述三维点云数据确定激光点云三维视图。
在该步骤中，可以通过三维引擎开发工具和三维数据存储和显示算法，构建三维显示空间，将所述三维点云数据加载到三维显示空间，构成点云三维视图。
在步骤S103中，在所述激光点云三维视图中提取多个内部包含预设第一对象的面片。
在本发明实施例中，在预设空间指室外某一区域时，预设第一对象可以指建筑物和/或围墙等，在预设空间指室内时，预设第一对象可以指墙壁、展柜等，由于每两个相邻的点云站点之间存在多个标靶球，所以每个所述面片分别与所述预设空间内至少一个所述点云站点关联。
在步骤S104中，根据每个所述面片的位置和姿态，将每个所述点云站点采集的三维点云数据和与所述点云站点对应的全景站点采集的全景图像进行配准，得到全景图像的二维坐标与激光点云三维视图中三维坐标的映射关系。
在本发明实施例中，配准后，还可以得到预设空间的激光点云三维视图，可以通过三维视图显示工具显示该激光点云三维视图。
本发明实施例提供的该方法，能够建立全景图像的二维坐标与激光点云三维视图中三维坐标的映射关系，进而实现将二维平面图中任一点的二维坐标转化为三维坐标，通过记录每个所述点云站点对应的多个所述全景站点，可以很大程度上减轻数据采集与数据处理的工作量，通过建立面片与所述预设空间内的点云站点之间关联关系，可实现预设空间内根据面片即可关联点云站点。
在本发明的又一实施例中，如图2所示，所述步骤S104包括以下步骤。
在步骤S1041中，确定每个所述面片关联的点云站点以及与所述点云站点对应的全景站点采集的多个全景图像。
在该步骤中，可以按照预设顺序逐个选取面片，在每选取到一个面片后，即查找与该面片关联的点云站点，进而再确定与查找到的点云站点对应的多个全景站点，以及每个全景站点采集的多个全景图像。
在步骤S1042中，针对每个所述面片，分别将所述面片在所述激光点云三维视图中所占的第一区域与任一所述全景图像中预设第一对象所占的第二区域对比。
在本发明实施例中，第一区域指面片在激光点云三维视图中所占区域，例如，假设面片A在激光点云图像中包含墙壁A，则第一区域指墙壁A在激光点云图像中所占区域，第二区域指面片包含的预设第一对象在全景图像中所占区域，例如，墙壁A在全景图像中所占区域。
在该步骤中，可以首先获取到第一区域的坐标范围，然后再在包含该面片中的预设第一对象的多个全景图像中查找第二区域的坐标范围，然后将第一区域的坐标范围和第二区域的坐标范围对比。
在步骤S1043中，若存在任一所述面片所占的第一区域和第二区域不同，调整全景图像的位置和姿态，以使所述第一区域和所述第二区域重合。
在本发明实施例中，全景图像的位置可以指横坐标和纵坐标等，姿态可以指全景图像的倾斜角度等。
在本发明的又一实施例中，如图3所示，在步骤S104之前，所述方法还包括一下步骤。
步骤S105，拼接多个点云站点采集的三维点云数据，得到空间点云数据。
在该步骤中，可以首先根据与相邻前一扫描站相重叠的扫描区域内的同名标志点按间接平差数学模型算法求取坐标转换参数，得到各站扫描点云的最终坐标转换模型，并依此坐标转换模型对各站扫描点云进行坐标转换，将它们统一到同一坐标系下，最终得到多站扫描点云的无缝拼接结果，即空间点云数据。
步骤S106，将空间点云数据与多个全景图像进行数据融合处理。
在该步骤中，点云数据与全景图像的数据融合处理，是通过匹配模型，建立三维点云与二维全景影像坐标之间的映射关系的过程。
在本发明的又一实施例中，如图4所示，在步骤S104之后，所述方法还包括以下步骤。
在步骤S107中，存储全景图像的二维坐标与激光点云三维视图中三维坐标的映射关系。
在本发明实施例中，可以将全景图像的二维坐标与激光点云三维视图中三维坐标的映射关系在进行数据切片处理后存入数据库。
在步骤S108中，根据激光点云三维视图中每个三维坐标与距离该三维坐标最近的全景站点之间的距离，生成深度图。
在该步骤中，假设深度图的分辨率是1800*900，则可以把深度图划分成1800*900个网格，分别计算激光点云三维视图中的每个三维坐标与其距离最近的全景站点之间的距离，例如，假设一个三维坐标A，距离该坐标最近的全景站点为B，则可以计算A和B之间的距离，得到距离值C，将C填充到其中一个网格中，逐个计算激光点云三维视图中的每个三维坐标与其对应的全景站点之间的距离，并将每个距离值分别填充到各个网格中，再经过数据拉伸处理，得到像素值，最后得到一张包含多个网格、每个网格填充有距离值的图片。
在步骤S109中，在所述深度图中为每个预设第二对象分别设置热点标注信息。
在本发明实施例中，可以为预设空间内的预设第二对象设置标注信息，预设第二对象一般不与预设第一对象相同，当然在用户需要时，也可相同，预设第二对象可以指预设空间内的展物等，例如瓷器、字画等等，标注信息可以指展物的名称、简介等等信息。
在本发明的又一实施例中，如图5所示，还提供一种点云图像处理装置，所述装置包括：获取模块11、确定模块12、提取模块13和配准模块14。
获取模块11，用于获取预设空间内多个点云站点采集的三维点云数据以及多个全景站点采集的全景图像，每个所述点云站点对应多个所述全景站点；
在本发明实施例中，预设空间内的多个全景站点分布在多条轨迹线上，每条轨迹线上相邻的两个全景站点间为通视关系；每两个相邻的所述点云站点之间包括多个标靶球。
确定模块12，用于根据多组所述三维点云数据确定激光点云三维视图；
提取模块13，用于在所述激光点云三维视图中提取多个内部包含预设第一对象的面片，每个所述面片分别与所述预设空间内至少一个所述点云站点关联；
配准模块14，用于根据每个所述面片的位置和姿态，将每个所述点云站点采集的三维点云数据和与所述点云站点对应的全景站点采集的全景图像进行配准，得到全景图像的二维坐标与激光点云三维视图中三维坐标的映射关系。
在本发明的又一实施例中，所述配准模块，包括：
确定单元，用于确定每个所述面片关联的点云站点以及与所述点云站点对应的全景站点采集的多个全景图像；
对比单元，用于针对每个所述面片，分别将所述面片在所述激光点云三维视图中所占的第一区域与任一所述全景图像中预设第一对象所占的第二区域对比；
调整单元，用于若存在任一所述面片所占的第一区域和第二区域不同，调整全景图像的位置和姿态，以使所述第一区域和所述第二区域重合。
在本发明的又一实施例中，所述装置还包括：
拼接模块，用于拼接多个点云站点采集的三维点云数据，得到空间点云数据；
融合模块，用于将空间点云数据与多个全景图像进行数据融合处理。
在本发明的又一实施例中，所述装置还包括：
存储模块，用于存储全景图像的二维坐标与激光点云三维视图中三维坐标的映射关系；
生成模块，用于根据激光点云三维视图中每个三维坐标与距离该三维坐标最近的全景站点之间的距离，生成深度图；
在所述深度图中为每个预设第二对象分别设置热点标注信息。
本发明实施例所提供的点云图像处理方法及装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种点云图像处理方法，其特征在于，包括：
获取预设空间内多个点云站点采集的三维点云数据以及多个全景站点采集的全景图像，每个所述点云站点对应多个所述全景站点；
根据多组所述三维点云数据确定激光点云三维视图；
在所述激光点云三维视图中提取多个内部包含预设第一对象的面片，每个所述面片分别与所述预设空间内至少一个所述点云站点关联；
根据每个所述面片的位置和姿态，将每个所述点云站点采集的三维点云数据和与所述点云站点对应的全景站点采集的全景图像进行配准，得到全景图像的二维坐标与激光点云三维视图中三维坐标的映射关系。
2.根据权利要求1所述的点云图像处理方法，其特征在于，所述根据每个所述面片的位置和姿态，将每个所述点云站点采集的三维点云数据和与所述点云站点对应的全景站点采集的全景图像进行配准，包括：
确定每个所述面片关联的点云站点以及与所述点云站点对应的全景站点采集的多个全景图像；
针对每个所述面片，分别将所述面片在所述激光点云三维视图中所占的第一区域与任一所述全景图像中预设第一对象所占的第二区域对比；
若存在任一所述面片所占的第一区域和第二区域不同，调整全景图像的位置和姿态，以使所述第一区域和所述第二区域重合。
3.根据权利要求2所述的点云图像处理方法，其特征在于，在根据每个所述面片的位置和姿态，将每个所述点云站点采集的三维点云数据和与所述点云站点对应的全景站点采集的全景图像进行配准之前，所述方法还包括：
拼接多个点云站点采集的三维点云数据，得到空间点云数据；
将空间点云数据与多个全景图像进行数据融合处理。
4.根据权利要求1至3任一所述的点云图像处理方法，其特征在于，在根据每个所述面片的位置和姿态，将每个所述点云站点采集的三维点云数据和与所述点云站点对应的全景站点采集的全景图像进行配准之后，所述方法还包括：
存储全景图像的二维坐标与激光点云三维视图中三维坐标的映射关系；
根据激光点云三维视图中每个三维坐标与距离该三维坐标最近的全景站点之间的距离，生成深度图；
在所述深度图中为每个预设第二对象分别设置热点标注信息。
5.根据权利要求4所述的点云图像处理方法，其特征在于，
预设空间内的多个全景站点分布在多条轨迹线上，每条轨迹线上相邻的两个全景站点间为通视关系；
每两个相邻的所述点云站点之间包括多个标靶球。
6.一种点云图像处理装置，其特征在于，包括：
获取模块，用于获取预设空间内多个点云站点采集的三维点云数据以及多个全景站点采集的全景图像，每个所述点云站点对应多个所述全景站点；
确定模块，用于根据多组所述三维点云数据确定激光点云三维视图；
提取模块，用于在所述激光点云三维视图中提取多个内部包含预设第一对象的面片，每个所述面片分别与所述预设空间内至少一个所述点云站点关联；
配准模块，用于根据每个所述面片的位置和姿态，将每个所述点云站点采集的三维点云数据和与所述点云站点对应的全景站点采集的全景图像进行配准，得到全景图像的二维坐标与激光点云三维视图中三维坐标的映射关系。
7.根据权利要求6所述的点云图像处理装置，其特征在于，所述配准模块，包括：
确定单元，用于确定每个所述面片关联的点云站点以及与所述点云站点对应的全景站点采集的多个全景图像；
对比单元，用于针对每个所述面片，分别将所述面片在所述激光点云三维视图中所占的第一区域与任一所述全景图像中预设第一对象所占的第二区域对比；
调整单元，用于若存在任一所述面片所占的第一区域和第二区域不同，调整全景图像的位置和姿态，以使所述第一区域和所述第二区域重合。
8.根据权利要求7所述的点云图像处理装置，其特征在于，所述装置还包括：
拼接模块，用于拼接多个点云站点采集的三维点云数据，得到空间点云数据；
融合模块，用于将空间点云数据与多个全景图像进行数据融合处理。
9.根据权利要求6至8任一所述的点云图像处理装置，其特征在于，所述装置还包括：
存储模块，用于存储全景图像的二维坐标与激光点云三维视图中三维坐标的映射关系；
生成模块，用于根据激光点云三维视图中每个三维坐标与距离该三维坐标最近的全景站点之间的距离，生成深度图；
在所述深度图中为每个预设第二对象分别设置热点标注信息。
10.根据权利要求9所述的点云图像处理装置，其特征在于，
预设空间内的多个全景站点分布在多条轨迹线上，每条轨迹线上相邻的两个全景站点间为通视关系；
每两个相邻的所述点云站点之间包括多个标靶球。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710291884.4A CN106971403B (zh) | 2017-04-27 | 2017-04-27 | 点云图像处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710291884.4A CN106971403B (zh) | 2017-04-27 | 2017-04-27 | 点云图像处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106971403A true CN106971403A (zh) | 2017-07-21 |
| CN106971403B CN106971403B (zh) | 2020-04-03 |
Family
ID=59330407
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710291884.4A Active CN106971403B (zh) | 2017-04-27 | 2017-04-27 | 点云图像处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106971403B (zh) |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108062537A (zh) * | 2017-12-29 | 2018-05-22 | 幻视信息科技（深圳）有限公司 | 一种3d空间定位方法、装置及计算机可读存储介质 |
| CN108230247A (zh) * | 2017-12-29 | 2018-06-29 | 达闼科技（北京）有限公司 | 基于云端的三维地图的生成方法、装置、设备及应用程序 |
| CN108734120A (zh) * | 2018-05-15 | 2018-11-02 | 百度在线网络技术（北京）有限公司 | 标注图像的方法、装置、设备和计算机可读存储介质 |
| CN108986162A (zh) * | 2018-06-28 | 2018-12-11 | 四川斐讯信息技术有限公司 | 基于惯性测量单元和视觉信息的菜品和背景分割方法 |
| CN109241233A (zh) * | 2018-09-14 | 2019-01-18 | 东方网力科技股份有限公司 | 一种坐标匹配方法及装置 |
| CN109613543A (zh) * | 2018-12-06 | 2019-04-12 | 深圳前海达闼云端智能科技有限公司 | 激光点云数据的修正方法、装置、存储介质和电子设备 |
| CN110136273A (zh) * | 2019-03-29 | 2019-08-16 | 初速度（苏州）科技有限公司 | 一种用于机器学习中的样本数据标注方法及装置 |
| CN110163903A (zh) * | 2019-05-27 | 2019-08-23 | 百度在线网络技术（北京）有限公司 | 三维图像的获取及图像定位方法、装置、设备和存储介质 |
| CN110196044A (zh) * | 2019-05-28 | 2019-09-03 | 广东亿嘉和科技有限公司 | 一种基于gps闭环检测的变电站巡检机器人建图方法 |
| CN110223389A (zh) * | 2019-06-11 | 2019-09-10 | 中国科学院自动化研究所 | 融合图像与激光数据的场景建模方法、系统、装置 |
| CN110223226A (zh) * | 2019-05-07 | 2019-09-10 | 中国农业大学 | 全景图像拼接方法及系统 |
| CN110232707A (zh) * | 2018-03-05 | 2019-09-13 | 华为技术有限公司 | 一种测距方法及装置 |
| CN110276834A (zh) * | 2019-06-25 | 2019-09-24 | 达闼科技（北京）有限公司 | 一种激光点云地图的构建方法、终端和可读存储介质 |
| WO2020052540A1 (zh) * | 2018-09-11 | 2020-03-19 | 腾讯科技（深圳）有限公司 | 对象标注方法、移动控制方法、装置、设备及存储介质 |
| CN111008985A (zh) * | 2019-11-07 | 2020-04-14 | 贝壳技术有限公司 | 全景图拼缝检测方法、装置、可读存储介质及电子设备 |
| CN111353535A (zh) * | 2020-02-28 | 2020-06-30 | 江苏黑麦数据科技有限公司 | 标注方法和装置 |
| CN111434112A (zh) * | 2018-04-09 | 2020-07-17 | 华为技术有限公司 | 全局匹配patch的获取方法及装置 |
| CN111968161A (zh) * | 2020-07-28 | 2020-11-20 | 北京恒通智控机器人科技有限公司 | 一种三维激光点云和全景图像的配准方法、装置和设备 |
| CN112037279A (zh) * | 2020-09-04 | 2020-12-04 | 贝壳技术有限公司 | 物品位置识别方法和装置、存储介质、电子设备 |
| CN112270694A (zh) * | 2020-07-07 | 2021-01-26 | 中国人民解放军61540部队 | 基于激光雷达扫描图进行城市环境动态目标检测的方法 |
| CN112802083A (zh) * | 2021-04-15 | 2021-05-14 | 成都云天创达科技有限公司 | 一种通过三维模型标记点获取对应二维图像的方法 |
| CN112907445A (zh) * | 2021-02-08 | 2021-06-04 | 杭州海康威视数字技术股份有限公司 | 天空云图的拼接方法、装置及设备 |
| CN113129423A (zh) * | 2019-12-30 | 2021-07-16 | 百度在线网络技术（北京）有限公司 | 车辆三维模型的获取方法、装置、电子设备和存储介质 |
| CN113538547A (zh) * | 2021-06-03 | 2021-10-22 | 苏州小蜂视觉科技有限公司 | 一种3d线激光传感器的深度处理方法及点胶设备 |
| CN113706594A (zh) * | 2021-09-10 | 2021-11-26 | 广州中海达卫星导航技术股份有限公司 | 三维场景信息生成的系统、方法及电子设备 |
| CN115187729A (zh) * | 2022-07-18 | 2022-10-14 | 北京城市网邻信息技术有限公司 | 三维模型生成方法、装置、设备和存储介质 |
| CN115830161A (zh) * | 2022-11-21 | 2023-03-21 | 北京城市网邻信息技术有限公司 | 户型图生成方法、装置、设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004003844A1 (en) * | 2002-06-26 | 2004-01-08 | Nextengine, Inc. | An apparatus and method for point cloud assembly |
| CN104408689A (zh) * | 2014-12-10 | 2015-03-11 | 武汉大学 | 基于全景影像的街景面片优化方法 |
| CN103017653B (zh) * | 2012-11-27 | 2015-06-24 | 武汉海达数云技术有限公司 | 一种球面全景影像与三维激光扫描点云的配准及测量方法 |
| CN105374011A (zh) * | 2015-12-09 | 2016-03-02 | 中电科信息产业有限公司 | 基于全景图像的点云数据拼接方法及装置 |
| CN105931234A (zh) * | 2016-04-19 | 2016-09-07 | 东北林业大学 | 一种地面三维激光扫描点云与影像融合及配准的方法 |
-
2017
- 2017-04-27 CN CN201710291884.4A patent/CN106971403B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004003844A1 (en) * | 2002-06-26 | 2004-01-08 | Nextengine, Inc. | An apparatus and method for point cloud assembly |
| CN103017653B (zh) * | 2012-11-27 | 2015-06-24 | 武汉海达数云技术有限公司 | 一种球面全景影像与三维激光扫描点云的配准及测量方法 |
| CN104408689A (zh) * | 2014-12-10 | 2015-03-11 | 武汉大学 | 基于全景影像的街景面片优化方法 |
| CN105374011A (zh) * | 2015-12-09 | 2016-03-02 | 中电科信息产业有限公司 | 基于全景图像的点云数据拼接方法及装置 |
| CN105931234A (zh) * | 2016-04-19 | 2016-09-07 | 东北林业大学 | 一种地面三维激光扫描点云与影像融合及配准的方法 |
Cited By (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108230247A (zh) * | 2017-12-29 | 2018-06-29 | 达闼科技（北京）有限公司 | 基于云端的三维地图的生成方法、装置、设备及应用程序 |
| CN108230247B (zh) * | 2017-12-29 | 2019-03-15 | 达闼科技（北京）有限公司 | 基于云端的三维地图的生成方法、装置、设备及计算机可读的存储介质 |
| CN108062537A (zh) * | 2017-12-29 | 2018-05-22 | 幻视信息科技（深圳）有限公司 | 一种3d空间定位方法、装置及计算机可读存储介质 |
| CN110232707A (zh) * | 2018-03-05 | 2019-09-13 | 华为技术有限公司 | 一种测距方法及装置 |
| CN110232707B (zh) * | 2018-03-05 | 2021-08-31 | 华为技术有限公司 | 一种测距方法及装置 |
| CN111434112A (zh) * | 2018-04-09 | 2020-07-17 | 华为技术有限公司 | 全局匹配patch的获取方法及装置 |
| CN111434112B (zh) * | 2018-04-09 | 2022-08-09 | 华为技术有限公司 | 全局匹配patch的获取方法及装置 |
| CN108734120A (zh) * | 2018-05-15 | 2018-11-02 | 百度在线网络技术（北京）有限公司 | 标注图像的方法、装置、设备和计算机可读存储介质 |
| CN108986162A (zh) * | 2018-06-28 | 2018-12-11 | 四川斐讯信息技术有限公司 | 基于惯性测量单元和视觉信息的菜品和背景分割方法 |
| CN108986162B (zh) * | 2018-06-28 | 2022-02-22 | 杭州吉吉知识产权运营有限公司 | 基于惯性测量单元和视觉信息的菜品和背景分割方法 |
| WO2020052540A1 (zh) * | 2018-09-11 | 2020-03-19 | 腾讯科技（深圳）有限公司 | 对象标注方法、移动控制方法、装置、设备及存储介质 |
| US11893785B2 (en) | 2018-09-11 | 2024-02-06 | Tencent Technology (Shenzhen) Company Limited | Object annotation method and apparatus, movement control method and apparatus, device, and storage medium |
| CN109241233A (zh) * | 2018-09-14 | 2019-01-18 | 东方网力科技股份有限公司 | 一种坐标匹配方法及装置 |
| CN109613543A (zh) * | 2018-12-06 | 2019-04-12 | 深圳前海达闼云端智能科技有限公司 | 激光点云数据的修正方法、装置、存储介质和电子设备 |
| CN110136273B (zh) * | 2019-03-29 | 2022-06-10 | 魔门塔(苏州)科技有限公司 | 一种用于机器学习中的样本数据标注方法及装置 |
| CN110136273A (zh) * | 2019-03-29 | 2019-08-16 | 初速度（苏州）科技有限公司 | 一种用于机器学习中的样本数据标注方法及装置 |
| CN110223226A (zh) * | 2019-05-07 | 2019-09-10 | 中国农业大学 | 全景图像拼接方法及系统 |
| CN110163903A (zh) * | 2019-05-27 | 2019-08-23 | 百度在线网络技术（北京）有限公司 | 三维图像的获取及图像定位方法、装置、设备和存储介质 |
| CN110196044A (zh) * | 2019-05-28 | 2019-09-03 | 广东亿嘉和科技有限公司 | 一种基于gps闭环检测的变电站巡检机器人建图方法 |
| CN110223389A (zh) * | 2019-06-11 | 2019-09-10 | 中国科学院自动化研究所 | 融合图像与激光数据的场景建模方法、系统、装置 |
| CN110276834B (zh) * | 2019-06-25 | 2023-04-11 | 达闼科技（北京）有限公司 | 一种激光点云地图的构建方法、终端和可读存储介质 |
| CN110276834A (zh) * | 2019-06-25 | 2019-09-24 | 达闼科技（北京）有限公司 | 一种激光点云地图的构建方法、终端和可读存储介质 |
| CN111008985B (zh) * | 2019-11-07 | 2021-08-17 | 贝壳找房(北京)科技有限公司 | 全景图拼缝检测方法、装置、可读存储介质及电子设备 |
| CN111008985A (zh) * | 2019-11-07 | 2020-04-14 | 贝壳技术有限公司 | 全景图拼缝检测方法、装置、可读存储介质及电子设备 |
| CN113129423A (zh) * | 2019-12-30 | 2021-07-16 | 百度在线网络技术（北京）有限公司 | 车辆三维模型的获取方法、装置、电子设备和存储介质 |
| CN113129423B (zh) * | 2019-12-30 | 2023-08-11 | 百度在线网络技术（北京）有限公司 | 车辆三维模型的获取方法、装置、电子设备和存储介质 |
| CN111353535B (zh) * | 2020-02-28 | 2023-11-03 | 江苏黑麦数据科技有限公司 | 标注方法和装置 |
| CN111353535A (zh) * | 2020-02-28 | 2020-06-30 | 江苏黑麦数据科技有限公司 | 标注方法和装置 |
| CN112270694A (zh) * | 2020-07-07 | 2021-01-26 | 中国人民解放军61540部队 | 基于激光雷达扫描图进行城市环境动态目标检测的方法 |
| CN111968161A (zh) * | 2020-07-28 | 2020-11-20 | 北京恒通智控机器人科技有限公司 | 一种三维激光点云和全景图像的配准方法、装置和设备 |
| CN112037279A (zh) * | 2020-09-04 | 2020-12-04 | 贝壳技术有限公司 | 物品位置识别方法和装置、存储介质、电子设备 |
| CN112037279B (zh) * | 2020-09-04 | 2021-11-16 | 贝壳找房(北京)科技有限公司 | 物品位置识别方法和装置、存储介质、电子设备 |
| CN112907445A (zh) * | 2021-02-08 | 2021-06-04 | 杭州海康威视数字技术股份有限公司 | 天空云图的拼接方法、装置及设备 |
| CN112802083B (zh) * | 2021-04-15 | 2021-06-25 | 成都云天创达科技有限公司 | 一种通过三维模型标记点获取对应二维图像的方法 |
| CN112802083A (zh) * | 2021-04-15 | 2021-05-14 | 成都云天创达科技有限公司 | 一种通过三维模型标记点获取对应二维图像的方法 |
| CN113538547A (zh) * | 2021-06-03 | 2021-10-22 | 苏州小蜂视觉科技有限公司 | 一种3d线激光传感器的深度处理方法及点胶设备 |
| CN113706594B (zh) * | 2021-09-10 | 2023-05-23 | 广州中海达卫星导航技术股份有限公司 | 三维场景信息生成的系统、方法及电子设备 |
| CN113706594A (zh) * | 2021-09-10 | 2021-11-26 | 广州中海达卫星导航技术股份有限公司 | 三维场景信息生成的系统、方法及电子设备 |
| CN115187729A (zh) * | 2022-07-18 | 2022-10-14 | 北京城市网邻信息技术有限公司 | 三维模型生成方法、装置、设备和存储介质 |
| CN115187729B (zh) * | 2022-07-18 | 2023-06-16 | 北京城市网邻信息技术有限公司 | 三维模型生成方法、装置、设备和存储介质 |
| CN115830161A (zh) * | 2022-11-21 | 2023-03-21 | 北京城市网邻信息技术有限公司 | 户型图生成方法、装置、设备和存储介质 |
| CN115830161B (zh) * | 2022-11-21 | 2023-10-31 | 北京城市网邻信息技术有限公司 | 户型图生成方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106971403B (zh) | 2020-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106971403A (zh) | 点云图像处理方法及装置 | |
| CN109658365B (zh) | 图像处理方法、装置、系统和存储介质 | |
| AU2011312140C1 (en) | Rapid 3D modeling | |
| CN104835138B (zh) | 使地基图像和航拍图像对准 | |
| CN108168521A (zh) | 一种基于无人机实现景观三维可视化的方法 | |
| CN102157011B (zh) | 利用移动拍摄设备进行动态纹理采集及虚实融合的方法 | |
| JP4947593B2 (ja) | 局所領域分割による自由視点画像の生成装置およびプログラム | |
| JP5093053B2 (ja) | 電子カメラ | |
| Rodriguez-Gonzalvez et al. | Image-based modeling of built environment from an unmanned aerial system | |
| Fangi et al. | Improving spherical photogrammetry using 360 omni-cameras: Use cases and new applications | |
| CN106296783A (zh) | 一种结合空间全局3d视图和全景图片的空间展示方法 | |
| JP2006053694A (ja) | 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体 | |
| KR101342393B1 (ko) | 회전식 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법 | |
| TW200825984A (en) | Modeling and texturing digital surface models in a mapping application | |
| CN105205853A (zh) | 一种用于全景视图管理的3d图像拼接合成方法 | |
| CN110874818A (zh) | 图像处理和虚拟空间构建方法、装置、系统和存储介质 | |
| Peña-Villasenín et al. | 3-D modeling of historic façades using SFM photogrammetry metric documentation of different building types of a historic center | |
| CN115937288A (zh) | 一种变电站三维场景模型构建方法 | |
| CN110049304A (zh) | 一种稀疏相机阵列瞬时三维成像的方法及其装置 | |
| JP2009080514A (ja) | センサ配置設計支援システム | |
| Barazzetti et al. | Fisheye lenses for 3D modeling: Evaluations and considerations | |
| JP2023546739A (ja) | シーンの３次元モデルを生成するための方法、装置、およびシステム | |
| Previtali et al. | Rigorous procedure for mapping thermal infrared images on three-dimensional models of building façades | |
| CN113415433B (zh) | 基于三维场景模型的吊舱姿态修正方法、装置和无人机 | |
| Malik et al. | Massive 3D digitization of sculptures: Methodological approaches for improving efficiency |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231201 Address after: Room 04, 7 / F, building 1, wudahui garden, phase V, National Geospatial Information Industry base, No.7, wudayuan 1st Road, Donghu New Technology Development Zone, Wuhan City, Hubei Province, 430000 Patentee after: WUHAN SHUWEN TECHNOLOGY CO.,LTD. Patentee after: WUHAN University Address before: Room 04, 7 / F, building 1, wudahui garden, phase V, National Geospatial Information Industry base, No.7, wudayuan 1st Road, Donghu New Technology Development Zone, Wuhan City, Hubei Province, 430000 Patentee before: WUHAN SHUWEN TECHNOLOGY CO.,LTD. |
|
| TR01 | Transfer of patent right |