CN107194983A - 一种基于点云与影像数据的三维可视化方法和系统 - Google Patents

一种基于点云与影像数据的三维可视化方法和系统 Download PDF

Info

Publication number
CN107194983A
CN107194983A CN201710346585.6A CN201710346585A CN107194983A CN 107194983 A CN107194983 A CN 107194983A CN 201710346585 A CN201710346585 A CN 201710346585A CN 107194983 A CN107194983 A CN 107194983A
Authority
CN
China
Prior art keywords
data
cloud
image data
dimensional
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710346585.6A
Other languages
English (en)
Other versions
CN107194983B (zh
Inventor
肖力
张星
岳东
孙志刚
王卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201710346585.6A priority Critical patent/CN107194983B/zh
Publication of CN107194983A publication Critical patent/CN107194983A/zh
Application granted granted Critical
Publication of CN107194983B publication Critical patent/CN107194983B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/55Radiosity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

本发明公开了一种基于点云与影像数据的三维可视化方法和系统,其中方法的实现包括:采集目标场景的影像数据和点云数据;对点云数据进行上采样,将上采样后的点云数据投影到影像数据中进行融合,对进行融合后的点云数据进行着色,得到彩色点云数据;利用彩色点云数据进行三维渲染,得到目标场景的三维可视化模型。本发明实现了从数据采集和融合到最终渲染显示的点云三维可视化,有助于激光点云技术的拓展,提高了点云数据对于普通用户的可访问性和可用性。

Description

一种基于点云与影像数据的三维可视化方法和系统
技术领域
本发明属于点云三维可视化领域,更具体地,涉及一种基于点云与影像数据的三维可视化方法和系统。
背景技术
目前较多类型的三维激光扫描仪由于自身硬件和工作方式的限制,仅能采集目标场景的三维坐标点云数据,这些点云数据并不包含目标场景真实的颜色纹理信息,因此只能以单色或假色彩显示。高分辨率相机摄影测量技术的成熟成功弥补了三维激光扫描仪的先天性不足,通过相机采集的目标场景的影像数据,包含丰富的颜色纹理信息,且像素密度高,与三维激光点云数据正好形成了优势互补。
然而目前还没有一套完整的从数据采集和融合到最终渲染显示的点云三维可视化方案出现,严重影响了激光点云技术的拓展。因此急需一套完整可行的融合激光点云和影像数据的三维可视化方案,提高点云数据对于普通用户的可访问性和可用性,解决以往点云真实感差、可访问性受限的技术问题。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种基于点云与影像数据的三维可视化方法和系统,其目的在于将点云数据投影到影像数据中后,对点云数据进行着色,利用三维渲染技术,得到目标场景的三维可视化模型。由此解决以往点云真实感差、可访问性受限的技术问题。
为实现上述目的,按照本发明的一个方面,提供了一种基于点云与影像数据的三维可视化方法,包括下列步骤:
S1:采集目标场景的影像数据和点云数据;
S2:对点云数据进行上采样,将上采样后的点云数据投影到影像数据中进行融合,对融合后的点云数据进行着色,得到彩色点云数据;
S3:利用彩色点云数据进行三维渲染,得到目标场景的三维可视化模型。
进一步的,步骤S1的具体实现方式为:获取相机的内部投影矩阵以及激光扫描仪到相机的外部变换参数,利用相机采集的影像数据,利用激光扫描仪采集点云数据。
进一步的,步骤S2包括:
S21:对点云数据进行离群点去噪,对影像数据进行平滑和均衡化处理,对离群点去噪后的点云数据进行上采样;
S22:将上采样后的点云数据投影到影像数据中,计算点云数据中每个三维点对应影像数据的二维像素坐标,根据二维像素坐标对三维点进行着色,得到彩色点云数据。
进一步的,上采样的具体实现方式:输入点云密度阈值,然后计算点云数据中的每个采样点的点云密度,对于密度小于点云密度阈值的采样点,查找其邻域点投影到切平面,形成投影点集;在切平面上构造投影点集的Voronoi图,选择半径最大的圆的顶点加入投影点集,并重新构造Voronoi图,重复构造Voronoi图,直到半径最大的圆的半径小于输入的圆的半径阈值;将新增顶点的投影点作为新增的点加入到点云数据中。
进一步的,点云数据投影到影像数据中的第一幅影像的投影关系,由内部投影矩阵和外部变换参数决定。
进一步的,步骤S3包括:
S31:将彩色点云数据上传到远程应用服务器,远程应用服务器对彩色点云数据进行多分辨率处理并开启服务接口;
S32:通过浏览器访问服务接口,从远程应用服务器加载处理后的彩色点云数据并在浏览器中进行三维渲染,得到目标场景的三维可视化模型。
按照本发明的另一方面,提供了一种基于点云与影像数据的三维可视化系统,包括数据采集模块、数据处理模块和数据可视化模块,
数据采集模块,用于采集目标场景的影像数据和点云数据,输入数据处理模块;
数据处理模块,用于接收影像数据和点云数据,对点云数据进行上采样,将上采样后的点云数据投影到影像数据中后进行融合,对进行融合后的点云数据进行着色,得到彩色点云数据输入数据可视化模块;
数据可视化模块,用于接收彩色点云数据,进行三维渲染,得到目标场景的三维可视化模型。
进一步的,数据采集模块包括相机和激光扫描仪,获取相机的内部投影矩阵以及激光扫描仪到相机的外部变换参数,相机用于采集的影像数据,激光扫描仪用于采集点云数据,相机安装在激光扫描仪的水平旋转轴上。
进一步的,数据处理模块包括:
采样子模块,用于对点云数据进行离群点去噪,对影像数据进行平滑和均衡化处理,对离群点去噪后的点云数据进行上采样;
着色子模块,用于将上采样后的点云数据投影到影像数据中进行融合,计算点云数据中每个三维点对应影像数据的二维像素坐标,根据二维像素坐标对三维点进行着色,得到彩色点云数据。
进一步的,数据可视化模块包括:
多分辨率处理子模块,用于将彩色点云数据上传到远程应用服务器,远程应用服务器对点彩色云数据进行多分辨率处理并开启服务接口;
三维渲染子模块,用于通过浏览器访问服务接口,从远程应用服务器加载处理后的彩色点云数据并在浏览器中进行三维渲染,得到目标场景的三维可视化模型。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,能够取得下列有益效果:
(1)采集目标场景的影像数据和点云数据;对点云数据进行上采样,将上采样后的点云数据投影到影像数据中进行融合,对进行融合后的点云数据进行着色,得到彩色点云数据;利用彩色点云数据进行三维渲染,得到目标场景的三维可视化模型。对点云数据进行均匀上采样,使点云变得均匀稠密,提高了点云分辨率和像素利用率,使点作为渲染基元称为可能,本发明实现了从数据采集和融合到最终渲染显示的点云三维可视化,有助于激光点云技术的拓展,提高了点云数据对于普通用户的可访问性和可用性。
(2)优选的,在采集数据之前确定相机的内部投影矩阵及激光扫描仪到相机的外部变换参数,能够提前计算出点云数据到影像数据的映射关系,从而提高后续点云着色的效率。
(3)优选的,激光扫描仪在扫描过程中由于环境和设备因素,使得得到的点云数据中有大量离群噪声点,通过离群点去噪一方面能减少点云数据中需要着色的点的数量,另一方面极大的提高了后续三维可视化的效果;对影像数据进行平滑和均衡化处理,能够使影像数据更加清晰且亮度分布更加均匀;通过点云上采样,能够弥补激光扫描仪扫描分辨率的不足,提高点云的密度;使用二维像素对点云数据中的三维点进行着色得到彩色点云数据,彩色点云数据融合了三维空间信息和真实的颜色信息,提高了三维可视化模型的真实感。
(4)优选的,只对点云密度小于阈值的采样点进行上采样,可以减少非必要的计算量,使点云数据的密度分布更加均匀。
(5)优选的,将彩色点云数据上传到远程应用服务器,并使用浏览器加载和渲染点云,避免了安装专业的点云处理软件,而且可以实现多终端远程访问。对点云数据进行多分辨率处理,可以提高浏览器加载点云的速度。
附图说明
图1是本发明实施例提供的一种基于点云与影像数据的三维可视化方法的流程图;
图2是本发明实施例1所使用的硬件结构示意图;
图3是本发明实施例1所使用的三维激光扫描仪示意图;
图4是本发明实施例1提供的一种基于点云与影像数据的三维可视化方法的流程图;
图5是本发明实施例1三维激光扫描仪和相机安装示意图;
图6是本发明实施例1相机和激光扫描仪标定示意图;
图7是本发明实施例1点云多分辨率四叉树组织结构组织示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示,本发明提供了一种基于点云与影像数据的三维可视化方法,包括下列步骤:
S1:采集目标场景的影像数据和点云数据;
S2:对点云数据进行上采样,将上采样后的点云数据投影到影像数据中后,对上采样后的点云数据进行着色,得到彩色点云数据;
S3:利用彩色点云数据进行三维渲染,得到目标场景的三维可视化模型。
进一步的,步骤S1的具体实现方式为:获取相机的内部投影矩阵以及激光扫描仪到相机的外部变换参数,利用相机采集的影像数据,利用激光扫描仪采集点云数据。
优选的,摆放多个姿态不同且互不遮挡的平面棋盘格标定板作为参照物,先对相机进行标定,获取相机的内部投影矩阵A,再对相机和激光扫描仪进行联合标定,获取激光扫描仪坐标系到初始相机坐标系的外部变换参数,该外部变换参数可以使用初始旋转矩阵R1和平移向量t表示。
进一步的,步骤S1具体包括以下步骤:
S11:将相机固定在三维激光扫描仪的水平旋转轴上,使旋转轴尽量通过相机光心;
S12:对处于初始位置的相机和三维激光扫描仪进行标定,获得相机的内部投影矩阵以及激光扫描仪坐标系到初始相机坐标系的外部变换参数;
S13:使用步骤S12中标定好的相机和激光扫描仪分辨采集目标场景的影像和点云数据;
进一步的,步骤S12具体包括以下步骤:
S121:在对激光扫描仪和相机视角均可见的区域摆放5个以上相同规格的平面棋盘格标定板,使所有标定板的姿态各不相同且互不遮挡;
S122:保持激光扫描仪不动,先触发相机拍摄一幅影像,再启动激光扫描仪开始扫描包含所有参照物的区域;
S123:使用Matlab相机工具箱导入步骤S122中采集的影像进行相机标定,获得相机的内部投影矩阵和标定板平面在相机坐标系中的外部参数矩阵,并在点云数据中使用随机采样一致性算法RANSAC提取激光扫描仪坐标系中的所有标定板平面点云;
S124:使用点到面的配准方法,求出激光扫描仪坐标系中标定板平面到相机坐标系中对应平面的外部变换参数。
进一步的,步骤S13中,先在未启动激光扫描仪开始扫描前,触发相机采集一幅影像,再启动激光扫描仪开始扫描,随着激光扫描仪水平旋转轴的运动,每旋转角度θ触发相机采集一次影像,直到激光扫描仪停止扫描,设采集的影像序列包含m幅影像。触发相机的角度间隔θ由相机的水平视角决定,要求θ不大于的一半。
进一步的,步骤S2包括:
S21:对点云数据进行离群点去噪,对影像数据进行平滑和均衡化处理,对离群点去噪后的点云数据进行上采样;
S22:将上采样后的点云数据投影到影像数据中,计算点云数据中每个三维点对应影像数据的二维像素坐标,根据二维像素坐标对三维点进行着色,得到彩色点云数据。
进一步的,上采样的具体实现方式:输入点云密度阈值ε,然后依次计算每个采样点处的点云密度;对于采样点密度小于阈值的每一个采样点pi,查找其K-邻域;使用移动最小二乘法拟合pi的K-邻域曲面;计算点云在采样点pi处的切平面,将其K-邻域点投影到切平面,形成投影点集;在切平面上构造投影点集的Voronoi图,选择半径最大的圆的顶点加入投影点集,并重新构造Voronoi图,重复此步骤,直到半径最大的圆的半径小于输入的圆的半径阈值τ;将新增顶点投影到拟合的曲面上,其在曲面上的投影点作为新增的点加入到点云数据中。
进一步的,点云数据投影到影像数据中的第一幅影像的投影关系,由内部投影矩阵和外部变换参数决定。对于点云数据中任一三维点PL,其坐标为(XL,YL,ZL),使用齐次坐标矩阵表示为PL=[XL,YL,ZL,1]T,其在第一幅影像对应的像素坐标为(u,v),使用齐次坐标矩阵表示为PI1=[u,v,1]T,满足:A表示内部投影矩阵,外部变换参数可以使用初始旋转矩阵R1和平移向量t表示,使用该关系计算点云数据中每个三维点对应的二维像素坐标,如果像素坐标未超过此影像范围,则使用线性过滤方法计算三维点的RGB颜色值,如果超过影像范围则舍弃;依次类推,点云到下一幅影像的投影关系中内部投影矩阵和外部变换参数中的平移向量不会改变,但是外部变换参数中的旋转矩阵参数会随着相机的旋转发生改变,拍摄相邻两幅影像时相机旋转的真实角度σ取触发相机的角度间隔θ和图像特征匹配得到的角度α的平均值,即点云到第k幅影像的外部变换参数中的旋转矩阵Rk和点云到第k+1幅影像的外部变换参数中的旋转矩阵Rk+1之间满足:Rk+1=RσRk。其中,Rσ是拍摄相邻两幅影像时相机的旋转矩阵,k=1,2,3…,m-1。
进一步的,步骤S3包括:
S31:将彩色点云数据上传到远程应用服务器,远程应用服务器对彩色点云数据进行多分辨率处理并开启服务接口;
S32:通过浏览器访问服务接口,从远程应用服务器加载处理后的彩色点云数据并在浏览器中进行三维渲染,得到目标场景的三维可视化模型。
进一步的,多分辨处理的具体实现方式为:构建多分辨率四叉树层级结构,将点云数据进行多分辨四叉树组织结构分解,提高了点云数据的加载效果。包括以下步骤:
(1)首先计算输入彩色点云数据的最小外接立方体,并且定义间距参数s和四叉树深度h;
(2)根据最小外接立方体的尺寸和四叉树的深度确定四叉树中不同层级节点的空间区域;
(3)最后输入彩色点云数据中的点被依次添加到四叉树。
步骤(3)中对于彩色点云数据中的每个点,如果到根节点中任何其他点的距离大于间距s,则将该点添加到根节点;如果已经存在另一个非常接近的点,则将其传递到下一级,并且以一半的间隔重复相同的测试。重复此过程,直到该点已添加到节点或已超过四叉树深度。在后一种情况下,点被丢弃并且不会被添加到任何节点。
实施例1
如图2所示,本发明实施例1所使用的硬件结构包括:本地工作站、无线路由器、本地数据采集设备、应用服务器、存储服务器、数据库服务器和终端设备。
如图3所示,为本发明使用的自制三维激光扫描仪,该由一维激光测距传感器、水平旋转平台、竖直旋转轴驱动、镜片系统和激光出射窗口组成。
三维激光扫描仪和相机通过有线介质与无线路由器连接,本地工作站使用无线的方式路由器连接,激光点云数据和影像数据通过无线网络方式实施传输到本地工作站,由于实施过程中会产生大量的数据,因此无线路由器选用速率能达到千兆的双频无线路由器,同时给本地工作站加装双频USB3.0无线网卡。
图4是本发明实施例1提供的一种基于点云与影像数据的三维可视化方法的流程图;
该方法将三维点云与二维影像进行配准融合并上传到远程服务器,通过终端浏览器渲染彩色点云数据,具体包括下列步骤:
S1:采集目标场景的影像数据和点云数据;
S2:对点云数据进行上采样,将上采样后的点云数据投影到影像数据中后,对上采样后的点云数据进行着色,得到彩色点云数据;
S3:利用彩色点云数据进行三维渲染,得到目标场景的三维可视化模型。
进一步的,步骤S1具体包括以下步骤:
S11:将相机固定在三维激光扫描仪的水平旋转轴上,使旋转轴尽量通过相机光心;如图5所示,为了采集多视角的影像,需要将相机安装在三维激光扫描仪的水平旋转轴上,使相机能够随着激光扫描仪的水平旋转平台匀速缓慢的旋转运动。
S12:对处于初始位置的相机和三维激光扫描仪进行标定,获得相机的内部投影矩阵以及激光扫描仪坐标系到初始相机坐标系的外部变换参数;
S13:使用步骤S12中标定好的相机和激光扫描仪分辨采集目标场景的影像和点云数据;
进一步的,如图6所示是相机和三维激光扫描仪标定使用平面棋盘格标定板作为参照物,先对相机进行标定,获取相机的内部投影矩阵,再对相机和激光扫描仪进行联合标定,获取激光扫描仪坐标系到初始相机坐标系的外部变换参数,该外部变换参数可以使用初始旋转矩阵和平移向量表示。步骤S12具体包括以下步骤:
S121:在对激光扫描仪和相机视角均可见的区域摆放5个以上相同规格的平面棋盘格标定板,使所有标定板的姿态各不相同且互不遮挡;
S122:保持激光扫描仪不动,先触发相机拍摄一幅影像,再启动激光扫描仪开始扫描包含所有参照物的区域;
S123:使用Matlab相机工具箱导入步骤S122中采集的影像进行相机标定,获得相机的内部投影矩阵和标定板平面在相机坐标系中的外部参数矩阵,并在点云数据中使用随机采样一致性算法RANSAC提取激光扫描仪坐标系中的所有标定板平面点云;
相机标定可以得到相机的外参数矩阵RC,i分别是3×3的正交旋转矩阵和3×1的平移向量,其中i=1...m对应第i个标定板的外参数矩阵,m为标定板的个数,记相机坐标系中所有标定板为PlaneC,同时还能得到相机的内参数矩阵A。使用RANSAC算法提取场景中所有的标定板平面点云,记作PlaneL,可以用平面的法向量和激光扫描仪坐标系原点到平面的距离dL表示。
S124:使用点到面的配准方法,求出激光扫描仪坐标系中标定板平面到相机坐标系中对应平面的外部变换参数。
相机坐标系对应标定板平面的法向量可由下式计算得到:其中表示旋转矩阵RC,i的第三列。采用点到面的配准方案将标定板点云到对应相机坐标系中的标定平面的距离作为待最小化的目标误差函数:
其中表示标定板点云中的第j个点,上的对应点,即的垂足,通过非线性迭代方法求得该函数的最优解 分别就是初始旋转矩阵R1和平移向量
进一步的,步骤S13中,先在未启动激光扫描仪开始扫描前,触发相机采集一幅影像,再启动激光扫描仪开始扫描,随着激光扫描仪水平旋转轴的运动,每旋转角度θ触发相机采集一次影像,直到激光扫描仪停止扫描,设采集的影像序列包含m幅影像。触发相机的角度间隔θ由相机的水平视角决定,要求θ不大于的一半。
进一步的,步骤S2包括:
S21:对点云数据进行离群点去噪,对影像数据进行平滑和均衡化处理,对离群点去噪后的点云数据进行上采样;
S22:将上采样后的点云数据投影到影像数据中,计算点云数据中每个三维点对应影像数据的二维像素坐标,根据二维像素坐标对三维点进行着色,得到彩色点云数据。
进一步的,上采样的具体实现方式:输入点云密度阈值ε,然后依次计算每个采样点处的点云密度;对于采样点密度小于阈值的每一个采样点pi,点pi的采样密度可以通过查找pi的K-邻域,同时计算以该点为圆心,且包含所有邻域点的包围球体积确定,采样密度其中采样点K-邻域半径为r;查找其K-邻域;使用移动最小二乘法拟合pi的K-邻域曲面;计算点云在采样点pi处的切平面,将其K-邻域点投影到切平面,形成投影点集;在切平面上构造投影点集的Voronoi图,选择半径最大的圆的顶点加入投影点集,并重新构造Voronoi图,重复此步骤,直到半径最大的圆的半径小于输入的圆的半径阈值τ;将新增顶点投影到拟合的曲面上,其在曲面上的投影点作为新增的点加入到点云数据中。
进一步的,点云数据投影到影像数据中的第一幅影像的投影关系,由内部投影矩阵和外部变换参数决定。对于点云数据中任一三维点PL,其坐标为(XL,YL,ZL),使用齐次坐标矩阵表示为PL=[XL,YL,ZL,1]T,其在第一幅影像对应的像素坐标为(u,v),使用齐次坐标矩阵表示为PI1=[u,v,1]T,满足:A表示内部投影矩阵,外部变换参数可以使用初始旋转矩阵R1和平移向量t表示,使用该关系计算点云数据中每个三维点对应的二维像素坐标,如果像素坐标未超过此影像范围,则使用线性过滤方法计算三维点的RGB颜色值,如果超过影像范围则舍弃;依次类推,点云到下一幅影像的投影关系中内部投影矩阵和外部变换参数中的平移向量不会改变,但是外部变换参数中的旋转矩阵参数会随着相机的旋转发生改变,拍摄相邻两幅影像时相机旋转的真实角度σ取触发相机的角度间隔θ和图像特征匹配得到的角度α的平均值,即点云到第k幅影像的外部变换参数中的旋转矩阵Rk和点云到第k+1幅影像的外部变换参数中的旋转矩阵Rk+1之间满足:Rk+1=RσRk。其中,Rσ是拍摄相邻两幅影像时相机的旋转矩阵,k=1,2,3…,m-1。
角度α通过匹配两幅图像的SURF特征计算得到,具体步骤如下:
(1)分别在两幅图像上提取SURF特征点并计算对应的描述符;
(2)通过Brute Force匹配或者FLANN匹配算法进行特征匹配查找,得到若干匹配点对;
(3)使用RANSAC算法剔除错误匹配,根据正确的匹配点对计算得到两幅图像之间的单应矩阵;
(4)将单应矩阵归一化,计算其复数特征值的相位即为角度α。
进一步的,步骤S3包括:
S31:将彩色点云数据上传到远程应用服务器,远程应用服务器对彩色点云数据进行多分辨率处理并开启服务接口;
S32:通过浏览器访问服务接口,从远程应用服务器加载处理后的彩色点云数据并在浏览器中进行三维渲染,得到目标场景的三维可视化模型。
进一步的,使用FTP协议将彩色点云数据上传到远程应用服务器。如图7所示,远程服务器程序对点云数据进行四叉树多分辨率处理,并将四叉树的每个节点保存成单独文件上传至云存储服务器,同时在数据库中建立该点云索引,最后开启服务接口。
多分辨处理的具体实现方式为:构建多分辨率四叉树层级结构,包括以下步骤:
(1)首先计算输入彩色点云数据的最小外接立方体,并且定义间距参数s和四叉树深度h;
(2)根据最小外接立方体的尺寸和四叉树的深度确定四叉树中不同层级节点的空间区域;
(3)最后输入彩色点云数据中的点被依次添加到四叉树。
步骤(3)中对于彩色点云数据中的每个点,如果到根节点中任何其他点的距离大于间距s,则将该点添加到根节点;如果已经存在另一个非常接近的点,则将其传递到下一级,并且以一半的间隔重复相同的测试。重复此过程,直到该点已添加到节点或已超过四叉树深度。在后一种情况下,点被丢弃并且不会被添加到任何节点。
进一步的,可以使用终端设备的浏览器访问应用服务器提供的接口,应用服务器程序从数据库中查询对应索引点云数据在存储服务器中的存储路径并返回给浏览器,浏览器直接从存储服务器下载点云数据并在浏览器中使用WebGL技术进行渲染。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于点云与影像数据的三维可视化方法,其特征在于,包括下列步骤:
S1:采集目标场景的影像数据和点云数据;
S2:对点云数据进行上采样,将上采样后的点云数据投影到影像数据中进行融合,对融合后的点云数据进行着色,得到彩色点云数据;
S3:利用彩色点云数据进行三维渲染,得到目标场景的三维可视化模型。
2.如权利要求1所述的一种基于点云与影像数据的三维可视化方法,其特征在于,所述步骤S1的具体实现方式为:获取相机的内部投影矩阵以及激光扫描仪到相机的外部变换参数,利用相机采集的影像数据,利用激光扫描仪采集点云数据。
3.如权利要求1或2所述的一种基于点云与影像数据的三维可视化方法,其特征在于,所述步骤S2包括:
S21:对点云数据进行离群点去噪,对影像数据进行平滑和均衡化处理,对离群点去噪后的点云数据进行上采样;
S22:将上采样后的点云数据投影到影像数据中进行融合,计算点云数据中每个三维点对应影像数据的二维像素坐标,根据二维像素坐标对三维点进行着色,得到彩色点云数据。
4.如权利要求1或2所述的一种基于点云与影像数据的三维可视化方法,其特征在于,所述上采样的具体实现方式:输入点云密度阈值,然后计算点云数据中的每个采样点的点云密度,对于密度小于点云密度阈值的采样点,查找其邻域点投影到切平面,形成投影点集;在切平面上构造投影点集的Voronoi图,选择半径最大的圆的顶点加入投影点集,并重新构造Voronoi图,重复构造Voronoi图,直到半径最大的圆的半径小于输入的圆的半径阈值;将新增顶点的投影点作为新增的点加入到点云数据中。
5.如权利要求3所述的一种基于点云与影像数据的三维可视化方法,其特征在于,所述点云数据投影到影像数据中的第一幅影像的投影关系,由内部投影矩阵和外部变换参数决定。
6.如权利要求1所述的一种基于点云与影像数据的三维可视化方法,其特征在于,所述步骤S3包括:
S31:将彩色点云数据上传到远程应用服务器,远程应用服务器对彩色点云数据进行多分辨率处理并开启服务接口;
S32:通过浏览器访问服务接口,从远程应用服务器加载处理后的彩色点云数据并在浏览器中进行三维渲染,得到目标场景的三维可视化模型。
7.一种基于点云与影像数据的三维可视化系统,其特征在于,包括数据采集模块、数据处理模块和数据可视化模块,
所述数据采集模块,用于采集目标场景的影像数据和点云数据,输入数据处理模块;
所述数据处理模块,用于接收影像数据和点云数据,对点云数据进行上采样,将上采样后的点云数据投影到影像数据中进行融合,对融合后的点云数据进行着色,得到彩色点云数据输入数据可视化模块;
所述数据可视化模块,用于接收彩色点云数据,进行三维渲染,得到目标场景的三维可视化模型。
8.如权利要求7所述的一种基于点云与影像数据的三维可视化系统,其特征在于,所述数据采集模块包括相机和激光扫描仪,获取相机的内部投影矩阵以及激光扫描仪到相机的外部变换参数,所述相机用于采集的影像数据,所述激光扫描仪用于采集点云数据,所述相机安装在激光扫描仪的水平旋转轴上。
9.如权利要求7或8所述的一种基于点云与影像数据的三维可视化系统,其特征在于,所述数据处理模块包括:
采样子模块,用于对点云数据进行离群点去噪,对影像数据进行平滑和均衡化处理,对离群点去噪后的点云数据进行上采样;
着色子模块,用于将上采样后的点云数据投影到影像数据中进行融合,计算点云数据中每个三维点对应影像数据的二维像素坐标,根据二维像素坐标对三维点进行着色,得到彩色点云数据。
10.如权利要求7所述的一种基于点云与影像数据的三维可视化系统,其特征在于,所述数据可视化模块包括:
多分辨率处理子模块,用于将彩色点云数据上传到远程应用服务器,远程应用服务器对彩色点云数据进行多分辨率处理并开启服务接口;
三维渲染子模块,用于通过浏览器访问服务接口,从远程应用服务器加载处理后的彩色点云数据并在浏览器中进行三维渲染,得到目标场景的三维可视化模型。
CN201710346585.6A 2017-05-16 2017-05-16 一种基于点云与影像数据的三维可视化方法和系统 Active CN107194983B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710346585.6A CN107194983B (zh) 2017-05-16 2017-05-16 一种基于点云与影像数据的三维可视化方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710346585.6A CN107194983B (zh) 2017-05-16 2017-05-16 一种基于点云与影像数据的三维可视化方法和系统

Publications (2)

Publication Number Publication Date
CN107194983A true CN107194983A (zh) 2017-09-22
CN107194983B CN107194983B (zh) 2018-03-09

Family

ID=59873080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710346585.6A Active CN107194983B (zh) 2017-05-16 2017-05-16 一种基于点云与影像数据的三维可视化方法和系统

Country Status (1)

Country Link
CN (1) CN107194983B (zh)

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107845073A (zh) * 2017-10-19 2018-03-27 华中科技大学 一种基于深度图的局部自适应三维点云去噪方法
CN107993282A (zh) * 2017-11-06 2018-05-04 江苏省测绘研究所 一种动态的可量测实景地图制作方法
CN108088361A (zh) * 2017-10-12 2018-05-29 深圳市迈实自动化有限公司 一种3d纹理数据采集装置及方法
CN108154560A (zh) * 2018-01-25 2018-06-12 北京小马慧行科技有限公司 激光点云标注方法、装置及可读存储介质
CN108198223A (zh) * 2018-01-29 2018-06-22 清华大学 一种激光点云与视觉图像映射关系快速精确标定方法
CN108444383A (zh) * 2018-03-08 2018-08-24 大连理工大学 基于视觉激光组合式的加工过程一体化测量方法
CN108805063A (zh) * 2018-05-31 2018-11-13 王红军 一种对物体与环境的多分辨率视觉感知方法
CN109029284A (zh) * 2018-06-14 2018-12-18 大连理工大学 一种基于几何约束的三维激光扫描仪与相机标定方法
CN109615594A (zh) * 2018-11-30 2019-04-12 四川省安全科学技术研究院 一种激光点云空洞修补着色方法
CN109765240A (zh) * 2018-12-25 2019-05-17 浙江四点灵机器人股份有限公司 一种检测工业零件针脚缺陷装置及方法
CN109801358A (zh) * 2018-12-06 2019-05-24 宁波市电力设计院有限公司 一种基于slam扫描和点云影像融合的变电站三维勘测方法
CN109840943A (zh) * 2019-01-25 2019-06-04 天津大学 三维可视化分析方法及系统
CN109903382A (zh) * 2019-03-20 2019-06-18 中煤航测遥感集团有限公司 点云数据的融合方法及装置
CN110047099A (zh) * 2019-02-27 2019-07-23 视缘(上海)智能科技有限公司 一种基于3d点云表示模型的方法
CN110568451A (zh) * 2019-08-02 2019-12-13 北京三快在线科技有限公司 一种高精度地图中道路交通标线的生成方法和装置
CN110659440A (zh) * 2019-09-25 2020-01-07 云南电网有限责任公司曲靖供电局 一种点云数据大场景的不同细节层次快速动态显示方法
CN110706159A (zh) * 2018-07-09 2020-01-17 财团法人资讯工业策进会 空间坐标转换服务器以及方法
CN111238494A (zh) * 2018-11-29 2020-06-05 财团法人工业技术研究院 载具、载具定位系统及载具定位方法
CN111462291A (zh) * 2019-01-18 2020-07-28 中科星图股份有限公司 基于ais目标的三维渲染方法和系统
WO2020155159A1 (zh) * 2019-02-02 2020-08-06 深圳市大疆创新科技有限公司 增加点云采样密度的方法、点云扫描系统、可读存储介质
CN111630520A (zh) * 2019-07-30 2020-09-04 深圳市大疆创新科技有限公司 处理点云的方法和装置
CN111735479A (zh) * 2020-08-28 2020-10-02 中国计量大学 一种多传感器联合标定装置及方法
CN111784834A (zh) * 2020-06-24 2020-10-16 北京百度网讯科技有限公司 一种点云地图生成方法、装置以及电子设备
CN112750165A (zh) * 2019-10-29 2021-05-04 商汤集团有限公司 参数标定方法、智能驾驶方法及其装置、设备和存储介质
CN113198692A (zh) * 2021-05-19 2021-08-03 飓蜂科技(苏州)有限公司 一种适用于批量产品的高精度点胶方法及装置
CN113240634A (zh) * 2021-04-29 2021-08-10 广东元一科技实业有限公司 一种任意平面视图生成系统及其生成方法
CN113272865A (zh) * 2019-01-11 2021-08-17 索尼集团公司 具有实时3d可视化的点云着色系统
CN113302940A (zh) * 2019-01-18 2021-08-24 索尼集团公司 使用单应性变换的点云编码
US11328474B2 (en) 2018-03-20 2022-05-10 Interdigital Madison Patent Holdings, Sas System and method for dynamically adjusting level of details of point clouds
CN114554176A (zh) * 2022-01-24 2022-05-27 北京有竹居网络技术有限公司 深度相机
US11373319B2 (en) 2018-03-20 2022-06-28 Interdigital Madison Patent Holdings, Sas System and method for optimizing dynamic point clouds based on prioritized transformations
CN114741768A (zh) * 2022-04-27 2022-07-12 四川赛康智能科技股份有限公司 智能变电站三维建模方法
CN115213038A (zh) * 2022-06-24 2022-10-21 中铭谷智能机器人(广东)有限公司 一种汽车钣金点云多边形框选方法
CN116597168A (zh) * 2023-07-18 2023-08-15 齐鲁空天信息研究院 车载激光点云与全景影像的匹配方法、装置、设备及介质
US11961264B2 (en) 2018-12-14 2024-04-16 Interdigital Vc Holdings, Inc. System and method for procedurally colorizing spatial data

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101271590A (zh) * 2008-03-28 2008-09-24 华中科技大学 一种获取凸轮廓物体形状的方法
WO2010043954A1 (en) * 2008-10-14 2010-04-22 Nokia Corporation Method, apparatus and computer program product for providing pattern detection with unknown noise levels
CN102042825A (zh) * 2010-11-09 2011-05-04 青岛市光电工程技术研究院 一种面阵成像与激光扫描组合的三维成像测量系统
CN103530899A (zh) * 2013-10-10 2014-01-22 浙江万里学院 基于几何特征性的点云简化方法
CN103870845A (zh) * 2014-04-08 2014-06-18 重庆理工大学 点云聚类去噪过程中新的k值优化方法
CN104282040A (zh) * 2014-09-29 2015-01-14 北京航空航天大学 一种用于三维实体模型重建的有限元前处理方法
CN105136036A (zh) * 2015-09-24 2015-12-09 中国科学院上海高等研究院 便携式图像与激光融合的三维扫描系统
CN105157566A (zh) * 2015-05-08 2015-12-16 深圳市速腾聚创科技有限公司 彩色三维激光扫描仪及三维立体彩色点云扫描的方法
CN105427385A (zh) * 2015-12-07 2016-03-23 华中科技大学 一种基于多层形变模型的高保真人脸三维重建方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101271590A (zh) * 2008-03-28 2008-09-24 华中科技大学 一种获取凸轮廓物体形状的方法
WO2010043954A1 (en) * 2008-10-14 2010-04-22 Nokia Corporation Method, apparatus and computer program product for providing pattern detection with unknown noise levels
CN102042825A (zh) * 2010-11-09 2011-05-04 青岛市光电工程技术研究院 一种面阵成像与激光扫描组合的三维成像测量系统
CN103530899A (zh) * 2013-10-10 2014-01-22 浙江万里学院 基于几何特征性的点云简化方法
CN103870845A (zh) * 2014-04-08 2014-06-18 重庆理工大学 点云聚类去噪过程中新的k值优化方法
CN104282040A (zh) * 2014-09-29 2015-01-14 北京航空航天大学 一种用于三维实体模型重建的有限元前处理方法
CN105157566A (zh) * 2015-05-08 2015-12-16 深圳市速腾聚创科技有限公司 彩色三维激光扫描仪及三维立体彩色点云扫描的方法
CN105136036A (zh) * 2015-09-24 2015-12-09 中国科学院上海高等研究院 便携式图像与激光融合的三维扫描系统
CN105427385A (zh) * 2015-12-07 2016-03-23 华中科技大学 一种基于多层形变模型的高保真人脸三维重建方法

Cited By (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108088361A (zh) * 2017-10-12 2018-05-29 深圳市迈实自动化有限公司 一种3d纹理数据采集装置及方法
CN107845073A (zh) * 2017-10-19 2018-03-27 华中科技大学 一种基于深度图的局部自适应三维点云去噪方法
CN107845073B (zh) * 2017-10-19 2020-02-14 华中科技大学 一种基于深度图的局部自适应三维点云去噪方法
CN107993282A (zh) * 2017-11-06 2018-05-04 江苏省测绘研究所 一种动态的可量测实景地图制作方法
CN107993282B (zh) * 2017-11-06 2021-02-19 江苏省测绘研究所 一种动态的可量测实景地图制作方法
CN108154560A (zh) * 2018-01-25 2018-06-12 北京小马慧行科技有限公司 激光点云标注方法、装置及可读存储介质
CN108198223A (zh) * 2018-01-29 2018-06-22 清华大学 一种激光点云与视觉图像映射关系快速精确标定方法
CN108444383A (zh) * 2018-03-08 2018-08-24 大连理工大学 基于视觉激光组合式的加工过程一体化测量方法
CN108444383B (zh) * 2018-03-08 2019-06-28 大连理工大学 基于视觉激光组合式的加工过程一体化测量方法
US12062195B2 (en) 2018-03-20 2024-08-13 Interdigital Madison Patent Holdings, Sas System and method for optimizing dynamic point clouds based on prioritized transformations
US11816786B2 (en) 2018-03-20 2023-11-14 Interdigital Madison Patent Holdings, Sas System and method for dynamically adjusting level of details of point clouds
US11328474B2 (en) 2018-03-20 2022-05-10 Interdigital Madison Patent Holdings, Sas System and method for dynamically adjusting level of details of point clouds
US11373319B2 (en) 2018-03-20 2022-06-28 Interdigital Madison Patent Holdings, Sas System and method for optimizing dynamic point clouds based on prioritized transformations
CN108805063A (zh) * 2018-05-31 2018-11-13 王红军 一种对物体与环境的多分辨率视觉感知方法
CN109029284A (zh) * 2018-06-14 2018-12-18 大连理工大学 一种基于几何约束的三维激光扫描仪与相机标定方法
CN110706159A (zh) * 2018-07-09 2020-01-17 财团法人资讯工业策进会 空间坐标转换服务器以及方法
CN111238494A (zh) * 2018-11-29 2020-06-05 财团法人工业技术研究院 载具、载具定位系统及载具定位方法
CN109615594A (zh) * 2018-11-30 2019-04-12 四川省安全科学技术研究院 一种激光点云空洞修补着色方法
CN109801358A (zh) * 2018-12-06 2019-05-24 宁波市电力设计院有限公司 一种基于slam扫描和点云影像融合的变电站三维勘测方法
US11961264B2 (en) 2018-12-14 2024-04-16 Interdigital Vc Holdings, Inc. System and method for procedurally colorizing spatial data
CN109765240B (zh) * 2018-12-25 2022-11-01 浙江四点灵机器人股份有限公司 一种检测工业零件针脚缺陷装置及方法
CN109765240A (zh) * 2018-12-25 2019-05-17 浙江四点灵机器人股份有限公司 一种检测工业零件针脚缺陷装置及方法
CN113272865B (zh) * 2019-01-11 2023-08-01 索尼集团公司 具有实时3d可视化的点云着色系统
CN113272865A (zh) * 2019-01-11 2021-08-17 索尼集团公司 具有实时3d可视化的点云着色系统
CN111462291A (zh) * 2019-01-18 2020-07-28 中科星图股份有限公司 基于ais目标的三维渲染方法和系统
CN113302940A (zh) * 2019-01-18 2021-08-24 索尼集团公司 使用单应性变换的点云编码
CN109840943A (zh) * 2019-01-25 2019-06-04 天津大学 三维可视化分析方法及系统
CN111819602A (zh) * 2019-02-02 2020-10-23 深圳市大疆创新科技有限公司 增加点云采样密度的方法、点云扫描系统、可读存储介质
WO2020155159A1 (zh) * 2019-02-02 2020-08-06 深圳市大疆创新科技有限公司 增加点云采样密度的方法、点云扫描系统、可读存储介质
CN110047099B (zh) * 2019-02-27 2024-08-02 视缘(上海)智能科技有限公司 一种基于3d点云表示模型的方法
CN110047099A (zh) * 2019-02-27 2019-07-23 视缘(上海)智能科技有限公司 一种基于3d点云表示模型的方法
CN109903382A (zh) * 2019-03-20 2019-06-18 中煤航测遥感集团有限公司 点云数据的融合方法及装置
WO2021016891A1 (zh) * 2019-07-30 2021-02-04 深圳市大疆创新科技有限公司 处理点云的方法和装置
CN111630520A (zh) * 2019-07-30 2020-09-04 深圳市大疆创新科技有限公司 处理点云的方法和装置
CN110568451B (zh) * 2019-08-02 2021-06-18 北京三快在线科技有限公司 一种高精度地图中道路交通标线的生成方法和装置
CN110568451A (zh) * 2019-08-02 2019-12-13 北京三快在线科技有限公司 一种高精度地图中道路交通标线的生成方法和装置
CN110659440A (zh) * 2019-09-25 2020-01-07 云南电网有限责任公司曲靖供电局 一种点云数据大场景的不同细节层次快速动态显示方法
CN112750165A (zh) * 2019-10-29 2021-05-04 商汤集团有限公司 参数标定方法、智能驾驶方法及其装置、设备和存储介质
CN112750165B (zh) * 2019-10-29 2023-12-15 商汤集团有限公司 参数标定方法、智能驾驶方法及其装置、设备和存储介质
CN111784834A (zh) * 2020-06-24 2020-10-16 北京百度网讯科技有限公司 一种点云地图生成方法、装置以及电子设备
CN111735479A (zh) * 2020-08-28 2020-10-02 中国计量大学 一种多传感器联合标定装置及方法
CN111735479B (zh) * 2020-08-28 2021-03-23 中国计量大学 一种多传感器联合标定装置及方法
CN113240634A (zh) * 2021-04-29 2021-08-10 广东元一科技实业有限公司 一种任意平面视图生成系统及其生成方法
CN113198692A (zh) * 2021-05-19 2021-08-03 飓蜂科技(苏州)有限公司 一种适用于批量产品的高精度点胶方法及装置
CN114554176A (zh) * 2022-01-24 2022-05-27 北京有竹居网络技术有限公司 深度相机
CN114741768A (zh) * 2022-04-27 2022-07-12 四川赛康智能科技股份有限公司 智能变电站三维建模方法
CN115213038A (zh) * 2022-06-24 2022-10-21 中铭谷智能机器人(广东)有限公司 一种汽车钣金点云多边形框选方法
CN115213038B (zh) * 2022-06-24 2024-03-29 中铭谷智能机器人(广东)有限公司 一种汽车钣金点云多边形框选方法
CN116597168A (zh) * 2023-07-18 2023-08-15 齐鲁空天信息研究院 车载激光点云与全景影像的匹配方法、装置、设备及介质
CN116597168B (zh) * 2023-07-18 2023-11-17 齐鲁空天信息研究院 车载激光点云与全景影像的匹配方法、装置、设备及介质

Also Published As

Publication number Publication date
CN107194983B (zh) 2018-03-09

Similar Documents

Publication Publication Date Title
CN107194983B (zh) 一种基于点云与影像数据的三维可视化方法和系统
CN107679537B (zh) 一种基于轮廓点orb特征匹配的无纹理空间目标姿态估计算法
CN108401461A (zh) 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品
CN104156972B (zh) 基于激光扫描测距仪与多相机融合的透视成像方法
EP2383699B1 (en) Method for estimating a pose of an articulated object model
CN110415342A (zh) 一种基于多融合传感器的三维点云重建装置与方法
CN105654547B (zh) 三维重建方法
US10176564B1 (en) Collaborative disparity decomposition
CN108399643A (zh) 一种激光雷达和相机间的外参标定系统和方法
US20110115812A1 (en) Method for colorization of point cloud data based on radiometric imagery
CN106157354B (zh) 一种三维场景切换方法及系统
CN108876926A (zh) 一种全景场景中的导航方法及系统、ar/vr客户端设备
CN107665506A (zh) 实现增强现实的方法及系统
CN108267097A (zh) 基于双目三维扫描系统的三维重构方法和装置
CN109102566A (zh) 一种变电站的室内外实景重建方法及其装置
CN105096376B (zh) 一种信息处理方法及电子设备
CN108648264A (zh) 基于运动恢复的水下场景重建方法及存储介质
WO2021035627A1 (zh) 获取深度图的方法、装置及计算机存储介质
CN109919971A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN101826275A (zh) 在连续地理信息三维影像上标注信息的方法
CN109613974A (zh) 一种大场景下的ar家居体验方法
CN106289181B (zh) 一种基于视觉测量的实时slam方法
CN109993801A (zh) 一种用于二维相机与三维传感器的标定装置及标定方法
CN109064533A (zh) 一种3d漫游方法及系统
Ohta et al. Live 3D video in soccer stadium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant