CN111915723A - 一种用于室内的三维全景构建方法和系统 - Google Patents
一种用于室内的三维全景构建方法和系统 Download PDFInfo
- Publication number
- CN111915723A CN111915723A CN202010819693.2A CN202010819693A CN111915723A CN 111915723 A CN111915723 A CN 111915723A CN 202010819693 A CN202010819693 A CN 202010819693A CN 111915723 A CN111915723 A CN 111915723A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- indoor
- model
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010276 construction Methods 0.000 title description 7
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000003860 storage Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 8
- 230000001788 irregular Effects 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 235000009508 confectionery Nutrition 0.000 claims description 2
- 238000005259 measurement Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000000691 measurement method Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明给出了一种用于室内的三维全景构建方法和系统，包括利用激光扫描设备获取室内的第一点云数据，并标定第一点云数据的特征信息；利用RGBD采集设备获取室内的第二点云数据以及对应的彩色图像，并提取彩色图像上的特征点获取第二点云数据的特征信息；基于相同的特征信息计算第一点云数据和第二点云数据的相对于相同的特征信息的坐标关系，并基于坐标关系融合第一点云数据和第二点云数据获得融合点云数据；对融合点云数据进行分割获取室内的几何模型，并基于融合点云数据获取室内的影像纹理，其中，几何模型包括主体框架模型和细节框架模型；利用几何模型和影像纹理获取室内三维的全景模型。利用上述方法可以精确的构建室内三维全景模型。
Description
技术领域
本发明涉及三维建模的技术领域，尤其是一种用于室内的三维全景构建方法和系统。
背景技术
随着AI技术的蓬勃发展以及新型设备的不断涌现，三维重建成为计算机图形学领域的热点。其主要任务是基于各种传感器采集的数据，采用多视图几何、概率统计学和优化理论等数学工具，对现实物理世界进行三维建模，建立起现实世界和虚拟世界的桥梁。因此，三维重建在制造、医疗、影视制作、文物保护、增强现实、虚拟现实、定位导航等众多不同的领域有着广泛的应用。室内场景三维重建技术的发展依赖于所使用的传感器的种类和性能的更新迭代，目前，室内场景三维重建主要分为两大类：基于激光的三维重建和基于视觉图像的三维重建。
基于激光的室内场景三维重建己发展相对成熟，利用激光测距的原理，通过记录被测室内环境表面大量密集的点的三维坐标、反射率和纹理等信息，快速重建出被测室内环境的三维点云模型。但是由于激光传感器只能得到被测目标的三维坐标信息，而无法获得环境的颜色信息支持，而颜色信息严重影响了室内环境的三维重建效果。
基于视觉图像的室内场景三维重建利用成本较低的视觉传感器，就可以达到较高的三维重建精度，且具有丰富的颜色信息。通过视觉可以获得外界环境的颜色、形状、纹理、距离等重要信息。例如近年来逐步落地的服务机器人，以服务机器人所处的周围环境的三维重建结果为输入，建立起环境的语义地图，这是它执行各项复杂任务的前提基础，服务机器人依据语义地图将环境中的事物分割成具体语义含义的部分，如人、桌子、门等等，对环境进行准确的理解认知，进而才能更好地服务人类。
基于RGBD传感器的视觉SLAM室内三维重建框架己经发展得较为成熟。不管是视觉SLAM的前端视觉的特征提取和匹配、后端的优化方法，还是回环检测策略，传统的框架和算法相对成熟固定。但是基于RGBD传感器室内三维重建在重建的准确性、实时性和对环境的适应性方面依然存在瓶颈。一方面是由于RGBD传感器本身的物理特性的原因，另一方面是由于稠密的三维重建很大程度上仍需要借助于GPU加速计算，才能达到良好的效果。基于RGBD传感器的视觉SLAM室内三维重建系统的鲁棒性方面仍有待提升。
发明内容
针对现有技术中室内三维重建技术中存在的准确性、实时性和对环境的适应性还存在瓶颈的技术问题，本发明提出了一种用于室内的三维全景构建方法和系统，用以解决室内三维重建过程中存在的技术问题。
在一个方面，本发明提出了一种用于室内的三维全景构建方法，包括以下步骤：
根据本发明的一个方面，提出了一种用于室内的三维全景构建方法，其特征在于，包括以下步骤：
S1：利用激光扫描设备获取室内的第一点云数据，并标定第一点云数据的特征信息；
S2：利用RGBD采集设备获取室内的第二点云数据以及对应的彩色图像，并提取彩色图像上的特征点获取第二点云数据的特征信息；
S3：基于相同的特征信息计算第一点云数据和第二点云数据的相对于相同的特征信息的坐标关系，并基于坐标关系融合第一点云数据和第二点云数据获得融合点云数据；
S4：对融合点云数据进行分割获取室内的几何模型，并基于融合点云数据获取室内的影像纹理，其中，几何模型包括主体框架模型和细节框架模型；
S5：利用几何模型和影像纹理获取室内三维的全景模型。
在一些具体的实施例中，步骤S1和步骤S2同步进行。
在一些具体的实施例中，在第一点云数据和第二点云数据包括室内的全局点云数据。
在一些具体的实施例中，全局点云数据为激光扫描设备或RGBD采集设备在室内不同位置的点云拼接形成。
在一些具体的实施例中，室内不同位置的点云拼接形成全局点云数据包括以下步骤：
将两组室内不同位置的点云中相对应的点进行四元数运算，获得一个点云到另一个点云的旋转或平移变换公式，对两组室内不同位置的点云进行预拼接；
利用迭代近邻点算法更新带配准两组室内不同位置的点云，迭代计算其中一个点云相对另一点云的旋转或平移矩阵，直至配准精度小于预设阈值后停止迭代，完成精确拼接，其中，配准精度表示为两组室内不同位置的点云之间的距离差的绝对值；
重复上述步骤直至完成室内的所有点云的拼接。
在一些具体的实施例中，步骤S4中主体框架模型为将融合点云数据进行多平面分割拟合后获得的六面体的框架，细节框架模型包括规则物体模型和不规则物体模型。
在一些具体的实施例中，利用RANSAC算法对融合点云数据进行面域的分割拟合，将分割后的点云通过孔洞算法提取边界点并用基于矩形外接圆法对边界点进行拟合规则化后获得关键点，通过连接得到的关键点获得规则物体模型；对具有特征信息的点云剖面的每个面上的轮廓线进行规则化后拉伸获得不规则物体模型。
在一些具体的实施例中，影像纹理的获取方式包括利用均值漂移算法、Candy算法和分水岭算法中的一种。
根据本发明的第二方面，提出了一种计算机可读存储介质，其上存储有一或多个计算机程序，该一或多个计算机程序被计算机处理器执行时实施上述任一项的方法。
根据本发明的第三方面，提出了一种用于室内的三维全景构建系统，该系统包括：
点云数据采集单元：利用激光扫描设备获取室内的第一点云数据，并标定第一点云数据的特征信息；利用RGBD采集设备获取室内的第二点云数据以及对应的彩色图像，并提取彩色图像上的特征点获取第二点云数据的特征信息；
点云数据融合单元：基于相同的特征信息计算第一点云数据和第二点云数据的相对于相同的特征信息的坐标关系，并基于坐标关系融合第一点云数据和第二点云数据获得融合点云数据；
点云数据处理单元：对融合点云数据进行分割获取室内的几何模型，并基于融合点云数据获取室内的影像纹理，其中，几何模型包括主体框架模型和细节框架模型；
室内三维全景模型生成单元：利用几何模型和影像纹理获取室内三维的全景模型。
本发明提出了一种用于室内的三维全景构建方法和系统，针对通过激光扫描的点云数据能够获得物体的真实尺寸，其可以实时地获取点云数据，但是点云数据拼接算法复杂，数据质量受距离的影响较大。而RGBD采集设备能够仅仅通过拍摄影像就能获得物体点云和模型，但是其无法获得物体的真实尺寸，对于纹理单一物体的无法得到质量较好的数据，将上述两种点云数据进行融合，弥补了各自的缺点，能够获得更加精准的室内三维模型，并基于影像纹理最终生成视觉效果更好的室内三维模型。
附图说明
包括附图以提供对实施例的进一步理解并且附图被并入本说明书中并且构成本说明书的一部分。附图图示了实施例并且与描述一起用于解释本发明的原理。将容易认识到其它实施例和实施例的很多预期优点，因为通过引用以下详细描述，它们变得被更好地理解。通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请可以应用于其中的示例性系统架构图；
图2是本申请的一个实施例的一种用于室内的三维全景构建方法的流程图；
图3是本申请的一个实施例的一种用于室内的三维全景构建系统的框架图；
图4是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请实施例的用于室内的三维全景构建方法的示例性系统架构100。
如图1所示，系统架构100可以包括数据服务器101，网络102和主服务器103。网络102用以在数据服务器101和主服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
主服务器103可以是提供各种服务的服务器，例如对数据服务器101上传的信息进行处理的数据处理服务器。数据处理服务器可以进行用于室内三维全景的构建。
需要说明的是，本申请实施例所提供的用于室内的三维全景构建方法一般由主服务器103执行，相应地，用于室内的三维全景构建方法的装置一般设置于主服务器103中。
需要说明的是，数据服务器和主服务器可以是硬件，也可以是软件。当为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。
应该理解，图1中的数据服务器、网络和主服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
根据本申请的一个实施例的用于室内的三维全景构建方法，图2示出了根据本申请的实施例的用于室内的三维全景构建方法的流程图。如图2所示，该方法包括以下步骤：
S201：利用激光扫描设备获取室内的第一点云数据，并标定第一点云数据的特征信息。激光扫描设备可以选择LiDAR仪器进行扫描，其可以通过对目标对象的扫描测距，精确测量目标对象的长度和面积等，实现对目标对象的测绘。
在具体的实施例中，LiDAR仪器的扫描方式一般可以分为脉冲式测距法、相位式测距法、激光三角法和脉冲-相位式四种类型。脉冲式测距类型的LiDAR仪器适用于超长距离测量，测量精度达厘米级。相位式LiDAR技术发射出整数波长的激光，通过计算从目标对象反射回来的激光相位差，测出仪器中心到目标物体的距离。相位式测距法主要应用于中等或短距离LiDAR技术中，测量距离一般在100m以内，测量精度达毫米数量级。激光三角测量原理是根据三角形的几何关系计算仪器中心距离目标对象之间距离，该类型的LiDAR技术测量的范围是几十米，测量精度达亚毫米级。脉冲-相位式是将脉冲式测距法和相位式测距法相结合的一种新的测距方法，该测距方法主要是通过脉冲式测距法实现距离的粗略测量，利用相位式测距法实现距离的精密测量，通过两种测距方法的有效结合，实现了对目标对象高精度的测量。上述的扫描测距方式具体可以根据实际室内三维构建精度要求的情况进行选择，以满足不同精度的室内三维全景模型的构建要求。
S202：利用RGBD采集设备获取室内的第二点云数据以及对应的彩色图像，并提取彩色图像上的特征点获取第二点云数据的特征信息。RGBD采集设备一般包括三个摄像头：一个彩色摄像头、一个红外发射摄像头和一个红外接收摄像头，在获得彩色图像的同时可以获得与彩色图像逐个像素对应的深度图像，从深度图像可以直接获得彩色图像中物体在真实世界中距离传感器的距离，且精度较高；弥补了单目和双目视觉传感器估计深度信息的计算复杂性且精度无法保障的不足。
在具体的实施例中，利用RGBD采集设备获得空间三维数据(即点云数据)，首先，利用使用第三方编译器如MATLAB或者微软Visual Studio调用SDK中的IDepthFrameReader和IColorFrameReader函数来读取深度和彩色影像数据，然后计算出深度图像和彩色图像之间的映射关系，再通过ICoordinateMapper中的Map Color Frame To Camera Space映射函数计算出对应彩色影像数据里每個像素的坐标点。通过上述步骤获得的彩色影像及点云是一一对应的，彩色影像中每一个像素点即对应一个三维坐标。通过提取彩色影像上的特征点则可以通过两者之间的关系获得点云数据的特征信息，具体的可以利用SIFT算法进行特征的提取，优选的，可以利用随机抽样一致性RANSAC算法对SIFT得到的相邻影像之间错误的同名点进行剔除并获得正确的同名点对。
在具体的实施例中，在室内点云数据采集时，受到环境因素或人为影响的因素使得扫描的点云数据与理论值有一定的偏差。造成以上偏差的原因一般包括：LiADR技术的系统误差，主要是系统本身引起的测角误差和测距误差；由偶然误差引起的噪点，主要包括在扫描过程中障碍物的遮挡，这种偶然误差引起的噪点是肉眼可见的，可以通过手动直接删除；由扫描对象表面的倾斜，扫描角倾角过大引起的噪点，主要是扫描仪发射的激光信号到达目标对象表面发生反射造成的角度和距离偏差。受以上三种误差的影响，获取的点云会存在部分噪点。
在具体的实施例中，需要对上述噪点进行去噪，点云去噪的方法通常根据噪点产生的原因选择相应的去噪方法。一般包括统计去噪、平滑去噪和离散去噪。其中，统计去噪：根据点云数据的离散特征(例如正态分布)，通过计算点云中的每一个点到它邻近点的平均距离作为阈值来确定点云中的噪点，平均距离在阈值范围内的点是非噪点，否则是噪点，将其移除，实现点云的去噪，该方法可以很好的去除偶然误差引起的噪点，缺点是程序迭代次数多，时间复杂度高。平滑去噪：因系统自身误差、测距误差或外界障碍物遮挡的影响，扫描的点云中会存在一些起伏点，通过计算该点的邻域内的点到局部邻域拟合平面的平均距离代替该点，即可实现点云的去噪。离群去噪：点云扫描经过无目标区域时，因空中的粉尘颗粒或障碍物等因素，点云中会存在一些孤立的点，其密度较小，其它的点距离该点都远远大于正常的点云之间的距离，可以运用基于密度的方法实现点云数据的去噪。
S203：基于相同的特征信息计算第一点云数据和第二点云数据的相对于相同的特征信息的坐标关系，并基于坐标关系融合第一点云数据和第二点云数据获得融合点云数据。，第一点云数据和第二点云数据的融合的目的在于其各自优势的互补。
在具体的实施例中，激光扫描能够获得物体的绝对坐标，而RGBD采集设备生成点云的技术更加方便，可操作性强，并且能够有效的弥补激光扫描中的因为直线特性导致目标物体点云局部缺失造成的缺失和空洞。在点云融合时，通过选取第二点云数据中的特征点作为控制点，获得第一点云数据在同一坐标系统下的点云数据，通过平移参数、旋转参数和缩放参数的转换，第二点云数据经过旋转、平移和缩放到第一点云数据坐标系下，即可实现两点云数据的融合。通过两点云数据的融合，填补了第一点云数据的空洞并且增加了点云数据的密度，大大提高了点云的质量，有助于更加精准的构建室内三维全景模型。
在具体的实施例中，在第一点云数据和第二点云数据包括室内的全局点云数据。全局点云数据为激光扫描设备或RGBD采集设备在室内不同位置的点云拼接形成。室内不同位置的点云拼接形成全局点云数据具体包括以下步骤：将两组室内不同位置的点云中相对应的点进行四元数运算，获得一个点云到另一个点云的旋转或平移变换公式，对两组室内不同位置的点云进行预拼接；利用迭代近邻点算法更新带配准两组室内不同位置的点云，迭代计算其中一个点云相对另一点云的旋转或平移矩阵，直至配准精度小于预设阈值后停止迭代，完成精确拼接，其中，配准精度表示为两组室内不同位置的点云之间的距离差的绝对值；重复上述步骤直至完成室内的所有点云的拼接。四元数求解的可以获得最小二乘逼近的坐标转换矩阵，迭代近邻点算法则是以点集为单元，最小二乘法为基础的点云数据配准算法，相比最小二乘算法拥有更高的点云配准精度。
S204：对融合点云数据进行分割获取室内的几何模型，并基于融合点云数据获取室内的影像纹理，其中，几何模型包括主体框架模型和细节框架模型。主体框架一般对应为室内墙体，细节框架模型一般对应为室内物体。
在具体的实施例中，一般室内场景主要包括墙体和室内物体，墙体一般为六面体的主体框架模型，通过将融合点云数据进行多平面分割拟合后即可获得的六面体的框架，即主体框架模型。室内物体一般包括规则物体模型和不规则物体模型。对于规则物体的建模，一般将加密后的三维点云用RANSAC算法进行面域的分割拟合，通过RANSCAC算法可以将规则物体的每个面都分割出来。然后将分割后的点云通过孔洞算法提取边界点并用基于矩形外接圆法对边界点进行拟合规则化后获得关键点，通过连接得到的关键点即可得到规则物体的模型。而对于不规则物体建模，首先是截取加密后物体点云具有特征信息的点云剖面，对每个面上的点云提取边界点后导入软件模型中连接成轮廓线，然后在软件模型中对轮廓线进行规则化并进行拉伸后获得不规则物体的模型。
在具体的实施例中，对模型进行纹理的映射可以增加模型的视觉效果并得到真实的室内三维模型，在进行纹理映射之前需要获取模型相对应的纹理。纹理获取主要是对图像进行分割，分割的算法一般包括均值漂移算法、Canny算法和分水岭算法。均值漂移算法主要是对图像进行平滑和分割处理，是一种高效率、稳健的多尺度图像处理算法，是一种通用的聚类算法。Canny算法具有较高的信噪比、高精度的定位水平和单边响应。分水岭算法是以数学形态学为基础，利用影像中不同位置的拓扑关系对影像进行分割。
S205：利用几何模型和影像纹理获取室内三维的全景模型。影像纹理与几何模型的结合使得室内三维模型不再单一，视觉效果更加真实。
继续参考图3，图3示出了根据本发明的实施例的用于室内的三维全景构建系统。该系统具体包括点云数据采集单元301、点云数据融合单元302、点云数据处理单元303和室内三维全景模型生成单元304。
点云数据采集单元301：利用激光扫描设备获取所述室内的第一点云数据，并标定所述第一点云数据的特征信息；利用RGBD采集设备获取所述室内的第二点云数据以及对应的彩色图像，并提取所述彩色图像上的特征点获取所述第二点云数据的特征信息；点云数据融合单元302：基于相同的特征信息计算所述第一点云数据和所述第二点云数据的相对于所述相同的特征信息的坐标关系，并基于所述坐标关系融合所述第一点云数据和所述第二点云数据获得融合点云数据；点云数据处理单元303：对所述融合点云数据进行分割获取所述室内的几何模型，并基于所述融合点云数据获取所述室内的影像纹理，其中，所述几何模型包括主体框架模型和细节框架模型；室内三维全景模型生成单元304：利用所述几何模型和所述影像纹理获取所述室内三维的全景模型。
下面参考图4，其示出了适于用来实现本申请实施例的电子设备的计算机系统400的结构示意图。图4示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图4所示，计算机系统400包括中央处理单元(CPU)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中，还存储有系统400操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如液晶显示器(LCD)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：利用激光扫描设备获取室内的第一点云数据，并标定第一点云数据的特征信息；利用RGBD采集设备获取室内的第二点云数据以及对应的彩色图像，并提取彩色图像上的特征点获取第二点云数据的特征信息；基于相同的特征信息计算第一点云数据和第二点云数据的相对于相同的特征信息的坐标关系，并基于坐标关系融合第一点云数据和第二点云数据获得融合点云数据；对融合点云数据进行分割获取室内的几何模型，并基于融合点云数据获取室内的影像纹理，其中，几何模型包括主体框架模型和细节框架模型；利用几何模型和影像纹理获取室内三维的全景模型。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.一种用于室内的三维全景构建方法，其特征在于，包括以下步骤：
S1：利用激光扫描设备获取所述室内的第一点云数据，并标定所述第一点云数据的特征信息；
S2：利用RGBD采集设备获取所述室内的第二点云数据以及对应的彩色图像，并提取所述彩色图像上的特征点获取所述第二点云数据的特征信息；
S3：基于相同的特征信息计算所述第一点云数据和所述第二点云数据的相对于所述相同的特征信息的坐标关系，并基于所述坐标关系融合所述第一点云数据和所述第二点云数据获得融合点云数据；
S4：对所述融合点云数据进行分割获取所述室内的几何模型，并基于所述融合点云数据获取所述室内的影像纹理，其中，所述几何模型包括主体框架模型和细节框架模型；
S5：利用所述几何模型和所述影像纹理获取所述室内的三维全景模型。
2.根据权利要求1所述的用于室内的三维全景构建方法，其特征在于，所述步骤S1和所述步骤S2同步进行。
3.根据权利要求1所述的用于室内的三维全景构建方法，其特征在于，在所述第一点云数据和所述第二点云数据包括所述室内的全局点云数据。
4.根据权利要求3所述的用于室内的三维全景构建方法，其特征在于，所述全局点云数据为所述激光扫描设备或所述RGBD采集设备在所述室内不同位置的点云拼接形成。
5.根据权利要求4所述的用于室内的三维全景构建方法，其特征在于，所述室内不同位置的点云拼接形成所述全局点云数据包括以下步骤：
将两组所述室内不同位置的点云中相对应的点进行四元数运算，获得一个点云到另一个点云的旋转或平移变换公式，对两组所述室内不同位置的点云进行预拼接；
利用迭代近邻点算法更新带配准两组所述室内不同位置的点云，迭代计算其中一个点云相对另一点云的旋转或平移矩阵，直至配准精度小于预设阈值后停止迭代，完成精确拼接，其中，所述配准精度表示为两组所述室内不同位置的点云之间的距离差的绝对值；
重复上述步骤直至完成所述室内的所有点云的拼接。
6.根据权利要求1所述的用于室内的三维全景构建方法，其特征在于，所述步骤S4中所述主体框架模型为将所述融合点云数据进行多平面分割拟合后获得的六面体的框架，所述细节框架模型包括规则物体模型和不规则物体模型。
7.根据权利要求6所述的用于室内的三维全景构建方法，其特征在于，利用RANSAC算法对所述融合点云数据进行面域的分割拟合，将分割后的点云通过孔洞算法提取边界点并用基于矩形外接圆法对边界点进行拟合规则化后获得关键点，通过连接得到的关键点获得所述规则物体模型；对具有特征信息的点云剖面的每个面上的轮廓线进行规则化后拉伸获得所述不规则物体模型。
8.根据权利要求1所述的用于室内的三维全景构建方法，其特征在于，所述影像纹理的获取方式包括利用均值漂移算法、Candy算法和分水岭算法中的一种。
9.一种计算机可读存储介质，其上存储有一或多个计算机程序，其特征在于，该一或多个计算机程序被计算机处理器执行时实施权利要求1至8中任一项所述的方法。
10.一种用于室内的三维全景构建系统，其特征在于，所述系统包括：
点云数据采集单元：利用激光扫描设备获取所述室内的第一点云数据，并标定所述第一点云数据的特征信息；利用RGBD采集设备获取所述室内的第二点云数据以及对应的彩色图像，并提取所述彩色图像上的特征点获取所述第二点云数据的特征信息；
点云数据融合单元：基于相同的特征信息计算所述第一点云数据和所述第二点云数据的相对于所述相同的特征信息的坐标关系，并基于所述坐标关系融合所述第一点云数据和所述第二点云数据获得融合点云数据；
点云数据处理单元：对所述融合点云数据进行分割获取所述室内的几何模型，并基于所述融合点云数据获取所述室内的影像纹理，其中，所述几何模型包括主体框架模型和细节框架模型；
室内三维全景模型生成单元：利用所述几何模型和所述影像纹理获取所述室内三维的全景模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010819693.2A CN111915723A (zh) | 2020-08-14 | 2020-08-14 | 一种用于室内的三维全景构建方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010819693.2A CN111915723A (zh) | 2020-08-14 | 2020-08-14 | 一种用于室内的三维全景构建方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111915723A true CN111915723A (zh) | 2020-11-10 |
Family
ID=73284120
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010819693.2A Pending CN111915723A (zh) | 2020-08-14 | 2020-08-14 | 一种用于室内的三维全景构建方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111915723A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112767551A (zh) * | 2021-01-18 | 2021-05-07 | 北京房江湖科技有限公司 | 三维模型构建方法、装置以及电子设备、存储介质 |
| CN112764651A (zh) * | 2021-02-01 | 2021-05-07 | 飞燕航空遥感技术有限公司 | 一种浏览器端三维点云剖面绘制方法和绘制系统 |
| CN112767484A (zh) * | 2021-01-25 | 2021-05-07 | 脸萌有限公司 | 定位模型的融合方法、定位方法、电子装置 |
| CN113628166A (zh) * | 2021-07-12 | 2021-11-09 | 广东电网有限责任公司广州供电局 | 一种开关柜断路器室的几何尺寸检测方法及装置 |
| CN113962945A (zh) * | 2021-10-09 | 2022-01-21 | 厦门大学 | 一种低重复度线激光点云数据拼接方法 |
| CN116152306A (zh) * | 2023-03-07 | 2023-05-23 | 北京百度网讯科技有限公司 | 确定砌筑质量的方法、装置、设备和介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104952107A (zh) * | 2015-05-18 | 2015-09-30 | 湖南桥康智能科技有限公司 | 基于车载LiDAR点云数据的桥梁三维重建方法 |
| CN108090960A (zh) * | 2017-12-25 | 2018-05-29 | 北京航空航天大学 | 一种基于几何约束的目标重建方法 |
| CN110163968A (zh) * | 2019-05-28 | 2019-08-23 | 山东大学 | Rgbd相机大型三维场景构建方法及系统 |
| US20190272671A1 (en) * | 2016-10-17 | 2019-09-05 | Hangzhou Hikvision Digital Technology Co., Ltd. | Method and device for constructing 3d scene model |
| CN110895833A (zh) * | 2018-09-13 | 2020-03-20 | 北京京东尚科信息技术有限公司 | 一种室内场景三维建模的方法和装置 |
-
2020
- 2020-08-14 CN CN202010819693.2A patent/CN111915723A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104952107A (zh) * | 2015-05-18 | 2015-09-30 | 湖南桥康智能科技有限公司 | 基于车载LiDAR点云数据的桥梁三维重建方法 |
| US20190272671A1 (en) * | 2016-10-17 | 2019-09-05 | Hangzhou Hikvision Digital Technology Co., Ltd. | Method and device for constructing 3d scene model |
| CN108090960A (zh) * | 2017-12-25 | 2018-05-29 | 北京航空航天大学 | 一种基于几何约束的目标重建方法 |
| CN110895833A (zh) * | 2018-09-13 | 2020-03-20 | 北京京东尚科信息技术有限公司 | 一种室内场景三维建模的方法和装置 |
| CN110163968A (zh) * | 2019-05-28 | 2019-08-23 | 山东大学 | Rgbd相机大型三维场景构建方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 张恬洁 等: "融合深度相机点云与光学影像的室内三维建模", 测绘科学, pages 1 - 5 * |
| 汪开理;: "三维激光点云与全景影像匹配融合方法", 测绘通报, no. 12 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112767551A (zh) * | 2021-01-18 | 2021-05-07 | 北京房江湖科技有限公司 | 三维模型构建方法、装置以及电子设备、存储介质 |
| CN112767551B (zh) * | 2021-01-18 | 2022-08-09 | 贝壳找房(北京)科技有限公司 | 三维模型构建方法、装置以及电子设备、存储介质 |
| CN112767484A (zh) * | 2021-01-25 | 2021-05-07 | 脸萌有限公司 | 定位模型的融合方法、定位方法、电子装置 |
| CN112767484B (zh) * | 2021-01-25 | 2023-09-05 | 脸萌有限公司 | 定位模型的融合方法、定位方法、电子装置 |
| CN112764651A (zh) * | 2021-02-01 | 2021-05-07 | 飞燕航空遥感技术有限公司 | 一种浏览器端三维点云剖面绘制方法和绘制系统 |
| CN112764651B (zh) * | 2021-02-01 | 2022-03-08 | 飞燕航空遥感技术有限公司 | 一种浏览器端三维点云剖面绘制方法和绘制系统 |
| CN113628166A (zh) * | 2021-07-12 | 2021-11-09 | 广东电网有限责任公司广州供电局 | 一种开关柜断路器室的几何尺寸检测方法及装置 |
| CN113962945A (zh) * | 2021-10-09 | 2022-01-21 | 厦门大学 | 一种低重复度线激光点云数据拼接方法 |
| CN113962945B (zh) * | 2021-10-09 | 2024-06-07 | 厦门大学 | 一种低重复度线激光点云数据拼接方法 |
| CN116152306A (zh) * | 2023-03-07 | 2023-05-23 | 北京百度网讯科技有限公司 | 确定砌筑质量的方法、装置、设备和介质 |
| CN116152306B (zh) * | 2023-03-07 | 2023-11-03 | 北京百度网讯科技有限公司 | 确定砌筑质量的方法、装置、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111915723A (zh) | 一种用于室内的三维全景构建方法和系统 | |
| CN108335353B (zh) | 动态场景的三维重建方法、装置和系统、服务器、介质 | |
| CN107223269B (zh) | 三维场景定位方法和装置 | |
| Keller et al. | Real-time 3d reconstruction in dynamic scenes using point-based fusion | |
| US11210804B2 (en) | Methods, devices and computer program products for global bundle adjustment of 3D images | |
| US9269188B2 (en) | Densifying and colorizing point cloud representation of physical surface using image data | |
| Kahn et al. | Towards precise real-time 3D difference detection for industrial applications | |
| Wu et al. | Passive measurement method of tree diameter at breast height using a smartphone | |
| KR20150024349A (ko) | 데이터를 위치 맞춤하는 방법 | |
| KR20130138247A (ko) | 신속 3ｄ 모델링 | |
| CN113362444A (zh) | 点云数据的生成方法、装置、电子设备及存储介质 | |
| Toschi et al. | Combining airborne oblique camera and LiDAR sensors: Investigation and new perspectives | |
| CN110544294B (zh) | 一种基于全景视频的稠密三维重构方法 | |
| Moussa et al. | An automatic procedure for combining digital images and laser scanner data | |
| KR101495299B1 (ko) | 3차원 형상 획득 장치 및 그 획득 방법 | |
| CN111612731B (zh) | 基于双目显微视觉的测量方法、装置、系统及介质 | |
| CN115035235A (zh) | 三维重建方法及装置 | |
| CN112489099A (zh) | 点云配准方法、装置、存储介质及电子设备 | |
| Özdemir et al. | A multi-purpose benchmark for photogrammetric urban 3D reconstruction in a controlled environment | |
| JP2023546739A (ja) | シーンの３次元モデルを生成するための方法、装置、およびシステム | |
| Xinmei et al. | Passive measurement method of tree height and crown diameter using a smartphone | |
| CN113724381B (zh) | 一种基于高分遥感影像的动态三维场景快速重建方法 | |
| CN113160292B (zh) | 一种基于智能移动终端的激光雷达点云数据三维建模装置及方法 | |
| Brink et al. | Indexing Uncoded Stripe Patterns in Structured Light Systems by Maximum Spanning Trees. | |
| Coorg | Pose imagery and automated three-dimensional modeling of urban environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |