CN114882194A - 房间点云数据的处理方法和装置、电子设备和存储介质 - Google Patents
房间点云数据的处理方法和装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN114882194A CN114882194A CN202210372618.5A CN202210372618A CN114882194A CN 114882194 A CN114882194 A CN 114882194A CN 202210372618 A CN202210372618 A CN 202210372618A CN 114882194 A CN114882194 A CN 114882194A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- data
- processing
- noise reduction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 title claims abstract description 52
- 239000013598 vector Substances 0.000 claims abstract description 77
- 238000003672 processing method Methods 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 79
- 230000015556 catabolic process Effects 0.000 claims description 11
- 238000006731 degradation reaction Methods 0.000 claims description 11
- 238000000354 decomposition reaction Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 238000005259 measurement Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种房间点云数据的处理方法和装置、电子设备和存储介质。房间点云数据的处理方法，包括：生成初始房间点云数据对应的初始空间素体模型；确定初始空间素体模型对应的表面网络模型；根据表面网络模型的顶点数据，对初始房间点云数据进行降噪处理，得到降噪后的降噪点云数据；确定降噪点云数据的地面法向量，根据地面法向量对降噪点云数据进行坐标旋转，得到旋转后的旋转点云数据；对旋转点云数据进行误差配准处理，得到处理后的目标点云数据。本申请实施例能够有效地减少标定误差，测量噪声等情况，提高点云准确性和建模正确性，使得根据处理后的点云数据生成的房间VR模型更加准确，有效减少人工修正的步骤，提高建模效率。
Description
技术领域
本申请属于VR(Virtual Reality，虚拟现实)技术领域，具体涉及一种房间点云数据的处理方法和装置、电子设备和存储介质。
背景技术
在相关技术中，为了提高看房效率，出现了VR看房的场景。在VR看房前，需要通过相机对房间进行拍摄，得到三维点云模型，从而根据点云模型建立房间的VR模型。
而直接拍摄的点云数据存在标定误差，测量噪声等，导致最终生成的房间VR模型不准确，建模效率低。
发明内容
本申请实施例的目的是提供一种房间点云数据的处理方法和装置、电子设备和存储介质，能够解决房间VR模型不准确，建模效率低的问题。
第一方面，本申请实施例提供了一种房间点云数据的处理方法，包括：
生成初始房间点云数据对应的初始空间素体模型；
确定初始空间素体模型对应的表面网络模型；
根据表面网络模型的顶点数据，对初始房间点云数据进行降噪处理，得到降噪后的降噪点云数据；
确定降噪点云数据的地面法向量，根据地面法向量对降噪点云数据进行坐标旋转，得到旋转后的旋转点云数据；
对旋转点云数据进行误差配准处理，得到处理后的目标点云数据。
第二方面，本申请实施例提供了一种房间点云数据的处理装置，包括：
生成模块，用于生成初始房间点云数据对应的初始空间素体模型；
确定模块，用于确定初始空间素体模型对应的表面网络模型；
处理模块，用于根据表面网络模型的顶点数据，对初始房间点云数据进行降噪处理，得到降噪后的降噪点云数据；
旋转模块，用于确定降噪点云数据的地面法向量，根据地面法向量对降噪点云数据进行坐标旋转，得到旋转后的旋转点云数据；
处理模块，还用于对旋转点云数据进行误差配准处理，得到处理后的目标点云数据。
第三方面，本申请实施例提供了一种电子设备，包括处理器和存储器，存储器存储可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，该可读存储介质上存储程序或指令，该程序或指令被处理器执行时实现如第一方面的方法的步骤。
第五方面，本申请实施例提供了一种芯片，该芯片包括处理器和通信接口，该通信接口和该处理器耦合，该处理器用于运行程序或指令，实现如第一方面的方法的步骤。
第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
在本申请实施例中，通过生成原始点云数据的素体模型，并根据素体模型的表面网络模型的顶点数据，来去除原始点云数据中包含的噪声数据。在降噪完成后，根据生成的地面法向量，来对降噪后的点云数据进行坐标旋转，从而处理点云数据的歪斜误差，最后对去除歪斜误差，且进行了降噪处理的房间点云数据，进一步进行误差配准处理，从而能够有效地减少标定误差，测量噪声等情况，提高点云准确性和建模正确性，使得根据处理后的点云数据生成的房间VR模型更加准确，有效减少人工修正的步骤，提高建模效率。
附图说明
图1示出了根据本申请实施例的房间点云数据的处理方法的流程图；
图2示出了根据本申请实施例的处理点云深度噪声的逻辑示意图；
图3示出了根据本申请实施例的处理点云点位歪斜误差的逻辑示意图；
图4示出了根据本申请实施例的处理点云配准误差的逻辑示意图；
图5示出了根据本申请实施例的房间点云数据的处理装置的结构框图；
图6示出了根据本申请实施例的电子设备的结构框图；
图7为实现本申请实施例的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类使得对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的房间点云数据的处理方法和装置、电子设备和存储介质进行详细地说明。
在本申请的一些实施例中，提供了一种房间点云数据的处理方法，图1示出了根据本申请实施例的房间点云数据的处理方法的流程图，如图1所示，方法包括：
步骤102，生成初始房间点云数据对应的初始空间素体模型；
步骤104，确定初始空间素体模型对应的表面网络模型；
步骤106，根据表面网络模型的顶点数据，对初始房间点云数据进行降噪处理，得到降噪后的降噪点云数据；
步骤108，确定降噪点云数据的地面法向量，根据地面法向量对降噪点云数据进行坐标旋转，得到旋转后的旋转点云数据；
步骤110，对旋转点云数据进行误差配准处理，得到处理后的目标点云数据。
在本申请实施例中，在建立VR模型，如建立VR看房用的房间模型时，一般需要使用RGB-D(Red Green Bled-Depth，三通道色彩深度图像)相机对房屋进行拍摄，得到初始房间点云模型。由于RGB-D相机存在标定误差、测量噪声等问题，导致采集到的点云数据存在大量噪声，导致建模效率低。
因此，本申请首先对初始房间点云数据进行降噪处理。具体地，通过生成初始房间点云数据的素体模型，并根据素体模型的表面网络模型的顶点数据，来去除原始点云数据中包含的噪声数据。
在降噪完成后，能够得到降噪点云数据。而由于通过RGB-D相机拍摄环境的问题，如三脚架歪斜或相机光轴与转轴的偏差等问题，可能导致拍摄的点云数据整体歪斜，即点云数据的地板与实际地面存在夹角。针对这种情况，本申通通过降噪点云数据生成地面法向量，通过地面法向量来对点云数据整体进行坐标旋转，从而将“歪斜”的点云数据进行摆正。
在摆正完成后，进一步进行误差配准处理，从而能够有效地减少标定误差，测量噪声等情况，提高点云准确性和建模正确性，使得根据处理后的点云数据生成的房间VR模型更加准确，有效减少人工修正的步骤，提高建模效率。
在本申请的一些实施例中，生成初始房间点云数据对应的初始空间素体模型，包括：
获取至少两个拍摄角度的相机图像，和相机图像的拍摄数据，其中，相机图像包括色彩通道图像和深度信息图像，拍摄数据包括云台转角信息和相机标定参数；
根据相机图像，分别建立至少两个拍摄角度对应的点云数据；
通过预设算法和拍摄数据，将至少两个拍摄角度对应的点云数据，融合为初始空间素体模型。
在本申请实施例中，相机图像，具体为RGB-D相机拍摄的图像，具体地，相机图像包括RGB(Red Green Blue，红绿蓝三通道色彩)图像和Depth(深度)图像，其中，深度图像具体是带有噪声的深度图像。
结合相机图像，和拍摄该相机图像的相机的拍摄数据，将至少两个拍摄角度的相机图像，构建为当前拍摄角度下的点云数据，共得到至少两个拍摄角度下的点云数据。其中，拍摄数据包括拍摄相机图像的相机的云台转角数据，还包括该相机的标定参数等。
在得到至少两个拍摄角度下的点云数据后，通过TSDF(Truncated SignedDistance Function，截断符号距离函数)算法，将这些拍摄角度下的点云数据进行融合，最终得到初始空间素体模型，该初始空间素体模型即通过包含噪声信息的点云数据构建的模型。
在本申请的一些实施例中，确定初始空间素体模型对应的表面网络模型，包括：
通过移动立方体算法，提取初始空间素体模型的表面网络模型；
根据表面网络模型的顶点数据，对初始房间点云数据进行降噪处理，包括：
将顶点数据确定为降噪点云数据。
在本申请实施例中，在得到根据包含噪声信息的点云数据构建的初始空间素体模型后，通过移动立方体(Marching Cube)算法，提取初始空间素体模型的表面网络模型。
具体地，图2示出了根据本申请实施例的处理点云深度噪声的逻辑示意图，如图2所示：
(1)获取原始RGB图像及带噪声的深度图，根据相机内参重建当前视角为点云。
(2)使用Scalable TSDF算法，根据云台转角及标定参数，将该点位不同视角拍摄的点云融合为空间体素模型。
(3)使用Marching Cube算法提取表面网格模型。
(4)保留网格顶点作为该点位去噪后的点云数据。
其中，表面网络模型包括多个网格，每个网格均对应于至少一个点云数据中的点数据。将这些网格的顶点，作为初始房间点云数据去除噪声数据后的降噪点云数据，通过该方法去除初始房间电源数据中的噪声数据，具体为深度噪声数据，从而能够有效提高点云准确性。
在本申请的一些实施例中，确定降噪点云数据的地面法向量，包括：
获取降噪点云数据中，每个点位数据的高度信息；
将高度信息小于高度阈值的点位数据，确定为目标点位数据；
通过目标点位数据，拟合为地面模型；
根据地面模型确定地面法向量。
在本申请实施例中，在处理点云数据中的点位歪斜误差时，首先，确定降噪处理后的降噪点云数据中，各个点位的高度信息。然后，根据相机先验知识或经验值，筛选这些点位中，点位高度小于阈值的点位。
进一步地，将这些高度小于阈值的点位，使用RANSAC(Random Sample Consensus随机采样一致性)算法，拟合为地面模型。该地面命，也即拍摄的房间的地板的模型。
在拟合出地面模型后，计算地面模型的地面法向量，该地面法向量指出了地面法线与铅垂线之间的夹角关系，从而明确地表示出点云数据的歪斜误差，有利于校正点云数据，提高建模准确性。
在本申请的一些实施例中，根据地面法向量对降噪点云数据进行坐标旋转，包括：
获取标准坐标系；
确定地面法向量与标准坐标系的竖直坐标轴之前的旋转矩阵；
通过旋转矩阵对降噪点云数据进行坐标旋转。
在本申请实施例中，标准坐标系，也即点云数据所处的全局坐标系。具体地，在生成点云数据时，首先需要确定一个标准坐标系，然后，根据RGB-D图像中，每个扫描得到的点的位置，将这个点投射到该标准坐标系中，从而使拍摄得到的全部点均在标准坐标系中对应一个坐标值(x，y，z)。
根据地面法向量，与标准坐标系中竖直方向之间的旋转矩阵，该旋转矩阵具体用于将地面法向量对应的地面法线方向，校正为标准坐标系的y轴方向，从而完成对点云数据的歪斜误差的摆正。
图3示出了根据本申请实施例的处理点云点位歪斜误差的逻辑示意图，如图3所示：
(1)根据相机先验知识或经验值，筛选该点位点云高度小于阈值的点云。
(2)使用RANSAC算法拟合地面，计算地面法向量。
(3)将地面法线校正为全局y轴方向，计算旋转矩阵。
(4)对点云按照计算的旋转矩阵进行刚性坐标系旋转。
本申请实施例基于地面法线对点云点位的歪斜误差进行校正，使得生成的房间VR模型的地面方向与真实地面方向相符合，无需人工校正，提高了模型生成效率。
在本申请的一些实施例中，对旋转点云数据进行误差配准处理，包括：
获取预设的配准算法；
对配准算法对应的雅可比矩阵进行处理，以将配准算法得到的位姿更新量投影至非退化方向。
在本申请实施例中，在通过RGB-D相机拍摄点云信息时，由于相机可视范围有限或场景本身的局限，容易产生点云几何特征信息较少的情况，使用传统的点云配准方法往往造成优化问题退化，导致两片结构相使得点云在约束不够的几何方向存在任意解，产生错误的结果。
本申请实施例通过获取配准算法中，计算的正规方程的雅可比矩阵，通过对雅可比矩阵进行处理，从而将配准算法计算的位姿更新量投影至非退化方向，提高了点云数据处理的准确性。
在本申请的一些实施例中，对配准算法对应的雅可比矩阵进行处理，包括：
对雅可比矩阵进行特征分解，得到对应的特征值矩阵和特征向量矩阵，其中，特征值矩阵中的特征值，与特征向量矩阵中的特征向量一一对应；
在特征值矩阵中，确定特征值小于特征值阈值的目标特征值；
将目标特征值对应的特征向量置为0向量。
在本申请实施例中，在处理雅可比矩阵时，首先，对雅克比矩阵进行特征分解，从而获取雅克比矩阵对应的特征值矩阵，和与特征值矩阵一一对应的特征向量矩阵。
然后，遍历特征值矩阵中的全部特征值，每当确定到一个特征值小于预设的特征值阈值，则将这个特征值标记为目标特征值，并将该目标特征值对应的特征向量设置为0向量。
实例性的，特征值阈值可以设置为95至105。
在将全部目标特征值对应的特征向量，均设置为0向量后，得到处理后的雅克比矩阵。
图4示出了根据本申请实施例的处理点云配准误差的逻辑示意图，如图4所示：
(1)获取配准算法中计算的正规方程的雅可比矩阵。
(2)对雅可比矩阵进行特征分解，获取特征值矩阵与特征向量矩阵。
(3)遍历特征值，若特征值小于阈值(如100)，将其对应的特征向量置为0向量。得到处理后的特征向量矩阵。
(4)获取配准算法计算的位姿更新量，将更新量根据投影至非退化方向，作为最终结果。
本申请通过对获取配准算法中，计算的正规方程的雅可比矩阵，通过对雅可比矩阵进行处理，从而将配准算法计算的位姿更新量投影至非退化方向，提高了点云数据处理的准确性。
在本申请的一些实施例中，提供了一种房间点云数据的处理装置，图5示出了根据本申请实施例的房间点云数据的处理装置的结构框图，如图5所示，房间点云数据的处理装置500包括：
生成模块502，用于生成初始房间点云数据对应的初始空间素体模型；
确定模块504，用于确定初始空间素体模型对应的表面网络模型；
处理模块506，用于根据表面网络模型的顶点数据，对初始房间点云数据进行降噪处理，得到降噪后的降噪点云数据；
旋转模块508，用于确定降噪点云数据的地面法向量，根据地面法向量对降噪点云数据进行坐标旋转，得到旋转后的旋转点云数据；
处理模块506，还用于对旋转点云数据进行误差配准处理，得到处理后的目标点云数据。
在本申请实施例中，在建立VR模型，如建立VR看房用的房间模型时，一般需要使用RGB-D(Red Green Bled-Depth，三通道色彩深度图像)相机对房屋进行拍摄，得到初始房间点云模型。由于RGB-D相机存在标定误差、测量噪声等问题，导致采集到的点云数据存在大量噪声，导致建模效率低。
因此，本申请首先对初始房间点云数据进行降噪处理。具体地，通过生成初始房间点云数据的素体模型，并根据素体模型的表面网络模型的顶点数据，来去除原始点云数据中包含的噪声数据。
在降噪完成后，能够得到降噪点云数据。而由于通过RGB-D相机拍摄环境的问题，如三脚架歪斜或相机光轴与转轴的偏差等问题，可能导致拍摄的点云数据整体歪斜，即点云数据的地板与实际地面存在夹角。针对这种情况，本申通通过降噪点云数据生成地面法向量，通过地面法向量来对点云数据整体进行坐标旋转，从而将“歪斜”的点云数据进行摆正。
在摆正完成后，进一步进行误差配准处理，从而能够有效地减少标定误差，测量噪声等情况，提高点云准确性和建模正确性，使得根据处理后的点云数据生成的房间VR模型更加准确，有效减少人工修正的步骤，提高建模效率。
在本申请的一些实施例中，房间点云数据的处理装置还包括：
获取模块，用于获取至少两个拍摄角度的相机图像，和相机图像的拍摄数据，其中，相机图像包括色彩通道图像和深度信息图像，拍摄数据包括云台转角信息和相机标定参数；
建立模块，用于根据相机图像，分别建立至少两个拍摄角度对应的点云数据；
融合模块，用于通过预设算法和拍摄数据，将至少两个拍摄角度对应的点云数据，融合为初始空间素体模型。
在本申请实施例中，相机图像，具体为RGB-D相机拍摄的图像，具体地，相机图像包括RGB(Red Green Blue，红绿蓝三通道色彩)图像和Depth(深度)图像，其中，深度图像具体是带有噪声的深度图像。
结合相机图像，和拍摄该相机图像的相机的拍摄数据，将至少两个拍摄角度的相机图像，构建为当前拍摄角度下的点云数据，共得到至少两个拍摄角度下的点云数据。
在得到至少两个拍摄角度下的点云数据后，通过TSDF(Truncated SignedDistance Function，截断符号距离函数)算法，将这些拍摄角度下的点云数据进行融合，最终得到初始空间素体模型，该初始空间素体模型即通过包含噪声信息的点云数据构建的模型。
在本申请的一些实施例中，房间点云数据的处理装置还包括：
提取模块，用于通过移动立方体算法，提取初始空间素体模型的表面网络模型；
确定模块，还用于将顶点数据确定为降噪点云数据。
在本申请实施例中，在得到根据包含噪声信息的点云数据构建的初始空间素体模型后，通过移动立方体(Marching Cube)算法，提取初始空间素体模型的表面网络模型。
其中，表面网络模型包括多个网格，每个网格均对应于至少一个点云数据中的点数据。将这些网格的顶点，作为初始房间点云数据去除噪声数据后的降噪点云数据，通过该方法去除初始房间电源数据中的噪声数据，具体为深度噪声数据，从而能够有效提高点云准确性。
在本申请的一些实施例中，获取模块，还用于获取降噪点云数据中，每个点位数据的高度信息；
确定模块，还用于将高度信息小于高度阈值的点位数据，确定为目标点位数据；
房间点云数据的处理装置还包括：
拟合模块，用于通过目标点位数据，拟合为地面模型；
确定模块，还用于根据地面模型确定地面法向量。
在本申请实施例中，在处理点云数据中的点位歪斜误差时，首先，确定降噪处理后的降噪点云数据中，各个点位的高度信息。然后，根据相机先验知识或经验值，筛选这些点位中，点位高度小于阈值的点位。
进一步地，将这些高度小于阈值的点位，使用RANSAC(Random Sample Consensus随机采样一致性)算法，拟合为地面模型。该地面命，也即拍摄的房间的地板的模型。
在拟合出地面模型后，计算地面模型的地面法向量，该地面法向量指出了地面法线与铅垂线之间的夹角关系，从而明确地表示出点云数据的歪斜误差，有利于校正点云数据，提高建模准确性。
在本申请的一些实施例中，获取模块，还用于获取标准坐标系；
确定模块，还用于确定地面法向量与标准坐标系的竖直坐标轴之前的旋转矩阵；
旋转模块，还用于通过旋转矩阵对降噪点云数据进行坐标旋转。
在本申请实施例中，标准坐标系，也即点云数据所处的全局坐标系。具体地，在生成点云数据时，首先需要确定一个标准坐标系，然后，根据RGB-D图像中，每个扫描得到的点的位置，将这个点投射到该标准坐标系中，从而使拍摄得到的全部点均在标准坐标系中对应一个坐标值(x，y，z)。
根据地面法向量，与标准坐标系中竖直方向之间的旋转矩阵，该旋转矩阵具体用于将地面法向量对应的地面法线方向，校正为标准坐标系的y轴方向，从而完成对点云数据的歪斜误差的摆正。
本申请实施例基于地面法线对点云点位的歪斜误差进行校正，使得生成的房间VR模型的地面方向与真实地面方向相符合，无需人工校正，提高了模型生成效率。
在本申请的一些实施例中，获取模块，还用于获取预设的配准算法；
处理模块，还用于对配准算法对应的雅可比矩阵进行处理，以将配准算法得到的位姿更新量投影至非退化方向。
在本申请实施例中，在通过RGB-D相机拍摄点云信息时，由于相机可视范围有限或场景本身的局限，容易产生点云几何特征信息较少的情况，使用传统的点云配准方法往往造成优化问题退化，导致两片结构相使得点云在约束不够的几何方向存在任意解，产生错误的结果。
本申请实施例通过获取配准算法中，计算的正规方程的雅可比矩阵，通过对雅可比矩阵进行处理，从而将配准算法计算的位姿更新量投影至非退化方向，提高了点云数据处理的准确性。
在本申请的一些实施例中，房间点云数据的处理装置还包括：
分解模块，用于对雅可比矩阵进行特征分解，得到对应的特征值矩阵和特征向量矩阵，其中，特征值矩阵中的特征值，与特征向量矩阵中的特征向量一一对应；
确定模块，还用于在特征值矩阵中，确定特征值小于特征值阈值的目标特征值；
房间点云数据的处理装置还包括：
设置模块，用于将目标特征值对应的特征向量置为0向量。
在本申请实施例中，在处理雅可比矩阵时，首先，对雅克比矩阵进行特征分解，从而获取雅克比矩阵对应的特征值矩阵，和与特征值矩阵一一对应的特征向量矩阵。
然后，遍历特征值矩阵中的全部特征值，每当确定到一个特征值小于预设的特征值阈值，则将这个特征值标记为目标特征值，并将该目标特征值对应的特征向量设置为0向量。
实例性的，特征值阈值可以设置为95至105。
在将全部目标特征值对应的特征向量，均设置为0向量后，得到处理后的雅克比矩阵。
本申请通过对获取配准算法中，计算的正规方程的雅可比矩阵，通过对雅可比矩阵进行处理，从而将配准算法计算的位姿更新量投影至非退化方向，提高了点云数据处理的准确性。
本申请实施例中的房间点云数据的处理装置可以是电子设备，也也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的房间点云数据的处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的房间点云数据的处理装置能够实现上述方法实施例实现的各个过程，为避免重复，这里不再赘述。
可选地，本申请实施例还提供一种电子设备，图6示出了根据本申请实施例的电子设备的结构框图，如图6所示，电子设备600包括处理器602，存储器604，存储在存储器604上并可在所述处理器602上运行的程序或指令，该程序或指令被处理器602执行时实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图7为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备700包括但不限于：射频单元701、网络模块702、音频输出单元703、输入单元704、传感器705、显示单元706、用户输入单元707、接口单元708、存储器709、以及处理器710等部件。
本领域技术人员可以理解，电子设备700还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器710逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图7中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，处理器710用于：
生成初始房间点云数据对应的初始空间素体模型；
确定初始空间素体模型对应的表面网络模型；
根据表面网络模型的顶点数据，对初始房间点云数据进行降噪处理，得到降噪后的降噪点云数据；
确定降噪点云数据的地面法向量，根据地面法向量对降噪点云数据进行坐标旋转，得到旋转后的旋转点云数据；
对旋转点云数据进行误差配准处理，得到处理后的目标点云数据。
在本申请实施例中，通过生成原始点云数据的素体模型，并根据素体模型的表面网络模型的顶点数据，来去除原始点云数据中包含的噪声数据。在降噪完成后，根据生成的地面法向量，来对降噪后的点云数据进行坐标旋转，从而处理点云数据的歪斜误差，最后对去除歪斜误差，且进行了降噪处理的房间点云数据，进一步进行误差配准处理，从而能够有效地减少标定误差，测量噪声等情况，提高点云准确性和建模正确性，使得根据处理后的点云数据生成的房间VR模型更加准确，有效减少人工修正的步骤，提高建模效率。
可选地，处理器710还用于：
获取至少两个拍摄角度的相机图像，和相机图像的拍摄数据，其中，相机图像包括色彩通道图像和深度信息图像，拍摄数据包括云台转角信息和相机标定参数；
根据相机图像，分别建立至少两个拍摄角度对应的点云数据；
通过预设算法和拍摄数据，将至少两个拍摄角度对应的点云数据，融合为初始空间素体模型。
本申请实施例在得到至少两个拍摄角度下的点云数据后，通过TSDF(TruncatedSigned Distance Function，截断符号距离函数)算法，将这些拍摄角度下的点云数据进行融合，最终得到初始空间素体模型，该初始空间素体模型即通过包含噪声信息的点云数据构建的模型。
可选地，处理器710还用于：
通过移动立方体算法，提取初始空间素体模型的表面网络模型；
将顶点数据确定为降噪点云数据。
本申请实施例通过该方法去除初始房间电源数据中的噪声数据，具体为深度噪声数据，从而能够有效提高点云准确性。
可选地，处理器710还用于：
获取降噪点云数据中，每个点位数据的高度信息；
将高度信息小于高度阈值的点位数据，确定为目标点位数据；
通过目标点位数据，拟合为地面模型；
根据地面模型确定地面法向量。
在本申请实施例在拟合出地面模型后，计算地面模型的地面法向量，该地面法向量指出了地面法线与铅垂线之间的夹角关系，从而明确地表示出点云数据的歪斜误差，有利于校正点云数据，提高建模准确性。
可选地，处理器710还用于：
获取标准坐标系；
确定地面法向量与标准坐标系的竖直坐标轴之前的旋转矩阵；
通过旋转矩阵对降噪点云数据进行坐标旋转。
本申请实施例基于地面法线对点云点位的歪斜误差进行校正，使得生成的房间VR模型的地面方向与真实地面方向相符合，无需人工校正，提高了模型生成效率。
可选地，处理器710还用于：
获取预设的配准算法；
对配准算法对应的雅可比矩阵进行处理，以将配准算法得到的位姿更新量投影至非退化方向。
本申请实施例通过获取配准算法中，计算的正规方程的雅可比矩阵，通过对雅可比矩阵进行处理，从而将配准算法计算的位姿更新量投影至非退化方向，提高了点云数据处理的准确性。
可选地，处理器710还用于：
对雅可比矩阵进行特征分解，得到对应的特征值矩阵和特征向量矩阵，其中，特征值矩阵中的特征值，与特征向量矩阵中的特征向量一一对应；
在特征值矩阵中，确定特征值小于特征值阈值的目标特征值；
将目标特征值对应的特征向量置为0向量。
本申请通过对获取配准算法中，计算的正规方程的雅可比矩阵，通过对雅可比矩阵进行处理，从而将配准算法计算的位姿更新量投影至非退化方向，提高了点云数据处理的准确性。
应理解的是，本申请实施例中，输入单元704可以包括图形处理器(GraphicsProcessing Unit，GPU)7041和麦克风7042，图形处理器7041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元706可包括显示面板7061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板7061。用户输入单元707包括触控面板7071以及其他输入设备7072中的至少一种。触控面板7071，也称为触摸屏。触控面板7071可包括触摸检测装置和触摸控制器两个部分。其他输入设备7072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
存储器709可用于存储软件程序以及各种数据。存储器709可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器709可以包括易失性存储器或非易失性存储器，或者，存储器709可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器709包括但不限于这些和任意其它适合类型的存储器。
处理器710可包括一个或多个处理单元；可选的，处理器710集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器710中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。
Claims (10)
1.一种房间点云数据的处理方法，其特征在于，包括：
生成初始房间点云数据对应的初始空间素体模型；
确定所述初始空间素体模型对应的表面网络模型；
根据所述表面网络模型的顶点数据，对所述初始房间点云数据进行降噪处理，得到降噪后的降噪点云数据；
确定所述降噪点云数据的地面法向量，根据所述地面法向量对所述降噪点云数据进行坐标旋转，得到旋转后的旋转点云数据；
对所述旋转点云数据进行误差配准处理，得到处理后的目标点云数据。
2.根据权利要求1所述的处理方法，其特征在于，所述生成初始房间点云数据对应的初始空间素体模型，包括：
获取至少两个拍摄角度的相机图像，和所述相机图像的拍摄数据，其中，所述相机图像包括色彩通道图像和深度信息图像；
根据所述相机图像，分别建立所述至少两个拍摄角度对应的点云数据；
通过预设算法和所述拍摄数据，将所述至少两个拍摄角度对应的点云数据，融合为所述初始空间素体模型。
3.根据权利要求2所述的处理方法，其特征在于，所述确定所述初始空间素体模型对应的表面网络模型，包括：
通过移动立方体算法，提取所述初始空间素体模型的所述表面网络模型；
所述根据所述表面网络模型的顶点数据，对所述初始房间点云数据进行降噪处理，包括：
将所述顶点数据确定为所述降噪点云数据。
4.根据权利要求1所述的处理方法，其特征在于，所述确定所述降噪点云数据的地面法向量，包括：
获取所述降噪点云数据中，每个点位数据的高度信息；
将所述高度信息小于高度阈值的点位数据，确定为目标点位数据；
通过所述目标点位数据，拟合为地面模型；
根据所述地面模型确定所述地面法向量。
5.根据权利要求4所述的处理方法，其特征在于，所述根据所述地面法向量对所述降噪点云数据进行坐标旋转，包括：
获取标准坐标系；
确定所述地面法向量与所述标准坐标系的竖直坐标轴之前的旋转矩阵；
通过所述旋转矩阵对所述降噪点云数据进行坐标旋转。
6.根据权利要求1至5中任一项所述的处理方法，其特征在于，所述对所述旋转点云数据进行误差配准处理，包括：
获取预设的配准算法；
对所述配准算法对应的雅可比矩阵进行处理，以将所述配准算法得到的位姿更新量投影至非退化方向。
7.根据权利要求5所述的处理方法，其特征在于，所述对所述配准算法对应的雅可比矩阵进行处理，包括：
对所述雅可比矩阵进行特征分解，得到对应的特征值矩阵和特征向量矩阵，其中，所述特征值矩阵中的特征值，与所述特征向量矩阵中的特征向量一一对应；
在所述特征值矩阵中，确定特征值小于特征值阈值的目标特征值；
将所述目标特征值对应的特征向量置为0向量。
8.一种房间点云数据的处理装置，其特征在于，包括：
生成模块，用于生成初始房间点云数据对应的初始空间素体模型；
确定模块，用于确定所述初始空间素体模型对应的表面网络模型；
处理模块，用于根据所述表面网络模型的顶点数据，对所述初始房间点云数据进行降噪处理，得到降噪后的降噪点云数据；
旋转模块，用于确定所述降噪点云数据的地面法向量，根据所述地面法向量对所述降噪点云数据进行坐标旋转，得到旋转后的旋转点云数据；
所述处理模块，还用于对所述旋转点云数据进行误差配准处理，得到处理后的目标点云数据。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至7中任一项所述的处理方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至7中任一项所述的处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210372618.5A CN114882194A (zh) | 2022-04-11 | 2022-04-11 | 房间点云数据的处理方法和装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210372618.5A CN114882194A (zh) | 2022-04-11 | 2022-04-11 | 房间点云数据的处理方法和装置、电子设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114882194A true CN114882194A (zh) | 2022-08-09 |
Family
ID=82669325
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210372618.5A Pending CN114882194A (zh) | 2022-04-11 | 2022-04-11 | 房间点云数据的处理方法和装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114882194A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115439576A (zh) * | 2022-08-19 | 2022-12-06 | 北京城市网邻信息技术有限公司 | 用于终端设备的户型图生成方法、装置、设备及介质 |
-
2022
- 2022-04-11 CN CN202210372618.5A patent/CN114882194A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115439576A (zh) * | 2022-08-19 | 2022-12-06 | 北京城市网邻信息技术有限公司 | 用于终端设备的户型图生成方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11107277B2 (en) | Method and device for constructing 3D scene model | |
| CN111127655B (zh) | 房屋户型图的构建方法及构建装置、存储介质 | |
| CN107564089B (zh) | 三维图像处理方法、装置、存储介质和计算机设备 | |
| US8953847B2 (en) | Method and apparatus for solving position and orientation from correlated point features in images | |
| JP5248806B2 (ja) | 情報処理装置、情報処理方法 | |
| US20170186219A1 (en) | Method for 360-degree panoramic display, display module and mobile terminal | |
| CN110070564B (zh) | 一种特征点匹配方法、装置、设备及存储介质 | |
| JP2017010562A (ja) | 迅速な３ｄモデリング | |
| CN112399158A (zh) | 投影图像校准方法、装置及投影设备 | |
| Chen et al. | A real-time markerless augmented reality framework based on SLAM technique | |
| CN114782646A (zh) | 房屋模型的建模方法、装置、电子设备和可读存储介质 | |
| CN109613974B (zh) | 一种大场景下的ar家居体验方法 | |
| KR101875047B1 (ko) | 사진측량을 이용한 3d 모델링 시스템 및 방법 | |
| US8509522B2 (en) | Camera translation using rotation from device | |
| CN113496503B (zh) | 点云数据的生成及实时显示方法、装置、设备及介质 | |
| Bunnun et al. | OutlinAR: an assisted interactive model building system with reduced computational effort | |
| CN115830135A (zh) | 一种图像处理方法、装置及电子设备 | |
| CN114882194A (zh) | 房间点云数据的处理方法和装置、电子设备和存储介质 | |
| KR20010055957A (ko) | 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한영상 정합 방법 | |
| CN108090212B (zh) | 兴趣点的展示方法、装置、设备及存储介质 | |
| CN110378948B (zh) | 3d模型重建方法、装置及电子设备 | |
| CN114820980A (zh) | 三维重建方法、装置、电子设备和可读存储介质 | |
| CN116128744A (zh) | 消除图像畸变的方法、电子设备、存储介质及车辆 | |
| CN115396597A (zh) | 视频防抖拼接方法及相关设备 | |
| CN115086625A (zh) | 投影画面的校正方法、装置、系统、校正设备和投影设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |