CN115131459B - 平面布置图重建方法及装置 - Google Patents
平面布置图重建方法及装置 Download PDFInfo
- Publication number
- CN115131459B CN115131459B CN202210574049.2A CN202210574049A CN115131459B CN 115131459 B CN115131459 B CN 115131459B CN 202210574049 A CN202210574049 A CN 202210574049A CN 115131459 B CN115131459 B CN 115131459B
- Authority
- CN
- China
- Prior art keywords
- line segment
- plane
- point
- segment set
- segments
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000010586 diagram Methods 0.000 claims abstract description 20
- 238000012216 screening Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 36
- 238000004590 computer program Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 description 9
- 238000005457 optimization Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 230000036039 immunity Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 102000002423 Octamer Transcription Factor-6 Human genes 0.000 description 1
- 108010068113 Octamer Transcription Factor-6 Proteins 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/203—Drawing of straight lines or curves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种平面布置图重建方法及装置，所述方法包括：基于待重建场景的点云数据，确定第一平面线段集合；基于点云数据的二维图像，确定第二平面线段集合；对第一平面线段集合和第二平面线段集合进行融合，得到候选平面线段集合；以最小化目标函数为目标，以各线段交点所连接的被选择的线段数量作为约束条件，从候选平面线段集合中筛选得到有效平面线段，并基于有效平面线段确定待重建场景的平面布置图。本发明能够快速且准确确定待重建场景的平面布置图。
Description
技术领域
本发明涉及建筑重建技术领域，尤其涉及一种平面布置图重建方法及装置。
背景技术
平面布置图是反映建筑物内部立面结构整体布局的关键信息。平面布置图重建由于其在机器人定位、室内场景理解以及建筑物重构等方面的重要应用价值而成为计算机视觉以及遥感测量等领域的一项热点研究内容。
目前，工业界中高质量的平面布置图生成主要依赖手工绘制或修正，人力成本高且生成效率较低。
发明内容
本发明提供一种平面布置图重建方法及装置，用以解决现有技术中主要依赖手工绘制或修正平面布置图导致人力成本高且生成效率较低的缺陷。
本发明提供一种平面布置图重建方法，包括：
基于待重建场景的点云数据，确定第一平面线段集合；
基于所述点云数据的二维图像，确定第二平面线段集合；
对所述第一平面线段集合和所述第二平面线段集合进行融合，得到候选平面线段集合；
以最小化目标函数为目标，以各线段交点所连接的被选择的线段数量作为约束条件，从所述候选平面线段集合中筛选得到有效平面线段，并基于所述有效平面线段确定所述待重建场景的平面布置图；所述目标函数基于点保真度、点覆盖度、平面置信度以及模型复杂度确定。
根据本发明提供的一种平面布置图重建方法，所述基于待重建场景的点云数据，确定第一平面线段集合，包括：
从所述点云数据中拟合垂直平面，并对所述垂直平面投影，得到第一投影线段集合；
在所述第一投影线段集合中任意两条线段之间的夹角和距离满足预设条件的情况下，将对应两条线段进行合并处理，得到第一合并线段，并以所述第一合并线段替换所述第一投影线段集合中对应两条线段，得到所述第一平面线段集合。
根据本发明提供的一种平面布置图重建方法，所述将对应两条线段进行合并处理，得到第一合并线段，包括：
基于对应两条线段，确定所述两条线段的支撑点集合；
将所述支撑点集合中的点进行平面拟合，并将拟合得到的平面投影得到所述第一合并线段。
根据本发明提供的一种平面布置图重建方法，所述基于所述点云数据的二维图像，确定第二平面线段集合，包括：
将有效像素数量超过预设数量的通过神经网络分割得到的二维平面实例投影到点云，对局部点云拟合平面并投影得到第二投影线段集合；所述有效像素指属于立面语义标签的像素；
计算所述第二投影线段集合中各线段与预设方向的夹角，并基于各夹角将各线段插入至预设间隔；所述预设间隔是基于预设角度划分的；
在将各线段插入至预设间隔后，若存在任意相邻两个线段之间的夹角和距离满足预设条件，则对所述相邻间隔两条线段进行合并处理，得到第二合并线段，并以所述第二合并线段替换所述第二投影线段集合中对应的相邻间隔两条线段，得到所述第二平面线段集合。
根据本发明提供的一种平面布置图重建方法，所述对所述第一平面线段集合和所述第二平面线段集合进行融合，得到候选平面线段集合，包括：
若所述第一平面线段集合中存在第一线段与所述第二平面线段集合中的第二线段之间的夹角和距离满足预设条件，则删除所述第二平面线段集合中的第二线段，并将所述第二线段的支撑点集合合并入所述第一线段的支撑点集合；
在将所述第二线段的支撑点集合合并入所述第一线段的支撑点集合后，若剩余的所述第二平面线段集合中，存在支撑点不属于所述第一平面线段集合的支撑点的第二线段，则将所述第二线段及其支撑点合并入所述第一线段集合及其支撑点集合。
根据本发明提供的一种平面布置图重建方法，所述目标函数基于如下公式确定：
其中，E表示所述目标函数，λk表示平衡因子，E1表示所述点保真度，E2表示所述点覆盖度，E3表示所述平面置信度，E4表示所述模型复杂度，Np表示所述候选平面线段集合中所有线段的支撑点总数量，Nf表示所述候选平面线段集合中的线段数量，dis(fi,pj)表示点pj的2D投影到线段fi的距离，ρ表示距离阈值，Pi表示所述第二线段的支撑点集合，len(fi)表示线段fi的长度，lencov(fi)表示线段fi的覆盖长度，表示线段fi的支撑点数量，Nv表示交点数量，/>表示平面标签相同的点的数量，lencof(fi)表示线段fi的支撑点集合中的点在线段fi上的投影点的最大距离，Corner(vi)表示交点vi的状态。
本发明还提供一种平面布置图重建装置，包括：
第一确定单元，用于基于待重建场景的点云数据，确定第一平面线段集合；
第二确定单元，用于基于所述点云数据的二维图像，确定第二平面线段集合；
线段融合单元，用于对所述第一平面线段集合和所述第二平面线段集合进行融合，得到候选平面线段集合；
平面布置图重建单元，用于以最小化目标函数为目标，以各线段交点所连接的被选择的线段数量作为约束条件，从所述候选平面线段集合中筛选得到有效平面线段，并基于所述有效平面线段确定所述待重建场景的平面布置图；所述目标函数基于点保真度、点覆盖度、平面置信度以及模型复杂度确定。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述平面布置图重建方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述平面布置图重建方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述平面布置图重建方法。
本发明提供的平面布置图重建方法及装置，基于待重建场景的点云数据，确定能够表征待重建场景全局信息的第一平面线段集合，以及基于点云数据的二维图像，确定能够表征待重建场景局部信息的第二平面线段集合，从而可以结合第一平面线段集合和第二平面线段集合，得到包含有全局信息和局部信息的候选平面线段集合，进而以最小化目标函数为目标，以各线段交点所连接的被选择的线段数量作为约束条件，从候选平面线段集合中筛选得到有效平面线段，并基于有效平面线段快速准确确定待重建场景的平面布置图。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的平面布置图重建方法的流程示意图；
图2是本发明提供的第一平面线段集合的平面示意图；
图3是本发明提供的第二平面线段集合的平面示意图；
图4是本发明提供的候选平面线段集合的平面示意图；
图5是本发明提供的短线段集合的平面示意图；
图6是本发明提供的待重建场景的平面布置图；
图7是本发明提供的平面布置图重建装置的结构示意图；
图8是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种平面布置图重建方法。图1是本发明提供的平面布置图重建方法的流程示意图，如图1所示，该方法包括如下步骤：
步骤110、基于待重建场景的点云数据，确定第一平面线段集合。
此处，待重建场景为需要进行平面图重建的室内场景。待重建场景的点云数据可以是由激光雷达等3D扫描设备获取的空间若干点信息，包括XYZ位置信息、RGB颜色信息和强度信息等，是一种多维度的复杂数据集合。
由于待重建场景的点云数据中包含有待重建场景的空间位置信息，从而可以基于点云数据进行平面拟合，得到垂直平面，并对垂直平面投影，得到对应的投影平面。可选地，可以将投影平面上的所有线段集合作为第一平面线段集合，也可以对投影平面上的线段进行筛选后作为第一平面线段集合，本发明实施例对此不作具体限定。
需要说明的是，由于第一平面线段集合是基于包含待重建场景的空间立面信息的点云数据确定的，从而得到的第一平面线段集合中包含的是待重建场景内较大的立面结构信息。
此外，由于室内场景通常包含大量的杂乱障碍，影响立面的检测与推断。因此，本发明实施例可以在确定第一平面线段集合之前，从输入网格中分割出立面结构，获取对应的点云数据。例如，可以直接分割3D数据，也可以先在图像上分割然后投影到3D数据进行标签融合。优选地，本发明实施例可以采用如下方法进行场景分割：使用公开的语义分割网络DeepLabv3分割图像并将输入网格在空间均匀下采样为点云。然后依靠网格计算点的可视性信息。具体地，若端点为相机光心和3D点的线段s不与网格中的任意一个面片相交，则该3D点在与线段s相交的图像中是可见的，并将线段s与图像的交点像素p的语义赋给该3D点。像素p与该3D点的对应关系将保留至之后阶段使用。由于一个3D点可能在多幅图像中可见，其语义可能有多个，选择投票数量最多的一个作为该3D点的最终语义标签。最后，分割出属于立面语义的点云数据并将其作为后续流程的输入。
步骤120、基于点云数据的二维图像，确定第二平面线段集合。
具体地，待重建场景的点云数据对应有二维图像，使用神经网络PlaneRCNN从二维图像中检测平面实例，然后利用相机内外参将平面实例投影到点云上得到局部点云，从局部点云中拟合平面。第二平面线段集合指基于每个二维图像确定的平面投影的线段集合。
需要说明的是，二维图像包含了网络推断出的更丰富的平面信息，相较于点云数据而言，二维图像可以表征场景结构的局部平面信息，也即得到的第二平面线段集合中存在较多的局部细节信息。
步骤130、对第一平面线段集合和第二平面线段集合进行融合，得到候选平面线段集合。
具体地，第一平面线段集合中包含的是待重建场景内较大的立面结构信息，也即全局信息，其抗噪声能力较强，但对细节检测的鲁棒性不够；第二平面线段集合中包含的是待重建场景内的局部细节信息，也即局部信息，其恢复细节的能力较强，但对噪声的容忍度较低。
对此，本发明实施例对第一平面线段集合和第二平面线段集合进行融合，从而能够使得得到的候选平面线段集合中既包含有全局信息，也包含有局部信息，进而后续能够基于候选平面线段集合准确得到对应的平面布置图。
可选地，可以将第一平面线段集合和第二平面线段集合中的所有线段去重后合并，以合并后的线段集合作为候选平面线段集合。
步骤140、以最小化目标函数为目标，以各线段交点所连接的被选择的线段数量作为约束条件，从候选平面线段集合中筛选得到有效平面线段，并基于有效平面线段确定待重建场景的平面布置图；目标函数基于点保真度、点覆盖度、平面置信度以及模型复杂度确定。
具体地，候选平面线段集合中可能存在带噪假平面对应的线段，对此本发明实施例基于点保真度、点覆盖度、平面置信度以及模型复杂度构建目标函数，该目标函数可以理解为能量优化函数，将图像的高层语义考虑在内，同时增加了对小平面和稀疏支撑点平面的关注度。
在确定目标函数后，以最小化目标函数为目标，以各线段交点所连接的被选择的线段数量作为约束条件，从候选平面线段集合中筛选得到有效平面线段，从而可以基于有效平面线段准确确定待重建场景的平面布置图。其中，可以以各线段交点所连接的被选择的线段数量为0或2或3或4作为约束条件，即不允许各线段交点所连接的被选择的线段数量为1，从而保证平面布置图的开环闭合。
本发明实施例提供的平面布置图重建方法，基于待重建场景的点云数据，确定能够表征待重建场景全局信息的第一平面线段集合，以及基于点云数据的二维图像，确定能够表征待重建场景局部信息的第二平面线段集合，从而可以结合第一平面线段集合和第二平面线段集合，得到包含有全局信息和局部信息的候选平面线段集合，进而以最小化目标函数为目标，以各线段交点所连接的被选择的线段数量作为约束条件，从候选平面线段集合中筛选得到有效平面线段，并基于有效平面线段快速准确确定待重建场景的平面布置图。
基于上述实施例，基于待重建场景的点云数据，确定第一平面线段集合，包括：
从点云数据中拟合垂直平面，并对垂直平面投影，得到第一投影线段集合；
在第一投影线段集合中任意两条线段之间的夹角和距离满足预设条件的情况下，将对应两条线段进行合并处理，得到第一合并线段，并以第一合并线段替换第一投影线段集合中对应两条线段，得到第一平面线段集合。
具体地，考虑到点云数据中的噪声和外点，本发明实施例可以使用随机抽样一致性算法(Random sample consensus,RANSAC)从立面点云数据中拟合垂直平面，并将垂直平面投影到X-Y平面，以获得投影平面，并将该投影平面的所有线段集合作为第一投影线段集合。
此时，第一投影线段集合中的2D线段包含一些杂乱的检测结果，因此需要对第一投影线段集合进行规整化。通常，两个足够接近且夹角较小的线段更有可能属于一条真实的线段。因此，当线段si和sj满足下述预设条件时合并：
θij≤θ1
disij≤α·min(d(si),d(sj))
其中，θij和disij分别是线段si和sj的夹角和距离,d(si)是线段si的2D支撑点到线段si的平均距离，d(sj)是线段sj的2D支撑点到线段sj的平均距离，θ1可以设置为10°，α可以设置为5。支撑点为线段si或sj对应平面的三维拟合点。
因此，在第一投影线段集合中任意两条线段之间的夹角和距离满足预设条件的情况下，将对应两条线段进行合并处理，得到第一合并线段，并以第一合并线段替换第一投影线段集合中对应两条线段，得到第一平面线段集合。
基于上述任一实施例，将对应两条线段进行合并处理，得到第一合并线段，包括：
基于对应两条线段，确定两条线段的支撑点集合；
将支撑点集合中的点进行平面拟合，并将拟合得到的平面投影得到第一合并线段。
具体地，本发明实施例可以从夹角最小的两个线段si和sj开始，若其满足上述预设条件，则使用主成分分析法(Principal Components Analysis,PCA)从两条线段的支撑点集合中拟合一个平面并将其投影生成新线段sk，上述过程迭代执行直至第一投影线段集合中没有线段满足条件为止，最终便可得到更干净的第一平面线段集合S1，如图2所示，第一平面线段集合S1包含场景内较大的立面结构，但是缺失了很多细节。
基于上述任一实施例，基于点云数据的二维图像，确定第二平面线段集合，包括：
将有效像素数量超过预设数量的通过神经网络分割得到的二维平面实例投影到点云，对局部点云拟合平面并投影得到第二投影线段集合；有效像素指属于立面语义标签的像素；
计算第二投影线段集合中各线段与预设方向的夹角，并基于各夹角将各线段插入至预设间隔；预设间隔是基于预设角度划分的；
在将各线段插入至预设间隔后，若存在任意相邻两个线段之间的夹角和距离满足预设条件，则对相邻间隔两条线段进行合并处理，得到第二合并线段，并以第二合并线段替换第二投影线段集合中对应的相邻间隔两条线段，得到第二平面线段集合。
具体地，本发明实施例可以使用PlaneRCNN从图像中分割平面实例，然后保留有效像素数量超过预设数量(如超过ε×#nums，ε可以为5％，#nums为单幅图像的像素总数)的二维平面实例并将其投影到立面点云以得到相应的点集。然后，在每个点集上执行局部的RANSAC并将拟合平面投影到地面以生成另一个线段集合，即第二投影线段集合。需要说明的是，由于PlaneRCNN直接推断的平面实例并不完全准确，因此本发明实施例使用像素数量阈值对检测到的噪声进行过滤，也就是对有效像素数量超过预设数量的二维平面实例进行投影，此处的有效像素指属于立面语义标签的像素。
此外，2D平面实例对应的3D点集合可能包含一些被错误分割的点，故本发明实施例使用对噪声更鲁棒的RANSAC，而非较敏感的PCA，从点集中拟合最有可能的3D平面。当图像之间存在较多共视区域时，一个真实的3D平面可能在多幅图像中可见且被检测到，因此，上述直接获得的第二投影线段集合包含大量的冗余(比如一个3D平面被多个很接近的小平面表示)。
对此，本发明实施例计算第二投影线段集合中各线段与预设方向的夹角，并基于各夹角将各线段插入至预设间隔，在将各线段插入至预设间隔后，若存在任意相邻间隔两个线段之间的夹角和距离满足预设条件，则对相邻两条线段进行合并处理，得到第二合并线段，并以第二合并线段替换第二投影线段集合中对应的相邻间隔两条线段，得到第二平面线段集合。
举例来说，从X轴开始，以θ2为一个单元划分180°/θ2个间隔(此处θ2可以与θ1相同)，计算第二投影线段集合中每条线段与X轴的夹角(取锐角)并将其添加到对应的预设间隔中。之后，从第一个间隔开始，迭代地合并两个相邻间隔内满足上述预设条件的线段(合并方法可以采用上述实施例中得到第一合并线段的方法)，得到第二合并线段，最后即可得到较干净的第二平面线段集合S2，如图3所示，第二平面线段集合S2包含更多的细节，但由于局部拟合，同时也缺乏一定的全局性。
基于上述任一实施例，对第一平面线段集合和第二平面线段集合进行融合，得到候选平面线段集合，包括：
若第一平面线段集合中存在第一线段与第二平面线段集合中的第二线段之间的夹角和距离满足预设条件，则删除第二平面线段集合中的第二线段，并将第二线段的支撑点集合合并入第一线段的支撑点集合；
在将第二线段的支撑点集合合并入第一线段的支撑点集合后，若剩余的第二平面线段集合中，存在支撑点不属于第一平面线段集合的支撑点的第二线段，则将第二线段及其支撑点合并入第一线段集合及其支撑点集合。
具体地，直接使用RANSAC从点云数据中整体拟合平面可以充分利用场景的全局信息，其抗噪声能力较强，但对细节检测不够鲁棒。利用2D平面实例从点云中拟合并约简3D平面则更关注场景的局部结构，其恢复细节的能力较强，但对噪声的容忍度较低。如图3所示，所得到的线段保留了场景的许多小结构，但一条长线段常被检测为多个短线段。这主要是由于图像的局部视野所导致，且不利于后续优化。
鉴于前述问题，本发明实施例通过以下方法对第一平面线段和第二平面线段进行融合，得到精度更高的候选平面线段集合：
对每条线段si，si∈第二平面线段集合S2，若sj∈第一平面线段集合S1，线段si和sj满足上述预设条件，则从S2中删除si，并将其支撑点集合Pi并入到sj的支撑点集合Pj中，同时，将点pk，pk∈Pi的平面ID，IDk标记为i。
接下来，遍历立面点云数据中满足si∈S1，/>条件的点p，若该点p属于线段sj，sj∈S2的支撑点，则将sj添加到S1中且将sj从S2中删除。同时，将点pk，pk∈Pj平面ID，IDk标记为j。
最后，候选平面线段集合S＝S1，其中包含了更多的细节和全局信息。如图4所示，其包含了场景的全局结构和更多的场景细节，尤其是用粗框圈出的区域。将集合S中的线段延长合适的长度并以集合的2D外边界框为界限对齐进行裁剪，然后计算线段间的交点得到包含更多短线段的集合F，如图5所示。
基于上述任一实施例，目标函数基于如下公式确定：
其中，E表示目标函数，λk表示平衡因子(其中λ1可以为0.4，λ2、λ3和λ4可以为0.2)，E1表示点保真度，E2表示点覆盖度，E3表示平面置信度，E4表示模型复杂度，Np表示候选平面线段集合中所有线段的支撑点总数量，Nf表示候选平面线段集合中的线段数量，dis(fi,pj)表示点pj的2D投影到线段fi的距离，ρ表示距离阈值，Pi表示第二线段的支撑点集合，len(fi)表示线段fi的长度，lencov(fi)表示线段fi的覆盖长度，表示线段fi的支撑点数量，Nv表示交点数量，/>表示平面标签相同的点的数量，lencof(fi)表示线段fi的支撑点集合中的点在线段fi上的投影点的最大距离，Corner(vi)表示交点vi的状态，当Corner(vi)＝1时，表示交点vi为角点；当Corner(vi)＝0时，表示交点vi不为角点。
为更好平衡数据，本发明实施例同时考虑点云数据的质量和从二维图像中推断出的平面实例信息。具体地，为每条候选线段fi，fi∈F引入一个二进制变量xi，xi∈{0,1}，以其为自变量定义一个包含四个能量项的目标函数E，通过确定{xi}的取值最小化上述目标函数E。从候选平面线段集合选择最终xi＝1的线段fi即可构成平面布置图。其中目标函数E的能量项分别为：点保真度E1、点覆盖度E2、平面置信度E3和模型复杂度E4。
点保真度E1反映了候选线段fi的支撑点集合对线段的支撑强度和拟合准确度。对每条线段fi，仅当dis(fi,pj)＜ρ时，点pj才为有效支撑点，且dis(fi,pj)越小，点到线段的拟合越准确；满足距离条件的有效支撑点数量越多，点对线段的支撑度越强。当所有点均支撑且完全拟合所有候选线段时，点保真度最大，对应于最小的E1＝0。实验中，可以设置ρ＝3·dis(f)且：
由于真实场景中的遮挡和弱纹理区域，点云数据中不可避免地包含一些缺失部分。为更好地平衡点云噪声和缺失，引入点覆盖度E2。具体地，将线段fi的2D支撑点投影到该线段上得到投影点集合PPi。该集合的分布反映了线段fi被覆盖的程度。计算PPi中相邻点的距离并当距离小于μ·den(den为支撑点的密度)时，将该距离标记为有效。所有有效距离的和即为线段的覆盖长度lencov(fi)。当支撑点覆盖所有线段时，点覆盖度最大，对应最小的E2＝0，其中μ可以设置为5。
上述两个能量项主要评估了点云数据质量，对于待重建场景中的噪声和一些具有稀疏支撑点的区域，仅利用点云数据的几何特征难以有效区分。因此，本发明实施例引入平面置信度E3以增强方法的鲁棒性，该项衡量了一个候选线段属于从图像中推断的平面的置信度。理论上，候选平面线段集合中的一个线段对应一个或零个真实平面，然而，由于实例分割网络并不完全准确，一个线段的支撑点可能属于多个平面实例。因此，在线段fi的支撑点集合中，本发明实施例将平面标签相同的点聚为一类并挑选出点数量最多的一个类，为该类中的点数量，lencof(fi)为该集合点在线段fi上的投影点的最大距离。该项将具有2D平面支撑的点的数量和分布考虑在内，当线段fi仅被一个平面实例点完全覆盖时，平面置信度最大，对应最小的E3＝0。本发明实施例通过引入平面置信度E3，增加了对具有不均匀或稀疏支撑点的线段的关注。
模型复杂度E4用以平衡模型保真度和模型复杂度。此处使用平面布置图中的角点个数衡量其复杂度，角点数越多，模型越复杂。一般而言，一个交点vi与四条线段相连(除边界交点)。这四条线段中，当有两条非共线线段被添加到平面布置图中时该交点被认为是角点，且标记Corner(vi)＝1。否则，Corner(vi)被设置为0。
此外，在真实场景中，墙一般不会单独存在，但一面墙可能与多个房间相连。为保证场景的闭合性，限制与一个交点vi，vi∈V相连的线段中不能仅有一条线段被选择，可被定义为：
其中，neig(vi)是与交点vi相连的线段集合。
接着，平面布置图的重建被规整为如下优化：
其中，X＝{xi}，上述公式是一个整数线性规划问题，本发明实施例可以使用SCIP求解并将优化后xi＝1的线段提取合并以生成最终的图6所示的平面布置图。
基于上述任一实施例，本发明实施例使用一个大型的2D-3D语义数据集S3DIS评估本发明实施例提供的方法。该数据集共有6个大规模室内场景(Area1-Area6)，包含13个物体类别。所有场景中，区域占地面积最小为450m2(Area3)，最大为1700m2(Area5)；房间数量最少为24(Area3)，最多为55(Area5)。本发明实施例使用数据集提供的RGB图像和对应的稠密网格作为输入。此外，将稠密网格在空间均匀下采样得到点云并保留真值语义标签为墙、门、窗、柱子和板的点作为实验中的3D立面真值。
本发明实施例使用在ImageNet上预训练的DeepLabv3分割S3DIS上的RGB图像。为使网络更适应每个场景和不同的标签，本节在每个场景上随机选取50幅图像并用其微调网络。然后，以步长δ＝0.02m对网格在空间均匀下采样为点云。利用点和图像像素的对应关系，将图像语义赋给3D点并利用最多投票机制获得点云的最终语义标签。因为本发明实施例仅关注立面结构，故只保留语义标签为墙、门、窗、柱子和板的点云。这5种类别之间的分割错误对方法的影响很小且由于方法对数据的鲁棒性，所获得的立面点云足够作为后续的输入。
本发明实施例使用在Scannet上预训练的PlaneRCNN从图像中分割平面实例。Scannet是一个主要包含单个房间场景的室内数据集。该数据集与S3DIS相似，故使用不微调的PlaneRCNN直接分割S3DIS的结果是可以接受的。此外，由于图像之间的内容冗余和本发明实施例中的有效线段融合，少量的分割错误是可以被容忍的。
将本发明实施例提供的方法和三个现有方法(FloorNet、FloorSP、VecIM)在S3DIS的前四个场景上进行比较。VecIM需要通过预处理获得场景的立面点云，然后将其输入到后续的建模流程中完成重建。本节将本方法分割后的立面点云作为其输入。FloorNet和FloorSP以全场景点云作为输入，故本发明实施例在稠密网格上空间均匀下采样并将采样点云作为其输入。
FloorNet和FloorSP首先利用神经网络推断基元信息，然后优化得到平面布置图。该两种方法生成的平面布置图较差，这主要是由于点密度图上的基元推断结果不够理想。FloorNet只能处理曼哈顿世界场景，且该两种方法使用了较低分辨率的密度图(256*256)，这些均严重限制了方法所能处理的场景的复杂性和对场景细节的恢复能力。不依赖于在低分辨率图上进行脆弱的角点/边/房屋检测，本发明实施例将2D平面实例有效地整合到几何检测和优化中，使得本发明实施例的方法能在大规模场景上重建出更准确的结果。
VecIM是一个纯几何优化的方法，其主要依赖RANSAC检测平面基元，然后通过全局优化得到平面布置图。由于RANSAC的检测不稳定性和点云的缺失存在，该方法难以鲁棒且完整地重建具有复杂结构的真实场景。与之相比，本发明实施例将2D语义考虑在内，并将其与点云的3D几何深度融合，使得本方法实现了更好的重建结果。一方面，本发明实施例使用2D平面语义有效地补充了传统RANSAC的检测缺失。通过2D-3D基元的融合，本发明实施例即使在有复杂结构的大规模场景下也能捕获结构细节。另一方面，通过在优化中同时考虑点云质量和点的平面置信度，本发明实施例增加了对薄弱但真实存在的结构的选择概率，使得对不完美数据有较高的重建鲁棒性。
由于S3DIS没有提供2D平面布置图的真值，考虑到该数据集场景只包含水平的顶地面，在后两个场景上将本发明实施例的方法和VecIM生成的平面布置图弹出到顶地面的平均高度，并将得到的3D模型和3D立面真值进行定量比较。同时比较了PolyFit，该方法提供了重建3D矢量模型的通用流程。因为PolyFit适合处理封闭场景且室内的杂乱障碍影响其平面检测，故将稠密网格空间均匀下采样，然后将真值语义标签为顶面、地面、墙、门、窗、柱子以及板的点云作为其输入。
为定量比较，计算从3D立面真值到生成模型的豪斯多夫距离并将其作为重建误差。本发明实施例与3D真值最接近且平均误差和均方根误差最小。由于PolyFit有模型2流形约束，当一堵薄墙被两个房屋共享时，至少会有一个房间重建失败。此外，与VecIM相同，PolyFit在重建时也只考虑了点云的几何信息，使其难以鲁棒地处理不同质量的数据。与之相比，本发明实施例将高层语义在不同阶段深度融合，增加了算法的鲁棒性和模型的重建质量。
由此可见，本发明实施例提出了一套全自动的从RGB图像和稠密网格中重建平面布置图的算法。与纯几何优化以及依赖低分辨率点密度图的两阶段方法不同，本发明实施例从图像中推断出的2D平面实例嵌入到具有明确可解释性的几何优化流程中，使该方法能鲁棒地从复杂大规模室内场景中重建准确的平面布置图。
下面对本发明提供的平面布置图重建装置进行描述，下文描述的平面布置图重建装置与上文描述的平面布置图重建方法可相互对应参照。
基于上述任一实施例，本发明还提供一种平面布置图重建装置，如图7所示，该装置包括：
第一确定单元710，用于基于待重建场景的点云数据，确定第一平面线段集合；
第二确定单元720，用于基于所述点云数据的二维图像，确定第二平面线段集合；
线段融合单元730，用于对所述第一平面线段集合和所述第二平面线段集合进行融合，得到候选平面线段集合；
平面布置图重建单元740，用于以最小化目标函数为目标，以各线段交点所连接的被选择的线段数量作为约束条件，从所述候选平面线段集合中筛选得到有效平面线段，并基于所述有效平面线段确定所述待重建场景的平面布置图；所述目标函数基于点保真度、点覆盖度、平面置信度以及模型复杂度确定。
图8是本发明提供的电子设备的结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、存储器(memory)820、通信接口(Communications Interface)830和通信总线840，其中，处理器810，存储器820，通信接口830通过通信总线840完成相互间的通信。处理器810可以调用存储器820中的逻辑指令，以执行平面布置图重建方法，该方法包括：基于待重建场景的点云数据，确定第一平面线段集合；基于所述点云数据的二维图像，确定第二平面线段集合；对所述第一平面线段集合和所述第二平面线段集合进行融合，得到候选平面线段集合；以最小化目标函数为目标，以各线段交点所连接的被选择的线段数量作为约束条件，从所述候选平面线段集合中筛选得到有效平面线段，并基于所述有效平面线段确定所述待重建场景的平面布置图；所述目标函数基于点保真度、点覆盖度、平面置信度以及模型复杂度确定。
此外，上述的存储器820中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的平面布置图重建方法，该方法包括：基于待重建场景的点云数据，确定第一平面线段集合；基于所述点云数据的二维图像，确定第二平面线段集合；对所述第一平面线段集合和所述第二平面线段集合进行融合，得到候选平面线段集合；以最小化目标函数为目标，以各线段交点所连接的被选择的线段数量作为约束条件，从所述候选平面线段集合中筛选得到有效平面线段，并基于所述有效平面线段确定所述待重建场景的平面布置图；所述目标函数基于点保真度、点覆盖度、平面置信度以及模型复杂度确定。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的平面布置图重建方法，该方法包括：基于待重建场景的点云数据，确定第一平面线段集合；基于所述点云数据的二维图像，确定第二平面线段集合；对所述第一平面线段集合和所述第二平面线段集合进行融合，得到候选平面线段集合；以最小化目标函数为目标，以各线段交点所连接的被选择的线段数量作为约束条件，从所述候选平面线段集合中筛选得到有效平面线段，并基于所述有效平面线段确定所述待重建场景的平面布置图；所述目标函数基于点保真度、点覆盖度、平面置信度以及模型复杂度确定。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.一种平面布置图重建方法，其特征在于，包括：
基于待重建场景的点云数据，确定第一平面线段集合；
基于所述点云数据的二维图像，确定第二平面线段集合；
对所述第一平面线段集合和所述第二平面线段集合进行融合，得到候选平面线段集合；
以最小化目标函数为目标，以各线段交点所连接的被选择的线段数量作为约束条件，从所述候选平面线段集合中筛选得到有效平面线段，并基于所述有效平面线段确定所述待重建场景的平面布置图；所述目标函数基于点保真度、点覆盖度、平面置信度以及模型复杂度确定；
所述基于待重建场景的点云数据，确定第一平面线段集合，包括：
从所述点云数据中拟合垂直平面，并对所述垂直平面投影，得到第一投影线段集合；
在所述第一投影线段集合中任意两条线段之间的夹角和距离满足预设条件的情况下，将对应两条线段进行合并处理，得到第一合并线段，并以所述第一合并线段替换所述第一投影线段集合中对应两条线段，得到所述第一平面线段集合；
所述基于所述点云数据的二维图像，确定第二平面线段集合，包括：
将有效像素数量超过预设数量的通过神经网络检测到的二维平面实例投影到点云上，在局部点云上进行平面拟合并投影，得到第二投影线段集合；所述有效像素指属于立面语义标签的像素；
计算所述第二投影线段集合中各线段与预设方向的夹角，并基于各夹角将各线段插入至预设间隔；所述预设间隔是基于预设角度划分的；
在将各线段插入至预设间隔后，若存在任意相邻两个线段之间的夹角和距离满足预设条件，则对相邻间隔两条线段进行合并处理，得到第二合并线段，并以所述第二合并线段替换所述第二投影线段集合中对应的相邻间隔两条线段，得到所述第二平面线段集合；
所述对所述第一平面线段集合和所述第二平面线段集合进行融合，得到候选平面线段集合，包括：
若所述第一平面线段集合中存在第一线段与所述第二平面线段集合中的第二线段之间的夹角和距离满足预设条件，则删除所述第二平面线段集合中的第二线段，并将所述第二线段的支撑点集合合并入所述第一线段的支撑点集合；
在将所述第二线段的支撑点集合合并入所述第一线段的支撑点集合后，若剩余的所述第二平面线段集合中，存在支撑点不属于所述第一平面线段集合的支撑点的第二线段，则将所述第二线段及其支撑点合并入所述第一线段集合及其支撑点集合；
其中，当线段si和sj满足下述预设条件时合并：
θij≤θ1
disij≤α·min(d(si),d(sj))
其中，θij和disij分别是线段si和sj的夹角和距离,d(si)是线段si的2D支撑点到线段si的平均距离，d(sj)是线段sj的2D支撑点到线段sj的平均距离，θ1和α为设置的阈值；
所述目标函数基于如下公式确定：
其中，E表示所述目标函数，λk表示平衡因子，Ek＝[E1,E2,E3,E4]，k＝1,2,3,4，E1表示所述点保真度，E2表示所述点覆盖度，E3表示所述平面置信度，E4表示所述模型复杂度。
2.根据权利要求1所述的平面布置图重建方法，其特征在于，所述将对应两条线段进行合并处理，得到第一合并线段，包括：
基于对应两条线段，确定所述两条线段的支撑点集合；
将所述支撑点集合中的点进行平面拟合，并将拟合得到的平面投影得到所述第一合并线段。
3.根据权利要求1所述的平面布置图重建方法，其特征在于，所述点保真度、点覆盖度、平面置信度以及模型复杂度基于如下公式确定：
其中，E1表示所述点保真度，E2表示所述点覆盖度，E3表示所述平面置信度，E4表示所述模型复杂度，Np表示所述候选平面线段集合中所有线段的支撑点总数量，Nf表示所述候选平面线段集合中的线段数量，dis(fi,pj)表示点pj的2D投影到线段fi的距离，ρ表示距离阈值，Pi表示所述第二线段的支撑点集合，len(fi)表示线段fi的长度，lencov(fi)表示线段fi的覆盖长度，Np i表示线段fi的支撑点数量，Nv表示交点数量，表示平面标签相同的点的数量，lencof(fi)表示线段fi的支撑点集合中的点在线段fi上的投影点的最大距离，Corner(vi)表示交点vi的状态，xi表示二进制变量，xi∈{0,1}。
4.一种平面布置图重建装置，其特征在于，包括：
第一确定单元，用于基于待重建场景的点云数据，确定第一平面线段集合；
第二确定单元，用于基于所述点云数据的二维图像，确定第二平面线段集合；
线段融合单元，用于对所述第一平面线段集合和所述第二平面线段集合进行融合，得到候选平面线段集合；
平面布置图重建单元，用于以最小化目标函数为目标，以各线段交点所连接的被选择的线段数量作为约束条件，从所述候选平面线段集合中筛选得到有效平面线段，并基于所述有效平面线段确定所述待重建场景的平面布置图；所述目标函数基于点保真度、点覆盖度、平面置信度以及模型复杂度确定；
所述基于待重建场景的点云数据，确定第一平面线段集合，包括：
从所述点云数据中拟合垂直平面，并对所述垂直平面投影，得到第一投影线段集合；
在所述第一投影线段集合中任意两条线段之间的夹角和距离满足预设条件的情况下，将对应两条线段进行合并处理，得到第一合并线段，并以所述第一合并线段替换所述第一投影线段集合中对应两条线段，得到所述第一平面线段集合；
所述基于所述点云数据的二维图像，确定第二平面线段集合，包括：
将有效像素数量超过预设数量的通过神经网络检测到的二维平面实例投影到点云上，在局部点云上进行平面拟合并投影，得到第二投影线段集合；所述有效像素指属于立面语义标签的像素；
计算所述第二投影线段集合中各线段与预设方向的夹角，并基于各夹角将各线段插入至预设间隔；所述预设间隔是基于预设角度划分的；
在将各线段插入至预设间隔后，若存在任意相邻两个线段之间的夹角和距离满足预设条件，则对相邻间隔两条线段进行合并处理，得到第二合并线段，并以所述第二合并线段替换所述第二投影线段集合中对应的相邻间隔两条线段，得到所述第二平面线段集合；
所述对所述第一平面线段集合和所述第二平面线段集合进行融合，得到候选平面线段集合，包括：
若所述第一平面线段集合中存在第一线段与所述第二平面线段集合中的第二线段之间的夹角和距离满足预设条件，则删除所述第二平面线段集合中的第二线段，并将所述第二线段的支撑点集合合并入所述第一线段的支撑点集合；
在将所述第二线段的支撑点集合合并入所述第一线段的支撑点集合后，若剩余的所述第二平面线段集合中，存在支撑点不属于所述第一平面线段集合的支撑点的第二线段，则将所述第二线段及其支撑点合并入所述第一线段集合及其支撑点集合；
其中，当线段si和sj满足下述预设条件时合并：
θij≤θ1
disij≤α·min(d(si),d(sj))
其中，θij和disij分别是线段si和sj的夹角和距离,d(si)是线段si的2D支撑点到线段si的平均距离，d(sj)是线段sj的2D支撑点到线段sj的平均距离，θ1和α为设置的阈值；
所述目标函数基于如下公式确定：
其中，E表示所述目标函数，λk表示平衡因子，Ek＝[E1,E2,E3,E4]，k＝1,2,3,4，E1表示所述点保真度，E2表示所述点覆盖度，E3表示所述平面置信度，E4表示所述模型复杂度。
5.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至3任一项所述平面布置图重建方法。
6.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述平面布置图重建方法。
7.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述平面布置图重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210574049.2A CN115131459B (zh) | 2022-05-24 | 2022-05-24 | 平面布置图重建方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210574049.2A CN115131459B (zh) | 2022-05-24 | 2022-05-24 | 平面布置图重建方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115131459A CN115131459A (zh) | 2022-09-30 |
| CN115131459B true CN115131459B (zh) | 2024-05-28 |
Family
ID=83376160
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210574049.2A Active CN115131459B (zh) | 2022-05-24 | 2022-05-24 | 平面布置图重建方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115131459B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115631308B (zh) * | 2022-12-15 | 2023-03-31 | 北京集度科技有限公司 | 人造杆重建方法、装置、车辆及介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109166149A (zh) * | 2018-08-13 | 2019-01-08 | 武汉大学 | 一种融合双目相机与imu的定位与三维线框结构重建方法与系统 |
| CN109271861A (zh) * | 2018-08-15 | 2019-01-25 | 武汉中海庭数据技术有限公司 | 多尺度融合的点云交通标识牌自动提取方法 |
| CN109472871A (zh) * | 2018-09-21 | 2019-03-15 | 中国科学院深圳先进技术研究院 | 一种三维模型重建方法、系统及电子设备 |
| CN111709981A (zh) * | 2020-06-22 | 2020-09-25 | 高小翎 | 特征线融合的激光点云与模拟图像的配准方法 |
| CN112164145A (zh) * | 2020-10-30 | 2021-01-01 | 武汉大学 | 基于点云数据快速提取室内三维线段结构的方法 |
| CN113538501A (zh) * | 2021-08-24 | 2021-10-22 | 荆门汇易佳信息科技有限公司 | 低空图像dsm生成建筑物边缘精细化方法 |
| CN113763458A (zh) * | 2020-08-21 | 2021-12-07 | 北京京东乾石科技有限公司 | 确定目标对象摆放面的方法和装置 |
| CN113781649A (zh) * | 2021-09-07 | 2021-12-10 | 岱悟智能科技(上海)有限公司 | 一种基于三维扫描点云的建筑物平面图生成方法 |
| CN114359437A (zh) * | 2021-11-02 | 2022-04-15 | 杭州富阳富创大数据产业创新研究院有限公司 | 基于点云的建筑结构二维平面图重建方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8933925B2 (en) * | 2009-06-15 | 2015-01-13 | Microsoft Corporation | Piecewise planar reconstruction of three-dimensional scenes |
-
2022
- 2022-05-24 CN CN202210574049.2A patent/CN115131459B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109166149A (zh) * | 2018-08-13 | 2019-01-08 | 武汉大学 | 一种融合双目相机与imu的定位与三维线框结构重建方法与系统 |
| CN109271861A (zh) * | 2018-08-15 | 2019-01-25 | 武汉中海庭数据技术有限公司 | 多尺度融合的点云交通标识牌自动提取方法 |
| CN109472871A (zh) * | 2018-09-21 | 2019-03-15 | 中国科学院深圳先进技术研究院 | 一种三维模型重建方法、系统及电子设备 |
| CN111709981A (zh) * | 2020-06-22 | 2020-09-25 | 高小翎 | 特征线融合的激光点云与模拟图像的配准方法 |
| CN113763458A (zh) * | 2020-08-21 | 2021-12-07 | 北京京东乾石科技有限公司 | 确定目标对象摆放面的方法和装置 |
| CN112164145A (zh) * | 2020-10-30 | 2021-01-01 | 武汉大学 | 基于点云数据快速提取室内三维线段结构的方法 |
| CN113538501A (zh) * | 2021-08-24 | 2021-10-22 | 荆门汇易佳信息科技有限公司 | 低空图像dsm生成建筑物边缘精细化方法 |
| CN113781649A (zh) * | 2021-09-07 | 2021-12-10 | 岱悟智能科技(上海)有限公司 | 一种基于三维扫描点云的建筑物平面图生成方法 |
| CN114359437A (zh) * | 2021-11-02 | 2022-04-15 | 杭州富阳富创大数据产业创新研究院有限公司 | 基于点云的建筑结构二维平面图重建方法 |
Non-Patent Citations (6)
| Title |
|---|
| FloorUSG：Indoor floorplan reconstruction by unifying 2D semantics and 3D geometry;Jiali Han 等;ISPRS Journal Photogrammetry and Remote Sensing;20230228;第196卷;490-501 * |
| Robust Segmentation and localization of structural planes from photogrammetric point clouds in construction sites;Yusheng Xu 等;Automation in Construction;20200930;第117卷;1-20 * |
| Vectorized indoor surface reconstruction from 3D point cloud with multistep 2D optimization;Jiali Han 等;ISPRS Journal of Photogrammetry and Remote Sensing;20210731;第177卷;57-74 * |
| 基于倾斜摄影线特征的建筑物模型快速重构方法;曹林 等;测绘科学技术学报;20200330;第36卷(第05期);531-537 * |
| 基于平面的建筑物表面模型重建算法的研究;刘培 等;计算机辅助设计与图形学学报;20040820(第08期);1045-1050 * |
| 基于线特征的单目SLAM中的迭代数据关联算法;魏鑫燏 等;计算机应用研究;20181201;第37卷(第01期);57-61 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115131459A (zh) | 2022-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Online structure analysis for real-time indoor scene reconstruction | |
| Yi et al. | Urban building reconstruction from raw LiDAR point data | |
| Chen et al. | Architectural modeling from sparsely scanned range data | |
| Xu et al. | Reconstruction of scaffolds from a photogrammetric point cloud of construction sites using a novel 3D local feature descriptor | |
| Mura et al. | Automatic room detection and reconstruction in cluttered indoor environments with complex room layouts | |
| Chauve et al. | Robust piecewise-planar 3D reconstruction and completion from large-scale unstructured point data | |
| Dimitrov et al. | Segmentation of building point cloud models including detailed architectural/structural features and MEP systems | |
| Schnabel et al. | Efficient RANSAC for point‐cloud shape detection | |
| Previtali et al. | A flexible methodology for outdoor/indoor building reconstruction from occluded point clouds | |
| US20070185946A1 (en) | Method and apparatus for matching portions of input images | |
| Chen et al. | Dynamic occlusion detection and inpainting of in situ captured terrestrial laser scanning point clouds sequence | |
| Tang et al. | BIM generation from 3D point clouds by combining 3D deep learning and improved morphological approach | |
| CN111524168B (zh) | 点云数据的配准方法、系统、装置及计算机存储介质 | |
| Friedman et al. | Online detection of repeated structures in point clouds of urban scenes for compression and registration | |
| Zeng et al. | Neural procedural reconstruction for residential buildings | |
| Nyaruhuma et al. | Verification of 2D building outlines using oblique airborne images | |
| Wei et al. | Automatic coarse registration of point clouds using plane contour shape descriptor and topological graph voting | |
| Satari et al. | A multi‐resolution hybrid approach for building model reconstruction from lidar data | |
| US11734861B2 (en) | 2D and 3D floor plan generation | |
| Kim et al. | Block world reconstruction from spherical stereo image pairs | |
| CN115131459B (zh) | 平面布置图重建方法及装置 | |
| Xiao et al. | Coupling point cloud completion and surface connectivity relation inference for 3D modeling of indoor building environments | |
| Adán et al. | Reconstruction of wall surfaces under occlusion and clutter in 3D indoor environments | |
| Zhang et al. | Efficient Pairwise 3-D Registration of Urban Scenes via Hybrid Structural Descriptors. | |
| Peethambaran et al. | Enhancing Urban Façades via LiDAR‐Based Sculpting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |