CN116563171A - 一种面向建筑重复结构的点云增强方法及相关设备 - Google Patents

一种面向建筑重复结构的点云增强方法及相关设备 Download PDF

Info

Publication number
CN116563171A
CN116563171A CN202310844250.2A CN202310844250A CN116563171A CN 116563171 A CN116563171 A CN 116563171A CN 202310844250 A CN202310844250 A CN 202310844250A CN 116563171 A CN116563171 A CN 116563171A
Authority
CN
China
Prior art keywords
building
plane
point cloud
repeated
enhancement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310844250.2A
Other languages
English (en)
Other versions
CN116563171B (zh
Inventor
黄惠
杨越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202310844250.2A priority Critical patent/CN116563171B/zh
Publication of CN116563171A publication Critical patent/CN116563171A/zh
Application granted granted Critical
Publication of CN116563171B publication Critical patent/CN116563171B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A30/00Adapting or protecting infrastructure or their operation
    • Y02A30/60Planning or developing urban green infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种面向建筑重复结构的点云增强方法及相关设备,所述方法包括:输入建筑模型的建筑点云,根据所述建筑点云提取多个建筑立面,根据每个所述建筑立面提取平面图元;对多个所述平面图元进行模糊聚类处理,将相似的平面图元聚类在一起形成多个相似的平面类簇;根据所述平面类簇检测得到重复结构,根据所述重复结构在对应的位置应用规则化模型采集规则点云,去除噪声点云,进行全局增强,输出增强后的点云数据。本发明通过平面检测、模糊矩阵和模糊聚类来定义和衡量建筑点云重复结构检测问题,利用建筑物的全局重复关系对建筑物的点云数据进行快速增强,从而建立良好的重建基础。

Description

一种面向建筑重复结构的点云增强方法及相关设备
技术领域
本发明涉及计算机图形学技术领域,尤其涉及一种面向建筑重复结构的点云增强方法及相关设备。
背景技术
随着智慧城市走入人们的视野,越来越多应用提出了对三维数据从采集到重建的需求,从真实场景采集数据,然后重建为三维模型,用于可视计算、智能分析,而采集与重建的步骤往往是分离的,从真实场景采集到的三维数据往往质量较低,三维数据的重建算法又对输入数据有较高的要求。
点云增强是点云处理中一个被广泛研究的课题,传统的方法通过采用分段平滑度等先验,以优化的方式提高点云的质量,使其具有清晰的表面结构。随着深度学习的方法,也有通过大量样本数据训练的深度学习方法,或者是通过点云属性检测的自监督神经网络方法,能够生成几何特征更鲜明、空间分布清晰的点云,但这些方法都在一个较为简单的形状上实现,且依赖训练数据,这些在真实城市场景都是很难达到的条件。
在点云增强方面,早期的分段平滑度等优化方法虽然可以应对一些典型的3D形状,但对于复杂城市建筑等大场景的点云数据仍然存在一定的局限性。近年来,深度学习技术在点云增强中的应用虽然在轻量级、质量较好的点云数据上表现出色,但在大场景真实获取的点云数据下仍然需要更强的数据处理能力和去噪能力。此外,这些方法需要大量的样本数据训练和手动标注边缘区域,因此需要大量的人力和时间成本。
另一方面,也有研究工作针对三维建筑重建进行研究,这些工作主要依赖于从输入点云中检测出几何形状,如平面、直线等,并基于此分割场景,进行重建。这些工作大量使用基于优化的方法分析场景,整个过程受制于许多参数,且对输入数据的质量非常敏感。
在建筑重建方面,早期的激光扫描建筑重建基于平坦地形的假设,通过配准水平和垂直的扫描来实现。然而,这种方法在处理复杂城市建筑等大场景的点云数据时仍然存在一定的局限性。此外,现有的建筑重建技术往往需要大量的人力和时间成本,且自动化程度低。
因此,现有技术在处理复杂城市建筑等大场景的点云数据时存在局限性。
发明内容
本发明的主要目的在于提供一种面向建筑重复结构的点云增强方法、系统、终端及计算机可读存储介质,旨在解决现有技术中没有对建筑数据进行点云增强,导致从真实场景采集到的三维数据质量较低,无法对三维数据进行有效利用的问题。
为实现上述目的,本发明提供一种面向建筑重复结构的点云增强方法,所述面向建筑重复结构的点云增强方法包括如下步骤:
输入建筑模型的建筑点云,根据所述建筑点云提取多个建筑立面,根据每个所述建筑立面提取平面图元;
对多个所述平面图元进行模糊聚类处理,将相似的平面图元聚类在一起形成多个相似的平面类簇;
根据所述平面类簇检测得到重复结构,根据所述重复结构在对应的位置应用规则化模型采集规则点云,去除噪声点云,进行全局增强,输出增强后的点云数据。
可选地,所述的面向建筑重复结构的点云增强方法,其中,所述面向建筑重复结构的点云增强方法还包括:
在建筑立面上检测平面图元集合,令所检测出的平面图元集合为s表示平面图元的个数,对于每个平面图元 /> ,定义每个平面/>的平面特征描述子为:
;(1)
其中,每个元素分别对应平面图元的不同几何属性,为平面点集的水平尺度,为平面点集的竖直尺度,/>为所检测的平面图元相对于建筑立面的法向量方向,是一个三维向量;
将公式(1)表示的平面特征描述子作为特征向量,计算特征向量之间的欧氏距离作为平面图元之间的相似程度,平面 与 />之间的相似度计算为:
;(2)
其中, 对应相似矩阵中的第 /> 行、第 /> 列的元素,/> 为平面 /> 的平面特征描述子。
可选地,所述的面向建筑重复结构的点云增强方法,其中,根据公式(2),以平面图元两两之间的相似度构建相似度矩阵;
根据用户所指定的容忍度 ,选择相似度大于或者等于容忍度/>的平面对构建相似关系,从相似度矩阵中计算传递闭包,构建模糊等价矩阵,以连通分量的形式得到平面聚类结果。
可选地,所述的面向建筑重复结构的点云增强方法,其中,将框选区域作为重复结构的一个实例,从中检测出平面的集合为,/> 为 />的子集,选择其中最具有代表性的平面作为实例的代表平面/>,代表平面/> 在实例结构中所占面积最大;
根据代表平面和平面聚类结果得到相似结构可能存在的位置。
可选地,所述的面向建筑重复结构的点云增强方法,其中,对整个立面点云的协方差矩阵做奇异值分解得到特征向量,根据特征向量确定切平面的参数和方向;
在所检测出的重复结构中任选两个,计算 />和 /> 之间的相对位置关系,得到 />到/>在切平面上的平移变换向量/>
基于重复结构的对称性,生成变换向量,变换向量对应的位置可能存在因数据噪声未被检测到的重复结构实例;
在通过聚类检测出的重复实例集合中,找到所有顺序相关的两两实例 />,分析变换后得到的实例的存在性,找到潜在的重复结构;
识别建筑立面中的重复元素结构,并分析重复元素结构在水平和竖直方向上的分布规律。
可选地,所述的面向建筑重复结构的点云增强方法,其中,所述面向建筑重复结构的点云增强方法还包括:
对于输入的建筑点云,收集建筑点云的所有直立面,并通过第一尺度的平面检测将每个直立面上的所有点进行归类;
对于每个检测出的直立面,分析直立面的重复结构分布,并对重复结构的点集进行第二尺度的平面检测;
对于检测出的小平面,预计算小平面的几何性质用于空间关系判断和形状生成。
可选地,所述的面向建筑重复结构的点云增强方法,其中,所述第一尺度大于所述第二尺度。
此外,为实现上述目的,本发明还提供一种面向建筑重复结构的点云增强系统,其中,所述面向建筑重复结构的点云增强系统包括:
平面提取模块,用于输入建筑模型的建筑点云,根据所述建筑点云提取多个建筑立面,根据每个所述建筑立面提取平面图元;
模糊聚类模块,用于对多个所述平面图元进行模糊聚类处理,将相似的平面图元聚类在一起形成多个相似的平面类簇;
点云增强模块,用于根据所述平面类簇检测得到重复结构,根据所述重复结构在对应的位置应用规则化模型采集规则点云,去除噪声点云,进行全局增强,输出增强后的点云数据。
此外,为实现上述目的,本发明还提供一种终端,其中,所述终端包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的面向建筑重复结构的点云增强程序,所述面向建筑重复结构的点云增强程序被所述处理器执行时实现如上所述的面向建筑重复结构的点云增强方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,其中,所述计算机可读存储介质存储有面向建筑重复结构的点云增强程序,所述面向建筑重复结构的点云增强程序被处理器执行时实现如上所述的面向建筑重复结构的点云增强方法的步骤。
本发明中,输入建筑模型的建筑点云,根据所述建筑点云提取多个建筑立面,根据每个所述建筑立面提取平面图元;对多个所述平面图元进行模糊聚类处理,将相似的平面图元聚类在一起形成多个相似的平面类簇;根据所述平面类簇检测得到重复结构,根据所述重复结构在对应的位置应用规则化模型采集规则点云,去除噪声点云,进行全局增强,输出增强后的点云数据。本发明通过平面检测、模糊矩阵和模糊聚类来定义和衡量建筑点云重复结构检测问题,利用建筑物的全局重复关系对建筑物的点云数据进行快速增强,从而建立良好的重建基础。
附图说明
图1是本发明面向建筑重复结构的点云增强方法的较佳实施例的流程图;
图2是本发明面向建筑重复结构的点云增强方法的较佳实施例中基于重复结构的建筑点云增强过程的框架示意图;
图3是本发明面向建筑重复结构的点云增强方法的较佳实施例中实例结构重建过程的示意图;
图4是本发明面向建筑重复结构的点云增强方法的较佳实施例中重复实例的代表平面的示意图;
图5是本发明面向建筑重复结构的点云增强方法的较佳实施例中根据全局信息生成潜在重复实例的示意图;
图6是本发明面向建筑重复结构的点云增强方法的较佳实施例中基于建筑立面的交互示意图;
图7是本发明面向建筑重复结构的点云增强方法的较佳实施例中框选实例的示意图;
图8是本发明面向建筑重复结构的点云增强方法的较佳实施例中根据聚类信息生成相似结构的示意图;
图9是本发明面向建筑重复结构的点云增强方法的较佳实施例中根据框选实例组合生成应用实例组合的示意图;
图10是本发明面向建筑重复结构的点云增强方法的较佳实施例中点云增强结果评估的示意图;
图11是本发明面向建筑重复结构的点云增强方法的较佳实施例中点云增强对后续三维重建的提高的示意图;
图12是本发明面向建筑重复结构的点云增强方法的较佳实施例中不同点云修补系统效果比较的示意图;
图13是本发明面向建筑重复结构的点云增强系统的较佳实施例的原理示意图;
图14为本发明终端的较佳实施例的运行环境示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明较佳实施例所述的面向建筑重复结构的点云增强方法,如图1和图2所示,所述面向建筑重复结构的点云增强方法包括以下步骤:
步骤S10、输入建筑模型的建筑点云,根据所述建筑点云提取多个建筑立面,根据每个所述建筑立面提取平面图元;
步骤S20、对多个所述平面图元进行模糊聚类处理,将相似的平面图元聚类在一起形成多个相似的平面类簇;
步骤S30、根据所述平面类簇检测得到重复结构,根据所述重复结构在对应的位置应用规则化模型采集规则点云,去除噪声点云,进行全局增强,输出增强后的点云数据。
本发明首先提出平面检测的方法进行建筑物立面的平面图元检测,实现平面图元的智能提取,接着提出模糊矩阵和模糊聚类,对重复结构检测问题进行定义和衡量,之后,本方法建立面向用户友好的点云交互式框架,在该框架下,本发明利用建筑物的全局重复关系对建筑物的点云数据进行快速增强,从而建立良好的重建基础。通过点云增强技术来巩固从真实场景中采集到的三维点云数据,可以为下游的三维重建工作提供更好的输入源,从而为三维数据的采集和重建搭建起稳固的桥梁。
如图2所示,输入为建筑模型的建筑点云,输出为增强后的点云数据。系统框架分为两部分,一部分是系统分析,一部分是用户交互。系统分析和用户交互部分相互辅佐,最终能够得到目标结果。
如图2所示,对于输入的建筑点云,首先由系统分析部分实现建筑立面的提取,建筑立面提取即提取出建筑中大尺度的平面,这些平面最终能够组成建筑的大致轮廓形状。立面提取的结果会作为用户交互的选择项,也会给下一步的系统分析使用。系统分析部分会在每个建筑立面中检测附着在其上的小尺度平面图元(即图2中的平面基元)。窗户、阳台等重复结构就由这些小尺度平面图元构成。针对这些小尺度的平面图元,系统分析模块将找到相似的图元,聚类到一起,形成许多个相似的平面类簇。在方法上,系统分析模块使用模糊聚类的方式来对小尺度平面聚类。根据用户框选的一个结构,交互模块会生成该结构的规则化模型,系统分析模块将会把该结构作为建筑中重复出现的重复结构(如阳台、窗户等),系统会根据聚类的检测、全局对齐约束的推测、和用户的交互,最终找到用户框选的相似结构在建筑立面中出现的位置。根据找到的重复结构分布,在对应的位置应用规则化模型,采样规整的点云,去除周围的噪声点云,最终能够实现建筑点云的全局增强,输出增强后的点云。
具体地,本发明检索建筑物点云中的重复结构,基于模糊聚类分析来实现。建筑物的重复结构通常也是由许多平面组成的结构,使用区域增长算法检测潜在的平面并计算其α形状(在计算几何中,α形状是欧几里得平面中与有限点集的形状相关联的一系列分段线性简单曲线)作为轮廓。为了得到更加规整的形状,可以使用形状正则化方法将轮廓正则化,以这些正则化的轮廓为基础,即可得到形状更加清晰简洁的实例结构模型。如图3所示,可以看到对于选定的实例点云(建筑点云的一部分,一般是整个建筑上面的一个阳台,或者窗户之类的),通过区域增长检测出其正面和侧面的五个平面,并分别重建出轮廓、构建出整体实例结构的结果,该结果能够用于后续的整体立面增强。
建筑物的重复结构通常也是由许多平面组成的结构,那么相似的结构中也会有相似的平面和平面分布。从建筑物立面上分析平面间的相似性和结构特性,这些信息将能够帮助到分析相似结构的位置分布。基于点云数据本身的模糊性,本发明使用模糊聚类的方法来分析建筑点云中的重复结构。
本发明的方法在建筑立面上检测平面图元集合(即细节平面集合,指比较小的平面,这些平面构成了建筑的细节结构),令所检测出的平面图元集合为 ,s 表示平面图元的个数,对于每个平面图元 /> ,定义每个平面/>的平面特征描述子为:
;(1)
其中,每个元素分别对应平面图元的不同几何属性, 为平面点集的水平尺度, 为平面点集的竖直尺度,/> 为所检测的平面图元相对于建筑立面的法向量方向,是一个三维向量。
将公式(1)表示的平面特征描述子作为特征向量,计算特征向量之间的欧氏距离作为平面图元之间的相似程度,即平面 与 /> 之间的相似度计算为:
;(2)
其中,对应相似矩阵中的第 /> 行、第/> 列的元素,/>为平面 /> 的平面特征描述子。
根据公式(2),以平面图元两两之间的相似度构建相似度矩阵;根据用户所指定的容忍度 ,该参数会决定相似度超过多少的平面会被判定为相似平面,选择相似度大于或者等于容忍度/>的平面对构建相似关系,可以从相似度矩阵中计算传递闭包,构建模糊等价矩阵,以连通分量的形式得到平面聚类结果。
建筑立面上有许多重复结构的实例,要从点云的几何特性上分析这些实例的分布可以从平面的相似性切入。相似结构的实例通常会具有相似的平面,也就是说,对于每一个结构实例,首先分析其对应的点云中潜在的平面,而在该实例范围以外的其他区域,如果存在相似的结构,其对应的位置也一定会存在相似的平面。
将框选区域作为重复结构的一个实例,可以从中检测出平面的集合为 为 /> 的子集,一个建筑点云有很多细节平面,即上面提到的平面集合。建筑点云中的一个重复结构(窗户、阳台)会由平面集合中的一些平面构成,在这里用/> 表示。选择其中最具有代表性的平面作为该实例的代表平面 />
如图4所示,代表平面是针对当前结构形状最有代表性的平面,其能够表现出当前结构的大致形状且具有一定的独特性,在代表平面对应的聚类中,同一类别的平面通常意味着这里具有同样重复的结构。通过 α 形状可以得到平面点集所占面积区域的大致大小,在这里令一个实例结构中所占面积最大的平面作为这个结构中最具代表性的平面。通过代表平面和上面的平面聚类结果,可以找到相似结构可能存在的位置。
例如,本发明处理数据的对象是一整栋建筑,通过较大尺度的平面检测,可以分析出建筑的所有立面。为了更加规整的分析和处理,找到每个3D场景中建筑立面所对应的2D平面,即该建筑立面的切平面。通过这样的变换,可以将复杂的三维场景分析与处理转换到二维场景下,不仅可以简化处理难度,也能够提升结果的准确度。为了找到这样的变换,根据对整个立面点云的协方差矩阵做奇异值分解(SingularValueDecomposition,SVD)后得到的特征向量来确定切平面的参数和方向。通过逆投影变换即可实现二维到三维结果的转换。
通过模糊聚类的检测方法,能够直接获取一些重复实例的位置信息,但这样的重复结构检测是基于平面几何轮廓的,当数据存在较强的各向异性时,不均匀的分布会错误地估计平面点集的轮廓形状,从而带来聚类的误差,一些原本属于同一类的平面点集可能会被判定为不相似的平面点集。真实数据往往是具备较强的各向异性和不均匀性的,伴随着噪声和缺失,平面检测和模糊聚类都会不可避免的出现一些误差,因此对于选定的实例,往往只能检测出一部分重复实例,而这些能够被检测出的重复实例往往会和选定的实例非常相似,也分布着比较均匀和稠密的点,能够分析出与原实例非常相似的形状。尽管如此,这些聚类所获得的位置信息仍然能够帮助分析其他潜在的位置分布情况。
一方面,建筑的重复结构分布往往具备对称性。在所检测出的重复实例中任选两个 ,可以计算它们之间的相对位置关系,即/> 到 /> 在切平面上的平移变换向量 /> ,两个实例各有其位置,位置之间的差就是平移变换向量。基于重复结构的对称性,可以生成 /> 这些变换向量(可以在这些变换向量对应的位置上找重复实例),这些变换向量对应的位置可能会存在因数据噪声而未被检测到的重复结构实例。
在图5中可以看到上述过程的示意,图5中的(a)指出了检测出的两个重复实例 ,图5中的(b)展示了根据中心对称变换生成的潜在重复实例位置,新生成的实例位置用虚线框表示,如果这些位置没有被聚类检测出来则可以在这里重新找到。在通过聚类检测出的重复实例集合 /> 中,找到所有顺序相关的两两实例 ,分析上述变换后得到的实例的存在性,可以找到一些潜在的重复结构,缓解数据不稳定性带来的检测错误。
另一方面,当建筑立面中存在重复结构时,这些结构通常是在水平和竖直方向上分布的,例如阳台、窗户等。在建筑立面点云增强中,考虑这些重复结构的分布规律,能够增强最终结果的一致性和美观度。识别建筑立面中的重复元素结构,并分析其在水平和竖直方向上的分布规律。一旦确定了这些规律,就可以将其应用于其他楼层的设计和重建中,从而实现立面点云整体一致性。
进一步地,在进行点云数据的计算和分析时,通常需要考虑点云之间的空间位置关系,以便进行相应的任务,如点云配准、分割、分类等。然而,对于大量的点云数据,计算和分析这些空间位置关系往往需要大量的计算时间和存储空间。
具体而言,对于每个点,需要找到其邻近点集合,以便对其进行相应的计算和分析。但是,邻近点的查找往往涉及到复杂的距离计算和搜索操作,这些操作会占用大量的计算时间和存储空间。此外,为了更加高效地查找邻近点,还需要使用一些辅助空间数据结构,如多维树、八叉树等,这也需要占用大量的存储空间。在城市场景中,点云数据量往往非常庞大,这使得点云配准等任务几乎无法实时完成。
为了提供更好的用户交互体验,本发明构建了一个能够实时响应用户指令的三维系统,以便用户可以通过简单的拖拽等操作快速构建整个增强的建筑点云。为此,设计了一种基于平面交互系统的方法,该方法可以简化对庞大复杂点云数据的管理,通过预计算的方式帮助后续的快速实时计算,从而为用户提供即时的反馈。
具体而言,对于输入的建筑点云,首先收集其所有直立面,并通过较大尺度(即第一尺度,例如使用1000临近点计算点云法向量,平面点集距离平面不超过1m,且至少包含500个点)的平面检测将每个直立面上的所有点进行归类。接着,对于每个检测出的直立面,分析其重复结构分布,并对其点集进行一次较小尺度(即第二尺度,例如使用12临近点计算点云法向量,平面点集距离平面不超过0.05m~0.2m,根据建筑具体情况调整)的平面检测。对于检测出的小平面,预计算其几何性质,例如α形状、覆盖面积等,这些几何性质将帮助后续快速地进行空间关系判断和形状生成。这些预处理步骤可以有效地减少计算和分析空间位置关系所需的时间和存储空间,从而实现快速实时计算和提高用户交互体验。
如图6所示,在系统中,用户可以首先选择可能会具备相似的结构的直立面,将不同直立面结合在一起进行聚类、整合、点云增强。在直立面的点云增强中,小平面几何属性的预计算能够帮助快速的判断鼠标点击事件的响应、生成并在全局范围内应用规则化的实例形状。
用户可以通过鼠标框选区域来选定重复实例单位。将用户框选的区域作为兴趣区域(ROI,RegionofInterest),然后将当前画面中深度最靠前的立面上的平面都投影到相机二维空间中,位于ROI中的平面点集则为被选择的对象,这些平面点集一起构成一个用户所指定的重复实例,该过程如图7所示。
生成实例后,会实时计算全局信息中检索到的重复结构位置,并生成新的实例,如图8所示。除了框选实例点集以外,用户也可以通过区域框选来选择想要复制的实例组合。如图9所示,对于选中的重复实例组合,用户可以通过拖拽的方式将其复制到其他位置,这样可以保证组合之间的位置分布关系一致性。
用户交互的ROI能够弥补依赖参数的优化算法的一些累积错误,使重复结构更加符合用户的需求,使其更符合语义特征,或者更有助于重建。而重复实例的组合与复制功能能够沿用已经检测到的较好的数据所构成的重复结构分布,更好地维护全局一致性。
要生成增强后建筑点云结果,可以从重复实例模板生成点云,将生成的点云替换了初始点云周边的点,从而形成点云增强后的结果,如图10所示。为了便于观察三维结构,采用了眼形圆顶着色(EDL)技术对建筑点云进行渲染。图10中,除了可以看到建筑模型的整体点云大致形状,还能够在方框中逐次看到更加细节处的点云分布情况。根据结果显示,增强后的点云整体呈现出更加明显的几何特征,同时在重复结构平面上,噪声点云得到了明显的减少。此外,在细节方面,增强后的点云在边缘位置呈现更加密集的分布,且紧密地排列在实例模板的平面位置上,这有助于下游的重建和理解任务的进行。
值得注意的是,本实验中采用的重复实例模板方法填补了初始点云中的几处孔洞。通过利用全局信息和用户交互,成功生成了新的规则分布的点云,从而填补了原始点云数据中的缺失空间,起到了数据增强、点云补全的效果。实验结果显示,增强后的点云在孔洞处具有更完整的数据,这将进一步提高点云数据的质量和稳定性,为后续的三维重建和理解任务提供更加准确和完整的数据基础。
在评估实验中,使用了迭代泊松重建方法对增强后的点云和原始点云进行了网格模型重建,并进行了质量比较,可以在图11中看到重建结果的提升。可以观察到,使用增强后的点云进行重建后,所得到的网格模型更加规整,并且在建筑物平面处表现得更加平整。相比之下,原始点云中存在的噪声和数据缺失会影响重建质量,导致一些本应平整的区域出现大小不一的凹陷。通过对比该实验结果,能够得出结论:增强后的点云能够克服一些原始点云中存在的问题,获得更加规整、平整的模型,并且在细节处更加精确。
为了定量评估本发明的实际价值,本发明使用传统点云处理软件对噪声点云进行修补,并比较了使用本发明系统与传统点云处理软件之间的效率差距。图12分别展示了传统软件处理的结果和使用本系统处理的结果,从图12中可以看到,使用传统软件处理由于没有更加规则化的实例模板匹配,填补的孔洞初仍然有凹凸起伏的噪声瑕疵,在本系统的工作中能够很大程度地克服这些问题,产生更清晰的点云形状。
表1展示了在两组不同的数据上,使用传统软件修补的时间消耗和使用本系统修补的时间开销。可以看到,本系统能够帮助专业人士以更高的效率完成更好的建筑点云形状修补。本评估中,使用的传统点云处理软件是CloudCompare,分别记录了使用其和本系统在点云修补上人工操作所花费的时间,为了便于观察,最后呈现出的修补结果使用眼罩照明(Eye-DomeLighting, EDL)渲染技术渲染点云。
表1 :不同点云修补系统在效率上的定量比较
现有的点云增强技术都针对较小规模的物体,且基于深度学习的方法通常依赖大量训练数据,相比起这些现有的技术,而通过点云处理软件修复点云数据又通常需要消耗大量人力成本,本发明能够处理数据量大且几何细节复杂的城市场景建筑点云,将智能分析与用户交互结合起来,能够轻易地生成形状更加清晰且具有一定保真度的建筑点云,为后续的三维处理提供优质输入。
有益效果
(1)本发明不依赖于大量优质数据的训练,可以自主分析输入点云的几何特性,配合用户交互,在复杂城市建筑下生成质量较好的点云数据。
(2)本发明为数据质量敏感的重建算法提供更加优质的输入,且智能系统大大降低了数据处理的人力成本。
(3)本发明提出了新的基于平面表示的重复结构实例生成方法,通过评估平面几何参数,进行平面基元的快速提取,并采用了二维平面划分方法对提取结果进行了优化。
(4)本发明将点云数据的低质量数据定义为数据结构的模糊问题,在该问题下,本发明对点云数据的模糊度进行定量计算和评估,从而发现建筑物的重复结构分布。
(5)本发明建立了一整套面向用户友好的交互式点云增强系统,该系统实现了从点云数据导入、用户交互、数据优化、模型重建的全过程。
本发明的目的是利用建筑物存在重复结构和明显平面基元的特征,增强建筑点云数据,减少其噪声,使其具备更清晰的几何分布。该方法包括平面检测、模糊矩阵和模糊聚类、面向用户友好的点云交互式框架等,能够有效地解决现有技术在处理复杂城市建筑等大场景的点云数据时存在的局限性问题。本发明提出了一种基于平面检测和模糊聚类的方法来分析建筑物立面的几何基元和重复结构,首先,提出了一种平面检测方法来检测建筑物立面的几何基元,并实现基元的智能提取。接着,提出了模糊矩阵和模糊聚类,对重复结构检测问题进行定义和衡量。最后,建立了一个面向用户友好的点云交互式框架,在该框架下,利用建筑物的全局重复关系对建筑物的点云数据进行快速增强,从而建立良好的重建基础。
借助本发明提出的方法,可以快速地对建筑物立面进行点云增强,并为工业设计、数字测绘、智慧城市等实际数字需求提供支持。此外,本发明还提供了一种交互式方法,使用户能够通过简单的拖拽等操作快速构建整个增强的建筑点云,这些功能都能够有效地提高计算效率,并且能够减少存储空间的占用,为用户提供更好的交互体验。
进一步地,本发明提出的使用模糊数学模型来聚类的方法,主要目的是对相似平面进行聚类,以得到相似实例潜在位置。也可以使用其他聚类方法来聚类相似结构,或者在模糊数学模型中使用其他的相似度指标评估,只要最终都能够得到相似平面聚类即可。
进一步地,如图13所示,基于上述面向建筑重复结构的点云增强方法,本发明还相应提供了一种面向建筑重复结构的点云增强系统,其中,所述面向建筑重复结构的点云增强系统包括:
平面提取模块51,用于输入建筑模型的建筑点云,根据所述建筑点云提取多个建筑立面,根据每个所述建筑立面提取平面图元;
模糊聚类模块52,用于对多个所述平面图元进行模糊聚类处理,将相似的平面图元聚类在一起形成多个相似的平面类簇;
点云增强模块53,用于根据所述平面类簇检测得到重复结构,根据所述重复结构在对应的位置应用规则化模型采集规则点云,去除噪声点云,进行全局增强,输出增强后的点云数据。
进一步地,如图14所示,基于上述面向建筑重复结构的点云增强方法和系统,本发明还相应提供了一种终端,所述终端包括处理器10、存储器20及显示器30。图14仅示出了终端的部分组件,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述终端的内部存储单元,例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备,例如所述终端上配备的插接式硬盘,智能存储卡(SmartMediaCard,SMC),安全数字(SecureDigital,SD)卡,闪存卡(FlashCard)等。进一步地,所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据,例如所述安装终端的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中,存储器20上存储有面向建筑重复结构的点云增强程序40,该面向建筑重复结构的点云增强程序40可被处理器10所执行,从而实现本申请中面向建筑重复结构的点云增强方法。
所述处理器10在一些实施例中可以是一中央处理器(CentralProcessingUnit,CPU),微处理器或其他数据处理芯片,用于运行所述存储器20中存储的程序代码或处理数据,例如执行所述面向建筑重复结构的点云增强方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(OrganicLight-EmittingDiode,有机发光二极管)触摸器等。所述显示器30用于显示在所述终端的信息以及用于显示可视化的用户界面。所述终端的部件10-30通过系统总线相互通信。
在一实施例中,当处理器10执行所述存储器20中面向建筑重复结构的点云增强程序40时实现如上所述面向建筑重复结构的点云增强方法的步骤。
本发明还提供一种计算机可读存储介质,其中,所述计算机可读存储介质存储有面向建筑重复结构的点云增强程序,所述面向建筑重复结构的点云增强程序被处理器执行时实现如上所述的面向建筑重复结构的点云增强方法的步骤。
综上所述,本发明提供一种面向建筑重复结构的点云增强方法及相关设备,所述方法包括:输入建筑模型的建筑点云,根据所述建筑点云提取多个建筑立面,根据每个所述建筑立面提取平面图元;对多个所述平面图元进行模糊聚类处理,将相似的平面图元聚类在一起形成多个相似的平面类簇;根据所述平面类簇检测得到重复结构,根据所述重复结构在对应的位置应用规则化模型采集规则点云,去除噪声点云,进行全局增强,输出增强后的点云数据。本发明通过平面检测、模糊矩阵和模糊聚类来定义和衡量建筑点云重复结构检测问题,利用建筑物的全局重复关系对建筑物的点云数据进行快速增强,从而建立良好的重建基础。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者终端中还存在另外的相同要素。
当然,本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关硬件(如处理器,控制器等)来完成,所述的程序可存储于一计算机可读取的计算机可读存储介质中,所述程序在执行时可包括如上述各方法实施例的流程。其中所述的计算机可读存储介质可为存储器、磁碟、光盘等。
应当理解的是,本发明的应用不限于上述的举例,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种面向建筑重复结构的点云增强方法,其特征在于,所述面向建筑重复结构的点云增强方法包括:
输入建筑模型的建筑点云,根据所述建筑点云提取多个建筑立面,根据每个所述建筑立面提取平面图元;
对多个所述平面图元进行模糊聚类处理,将相似的平面图元聚类在一起形成多个相似的平面类簇;
根据所述平面类簇检测得到重复结构,根据所述重复结构在对应的位置应用规则化模型采集规则点云,去除噪声点云,进行全局增强,输出增强后的点云数据。
2.根据权利要求1所述的面向建筑重复结构的点云增强方法,其特征在于,所述面向建筑重复结构的点云增强方法还包括:
在建筑立面上检测平面图元集合,令所检测出的平面图元集合为s表示平面图元的个数,对于每个平面图元/>,定义每个平面/>的平面特征描述子为:
;(1)
其中,每个元素分别对应平面图元的不同几何属性,为平面点集的水平尺度,/>为平面点集的竖直尺度,/>为所检测的平面图元相对于建筑立面的法向量方向,是一个三维向量;
将公式(1)表示的平面特征描述子作为特征向量,计算特征向量之间的欧氏距离作为平面图元之间的相似程度,平面与/>之间的相似度计算为:
;(2)
其中,对应相似矩阵中的第/>行、第/>列的元素,/>为平面/>的平面特征描述子。
3.根据权利要求2所述的面向建筑重复结构的点云增强方法,其特征在于,根据公式(2),以平面图元两两之间的相似度构建相似度矩阵;
根据用户所指定的容忍度,选择相似度大于或者等于容忍度/>的平面对构建相似关系,从相似度矩阵中计算传递闭包,构建模糊等价矩阵,以连通分量的形式得到平面聚类结果。
4.根据权利要求3所述的面向建筑重复结构的点云增强方法,其特征在于,将框选区域作为重复结构的一个实例,从中检测出平面的集合为,/>的子集,选择其中最具有代表性的平面作为实例的代表平面/>,代表平面/>在实例结构中所占面积最大;
根据代表平面和平面聚类结果得到相似结构可能存在的位置。
5.根据权利要求4所述的面向建筑重复结构的点云增强方法,其特征在于,对整个立面点云的协方差矩阵做奇异值分解得到特征向量,根据特征向量确定切平面的参数和方向;
在所检测出的重复结构中任选两个,计算/>和/>之间的相对位置关系,得到到/>在切平面上的平移变换向量/>
基于重复结构的对称性,生成变换向量,变换向量对应的位置可能存在因数据噪声未被检测到的重复结构实例;
在通过聚类检测出的重复实例集合中,找到所有顺序相关的两两实例/>,分析变换后得到的实例的存在性,找到潜在的重复结构;
识别建筑立面中的重复元素结构,并分析重复元素结构在水平和竖直方向上的分布规律。
6.根据权利要求1所述的面向建筑重复结构的点云增强方法,其特征在于,所述面向建筑重复结构的点云增强方法还包括:
对于输入的建筑点云,收集建筑点云的所有直立面,并通过第一尺度的平面检测将每个直立面上的所有点进行归类;
对于每个检测出的直立面,分析直立面的重复结构分布,并对重复结构的点集进行第二尺度的平面检测;
对于检测出的小平面,预计算小平面的几何性质 用于空间关系判断和形状生成。
7.根据权利要求6所述的面向建筑重复结构的点云增强方法,其特征在于,所述第一尺度大于所述第二尺度。
8.一种面向建筑重复结构的点云增强系统,其特征在于,所述面向建筑重复结构的点云增强系统包括:
平面提取模块,用于输入建筑模型的建筑点云,根据所述建筑点云提取多个建筑立面,根据每个所述建筑立面提取平面图元;
模糊聚类模块,用于对多个所述平面图元进行模糊聚类处理,将相似的平面图元聚类在一起形成多个相似的平面类簇;
点云增强模块,用于根据所述平面类簇检测得到重复结构,根据所述重复结构在对应的位置应用规则化模型采集规则点云,去除噪声点云,进行全局增强,输出增强后的点云数据。
9.一种终端,其特征在于,所述终端包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的面向建筑重复结构的点云增强程序,所述面向建筑重复结构的点云增强程序被所述处理器执行时实现如权利要求1-7任一项所述的面向建筑重复结构的点云增强方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有面向建筑重复结构的点云增强程序,所述面向建筑重复结构的点云增强程序被处理器执行时实现如权利要求1-7任一项所述的面向建筑重复结构的点云增强方法的步骤。
CN202310844250.2A 2023-07-11 2023-07-11 一种面向建筑重复结构的点云增强方法及相关设备 Active CN116563171B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310844250.2A CN116563171B (zh) 2023-07-11 2023-07-11 一种面向建筑重复结构的点云增强方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310844250.2A CN116563171B (zh) 2023-07-11 2023-07-11 一种面向建筑重复结构的点云增强方法及相关设备

Publications (2)

Publication Number Publication Date
CN116563171A true CN116563171A (zh) 2023-08-08
CN116563171B CN116563171B (zh) 2023-11-28

Family

ID=87495164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310844250.2A Active CN116563171B (zh) 2023-07-11 2023-07-11 一种面向建筑重复结构的点云增强方法及相关设备

Country Status (1)

Country Link
CN (1) CN116563171B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101887597A (zh) * 2010-07-06 2010-11-17 中国科学院深圳先进技术研究院 建筑物三维模型构建方法及系统
CN101950434A (zh) * 2010-09-13 2011-01-19 天津市星际空间地理信息工程有限公司 一种车载激光雷达系统及城市部件自动化测量方法
CN102770864A (zh) * 2010-01-29 2012-11-07 香港科技大学 基于图像的建筑物图案检测以及建模
CN102930531A (zh) * 2012-09-28 2013-02-13 中国科学院自动化研究所 一种建筑物表面图像重复结构检测方法
CN106157373A (zh) * 2016-07-27 2016-11-23 中测高科(北京)测绘工程技术有限责任公司 一种建筑物三维模型构建方法及系统
CN106683131A (zh) * 2015-11-10 2017-05-17 星际空间(天津)科技发展有限公司 一种城市部件自动化测量方法
CN110910387A (zh) * 2019-10-09 2020-03-24 西安理工大学 一种基于显著性分析的点云建筑物立面窗户提取方法
CN114529694A (zh) * 2020-11-23 2022-05-24 Zillow公司 使用确定的房间形状自动确定建筑物室内中的图像采集位置
US11544419B1 (en) * 2021-07-26 2023-01-03 Pointlab, Inc. Subsampling method for converting 3D scan data of an object for marine, civil, and architectural works into smaller densities for processing without CAD processing
CN116010644A (zh) * 2022-06-29 2023-04-25 西安理工大学 基于轴向移动和局部匹配的重复性建筑元素检索方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102770864A (zh) * 2010-01-29 2012-11-07 香港科技大学 基于图像的建筑物图案检测以及建模
CN101887597A (zh) * 2010-07-06 2010-11-17 中国科学院深圳先进技术研究院 建筑物三维模型构建方法及系统
CN101950434A (zh) * 2010-09-13 2011-01-19 天津市星际空间地理信息工程有限公司 一种车载激光雷达系统及城市部件自动化测量方法
CN102930531A (zh) * 2012-09-28 2013-02-13 中国科学院自动化研究所 一种建筑物表面图像重复结构检测方法
CN106683131A (zh) * 2015-11-10 2017-05-17 星际空间(天津)科技发展有限公司 一种城市部件自动化测量方法
CN106157373A (zh) * 2016-07-27 2016-11-23 中测高科(北京)测绘工程技术有限责任公司 一种建筑物三维模型构建方法及系统
CN110910387A (zh) * 2019-10-09 2020-03-24 西安理工大学 一种基于显著性分析的点云建筑物立面窗户提取方法
CN114529694A (zh) * 2020-11-23 2022-05-24 Zillow公司 使用确定的房间形状自动确定建筑物室内中的图像采集位置
US11544419B1 (en) * 2021-07-26 2023-01-03 Pointlab, Inc. Subsampling method for converting 3D scan data of an object for marine, civil, and architectural works into smaller densities for processing without CAD processing
CN116010644A (zh) * 2022-06-29 2023-04-25 西安理工大学 基于轴向移动和局部匹配的重复性建筑元素检索方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIAO GUO 等: "A Local Enhancement Method for Large-Scale Building Facade Depth Images using Densely Matched Point Clouds", 《ADVANCES IN MULTIMEDIA》, no. 8, pages 1 - 11 *
万国伟: "面向建筑物的三维点云生成、增强和重建技术研究", 《中国博士学位论文全文数据库 (信息科技辑)》, no. 4, pages 138 - 73 *

Also Published As

Publication number Publication date
CN116563171B (zh) 2023-11-28

Similar Documents

Publication Publication Date Title
Zhang et al. A review of deep learning-based semantic segmentation for point cloud
Moyano et al. Semantic interpretation of architectural and archaeological geometries: Point cloud segmentation for HBIM parameterisation
Ochmann et al. Automatic reconstruction of parametric building models from indoor point clouds
Li et al. Reconstructing building mass models from UAV images
Tang et al. BIM generation from 3D point clouds by combining 3D deep learning and improved morphological approach
Xu et al. Reconstruction of scaffolds from a photogrammetric point cloud of construction sites using a novel 3D local feature descriptor
US9129432B2 (en) Image-based procedural remodeling of buildings
Zheng et al. Non-local scan consolidation for 3D urban scenes
Pantoja-Rosero et al. Generating LOD3 building models from structure-from-motion and semantic segmentation
CN110335234A (zh) 一种基于古文物LiDAR点云的三维变化检测方法
Bouzas et al. Structure-aware building mesh polygonization
Galvanin et al. Extraction of building roof contours from LiDAR data using a Markov-random-field-based approach
Song et al. Extraction and reconstruction of curved surface buildings by contour clustering using airborne LiDAR data
Ortega et al. Generating 3D city models from open LiDAR point clouds: Advancing towards smart city applications
Zhang et al. Large-scale point cloud contour extraction via 3D guided multi-conditional generative adversarial network
Wang et al. A method for detecting windows from mobile LiDAR data
Yu et al. Unsupervised ground filtering of airborne-based 3D meshes using a robust cloth simulation
Cao et al. Single view 3D reconstruction based on improved RGB-D image
Guo et al. Line-based 3d building abstraction and polygonal surface reconstruction from images
Yuan et al. 3D point cloud recognition of substation equipment based on plane detection
Yin et al. [Retracted] Virtual Reconstruction Method of Regional 3D Image Based on Visual Transmission Effect
Wang et al. Energy-based automatic recognition of multiple spheres in three-dimensional point cloud
Mitra et al. Symmetry for architectural design
CN116563171B (zh) 一种面向建筑重复结构的点云增强方法及相关设备
Wu et al. A novel Building Section Skeleton for compact 3D reconstruction from point clouds: A study of high-density urban scenes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant