CN114549780A - 一种基于点云数据的大型复杂构件智能化检测方法 - Google Patents

一种基于点云数据的大型复杂构件智能化检测方法 Download PDF

Info

Publication number
CN114549780A
CN114549780A CN202210100995.3A CN202210100995A CN114549780A CN 114549780 A CN114549780 A CN 114549780A CN 202210100995 A CN202210100995 A CN 202210100995A CN 114549780 A CN114549780 A CN 114549780A
Authority
CN
China
Prior art keywords
point cloud
cloud data
data
points
scanning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210100995.3A
Other languages
English (en)
Other versions
CN114549780B (zh
Inventor
程国忠
曹谦
李东声
冯生强
崔娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202210100995.3A priority Critical patent/CN114549780B/zh
Publication of CN114549780A publication Critical patent/CN114549780A/zh
Application granted granted Critical
Publication of CN114549780B publication Critical patent/CN114549780B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Civil Engineering (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Mathematics (AREA)
  • Structural Engineering (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Architecture (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Graphics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于点云数据的大型复杂构件智能化检测方法，包括以下步骤：1)采用标靶拼接法对多个测站点云数据进行点云拼接，得到扫描场景的完整点云数据；2)生成一个包含扫描物体的包围框，提取位于包围框之内的点云数据；3)使用RANSAC算法得到扫描构件的完整点云数据；4)将待测构件的BIM模型离散化，转化成点云数据；5)将获取的点云数据转化成二值图像；6)去掉白色噪点；7)提取图像中的角点；8)筛选出关键点；9)计算空间刚体变换矩阵，实现两组点云数据的粗配准；10)两组点云数据精确匹配；11)去除噪点和无关点；12)将BIM模型与扫描点云数据对比得到构件的尺寸偏差。本发明方法有效解决了大型复杂构件的尺寸质量难以测量的难题。

Description

一种基于点云数据的大型复杂构件智能化检测方法
技术领域
本发明涉及信息技术与建筑安全管理领域，具体涉及一种基于点云数据的大型复杂构件智能化检测方法。
背景技术
在高层建筑、大型桥梁等工程中，钢构件的长度可以达到甚至超过10m，而且由于需要与不同的构件连接，形态也较为复杂。这类构件通常需要在工厂加工并进行尺寸质量检测，检测合格之后才能运输到工地进行组装。传统的尺寸质量检测方法是由工人利用卷尺等设备进行测量，但这类构件的尺寸较大且形态复杂，使得人工测量较为困难。
因此，亟需提出一种能解决大型复杂构件的尺寸质量难以检测问题的智能检测方法。
发明内容
本发明的目的是提供一种基于点云数据的大型复杂构件智能化检测方法，以解决现有技术中存在的问题。
为实现本发明目的而采用的技术方案是这样的，一种基于点云数据的大型复杂构件智能化检测方法，包括以下步骤：
1)采用标靶拼接法对多个测站点云数据进行点云拼接，得到扫描场景的完整点云数据；
2)利用扫描仪的位置作为先验知识生成一个包含扫描物体的包围框，提取位于包围框之内的点云数据；
3)针对步骤2)提取的点云数据，使用RANSAC算法去除地面点，得到扫描构件的完整点云数据；
4)将待测构件的BIM模型离散化，转化成点云数据；
5)将步骤3)和步骤4)获取的点云数据分别使用PCA算法映射到二维空间，并转化成二值图像；
6)使用形态学开操作处理步骤5)得到的二值图像，去掉图像中的白色噪点；
7)使用Harris算法处理步骤6)输出的图像，提取图像中的角点；
8)针对步骤7)得到的每一个角点，使用阳角模板匹配的方法筛选出位于构件阳角处的数据点作为关键点；
9)基于步骤8)中获得的扫描点云数据的关键点集与BIM模型关键点集，利用Super4PCS算法计算空间刚体变换矩阵，实现两组点云数据的粗配准；
10)在步骤9)得到的配准结果的基础上，利用ICP算法进一步迭代，收敛后输出最佳刚体变换矩阵，实现两组点云数据的精确匹配；
11)选择距离BIM模型在设定范围内的扫描数据点作为待检测构件的点云数据，以去除扫描点云数据中的噪点和无关点；
12)将BIM模型与步骤11)得到的扫描点云数据进行对比，得到构件的尺寸偏差。
进一步，步骤1)包括以下分步骤：
1-1)在待检测的构件周围布置标靶纸，使用三维激光扫描仪扫描构件，获取有序点云数据；
1-2)利用阵列信息将有序点云数据按照其色彩数据映射成全景图；
1-3)使用YOLOv5模型检测全景图中的标靶纸，得到标靶纸点云数据；
1-4)使用PCA算法将步骤1-3)得到的每一个标靶纸点云数据映射到二维空间，并转化为图像；
1-5)将步骤1-4)得到的标靶纸映射图像与标靶纸模板进行匹配，确定标靶纸的中心；
1-6)基于步骤1-5)得到的标靶纸中心，将各站点云数据进行拼接，得到扫描场景的完整点云数据。
进一步，步骤1-5)包括以下分步骤：将步骤1-4)得到的映射图像与标靶纸模板进行匹配，选择模板中心周围±2的像素点作为标靶纸映射图像的中心，并将中心所对应的三维点云数据作为标靶纸中心的计算数据，将计算数据取平均值，得到估计的标靶纸中心。
进一步，步骤1-6)包括以下分步骤：利用两站扫描点云数据之间的公共标靶纸中心，将点云数据进行拼接，拼接时，用X’与Y’分别表示待拼接的两站点云数据的标靶纸中心集合，从X’与Y’中选择三个不共线的标靶纸进行全排列，并将全排列结果依次对应进行计算，针对每一种对应方式，利用下述公式计算旋转矩阵R和平移矩阵T：
Figure BDA0003492432900000031
W＝UΣVT (2)
R＝UVT (3)
T＝μq-Rμp (4)
其中，pi和qi分别是X’与Y’中的对应标靶纸中心，μp和μq分别是参与计算的对应标靶纸中心的均值，n为选择的公共标靶纸的数量， n＝3；W为协方差矩阵；对角矩阵Σ、左奇异向量U以及右奇异向量 V均由矩阵W奇异值分解得到，最优变换矩阵Ropt与Topt通过公式(5) 确定：
Figure BDA0003492432900000032
进一步，步骤2)包括以下分步骤：根据步骤1-6)计算的最优平移变换得到拼接之后扫描仪的坐标，通过设置Z坐标的上限值和下限值，每一个扫描仪都能确定两个数据点，利用这些数据点生成包含扫描对象的包围框，提取位于包围框之内的点云数据，获取扫描对象的完整点云数据以及相应的地面点云数据。
进一步，步骤4)包括以下分步骤：遍历BIM模型的每个实体元素，得到组成该实体元素的多个面，将每一个面转化成用多个三角形拟合的曲面；针对每一个三角形，以设定的网格尺寸在上面划分网格，提取网格的交点以及网格与边的交点生成点云数据。
进一步，步骤5)包括以下分步骤：
5-1)将所有数据点X中心化，针对任意数据点xi：
Figure 100002_1
其中，m为数据点的总量；
5-2)计算所有数据点的协方差矩阵XXT，并对协方差矩阵做特征值分解：
XXTwi＝λiwi (7)
其中，λi为特征值，wi为特征向量；
5-3)根据低维空间的维数d'，取最大的d'个特征值对应的特征向量w1,w2,...,wd'组成投影矩阵，将投影矩阵与点云数据相乘，即得到降维之后的点云数据。
进一步，步骤7)包括以下分步骤：
7-1)分别计算图像在x方向和y方向的梯度X”和Y”，计算公式为：
Figure BDA0003492432900000041
Figure BDA0003492432900000042
其中，I表示图像强度；
7-2)根据图像梯度计算矩阵M，计算公式为：
Figure BDA0003492432900000043
Figure BDA0003492432900000044
Figure BDA0003492432900000045
Figure BDA0003492432900000046
其中，w为窗口函数；
7-3)计算矩阵M的迹Tr和行列式Det的值，并计算每个像素的响应R：
Tr(M)＝A+B (14)
Det(M)＝AB-C2 (15)
R＝Det-kTr2 (16)
其中k为参数，介于0.04到0.06之间。
进一步，步骤8)包括以下分步骤：
8-1)设置一个90°的阳角模板，并将其围绕中心旋转360度，形成N个阳角模板；
8-2)针对步骤7)得到的每一个角点，提取以该角点为中心形成的正方形窗口内的图像，并将该窗口依次与N个模板作差，同时将结果的绝对值与权重矩阵点乘，得到与N个模板对应的N个分数，选择N个分数中的最小值作为该角点的分数；
8-3)在所有的角点中，选择分数大于最高分数的设定比例的角点作为关键点。
进一步，步骤12)包括以下分步骤：针对每一个扫描数据点，在BIM模型中寻找其最近邻的数据点，并计算该数据点到其最近邻所在平面的距离，将计算的距离作为该最近邻的标签，显示在BIM模型中，得到该构件的尺寸偏差。
本发明的技术效果是毋庸置疑的，本发明自动获取待检测构件的点云数据并进行智能处理的过程，在保证了测量结果准确性的同时，简化了人工手动测量的繁琐，提高了工作效率，更有效解决了大型复杂构件的尺寸质量难以测量的难题。
附图说明
图1为本发明方法的流程图；
图2为YOLOv5模型检测标靶纸的结果示例；
图3为标靶纸中心估计结果示例；
图4为扫描构件的点云数据提取；
图5为BIM设计模型及其离散化的点云数据；
图6为构件点云数据映射的二值图像；
图7为基于Harris算法检测的角点；
图8为基于阳角模板匹配方法得到的关键点；
图9为构件相对于BIM设计模型的尺寸偏差。
具体实施方式
下面结合实施例对本发明作进一步说明，但不应该理解为本发明上述主题范围仅限于下述实施例。在不脱离本发明上述技术思想的情况下，根据本领域普通技术知识和惯用手段，做出各种替换和变更，均应包括在本发明的保护范围内。
实施例1：
参见图1，本实施例公开了一种基于点云数据的大型复杂构件智能化检测方法，包括以下步骤：
1)在待检测的构件周围布置标靶纸，使用三维激光扫描仪扫描构件，获取有序点云数据；
具体实施时，为了保证能够获取待测构件的完整点云数据，需要使用三维激光扫描仪从不同的角度进行多次扫描，扫描时需保证两次扫描点云数据中至少有三个不共线的公共标靶纸。
2)利用阵列信息将有序点云数据按照其色彩数据映射成全景图；
3)使用YOLOv5模型检测全景图中的标靶纸，得到标靶纸点云数据；
具体实施时，使用经过训练的YOLOv5神经网络模型检测全景图中标靶纸的位置，训练YOLOv5模型所用的数据集中不仅包含由相机和三维激光扫描仪拍摄的图片，还含有经过数据增强操作处理的图片，包括多角度拍摄、球面投影、图像模糊以及灰度图像转换等。如图2所示为标靶纸检测结果的三个示例。
4)针对步骤3)得到的每一个标靶纸点云数据，使用PCA算法将其映射到二维空间，并基于一定的网格尺寸转化为图像；
具体实施时，在实例计算中采用的网格尺寸为2mm。
5)将步骤4)得到的标靶纸映射图像与标靶纸模板进行匹配，估计标靶纸的中心；
具体实施时，将步骤4)得到的映射图像与标靶纸模板进行匹配，选择模板中心周围±2的像素点作为标靶纸映射图像的中心，并将中心所对应的三维点云数据作为标靶纸中心的计算数据，将计算数据取平均值，得到标靶纸中心。如图3所示，图3a为标靶纸模板，3b 为匹配结果，3c为标靶纸中心估计结果。
6)基于步骤5)得到的标靶纸中心，将各站点云数据进行拼接，得到扫描场景的完整点云数据；
具体实施时，利用两站之间的公共标靶纸中心，将扫描的点云数据进行匹配，配准方法的原理描述为：用X’与Y’分别表示待配准的两站点云数据中的标靶纸中心集合，从X’与Y’中选择三个不共线的标靶纸进行全排列，并将全排列结果依次对应进行计算。针对每一种对应方式，利用下述公式计算旋转矩阵R和平移矩阵T：
Figure BDA0003492432900000061
W＝UΣVT (2)
R＝UVT (3)
T＝μq-Rμp (4)
其中，pi和qi分别是X’与Y’中的对应标靶纸中心，μp和μq分别是参与计算的对应标靶纸中心的均值，n为选择的公共标靶纸的数量， n＝3；W为协方差矩阵；对角矩阵Σ、左奇异向量U以及右奇异向量V均由矩阵W奇异值分解得到，最优变换矩阵Ropt与Topt通过公式(5)确定：
Figure BDA0003492432900000071
7)利用扫描仪的位置作为先验知识生成一个包含扫描物体的包围框，提取位于包围框之内的点云数据；
具体实施时，扫描图4中所示的钢支撑需要从不同的位置扫描四次，拼接之后扫描仪的位置等于步骤6)中计算的最优平移变换，设置Z坐标的下限值为提取点云数据的Z坐标的最小值，下限值加上2m得到上限值，共得到8个数据点。利用八个数据点生成一个包围框，提取位于包围框之内的点云数据，即得到扫描对象的完整点云数据以及相应的地面点云数据。
8)针对步骤7)提取的点云数据，使用RANSAC算法去除地面点，得到扫描构件的完整点云数据；
9)将待测构件的BIM模型离散化，转化成点云数据；
具体实施时，基于Revit软件的API开发一个插件，调用该插件将选中的BIM模型输出为点云数据。所述方法的基本原理为：遍历BIM模型的每个实体元素，得到其包含的多个面，将每一个面转化成用三角形拟合的曲面，得到组成曲面的多个三角形。针对每一个三角形，以设定的网格尺寸在面上划分网格，提取网格的交点以及网格与边的交点的位置生成点云数据，数据点的法向量为所在面的法向量。
本实施例计算中取网格尺寸为5mm，如图5a和5b所示的分别为 BIM模型和离散化之后的点云数据。
10)将步骤8)和步骤9)获取的点云数据分别使用PCA算法映射到二维空间，并转化成二值图像；
具体实施时，使用PCA算法将构件的扫描点云数据和BIM模型映射到其主平面，然后在二维点云数据中划分网格，若网格内包含至少一个数据点，则该网格对应像素点的灰度值为0，代表二值图像中的黑色；否则，灰度值为255，代表白色。所述PCA算法的基本原理为：首先，将所有数据点X中心化，针对任意数据点xi，
Figure 2
其中m为数据点的总量。然后计算所有数据点的协方差矩阵 XXT，并对协方差矩阵做特征值分解：
XXTwi＝λiwi (7)
其中，λi为特征值，wi为特征向量。
根据低维空间的维数d'，本实施例选取二维空间，取最大的d'个特征值对应的特征向量w1,w2,...,wd'组成投影矩阵，将投影矩阵与点云数据相乘，即得到降维之后的点云数据。
本发明在实例计算中，取网格尺寸为15mm，如图6所示为图5 中点云数据映射的二值图像。
11)使用形态学开操作处理步骤10)得到的二值图像，去掉图像中的白色噪点；
12)使用Harris算法处理步骤11)输出的图像，提取图像中的角点；
具体实施时，使用Harris算法逐个计算像素点的响应。在所有的像素点中，选择响应值大于最大响应的设定比例的点作为角点。所述Harris算法的基本原理为：首先，分别计算图像在x方向和y方向的梯度X”和Y”，计算公式为：
Figure BDA0003492432900000082
Figure BDA0003492432900000083
其中，I表示图像强度；
7-2)根据图像梯度计算矩阵M，计算公式为：
Figure BDA0003492432900000084
Figure BDA0003492432900000085
Figure BDA0003492432900000086
Figure BDA0003492432900000087
其中，w为窗口函数；
7-3)计算矩阵M的迹Tr和行列式Det的值，并计算每个像素的响应R：
Tr(M)＝A+B (14)
Det(M)＝AB-C2 (15)
R＝Det-kTr2 (16)
其中，k为参数，介于0.04到0.06之间。
本实施例计算中的响应设定比例为10％，检测的角点如图7所示。
13)针对步骤12)得到的每一个角点，使用阳角模板匹配的方法筛选出位于构件阳角处的数据点作为关键点；
具体实施时，使用阳角模板匹配方法对角点做进一步筛选，获取位于构件阳角处的数据点作为关键点。所述阳角模板匹配方法的基本原理为：首先设置一个90°的阳角模板，并将其围绕中心旋转 360度，形成N个阳角模板；针对步骤12)得到的每一个角点，提取以该角点为中心形成的正方形窗口内的图像，并将该窗口依次与N 个模板作差，同时将结果的绝对值与权重矩阵点乘，得到与N个模板对应的N个分数，选择N个分数中的最小值作为该角点的分数；在所有的角点中，选择分数大于最高分数的设定比例的角点作为关键点。
本实施例计算中采用设定比例为40％，阳角模板的数量N为15，得到的关键点如图8所示。
14)将步骤13)中获得的扫描点云数据的关键点集与BIM模型关键点集利用Super4PCS算法计算空间刚体变换矩阵，实现两组点云数据的粗配准；
15)在步骤14)得到的配准结果的基础上，利用ICP算法进一步迭代，收敛后输出最佳刚体变换矩阵，实现两组点云数据的精确匹配；
16)选择距离BIM模型在一定范围内的扫描数据点作为待检测构件的点云数据，以去除扫描点云数据中的噪点和无关点；
本实施例计算中取用的范围阈值为1cm。
17)将BIM模型与步骤16)得到的扫描点云数据进行对比，得到构件的尺寸偏差；
具体实施时，针对每一个扫描数据点，利用kd-tree算法在BIM 模型中寻找其最近邻，并计算该数据点到其最近邻所在平面的距离，距离的正负性由最近邻的法线方向决定，将计算的距离作为该最近邻的标签，显示在BIM模型中，即得到该构件的尺寸偏差，示例钢支撑的尺寸偏差如图9所示。
上述实验效果证明，本发明公开的一种基于点云数据的大型复杂构件智能化检测方法能够完成扫描点云数据之间的自动拼接以及构件点云数据的自动提取，经过扫描点云数据与BIM模型的智能配准后，能够给出大型复杂构件的尺寸偏差，本发明所述方法是切实有效的。
实施例2：
参见图1，本实施例公开了一种基于点云数据的大型复杂构件智能化检测方法，包括以下步骤：
1)采用标靶拼接法对多个测站点云数据进行点云拼接，得到扫描场景的完整点云数据；
2)利用扫描仪的位置作为先验知识生成一个包含扫描物体的包围框，提取位于包围框之内的点云数据；
3)针对步骤2)提取的点云数据，使用RANSAC算法去除地面点，得到扫描构件的完整点云数据；
4)将待测构件的BIM模型离散化，转化成点云数据；
5)将步骤3)和步骤4)获取的点云数据分别使用PCA算法映射到二维空间，并转化成二值图像；
6)使用形态学开操作处理步骤5)得到的二值图像，去掉图像中的白色噪点；
7)使用Harris算法处理步骤6)输出的图像，提取图像中的角点；
8)针对步骤7)得到的每一个角点，使用阳角模板匹配的方法筛选出位于构件阳角处的数据点作为关键点；
9)基于步骤8)中获得的扫描点云数据的关键点集与BIM模型关键点集，利用Super4PCS算法计算空间刚体变换矩阵，实现两组点云数据的粗配准；
10)在步骤9)得到的配准结果的基础上，利用ICP算法进一步迭代，收敛后输出最佳刚体变换矩阵，实现两组点云数据的精确匹配；
11)选择距离BIM模型在设定范围内的扫描数据点作为待检测构件的点云数据，以去除扫描点云数据中的噪点和无关点；
12)将BIM模型与步骤11)得到的扫描点云数据进行对比，得到构件的尺寸偏差。
实施例3：
本实施例主要步骤同实施例2，进一步，步骤1)包括以下分步骤：
1-1)在待检测的构件周围布置标靶纸，使用三维激光扫描仪扫描构件，获取有序点云数据；
1-2)利用阵列信息将有序点云数据按照其色彩数据映射成全景图；
1-3)使用YOLOv5模型检测全景图中的标靶纸，得到标靶纸点云数据；
1-4)使用PCA算法将步骤1-3)得到的每一个标靶纸点云数据映射到二维空间，并转化为图像；
1-5)将步骤1-4)得到的标靶纸映射图像与标靶纸模板进行匹配，确定标靶纸的中心；
1-6)基于步骤1-5)得到的标靶纸中心，将各站点云数据进行拼接，得到扫描场景的完整点云数据。
实施例4：
本实施例主要步骤同实施例3，进一步，步骤1-5)包括以下分步骤：将步骤1-4)得到的映射图像与标靶纸模板进行匹配，选择模板中心周围±2的像素点作为标靶纸映射图像的中心，并将中心所对应的三维点云数据作为标靶纸中心的计算数据，将计算数据取平均值，得到估计的标靶纸中心。
实施例5：
本实施例主要步骤同实施例3，进一步，步骤1-6)包括以下分步骤：利用两站扫描点云数据之间的公共标靶纸中心，将点云数据进行拼接，拼接时，用X’与Y’分别表示待拼接的两站点云数据的标靶纸中心集合，从X’与Y’中选择三个不共线的标靶纸进行全排列，并将全排列结果依次对应进行计算，针对每一种对应方式，利用下述公式计算旋转矩阵R和平移矩阵T：
Figure BDA0003492432900000111
W＝UΣVT (2)
R＝UVT (3)
T＝μq-Rμp (4)
其中，pi和qi分别是X’与Y’中的对应标靶纸中心，μp和μq分别是参与计算的对应标靶纸中心的均值，n为选择的公共标靶纸的数量， n＝3；W为协方差矩阵；对角矩阵Σ、左奇异向量U以及右奇异向量 V均由矩阵W奇异值分解得到，最优变换矩阵Ropt与Topt通过公式(5) 确定：
Figure BDA0003492432900000121
实施例6：
本实施例主要步骤同实施例2，进一步，步骤2)包括以下分步骤：根据步骤1-6)计算的最优平移变换得到拼接之后扫描仪的坐标，通过设置Z坐标的上限值和下限值，每一个扫描仪都能确定两个数据点，利用这些数据点生成包含扫描对象的包围框，提取位于包围框之内的点云数据，获取扫描对象的完整点云数据以及相应的地面点云数据。
实施例7：
本实施例主要步骤同实施例2，进一步，步骤4)包括以下分步骤：遍历BIM模型的每个实体元素，得到组成该实体元素的多个面，将每一个面转化成用多个三角形拟合的曲面；针对每一个三角形，以设定的网格尺寸在上面划分网格，提取网格的交点以及网格与边的交点生成点云数据。
实施例8：
本实施例主要步骤同实施例2，进一步，步骤5)包括以下分步骤：
5-1)将所有数据点X中心化，针对任意数据点xi：
Figure 3
其中，m为数据点的总量。
5-2)计算所有数据点的协方差矩阵XXT，并对协方差矩阵做特征值分解：
XXTwi＝λiwi (7)
其中，λi为特征值，wi为特征向量；
5-3)根据低维空间的维数d'，取最大的d'个特征值对应的特征向量w1,w2,...,wd'组成投影矩阵，将投影矩阵与点云数据相乘，即得到降维之后的点云数据。
实施例9：
本实施例主要步骤同实施例2，进一步，步骤7)包括以下分步骤：
7-1)分别计算图像在x方向和y方向的梯度X”和Y”，计算公式为：
Figure BDA0003492432900000131
Figure BDA0003492432900000132
其中，I表示图像强度；
7-2)根据图像梯度计算矩阵M，计算公式为：
Figure BDA0003492432900000133
Figure BDA0003492432900000134
Figure BDA0003492432900000135
Figure BDA0003492432900000136
其中，w为窗口函数；
7-3)计算矩阵M的迹Tr和行列式Det的值，并计算每个像素的响应R：
Tr(M)＝A+B (14)
Det(M)＝AB-C2 (15)
R＝Det-kTr2 (16)
其中k为参数，介于0.04到0.06之间。
实施例10：
本实施例主要步骤同实施例2，进一步，步骤8)包括以下分步骤：
8-1)设置一个90°的阳角模板，并将其围绕中心旋转360度，形成N个阳角模板；
8-2)针对步骤7)得到的每一个角点，提取以该角点为中心形成的正方形窗口内的图像，并将该窗口依次与N个模板作差，同时将结果的绝对值与权重矩阵点乘，得到与N个模板对应的N个分数，选择N个分数中的最小值作为该角点的分数；
8-3)在所有的角点中，选择分数大于最高分数的设定比例的角点作为关键点。
实施例11：
本实施例主要步骤同实施例2，进一步，步骤12)包括以下分步骤：针对每一个扫描数据点，在BIM模型中寻找其最近邻的数据点，并计算该数据点到其最近邻所在平面的距离，将计算的距离作为该最近邻的标签，显示在BIM模型中，得到该构件的尺寸偏差。

Claims (10)

1.一种基于点云数据的大型复杂构件智能化检测方法，其特征在于：包括以下步骤：
1)采用标靶拼接法对多个测站点云数据进行点云拼接，得到扫描场景的完整点云数据；
2)利用扫描仪的位置作为先验知识生成一个包含扫描物体的包围框，提取位于包围框之内的点云数据；
3)针对步骤2)提取的点云数据，使用RANSAC算法去除地面点，得到扫描构件的完整点云数据；
4)将待测构件的BIM模型离散化，转化成点云数据；
5)将步骤3)和步骤4)获取的点云数据分别使用PCA算法映射到二维空间，并转化成二值图像；
6)使用形态学开操作处理步骤5)得到的二值图像，去掉图像中的白色噪点；
7)使用Harris算法处理步骤6)输出的图像，提取图像中的角点；
8)针对步骤7)得到的每一个角点，使用阳角模板匹配的方法筛选出位于构件阳角处的数据点作为关键点；
9)基于步骤8)中获得的扫描点云数据的关键点集与BIM模型关键点集，利用Super4PCS算法计算空间刚体变换矩阵，实现两组点云数据的粗配准；
10)在步骤9)得到的配准结果的基础上，利用ICP算法进一步迭代，收敛后输出最佳刚体变换矩阵，实现两组点云数据的精确匹配；
11)选择距离BIM模型在设定范围内的扫描数据点作为待检测构件的点云数据，以去除扫描点云数据中的噪点和无关点；
12)将BIM模型与步骤11)得到的扫描点云数据进行对比，得到构件的尺寸偏差。
2.根据权利要求1所述的一种基于点云数据的大型复杂构件智能化检测方法，其特征在于：步骤1)包括以下分步骤：
1-1)在待检测的构件周围布置标靶纸，使用三维激光扫描仪扫描构件，获取有序点云数据；
1-2)利用阵列信息将有序点云数据按照其色彩数据映射成全景图；
1-3)使用YOLOv5模型检测全景图中的标靶纸，得到标靶纸点云数据；
1-4)使用PCA算法将步骤1-3)得到的每一个标靶纸点云数据映射到二维空间，并转化为图像；
1-5)将步骤1-4)得到的标靶纸映射图像与标靶纸模板进行匹配，确定标靶纸的中心；
1-6)基于步骤1-5)得到的标靶纸中心，将各站点云数据进行拼接，得到扫描场景的完整点云数据。
3.根据权利要求2所述的一种基于点云数据的大型复杂构件智能化检测方法，其特征在于：步骤1-5)包括以下分步骤：将步骤1-4)得到的映射图像与标靶纸模板进行匹配，选择模板中心周围±2的像素点作为标靶纸映射图像的中心，并将中心所对应的三维点云数据作为标靶纸中心的计算数据，将计算数据取平均值，得到估计的标靶纸中心。
4.根据权利要求2所述的一种基于点云数据的大型复杂构件智能化检测方法，其特征在于：步骤1-6)包括以下分步骤：利用两站扫描点云数据之间的公共标靶纸中心，将点云数据进行拼接，拼接时，用X’与Y’分别表示待拼接的两站点云数据的标靶纸中心集合，从X’与Y’中选择三个不共线的标靶纸进行全排列，并将全排列结果依次对应进行计算，针对每一种对应方式，利用下述公式计算旋转矩阵R和平移矩阵T：
Figure FDA0003492432890000021
W＝UΣVT (2)
R＝UVT (3)
T＝μq-Rμp (4)
其中，pi和qi分别是X’与Y’中的对应标靶纸中心，μp和μq分别是参与计算的对应标靶纸中心的均值，n为选择的公共标靶纸的数量，n＝3；W为协方差矩阵；对角矩阵Σ、左奇异向量U以及右奇异向量V均由矩阵W奇异值分解得到，最优变换矩阵Ropt与Topt通过公式(5)确定：
Figure FDA0003492432890000031
5.根据权利要求1所述的一种基于点云数据的大型复杂构件智能化检测方法，其特征在于：步骤2)包括以下分步骤：根据步骤1-6)计算的最优平移变换得到拼接之后扫描仪的坐标，通过设置Z坐标的上限值和下限值，每一个扫描仪都能确定两个数据点，利用这些数据点生成包含扫描对象的包围框，提取位于包围框之内的点云数据，获取扫描对象的完整点云数据以及相应的地面点云数据。
6.根据权利要求1所述的一种基于点云数据的大型复杂构件智能化检测方法，其特征在于：步骤4)包括以下分步骤：遍历BIM模型的每个实体元素，得到组成该实体元素的多个面，将每一个面转化成用多个三角形拟合的曲面；针对每一个三角形，以设定的网格尺寸在上面划分网格，提取网格的交点以及网格与边的交点生成点云数据。
7.根据权利要求1所述的一种基于点云数据的大型复杂构件智能化检测方法，其特征在于：步骤5)包括以下分步骤：
5-1)将所有数据点X中心化，针对任意数据点xi：
Figure 1
其中，m为数据点的总量；
5-2)计算所有数据点的协方差矩阵XXT，并对协方差矩阵做特征值分解：
XXTwi＝λiwi (7)
其中，λi为特征值，wi为特征向量；
5-3)根据低维空间的维数d'，取最大的d'个特征值对应的特征向量w1,w2,...,wd'组成投影矩阵，将投影矩阵与点云数据相乘，即得到降维之后的点云数据。
8.根据权利要求1所述的一种基于点云数据的大型复杂构件智能化检测方法，其特征在于：步骤7)包括以下分步骤：
7-1)分别计算图像在x方向和y方向的梯度X”和Y”，计算公式为：
Figure FDA0003492432890000033
Figure FDA0003492432890000041
其中，I表示图像强度；
7-2)根据图像梯度计算矩阵M，计算公式为：
Figure FDA0003492432890000042
Figure FDA0003492432890000043
Figure FDA0003492432890000044
Figure FDA0003492432890000045
其中，w为窗口函数；
7-3)计算矩阵M的迹Tr和行列式Det的值，并计算每个像素的响应R：
Tr(M)＝A+B (14)
Det(M)＝AB-C2 (15)
R＝Det-kTr2 (16)
其中k为参数，介于0.04到0.06之间。
9.根据权利要求1所述的一种基于点云数据的大型复杂构件智能化检测方法，其特征在于：步骤8)包括以下分步骤：
8-1)设置一个90°的阳角模板，并将其围绕中心旋转360度，形成N个阳角模板；
8-2)针对步骤7)得到的每一个角点，提取以该角点为中心形成的正方形窗口内的图像，并将该窗口依次与N个模板作差，同时将结果的绝对值与权重矩阵点乘，得到与N个模板对应的N个分数，选择N个分数中的最小值作为该角点的分数；
8-3)在所有的角点中，选择分数大于最高分数的设定比例的角点作为关键点。
10.根据权利要求1所述的一种基于点云数据的大型复杂构件智能化检测方法，其特征在于：步骤12)包括以下分步骤：针对每一个扫描数据点，在BIM模型中寻找其最近邻的数据点，并计算该数据点到其最近邻所在平面的距离，将计算的距离作为该最近邻的标签，显示在BIM模型中，得到该构件的尺寸偏差。
CN202210100995.3A 2022-01-27 2022-01-27 一种基于点云数据的大型复杂构件智能化检测方法 Active CN114549780B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210100995.3A CN114549780B (zh) 2022-01-27 2022-01-27 一种基于点云数据的大型复杂构件智能化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210100995.3A CN114549780B (zh) 2022-01-27 2022-01-27 一种基于点云数据的大型复杂构件智能化检测方法

Publications (2)

Publication Number Publication Date
CN114549780A true CN114549780A (zh) 2022-05-27
CN114549780B CN114549780B (zh) 2024-04-05

Family

ID=81672628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210100995.3A Active CN114549780B (zh) 2022-01-27 2022-01-27 一种基于点云数据的大型复杂构件智能化检测方法

Country Status (1)

Country Link
CN (1) CN114549780B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117455905A (zh) * 2023-12-20 2024-01-26 深圳大学 模块化集成建筑构件智能检测方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931234A (zh) * 2016-04-19 2016-09-07 东北林业大学 一种地面三维激光扫描点云与影像融合及配准的方法
EP3223191A1 (en) * 2016-03-23 2017-09-27 Leica Geosystems AG Creation of a 3d city model from oblique imaging and lidar data
US20180053347A1 (en) * 2016-08-22 2018-02-22 Pointivo, Inc. Methods and systems for wireframes of a structure or element of interest and wireframes generated therefrom
CN208314859U (zh) * 2018-06-20 2019-01-01 中国建筑第八工程局有限公司 预制构件安装定位装置
CN110060344A (zh) * 2019-04-25 2019-07-26 重庆大学 一种基于点云数据的预制构件整体尺寸逆向建模方法
US20200005447A1 (en) * 2018-07-02 2020-01-02 Sri International Computer aided rebar measurement and inspection system
CN111369607A (zh) * 2020-05-26 2020-07-03 上海建工集团股份有限公司 一种基于图片解析的预制构件拼装匹配方法
CN112417564A (zh) * 2020-11-23 2021-02-26 江苏科技大学 基于三维激光扫描与bim技术的节段梁预制施工监控方法
US11037346B1 (en) * 2020-04-29 2021-06-15 Nanjing University Of Aeronautics And Astronautics Multi-station scanning global point cloud registration method based on graph optimization
CN114282775A (zh) * 2021-12-06 2022-04-05 中交一公局第七工程有限公司 一种基于bim的桥梁质量检测方法、存储介质及设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3223191A1 (en) * 2016-03-23 2017-09-27 Leica Geosystems AG Creation of a 3d city model from oblique imaging and lidar data
CN105931234A (zh) * 2016-04-19 2016-09-07 东北林业大学 一种地面三维激光扫描点云与影像融合及配准的方法
US20180053347A1 (en) * 2016-08-22 2018-02-22 Pointivo, Inc. Methods and systems for wireframes of a structure or element of interest and wireframes generated therefrom
CN208314859U (zh) * 2018-06-20 2019-01-01 中国建筑第八工程局有限公司 预制构件安装定位装置
US20200005447A1 (en) * 2018-07-02 2020-01-02 Sri International Computer aided rebar measurement and inspection system
CN110060344A (zh) * 2019-04-25 2019-07-26 重庆大学 一种基于点云数据的预制构件整体尺寸逆向建模方法
US11037346B1 (en) * 2020-04-29 2021-06-15 Nanjing University Of Aeronautics And Astronautics Multi-station scanning global point cloud registration method based on graph optimization
CN111369607A (zh) * 2020-05-26 2020-07-03 上海建工集团股份有限公司 一种基于图片解析的预制构件拼装匹配方法
CN112417564A (zh) * 2020-11-23 2021-02-26 江苏科技大学 基于三维激光扫描与bim技术的节段梁预制施工监控方法
CN114282775A (zh) * 2021-12-06 2022-04-05 中交一公局第七工程有限公司 一种基于bim的桥梁质量检测方法、存储介质及设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHENG GUOZHONG: "Intelligent inspection method for dimensional quality of complex high-rise structures", JOURNAL OF BUILDING STRUCTURES, vol. 43, no. 7, 21 July 2022 (2022-07-21) *
周绪红: "基于点云数据的大型复杂钢拱桥智能虚拟预拼装方法[", 中国公路学报, vol. 34, no. 11, 15 November 2021 (2021-11-15) *
姚习红: "三维激光扫描建筑信息建模技术在超高层钢结构变形监测中的应用", 工业建筑, vol. 49, no. 2, 20 February 2019 (2019-02-20) *
程国忠: "复杂超高层结构尺寸质量智能化检测方法", 建筑结构学报, vol. 43, no. 7, 21 July 2022 (2022-07-21) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117455905A (zh) * 2023-12-20 2024-01-26 深圳大学 模块化集成建筑构件智能检测方法及系统
CN117455905B (zh) * 2023-12-20 2024-03-22 深圳大学 模块化集成建筑构件智能检测方法及系统

Also Published As

Publication number Publication date
CN114549780B (zh) 2024-04-05

Similar Documents

Publication Publication Date Title
CN110443836B (zh) 一种基于平面特征的点云数据自动配准方法及装置
CN109615611B (zh) 一种基于巡检影像的绝缘子自爆缺陷检测方法
US7526140B2 (en) Model-based localization and measurement of miniature surface mount components
CN107767456A (zh) 一种基于rgb‑d相机的物体三维重建方法
CN106384383A (zh) 一种基于fast和freak特征匹配算法的rgb‑d和slam场景重建方法
JP6899189B2 (ja) ビジョンシステムで画像内のプローブを効率的に採点するためのシステム及び方法
Urban et al. Finding a good feature detector-descriptor combination for the 2D keypoint-based registration of TLS point clouds
CN112734844B (zh) 一种基于正八面体的单目6d位姿估计方法
CN108665468B (zh) 一种提取直线塔绝缘子串的装置及方法
Liang et al. Automatic registration of terrestrial laser scanning data using precisely located artificial planar targets
CN105787870A (zh) 一种图形图像拼接融合系统
WO2020136523A1 (en) System and method for the recognition of geometric shapes
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
Li et al. A deep learning-based indoor acceptance system for assessment on flatness and verticality quality of concrete surfaces
CN114549780A (zh) 一种基于点云数据的大型复杂构件智能化检测方法
Junior et al. A new variant of the ICP algorithm for pairwise 3D point cloud registration
CN111260735B (zh) 一种单次拍摄的lidar与全景相机的外参数标定方法
CN113642397A (zh) 一种基于手机视频的物体长度测量方法
CN112767459A (zh) 基于2d-3d转换的无人机激光点云与序列影像配准方法
Zhu et al. A fast and accurate algorithm for chessboard corner detection
Tan et al. Automatic registration method of multi-source point clouds based on building facades matching in urban scenes
Kim et al. An automatic robust point cloud registration on construction sites
CN111145201B (zh) 一种稳健快速的无人机摄影测量标志检测与定位方法
Zhang et al. Non-rigid registration of mural images and laser scanning data based on the optimization of the edges of interest
Liang et al. Semiautomatic registration of terrestrial laser scanning data using perspective intensity images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant