CN116758237A - 一种基于实时建模的装配建筑监测系统 - Google Patents

一种基于实时建模的装配建筑监测系统 Download PDF

Info

Publication number
CN116758237A
CN116758237A CN202311035784.7A CN202311035784A CN116758237A CN 116758237 A CN116758237 A CN 116758237A CN 202311035784 A CN202311035784 A CN 202311035784A CN 116758237 A CN116758237 A CN 116758237A
Authority
CN
China
Prior art keywords
assembled
rotation angle
coordinate system
image
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311035784.7A
Other languages
English (en)
Other versions
CN116758237B (zh
Inventor
贾义雨
张军
张敬辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Mengshan Steel Structure Engineering Co ltd
Original Assignee
Shandong Mengshan Steel Structure Engineering Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Mengshan Steel Structure Engineering Co ltd filed Critical Shandong Mengshan Steel Structure Engineering Co ltd
Priority to CN202311035784.7A priority Critical patent/CN116758237B/zh
Publication of CN116758237A publication Critical patent/CN116758237A/zh
Application granted granted Critical
Publication of CN116758237B publication Critical patent/CN116758237B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/04—Architectural design, interior design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于实时建模的装配建筑监测系统，属于装配建筑监测技术领域，包括预扫描模块、吊升过程监测模块等模块。本发明通过预扫描获取待装配构件表面预设置的标识线上的特征点与待装配构件表面其余点在标准姿态下的坐标关系，再获取吊升过程深度视频，根据吊升过程深度视频对待装配构件相对于世界坐标系的三轴旋转角度值进行检测，并获取吊升过程深度视频的每帧中标识线上的特征点在世界坐标系中的坐标，结合已知的坐标关系，利用几何投影原理，计算出吊升过程深度视频中各时刻的待装配构件表面所有点在世界坐标系中的实时坐标，用于后续的建模工作中，同时能够基于三轴旋转角度值对单次吊升过程进行准确评分。

Description

一种基于实时建模的装配建筑监测系统
技术领域
本发明涉及装配建筑监测技术领域，具体涉及一种基于实时建模的装配建筑监测系统。
背景技术
装配式建筑是指把传统建造方式中的大量现场作业工作转移到工厂进行，在工厂加工制作好建筑用构件和配件（如楼板、墙板、楼梯、阳台等），运输到建筑施工现场，通过可靠的连接方式在现场装配安装而成的建筑。装配式建筑主要包括预制装配式混凝土结构、钢结构、现代木结构建筑等，因为采用标准化设计、工厂化生产、装配化施工、信息化管理、智能化应用，是现代工业化生产方式的代表。装配式建筑的主要特点如下：大量的建筑部品由车间生产加工完成，构件种类主要有：外墙板，内墙板，叠合板，阳台，空调板，楼梯，预制梁，预制柱等；现场大量的装配作业，比原始现浇作业大大减少；采用建筑、装修一体化设计、施工，理想状态是装修可随主体施工同步进行；设计的标准化和管理的信息化，构件越标准，生产效率越高，相应的构件成本就会下降，配合工厂的数字化管理，整个装配式建筑的性价比会越来越高；符合绿色建筑的要求。
在墙板等规则形状构件的装配过程中，需要对待装配构件进行吊升转移；在吊升转移过程中，由于操作不当等问题待装配构件常会出现旋转，旋转时待装配构件会与吊具产生不必要的摩擦，严重时会对待装配构件造成损伤，而且不利于后续的安装过程，如何对待装配构件的吊升转移过程进行监测，是一个亟待解决的问题。为此，提出一种基于实时建模的装配建筑监测系统。
发明内容
本发明所要解决的技术问题在于：如何对待装配构件的吊升转移过程进行监测，提供了一种基于实时建模的装配建筑监测系统。
本发明是通过以下技术方案解决上述技术问题的，本发明包括预扫描模块、吊升过程监测模块、实时建模模块、吊升过程评分模块；
所述预扫描模块，用于通过第一深度相机对待装配构件进行预扫描工作，获取待装配构件表面预设置的标识线上的特征点与待装配构件表面其余点在标准姿态下的坐标关系；
所述吊升过程监测模块，用于获取吊升过程深度视频，根据吊升过程深度视频对待装配构件相对于世界坐标系的三轴旋转角度值进行检测；
所述实时建模模块，用于根据吊升过程中待装配构件相对于世界坐标系的三轴旋转角度值，结合待装配构件表面预设置的标识线上的特征点与待装配构件表面其余点在标准姿态下的坐标关系，对待装配构件的吊升过程进行建模；
所述吊升过程评分模块，用于对单次吊升过程进行评分，得到吊升过程评分。
更进一步地，所述预扫描模块包括预扫描单元、坐标关系获取单元；所述预扫描单元用于通过第一深度相机对待装配构件进行拍摄，获取深度图像；所述坐标关系获取单元，用于根据深度图像与第一深度相机的内外参数进行计算，得到待装配构件表面所有点在世界坐标系中的坐标，并对标准姿态深度图像中待装配构件表面预设置的标识线上的特征点进行检测，获取标识线上的特征点与待装配构件表面其余点在标准姿态下的坐标关系。
更进一步地，在所述预扫描单元中，获取的深度图像中包括第一深度相机的光轴垂直于预设置的标识线所在平面的深度图像，该深度图像为标准姿态深度图像，即待装配构件未发生旋转时的深度图像。
更进一步地，所述坐标关系获取单元的具体处理过程如下：
S11：将深度图像转换为点云数据；
S12：通过第一深度相机的内外参数和步骤S11中转换得到的点云数据进行计算，得到待装配构件表面所有点在世界坐标系中的坐标；
S13：从获取的深度图像中，选取第一深度相机的光轴垂直于预设置的标识线所在平面的深度图像，即标准姿态深度图像，也即待装配构件未发生旋转时的深度图像；
S14：利用目标检测模型对标准姿态深度图像中预设置的标识线进行检测，获取标识线检测框；
S15：利用OpenCV中的轮廓检测函数对标识线检测框的标识线进行轮廓检测，获取标识线上各点的坐标；
S16：获取标识线上x、y轴坐标值均为最小的点的坐标，该点即为标识线上的特征点，根据第一深度相机的内外参数，对标识线上的特征点的坐标进行计算，得到标识线上的特征点在世界坐标系中的坐标；
S17：结合步骤S12中获取待装配构件表面其余点在世界坐标系中的坐标，获取标识线上的特征点与待装配构件表面其余点在标准姿态下的坐标关系。
更进一步地，在所述预扫描模块中，待装配构件为静止状态，即待装配构件表面所有点在世界坐标系中的坐标是不变的。
更进一步地，所述吊升过程监测模块包括深度视频获取单元、旋转检测单元；所述深度视频获取单元用于通过第二深度相机对吊升过程中待装配构件进行实时拍摄，获取深度视频，深度视频包括多张连续的吊升深度图像，图像中包括待装配构件及其上完整的标识线；所述旋转检测单元用于对深度视频中各张吊升深度图像进行逐帧检测计算，得到各张吊升深度图像中待装配构件相对于世界坐标系的三轴旋转角度值。
更进一步地，在待装配构件未发生旋转时，第二深度相机的光轴始终垂直于预设置的标识线所在平面。
更进一步地，所述旋转检测单元的具体处理过程如下：
S21：利用目标检测模型依次对各张吊升深度图像中的标识线进行检测，获取标识线检测框；
S22：利用OpenCV中的轮廓检测函数对步骤S21中标识线检测框的标识线进行轮廓检测，获取标识线上各点的坐标；
S23：对步骤S22中标识线上各点的坐标进行多项式拟合，得到两条直线L1、L2，计算直线L1、L2之间的交点坐标，该点即为标识线上的特征点，记为T，根据第二深度相机的内外参数对标识线上的特征点的坐标进行计算，得到标识线上的特征点在世界坐标系中的坐标，进而获取各张吊升深度图像中标识线上的特征点的坐标；
S24：对于各张吊升深度图像，过该特征点T建立三轴坐标系X1Y1Z1，其中，X1轴与世界坐标系的X轴、图像坐标系的x轴均平行，Y1轴与世界坐标系的Y轴平行，Z1轴与世界坐标系的Z轴、图像坐标系的y轴均平行，标识线上X1坐标值最大的点记为J1，标识线上Z1坐标值最大的点记为J2，得到线段J1T、J2T，其中线段J1T在待装配构件未发生旋转时平行与图像坐标系的x轴设置，线段J1T在待装配构件未发生旋转时平行与图像坐标系的y轴设置；
S25：计算在各张吊升深度图像中线段J1T的长度，得到长度值L3，根据长度值L3在第一长度值范围-Z1轴旋转角数据库进行查找比对，获取线段J1T绕Z1轴的旋转角度，记为旋转角ZZ1,视为线段J1T绕Z1轴的旋转角度，即待装配构件绕世界坐标系的Z轴的旋转角度；
S26：计算在各张吊升深度图像中线段J2T的长度，得到长度值L4，根据长度值L4在第二长度值范围-X1轴旋转角数据库进行查找比对，获取线段J2T绕X1轴的旋转角度，记为旋转角ZX1,视为线段J2绕X1轴的旋转角度，即待装配构件绕世界坐标系的X轴的旋转角度；
S27：将各张吊升深度图像视为一个具有设定厚度的薄板，并将该薄板放置于三轴坐标系X1Y1Z1中，对该薄板绕X1轴、Z1轴进行旋转，使旋转角ZX1、ZZ1均为零，得到旋转后薄板模型，获取旋转后薄板模型沿Y1轴的轴向投影图像，计算各张轴向投影图像中线段J1T/J2T对应与图像坐标系中x轴、y轴之间的夹角，也即与三轴坐标系中X1轴、Z1轴之间的夹角，记为旋转角ZY1，视为线段J1T/J2T绕Y1轴的旋转角度，即待装配构件绕世界坐标系的Y轴的旋转角度；
S28：获取旋转角ZX1、旋转角ZY1、旋转角ZZ1，即获取待装配构件绕世界坐标系中的三轴旋转角度值，对于单张吊升深度图像而言，当旋转角ZX1、旋转角ZY1、旋转角ZZ1中任一个超过设定阈值后，将对应的吊升深度图像标记为第一图像，否则将对应的吊升深度图像标记为第二图像，并统计第一图像和第二图像的数量，其中第一图像的数量记为C1，第二图像的数量记为C2。
更进一步地，在所述步骤S22中，由于线段J1T在待装配构件未发生旋转时平行于图像坐标系的x轴设置，线段J1T在待装配构件未发生旋转时平行于图像坐标系的y轴设置，仅当待装配构件绕Z1轴旋转时，线段J1T的长度在图像中才会发生变化，同样的仅有当待装配构件绕X1轴旋转时，线段J2T的长度在图像中才会发生变化。
更进一步地，在所述步骤S26中，第一长度值范围-Z1轴旋转角数据库中预设有长度值L3的范围与Z1轴旋转角之间的对应关系，即与旋转角ZZ1的对应关系；在所述步骤S27中，第二长度值范围-X1轴旋转角数据库中预设有长度值L4的范围与X1轴旋转角之间的对应关系，即与旋转角ZX1之间的对应关系。
更进一步地，所述实时建模模块的处理过程如下：
S31：获取待装配构件表面预设置的标识线上的特征点与待装配构件表面其余点在标准姿态下的坐标关系；
S32：在各张吊升深度图像中，获取步骤S23中标识线上的特征点在世界坐标系中的坐标，以及获取步骤S28中待装配构件绕世界坐标系中的三轴旋转角度值；
S33：利用各张吊升深度图像中待装配构件绕世界坐标系中的三轴旋转角度值，结合待装配构件表面预设置的标识线上的特征点与待装配构件表面其余点在标准姿态下的坐标关系，并利用几何投影原理进行计算，获取各张吊升深度图像中待装配构件表面其余点在世界坐标系中的实时坐标，即获取各张吊升深度图像中待装配构件表面所有点在世界坐标系中的实时坐标，将各张吊升深度图像中待装配构件表面所有点在世界坐标系中的实时坐标数据处理成建筑建模软件所用的格式，对待装配构件的吊升过程进行建模。
更进一步地，所述吊升过程评分的计算公式如下：
P=w1*C1+w2*C2
其中，P为吊升过程评分，w1为第一图像数量在吊升过程评分中所占的权重，w2为第一图像数量在吊升过程评分中所占的权重，w1与w2的和为1。
本发明相比现有技术具有以下优点：该基于实时建模的装配建筑监测系统，通过预扫描获取待装配构件表面预设置的标识线上的特征点与待装配构件表面其余点在标准姿态下的坐标关系，再获取吊升过程深度视频，根据吊升过程深度视频对待装配构件相对于世界坐标系的三轴旋转角度值进行检测，并获取吊升过程深度视频的每帧中标识线上的特征点在世界坐标系中的坐标，结合已知的坐标关系，利用几何投影原理，计算出吊升过程深度视频中各时刻的待装配构件表面所有点在世界坐标系中的实时坐标，用于后续的建模工作中，同时能够基于三轴旋转角度值对单次吊升过程进行准确评分，方便对后续吊升工作质量进行追溯分析。
附图说明
图1是本发明实施例中基于实时建模的装配建筑监测系统的结构示意图；
图2是本发明实施例中拍摄标准姿态深度图像时第一深度相机与待装配构件的位置关系示意图；
图3是本发明实施例中待装配构件仅绕Y1轴旋转时示意图。
图2中：1、第一深度相机；2、待装配构件；3、标识线。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1-3所示，本实施例提供一种技术方案：一种基于实时建模的装配建筑监测系统，用于对规则形状的待装配构件（外墙板、内墙板等可视为长方体的待装配构件）的装配工作吊升过程进行监测，包括预扫描模块、吊升过程监测模块、实时建模模块、吊升过程评分模块；
所述预扫描模块，用于通过第一深度相机对待装配构件进行预扫描工作，获取待装配构件表面预设置的标识线上的特征点与待装配构件表面其余点在标准姿态下的坐标关系；
在本实施例中，所述预扫描模块包括预扫描单元、坐标关系获取单元；所述预扫描单元用于通过第一深度相机对待装配构件进行拍摄，获取深度图像；所述坐标关系获取单元，用于根据深度图像与第一深度相机的内外参数进行计算，得到待装配构件表面所有点在世界坐标系中的坐标，并对标准姿态深度图像中待装配构件表面预设置的标识线上的特征点进行检测，获取标识线上的特征点与待装配构件表面其余点在标准姿态下的坐标关系。
在本实施例中，在所述预扫描单元中，获取的深度图像中包括第一深度相机1的光轴垂直于预设置的标识线3所在平面的深度图像（即待装配构件处于标准姿态），该深度图像为标准姿态深度图像，即待装配构件2未发生旋转时的深度图像（见图2）。
在本实施例中，在所述坐标关系获取单元中，第一深度相机的内外参数通过预先标定获得，包括相机的内部参数（如焦距、主点坐标等）和外部参数（如相机位置和朝向等）。
在本实施例中，所述坐标关系获取单元的具体处理过程如下：
S11：将深度图像转换为点云数据，在本步骤中，需要将深度图像上每个像素点的深度值转换为点云数据中的每个点的坐标值；
S12：通过第一深度相机的内外参数和步骤S11中转换得到的点云数据进行计算，得到待装配构件表面所有点在世界坐标系中的坐标；在本步骤中，需要利用相机的投影矩阵将点云数据从相机坐标系转换为世界坐标系；
S13：从获取的深度图像中，选取第一深度相机的光轴垂直于预设置的标识线所在平面的深度图像，即标准姿态深度图像，也即待装配构件未发生旋转时的深度图像；
S14：利用目标检测模型对标准姿态深度图像中预设置的标识线进行检测，获取标识线检测框；
S15：利用OpenCV中的轮廓检测函数对标识线检测框的标识线进行轮廓检测，获取标识线上各点的坐标；
S16：获取标识线上x、y轴坐标值均为最小的点的坐标，该点即为标识线上的特征点，根据第一深度相机的内外参数，对标识线上的特征点的坐标进行计算，得到标识线上的特征点在世界坐标系中的坐标；
S17：结合步骤S12中获取待装配构件表面其余点在世界坐标系中的坐标，获取标识线上的特征点与待装配构件表面其余点在标准姿态下的坐标关系。由于在未发生旋转时，标识线上的特征点与待装配构件表面其余点之间世界坐标系下的坐标值差值是固定的，因此获取到标识线上的特征点与待装配构件表面其余点在标准姿态下的坐标关系，以及吊升转移过程中特征点在世界坐标系下的坐标后，再根据在吊升转移过程中待装配构件相对世界坐标系三轴的旋转角度，即可获取待装配构件表面所有点的三轴坐标。
在本实施例中，需要说明的是，在预扫描模块中，待装配构件为静止状态，即待装配构件表面所有点在世界坐标系中的坐标是不变的。
在本实施例中，需要说明的是，标识线3为两个长度相同且一端相连的两条线段，其中，一个线段（对应线段J1T）在标准姿态深度图像中水平设置，另一个线段（对应线段J2T）在标准姿态深度图像中竖直设置，两个线段之间的夹角为90度，见图2，该标识线3为具有设定颜色的线条，预喷涂在待装配构件2上。
在本实施例中，所述目标检测模型基于Faster-RCNN目标检测网络训练得到，在训练时通过大量人工标注标识线的训练图像，输入到Faster-RCNN目标检测网络中进行训练，得到模型，同时对模型的检测性能进行检测，当模型的检测性能达到设定值后，保存模型参数即得到目标检测模型。
所述吊升过程监测模块，用于获取吊升过程深度视频，根据吊升过程深度视频对待装配构件相对于世界坐标系的三轴旋转角度值进行检测；
在本实施例中，所述吊升过程监测模块包括深度视频获取单元、旋转检测单元；所述深度视频获取单元用于通过第二深度相机对吊升过程中待装配构件进行实时拍摄，获取深度视频，深度视频包括多张连续的吊升深度图像，图像中包括待装配构件及其上完整的标识线；所述旋转检测单元用于对深度视频中各张吊升深度图像进行逐帧检测计算，得到各张吊升深度图像中待装配构件相对于世界坐标系的三轴旋转角度值。
在本实施例中，在待装配构件未发生旋转时，第二深度相机的光轴始终垂直于预设置的标识线所在平面（即待装配构件处于标准姿态），在吊升过程中，第二深度相机固定设置在待装配构件的一侧。
在本实施例中，所述旋转检测单元的具体处理过程如下：
S21：利用目标检测模型依次对各张吊升深度图像中的标识线进行检测，获取标识线检测框；
S22：利用OpenCV中的轮廓检测函数对步骤S21中标识线检测框的标识线进行轮廓检测，获取标识线上各点的坐标；
S23：对步骤S22中标识线上各点的坐标进行多项式拟合，得到两条直线L1、L2，计算直线L1、L2之间的交点坐标，该点即为标识线上的特征点，记为T，根据第二深度相机的内外参数（预先标定）对标识线上的特征点的坐标进行计算，得到标识线上的特征点在世界坐标系中的坐标，进而获取各张吊升深度图像中标识线上的特征点的坐标；
S24：对于各张吊升深度图像，过该特征点T建立三轴坐标系X1Y1Z1，其中，X1轴与世界坐标系的X轴、图像坐标系的x轴均平行，Y1轴与世界坐标系的Y轴平行，Z1轴与世界坐标系的Z轴、图像坐标系的y轴均平行，标识线上X1坐标值最大的点记为J1，标识线上Z1坐标值最大的点记为J2，得到线段J1T、J2T，其中线段J1T在待装配构件未发生旋转时平行与图像坐标系的x轴设置，线段J1T在待装配构件未发生旋转时平行与图像坐标系的y轴设置；
S25：计算在各张吊升深度图像中线段J1T的长度，得到长度值L3，根据长度值L3在第一长度值范围-Z1轴旋转角数据库进行查找比对，获取线段J1T绕Z1轴的旋转角度，记为旋转角ZZ1,视为线段J1T绕Z1轴的旋转角度，即待装配构件绕世界坐标系的Z轴的旋转角度；
S26：计算在各张吊升深度图像中线段J2T的长度，得到长度值L4，根据长度值L4在第二长度值范围-X1轴旋转角数据库进行查找比对，获取线段J2T绕X1轴的旋转角度，记为旋转角ZX1,视为线段J2绕X1轴的旋转角度，即待装配构件绕世界坐标系的X轴的旋转角度；
S27：将各张吊升深度图像视为一个具有设定厚度的薄板，并将该薄板放置于三轴坐标系X1Y1Z1中，对该薄板绕X1轴、Z1轴进行旋转，使旋转角ZX1、ZZ1均为零，得到旋转后薄板模型，获取旋转后薄板模型沿Y1轴的轴向投影图像，计算各张轴向投影图像中线段J1T/J2T对应与图像坐标系中x轴、y轴之间的夹角，也即与三轴坐标系中X1轴、Z1轴之间的夹角，记为旋转角ZY1，视为线段J1T/J2T绕Y1轴的旋转角度，即待装配构件绕世界坐标系的Y轴的旋转角度；
S28：获取旋转角ZX1、旋转角ZY1、旋转角ZZ1，即获取待装配构件绕世界坐标系中的三轴旋转角度值，对于单张吊升深度图像而言，当旋转角ZX1、旋转角ZY1、旋转角ZZ1中任一个超过设定阈值后，将对应的吊升深度图像标记为第一图像，否则将对应的吊升深度图像标记为第二图像，并统计第一图像和第二图像的数量，其中第一图像的数量记为C1，第二图像的数量记为C2。当三轴旋转角度值任一值超过设定阈值后，会对待装配构件产生较大的摩擦，不方便后续的安装工作，通过对三轴旋转角度值的检测，能够有效地对吊升过程进行评分，方便后续出现问题后对吊升过程进行追溯、查看。
在本实施例中，在所述步骤S22中，由于线段J1T在待装配构件未发生旋转时平行于图像坐标系的x轴设置，线段J1T在待装配构件未发生旋转时平行于图像坐标系的y轴设置，因此，只有当待装配构件绕Z1轴旋转时，线段J1T的长度在图像中才会发生变化，同样的只有当待装配构件绕X1轴旋转时，线段J2T的长度在图像中才会发生变化。
在本实施例中，在所述步骤S26中，第一长度值范围-Z1轴旋转角数据库中预设有长度值L3的范围与Z1轴旋转角之间的对应关系，即与旋转角ZZ1的对应关系；在所述步骤S27中，第二长度值范围-X1轴旋转角数据库中预设有长度值L4的范围与X1轴旋转角之间的对应关系，即与旋转角ZX1之间的对应关系。
所述实时建模模块，用于根据吊升过程中待装配构件相对于世界坐标系的三轴旋转角度值，结合待装配构件表面预设置的标识线上的特征点与待装配构件表面其余点在标准姿态下的坐标关系，对待装配构件的吊升过程进行建模。
在本实施例中，所述实时建模模块的处理过程如下：
S31：获取待装配构件表面预设置的标识线上的特征点与待装配构件表面其余点在标准姿态下的坐标关系；
S32：在各张吊升深度图像中，获取步骤S23中标识线上的特征点在世界坐标系中的坐标，以及获取步骤S28中待装配构件绕世界坐标系中的三轴旋转角度值；
S33：利用各张吊升深度图像中待装配构件绕世界坐标系中的三轴旋转角度值，结合待装配构件表面预设置的标识线上的特征点与待装配构件表面其余点在标准姿态下的坐标关系，并利用几何投影原理进行计算，获取各张吊升深度图像中待装配构件表面其余点在世界坐标系中的实时坐标，即获取各张吊升深度图像中待装配构件表面所有点在世界坐标系中的实时坐标，将各张吊升深度图像中待装配构件表面所有点在世界坐标系中的实时坐标数据处理成建筑建模软件所用的格式，对待装配构件的吊升过程进行建模。
在本实施例中，所述建筑建模软件为Revit。
所述吊升过程评分模块，用于对单次吊升过程进行评分，得到吊升过程评分。通过吊升过程评分能够更好地对吊升过程进行评价，方便对后续吊升工作质量进行追溯分析。
在本实施例中，所述吊升过程评分的计算公式如下：
P=w1*C1+w2*C2
其中，P为吊升过程评分，w1为第一图像数量在吊升过程评分中所占的权重，w2为第一图像数量在吊升过程评分中所占的权重，w1与w2的和为1，其中，w1=0.25，w2=0.75。
综上所述，上述实施例的基于实时建模的装配建筑监测系统，通过预扫描获取待装配构件表面预设置的标识线上的特征点与待装配构件表面其余点在标准姿态下的坐标关系，再获取吊升过程深度视频，根据吊升过程深度视频对待装配构件相对于世界坐标系的三轴旋转角度值进行检测，并获取吊升过程深度视频的每帧中标识线上的特征点在世界坐标系中的坐标，结合已知的坐标关系，利用几何投影原理，计算出吊升过程深度视频中各时刻的待装配构件表面所有点在世界坐标系中的实时坐标，用于后续的建模工作中，同时能够基于三轴旋转角度值对单次吊升过程进行准确评分，方便对后续吊升工作质量进行追溯分析。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于实时建模的装配建筑监测系统，其特征在于，包括预扫描模块、吊升过程监测模块、实时建模模块、吊升过程评分模块；
所述预扫描模块，用于通过第一深度相机对待装配构件进行预扫描工作，获取待装配构件表面预设置的标识线上的特征点与待装配构件表面其余点在标准姿态下的坐标关系；
所述吊升过程监测模块，用于获取吊升过程深度视频，根据吊升过程深度视频对待装配构件相对于世界坐标系的三轴旋转角度值进行检测；
所述实时建模模块，用于根据吊升过程中待装配构件相对于世界坐标系的三轴旋转角度值，结合待装配构件表面预设置的标识线上的特征点与待装配构件表面其余点在标准姿态下的坐标关系，对待装配构件的吊升过程进行建模；
所述吊升过程评分模块，用于对单次吊升过程进行评分，得到吊升过程评分。
2.根据权利要求1所述的一种基于实时建模的装配建筑监测系统，其特征在于：所述预扫描模块包括预扫描单元、坐标关系获取单元；所述预扫描单元用于通过第一深度相机对待装配构件进行拍摄，获取深度图像；所述坐标关系获取单元，用于根据深度图像与第一深度相机的内外参数进行计算，得到待装配构件表面所有点在世界坐标系中的坐标，并对标准姿态深度图像中待装配构件表面预设置的标识线上的特征点进行检测，获取标识线上的特征点与待装配构件表面其余点在标准姿态下的坐标关系。
3.根据权利要求2所述的一种基于实时建模的装配建筑监测系统，其特征在于：在所述预扫描单元中，获取的深度图像中包括第一深度相机的光轴垂直于预设置的标识线所在平面的深度图像，该深度图像为标准姿态深度图像，即待装配构件未发生旋转时的深度图像。
4.根据权利要求3所述的一种基于实时建模的装配建筑监测系统，其特征在于：所述坐标关系获取单元的具体处理过程如下：
S11：将深度图像转换为点云数据；
S12：通过第一深度相机的内外参数和步骤S11中转换得到的点云数据进行计算，得到待装配构件表面所有点在世界坐标系中的坐标；
S13：从获取的深度图像中，选取第一深度相机的光轴垂直于预设置的标识线所在平面的深度图像，即标准姿态深度图像，也即待装配构件未发生旋转时的深度图像；
S14：利用目标检测模型对标准姿态深度图像中预设置的标识线进行检测，获取标识线检测框；
S15：利用OpenCV中的轮廓检测函数对标识线检测框的标识线进行轮廓检测，获取标识线上各点的坐标；
S16：获取标识线上x、y轴坐标值均为最小的点的坐标，该点即为标识线上的特征点，根据第一深度相机的内外参数，对标识线上的特征点的坐标进行计算，得到标识线上的特征点在世界坐标系中的坐标；
S17：结合步骤S12中获取待装配构件表面其余点在世界坐标系中的坐标，获取标识线上的特征点与待装配构件表面其余点在标准姿态下的坐标关系。
5.根据权利要求1所述的一种基于实时建模的装配建筑监测系统，其特征在于：所述吊升过程监测模块包括深度视频获取单元、旋转检测单元；所述深度视频获取单元用于通过第二深度相机对吊升过程中待装配构件进行实时拍摄，获取深度视频，深度视频包括多张连续的吊升深度图像，图像中包括待装配构件及其上完整的标识线；所述旋转检测单元用于对深度视频中各张吊升深度图像进行逐帧检测计算，得到各张吊升深度图像中待装配构件相对于世界坐标系的三轴旋转角度值；在待装配构件未发生旋转时，第二深度相机的光轴始终垂直于预设置的标识线所在平面。
6.根据权利要求5所述的一种基于实时建模的装配建筑监测系统，其特征在于：所述旋转检测单元的具体处理过程如下：
S21：利用目标检测模型依次对各张吊升深度图像中的标识线进行检测，获取标识线检测框；
S22：利用OpenCV中的轮廓检测函数对步骤S21中标识线检测框的标识线进行轮廓检测，获取标识线上各点的坐标；
S23：对步骤S22中标识线上各点的坐标进行多项式拟合，得到两条直线L1、L2，计算直线L1、L2之间的交点坐标，该点即为标识线上的特征点，记为T，根据第二深度相机的内外参数对标识线上的特征点的坐标进行计算，得到标识线上的特征点在世界坐标系中的坐标，进而获取各张吊升深度图像中标识线上的特征点的坐标；
S24：对于各张吊升深度图像，过该特征点T建立三轴坐标系X1Y1Z1，其中，X1轴与世界坐标系的X轴、图像坐标系的x轴均平行，Y1轴与世界坐标系的Y轴平行，Z1轴与世界坐标系的Z轴、图像坐标系的y轴均平行，标识线上X1坐标值最大的点记为J1，标识线上Z1坐标值最大的点记为J2，得到线段J1T、J2T，其中线段J1T在待装配构件未发生旋转时平行与图像坐标系的x轴设置，线段J1T在待装配构件未发生旋转时平行与图像坐标系的y轴设置；
S25：计算在各张吊升深度图像中线段J1T的长度，得到长度值L3，根据长度值L3在第一长度值范围-Z1轴旋转角数据库进行查找比对，获取线段J1T绕Z1轴的旋转角度，记为旋转角ZZ1,视为线段J1T绕Z1轴的旋转角度，即待装配构件绕世界坐标系的Z轴的旋转角度；
S26：计算在各张吊升深度图像中线段J2T的长度，得到长度值L4，根据长度值L4在第二长度值范围-X1轴旋转角数据库进行查找比对，获取线段J2T绕X1轴的旋转角度，记为旋转角ZX1,视为线段J2绕X1轴的旋转角度，即待装配构件绕世界坐标系的X轴的旋转角度；
S27：将各张吊升深度图像视为一个具有设定厚度的薄板，并将该薄板放置于三轴坐标系X1Y1Z1中，对该薄板绕X1轴、Z1轴进行旋转，使旋转角ZX1、ZZ1均为零，得到旋转后薄板模型，获取旋转后薄板模型沿Y1轴的轴向投影图像，计算各张轴向投影图像中线段J1T/J2T对应与图像坐标系中x轴、y轴之间的夹角，也即与三轴坐标系中X1轴、Z1轴之间的夹角，记为旋转角ZY1，视为线段J1T/J2T绕Y1轴的旋转角度，即待装配构件绕世界坐标系的Y轴的旋转角度；
S28：获取旋转角ZX1、旋转角ZY1、旋转角ZZ1，即获取待装配构件绕世界坐标系中的三轴旋转角度值，对于单张吊升深度图像而言，当旋转角ZX1、旋转角ZY1、旋转角ZZ1中任一个超过设定阈值后，将对应的吊升深度图像标记为第一图像，否则将对应的吊升深度图像标记为第二图像，并统计第一图像和第二图像的数量，其中第一图像的数量记为C1，第二图像的数量记为C2。
7.根据权利要求6所述的一种基于实时建模的装配建筑监测系统，其特征在于：在所述步骤S22中，由于线段J1T在待装配构件未发生旋转时平行于图像坐标系的x轴设置，线段J1T在待装配构件未发生旋转时平行于图像坐标系的y轴设置，仅当待装配构件绕Z1轴旋转时，线段J1T的长度在图像中才会发生变化，同样的仅有当待装配构件绕X1轴旋转时，线段J2T的长度在图像中才会发生变化。
8.根据权利要求7所述的一种基于实时建模的装配建筑监测系统，其特征在于：在所述步骤S26中，第一长度值范围-Z1轴旋转角数据库中预设有长度值L3的范围与Z1轴旋转角之间的对应关系，即与旋转角ZZ1的对应关系；在所述步骤S27中，第二长度值范围-X1轴旋转角数据库中预设有长度值L4的范围与X1轴旋转角之间的对应关系，即与旋转角ZX1之间的对应关系。
9.根据权利要求6所述的一种基于实时建模的装配建筑监测系统，其特征在于：所述实时建模模块的处理过程如下：
S31：获取待装配构件表面预设置的标识线上的特征点与待装配构件表面其余点在标准姿态下的坐标关系；
S32：在各张吊升深度图像中，获取步骤S23中标识线上的特征点在世界坐标系中的坐标，以及获取步骤S28中待装配构件绕世界坐标系中的三轴旋转角度值；
S33：利用各张吊升深度图像中待装配构件绕世界坐标系中的三轴旋转角度值，结合待装配构件表面预设置的标识线上的特征点与待装配构件表面其余点在标准姿态下的坐标关系，并利用几何投影原理进行计算，获取各张吊升深度图像中待装配构件表面其余点在世界坐标系中的实时坐标，即获取各张吊升深度图像中待装配构件表面所有点在世界坐标系中的实时坐标，将各张吊升深度图像中待装配构件表面所有点在世界坐标系中的实时坐标数据处理成建筑建模软件所用的格式，对待装配构件的吊升过程进行建模。
10.根据权利要求6所述的一种基于实时建模的装配建筑监测系统，其特征在于：所述吊升过程评分的计算公式如下：
P=w1*C1+w2*C2
其中，P为吊升过程评分，w1为第一图像数量在吊升过程评分中所占的权重，w2为第一图像数量在吊升过程评分中所占的权重，w1与w2的和为1。
CN202311035784.7A 2023-08-17 2023-08-17 一种基于实时建模的装配建筑监测系统 Active CN116758237B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311035784.7A CN116758237B (zh) 2023-08-17 2023-08-17 一种基于实时建模的装配建筑监测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311035784.7A CN116758237B (zh) 2023-08-17 2023-08-17 一种基于实时建模的装配建筑监测系统

Publications (2)

Publication Number Publication Date
CN116758237A true CN116758237A (zh) 2023-09-15
CN116758237B CN116758237B (zh) 2023-10-20

Family

ID=87955526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311035784.7A Active CN116758237B (zh) 2023-08-17 2023-08-17 一种基于实时建模的装配建筑监测系统

Country Status (1)

Country Link
CN (1) CN116758237B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108717712A (zh) * 2018-05-29 2018-10-30 东北大学 一种基于地平面假设的视觉惯导slam方法
WO2019233539A1 (en) * 2018-06-06 2019-12-12 Maersk Drilling A/S Method and system for mitigating cable wear in a hoisting system
CN113189950A (zh) * 2021-05-07 2021-07-30 南京航空航天大学 用于大型弱刚性结构件装配的双机器人协同柔顺装调方法
CN113538841A (zh) * 2020-04-14 2021-10-22 广东博智林机器人有限公司 塔吊运行的监测方法、监测装置、存储介质和处理器
US20220127932A1 (en) * 2020-10-23 2022-04-28 Schlumberger Technology Corporation Monitoring Equipment of a Plurality of Drill Rigs
KR20220085678A (ko) * 2020-12-15 2022-06-22 광운대학교 산학협력단 다시점 카메라로부터 획득된 조인트 기반의 캘리브레이션을 이용한 3차원 스켈레톤 생성 방법
CN115239636A (zh) * 2022-06-24 2022-10-25 浙江工业大学 一种基于增强现实技术的装配检测方法
CN115511952A (zh) * 2022-09-20 2022-12-23 同济大学 一种基于深度相机的装配式铺面三维点云预处理方法
US20230230312A1 (en) * 2022-01-20 2023-07-20 Qingdao university of technology Digital twin modeling method and system for assembling a robotic teleoperation environment

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108717712A (zh) * 2018-05-29 2018-10-30 东北大学 一种基于地平面假设的视觉惯导slam方法
WO2019233539A1 (en) * 2018-06-06 2019-12-12 Maersk Drilling A/S Method and system for mitigating cable wear in a hoisting system
CN113538841A (zh) * 2020-04-14 2021-10-22 广东博智林机器人有限公司 塔吊运行的监测方法、监测装置、存储介质和处理器
US20220127932A1 (en) * 2020-10-23 2022-04-28 Schlumberger Technology Corporation Monitoring Equipment of a Plurality of Drill Rigs
KR20220085678A (ko) * 2020-12-15 2022-06-22 광운대학교 산학협력단 다시점 카메라로부터 획득된 조인트 기반의 캘리브레이션을 이용한 3차원 스켈레톤 생성 방법
CN113189950A (zh) * 2021-05-07 2021-07-30 南京航空航天大学 用于大型弱刚性结构件装配的双机器人协同柔顺装调方法
US20230230312A1 (en) * 2022-01-20 2023-07-20 Qingdao university of technology Digital twin modeling method and system for assembling a robotic teleoperation environment
CN115239636A (zh) * 2022-06-24 2022-10-25 浙江工业大学 一种基于增强现实技术的装配检测方法
CN115511952A (zh) * 2022-09-20 2022-12-23 同济大学 一种基于深度相机的装配式铺面三维点云预处理方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
田中可;陈成军;李东年;赵正旭;洪军;: "基于深度图像的零件识别及装配监测", 计算机集成制造系统, no. 02 *
钟德星;杨元;刘瑞玲;韩九强;: "基于单目视觉的装配机器人研究及应用", 西安交通大学学报, no. 05 *
雷宏刚;郝贤哲;: "太原市扩建飞机场1#网架吊升现场应力测控与计算机仿真", 科学之友(B版), no. 05 *

Also Published As

Publication number Publication date
CN116758237B (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
CN107214703B (zh) 一种基于视觉辅助定位的机器人自标定方法
US8520067B2 (en) Method for calibrating a measuring system
CN114378822B (zh) 一种基于视觉的机器人机械臂末端位姿的调整方法
CN109191533B (zh) 基于装配式建筑的塔吊高空施工方法
CN105843166B (zh) 一种特型多自由度自动对接装置及其工作方法
CN115042175B (zh) 一种机器人机械臂末端姿态的调整方法
CN114092473B (zh) 一种大型产品视觉巡检装置及系统
CN112767338A (zh) 一种基于双目视觉的装配式桥梁预制构件吊装定位系统及其方法
CN111986267B (zh) 一种多相机视觉系统的坐标系统标定方法
JP5019478B2 (ja) マーカ自動登録方法及びシステム
CN111531203B (zh) 一种飞机壁板锪窝孔深度在线视觉检测方法及系统
CN107328358B (zh) 铝电解槽位姿的测量系统及测量方法
CN114001651A (zh) 一种基于双目视觉测量和先验检测数据的大型细长筒类构件位姿原位测量方法
CN116758237B (zh) 一种基于实时建模的装配建筑监测系统
CN117817667B (zh) 一种基于svd分解法的机械臂末端姿态调整方法
CN113223095B (zh) 一种基于已知相机位置内外参数标定方法
CN114750154A (zh) 一种配网带电作业机器人的动态目标识别定位与抓取方法
CN212869171U (zh) 一种面向装配建筑吊装定位装置
CN110424754A (zh) 一种砌墙机器人对接方法及系统
CN112710668A (zh) 通过无人机进行房屋外立面空鼓检测的方法及系统
CN113390368B (zh) 一种基于单目视觉的直升机传动系统同心度测量方法
CN115082557B (zh) 一种基于双目视觉的塔柱吊装相对姿态测量方法
CN116038703A (zh) 一种光伏电池串的机器人抓取位姿获取方法及系统
CN108180825A (zh) 一种基于线结构光的长方体形物体三维识别与定位方法
CN109764822A (zh) 基于图像与几何轮廓的大型门式起重机梁变形测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant