CN106966298B - 基于机器视觉的装配式建筑智能吊装方法与系统 - Google Patents

基于机器视觉的装配式建筑智能吊装方法与系统 Download PDF

Info

Publication number
CN106966298B
CN106966298B CN201710248484.5A CN201710248484A CN106966298B CN 106966298 B CN106966298 B CN 106966298B CN 201710248484 A CN201710248484 A CN 201710248484A CN 106966298 B CN106966298 B CN 106966298B
Authority
CN
China
Prior art keywords
prefabricated component
assembled architecture
module
lifting
control module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710248484.5A
Other languages
English (en)
Other versions
CN106966298A (zh
Inventor
李成栋
颜秉洋
丁子祥
张桂青
许福运
郝丽丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rizhao Antai Technology Development Co.,Ltd.
Original Assignee
Shandong Jianzhu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jianzhu University filed Critical Shandong Jianzhu University
Priority to CN201710248484.5A priority Critical patent/CN106966298B/zh
Publication of CN106966298A publication Critical patent/CN106966298A/zh
Application granted granted Critical
Publication of CN106966298B publication Critical patent/CN106966298B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/043—Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Computational Mathematics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于机器视觉的装配式建筑智能吊装方法及系统，该系统包括图像采集模块、图像处理和决策模块以及设备控制模块，图像处理和决策模块与图像采集模块通信，设备控制模块与图像处理和决策模块通信。本发明采用机器视觉代替了在装配式建筑吊装过程中对人类视觉的依赖。利用机器视觉，通过卷积神经网络+二型模糊神经网络深度学习模型在复杂的装配场景中进行障碍物识别，利用蚁群算法进行预制件吊装路径规划，进而根据决策结果来控制现场的设备动作。本发明利用摄像头代替人眼从复杂的场景中分析得到最佳的方案，能更好地规划预制件吊装的路径，大大提高了装配式建筑的吊装效率和准确性，实现装配式建筑吊装智能化，改善人工吊装的缺点。

Description

基于机器视觉的装配式建筑智能吊装方法与系统
技术领域
本发明涉及一种装配式建筑智能吊装方法，具体涉及一种基于机器视觉的装配式建筑智能吊装方法与系统。属于智能建筑技术领域。
背景技术
节能减排是推进经济结构调整、转变发展方式、实现经济和社会可持续发展的必然要求。装配式建筑是发展节能减排，降低能源消耗，促进我国经济可持续发展的一种新方式。装配式建筑是用预制件在工地装配而成的建筑，由于预制件是根据市场和用户需求提前制作出来，所以具有建筑速度快、成本小、受气候天气影响较小、节约劳动力、降低施工现场的工作量和复杂度并且可以提高建筑质量等一系列优点。目前装配式建筑在我国建筑工程建设中被越来越多的采用。
目前，装配式建筑的吊装还主要是以人工吊装的方式为主，而人工吊装有着一系列的问题，劳动强度大、效率低、工期长、吊装准确性不佳等问题严重拖慢了装配式建筑的吊装效率。装配式建筑的人工吊装主要基于人工视觉来判断装配式建筑预制件的吊装路径，而随着机器视觉的发展，用机器视觉的方法把人解放出来，自动实现障碍物识别及吊装路径规划，有助于装配式建筑吊装智能化，改善人工吊装的缺点。但现有装配式建筑吊装技术并未考虑这一问题，且在机器视觉基础上，如何在复杂的装配场景中进行障碍物识别及吊装路径规划也需要给出合理的解决方案。
发明内容
本发明的目的是为克服上述现有技术的不足，提供一种基于机器视觉的装配式建筑智能吊装方法。
本发明还提供了上述吊装方法对应的基于机器视觉的装配式建筑智能吊装系统。
为实现上述目的，本发明采用下述技术方案：
基于机器视觉的装配式建筑智能吊装方法，包括步骤：
(1)图像采集模块通过安装在装配式建筑吊装施工现场的摄像头采集图像，构建施工现场的机器视觉数据库，并通过第一通信模块传输给图像处理和决策模块；
(2)图像处理和决策模块进行图像分析，找出装配式建筑的预制件最佳吊装路径，并通过第二通信模块发送给设备控制模块；
(3)设备控制模块计算出具体吊装所需数据，进而利用塔吊控制模块实现预制件吊装；
(4)在吊装过程中，摄像头控制模块控制摄像头获取实时图像，并经图像处理和决策模块判断预制件是否符合步骤(2)设定的预制件最佳吊装路径，倘若出现偏差，则通过塔吊控制模块进行修正，倘若没有，则完成预制件吊装，返回步骤(1)，进入下一预制件吊装，直至完成所有预制件的总体吊装。
作为优选技术方案之一，针对会对预制件吊装路径造成影响的设备、装配式建筑的外墙以及预制件的外表面，提前进行图像采集，进而与步骤(1)中采集到的图像一并构建施工现场的机器视觉数据库。
作为优选技术方案之一，步骤(2)的具体方法是：图像处理和决策模块利用卷积神经网(CNN)和二型模糊神经网络(T2FNN)构成的深度学习模型对图像采集模块采集到的装配式建筑吊装施工现场的实时图像进行分析，找出影响装配式建筑吊装的障碍物，通过栅格表确定障碍物位置；并通过蚁群算法找出装配式建筑的预制件最佳吊装路径；最后，通过第二通信模块将装配式建筑预制件最佳吊装路径发送给设备控制模块。具体包括步骤：
(21)将装配式建筑吊装施工现场的实时图像的横向与纵向等分，将其划分为二维图像矩阵块；
(22)通过基于CNN+T2FNN的深度学习模型，确定障碍物在施工现场的各图像矩阵块中是否存在，若存在则用二维栅格表示出该障碍物的二维位置，进而构建出整个施工现场的二维栅格表；
(23)通过分析不同角度摄像头传来的施工现场的实时图像进而构建不同的二维栅格表，将不同角度的二维栅格表转化成一个标有障碍物的三维栅格表；
(24)根据三维栅格表，得出装配式建筑吊装施工现场障碍物的数量、大小以及具体位置，进而用蚁群算法计算预制件最佳吊装路径，该最佳吊装路径需使得预制件吊装时间最短、预制件避开所有现场障碍物。
作为进一步优选技术方案之一，CNN部分包括六层，具体如下：第一层为输入层，输入为灰度化后的场景图像；第二层与第四层同为卷积层，对上层输出进行卷积操作；第三层与第五层同为采样层，对上层输出进行采样操作；最后一层为光栅化层，将上层输出特征排成一列，分别与下一部分相连，该层共有n个特征，n为大于2的整数。
作为进一步优选技术方案之一，T2FNN部分包括三层，具体如下：
第一层为模糊化层，将CNN部分中光栅化层的每一个输出特征进行模糊化，将其映射为二型模糊集；
第二层为规则层，第j条规则Rj的具体规则形式如下
Rj：若x1为x2为为则y为
其中，xi为光栅化层的第i个输出特征，其中i＝1,2,…,n，n为特征个数；为第i个输出特征对应的第j个二型模糊集，其中j＝1,2,…,m，m为规则个数，为规则Rj的输出区间权重；
第三层为降型输出层，该层输出y(x)＝ξ(x,θ)Tw，其中ξ(x,θ)为激活强度标准化后的强度向量，θ为所有二型模糊集的中心及宽度的参数向量，为区间权重构成的向量。
基于CNN+T2FNN的深度学习模型的训练过程如下：
从机器视觉数据库中任取一场景图像样本(Vk,yk)，其中，Vk为原始图像，yk为障碍物标签，对该样本进行灰度化操作，使样本由RGB图像转化为灰度图像，灰度化后的图像表示为(Vk′,yk)，通过(Vk′,yk)对深度学习模型进行训练。该模型的训练分为两部分进行，其中一部分为CNN的训练，另一部分为T2FNN的训练。
CNN部分的参数训练方法如下：
①对该部分所有的连接权重进行初始化，一般采用的方法为在较小的区间内随机生成；
②将Vk′作为输入，根据随机生成的初始权重，得到网络的实际输出标签Ok；
③计算网络的实际输出标签Ok与期望输出标签yk的差值，即输出误差；
④通过最小化误差的反向传播方法调节CNN部分的连接权重参数矩阵；
⑤遍历机器视觉库中的所有场景图片样本，训练结束；
T2FNN部分的参数训练方法如下：
①计算机器视觉数据库中所有样本的误差平方和E(w)：
其中，L为训练样本数目，Φ＝[ξ(x1,θ),ξ(x2,θ),…,ξ(xL,θ)]T，xl＝[xl1,xl2,…,xln]T为第l个样本的特征向量，y＝[y1,y2,…,yL]T且yl为第l个样本的输出标签；
②采用最小二乘算法对E(w)进行求解，得到T2FNN的最佳参数向量
w＝Φ+y
其中，Φ+为矩阵Φ的广义逆。
作为进一步优选技术方案之一，通过蚁群算法找出装配式建筑的预制件最佳吊装路径的具体方法如下：
①参数初始化：蚂蚁生成时间间隔T、迭代次数Nc＝0、最大迭代次数Ncmax、预制件放置节点(a0,b0,c0)以及吊装目的地节点(a,b,c)，即在三维栅格表中通过蚂蚁寻找到从(a0,b0,c0)到(a,b,c)的最佳路径；
②在(a0,b0,c0)节点上等时间间隔T生成蚂蚁，蚂蚁根据状态转移概率选择下一节点，并将走过的节点加入禁忌表中，其中蚂蚁在转移过程中会在路径上留有信息素，状态转移概率随信息素浓度而改变；
③当蚂蚁到达目的地节点(a,b,c)时，按原路返回；当蚂蚁返回节点(a0,b0,c0)时，更新信息素浓度，并令Nc＝Nc+1；
④若Nc>Ncmax，则迭代结束，输出最佳路径；否则，返回②。
作为优选技术方案之一，步骤(3)的具体方法是：
(31)设备控制模块利用接收到的装配式建筑预制件最佳吊装路径，计算出设备控制模块所需数据；
(32)塔吊控制模块将预制件起吊，严格按照步骤(31)所得具体数据，进行所述预制件的吊装工作。
步骤(31)中的数据包括：启停时间、启停位置、预制件吊起高度、摄像头需要转动的角度以及监控吊装路径的拍摄位置。
作为优选技术方案之一，步骤(4)的具体方法是：吊装过程中，根据步骤(3)所得数据，摄像头控制模块控制摄像头获取实时施工现场所述预制件的吊装过程的图像，图像处理和决策模块判断该预制件是否符合步骤(2)设定的预制件最佳吊装路径，倘若出现偏差，则通过塔吊控制模块进行修正，倘若没有，则完成预制件吊装，返回步骤(1)，进入下一预制件吊装，直至完成所有预制件的总体吊装。
上述吊装方法对应的基于机器视觉的装配式建筑智能吊装系统，包括图像采集模块、图像处理和决策模块以及设备控制模块，其中，图像处理和决策模块与图像采集模块通信，设备控制模块与图像处理和决策模块通信。
所述设备控制模块包括塔吊控制模块和摄像头控制模块。
所述摄像头为360°高清摄像头。
在摄像头的周围布置可随摄像头转动而360°旋转的探照灯，以便摄像头在光线不佳的情况下更好的采集装配式建筑施工现场的图像信息，防止因光线不佳的因素导致后期图像分析误差过大。
所述吊装系统还包括第一通信模块和第二通信模块，分别用于图像处理和决策模块与图像采集模块通信，设备控制模块与图像处理和决策模块通信。
所述第一通信模块和第二通信模块分别包括一对无线发射子模块和无线接收子模块。
本发明的有益效果：
本发明采用机器视觉代替了在装配式建筑吊装过程中对人类视觉的依赖。利用机器视觉，通过CNN+T2FNN深度学习模型在复杂的装配场景中进行障碍物识别，利用蚁群算法进行预制件吊装路径规划，进而根据决策结果来控制现场的设备动作。本发明利用摄像头代替人眼从复杂的场景中分析得到最佳的方案，能更好地规划预制件吊装的路径，大大提高了装配式建筑的吊装效率和准确性，实现装配式建筑吊装智能化，改善人工吊装的缺点。具体如下：
1)用摄像头代替人眼，靠摄像头采集装配式建筑吊装施工现场的图像，实现装配式建筑的吊装智能化，节省了人力，避免了人工吊装的缺点，缩短吊装时间。
2)在吊装过程中，采用基于卷积神经网络+二型模糊神经网络的深度学习模型实现基于机器视觉的障碍物识别，充分发挥了卷积神经网络的强大学习功能及二型模糊神经网络的复杂环境建模能力，有助于提高识别效果，确保吊装过程的安全性。
3)给出了基于蚁群算法的最佳吊装路径规划方法，所得到的最佳吊装路径确保了预制件吊装时间最短且吊装过程中避开所有现场障碍物，有助于提高装配式建筑的吊装效率、准确性，降低吊装难度。
附图说明
图1是本发明的流程图；
图2是基于CNN+T2FNN的深度学习模型。
具体实施方式
下面结合附图和实施例对本发明进行进一步的阐述，应该说明的是，下述说明仅是为了解释本发明，并不对其内容进行限定。
如图1所示，基于机器视觉的装配式建筑智能吊装方法，包括步骤：
(1)图像采集模块通过安装在装配式建筑吊装施工现场的摄像头采集图像，构建施工现场的机器视觉数据库，并通过第一通信模块传输给图像处理和决策模块。
针对会对预制件吊装路径造成影响的设备、装配式建筑的外墙以及预制件的外表面，提前进行图像采集，进而与步骤(1)中采集到的图像一并构建施工现场的机器视觉数据库。
(2)图像处理和决策模块进行图像分析，找出装配式建筑的预制件最佳吊装路径，并通过第二通信模块发送给设备控制模块。
具体方法是：图像处理和决策模块利用卷积神经网(CNN)和二型模糊神经网络(T2FNN)构成的深度学习模型(图2)对图像采集模块采集到的装配式建筑吊装施工现场的实时图像进行分析，找出影响装配式建筑吊装的障碍物，通过栅格表确定障碍物位置；并通过蚁群算法找出装配式建筑的预制件最佳吊装路径；最后，通过第二通信模块将装配式建筑预制件最佳吊装路径发送给设备控制模块。具体包括步骤：
(21)将装配式建筑吊装施工现场的实时图像的横向与纵向等分，将其划分为二维图像矩阵块；
(22)通过基于CNN+T2FNN的深度学习模型，确定障碍物在施工现场的各图像矩阵块中是否存在，若存在则用二维栅格表示出该障碍物的二维位置，进而构建出整个施工现场的二维栅格表；
(23)通过分析不同角度摄像头传来的施工现场的实时图像进而构建不同的二维栅格表，将不同角度的二维栅格表转化成一个标有障碍物的三维栅格表；
(24)根据三维栅格表，得出装配式建筑吊装施工现场障碍物的数量、大小以及具体位置，进而用蚁群算法计算预制件最佳吊装路径，该最佳吊装路径需使得预制件吊装时间最短、预制件避开所有现场障碍物。
其中，CNN部分包括六层，具体如下：第一层为输入层，输入为灰度化后的场景图像；第二层与第四层同为卷积层，对上层输出进行卷积操作；第三层与第五层同为采样层，对上层输出进行采样操作；最后一层为光栅化层，将上层输出特征排成一列，分别与下一部分相连，该层共有n个特征。
T2FNN部分包括三层，具体如下：
第一层为模糊化层，将CNN部分中光栅化层的每一个输出特征进行模糊化，将其映射为二型模糊集；
第二层为规则层，第j条规则Rj的具体规则形式如下
Rj：若x1为x2为为则y为
其中，xi为光栅化层的第i个输出特征，其中i＝1,2,…,n，n为特征个数；为第i个输出特征对应的第j个二型模糊集，其中j＝1,2,…,m，m为规则个数，为规则Rj的输出区间权重；
第三层为降型输出层，该层输出y(x)＝ξ(x,θ)Tw，其中ξ(x,θ)为激活强度标准化后的强度向量，θ为所有二型模糊集的中心及宽度的参数向量，为区间权重构成的向量。
基于CNN+T2FNN的深度学习模型的训练过程如下：
从机器视觉数据库中任取一场景图像样本(Vk,yk)，其中，Vk为原始图像，yk为障碍物标签，对该样本进行灰度化操作，使样本由RGB图像转化为灰度图像，灰度化后的图像表示为(Vk′,yk)，通过(Vk′,yk)对深度学习模型进行训练。该模型的训练分为两部分进行，其中一部分为CNN的训练，另一部分为T2FNN的训练。
CNN部分的参数训练方法如下：
①对该部分所有的连接权重进行初始化，一般采用的方法为在较小的区间内随机生成；
②将Vk′作为输入，根据随机生成的初始权重，得到网络的实际输出标签Ok；
③计算网络的实际输出标签Ok与期望输出标签yk的差值，即输出误差；
④通过最小化误差的反向传播方法调节CNN部分的连接权重参数矩阵；
⑤遍历机器视觉库中的所有场景图片样本，训练结束；
T2FNN部分的参数训练方法如下：
①计算机器视觉数据库中所有样本的误差平方和E(w)：
其中，L为训练样本数目，Φ＝[ξ(x1,θ),ξ(x2,θ),…,ξ(xL,θ)]T，xl＝[xl1,xl2,…,xln]T为第l个样本的特征向量，y＝[y1,y2,…,yL]T且yl为第l个样本的输出标签；
②采用最小二乘算法对E(w)进行求解，得到T2FNN的最佳参数向量
w＝Φ+y
其中，Φ+为矩阵Φ的广义逆。
作为进一步优选技术方案之一，通过蚁群算法找出装配式建筑的预制件最佳吊装路径的具体方法如下：
①参数初始化：蚂蚁生成时间间隔T、迭代次数Nc＝0、最大迭代次数Ncmax、预制件放置节点(a0,b0,c0)以及吊装目的地节点(a,b,c)，即在三维栅格表中通过蚂蚁寻找到从(a0,b0,c0)到(a,b,c)的最佳路径；
②在(a0,b0,c0)节点上等时间间隔T生成蚂蚁，蚂蚁根据状态转移概率选择下一节点，并将走过的节点加入禁忌表中，其中蚂蚁在转移过程中会在路径上留有信息素，状态转移概率随信息素浓度而改变；
③当蚂蚁到达目的地节点(a,b,c)时，按原路返回；当蚂蚁返回节点(a0,b0,c0)时，更新信息素浓度，并令Nc＝Nc+1；
④若Nc>Ncmax，则迭代结束，输出最佳路径；否则，返回②。
(23)将装配式建筑的预制件最佳吊装路径经第二通信模块发送给设备控制模块。
(3)设备控制模块计算出具体吊装所需数据，进而利用塔吊控制模块实现预制件吊装。
具体方法是：
(31)设备控制模块利用接收到的装配式建筑的预制件最佳吊装路径，计算出设备控制模块所需数据(包括：启停时间、启停位置、预制件吊起高度、摄像头需要转动的角度以及监控吊装路径的拍摄位置)；
(32)塔吊控制模块将预制件起吊，严格按照步骤(31)所得具体数据，进行所述预制件的吊装工作。
(4)吊装过程中，摄像头控制模块控制摄像头获取实时图像，并经图像处理和决策模块判断预制件是否符合步骤(2)设定的预制件最佳吊装路径，倘若出现偏差，则通过塔吊控制模块进行修正，倘若没有，则完成预制件吊装，返回步骤(1)，进入下一预制件吊装，直至完成所有预制件的总体吊装。
具体方法是：吊装过程中，根据步骤(3)所得数据，摄像头控制模块控制摄像头获取实时施工现场所述预制件的吊装过程的图像，图像处理和决策模块判断该预制件是否符合步骤(2)设定的预制件最佳吊装路径，倘若出现偏差，则通过塔吊控制模块进行修正，倘若没有，则完成预制件吊装，返回步骤(1)，进入下一预制件吊装，直至完成所有预制件的总体吊装。
上述吊装方法对应的基于机器视觉的装配式建筑智能吊装系统，包括图像采集模块、图像处理和决策模块以及设备控制模块，其中，图像处理和决策模块与图像采集模块通信，设备控制模块与图像处理和决策模块通信。
其中，设备控制模块包括塔吊控制模块和摄像头控制模块。
摄像头为360°高清摄像头；在摄像头的周围布置可随摄像头转动而360°旋转的探照灯，以便摄像头在光线不佳的情况下更好的采集装配式建筑施工现场的图像信息，防止因光线不佳的因素导致后期图像分析误差过大。
该吊装系统还包括第一通信模块和第二通信模块，分别用于图像处理和决策模块与图像采集模块通信，设备控制模块与图像处理和决策模块通信。第一通信模块和第二通信模块分别包括一对无线发射子模块和无线接收子模块。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (7)

1.基于机器视觉的装配式建筑智能吊装方法，其特征在于，包括步骤：
（1）图像采集模块通过安装在装配式建筑吊装施工现场的摄像头采集图像，构建施工现场的机器视觉数据库，并通过第一通信模块传输给图像处理和决策模块；
（2）图像处理和决策模块进行图像分析，找出装配式建筑的预制件最佳吊装路径，并通过第二通信模块发送给设备控制模块；
（3）设备控制模块计算出具体吊装所需数据，进而利用塔吊控制模块实现预制件吊装；
（4）吊装过程中，摄像头控制模块控制摄像头获取实时图像，并经图像处理和决策模块判断预制件是否符合步骤（2）设定的预制件最佳吊装路径，倘若出现偏差，则通过塔吊控制模块进行修正，倘若没有，则完成预制件吊装，返回步骤（1），进入下一预制件吊装，直至完成所有预制件的总体吊装；
步骤（2）的具体方法是：图像处理和决策模块利用卷积神经网CNN和二型模糊神经网络T2FNN构成的深度学习模型对图像采集模块采集到的装配式建筑吊装施工现场的实时图像进行分析，找出影响装配式建筑吊装的障碍物，通过栅格表确定障碍物位置；并通过蚁群算法找出装配式建筑的预制件最佳吊装路径；最后，通过第二通信模块将装配式建筑预制件最佳吊装路径发送给设备控制模块；
步骤（3）的具体方法是：
（31）设备控制模块利用接收到的装配式建筑预制件最佳吊装路径和吊装规划，计算出设备控制模块所需数据；
（32）塔吊控制模块将预制件起吊，严格按照步骤（31）所得具体数据，进行所述预制件的吊装工作。
2.根据权利要求1所述的基于机器视觉的装配式建筑智能吊装方法，其特征在于，针对会对预制件吊装路径造成影响的设备、装配式建筑的外墙以及预制件的外表面，提前进行图像采集，进而与步骤（1）中采集到的图像一并构建施工现场的机器视觉数据库。
3.根据权利要求1所述的基于机器视觉的装配式建筑智能吊装方法，其特征在于，步骤（2）具体包括步骤：
（21）将装配式建筑吊装施工现场的实时图像的横向与纵向等分，将其划分为二维图像矩阵块；
（22）通过基于卷积神经网CNN和二型模糊神经网络T2FNN的深度学习模型，确定障碍物在施工现场的各图像矩阵块中是否存在，若存在则用二维栅格表示出该障碍物的二维位置，进而构建出整个施工现场的二维栅格表；
（23）通过分析不同角度摄像头传来的施工现场的实时图像进而构建不同的二维栅格表，将不同角度的二维栅格表转化成一个标有障碍物的三维栅格表；
（24）根据三维栅格表，得出装配式建筑吊装施工现场障碍物的数量、大小以及具体位置，进而用蚁群算法计算预制件最佳吊装路径，该最佳吊装路径需使得预制件吊装时间最短、预制件避开所有现场障碍物。
4.根据权利要求1所述的基于机器视觉的装配式建筑智能吊装方法，其特征在于，步骤（4）的具体方法是：吊装过程中，根据步骤（3）所得数据，摄像头控制模块控制摄像头获取实时施工现场所述预制件的吊装过程的图像，图像处理和决策模块判断该预制件是否符合步骤（2）设定的预制件最佳吊装路径，倘若出现偏差，则通过塔吊控制模块进行修正，倘若没有，则完成预制件吊装，返回步骤（1），进入下一预制件吊装，直至完成所有预制件的总体吊装。
5.用于实施权利要求1～4中任一项所述吊装方法的基于机器视觉的装配式建筑智能吊装系统，其特征在于，包括图像采集模块、图像处理和决策模块以及设备控制模块，其中，图像处理和决策模块与图像采集模块通信，设备控制模块与图像处理和决策模块通信。
6.根据权利要求5所述的基于机器视觉的装配式建筑智能吊装系统，其特征在于，所述设备控制模块包括塔吊控制模块和摄像头控制模块。
7.根据权利要求5所述的基于机器视觉的装配式建筑智能吊装系统，其特征在于，所述吊装系统还包括第一通信模块和第二通信模块，分别用于图像处理和决策模块与图像采集模块通信，设备控制模块与图像处理和决策模块通信。
CN201710248484.5A 2017-04-17 2017-04-17 基于机器视觉的装配式建筑智能吊装方法与系统 Active CN106966298B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710248484.5A CN106966298B (zh) 2017-04-17 2017-04-17 基于机器视觉的装配式建筑智能吊装方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710248484.5A CN106966298B (zh) 2017-04-17 2017-04-17 基于机器视觉的装配式建筑智能吊装方法与系统

Publications (2)

Publication Number Publication Date
CN106966298A CN106966298A (zh) 2017-07-21
CN106966298B true CN106966298B (zh) 2018-08-14

Family

ID=59332422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710248484.5A Active CN106966298B (zh) 2017-04-17 2017-04-17 基于机器视觉的装配式建筑智能吊装方法与系统

Country Status (1)

Country Link
CN (1) CN106966298B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403275B (zh) * 2017-08-01 2020-12-22 贺州学院 吊装风险预警方法及装置
CN107300723B (zh) * 2017-08-01 2023-09-26 贺州学院 装配式建筑装配检测装置及方法
CN107720552A (zh) * 2017-10-16 2018-02-23 西华大学 一种基于计算机机器视觉的装配式建筑智能吊装方法
CN107862864B (zh) * 2017-10-18 2021-06-15 南京航空航天大学 基于驾驶习惯和交通路况的行驶工况智能预测估计方法
CN107817798A (zh) * 2017-10-30 2018-03-20 洛阳中科龙网创新科技有限公司 一种基于深度学习系统的农用机械避障方法
CN108427346B (zh) * 2018-04-02 2020-04-28 广州大学 一种装配式结构吊装控制管理系统
CN109191533B (zh) * 2018-08-21 2021-06-25 江苏德丰建设集团有限公司 基于装配式建筑的塔吊高空施工方法
CN109242294A (zh) * 2018-08-29 2019-01-18 国网河南省电力公司电力科学研究院 改进模糊神经网络的电力通信性能预警方法及装置
CN108756292B (zh) * 2018-09-05 2021-07-23 山东建筑大学 一种基于物联网技术的建筑同步顶升控制方法及系统
CN109610850B (zh) * 2018-12-17 2020-11-24 上海荷福人工智能科技（集团）有限公司 一种基于机器视觉的装配式建筑施工导航方法
CN109893779B (zh) * 2019-04-08 2020-06-26 山东大学 一种适用于放疗科的可移动床
EP3750842B1 (de) 2019-06-11 2021-10-20 Siemens Aktiengesellschaft Verladen einer last mit einem kransystem
CN114675637A (zh) * 2022-02-14 2022-06-28 嘉兴市恒光电力建设有限责任公司 一种基于机器视觉的室内电力设备智能安装系统及方法
CN116675127B (zh) * 2023-04-11 2024-01-23 北京萨达智能技术有限公司 塔机顶升拆卸过程中塔机关键部位连接状态检测系统及方法
CN116924259A (zh) * 2023-08-15 2023-10-24 重庆大学溧阳智慧城市研究院 一种模块化建筑智能吊装系统及方法
CN117326461B (zh) * 2023-10-20 2024-05-31 广西壮族自治区特种设备检验研究院 基于图像识别的液压吊装系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2820803Y (zh) * 2005-08-05 2006-09-27 上海振华港口机械（集团）股份有限公司 集装箱起重机的最佳路径的自动化系统
CN201229497Y (zh) * 2008-07-08 2009-04-29 高旭 基于图像处理的集装箱轮胎吊自动驾驶系统
CN102542361A (zh) * 2012-01-11 2012-07-04 中联重科股份有限公司 起重机吊装物路径规划方法
CN102897674A (zh) * 2012-10-11 2013-01-30 中联重科股份有限公司 一种确定吊装路径的方法及装置
CN103278153A (zh) * 2013-04-27 2013-09-04 中南大学 一种基于空间二维映射的汽车起重机三维路径规划方法
CN103496632A (zh) * 2013-09-18 2014-01-08 中南大学 一种基于云计算的起重机三维仿真路径规划方法
CN105819339A (zh) * 2016-04-29 2016-08-03 华中科技大学 一种大型吊装作业虚拟指挥舱及其工作方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11118979A (ja) * 1997-08-11 1999-04-30 Toshiba Corp プラントの組立方法
US20100243593A1 (en) * 2009-03-26 2010-09-30 Henry King Method and apparatus for crane topple/collision prevention
US20160247067A1 (en) * 2013-10-08 2016-08-25 Nanyang Technological University Method and system for intelligent crane lifting

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2820803Y (zh) * 2005-08-05 2006-09-27 上海振华港口机械（集团）股份有限公司 集装箱起重机的最佳路径的自动化系统
CN201229497Y (zh) * 2008-07-08 2009-04-29 高旭 基于图像处理的集装箱轮胎吊自动驾驶系统
CN102542361A (zh) * 2012-01-11 2012-07-04 中联重科股份有限公司 起重机吊装物路径规划方法
CN102897674A (zh) * 2012-10-11 2013-01-30 中联重科股份有限公司 一种确定吊装路径的方法及装置
CN103278153A (zh) * 2013-04-27 2013-09-04 中南大学 一种基于空间二维映射的汽车起重机三维路径规划方法
CN103496632A (zh) * 2013-09-18 2014-01-08 中南大学 一种基于云计算的起重机三维仿真路径规划方法
CN105819339A (zh) * 2016-04-29 2016-08-03 华中科技大学 一种大型吊装作业虚拟指挥舱及其工作方法

Also Published As

Publication number Publication date
CN106966298A (zh) 2017-07-21

Similar Documents

Publication Publication Date Title
CN106966298B (zh) 基于机器视觉的装配式建筑智能吊装方法与系统
WO2023160012A1 (zh) 一种用于电网线路随机巡检的无人机辅助边缘计算方法
CN106970615A (zh) 一种深度强化学习的实时在线路径规划方法
CN110084307A (zh) 一种基于深度强化学习的移动机器人视觉跟随方法
CN110794842A (zh) 基于势场的强化学习路径规划算法
CN104961009B (zh) 基于机器视觉的多电梯并联运行协调控制方法及系统
CN107818302A (zh) 基于卷积神经网络的非刚性多尺度物体检测方法
CN110202583A (zh) 一种基于深度学习的仿人机械手控制系统及其控制方法
CN108600379A (zh) 一种基于深度确定性策略梯度的异构多智能体协同决策方法
CN109045676B (zh) 一种象棋识别学习算法和基于该算法的机器人智动化系统与方法
CN107229929A (zh) 一种基于r‑cnn的车牌定位方法
CN107253195B (zh) 一种运载机器人手臂操控自适应混合学习映射智能控制方法及系统
CN107944396A (zh) 一种基于改进深度学习的刀闸状态识别方法
CN107368858B (zh) 一种智能环境运载机器人识别楼层的参数化测量多模型智能融合方法
CN110963209A (zh) 一种基于深度强化学习的垃圾分拣装置与方法
CN108196453A (zh) 一种机械臂运动规划群体智能计算方法
CN107633511A (zh) 一种基于自编码神经网络的风机视觉检测系统
CN114092697B (zh) 注意力融合全局和局部深度特征的建筑立面语义分割方法
CN109785385A (zh) 视觉目标跟踪方法及系统
CN107688856A (zh) 基于深度强化学习的室内机器人场景主动识别方法
CN107516127A (zh) 服务机器人自主获取人穿携物品归属语义的方法及系统
CN113391607A (zh) 一种基于深度学习的水电站闸门控制方法及系统
CN107703936A (zh) 基于卷积神经网络的自动导航小车系统及小车定位方法
CN109799829B (zh) 一种基于自组织映射的机器人群体协同主动感知方法
CN110298292A (zh) 基于规则多边形物体角点检测的高精度实时抓取检测方法

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220412

Address after: 276800 room 206, Antai International Plaza, intersection of Shandong Road and Yantai Road, Qinlou street, Donggang District, Rizhao City, Shandong Province

Patentee after: Rizhao Antai Technology Development Co.,Ltd.

Address before: Feng Ming Licheng District Lingang Development Zone, 250101 Ji'nan Road, Shandong Province

Patentee before: SHANDONG JIANZHU University