CN116468703A - 基于机器视觉的楼板钢筋验收方法及系统 - Google Patents

基于机器视觉的楼板钢筋验收方法及系统 Download PDF

Info

Publication number
CN116468703A
CN116468703A CN202310448217.8A CN202310448217A CN116468703A CN 116468703 A CN116468703 A CN 116468703A CN 202310448217 A CN202310448217 A CN 202310448217A CN 116468703 A CN116468703 A CN 116468703A
Authority
CN
China
Prior art keywords
gluten
layer
neural network
template
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310448217.8A
Other languages
English (en)
Inventor
徐凯
周炜
张爽
文江涛
李磊
刘永波
陈嘉锡
梁伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
First Construction Co Ltd of China Construction Third Engineering Division
Original Assignee
First Construction Co Ltd of China Construction Third Engineering Division
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by First Construction Co Ltd of China Construction Third Engineering Division filed Critical First Construction Co Ltd of China Construction Third Engineering Division
Priority to CN202310448217.8A priority Critical patent/CN116468703A/zh
Publication of CN116468703A publication Critical patent/CN116468703A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及建筑施工技术领域，提供一种基于机器视觉的楼板钢筋验收方法及系统。系统包括设备感知层、边缘计算层、云服务器层以及应用展示层。方法包括以下步骤：设备感知层获取楼板钢筋双目图像；边缘计算层基于双目图像计算深度图，对钢筋像素点进行聚类分析，获取每根钢筋的像素点集；分别计算楼板钢筋的面筋和底筋的绑扎间距，与预设的钢筋间距要求对比，计算合格率；并将图像和数据上传至云服务器层；利用应用展示层向用户推送展示合格率。本发明能够实现钢筋绑扎质量的快速、批量化以及自动化验收，大幅减少钢筋验收的人工作业量，提升验收效率，保障验收结果的客观性。

Description

基于机器视觉的楼板钢筋验收方法及系统
技术领域
本发明属于建筑施工技术领域，具体涉及一种基于机器视觉的楼板钢筋验收方法及系统。
背景技术
钢筋施工的合规性是楼板施工质量控制的关键项。楼板钢筋施工质量验收仍采用传统人工检查方法，由质检人员在施工现场对照图纸测量、清点钢筋，并形成文字检查记录。上述楼板钢筋验收方法人工作业量大、费时费力，验收可靠性受人员技术水平、执行力度等因素影响，且所形成的纸质书面验收结果所承载的信息较为分散，不符合施工质量管理数据的信息化管理和高效流转需求。
发明内容
本发明的目的在于克服现有技术的不足，提出一种基于机器视觉的楼板钢筋验收方法及系统，能够利用边缘计算技术，实现楼板钢筋施工质量的快速批量化验收。
第一方面，本发明提供一种基于机器视觉的楼板钢筋验收方法，包括以下步骤：
利用设备感知层获取楼板钢筋双目图像；
利用边缘计算层对所述双目图像进行预处理操作；
边缘计算层取预处理后的左图像，通过模板边缘检测神经网络模型获取模板边缘像素点，再通过聚类分析获取各模板边缘线段的像素点集，利用模板边缘像素点集拟合模板边界线，形成待检测的感兴趣区域；其中，左图像由双目图像拆分得到；
边缘计算层基于双目图像计算深度图，并通过钢筋类别语义分割神经网络模型分别识别左图像中的面筋、底筋像素点，对感兴趣区域范围内的钢筋像素点进行聚类分析，获取每根钢筋的像素点集；
利用边缘计算层分别计算楼板钢筋的面筋和底筋的绑扎间距，并与预设的钢筋间距要求对比，计算合格率；并将计算的绑扎间距及合格率上传至云服务器层；
利用应用展示层向用户推送展示所述合格率。
进一步地，还包括以下步骤：
利用云服务器层训练模板边缘检测神经网络，得到模板边缘检测神经网络模型；
利用云服务器层训练钢筋类别语义分割神经网络，得到钢筋类别语义分割神经网络模型；
云服务器层将训练所得的模板边缘检测神经网络模型、钢筋类别语义分割神经网络模型下发至边缘计算层。
进一步地，所述利用云服务器层训练模板边缘检测神经网络的步骤包括：
将双目图像均拆分为单独的左图像和右图像，并通过旋转、平移、剪切操作以扩充数据集至合适规模；
对左图像和右图像中的模板边缘进行标注；
建立模板边缘检测神经网络模型，利用标注的左图像和右图像进行训练。
进一步地，所述利用云服务器层训练钢筋类别语义分割神经网络的步骤包括：
对双目图像对进行立体匹配，计算以左图像为基准的视差图，进而计算深度图；
取左图像标注面筋、底筋像素；
建立钢筋类别语义分割神经网络模型，利用深度图和标注后的左图像进行训练。
进一步地，所述通过聚类分析获取各模板边缘线段的像素点集，利用模板边缘像素点集拟合模板边界线的步骤包括：
获取模板纵向边缘像素点集；
获取模板横向边缘像素点集；
若模板存在斜向边缘，获取模板斜向边缘像素点集；
对各模板边缘像素点集实施最小二乘，拟合模板边缘直线，作为模板边界线。
进一步地，所述对感兴趣区域范围内的钢筋像素点进行聚类分析的步骤包括：
获取面筋中纵筋像素点集；获取面筋中横筋像素点集；若面筋存在斜筋，获取面筋中斜筋像素点集；
获取底筋中纵筋像素点集；获取底筋中横筋像素点集；若底筋存在斜筋，获取底筋中斜筋像素点集。
进一步地，所述计算楼板钢筋的面筋的绑扎间距的步骤包括：
取楼板钢筋的面筋的各个横筋的像素点集的y坐标均值排序后依次计算相邻差值，作为面筋的横筋像素间距Δyp，则面筋的横筋间距值Δy的计算公式为：
取楼板钢筋的面筋的各个纵筋的像素点集的x坐标均值排序后依次计算相邻差值，作为面筋的纵筋像素间距Δxp，则面筋的横筋间距值Δx的计算公式为：
采用最小二乘法拟合面筋的斜筋的直线，将斜率相近的斜筋的像素点集划入一组，计算其平均斜率按截距排序并计算相邻两直线的截距差Δbp，分别计算各个斜筋的像素间距值Δlp＝Δbp×cos(arctan(k))，进而计算面筋的斜筋间距值/>
其中，u为设备感知层的相机像元尺寸，f为相机焦距，为面筯的平均深度。
进一步地，所述计算楼板钢筋的底筋的绑扎间距的步骤包括：
取楼板钢筋的底筋的各个横筋的像素点集的y坐标均值排序后依次计算相邻差值，作为底筋的横筋像素间距Δyp′，则底筋的横筋间距值Δy′的计算公式为：
取楼板钢筋的底筋的各个纵筋的像素点集的x坐标均值排序后依次计算相邻差值，作为底筋的纵筋像素间距Δxp′，则底筋的横筋间距值Δx′的计算公式为：
采用最小二乘法拟合底筋的斜筋的直线，将斜率相近的斜筋的像素点集划入一组，计算其平均斜率按截距排序并计算相邻两直线的截距差Δbp′，分别计算各个斜筋的像素间距值/>进而计算底筋的斜筋间距值/>
其中，u为设备感知层的相机像元尺寸，f为相机焦距，为底筋的平均深度。
进一步地，还包括以下步骤：
云服务器层持续获取边缘计算层所上传预处理后的双目图像；
云服务器层每当新增收到预设数量的双目图像时，利用扩充后的双目图像数据集更新训练模板边缘检测神经网络、钢筋类别语义分割神经网络；
云服务器层将更新训练所得的模板边缘检测神经网络模型、钢筋类别语义分割神经网络模型下发至边缘计算层。
通过在系统运行期间不断新增数据集，可迭代训练算法模型，增强其分类、识别的准确性和泛化能力，具备性能持续提升潜力。
第二方面，本发明还提出一种基于机器视觉的楼板钢筋验收系统，包括：
设备感知层，用于获取楼板钢筋双目图像；
边缘计算层，与所述设备感知层通信连接，用于对所述双目图像进行预处理操作，基于预处理所得图像、接收的钢筋类别语义分割神经网络模型和模板边缘检测神经网络模型计算楼板钢筋的深度图、分类识别楼板钢筋、计算楼板钢筋的绑扎间距以及合格率，同时用于控制设备感知层；
云服务器层，与所述边缘计算层通信连接，用于训练和更新钢筋类别语义分割神经网络模型和模板边缘检测神经网络模型，并将其下发至所述边缘计算层；所述云服务器层还用于收集图像和数据，所述数据包括计算的绑扎间距及合格率；以及
应用展示层，与所述云服务器层通信连接，用于向用户推送展示所述合格率。
本发明的有益效果包括：
通过设备感知层拍摄楼板钢筋双目图像，利用边缘计算层、基于机器视觉算法检测楼板模板边缘和楼板钢筋类别，计算钢筋绑扎间距与合格率，并结合云服务器层和应用展示层实现图像及数据上传、汇总与推送。能够实现钢筋绑扎质量的快速、批量化以及自动化验收，大幅减少钢筋验收的人工作业量，提升验收效率，保障验收结果的客观性。
本发明的云服务器层有助于高效收集、管理施工质量管理过程资料，支撑建筑信息模型应用，并有利于施工质量管理信息的高效流通与积累复用。
本发明具有较强的适应性和拓展性，能够根据项目需求便捷地调整边缘计算层及设备感知层的装备结构，实现多项目、多楼板钢筋施工质量的规模化集中管控，同时也便于不同项目间的周转使用。
附图说明
图1为本发明基于机器视觉的楼板钢筋验收系统的结构示意图。
图2为本发明基于机器视觉的楼板钢筋验收方法的流程图。
图中，10-设备感知层；20-边缘计算层；30-云服务器层；40-应用展示层。
具体实施方式
以下结合附图和具体实施例对本发明作进一步的详细描述。
本发明的楼板钢筋验收系统或方法的实施以顶模施工环境下的楼板钢筋的验收为例。但并不排除，本实施例的系统或方法还可用于其它施工环境下的楼板钢筋的验收。其中，顶模通常指顶升模架系统，又称空中造楼机，是一种高效的高层建筑施工装备，为各项施工工艺过程和施工设备提供了集成平台。采用顶模施工的高层建筑，部分核心筒水平楼板随竖向结构同步施作，其水平楼板的楼板钢筋施工质量验收采用本发明的系统和/或方法。
如图1所示，本发明提出的基于机器视觉的楼板钢筋验收系统，包括设备感知层10、边缘计算层20、云服务器层30以及应用展示层40。
设备感知层10用于在顶模施工环境下获取核心筒楼板钢筋双目图像。
边缘计算层20与设备感知层10通信连接，用于对双目图像进行预处理操作，预处理操作包括降噪、增强、畸变矫正、极线校正等。基于预处理所得图像、接收的钢筋类别语义分割神经网络模型和模板边缘检测神经网络模型计算楼板钢筋的深度图、分类识别楼板钢筋、计算楼板钢筋的绑扎间距以及合格率。当然，边缘计算层20还用于控制设备感知层10的设备和装置。
云服务器层30与边缘计算层20通信连接，用于训练和更新钢筋类别语义分割神经网络模型和模板边缘检测神经网络模型，并将其下发至边缘计算层20；云服务器层30还用于收集图像和数据，数据包括计算的绑扎间距及合格率。
应用展示层40与云服务器层30通信连接，用于向用户推送展示合格率。应用展示层40还用于向用户提供系统操作界面。应用展示层40包括浏览器端和/或客户端。
设备感知层10包括悬挂装置、双目相机、补光灯，悬挂装置固定在顶模桁架贝蕾片下部，具体包括由工字钢梁组成的可在平面内移动的平移机构、可在垂直方向调整末端高度的伸缩杆件机构、可调整末端角度姿态的云台机构，云台机构拥有倾角感知装置以便调平姿态；双目相机优选一款ZED2i相机，其焦距为2.12mm，像元尺寸为2um，与补光灯一同安装于悬挂装置末端的云台机构上；利用上述设备感知层10，当顶模随施工进度顶升至新的楼层、楼板钢筋施工完成后，可通过调整悬挂装置，使双目相机和补光灯位于适合拍摄的位置与姿态，该方案可消除顶模顶升振动、变形导致的偏位问题，同时提升对楼板形态、拍摄条件变化的适应性。
边缘计算层20包括边缘处理器、边缘通信模块、边缘存储模块和设备控制模块，具体地：优选一款英伟达Jetson Nano B01单板机，其包括一片四核ARM A57 1.43GHz CPU和一片128核Maxwell GPU，兼有边缘处理器及设备控制模块功能；边缘通信模块优选一款4GDTU模块USR-G805；存储模块优选一款SanDisk 64GB存储卡；边缘处理器分别与边缘通信模块和边缘存储模块电连接；设备控制模块分别与悬挂装置、双目相机、补光灯电连接，且一个设备控制模块可同时与多组悬挂装置、双目相机、补光灯电连接。
云服务器层30具体为自行搭建的一台具有计算、通信、存储功能的云服务器，其采用i9-10900X处理器、RTX3090显卡，云服务器和边缘通信模块通信连接，并与浏览器端和/或客户端通信连接。
如图2所示，基于同一构思，本发明提出的基于机器视觉的楼板钢筋验收方法，该方法采用上述楼板钢筋验收系统实现。方法包括以下步骤：
对系统进行初始化。
在施工过程中，每当顶模顶升至新的楼层，在楼板钢筋绑扎完成后，调试设备感知层并拍摄楼板钢筋绑扎情况双目图像。边缘计算层对拍摄所得双目图像进行畸变校正和立体校正的预处理理操作；其中，畸变校正和立体校正的方法为：利用标定的相机参数，通过OpenCV的initUndistortRectifyMap函数计算图像校正映射参数，进而通过remap操作输出校正后的图像。
边缘计算层取预处理后的左图像，通过模板边缘检测神经网络模型获取模板边缘像素点，再通过聚类分析获取各模板边缘线段的像素点集，利用模板边缘像素点集拟合模板边界线，形成待检测的感兴趣区域；其中，左图像由双目图像拆分得到；即双目图像被拆分为单独的左图像和右图像。
边缘计算层基于双目图像计算深度图，并通过钢筋类别语义分割神经网络模型分别识别左图像中的面筋、底筋像素点，对感兴趣区域范围内的钢筋像素点进行聚类分析，获取每根钢筋的像素点集。其中，利用双目图像计算深度图的方法为：采用OpenCV开源的SGBM半全局立体匹配算法，设置预处理映射滤波器大小为15，代价计算SAD窗口大小为5，惩罚系数P1为600、P2为2400，完成视差图计算，并生成深度图。
利用边缘计算层分别计算楼板钢筋的面筋和底筋的绑扎间距，并与预设的(或云服务器层下发的)钢筋间距要求对比，计算合格率；并将计算的绑扎间距及合格率上传至云服务器层；边缘计算层还将预处理后的双目图像上传至云服务器层。
云服务器层汇总收集到的图像及数据。
利用应用展示层向用户推送展示汇总的图像及数据，其中，数据包括计算的绑扎间距及合格率。
上述步骤中，对系统进行初始化的步骤具体包括：
S11、标定设备感知层中双目相机的内参数矩阵、畸变系数、旋转矩阵以及平移矩阵；采用aprilgrid标定板录制视频后，利用kalibr工具箱对相机参数进行标定，并将标定结果存入边缘存储模块。
S12、在楼板钢筋绑扎完成后清理工作面，用户依次通过应用展示层和云服务器层，经边缘通信模块向设备控制模块发送调试指令，设备控制模块按照指令调整悬挂装置的平面位置、末端高度及云台姿态，使安装于悬挂装置末端的双目相机垂直朝向楼板且位于楼板中部上方、距离楼板2-3m高度；向设备控制模块下发拍照指令，操作双目相机拍摄楼板钢筋绑扎情况双目图像，同时操作补光装置提供光照，然后由设备控制模块采集拍摄所得双目图像。
S13、边缘计算层对拍摄所得双目图像进行畸变校正和立体校正的预处理理操作，并提交至云服务器；畸变校正和立体校正的方法为：利用标定的相机参数，通过OpenCV的initUndistortRectifyMap函数计算图像校正映射参数，进而通过remap操作输出校正后的图像。
S14、云服务器层利用所收集的一定数量(具体数值可以预先设置)的双目图像，训练模板边缘检测神经网络，训练钢筋类别语义分割神经网络。
S15、云服务器层将训练所得模板边缘检测神经网络模型、钢筋类别语义分割神经网络模型，及从施工模型/图纸中提取的钢筋绑扎间距要求下发至边缘计算层；钢筋绑扎间距要求为特定楼层、特定楼板面层钢筋(面筋)和底层钢筋(底筋)的绑扎间距设计值。
利用云服务器层训练模板边缘检测神经网络的步骤包括：
将双目图像均拆分为单独的左图像和右图像，并通过旋转、平移、剪切操作以扩充数据集至合适规模；比如，扩充图像数至300个。
对左图像和右图像中的模板边缘进行标注；优选使用labelme标注，生成json文件。
建立模板边缘检测神经网络模型，利用标注的左图像和右图像进行训练。具体为，基于HED神经网络模型，建立模板边缘检测神经网络模型，首先通过公共数据集BSDS进行预训练，得到预训练的权重后，再利用标注了楼板底模板(即楼板模板或简称模板)边缘的图像，进行边缘检测任务的迁移学习，具体地，批次大小设定为10，学习率设定为1e-6，动量为0.9，权重衰减为0.0002，选取损失值最低的epoch作为HED的最优模型参数，完成模板边缘检测神经网络模型训练。
利用云服务器层训练钢筋类别语义分割神经网络的步骤包括：
对双目图像对进行立体匹配，计算以左图像为基准的视差图，进而计算深度图。具体为，采用OpenCV开源的SGBM半全局立体匹配算法，设置预处理映射滤波器大小为15，代价计算SAD窗口大小为5，惩罚系数P1为600、P2为2400，完成视差图计算，并生成深度图。
取左图像标注面筋、底筋像素；优选使用labelme标注，生成json文件。
基于改进VGG16神经网络模型，建立钢筋类别语义分割神经网络模型。利用深度图和标注后的左图像进行训练。
其中，该钢筋类别语义分割神经网络模型如下表所示：
实施例为深入融合图像的RGB信息与深度信息，在神经网络的卷积操作中引入深度相似性因子作为约束，即卷积运算设置为：
其中，p0是输出图像的一个像素点，K是以p0为中心点的一个局部窗口，f是一个卷积核，X是输入的RGB图像，D为深度图，FD(pi,pj)表示pi、pj两点间的深度相似性，其定义为：
该卷积方法中的深度相似性为已知信息，无需引入额外参数，计算负担可控；
同理，在池化操作中也可引入深度相似性因子作为修正，即池化运算设置为：
同时，反向传播过程中，需将对应梯度乘以系数
通过聚类分析获取各模板边缘线段的像素点集，利用模板边缘像素点集拟合模板边界线的步骤包括：
S1、获取模板纵向边缘像素点集。具体包括以下步骤：
S11、在模板边缘像素点中选择横纵坐标之和最小的点作为起始点进入归类组，扫描其余模板边缘像素点，当与起始点的x轴坐标差距在给定阈值范围内时进入归类组，扫描完成所获得的归类组为一个潜在模板纵向边缘像素点集，如归类组中的像素点少于10个则放弃当前归类组。
S12、如上一归类组有效，则在剩余模板边缘像素点内选择横纵坐标之和最小的点作为新的起始点；如上一归类组被放弃，则在剩余模板边缘像素点内选择横纵坐标之和次小的点作为新的起始点；重复上述扫描归类过程，直至到达横纵坐标值之和最大的像素点。
S2、获取模板横向边缘像素点集：类似上述模板纵向边缘像素点归类过程，对剩余的模板边缘像素点，通过y轴坐标差距阈值进行归类。
S3、若模板存在斜向边缘，获取模板斜向边缘像素点集：对于剩余的像素点，通过哈夫变换方法，获取所穿过像素点数量达到5个的直线，作为潜在模板斜向边缘直线；将斜率相近的直线所穿过像素点归类至同一组，作为一个模板斜向边缘像素点集，放弃包含像素点少于10个的点集。
S4、对各模板边缘像素点集实施最小二乘，拟合模板边缘直线，作为模板边界线。
对钢筋像素点进行聚类分析的步骤包括：
获取面筋中纵筋、横筋、斜筋的像素点集；即获取面筋中纵筋像素点集；获取面筋中横筋像素点集；若面筋存在斜筋，获取面筋中斜筋像素点集；
获取底筋中纵筋、横筋、斜筋的像素点集；即获取底筋中纵筋像素点集；获取底筋中横筋像素点集；若底筋存在斜筋，获取底筋中斜筋像素点集。
以面筋的像素点聚类分析为例，步骤包括：
S1、获取面筋中纵筋像素点集：选择面筋像素横纵坐标之和最小的像素点作为起始点进入归类组，扫描其余面筋像素点，当与起始点的x轴坐标差距在给定阈值范围内时进入归类组，扫描完成所获得的归类组为一个潜在纵向纵筋点集，如归类组中的像素点少于10个则放弃当前归类组；如上一归类组有效，则在剩余像素点内选择横纵坐标之和最小的像素点作为新的起始像素点；如上一归类组被放弃，则在剩余像素点内选择横纵坐标之和次小的像素点作为新的起始点；重复上述扫描归类过程，直至到达横纵坐标值之和最大的边缘点。
S2、获取面筋中横筋像素点集：类似上述纵筋像素点归类过程，对剩余的面筋像素点，通过y轴坐标差距阈值进行归类。
S3、对于存在斜向面筋的楼板，获取斜筋点集：对于剩余的像素点，通过哈夫变换方法，获取所穿过像素点数量达到5个的直线，作为潜在斜向面筋直线；将斜率相近的直线所穿过像素点归类至同一组，作为一个斜向面筋像素点集，放弃包含像素点少于10个的像素点集。
计算楼板钢筋的面筋的绑扎间距的步骤包括：
取楼板钢筋的面筋的各个横筋的像素点集的y坐标均值排序后依次计算相邻差值，作为面筋的横筋像素间距Δyp，则面筋的横筋间距值Δy的计算公式为：其中，u为设备感知层的相机像元尺寸，f为相机焦距，/>为面筯的平均深度。
本实施例中，面筋的平均深度对于某两根相邻面筋横筋，其像素间距为Δyp＝50，可计算得其实际间距值Δy＝(2um/2.12mm×2.12m)×50＝100mm。
对于楼板面筋纵筋像素点集，取楼板钢筋的面筋的各个纵筋的像素点集的x坐标均值排序后依次计算相邻差值，作为面筋的纵筋像素间距Δxp，则面筋的横筋间距值Δx的计算公式为：/>
对于楼板面筋斜筋点集，采用最小二乘法拟合面筋的斜筋的直线，将斜率相近的斜筋的像素点集划入一组，计算其平均斜率按截距排序并计算相邻两直线的截距差Δbp，分别计算各个斜筋的像素间距值Δlp＝Δbp×cos(arctan(k))，进而计算面筋的斜筋间距值/>实施例的一组斜筋其平均斜率为/>对于某两根相邻斜筋其截距差为Δb＝100，则该两根相邻斜筋的像素间距为Δlp＝100×cos(arctan(1))＝70.7。
同样的，计算楼板钢筋的底筋的绑扎间距的步骤包括：
取楼板钢筋的底筋的各个横筋的像素点集的y坐标均值排序后依次计算相邻差值，作为底筋的横筋像素间距Δyp′，则底筋的横筋间距值Δy′的计算公式为：
取楼板钢筋的底筋的各个纵筋的像素点集的x坐标均值排序后依次计算相邻差值，作为底筋的纵筋像素间距Δxp′，则底筋的横筋间距值Δx′的计算公式为：
采用最小二乘法拟合底筋的斜筋的直线，将斜率相近的斜筋的像素点集划入一组，计算其平均斜率按截距排序并计算相邻两直线的截距差Δbp′，分别计算各个斜筋的像素间距值/>进而计算底筋的斜筋间距值/>
其中，u为设备感知层的相机像元尺寸，f为相机焦距，为底筋的平均深度。
本发明可定期进行系统迭代优化，迭代优化的步骤包括：
系统运行期间，云服务器层的云服务器持续获取边缘计算层所上传预处理后的双目图像；
云服务器层每当新增收到预设数量(比如50个)的双目图像时，利用扩充后的双目图像数据集更新训练模板边缘检测神经网络、钢筋类别语义分割神经网络；
云服务器层将更新训练所得的模板边缘检测神经网络模型、钢筋类别语义分割神经网络模型下发至边缘计算层。
本发明通过设备感知层拍摄楼板钢筋双目图像，利用边缘计算层、基于机器视觉算法检测楼板模板边缘和楼板钢筋类别，计算钢筋绑扎间距与合格率，并结合云服务器层和应用展示层实现图像及数据上传、汇总与推送。能够实现钢筋绑扎质量的快速、批量化以及自动化验收，大幅减少钢筋验收的人工作业量，提升验收效率，保障验收结果的客观性。
本发明可将设备感知层设置在顶模上，随顶模的顶升而上升，非常适用于顶模施工核心筒楼板钢筋绑扎间距的快速化批量化验收。
本发明的云服务器层有助于高效收集、管理施工质量管理过程资料，支撑建筑信息模型应用，并有利于施工质量管理信息的高效流通与积累复用。
本发明具有较强的适应性和拓展性，能够根据项目需求便捷地调整边缘计算层及设备感知层的装备结构，实现多项目、多楼板钢筋施工质量的规模化集中管控，同时也便于不同项目间的周转使用。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，同样也应视为本发明的保护范围。

Claims (10)

1.一种基于机器视觉的楼板钢筋验收方法，其特征在于，包括以下步骤：
利用设备感知层获取楼板钢筋双目图像；
利用边缘计算层对所述双目图像进行预处理操作；
边缘计算层取预处理后的左图像，通过模板边缘检测神经网络模型获取模板边缘像素点，再通过聚类分析获取各模板边缘线段的像素点集，利用模板边缘像素点集拟合模板边界线，形成待检测的感兴趣区域；其中，左图像由双目图像拆分得到；
边缘计算层基于双目图像计算深度图，并通过钢筋类别语义分割神经网络模型分别识别左图像中的面筋、底筋像素点，对感兴趣区域范围内的钢筋像素点进行聚类分析，获取每根钢筋的像素点集；
利用边缘计算层分别计算楼板钢筋的面筋和底筋的绑扎间距，并与预设的钢筋间距要求对比，计算合格率；并将计算的绑扎间距及合格率上传至云服务器层；
利用应用展示层向用户推送展示所述合格率。
2.根据权利要求1所述的基于机器视觉的楼板钢筋验收方法，其特征在于，还包括以下步骤：
利用云服务器层训练模板边缘检测神经网络，得到模板边缘检测神经网络模型；
利用云服务器层训练钢筋类别语义分割神经网络，得到钢筋类别语义分割神经网络模型；
云服务器层将训练所得的模板边缘检测神经网络模型、钢筋类别语义分割神经网络模型下发至边缘计算层。
3.根据权利要求2所述的基于机器视觉的楼板钢筋验收方法，其特征在于，所述利用云服务器层训练模板边缘检测神经网络的步骤包括：
将双目图像均拆分为单独的左图像和右图像，并通过旋转、平移、剪切操作以扩充数据集至合适规模；
对左图像和右图像中的模板边缘进行标注；
建立模板边缘检测神经网络模型，利用标注的左图像和右图像进行训练。
4.根据权利要求3所述的基于机器视觉的楼板钢筋验收方法，其特征在于，所述利用云服务器层训练钢筋类别语义分割神经网络的步骤包括：
对双目图像对进行立体匹配，计算以左图像为基准的视差图，进而计算深度图；
取左图像标注面筋、底筋像素；
建立钢筋类别语义分割神经网络模型，利用深度图和标注后的左图像进行训练。
5.根据权利要求1所述的基于机器视觉的楼板钢筋验收方法，其特征在于，所述通过聚类分析获取各模板边缘线段的像素点集，利用模板边缘像素点集拟合模板边界线的步骤包括：
获取模板纵向边缘像素点集；
获取模板横向边缘像素点集；
若模板存在斜向边缘，获取模板斜向边缘像素点集；
对各模板边缘像素点集实施最小二乘，拟合模板边缘直线，作为模板边界线。
6.根据权利要求1所述的基于机器视觉的楼板钢筋验收方法，其特征在于，所述对感兴趣区域范围内的钢筋像素点进行聚类分析的步骤包括：
获取面筋中纵筋像素点集；获取面筋中横筋像素点集；若面筋存在斜筋，获取面筋中斜筋像素点集；
获取底筋中纵筋像素点集；获取底筋中横筋像素点集；若底筋存在斜筋，获取底筋中斜筋像素点集。
7.根据权利要求1所述的基于机器视觉的楼板钢筋验收方法，其特征在于，所述计算楼板钢筋的面筋的绑扎间距的步骤包括：
取楼板钢筋的面筋的各个横筋的像素点集的y坐标均值排序后依次计算相邻差值，作为面筋的横筋像素间距Δyp，则面筋的横筋间距值Δy的计算公式为：/>
取楼板钢筋的面筋的各个纵筋的像素点集的x坐标均值排序后依次计算相邻差值，作为面筋的纵筋像素间距Δxp，则面筋的横筋间距值Δx的计算公式为：/>
采用最小二乘法拟合面筋的斜筋的直线，将斜率相近的斜筋的像素点集划入一组，计算其平均斜率按截距排序并计算相邻两直线的截距差Δbp，分别计算各个斜筋的像素间距值Δlp＝Δbp×cos(arctan(k))，进而计算面筋的斜筋间距值/>
其中，u为设备感知层的相机像元尺寸，f为相机焦距，为面筯的平均深度。
8.根据权利要求1所述的基于机器视觉的楼板钢筋验收方法，其特征在于，所述计算楼板钢筋的底筋的绑扎间距的步骤包括：
取楼板钢筋的底筋的各个横筋的像素点集的y坐标均值排序后依次计算相邻差值，作为底筋的横筋像素间距Δyp′，则底筋的横筋间距值Δy′的计算公式为：/>
取楼板钢筋的底筋的各个纵筋的像素点集的x坐标均值排序后依次计算相邻差值，作为底筋的纵筋像素间距Δxp′，则底筋的横筋间距值Δx′的计算公式为：/>
采用最小二乘法拟合底筋的斜筋的直线，将斜率相近的斜筋的像素点集划入一组，计算其平均斜率按截距排序并计算相邻两直线的截距差Δbp′，分别计算各个斜筋的像素间距值/>进而计算底筋的斜筋间距值/>
其中，u为设备感知层的相机像元尺寸，f为相机焦距，为底筋的平均深度。
9.根据权利要求1所述的基于机器视觉的楼板钢筋验收方法，其特征在于，还包括以下步骤：
云服务器层持续获取边缘计算层所上传预处理后的双目图像；
云服务器层每当新增收到预设数量的双目图像时，利用扩充后的双目图像数据集更新训练模板边缘检测神经网络、钢筋类别语义分割神经网络；
云服务器层将更新训练所得的模板边缘检测神经网络模型、钢筋类别语义分割神经网络模型下发至边缘计算层。
10.一种基于机器视觉的楼板钢筋验收系统，其特征在于，包括：
设备感知层，用于获取楼板钢筋双目图像；
边缘计算层，与所述设备感知层通信连接，用于对所述双目图像进行预处理操作，基于预处理所得图像、接收的钢筋类别语义分割神经网络模型和模板边缘检测神经网络模型计算楼板钢筋的深度图、分类识别楼板钢筋、计算楼板钢筋的绑扎间距以及合格率，同时用于控制设备感知层；
云服务器层，与所述边缘计算层通信连接，用于训练和更新钢筋类别语义分割神经网络模型和模板边缘检测神经网络模型，并将其下发至所述边缘计算层；所述云服务器层还用于收集图像和数据，所述数据包括计算的绑扎间距及合格率；以及
应用展示层，与所述云服务器层通信连接，用于向用户推送展示所述合格率。
CN202310448217.8A 2023-04-23 2023-04-23 基于机器视觉的楼板钢筋验收方法及系统 Pending CN116468703A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310448217.8A CN116468703A (zh) 2023-04-23 2023-04-23 基于机器视觉的楼板钢筋验收方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310448217.8A CN116468703A (zh) 2023-04-23 2023-04-23 基于机器视觉的楼板钢筋验收方法及系统

Publications (1)

Publication Number Publication Date
CN116468703A true CN116468703A (zh) 2023-07-21

Family

ID=87176830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310448217.8A Pending CN116468703A (zh) 2023-04-23 2023-04-23 基于机器视觉的楼板钢筋验收方法及系统

Country Status (1)

Country Link
CN (1) CN116468703A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117470122A (zh) * 2023-11-08 2024-01-30 华中科技大学 一种钢筋骨架绑扎质量自动检查装置
CN117852155A (zh) * 2024-03-04 2024-04-09 华仁建设集团有限公司 应用于人工智能的钢筋施工状态模拟方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117470122A (zh) * 2023-11-08 2024-01-30 华中科技大学 一种钢筋骨架绑扎质量自动检查装置
CN117852155A (zh) * 2024-03-04 2024-04-09 华仁建设集团有限公司 应用于人工智能的钢筋施工状态模拟方法及系统
CN117852155B (zh) * 2024-03-04 2024-06-04 华仁建设集团有限公司 应用于人工智能的钢筋施工状态模拟方法及系统

Similar Documents

Publication Publication Date Title
CN116468703A (zh) 基于机器视觉的楼板钢筋验收方法及系统
CN106548182B (zh) 基于深度学习和主成因分析的路面裂纹检测方法及装置
CN113643280B (zh) 一种基于计算机视觉的板材分拣系统及方法
CN111062915A (zh) 一种基于改进YOLOv3模型的实时钢管缺陷检测方法
CN112734641A (zh) 目标检测模型的训练方法、装置、计算机设备及介质
CN102297660A (zh) 一种盾构隧道衬砌管片接缝张开宽度的测量方法及装置
CN110929795B (zh) 高速焊线机焊点快速识别与定位方法
CN114119488A (zh) 一种面向工厂化的预制叠合板尺寸质量智能检测方法
CN108961330A (zh) 基于图像的猪体长测算方法及系统
CN110838128A (zh) 一种图像法集料堆叠空隙率预测方法和系统
CN111310746A (zh) 文本行检测方法、模型训练方法、装置、服务器及介质
KR102391501B1 (ko) 딥러닝을 이용한 비정형 재활용품 분류 시스템 및 그 방법
KR20130133596A (ko) 전주 기울기 측정 방법 및 장치
CN116824399A (zh) 基于改进YOLOv5神经网络的路面裂缝识别方法
CN116703919A (zh) 一种基于最优传输距离损失模型的表面杂质检测方法
CN115147380A (zh) 一种基于YOLOv5的小型透明塑料制品缺陷检测方法
CN107578001B (zh) 测试指纹采集设备的分辨率的方法及装置
CN116229236A (zh) 一种基于改进YOLO v5模型的结核杆菌检测方法
CN115457044B (zh) 基于类激活映射的路面裂缝分割方法
CN116739986A (zh) Auv在输水隧洞内对典型缺陷检测的光学声学组合方法
CN111709991B (zh) 一种铁路工机具的检测方法、系统、装置和存储介质
CN115760808A (zh) 平板玻璃尺寸测量方法、系统、装置及可读存储介质
CN114913129A (zh) 一种针对复合材料铺放缺陷识别定位系统
CN114111647A (zh) 一种基于人工智能的绝缘子伞裙破损面积测量方法及测量系统
CN107316302A (zh) 基于双目视觉的行车自动定位装置及其对应的定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination