CN116993110B - 一种基于视觉和吊重的吊装过程中构件类型识别方法 - Google Patents

一种基于视觉和吊重的吊装过程中构件类型识别方法 Download PDF

Info

Publication number
CN116993110B
CN116993110B CN202311043246.2A CN202311043246A CN116993110B CN 116993110 B CN116993110 B CN 116993110B CN 202311043246 A CN202311043246 A CN 202311043246A CN 116993110 B CN116993110 B CN 116993110B
Authority
CN
China
Prior art keywords
component
hoisting
image
counted
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311043246.2A
Other languages
English (en)
Other versions
CN116993110A (zh
Inventor
窦来锋
王文成
韩贵金
梁冰
杨震卿
宋萍萍
李东
李鹏
张良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING LIUJIAN CONSTRUCTION GROUP CO LTD
Beijing Sada Intelligent Technology Co ltd
Beijing Construction Engineering Group Co Ltd
Original Assignee
BEIJING LIUJIAN CONSTRUCTION GROUP CO LTD
Beijing Sada Intelligent Technology Co ltd
Beijing Construction Engineering Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING LIUJIAN CONSTRUCTION GROUP CO LTD, Beijing Sada Intelligent Technology Co ltd, Beijing Construction Engineering Group Co Ltd filed Critical BEIJING LIUJIAN CONSTRUCTION GROUP CO LTD
Priority to CN202311043246.2A priority Critical patent/CN116993110B/zh
Publication of CN116993110A publication Critical patent/CN116993110A/zh
Application granted granted Critical
Publication of CN116993110B publication Critical patent/CN116993110B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06314—Calendaring for a resource
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/08—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups for incorporation in vehicles
    • G01G19/083—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups for incorporation in vehicles lift truck scale
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Educational Administration (AREA)
  • Primary Health Care (AREA)
  • Development Economics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及应用电子设备进行识别的方法或装置技术领域，公开了一种基于视觉和吊重的吊装过程中构件类型识别方法。本发明中，生成样本数据的过程是施工过程的一部分且生成样本数据的设备也是后续进行图片识别的设备，解决缺乏样本数据的问题的同时不需要花费额外的设备费用以及工时。通过利用不易误识别的吊钩来辅助图像识别，克服图像识别时把无关的物体误识别为待统计构件的问题；通过一次拍摄吊装中的构件多帧不同的图像并分别进行识别，克服吊装过程中吊装角度对识别结果的干扰；通过结合吊装中的构件的吊重进一步判断构件类型，避免把外形一致但类型不同的构件误识别为待统计构件，以上三点确保识别结果准确。

Description

一种基于视觉和吊重的吊装过程中构件类型识别方法
技术领域
本发明涉及应用电子设备进行识别的方法或装置技术领域，特别是涉及一种基于视觉和吊重的吊装过程中构件类型识别方法。
背景技术
建筑施工过程中，经常需要统计吊装的构件，比如装配式建筑中的各种预制件、钢结构建筑中的各种钢构件、化工厂施工中的各种设备。统计后便可得知施工进度、物料消耗，还可间接得知施工是否遇到困难（吊装的构件的量突然不再增加或增加变慢）。
在统计吊装的构件的时候，需要先识别出吊装的构件是什么，目前这个识别工作依靠施工人员人工进行。但靠人力进行识别的话，必然受限于人的各种问题：
首先由于人的注意力不能全天候集中在构件的吊装过程中，总是会漏统计一些已使用的构件。其次是进行统计的人可能把相似的物品误识别。很多因素都可能造成这种误识别，比如说识别的人对吊装的构件不完全熟悉、存在部分外观相似的构件等。在吊装的构件里涉及到一些定制的构件的时候，尤其容易出错。当然停下吊装的过程找人核实后进行记录可消除这一问题，但这在绝大多数情况下是不现实的。
如果用机器识别的方式来统计构件的使用量的话，除了把相似的物品误识别之外，还存在另外一些额外的问题：
问题1：施工工地上构件的种类及数量繁杂多样，也就是说能进入到机器识别的图像中的构件数量是极为庞大的，不仅误识别严重，而且由于只有安装中的构件被统计进去才会有意义，但机器识别根本无法区分何为安装中的构件何为堆放的构件。
问题2：安装中的构件的位置和姿态会发生很大变化，外观会也就是说外观会发生，但摄像头是固定的，它拍下来的构件的外观会发生很大的变化，从而影响识别结果的稳定一致性，导致漏识别.
问题3：需要进行统计的构件种类繁多且不同施工项目上有差异，没有现成的图像识别样本数据集，建立新的样本数据集需花费额外的设备费用以及工时。
发明内容
本发明提供一种基于视觉和吊重的吊装过程中构件类型识别方法。
解决的技术问题是：人力识别吊装过程中的构件时容易遗漏且容易出错，机器识别的话同样存在影响准确度的多种问题，且还缺乏现成的样本数据集。
为解决上述技术问题，本发明采用如下技术方案：一种基于视觉和吊重的吊装过程中构件类型识别方法，用于识别吊装过程中的构件类型以方便统计，吊装中的构件中需要被统计的构件记作待统计构件，待统计构件在吊装时每次仅吊装一件，所述识别方法包括以下步骤：
步骤一：对各种待统计构件进行称重并记录；
步骤二：针对待统计构件，用向下的视角拍摄待统计构件的图像并建立样本数据集，训练出目标检测模型；
步骤三：用与样本数据集相同的视角，获取吊装过程中构件的多帧不同的图像并分别进行图像识别，每帧图像里若识别出多个待统计构件，则仅保留其中与吊钩的目标框交集最大的作为该帧图像的识别结果；
步骤四：在各帧图像识别完成后，综合考虑所有帧的图像的识别结果来判断吊装中的构件具体与何种待统计构件相吻合，并比较吊装中的构件的吊重与步骤一记录的待统计构件的质量，若图像识别结果与吊重均与同一种待统计构件相吻合，则吊装中的构件视作被识别为这种待统计构件。
进一步，步骤二中，采用摄像头获取样本的图像，所述摄像头竖直向下对准吊钩，使样本的图像中，吊钩位于吊装中的构件上方；
若吊装机械为塔吊，则摄像头设置在塔吊小车上；若吊装机械为汽车吊，则摄像头设置在吊臂顶端。
进一步，步骤二具体包括以下分步骤：
步骤2.1：吊装待统计构件，对吊装过程中摄像头拍到的视频流间隔时间取帧，获取待统计构件的原始图像，对图像中的待统计构件进行数据标注，根据标注信息进行裁剪并且保存，通过图像透视变换算法将构件图像变换成正矩形构件图像；
步骤2.2：对正矩形构件图像进行图像旋转、图像翻转操作；
步骤2.3：用摄像头拍摄吊钩起落的视频并对视频流间隔时间取帧，获取吊钩的原始图像，对吊钩进行数据标注，利用已标注的吊钩信息对步骤2.1与步骤2.2中获得的构件图像进行叠加融合；
步骤2.4使用图像加雾算法与图像模糊算法在训练前对图像进行预处理，提高模型的鲁棒性；
所述图像加雾算法为中心点合成雾，中心点合成雾是指通过图像的一个中心点进行雾合成扩散，距离雾中心点的距离越远，雾合成的效果越弱；所述图像模糊算法为运动模糊，使用模糊卷积核进行卷积计算，实现运动模糊效果；
步骤2.5：训练出目标检测模型。
进一步，步骤三中，吊装中的构件在图像识别中出现多个预测框时，采用以下方法保留其中与吊钩的目标框交集最大的作为图像识别结果：
先判断吊钩，若识别出多个吊钩，取置信度最大的吊钩目标留下，将其他吊钩目标抑制掉；若没有吊钩，留下置信度最大的构件目标；若只有一个吊钩或抑制后只剩一个吊钩，开始判断是否存在构件预测框，若无构件预测框，则推理下一帧图像；若存在构件预测框，再判断所存在的构件目标框与吊钩目标框交集大小，若无交集，直接抑制掉，若有交集，留下交集最大的构件目标框，若出现多个构件目标框与吊钩目标框交集大小相等，留下置信度最大的一个构件目标框。
进一步，判断所存在的构件目标框与吊钩目标框交集大小的计算公式为：
式中，w为构件目标框与吊钩目标框重合的宽度，计算公式为:
h为构件目标框与吊钩目标框重合的高度，计算公式为:
(x 1,y 1)、(x 2,y 2)分别为吊钩目标框左上角与右下角的坐标，(x 1 ',y 1 ')、(x 2 ',y 2 ')分别为构件目标框左上角与右下角的坐标，Z为计算得到的交集占吊钩目标框的比例值，用此判断构件目标框与吊钩目标框的相交状态；
将n个构件预测框与吊钩预测框的n个Z值求出后，判断每个Z值的大小，若Z为0，将此构件目标框滤除，若Z大于0，将所求Z值最大的构件预测框留存，其余滤除，若出现多个Z值大小相等，留下置信度最大的构件目标框。
进一步，步骤四中，数据处理中心读取各帧图像的识别结果，计算每种待统计构件的识别帧数n i 与图像总帧数n，然后依次计算每种待统计构件的识别帧数所占图像总帧数的比例a i ，若有一种待统计构件的a i 大于设定的阈值，则认定图像识别结果与这种待统计构件相吻合。
进一步，步骤四具体如下：
数据处理中心读取此吊次的吊重信息，依次计算吊重m与步骤一记录的各种待统计构件质量m i 的差值的绝对值，再计算出各种待统计构件的质量的最大值m max 与最小值m min 的差值/>；
数据处理中心根据权值公式计算此吊次最终识别构件为某类构件的判断值，P i 值最大的构件类别为最终识别结果，所述权值公式为：
式中，w 1、w 2为权值系数，a i 为每种构件的识别帧数所占图像总帧数的比例，，b i 反映了吊重信息与实际构件质量信息的关系，计算公式为：
使用极大估计法确定w 1和w 2：
w 1和w 2的确定，使用极大估计法，利用已知的样本结果信息，反推出最具有可能导致正确样本结果出现的w 1和w 2；令为需要求解的模型参数，S j 为训练样本;极大估计公式为：
P j 为最大置信度对应的构件类别，R j 为真实的类别，若P j 与R j 一致，S j 为1，否则S j 为0。
进一步，步骤三中，每次获取吊装过程中吊装中的构件至少100帧不同的图像分别进行图像识别；步骤四中，若a i 大于0.7，则认定图像识别结果与这种待统计构件相吻合。
进一步，步骤三中，通过吊重判断吊装开始与结束，拍摄从吊装开始到结束的全过程的视频，对视频流间隔时间取帧获得用于进行图像识别的多帧不同的图像。
进一步，若同一种待统计构件包含多种不同规格，则每种规格的待统计构件都视作一种待统计构件。
本发明一种基于视觉和吊重的吊装过程中构件类型识别方法与现有技术相比，具有如下有益效果：
本发明中，通过调整识别吊装中的构件时拍摄的图像的角度，确保图像上吊钩位于吊装中的构件正上方，并在进行图像识别时仅保留与吊钩有重叠的结果，从而克服图像识别时把无关的物体误识别为待统计构件的问题，并确保识别出的构件必然是吊装中的构件；通过一次拍摄吊装中的构件多帧不同的图像并分别进行识别，从而克服吊装过程中吊装角度对识别结果的干扰，确保结果均一稳定；本发明中，通过结合吊装中的构件的吊重进一步判断构件类型，从而避免把外形一致但类型不同的构件误识别为待统计构件。以上3点结合，确保了识别的准确性。
本发明中，生成样本数据的过程是施工过程的一部分（待统计构件的图像是在待统计构件的吊装过程中生成的），且生成样本数据的设备也是后续进行图片识别的设备，解决缺乏样本数据的问题的同时不需要花费额外的设备费用以及工时。
附图说明
图1为本发明一种基于视觉和吊重的吊装过程中构件类型识别方法的流程图；
图2为步骤二中建立样本数据集的流程图；
图3为步骤三中吊装中的构件在一帧图像识别中出现多个预测框时，对结果进行过滤的流程图；
图4为吊装中的构件的图像获取方式示意图；
图5为本发明一种基于视觉和吊重的吊装过程中构件类型识别方法中用到的硬件的结构示意图；
图中，1-摄像头，2-吊钩，3-吊装中的构件。
具体实施方式
如图1所示，一种基于视觉和吊重的吊装过程中构件类型识别方法，用于识别吊装过程中的构件类型以方便统计，吊装中的构件3中需要被统计的构件记作待统计构件，待统计构件在吊装时每次仅吊装一件，施工时一次吊装多个构件的情况是存在的，这种情况会对图像识别造成干扰，因此需要避免。不过实际施工中吊装构件时普遍都是单件吊装，吊运(吊起来后不立即安装，仅仅转移到高处)一些散件时才会多件一起吊。
识别方法包括以下步骤：
步骤一：对各种待统计构件进行称重并记录；同一规格的待统计构件最好取多个进行称重后取平均值，以避免某个构件的公差影响结果。
步骤二：针对待统计构件，用向下的视角拍摄待统计构件的图像并建立样本数据集，训练出目标检测模型；
现有技术中并不存在这样的样本数据集，因此需要自行建立，但是只要有一个施工项目上建立完成，那么以后的施工项目可直接使用。本发明中已建立了样本数据集，其他施工项目如需应用本发明的话，可直接借用。
步骤三：用与样本数据集相同的视角，获取吊装过程中构件的多帧不同的图像并分别进行图像识别，每帧图像里若识别出多个待统计构件，则仅保留其中与吊钩2的目标框交集最大的作为该帧图像的识别结果；
吊钩2位置已知且固定、数量唯一、且位于吊装中的构件3正上方，由于吊钩2位置已知且固定、形状稳定且独特、数量唯一(这些都是约束条件)，因此不会识别错误，以它为基准，图框跟它重叠的构件就能确保是吊装中的构件3，从而不会把未吊装的构件识别进去，也不会把无关的构件识别进去。举例来讲，如果预制叠合板是一种待统计构件的话，这里就能排除掉等待吊装的或堆放的预制叠合板。
步骤四：在各帧图像识别完成后，综合考虑所有帧的图像的识别结果来判断吊装中的构件3具体与何种待统计构件相吻合，并比较吊装中的构件3的吊重与步骤一记录的待统计构件的质量，若图像识别结果与吊重均与同一种待统计构件相吻合，则吊装中的构件3视作被识别为这种待统计构件。
采用吊重进行验证，是为了避免一些跟待统计构件外形相似的构件被误识别为待统计构件。注意这里吊重仅仅用来验证，不能单独用来作为判据，吊重单独作为判据的话会把施工过程中的各种散碎物料(如水泥、灌浆料等)识别成待统计构件。采用吊重进行验证是在已经判断出外形类似于待统计构件的前提下进行的，这时已排除了散碎物料，因此可以使用。
而对多帧不同图像进行识别，可确保吊装过程中位置和姿态的变化，不会影响到图像识别。毕竟符合条件的构件，在大多数位置和姿态能够确保被正确识别，或许有部分位置和姿态下无法被正确识别，但不会影响最终判断结果。同时，不符合条件的构件，或许会有部分和位置姿态下被误识别，但同样不会影响最终判断结果。
步骤二中，采用摄像头1获取样本的图像，摄像头1竖直向下对准吊钩2，使样本的图像中，吊钩2位于吊装中的构件3上方；
如图4所示，若吊装机械为塔吊，则摄像头1设置在塔吊小车上；若吊装机械为汽车吊，则摄像头1设置在吊臂顶端。
这样可确保吊钩2位置已知且固定(位于图像正中央)、数量唯一、且位于吊装中的构件3正上方，位于图像正中央可进一步加快吊钩2的识别。
如图2所示，步骤二具体包括以下分步骤：
步骤2.1：吊装待统计构件，对吊装过程中摄像头1拍到的视频流间隔时间取帧，获取待统计构件的原始图像，对图像中的待统计构件进行数据标注，根据标注信息进行裁剪并且保存，通过图像透视变换算法将构件图像变换成正矩形构件图像；
步骤2.2：对正矩形构件图像进行图像旋转、图像翻转操作；
步骤2.3：用摄像头1拍摄吊钩2起落的视频并对视频流间隔时间取帧，获取吊钩2的原始图像，对吊钩2进行数据标注，利用已标注的吊钩2信息对步骤2.1与步骤2.2中获得的构件图像进行叠加融合；
这里步骤2.1~2.3是为了让样本数据集适配本发明中采用吊钩2来辅助图像识别的做法。同时样本建立过程也是施工过程的一部分，建立样本的设备(如图5)也是后续需要用到的，因此不会产生额外花费。
步骤2.4使用图像加雾算法与图像模糊算法在训练前对图像进行预处理，提高模型的鲁棒性；
图像加雾算法为中心点合成雾，中心点合成雾是指通过图像的一个中心点进行雾合成扩散，距离雾中心点的距离越远，雾合成的效果越弱；图像模糊算法为运动模糊，使用模糊卷积核进行卷积计算，实现运动模糊效果；
步骤2.5：训练出目标检测模型。
如图3所示，步骤三中，吊装中的构件3在图像识别中出现多个预测框时，采用以下方法保留其中与吊钩2的目标框交集最大的作为图像识别结果：
先判断吊钩2，若识别出多个吊钩2，取置信度最大的吊钩2目标留下，将其他吊钩2目标抑制掉；若没有吊钩2，留下置信度最大的构件目标；若只有一个吊钩2或抑制后只剩一个吊钩2，开始判断是否存在构件预测框，若无构件预测框，则推理下一帧图像；若存在构件预测框，再判断所存在的构件目标框与吊钩2目标框交集大小，若无交集，直接抑制掉，若有交集，留下交集最大的构件目标框，若出现多个构件目标框与吊钩2目标框交集大小相等，留下置信度最大的一个构件目标框。
判断所存在的构件目标框与吊钩2目标框交集大小的计算公式为：
式中，w为构件目标框与吊钩2目标框重合的宽度，计算公式为:
h为构件目标框与吊钩2目标框重合的高度，计算公式为:
(x 1,y 1)、(x 2,y 2)分别为吊钩2目标框左上角与右下角的坐标，(x 1 ',y 1 ')、(x 2 ',y 2 ')分别为构件目标框左上角与右下角的坐标，Z为计算得到的交集占吊钩2目标框的比例值，用此判断构件目标框与吊钩2目标框的相交状态；
将n个构件预测框与吊钩2预测框的n个Z值求出后，判断每个Z值的大小，若Z为0，将此构件目标框滤除，若Z大于0，将所求Z值最大的构件预测框留存，其余滤除，若出现多个Z值大小相等，留下置信度最大的构件目标框。
步骤四中，数据处理中心读取各帧图像的识别结果，计算每种待统计构件的识别帧数n i 与图像总帧数n，然后依次计算每种待统计构件的识别帧数所占图像总帧数的比例a i ，若有一种待统计构件的a i 大于设定的阈值，则认定图像识别结果与这种待统计构件相吻合。
步骤四具体如下：
数据处理中心读取此吊次的吊重信息，依次计算吊重m与步骤一记录的各种待统计构件质量m i 的差值的绝对值，再计算出各种待统计构件的质量的最大值m max 与最小值m min 的差值/>；
数据处理中心根据权值公式计算此吊次最终识别构件为某类构件的判断值，P i 值最大的构件类别为最终识别结果，权值公式为：
式中，w 1、w 2为权值系数，a i 为每种构件的识别帧数所占图像总帧数的比例，，b i 反映了吊重信息与实际构件质量信息的关系，计算公式为：
使用极大估计法确定w 1和w 2：
w 1和w 2的确定，使用极大估计法，利用已知的样本结果信息，反推出最具有可能导致正确样本结果出现的w 1和w 2；令为需要求解的模型参数，S j 为训练样本;极大估计公式为：
P j 为最大置信度对应的构件类别，R j 为真实的类别，若P j 与R j 一致，S j 为1，否则S j 为0。
步骤三中，每次获取吊装过程中吊装中的构件3至少100帧不同的图像分别进行图像识别；步骤四中，若a i 大于0.7，则认定图像识别结果与这种待统计构件相吻合。
这里的阈值0.7是需要现场根据实际情况进行调整的，本实施例中0.7能够确保图像识别结果准确，如果采用在其他施工项目中应用本发明，可以在本实施例中的阈值0.7的基础上进行调整，调整到识别的准确度满足其项目要求。
步骤三中，通过吊重判断吊装开始与结束，拍摄从吊装开始到结束的全过程的视频，对视频流间隔时间取帧获得用于进行图像识别的多帧不同的图像。
开始吊装时吊重阶跃式增加，结束吊装时吊重阶跃式减少，这都是很明显的判断依据，可以以此来判断吊装的开始与结束，从而确保获得的视频是吊装过程中的视频。
若同一种待统计构件包含多种不同规格，则每种规格的待统计构件都视作一种待统计构件。因为本申请涉及到用吊重对识别结果进一步进行过滤，因此同一种待统计构件，若规格不同，则外观相似但质量不同。若视作是一种的话，步骤一就只称量了一种质量，步骤四就会过滤掉所有同种但不同规格的构件。因此这里必须对所有规格的待统计构件进分别进行称重以及识别。至于识别完之后计数时是否把同种不同规格的构件合并进行统计，可根据需求进行。举例来讲，若待统计构件满足以下条件：
条件1：每次起吊只吊一件，且均采用塔吊进行吊装；
条件2：使用数量以及安装位置在现场施工前已确定；
条件3：规格为固定的一种或几种；
条件4：每个楼层都需要用到至少一件；
并通过统计其吊装个数来判断多层建筑的施工进度，可把同种不同规格的构件合并进行统计。若待统计构件只有一种，则统计各层采用的该种待统计构件的数量以及规格，当待统计构件吊装个数与某一楼层下方的所有楼层的待统计构件的设计用量符合，则说明施工进度到达该楼层；若待统计构件有多种，则统计各层采用的所有种类待统计构件的数量以及规格，当各种待统计构件吊装个数均与某一楼层下方的所有楼层的同种待统计构件的设计用量符合，则说明施工进度到达该楼层；
以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (8)

1.一种基于视觉和吊重的吊装过程中构件类型识别方法，用于识别吊装过程中的构件类型以方便统计，吊装中的构件（3）中需要被统计的构件记作待统计构件，待统计构件在吊装时每次仅吊装一件，其特征在于：所述识别方法包括以下步骤：
步骤一：对各种待统计构件进行称重并记录；
步骤二：针对待统计构件，用向下的视角拍摄待统计构件的图像并建立样本数据集，训练出目标检测模型；
步骤三：用与样本数据集相同的视角，获取吊装过程中构件的多帧不同的图像并分别进行图像识别，每帧图像里若识别出多个待统计构件，则仅保留其中与吊钩（2）的目标框交集最大的作为该帧图像的识别结果；
步骤四：在各帧图像识别完成后，综合考虑所有帧的图像的识别结果来判断吊装中的构件（3）具体与何种待统计构件相吻合，并比较吊装中的构件（3）的吊重与步骤一记录的待统计构件的质量，若图像识别结果与吊重均与同一种待统计构件相吻合，则吊装中的构件（3）视作被识别为这种待统计构件；
步骤二中，采用摄像头（1）获取样本的图像，所述摄像头（1）竖直向下对准吊钩（2），使样本的图像中，吊钩（2）位于吊装中的构件（3）上方；
若吊装机械为塔吊，则摄像头（1）设置在塔吊小车上；若吊装机械为汽车吊，则摄像头（1）设置在吊臂顶端；
步骤二具体包括以下分步骤：
步骤2.1：吊装待统计构件，对吊装过程中摄像头（1）拍到的视频流间隔时间取帧，获取待统计构件的原始图像，对图像中的待统计构件进行数据标注，根据标注信息进行裁剪并且保存，通过图像透视变换算法将构件图像变换成正矩形构件图像；
步骤2.2：对正矩形构件图像进行图像旋转、图像翻转操作；
步骤2.3：用摄像头（1）拍摄吊钩（2）起落的视频并对视频流间隔时间取帧，获取吊钩（2）的原始图像，对吊钩（2）进行数据标注，利用已标注的吊钩（2）信息对步骤2.1与步骤2.2中获得的构件图像进行叠加融合；
步骤2.4使用图像加雾算法与图像模糊算法在训练前对图像进行预处理，提高模型的鲁棒性；
所述图像加雾算法为中心点合成雾，中心点合成雾是指通过图像的一个中心点进行雾合成扩散，距离雾中心点的距离越远，雾合成的效果越弱；所述图像模糊算法为运动模糊，使用模糊卷积核进行卷积计算，实现运动模糊效果；
步骤2.5：训练出目标检测模型。
2.根据权利要求1所述的一种基于视觉和吊重的吊装过程中构件类型识别方法，其特征在于：步骤三中，吊装中的构件（3）在图像识别中出现多个预测框时，采用以下方法保留其中与吊钩（2）的目标框交集最大的作为图像识别结果：
先判断吊钩（2），若识别出多个吊钩（2），取置信度最大的吊钩（2）目标留下，将其他吊钩（2）目标抑制掉；若没有吊钩（2），留下置信度最大的构件目标；若只有一个吊钩（2）或抑制后只剩一个吊钩（2），开始判断是否存在构件预测框，若无构件预测框，则推理下一帧图像；若存在构件预测框，再判断所存在的构件目标框与吊钩（2）目标框交集大小，若无交集，直接抑制掉，若有交集，留下交集最大的构件目标框，若出现多个构件目标框与吊钩（2）目标框交集大小相等，留下置信度最大的一个构件目标框。
3.根据权利要求2所述的一种基于视觉和吊重的吊装过程中构件类型识别方法，其特征在于：判断所存在的构件目标框与吊钩（2）目标框交集大小的计算公式为：
，式中，w为构件目标框与吊钩（2）目标框重合的宽度，计算公式为：/>，式中，h为构件目标框与吊钩（2）目标框重合的高度，计算公式为/>，(x 1,y 1)、(x 2,y 2)分别为吊钩（2）目标框左上角与右下角的坐标，(x 1 ',y 1 ')、(x 2 ',y 2 ')分别为构件目标框左上角与右下角的坐标，Z为计算得到的交集占吊钩（2）目标框的比例值，用此判断构件目标框与吊钩（2）目标框的相交状态；
将n个构件预测框与吊钩（2）预测框的n个Z值求出后，判断每个Z值的大小，若Z为0，将此构件目标框滤除，若Z大于0，将所求Z值最大的构件预测框留存，其余滤除，若出现多个Z值大小相等，留下置信度最大的构件目标框。
4.根据权利要求1所述的一种基于视觉和吊重的吊装过程中构件类型识别方法，其特征在于：步骤四中，数据处理中心读取各帧图像的识别结果，计算每种待统计构件的识别帧数n i 与图像总帧数n，然后依次计算每种待统计构件的识别帧数所占图像总帧数的比例a i ，若有一种待统计构件的a i 大于设定的阈值，则认定图像识别结果与这种待统计构件相吻合。
5.根据权利要求4所述的一种基于视觉和吊重的吊装过程中构件类型识别方法，其特征在于：步骤四具体如下：
数据处理中心读取此吊次的吊重信息，依次计算吊重m与步骤一记录的各种待统计构件质量m i 的差值的绝对值，再计算出各种待统计构件的质量的最大值m max 与最小值m min 的差值/>；
数据处理中心根据权值公式计算此吊次最终识别构件为某类构件的判断值，P i 值最大的构件类别为最终识别结果，所述权值公式为：，式中，w 1、w 2为权值系数，a i 为每种构件的识别帧数所占图像总帧数的比例，/>，b i 反映了吊重信息与实际构件质量信息的关系，计算公式为：
；w 1和w 2的确定，使用极大估计法，利用已知的样本结果信息，反推出最具有可能导致正确样本结果出现的w 1和w 2；令/>为需要求解的模型参数，S j 为训练样本;极大估计公式为：
；P j 为最大置信度对应的构件类别，R j 为真实的类别，若P j 与R j 一致，S j 为1，否则S j 为0。
6.根据权利要求5所述的一种基于视觉和吊重的吊装过程中构件类型识别方法，其特征在于：步骤三中，每次获取吊装过程中吊装中的构件（3）至少100帧不同的图像分别进行图像识别；步骤四中，若a i 大于0.7，则认定图像识别结果与这种待统计构件相吻合。
7.根据权利要求1所述的一种基于视觉和吊重的吊装过程中构件类型识别方法，其特征在于：步骤三中，通过吊重判断吊装开始与结束，拍摄从吊装开始到结束的全过程的视频，对视频流间隔时间取帧获得用于进行图像识别的多帧不同的图像。
8.根据权利要求1所述的一种基于视觉和吊重的吊装过程中构件类型识别方法，其特征在于：若同一种待统计构件包含多种不同规格，则每种规格的待统计构件都视作一种待统计构件。
CN202311043246.2A 2023-08-18 2023-08-18 一种基于视觉和吊重的吊装过程中构件类型识别方法 Active CN116993110B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311043246.2A CN116993110B (zh) 2023-08-18 2023-08-18 一种基于视觉和吊重的吊装过程中构件类型识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311043246.2A CN116993110B (zh) 2023-08-18 2023-08-18 一种基于视觉和吊重的吊装过程中构件类型识别方法

Publications (2)

Publication Number Publication Date
CN116993110A CN116993110A (zh) 2023-11-03
CN116993110B true CN116993110B (zh) 2024-04-23

Family

ID=88530059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311043246.2A Active CN116993110B (zh) 2023-08-18 2023-08-18 一种基于视觉和吊重的吊装过程中构件类型识别方法

Country Status (1)

Country Link
CN (1) CN116993110B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021017796A1 (en) * 2019-07-31 2021-02-04 Mettler-Toledo (Changzhou) Measurement Technology Ltd. Object recognition apparatus, system and method
CN115082850A (zh) * 2022-05-23 2022-09-20 哈尔滨工业大学 基于计算机视觉的模板支架安全风险识别方法
CN115588121A (zh) * 2022-11-03 2023-01-10 腾晖科技建筑智能(深圳)有限公司 基于传感数据和图像序列的塔吊吊物类别检测方法及系统
CN116129135A (zh) * 2022-10-28 2023-05-16 河海大学 基于小目标视觉识别和虚拟实体映射的塔吊安全预警方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021017796A1 (en) * 2019-07-31 2021-02-04 Mettler-Toledo (Changzhou) Measurement Technology Ltd. Object recognition apparatus, system and method
CN115082850A (zh) * 2022-05-23 2022-09-20 哈尔滨工业大学 基于计算机视觉的模板支架安全风险识别方法
CN116129135A (zh) * 2022-10-28 2023-05-16 河海大学 基于小目标视觉识别和虚拟实体映射的塔吊安全预警方法
CN115588121A (zh) * 2022-11-03 2023-01-10 腾晖科技建筑智能(深圳)有限公司 基于传感数据和图像序列的塔吊吊物类别检测方法及系统

Also Published As

Publication number Publication date
CN116993110A (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
CN110222769B (zh) 一种基于YOLOV3-tiny的改进目标检测方法
CN104458748B (zh) 基于机器视觉的铝型材表面缺陷检测方法
CN112194011A (zh) 一种基于双目视觉的塔吊自动装载方法
CN115564771B (zh) 一种基于建筑物基柱的混凝土裂纹识别方法
CN101428741B (zh) 一种判断吊钩位置的方法
CN116993110B (zh) 一种基于视觉和吊重的吊装过程中构件类型识别方法
CN109110649A (zh) 一种应用于钢包起吊的起钩状态检测方法
CN112037327A (zh) 安置点建筑物建设进度监测方法、装置、设备及存储介质
CN116777184B (zh) 一种装配式建筑施工进度自动监测方法
CN117623146A (zh) 一种用于起重机识别歪拉斜吊的方法及装置
CN108681702A (zh) 一种集装箱装卸积载贝位信息确定方法及系统
CN108805033A (zh) 基于局部梯度分布的拍摄图像优选方法及装置
CN116704169A (zh) 一种吊物下站人违规行为的检测方法及系统
CN112734807A (zh) 一种基于计算机视觉的板坯在连铸辊道上自动跟踪的方法
CN112598367A (zh) 工程项目建设进程监测方法、系统、智能终端及存储介质
CN109389013A (zh) 基于车位主方向及模板响应点的车位组合算法和介质
CN115082509B (zh) 一种对无特征目标的追踪方法
CN111196572A (zh) 一种塔式起重机的安全防护方法
CN113658239A (zh) 建筑施工进度的识别方法、装置、电子设备及系统
CN112132804A (zh) 一种用于集卡轮毂的防吊起检测方法
CN110533698A (zh) 一种基于视觉检测的基坑施工桩检测控制方法
CN116758265A (zh) 一种基于双视角的吊物下站人违规行为检测方法及系统
CN117196521A (zh) 一种预制构件隐蔽工程检验及存档方法
CN117994737B (zh) 一种智慧工地管控平台的监控报警系统及方法
CN118014992B (zh) 一种天车起吊安全的动态视觉监控方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant