CN116092012B - 基于视频流的钢筋绑扎工序监测方法及监测装置 - Google Patents
基于视频流的钢筋绑扎工序监测方法及监测装置 Download PDFInfo
- Publication number
- CN116092012B CN116092012B CN202310201503.4A CN202310201503A CN116092012B CN 116092012 B CN116092012 B CN 116092012B CN 202310201503 A CN202310201503 A CN 202310201503A CN 116092012 B CN116092012 B CN 116092012B
- Authority
- CN
- China
- Prior art keywords
- steel bar
- roi
- roi area
- video stream
- recognition model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本公开是关于一种基于视频流的钢筋绑扎工序监测方法、基于视频流的钢筋绑扎工序监测装置、存储介质及服务器。该基于视频流的钢筋绑扎工序监测方法,包括基于视频流中视频帧之间的相似度,在视频帧中提取相似度低于预定阈值的视频帧作为用于表征钢筋绑扎进度的关键帧;基于第一识别模型对关键帧进行第一识别处理得到以第一对象为中心的ROI区域;基于第二识别模型对ROI区域进行第二识别处理确定ROI区域内出现的钢筋类别及钢筋的坐标位置。通过第一识别处理对关键帧进行粗检,得到大概率具有钢筋的ROI区域;再对ROI区域进行细检确定ROI区域内出现的钢筋类别及钢筋的坐标位置,相对于对视频流进行全面分析,可有效提高监测效率、减少数据处理量。
Description
技术领域
本公开涉及图像处理技术领域,尤其涉及一种基于视频流的钢筋绑扎工序监测方法、基于视频流的钢筋绑扎工序监测装置、存储介质及服务器。
背景技术
钢筋绑扎是生产铁路、公路所需桥梁的重要环节,是决定产品质量的关键因素。钢筋绑扎具有工序多、工序复杂和工作量大等特点。为了有效提升生产效率、保证产品质量和控制生产成本,钢筋绑扎工序的识别记录在桥梁的生产过程中至关重要。
发明内容
有鉴于此,本公开实施例期望提供一种基于视频流的钢筋绑扎工序监测方法、基于视频流的钢筋绑扎工序监测装置、存储介质及服务器。
本公开的技术方案是这样实现的:
第一方面,本公开提供一种基于视频流的钢筋绑扎工序监测方法。
本公开实施例提供的基于视频流的钢筋绑扎工序监测方法,所述方法包括:
实时获取钢筋绑扎过程的视频流;
基于所述视频流中视频帧之间的相似度,在所述视频帧中提取相似度低于预定阈值的视频帧作为用于表征钢筋绑扎进度的关键帧;
基于第一识别模型,对所述关键帧进行第一识别处理,得到以第一对象为中心的ROI区域;
基于第二识别模型,对所述ROI区域进行第二识别处理,确定所述ROI区域内出现的所述钢筋的钢筋类别及所述钢筋的坐标位置;其中,所述第一识别模型不同于所述第二识别模型。
在一些实施例中,所述基于第二识别模型,对所述ROI区域进行第二识别处理,确定所述ROI区域内出现的所述钢筋的钢筋类别及所述钢筋的坐标位置,包括:
确定所述ROI区域内出现的所述钢筋中是否具有截断钢筋;
若所述ROI区域内出现的所述钢筋中具有截断钢筋,则确定所述ROI区域内预定位置具有的所述截断钢筋的数量是否大于预定数量;
所述ROI区域内预定位置具有的所述截断钢筋的数量大于预定数量,则确定所述钢筋绑扎工序趋于结束。
在一些实施例中,所述第一对象确定为进行钢筋绑扎的操作人员;
所述第一识别处理,包括对所述关键帧中的所述操作人员进行位置识别;
所述基于第一识别模型,对所述关键帧进行第一识别处理,得到以第一对象为中心的ROI区域,包括:
基于第一识别模型,识别关键帧中的所述操作人员的位置;
以所述操作人员的位置为中心,确定出预定面积的预定区域作为所述ROI区域。
在一些实施例中,所述第二识别处理,包括:对所述ROI区域进行坐标区域划分;
所述基于第二识别模型,对所述ROI区域进行第二识别处理,确定所述ROI区域内出现的所述钢筋的钢筋类别及所述钢筋的坐标位置,包括:
基于所述第二识别模型,对所述ROI区域进行坐标区域划分,得到多个具有不同坐标点位的识别区域;
识别各所述识别区域内的钢筋,确定各所述识别区域内出现的钢筋类别及所述钢筋的坐标位置。
在一些实施例中,所述识别各所述识别区域内的钢筋,确定各所述识别区域内出现的钢筋类别,包括:
若同一识别区域内出现底面钢筋和所述截断钢筋,且所述底面钢筋与所述截断钢筋的距离小于预定距离,则标示出被识别钢筋为所述截断钢筋的第一概率值以及所述被识别钢筋为所述底面钢筋的第二概率值。
在一些实施例中,所述基于所述视频流中视频帧之间的相似度,在所述视频帧中提取相似度低于预定阈值的视频帧作为用于表征钢筋绑扎进度的关键帧前,所述方法包括:
对所述关键帧进行预处理;
所述预处理至少包括以下操作中的一种:
对所述关键帧进行尺寸压缩;
对所述关键帧进行图像归一化;
对所述关键帧进行水平翻转;
对所述关键帧进行对比度调整;
对所述关键帧进行RGB通道数据增强。
在一些实施例中,所述基于所述视频流中视频帧之间的相似度,在所述视频帧中提取相似度低于预定阈值的视频帧作为用于表征钢筋绑扎进度的关键帧前,所述方法包括:
通过哈希算法采用离散余弦变换获取视频帧的低频部分信息;
基于所述低频部分信息,确定视频帧之间的相似度。
在一些实施例中,所述基于第二识别模型,对所述ROI区域进行第二识别处理,确定所述ROI区域内出现的所述钢筋的钢筋类别及所述钢筋的坐标位置前,所述方法包括:
所述第二识别模型中采用三维卷积核学习截断钢筋的空间特征以及所述ROI区域的时序特征。
在一些实施例中,所述基于第二识别模型,对所述ROI区域进行第二识别处理,确定所述ROI区域内出现的所述钢筋的钢筋类别及所述钢筋的坐标位置,包括:
基于第二识别模型,对所述ROI区域进行第二识别处理,输出能够表征钢筋类别及钢筋的坐标位置的特征图;其中,所述第二识别模型中具有用于保留所述特征图细节信息的转移层。
第二方面,本公开提供一种基于视频流的钢筋绑扎工序监测装置,包括:
信息获取模块,用于实时获取钢筋绑扎过程的视频流;
图像提取模块,用于基于所述视频流中视频帧之间的相似度,在所述视频帧中提取相似度低于预定阈值的视频帧作为用于表征钢筋绑扎进度的关键帧;
第一图像处理模块,用于基于第一识别模型,对所述关键帧进行第一识别处理,得到以第一对象为中心的ROI区域;
第二图像处理模块,用于基于第二识别模型,对所述ROI区域进行第二识别处理,确定所述ROI区域内出现的所述钢筋的钢筋类别及所述钢筋的坐标位置;其中,所述第一识别模型不同于所述第二识别模型。
第三方面,本公开提供一种计算机可读存储介质,其上存储有监测程序,该监测程序被处理器执行时,实现上述第一方面所述的基于视频流的钢筋绑扎工序监测方法。
第四方面,本公开提供一种服务器,包括存储器、处理器及存储在存储器上并可在处理器上运行的监测程序,所述处理器执行所述监测程序时,实现上述第一方面所述的基于视频流的钢筋绑扎工序监测方法。
根据本公开实施例的基于视频流的钢筋绑扎工序监测方法通过实时获取钢筋绑扎过程的视频流;基于视频流中视频帧之间的相似度,在视频帧中提取相似度低于预定阈值的视频帧作为用于表征钢筋绑扎进度的关键帧;基于第一识别模型,对关键帧进行第一识别处理,得到以第一对象为中心的ROI区域;基于第二识别模型,对ROI区域进行第二识别处理,确定ROI区域内出现的钢筋的钢筋类别及钢筋的坐标位置;其中,第一识别模型不同于第二识别模型。所述第一对象确定为推动所述钢筋绑扎进度的操作对象。通过第一识别处理对关键帧进行粗检,得到大概率具有钢筋的ROI区域;再对ROI区域进行细检确定ROI区域内出现的钢筋的钢筋类别及钢筋的坐标位置,相对于对视频流进行全面分析,可有效提高监测效率、减少数据处理量。
本公开附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本公开的实践了解到。
附图说明
图1是根据一示例性实施例示出的基于视频流的钢筋绑扎工序监测方法流程图;
图2为示例性实施例示出的识别区域内cell参数结构图;
图3是根据一示例性实施例示出的基于视频流的钢筋绑扎工序监测装置结构示意图。
具体实施方式
下面详细描述本公开的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本公开,而不能理解为对本公开的限制。
钢筋绑扎是生产铁路、公路所需桥梁的重要环节,是决定产品质量的关键因素。钢筋绑扎具有工序多、工序复杂和工作量大等特点。为了有效提升生产效率、保证产品质量和控制生产成本,钢筋绑扎工序的识别记录在桥梁的生产过程中至关重要。在实际应用中,钢筋绑扎的生产过程主要采用人工记录每道工序的开始与结束时间,由于钢筋绑扎过程复杂以及多个桥梁的生产过程同步进行,人工记录每道工序往往需要消耗大量时间和人力成本。
当下逐渐开始使用深度学习智能化识别并记录的方法代替人工记录,实时获取每个钢筋绑扎台座的每道工序的生产状态,不仅能够节约大量人力,加快项目进度,还能相较人工更加准确记录生产的状态。钢筋绑扎工序识别作为一种应用于铁路、公路桥梁生产的人工智能解决方案,综合使用了数字图像分析、机器学习和深度学习方法等手段通过识别底面钢筋、底座支架、截断钢筋等目标,来判断钢筋绑扎工序和生产进度,从而为管理决策和工人施工提供合理依据。
针对上述情况,本公开提供一种基于视频流的钢筋绑扎工序监测方法。图1是根据一示例性实施例示出的基于视频流的钢筋绑扎工序监测方法流程图。如图1所示,该基于视频流的钢筋绑扎工序监测方法包括:
步骤10、实时获取钢筋绑扎过程的视频流;
步骤11、基于所述视频流中视频帧之间的相似度,在所述视频帧中提取相似度低于预定阈值的视频帧作为用于表征钢筋绑扎进度的关键帧;
步骤12、基于第一识别模型,对所述关键帧进行第一识别处理,得到以第一对象为中心的ROI区域;
步骤13、基于第二识别模型,对所述ROI区域进行第二识别处理,确定所述ROI区域内出现的所述钢筋的钢筋类别及所述钢筋的坐标位置;其中,所述第一识别模型不同于所述第二识别模型。
在本示例性实施例中,钢筋绑扎工序的开始通常以出现底面钢筋(iron)为标志,结束通常以出现截断钢筋(barstack)为标志,钢筋会随着生产的进行逐渐增多,及时准确地检测出底面钢筋与截断钢筋是判断绑扎工序开始与结束的关键。在生产现场使用摄像头采集台座的施工画面,视频流中准确识别出每一个关键目标,将其作为标志准确记录工序的开始与结束。
在本示例性实施例中,为解决检测目标结构多异性、外表易混淆性、检测结果时效性等困难,本公开采用“全图粗检,局部精检”的技术方案。分析发现钢筋的移动和摆放必定有工人的参与才能完成,故只需在工人周围区域检测便不会漏检待检测的钢筋。工人位置可通过第一识别模型在整图上检测即可实现,“全图粗检”完成初筛,避免无效的区域和大量计算负荷。工人及周围区域作为兴趣区域(Region of Interesting,ROI),构建ROI特征库并动态更新维护。基于第二识别模型,进行“局部精检”,该阶段提取学习ROI不同帧之间的时序特征,且不再学习目标的形状信息,只学习目标的类别和位置信息,从而既保证了更佳的检测效果,也控制了计算负荷和结果的时效性。
根据本公开实施例的基于视频流的钢筋绑扎工序监测方法通过实时获取钢筋绑扎过程的视频流;基于视频流中视频帧之间的相似度,在视频帧中提取相似度低于预定阈值的视频帧作为用于表征钢筋绑扎进度的关键帧;基于第一识别模型,对关键帧进行第一识别处理,得到以第一对象为中心的ROI区域;基于第二识别模型,对ROI区域进行第二识别处理,确定ROI区域内出现的钢筋的钢筋类别及钢筋的坐标位置;其中,第一识别模型不同于第二识别模型。所述第一对象确定为推动所述钢筋绑扎进度的操作对象,例如工人。通过第一识别处理对关键帧进行粗检,得到大概率具有钢筋的ROI区域;再对ROI区域进行细检确定ROI区域内出现的钢筋的钢筋类别及钢筋的坐标位置,相对于对视频流进行全面分析,可有效提高监测效率、减少数据处理量。
在一些实施例中,所述基于第二识别模型,对所述ROI区域进行第二识别处理,确定所述ROI区域内出现的所述钢筋的钢筋类别及所述钢筋的坐标位置,包括:
确定所述ROI区域内出现的所述钢筋中是否具有截断钢筋;
若所述ROI区域内出现的所述钢筋中具有截断钢筋,则确定所述ROI区域内预定位置具有的所述截断钢筋的数量是否大于预定数量;
所述ROI区域内预定位置具有的所述截断钢筋的数量大于预定数量,则确定所述钢筋绑扎工序趋于结束。
在本示例性实施例中,确定所述ROI区域内出现的所述钢筋的钢筋类别及所述钢筋的坐标位置的最终目的是确定所述钢筋绑扎工序的进度。在确定所述钢筋绑扎工序的进度时包括:
确定截断钢筋的数量和位置;
若ROI区域内预定位置具有的所述截断钢筋的数量大于预定数量,则确定所述钢筋绑扎工序趋于结束。此时说明钢筋绑扎工序已经趋于尾声,工序基本完成。其中,预定位置可以为出现截断钢筋概率较大的位置区域。
在一些实施例中,所述第一对象确定为进行钢筋绑扎的操作人员;
所述第一识别处理,包括对所述关键帧中的所述操作人员进行位置识别;
所述基于第一识别模型,对所述关键帧进行第一识别处理,得到以第一对象为中心的ROI区域,包括:
基于第一识别模型,识别关键帧中的所述操作人员的位置;
以所述操作人员的位置为中心,确定出预定面积的预定区域作为所述ROI区域。
在本示例性实施例中,可以所述操作人员的位置为中心,确定出检测框;将检测框长和宽分别放大2倍和4倍,中心位置保持不变,此时框内区域记为ROI区域,以便于后续对ROI区域进行识别处理。
在一些实施例中,所述第二识别处理,包括:对所述ROI区域进行坐标区域划分;
所述基于第二识别模型,对所述ROI区域进行第二识别处理,确定所述ROI区域内出现的所述钢筋的钢筋类别及所述钢筋的坐标位置,包括:
基于所述第二识别模型,对所述ROI区域进行坐标区域划分,得到多个具有不同坐标点位的识别区域;
识别各所述识别区域内的钢筋,确定各所述识别区域内出现的钢筋类别及所述钢筋的坐标位置。
在本示例性实施例中,对所述ROI区域进行坐标区域划分时,可对每个ROI区域进行坐标标定。
由于不同输入的ROI区域大小不同,可规范为同一尺寸512*512。像素点插值计算方法如下:
表示坐标 ( i , j )的像素值大小,如果需要插值求坐标为 (i+u,j+v)的像素值,其中 i , j 为正整数,0<u,v<1,其中,u、v 分别为坐标(i+u,j+v)相对于坐标(i , j )在x轴方向和Y轴方向上分别对应的偏移量。可先求 f (i, j+v),假设f ( i , j )到f (i, j+1)的灰度变化为线性关系,则:
得到在 j 方向上的插值结果,接着在上面的基础上再计算 i 方向的插值结果,即:
同时维护一定数量的ROI特征库,可以设定为30张,实时的动态更新ROI特征库,每次更新包括移除最早时间的ROI和添加当前的ROI。
通过第二识别模型对ROI特征库中每一个ROI区域进行第二识别处理。
基于所述第二识别模型,对所述ROI区域进行坐标区域划分,得到多个具有不同坐标点位的识别区域时,可对ROI区域进行网格化划分。例如,将一个ROI区域划分为5*5的网格,得到25个具有不同坐标点位的识别区域。
在一些实施例中,所述识别各所述识别区域内的钢筋,确定各所述识别区域内出现的钢筋类别,包括:
若同一识别区域内出现底面钢筋和所述截断钢筋,且所述底面钢筋与所述截断钢筋的距离小于预定距离,则标示出被识别钢筋为所述截断钢筋的第一概率值以及所述被识别钢筋为所述底面钢筋的第二概率值。
在本示例性实施例中,在同一识别区域内进行钢筋类别和坐标位置识别时,如果存在底面钢筋和所述截断钢筋挨着或距离很近,此时可能存在一定概率的识别误差,此时需要对钢筋类别标示识别概率。例如标示出被识别钢筋为所述截断钢筋的第一概率值以及所述被识别钢筋为所述底面钢筋的第二概率值,从而提高钢筋类别的识别准确度,从而提高监测质量。
当底面钢筋或者截断钢筋靠得很近或者相互遮挡时,它们的中心可能在一个识别区域Cell中,对此给每个识别区域Cell提供五个anchor检测,Cell的结构见图2。图2为示例性实施例示出的识别区域内Cell参数结构图。如图2所示,每个anchor包含5个数据,pi(1)、pi(2)分别为底面钢筋、截断钢筋的分类概率,confi为anchor的整体置信度,xi、yi为定位点的位置。每个Cell以25是数据长度输出;
第二识别模型的损失函数定义见公式4,
、/>、/>分别为位置损失、置信度损失和分类损失,损失占比由前面的系数控制;/>、/>、/>分别为/>、/>、/>各自对应的权重值。S²表示遍历所有的Cell,B表示遍历所有的anchor,n表示检测的类别数,/>表示是否为正样本,正样本即为1,负样本即为0,/>表示是否为负样本,负样本即为1,正样本即为0。BCE表示二元交叉熵损失函数(binarycross entropy),/>为该类的标签值,/>为该类的预测值;/>为实际定位点在横轴的坐标位置,/>为实际定位点在纵轴的坐标位置,/>为预测类别的概率值。
在一些实施例中,所述基于所述视频流中视频帧之间的相似度,在所述视频帧中提取相似度低于预定阈值的视频帧作为用于表征钢筋绑扎进度的关键帧前,所述方法包括:
对所述关键帧进行预处理;
所述预处理至少包括以下操作中的一种:
对所述关键帧进行尺寸压缩;
对所述关键帧进行图像归一化;
对所述关键帧进行水平翻转;
对所述关键帧进行对比度调整;
对所述关键帧进行RGB通道数据增强。
在本示例性实施例中,通过上述预处理有利于后续ROI区域提前过程的进行。
在一些实施例中,所述基于所述视频流中视频帧之间的相似度,在所述视频帧中提取相似度低于预定阈值的视频帧作为用于表征钢筋绑扎进度的关键帧前,所述方法包括:
通过哈希算法采用离散余弦变换获取视频帧的低频部分信息;
基于所述低频部分信息,确定视频帧之间的相似度。
在本示例性实施例中,通过哈希算法采用离散余弦变换(DCT for DiscreteCosine Transform)来获取图像的低频部分信息的过程如下:
(1)将图像缩小到32*32大小并彩色图转灰度图;
(2)计算离散余弦变换,求取系数均值;
(3)确定图像左上角8*8区块大于均值为1小于的为0;
(4)将结果排列成一个64位的向量即哈希值;
(5)计算两个哈希值的汉明距离,距离越小视频帧之间的相似度越高。
在一些实施例中,所述基于第二识别模型,对所述ROI区域进行第二识别处理,确定所述ROI区域内出现的所述钢筋的钢筋类别及所述钢筋的坐标位置前,所述方法包括:
所述第二识别模型中采用三维卷积核学习截断钢筋的空间特征以及所述ROI区域的时序特征。
在本示例性实施例中,本公开中结合截断钢筋随意摆放导致的形状不一、长宽比例波动较大的空间特征,以及只需识别目标具体位置的工序需求,我们对现有的第二识别模型做出两点改进;第一,特征提取阶段使用三维卷积核替代二维卷积核,学习空间特征的同时也学习到ROI间的时序特征;第二,放弃对截断钢筋性形状信息的回归,只回归计算其位置信息,降低计算复杂度。
在一些实施例中,所述基于第二识别模型,对所述ROI区域进行第二识别处理,确定所述ROI区域内出现的所述钢筋的钢筋类别及所述钢筋的坐标位置,包括:
基于第二识别模型,对所述ROI区域进行第二识别处理,输出能够表征钢筋类别及钢筋的坐标位置的特征图;其中,所述第二识别模型中具有用于保留所述特征图细节信息的转移层。
在本示例性实施例中,本公开中第二识别模型可采用端到端的结构,输入为ROI特征库;输出为钢筋的预测目标的种类和中心点位置;以钢筋为中心进行检测。第一部分特征提取阶段三维卷积核和最大池化交替使用,三维卷积核大小为3×3×3,步长为1,最大池化大小为2×2,步长为2,特征图大小缩小且维度上升。第二部分作为回归拟合学习阶段,该阶段使用大小为3×3、步长为1的二维卷积核,避免三维卷积核过多参数量过大导致模型难以训练的问题。为了更好地检测比较小的钢筋,最后输出的特征图需要保留更细节的信息,第二识别模型引入pass through转移层。本公开实施例采用1×1的二维卷积核,实现特征图降维减少参数量的目的。该分支特征图后续拼接到主分支特征图上。最终得到的特征图大小为16×16×25。
本公开标注了约5000张钢筋绑扎图像,抽取500张做验证集。在验证集中进行了模型测试,检出率为98.2%,误检率为0.5%。输入单张图片尺寸1280*1280算法耗时65ms左右,以在线视频流尺寸1280*1280,CPU设备上先用感知哈希算法获取有效视频帧作为算法输入可以达到120fps。
本公开提供一种基于视频流的钢筋绑扎工序监测装置。图3是根据一示例性实施例示出的基于视频流的钢筋绑扎工序监测装置结构示意图。如图3所示,包括:
信息获取模块30,用于实时获取钢筋绑扎过程的视频流;
图像提取模块31,用于基于所述视频流中视频帧之间的相似度,在所述视频帧中提取相似度低于预定阈值的视频帧作为用于表征钢筋绑扎进度的关键帧;
第一图像处理模块32,用于基于第一识别模型,对所述关键帧进行第一识别处理,得到以第一对象为中心的ROI区域;
第二图像处理模块33,用于基于第二识别模型,对所述ROI区域进行第二识别处理,确定所述ROI区域内出现的所述钢筋的钢筋类别及所述钢筋的坐标位置;其中,所述第一识别模型不同于所述第二识别模型。
在本示例性实施例中,钢筋绑扎工序的开始通常以出现底面钢筋(iron)为标志,结束通常以出现截断钢筋(barstack)为标志,钢筋会随着生产的进行逐渐增多,及时准确地检测出底面钢筋与截断钢筋是判断绑扎工序开始与结束的关键。在生产现场使用摄像头采集台座的施工画面,视频流中准确识别出每一个关键目标,将其作为标志准确记录工序的开始与结束。
在本示例性实施例中,为解决检测目标结构多异性、外表易混淆性、检测结果时效性等困难,本公开采用“全图粗检,局部精检”的技术方案。分析发现钢筋的移动和摆放必定有工人的参与才能完成,故只需在工人周围区域检测便不会漏检待检测的钢筋。工人位置可通过第一识别模型在整图上检测即可实现,“全图粗检”完成初筛,避免无效的区域和大量计算负荷。工人及周围区域作为兴趣区域(Region of Interesting,ROI),构建ROI特征库并动态更新维护。基于第二识别模型,进行“局部精检”,该阶段提取学习ROI不同帧之间的时序特征,且不再学习目标的形状信息,只学习目标的类别和位置信息,从而既保证了更佳的检测效果,也控制了计算负荷和结果的时效性。
根据本公开实施例的基于视频流的钢筋绑扎工序监测装置通过实时获取钢筋绑扎过程的视频流;基于视频流中视频帧之间的相似度,在视频帧中提取相似度低于预定阈值的视频帧作为用于表征钢筋绑扎进度的关键帧;基于第一识别模型,对关键帧进行第一识别处理,得到以第一对象为中心的ROI区域;基于第二识别模型,对ROI区域进行第二识别处理,确定ROI区域内出现的钢筋的钢筋类别及钢筋的坐标位置;其中,第一识别模型不同于第二识别模型。所述第一对象确定为推动所述钢筋绑扎进度的操作对象,例如工人。通过第一识别处理对关键帧进行粗检,得到大概率具有钢筋的ROI区域;再对ROI区域进行细检确定ROI区域内出现的钢筋的钢筋类别及钢筋的坐标位置,相对于对视频流进行全面分析,可有效提高监测效率、减少数据处理量。
在一些实施例中,所述第二图像处理模块33,用于
确定所述ROI区域内出现的所述钢筋中是否具有截断钢筋;
若所述ROI区域内出现的所述钢筋中具有截断钢筋,则确定所述ROI区域内预定位置具有的所述截断钢筋的数量是否大于预定数量;
所述ROI区域内预定位置具有的所述截断钢筋的数量大于预定数量,则确定所述钢筋绑扎工序趋于结束。
在一些实施例中,所述第一对象确定为进行钢筋绑扎的操作人员;
所述第一识别处理,包括对所述关键帧中的所述操作人员进行位置识别;
所述第一图像处理模块32,用于
基于第一识别模型,识别关键帧中的所述操作人员的位置;
以所述操作人员的位置为中心,确定出预定面积的预定区域作为所述ROI区域。
在一些实施例中,所述第二识别处理,包括:对所述ROI区域进行坐标区域划分;
所述第二图像处理模块33,用于
基于所述第二识别模型,对所述ROI区域进行坐标区域划分,得到多个具有不同坐标点位的识别区域;
识别各所述识别区域内的钢筋,确定各所述识别区域内出现的钢筋类别及所述钢筋的坐标位置。
在一些实施例中,第二图像处理模块33,用于
若同一识别区域内出现底面钢筋和所述截断钢筋,且所述底面钢筋与所述截断钢筋的距离小于预定距离,则标示出被识别钢筋为所述截断钢筋的第一概率值以及所述被识别钢筋为所述底面钢筋的第二概率值。
在一些实施例中,所述图像提取模块31,用于
对所述关键帧进行预处理;
所述预处理至少包括以下操作中的一种:
对所述关键帧进行尺寸压缩;
对所述关键帧进行图像归一化;
对所述关键帧进行水平翻转;
对所述关键帧进行对比度调整;
对所述关键帧进行RGB通道数据增强。
在一些实施例中,所述图像提取模块31,用于
通过哈希算法采用离散余弦变换获取视频帧的低频部分信息;
基于所述低频部分信息,确定视频帧之间的相似度。
在一些实施例中,所述第二图像处理模块33,用于
所述第二识别模型中采用三维卷积核学习截断钢筋的空间特征以及所述ROI区域的时序特征。
在一些实施例中,所述基第二图像处理模块33,用于
基于第二识别模型,对所述ROI区域进行第二识别处理,输出能够表征钢筋类别及钢筋的坐标位置的特征图;其中,所述第二识别模型中具有用于保留所述特征图细节信息的转移层。
本公开提供一种计算机可读存储介质,其上存储有监测程序,该监测程序被处理器执行时,实现上述各实施例所述的基于视频流的钢筋绑扎工序监测方法。
本公开提供一种服务器,包括存储器、处理器及存储在存储器上并可在处理器上运行的监测程序,所述处理器执行所述监测程序时,实现上述各实施例所述的基于视频流的钢筋绑扎工序监测方法。
需要说明的是,在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序,然后将其存储在计算机存储器中。
应当理解,本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
在本公开的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本公开和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本公开的限制。
此外,本公开实施例中所使用的“第一”、“第二”等术语,仅用于描述目的,而不可以理解为指示或者暗示相对重要性,或者隐含指明本实施例中所指示的技术特征数量。由此,本公开实施例中限定有“第一”、“第二”等术语的特征,可以明确或者隐含地表示该实施例中包括至少一个该特征。在本公开的描述中,词语“多个”的含义是至少两个或者两个及以上,例如两个、三个、四个等,除非实施例中另有明确具体的限定。
在本公开中,除非实施例中另有明确的相关规定或者限定,否则实施例中出现的术语“安装”、“相连”、“连接”和“固定”等应做广义理解,例如,连接可以是固定连接,也可以是可拆卸连接,或成一体,可以理解的,也可以是机械连接、电连接等;当然,还可以是直接相连,或者通过中间媒介进行间接连接,或者可以是两个元件内部的连通,或者两个元件的相互作用关系。对于本领域的普通技术人员而言,能够根据具体的实施情况理解上述术语在本公开中的具体含义。
在本公开中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
尽管上面已经示出和描述了本公开的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本公开的限制,本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (11)
1.一种基于视频流的钢筋绑扎工序监测方法,其特征在于,包括:
实时获取钢筋绑扎过程的视频流;
基于视频流中视频帧之间的相似度,在所述视频帧中提取相似度低于预定阈值的视频帧作为用于表征钢筋绑扎进度的关键帧;
基于第一识别模型,对所述关键帧进行第一识别处理,得到以第一对象为中心的ROI区域;
基于第二识别模型,对所述ROI区域进行第二识别处理,确定所述ROI区域内出现的所述钢筋的钢筋类别及所述钢筋的坐标位置;其中,所述第一识别模型不同于所述第二识别模型;所述基于第二识别模型,对所述ROI区域进行第二识别处理,确定所述ROI区域内出现的所述钢筋的钢筋类别及所述钢筋的坐标位置,包括:
确定所述ROI区域内出现的所述钢筋中是否具有截断钢筋;
若所述ROI区域内出现的所述钢筋中具有截断钢筋,则确定所述ROI区域内预定位置具有的所述截断钢筋的数量是否大于预定数量;
所述ROI区域内预定位置具有的所述截断钢筋的数量大于预定数量,则确定所述钢筋绑扎工序趋于结束。
2.根据权利要求1所述的基于视频流的钢筋绑扎工序监测方法,其特征在于,所述第一对象确定为进行钢筋绑扎的操作人员;
所述第一识别处理,包括对所述关键帧中的所述操作人员进行位置识别;
所述基于第一识别模型,对所述关键帧进行第一识别处理,得到以第一对象为中心的ROI区域,包括:
基于第一识别模型,识别关键帧中的所述操作人员的位置;
以所述操作人员的位置为中心,确定出预定面积的预定区域作为所述ROI区域。
3.根据权利要求1所述的基于视频流的钢筋绑扎工序监测方法,其特征在于,所述第二识别处理,包括:对所述ROI区域进行坐标区域划分;
所述基于第二识别模型,对所述ROI区域进行第二识别处理,确定所述ROI区域内出现的所述钢筋的钢筋类别及所述钢筋的坐标位置,包括:
基于所述第二识别模型,对所述ROI区域进行坐标区域划分,得到多个具有不同坐标点位的识别区域;
识别各所述识别区域内的钢筋,确定各所述识别区域内出现的钢筋类别及所述钢筋的坐标位置。
4.根据权利要求3所述的基于视频流的钢筋绑扎工序监测方法,其特征在于,所述识别各所述识别区域内的钢筋,确定各所述识别区域内出现的钢筋类别,包括:
若同一识别区域内出现底面钢筋和截断钢筋,且所述底面钢筋与所述截断钢筋的距离小于预定距离,则标示出被识别钢筋为所述截断钢筋的第一概率值以及所述被识别钢筋为所述底面钢筋的第二概率值。
5.根据权利要求1所述的基于视频流的钢筋绑扎工序监测方法,其特征在于,所述基于所述视频流中视频帧之间的相似度,在所述视频帧中提取相似度低于预定阈值的视频帧作为用于表征钢筋绑扎进度的关键帧前,所述方法包括:
对所述关键帧进行预处理;
所述预处理至少包括以下操作中的一种:
对所述关键帧进行尺寸压缩;
对所述关键帧进行图像归一化;
对所述关键帧进行水平翻转;
对所述关键帧进行对比度调整;
对所述关键帧进行RGB通道数据增强。
6.根据权利要求1所述的基于视频流的钢筋绑扎工序监测方法,其特征在于,所述基于所述视频流中视频帧之间的相似度,在所述视频帧中提取相似度低于预定阈值的视频帧作为用于表征钢筋绑扎进度的关键帧前,所述方法包括:
通过哈希算法采用离散余弦变换获取视频帧的低频部分信息;
基于所述低频部分信息,确定视频帧之间的相似度。
7.根据权利要求1所述的基于视频流的钢筋绑扎工序监测方法,其特征在于,
所述第二识别模型中采用三维卷积核学习截断钢筋的空间特征以及所述ROI区域的时序特征。
8.根据权利要求1所述的基于视频流的钢筋绑扎工序监测方法,其特征在于,所述基于第二识别模型,对所述ROI区域进行第二识别处理,确定所述ROI区域内出现的所述钢筋的钢筋类别及所述钢筋的坐标位置,包括:
基于第二识别模型,对所述ROI区域进行第二识别处理,输出能够表征钢筋类别及钢筋的坐标位置的特征图;其中,所述第二识别模型中具有用于保留所述特征图细节信息的转移层。
9.一种基于视频流的钢筋绑扎工序监测装置,其特征在于,包括:
信息获取模块,用于实时获取钢筋绑扎过程的视频流;
图像提取模块,用于基于所述视频流中视频帧之间的相似度,在所述视频帧中提取相似度低于预定阈值的视频帧作为用于表征钢筋绑扎进度的关键帧;
第一图像处理模块,用于基于第一识别模型,对所述关键帧进行第一识别处理,得到以第一对象为中心的ROI区域;
第二图像处理模块,用于基于第二识别模型,对所述ROI区域进行第二识别处理,确定所述ROI区域内出现的所述钢筋的钢筋类别及所述钢筋的坐标位置;其中,所述第一识别模型不同于所述第二识别模型;其中,所述基于第二识别模型,对所述ROI区域进行第二识别处理,确定所述ROI区域内出现的所述钢筋的钢筋类别及所述钢筋的坐标位置,包括:
确定所述ROI区域内出现的所述钢筋中是否具有截断钢筋;
若所述ROI区域内出现的所述钢筋中具有截断钢筋,则确定所述ROI区域内预定位置具有的所述截断钢筋的数量是否大于预定数量;
所述ROI区域内预定位置具有的所述截断钢筋的数量大于预定数量,则确定所述钢筋绑扎工序趋于结束。
10.一种计算机可读存储介质,其特征在于,其上存储有监测程序,该监测程序被处理器执行时,实现权利要求1-8中任一项所述的基于视频流的钢筋绑扎工序监测方法。
11.一种服务器,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的监测程序,所述处理器执行所述监测程序时,实现权利要求1-8中任一项所述的基于视频流的钢筋绑扎工序监测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310201503.4A CN116092012B (zh) | 2023-03-06 | 2023-03-06 | 基于视频流的钢筋绑扎工序监测方法及监测装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310201503.4A CN116092012B (zh) | 2023-03-06 | 2023-03-06 | 基于视频流的钢筋绑扎工序监测方法及监测装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116092012A CN116092012A (zh) | 2023-05-09 |
CN116092012B true CN116092012B (zh) | 2023-06-16 |
Family
ID=86186996
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310201503.4A Active CN116092012B (zh) | 2023-03-06 | 2023-03-06 | 基于视频流的钢筋绑扎工序监测方法及监测装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116092012B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110097087A (zh) * | 2019-04-04 | 2019-08-06 | 浙江科技学院 | 一种自动钢筋捆扎位置识别方法 |
CN110363852A (zh) * | 2019-07-15 | 2019-10-22 | 中铁四局集团有限公司 | 一种三维数字梁场、构建方法、计算机设备及存储介质 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8442301B2 (en) * | 2009-04-30 | 2013-05-14 | General Electric Company | Nondestructive inspection method and system |
CN105303308A (zh) * | 2015-10-22 | 2016-02-03 | 张玉英 | 基于3d图形信息平台的钢筋工程全过程管理系统及方法 |
CN105956942B (zh) * | 2016-05-12 | 2020-06-16 | 陕西瑞海电力工程有限公司 | 基于机器视觉的电力管廊钢筋网质量检测方法及检测装置 |
CN111576885B (zh) * | 2020-05-22 | 2022-10-04 | 中国建筑第八工程局有限公司 | 钢筋绑扎机器人智能绑扎施工方法及系统 |
CN113264212B (zh) * | 2021-05-08 | 2022-08-16 | 济客筑科技(太仓)有限公司 | 一种多轴机器人的点阵式钢筋捆扎系统的工作方法 |
KR102344423B1 (ko) * | 2021-09-30 | 2021-12-29 | (주)티와이 | 변압기 제조 설비의 일체형 자동화 및 적층 위치 추적 보정하는 시스템 및 방법 |
CN114419498A (zh) * | 2022-01-07 | 2022-04-29 | 中国建筑第八工程局有限公司 | 基于图像分块特征嵌入的钢筋绑扎状态识别方法 |
CN114638830B (zh) * | 2022-05-18 | 2022-08-12 | 安徽数智建造研究院有限公司 | 隧道钢筋识别模型的训练方法及隧道钢筋识别方法 |
CN114862829A (zh) * | 2022-05-30 | 2022-08-05 | 北京建筑大学 | 一种钢筋绑扎点定位方法、装置、设备及存储介质 |
CN115272691A (zh) * | 2022-05-30 | 2022-11-01 | 北京建筑大学 | 一种钢筋绑扎状态检测模型的训练方法、识别方法及设备 |
CN114998269A (zh) * | 2022-06-09 | 2022-09-02 | 中铁九局集团有限公司 | 一种钢筋绑扎控制系统和绑扎定位识别方法 |
-
2023
- 2023-03-06 CN CN202310201503.4A patent/CN116092012B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110097087A (zh) * | 2019-04-04 | 2019-08-06 | 浙江科技学院 | 一种自动钢筋捆扎位置识别方法 |
CN110363852A (zh) * | 2019-07-15 | 2019-10-22 | 中铁四局集团有限公司 | 一种三维数字梁场、构建方法、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116092012A (zh) | 2023-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111640089B (zh) | 一种基于特征图中心点的缺陷检测方法及装置 | |
Li et al. | Automatic bridge crack identification from concrete surface using ResNeXt with postprocessing | |
CN111797829A (zh) | 一种车牌检测方法、装置、电子设备和存储介质 | |
JP7391504B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN104966304A (zh) | 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法 | |
CN110046570B (zh) | 一种粮仓粮食库存动态监管方法和装置 | |
CN110599453A (zh) | 一种基于图像融合的面板缺陷检测方法、装置及设备终端 | |
CN111027343A (zh) | 条形码区域定位方法和装置 | |
CN115909059A (zh) | 一种自然资源样本库建立方法和装置 | |
CN111091101A (zh) | 基于一步法的高精度行人检测方法、系统、装置 | |
CN115995056A (zh) | 一种基于深度学习的桥梁病害自动识别方法 | |
CN116092012B (zh) | 基于视频流的钢筋绑扎工序监测方法及监测装置 | |
CN110517299B (zh) | 基于局部特征熵的弹性图像配准算法 | |
CN112287884A (zh) | 一种考试异常行为检测方法、装置及计算机可读存储介质 | |
CN113673478B (zh) | 基于深度学习全景拼接的港口大型设备检测与识别方法 | |
CN111178244A (zh) | 一种异常生产场景的识别方法 | |
CN113447572B (zh) | 钢轨探伤方法、电子装置、钢轨探伤车及可读存储介质 | |
CN112784781B (zh) | 基于差异感知元学习的伪造人脸检测方法和装置 | |
CN114708590A (zh) | 基于深度学习的复合固化土微观结构识别分析方法及系统 | |
CN115359091A (zh) | 一种用于移动机器人的装甲板检测跟踪方法 | |
CN116543327A (zh) | 作业人员工种识别的方法、装置、计算机设备及存储介质 | |
CN114120097A (zh) | 一种基于机器视觉的配网工程现场变压器检测方法和系统 | |
CN114219073A (zh) | 属性信息的确定方法、装置、存储介质及电子装置 | |
JPH07121713A (ja) | パターン認識方法 | |
CN117893781B (zh) | 图像差异区域的提取方法、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |