CN117292329B - 一种建筑机器人工作异常监测方法、系统、介质及设备 - Google Patents

一种建筑机器人工作异常监测方法、系统、介质及设备 Download PDF

Info

Publication number
CN117292329B
CN117292329B CN202311575138.XA CN202311575138A CN117292329B CN 117292329 B CN117292329 B CN 117292329B CN 202311575138 A CN202311575138 A CN 202311575138A CN 117292329 B CN117292329 B CN 117292329B
Authority
CN
China
Prior art keywords
robot
construction robot
construction
resolution
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311575138.XA
Other languages
English (en)
Other versions
CN117292329A (zh
Inventor
刘兆伟
龚子航
苏航
文志东
胡小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yantai New And Old Kinetic Energy Conversion Research Institute And Yantai Demonstration Base For Transfer And Transformation Of Scientific And Technological Achievements
Yantai University
Original Assignee
Yantai New And Old Kinetic Energy Conversion Research Institute And Yantai Demonstration Base For Transfer And Transformation Of Scientific And Technological Achievements
Yantai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yantai New And Old Kinetic Energy Conversion Research Institute And Yantai Demonstration Base For Transfer And Transformation Of Scientific And Technological Achievements, Yantai University filed Critical Yantai New And Old Kinetic Energy Conversion Research Institute And Yantai Demonstration Base For Transfer And Transformation Of Scientific And Technological Achievements
Priority to CN202311575138.XA priority Critical patent/CN117292329B/zh
Publication of CN117292329A publication Critical patent/CN117292329A/zh
Application granted granted Critical
Publication of CN117292329B publication Critical patent/CN117292329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于机器视觉领域及目标检测与关键点检领域，提供了一种建筑机器人工作异常监测方法、系统、介质及设备，其技术方案为：获取建筑机器人在建筑场景下的工作视频数据；基于视频数据和训练后的第一神经网络，获取建筑机器人在空间中的位置信息；在空间中的位置信息范围内，结合训练后的第二神经网络，将提取的不同分辨率特征图融合，基于融合后的特征图预测得到建筑机器人关键点坐标；通过预测得到的建筑机器人关键点坐标对建筑机器人的工作状态进行异常判定。不仅可以从宏观上监测建筑机器人整体，而且可以从微观上监测建筑机器人的局部是否正常运行，而且在建筑机器人上部署大量的传感器，降低了成本。

Description

一种建筑机器人工作异常监测方法、系统、介质及设备
技术领域
本发明属于图像处理领域及目标检测与关键点检领域，尤其涉及一种建筑机器人工作异常监测方法、系统、介质及设备。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
建筑机器人在建筑场景下扮演着非常重要的角色，建筑机器人能够提高施工效率和施工安全性，降低了人力成本，一定程度上满足了建筑业的不断增长的需求。但建筑业是一个高风险的行业，因此，建筑机器人工作时的一举一动都变得非常重要。
现有建筑场景下对建筑机器人进行安全监测中存在的缺陷与不足，由于建筑场景比较复杂，建筑机器人可能会受到各种不可控因素的影响从而导致其非正常运行，因此需要对其进行实时安全监测。
以往大多使用目标检测的方法对工作中的建筑机器人进行安全监测，这种方法只能从宏观上监测建筑机器人整体，无法从微观上监测建筑机器人的局部是否正常运行，具有一定的应用局限性。基于传感器的检测方法也有被用来监测建筑机器人，但通常只能从局部监测建筑机器人，而且传感器价格昂贵，需要大量部署在建筑机器人上才能进行监测，因此不适用于在建筑场景下监测建筑机器人。
发明内容
为了解决上述背景技术中存在的至少一项技术问题，本发明提供一种建筑机器人工作异常监测方法、系统、介质及设备，其通过实时检测并获取建筑场景下工作中的建筑机器人的空间位置坐标信息和关键点坐标信息，并通过深度相机同步获取到的三维空间信息计算建筑机器人的空间角度数据判断建筑机器人工作时是否发生异常。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一方面提供一种建筑机器人工作异常监测方法，包括如下步骤：
获取建筑机器人在建筑场景下的工作视频数据；
基于工作视频数据和训练后的第一神经网络，获取建筑机器人在空间中的位置信息；
在空间中的位置信息范围内，结合训练后的第二神经网络，将提取的不同分辨率特征图融合，基于融合后的特征图预测得到建筑机器人关键点坐标；
通过预测得到的建筑机器人关键点坐标对建筑机器人的工作状态进行异常判定。
进一步地，获取建筑机器人在建筑场景下的工作视频数据后，对数据进行标定获取XML文件数据集和JSON数据集，将XML文件数据集和其对应的RGB图像数据集作为第一神经网络的训练数据集和测试数据集，将JSON数据集和其对应的RGB图像数据集作为第二神经网络的训练数据集和测试数据集。
进一步地，所述在空间中的位置信息范围内，结合训练后的第二神经网络，将提取的不同分辨率特征图融合，基于融合后的特征图预测得到建筑机器人关键点坐标，具体包括：
首先进行多个不同分辨率的特征图提取；
然后提取到不同分辨率特征图的特征后进行特征融合操作，所述特征融合操作包括分别将第二分辨率特征图、第三分辨率特征图和第四辨率特征图进行上采样，将上采样后的特征图和第一分辨率特征图相加，得到融合后的特征图，其中，第一分辨率＞第二分辨率＞第三分辨率＞第四分辨率；
对融合后的特征图进行关键点的预测得到建筑机器人关键点坐标。
进一步地，基于融合后的特征图预测得到建筑机器人关键点坐标后，使用非极大值抑制算法去除冗余的关键点预测，并解码坐标偏移以获得最终的关键点位置。
进一步地，所述第一神经网络模型采用RTMDet神经网络；第二神经网络模型采用HRNet神经网络。
进一步地，所述通过预测得到的建筑机器人关键点坐标对建筑机器人的工作状态进行异常判定，包括：
将通过深度相机同步获取的建筑机器人的三维空间信息和预测得到的建筑机器人关键点坐标进行对比，若预测得到的建筑机器人关键点坐标的位置变化和设定的阈值范围比较，判断则建筑机器人在工作时是否发生了异常；
或
利用预测得到的建筑机器人关键点坐标计算出建筑机器人在行进或侧身时的工作姿态角度，通过计算出的角度信息判断建筑机器人工作时是否产生异常。
进一步地，所述建筑机器人在行进或侧身时的工作姿态角度以及建筑机器人的侧身角度的计算公式为：，其中，/>和/>分别表示建筑机器人的两对相连的两个关键点在三维空间中所组成的两个空间向量，/>表示两空间向量的点积，/>和分别表示两空间向量的模，/>为两空间向量的夹角。
本发明的第二方面提供一种建筑机器人工作异常监测系统，包括：
数据获取模块，其用于获取建筑机器人在建筑场景下的工作视频数据；
位置信息提取模块，其用于基于工作视频数据和训练后的第一神经网络，获取建筑机器人在空间中的位置信息；
关键点信息预测模块，其用于在空间中的位置信息范围内，结合训练后的第二神经网络，将提取的不同分辨率特征图融合，基于融合后的特征图预测得到建筑机器人关键点坐标；
异常监测模块，其用于通过预测得到的建筑机器人关键点坐标对建筑机器人的工作状态进行异常判定。
本发明的第三方面提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的一种建筑机器人工作异常监测方法中的步骤。
本发明的第四方面提供一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的一种建筑机器人工作异常监测方法中的步骤。
与现有技术相比，本发明的有益效果是：
1、本发明提出基于自上而下的建筑机器人工作安全监测方法，通过实时检测并获取建筑场景下工作中的建筑机器人的空间位置坐标信息和关键点坐标信息，不仅可以从宏观上监测建筑机器人整体，而且可以从微观上监测建筑机器人的局部是否正常运行，而且在建筑机器人上部署大量的传感器，降低了成本。
2、本发明在空间中的位置信息范围内，结合训练后的第二神经网络，将提取的不同分辨率特征图融合，基于融合后的特征图预测得到建筑机器人关键点坐标，使用非极大值抑制算法去除冗余的关键点预测，并解码坐标偏移以获得最终的关键点位置，提高了从微观上监测建筑机器人的精准度。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例提供的一种建筑机器人工作异常监测方法整体流程示意图；
图2是本发明实施例提供的一种建筑机器人工作异常监测系统的整体框架。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
为了解决本发明背景技术中提及的现有建筑场景下对工作建筑机器人进行安全监测中存在的缺陷与不足，由于建筑场景比较复杂，建筑机器人可能会受到各种不可控因素的影响从而导致其非正常运行，以往的研究大多使用目标检测的方法和基于传感器的检测方法对建筑机器人进行安全监测，目标检测方法无法从微观上监测建筑机器人的局部是否正常运行，具有一定的应用局限性。以往的研究大多使用目标检测的方法和基于传感器的检测方法对建筑机器人进行安全监测，目标检测方法无法从微观上监测建筑机器人的局部是否正常运行，具有一定的应用局限性。
本发明提出基于自上而下的建筑机器人工作安全监测方法，通过实时检测并获取建筑场景下工作中的建筑机器人的空间位置坐标信息和关键点坐标信息，不仅可以从宏观上监测建筑机器人整体，而且可以从微观上监测建筑机器人的局部是否正常运行，而且在建筑机器人上部署大量的传感器，降低了成本。
实施例一
如图1所示，本实施例提供一种建筑机器人工作异常监测方法，包括如下步骤：
S101、获取建筑机器人在不同环境中工作时的视频数据并进行预处理；
本实施例中，所述用RGB相机采集建筑机器人在工作时的多个视频，视频包含建筑机器人工作时的随意移动以及左右侧身一定角度。
其中，所述预处理包括对视频信息进行标定获取到用于建筑机器人安全检测的数据集，具体包括：
对视频信息进行标定获取到用于建筑机器人安全检测的数据集，将采集的视频按帧截取为大量图片，利用labelimg对图片中的建筑机器人进行图像范围标定生成XML格式文件数据集，作为第一神经网络的训练数据集和测试数据集；利用labelme将图片中的建筑机器人的关键点进行标定生成JSON数据集，作为第二神经网络的训练数据集和测试数据集；其中，所述对数据集进行预处理操作包括对建筑机器人图像进行像素亮度变换、几何变换和图像增强等。
S102、确定建筑机器人在环境中的位置坐标信息；
获取建筑机器人在环境中的位置坐标信息，对获取到的建筑机器人的XML格式数据集进行划分，利用第一神经网络模型对划分后的建筑机器人的XML格式数据集与对应的RGB图像数据集进行训练，通过训练好的第一神经网络模型对工作中的建筑机器人进行实时可视化框选并预测出建筑机器人的位置信息。
本实施例中，所述获取位置信息中建筑机器人在环境中的位置坐标信息，对所获取的建筑机器人的XML格式数据集按8：2的比例进行划分，其中4/5的数据集用作训练集，剩余的1/5的数据集用作测试集和预测集。
利用第一神经网络模型对划分后的建筑机器人的XML格式数据集与RGB图像数据集进行训练，具体包括如下步骤：
S201、获取数据集：获取位置信息中所述获取最终建筑机器人数据集，得出建筑机器人的XML格式数据集；
S202、模型训练：将划分好的4/5的建筑机器人训练数据集和与其对应的RGB图片作为第一神经网络模型的输入进行训练，网络训练后利用划分的1/5的建筑机器人预测数据集进行模型预测，最终生成第一神经网络模型的PTH权重参数文件，再利用该权重参数文件对工作时的建筑机器人进行测试。
S103、预测建筑机器人的关键点坐标信息；
对建筑机器人的JSON数据集进行划分，利用第二神经网络模型对此划分后的建筑机器人的JSON数据集与对应的RGB图像数据集进行训练，通过训练好的第二神经网络模型对工作中的建筑机器人进行实时关键点坐标信息预测，并可视化关键点坐标信息。
本实施例中，所述对建筑机器人的JSON数据集进行划分，利用第二神经网络模型对此划分后的建筑机器人的JSON数据集与RGB图像数据集进行训练，包括：
S301、获取数据集：利用获取关键点信息中建筑机器人关键点检测数据集，得出建筑机器人的JSON数据集，将JSON数据集按8:2的比例进行划分，其中4/5的数据集用作训练集，剩余的1/5的数据集用作测试集和预测集。
S302、模型训练：选取JSON数据集搭配与之对应的RGB图像数据集作为模型输入，通过特征融合训练得到第二神经网络模型；
其中，所述通过特征融合训练得到第二神经网络模型的过程包括：
S3021、首先进行多个不同分辨率的特征图提取，具体为：，，/>，/>，其中，/>、/>、/>和/>分别表示第一分辨率、第二分辨率、第三分辨率和第四分辨率的特征图，/>表示JSON数据集搭配与之对应的RGB图像数据集；/>、/>、/>和/>表示用于不同分辨率特征图提取对应的卷积神经网络。
本实施例中，第一分辨率＞第二分辨率＞第三分辨率＞第四分辨率。
S3022、然后提取到不同分辨率特征图的特征后进行特征融合操作，所述特征融合操作包括分别将第二分辨率、第三分辨率和第四分辨率的特征图进行上采样，将上采样后的特征图和第一分辨率特征图相加，得到融合后的高分辨率特征图，采用公式表示如下：，/>，，/>，其中，/>表示第二分辨率特征图上采样后的特征图，/>表示第三分辨率特征图上采样后的特征图，/>表示第四分辨率特征图上采样后的特征图，/>表示融合后的高分辨率特征图；/>表示上采样操作，/>为进行上采样操作时的尺度因子，表示将特征图的尺寸放大到原来的/>倍。
S3023、将上采样后的特征图与高分辨率特征图相加，得到融合后的高分辨率特征图，提取到丰富的高分辨率特征信息，再对融合后的高分辨率特征图进行关键点的预测：，/>，其中，/>表示用于关键点预测的卷积神经网络，/>是关键点的预测结果，包含了2/>个坐标，表示所有关键点的位置。
S3024、最后使用非极大值抑制算法（Non-Maximum Suppression，NMS）去除冗余的关键点预测，并解码坐标偏移以获得最终的关键点位置：，/>，其中，/>和/>是最终的关键点位置坐标，/>和/>是网络输出的坐标偏移，/>和/>是用于缩放坐标偏移的缩放因子，/>和/>是特征图上的坐标位置。
本实施例中，所述第一神经网络模型可以采用RTMDet神经网络；第二神经网络模型可以采用HRNet神经网络。
S104、通过获取到的建筑机器人各关键点的三维空间坐标进行异常判定；
通过自上而下的方法先获取到建筑机器人在空间中的位置信息，再在空间位置信息范围内预测关键点信息获取建筑机器人全身关键点的二维坐标，与此同时，利用深度相机获取建筑机器人的三维空间信息，通过计算建筑机器人的空间角度信息判断建筑机器人工作时是否发生异常。
其中，所述异常检测中建筑机器人的关键点坐标信息包含建筑机器人的双臂关节点和身体棱角关键点，通过建筑机器人各关键点的实时三维坐标的位置变化和设定的阈值范围比较，可直接判断建筑机器人在工作时是否发生了异常；
也可利用建筑机器人各关键点的实时三维坐标计算出建筑机器人在行进或侧身时的工作姿态角度以及建筑机器人的侧身角度，通过计算出的角度信息也可判断建筑机器人工作时是否产生异常。
具体地，工作姿态角度以及建筑机器人的侧身角度计算所用到的公式为：，其中，/>和/>分别表示建筑机器人的两对相连的两个关键点在三维空间中所组成的两个空间向量，/>表示两空间向量的点积，/>和/>分别表示两空间向量的模，/>为两空间向量的夹角。
实施例二
如图2所示，本实施例提供一种建筑机器人工作异常监测系统，包括：
数据获取模块，其用于获取建筑机器人在建筑场景下的工作视频数据；
位置信息提取模块，其用于基于工作视频数据和训练后的第一神经网络，获取建筑机器人在空间中的位置信息；
关键点信息预测模块，其用于在空间中的位置信息范围内，结合训练后的第二神经网络，将提取的不同分辨率特征图融合，基于融合后的特征图预测得到建筑机器人关键点坐标；
异常监测模块，其用于通过预测得到的建筑机器人关键点坐标对建筑机器人的工作状态进行异常判定。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如实施例一所述的一种建筑机器人工作异常监测方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如实施例一所述的一种建筑机器人工作异常监测方法中的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种建筑机器人工作异常监测方法，其特征在于，包括如下步骤：
获取建筑机器人在建筑场景下的工作视频数据；
基于工作视频数据和训练后的第一神经网络，获取建筑机器人在空间中的位置信息；
在空间中的位置信息范围内，结合训练后的第二神经网络，将提取的不同分辨率特征图融合，基于融合后的特征图预测得到建筑机器人关键点坐标；
通过预测得到的建筑机器人关键点坐标对建筑机器人的工作状态进行异常判定；
所述在空间中的位置信息范围内，结合训练后的第二神经网络，将提取的不同分辨率特征图融合，基于融合后的特征图预测得到建筑机器人关键点坐标，具体包括：
首先进行多个不同分辨率的特征图提取；
然后提取到不同分辨率特征图的特征后进行特征融合操作，所述特征融合操作包括分别将第二分辨率特征图、第三分辨率特征图和第四分辨率特征图进行上采样，将上采样后的特征图和第一分辨率特征图相加，得到融合后的特征图，其中，第一分辨率＞第二分辨率＞第三分辨率＞第四分辨率；
对融合后的特征图进行关键点的预测得到建筑机器人关键点坐标。
2.如权利要求1所述的一种建筑机器人工作异常监测方法，其特征在于，获取建筑机器人在建筑场景下的工作视频数据后，对数据进行标定获取XML文件数据集和JSON数据集，将XML文件数据集和其对应的RGB图像数据集作为第一神经网络的训练数据集和测试数据集，将JSON数据集和其对应的RGB图像数据集作为第二神经网络的训练数据集和测试数据集。
3.如权利要求1所述的一种建筑机器人工作异常监测方法，其特征在于，基于融合后的特征图预测得到建筑机器人关键点坐标后，使用非极大值抑制算法去除冗余的关键点预测，并解码坐标偏移以获得最终的关键点位置。
4.如权利要求1所述的一种建筑机器人工作异常监测方法，其特征在于，所述第一神经网络模型采用RTMDet神经网络；第二神经网络模型采用HRNet神经网络。
5.如权利要求1所述的一种建筑机器人工作异常监测方法，其特征在于，所述通过预测得到的建筑机器人关键点坐标对建筑机器人的工作状态进行异常判定，包括：
将通过深度相机同步获取的建筑机器人的三维空间信息和预测得到的建筑机器人关键点坐标进行对比，若预测得到的建筑机器人关键点坐标的位置变化和设定的阈值范围比较，判断则建筑机器人在工作时是否发生了异常；
或
利用预测得到的建筑机器人关键点坐标计算出建筑机器人在行进或侧身时的工作姿态角度以及建筑机器人的侧身角度，通过计算出的角度信息判断建筑机器人工作时是否产生异常。
6.如权利要求5所述的一种建筑机器人工作异常监测方法，其特征在于，所述建筑机器人在行进或侧身时的工作姿态角度以及建筑机器人的侧身角度的计算公式为：
，其中，/>和/>分别表示建筑机器人的两对相连的两个关键点在三维空间中所组成的两个空间向量，/>表示两空间向量的点积，/>和/>分别表示两空间向量的模，/>为两空间向量的夹角。
7.建筑场景下建筑机器人工作异常监测系统，其特征在于，包括：
数据获取模块，其用于获取建筑机器人在建筑场景下的工作视频数据；
位置信息提取模块，其用于基于工作视频数据和训练后的第一神经网络，获取建筑机器人在空间中的位置信息；
关键点信息预测模块，其用于在空间中的位置信息范围内，结合训练后的第二神经网络，将提取的不同分辨率特征图融合，基于融合后的特征图预测得到建筑机器人关键点坐标；
异常监测模块，其用于通过预测得到的建筑机器人关键点坐标对建筑机器人的工作状态进行异常判定；
所述在空间中的位置信息范围内，结合训练后的第二神经网络，将提取的不同分辨率特征图融合，基于融合后的特征图预测得到建筑机器人关键点坐标，具体包括：
首先进行多个不同分辨率的特征图提取；
然后提取到不同分辨率特征图的特征后进行特征融合操作，所述特征融合操作包括分别将第二分辨率特征图、第三分辨率特征图和第四分辨率特征图进行上采样，将上采样后的特征图和第一分辨率特征图相加，得到融合后的特征图，其中，第一分辨率＞第二分辨率＞第三分辨率＞第四分辨率；
对融合后的特征图进行关键点的预测得到建筑机器人关键点坐标。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一项所述的一种建筑机器人工作异常监测方法中的步骤。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一项所述的一种建筑机器人工作异常监测方法中的步骤。
CN202311575138.XA 2023-11-24 2023-11-24 一种建筑机器人工作异常监测方法、系统、介质及设备 Active CN117292329B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311575138.XA CN117292329B (zh) 2023-11-24 2023-11-24 一种建筑机器人工作异常监测方法、系统、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311575138.XA CN117292329B (zh) 2023-11-24 2023-11-24 一种建筑机器人工作异常监测方法、系统、介质及设备

Publications (2)

Publication Number Publication Date
CN117292329A CN117292329A (zh) 2023-12-26
CN117292329B true CN117292329B (zh) 2024-03-08

Family

ID=89248353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311575138.XA Active CN117292329B (zh) 2023-11-24 2023-11-24 一种建筑机器人工作异常监测方法、系统、介质及设备

Country Status (1)

Country Link
CN (1) CN117292329B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112040175A (zh) * 2020-07-31 2020-12-04 深圳供电局有限公司 无人机巡检方法、装置、计算机设备和可读存储介质
CN112163537A (zh) * 2020-09-30 2021-01-01 中国科学院深圳先进技术研究院 一种行人异常行为检测方法、系统、终端以及存储介质
CN115049897A (zh) * 2022-06-17 2022-09-13 陕西智引科技有限公司 基于改进YoloV5神经网络的矿下机器人检测系统
CN115847427A (zh) * 2023-02-07 2023-03-28 成都秦川物联网科技股份有限公司 双重识别的协作机器人监测工业物联网系统及其控制方法
CN116030412A (zh) * 2022-12-29 2023-04-28 宁波宏大电梯有限公司 一种扶梯监控视频异常检测方法与系统
CN116725546A (zh) * 2023-06-12 2023-09-12 华南理工大学 一种基于深度学习结合角点检测数字心电图机检定方法
CN117067261A (zh) * 2023-10-07 2023-11-17 科大讯飞股份有限公司 机器人监控方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112040175A (zh) * 2020-07-31 2020-12-04 深圳供电局有限公司 无人机巡检方法、装置、计算机设备和可读存储介质
CN112163537A (zh) * 2020-09-30 2021-01-01 中国科学院深圳先进技术研究院 一种行人异常行为检测方法、系统、终端以及存储介质
CN115049897A (zh) * 2022-06-17 2022-09-13 陕西智引科技有限公司 基于改进YoloV5神经网络的矿下机器人检测系统
CN116030412A (zh) * 2022-12-29 2023-04-28 宁波宏大电梯有限公司 一种扶梯监控视频异常检测方法与系统
CN115847427A (zh) * 2023-02-07 2023-03-28 成都秦川物联网科技股份有限公司 双重识别的协作机器人监测工业物联网系统及其控制方法
CN116725546A (zh) * 2023-06-12 2023-09-12 华南理工大学 一种基于深度学习结合角点检测数字心电图机检定方法
CN117067261A (zh) * 2023-10-07 2023-11-17 科大讯飞股份有限公司 机器人监控方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Simultaneous search and monitoring by multiple aerial robots;Haoyu Zhang et al;《Robotics and Autonomous Systems》;1-19 *
变电站巡检机器人巡检系统及关键算法研究;王永力;《中国优秀硕士学位论文全文数据库（电子期刊）》;第2021卷(第04期);全文 *

Also Published As

Publication number Publication date
CN117292329A (zh) 2023-12-26

Similar Documents

Publication Publication Date Title
CN110298884B (zh) 一种适于动态环境中单目视觉相机的位姿估计方法
CN112686877B (zh) 基于双目相机的三维房屋损伤模型构建测量方法及系统
CN112528974B (zh) 测距方法、装置、电子设备及可读存储介质
JP7124743B2 (ja) 線状体の異常検出装置及び異常検出方法
CN105205459B (zh) 一种图像特征点类型的识别方法和装置
CN114972421B (zh) 车间物料识别追踪与定位方法、系统
CN117934721A (zh) 基于视触融合的空间机器人对目标航天器重建方法与系统
CN111563492B (zh) 一种跌倒检测方法、跌倒检测装置及存储装置
CN112001963B (zh) 消防通道的排查的方法、系统和计算机设备
CN110363109B (zh) 一种基于计算机视觉的覆盖式漏油检测系统及方法
CN117746133B (zh) 目标检测方法、模型训练方法、装置、设备及存储介质
CN117292329B (zh) 一种建筑机器人工作异常监测方法、系统、介质及设备
CN111445519A (zh) 一种工业机器人三维姿态估计方法、装置及存储介质
KR102600548B1 (ko) 구조물 건전성 경보 시스템 및 이를 이용한 경보 방법
CN114518106B (zh) 高精度地图垂向要素更新检测方法、系统、介质及设备
CN113108919B (zh) 人体温度检测方法、装置和存储介质
CN113450385B (zh) 一种夜间工作工程机械视觉跟踪方法、装置及存储介质
US20230274443A1 (en) Gas migration estimation device, gas migration estimation method, estimation model generation device, estimation model generation method, and program
CN113326793A (zh) 一种远距离行人位置识别方法、系统及存储介质
CN113888407A (zh) 一种基于超分辨率技术的目标检测系统
CN114167443A (zh) 信息补全方法、装置、计算机设备和存储介质
JP4677621B2 (ja) 異常検出システムおよび異常検出方法
CN113761965A (zh) 动作捕捉方法、装置、电子设备和存储介质
CN111462233B (zh) 一种船舶驾驶室的还原数据处理方法、系统和存储介质
US12073585B2 (en) Pose estimation apparatus and method for robotic arm to grasp target based on monocular infrared thermal imaging vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20231226

Assignee: SHANDONG HENGHAO INFORMATION TECHNOLOGY Co.,Ltd.

Assignor: Yantai new and old kinetic energy conversion Research Institute and Yantai demonstration base for the transfer and transformation of scientific and technological achievements

Contract record no.: X2024980007899

Denomination of invention: A method, system, medium, and equipment for monitoring abnormal work of construction robots

Granted publication date: 20240308

License type: Common License

Record date: 20240625

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20231226

Assignee: Self created Zone (Yantai) Intellectual Property Operation Co.,Ltd.

Assignor: Yantai new and old kinetic energy conversion Research Institute and Yantai demonstration base for the transfer and transformation of scientific and technological achievements

Contract record no.: X2024980007907

Denomination of invention: A method, system, medium, and equipment for monitoring abnormal work of construction robots

Granted publication date: 20240308

License type: Common License

Record date: 20240702

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20231226

Assignee: China Construction Fifth Engineering Bureau (Yantai) Construction Engineering Co.,Ltd.

Assignor: Yantai new and old kinetic energy conversion Research Institute and Yantai demonstration base for the transfer and transformation of scientific and technological achievements

Contract record no.: X2024980011668

Denomination of invention: A method, system, medium, and equipment for monitoring abnormal work of construction robots

Granted publication date: 20240308

License type: Common License

Record date: 20240814

EE01 Entry into force of recordation of patent licensing contract