发明内容
为了解决上述背景技术中存在的至少一项技术问题,本发明提供一种建筑机器人工作异常监测方法、系统、介质及设备,其通过实时检测并获取建筑场景下工作中的建筑机器人的空间位置坐标信息和关键点坐标信息,并通过深度相机同步获取到的三维空间信息计算建筑机器人的空间角度数据判断建筑机器人工作时是否发生异常。
为了实现上述目的,本发明采用如下技术方案:
本发明的第一方面提供一种建筑机器人工作异常监测方法,包括如下步骤:
获取建筑机器人在建筑场景下的工作视频数据;
基于工作视频数据和训练后的第一神经网络,获取建筑机器人在空间中的位置信息;
在空间中的位置信息范围内,结合训练后的第二神经网络,将提取的不同分辨率特征图融合,基于融合后的特征图预测得到建筑机器人关键点坐标;
通过预测得到的建筑机器人关键点坐标对建筑机器人的工作状态进行异常判定。
进一步地,获取建筑机器人在建筑场景下的工作视频数据后,对数据进行标定获取XML文件数据集和JSON数据集,将XML文件数据集和其对应的RGB图像数据集作为第一神经网络的训练数据集和测试数据集,将JSON数据集和其对应的RGB图像数据集作为第二神经网络的训练数据集和测试数据集。
进一步地,所述在空间中的位置信息范围内,结合训练后的第二神经网络,将提取的不同分辨率特征图融合,基于融合后的特征图预测得到建筑机器人关键点坐标,具体包括:
首先进行多个不同分辨率的特征图提取;
然后提取到不同分辨率特征图的特征后进行特征融合操作,所述特征融合操作包括分别将第二分辨率特征图、第三分辨率特征图和第四辨率特征图进行上采样,将上采样后的特征图和第一分辨率特征图相加,得到融合后的特征图,其中,第一分辨率>第二分辨率>第三分辨率>第四分辨率;
对融合后的特征图进行关键点的预测得到建筑机器人关键点坐标。
进一步地,基于融合后的特征图预测得到建筑机器人关键点坐标后,使用非极大值抑制算法去除冗余的关键点预测,并解码坐标偏移以获得最终的关键点位置。
进一步地,所述第一神经网络模型采用RTMDet神经网络;第二神经网络模型采用HRNet神经网络。
进一步地,所述通过预测得到的建筑机器人关键点坐标对建筑机器人的工作状态进行异常判定,包括:
将通过深度相机同步获取的建筑机器人的三维空间信息和预测得到的建筑机器人关键点坐标进行对比,若预测得到的建筑机器人关键点坐标的位置变化和设定的阈值范围比较,判断则建筑机器人在工作时是否发生了异常;
或
利用预测得到的建筑机器人关键点坐标计算出建筑机器人在行进或侧身时的工作姿态角度,通过计算出的角度信息判断建筑机器人工作时是否产生异常。
进一步地,所述建筑机器人在行进或侧身时的工作姿态角度以及建筑机器人的侧身角度的计算公式为:,其中,/>和/>分别表示建筑机器人的两对相连的两个关键点在三维空间中所组成的两个空间向量,/>表示两空间向量的点积,/>和分别表示两空间向量的模,/>为两空间向量的夹角。
本发明的第二方面提供一种建筑机器人工作异常监测系统,包括:
数据获取模块,其用于获取建筑机器人在建筑场景下的工作视频数据;
位置信息提取模块,其用于基于工作视频数据和训练后的第一神经网络,获取建筑机器人在空间中的位置信息;
关键点信息预测模块,其用于在空间中的位置信息范围内,结合训练后的第二神经网络,将提取的不同分辨率特征图融合,基于融合后的特征图预测得到建筑机器人关键点坐标;
异常监测模块,其用于通过预测得到的建筑机器人关键点坐标对建筑机器人的工作状态进行异常判定。
本发明的第三方面提供一种计算机可读存储介质。
一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面所述的一种建筑机器人工作异常监测方法中的步骤。
本发明的第四方面提供一种计算机设备。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如第一方面所述的一种建筑机器人工作异常监测方法中的步骤。
与现有技术相比,本发明的有益效果是:
1、本发明提出基于自上而下的建筑机器人工作安全监测方法,通过实时检测并获取建筑场景下工作中的建筑机器人的空间位置坐标信息和关键点坐标信息,不仅可以从宏观上监测建筑机器人整体,而且可以从微观上监测建筑机器人的局部是否正常运行,而且在建筑机器人上部署大量的传感器,降低了成本。
2、本发明在空间中的位置信息范围内,结合训练后的第二神经网络,将提取的不同分辨率特征图融合,基于融合后的特征图预测得到建筑机器人关键点坐标,使用非极大值抑制算法去除冗余的关键点预测,并解码坐标偏移以获得最终的关键点位置,提高了从微观上监测建筑机器人的精准度。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出,以下详细说明都是例示性的,旨在对本发明提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本发明的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
为了解决本发明背景技术中提及的现有建筑场景下对工作建筑机器人进行安全监测中存在的缺陷与不足,由于建筑场景比较复杂,建筑机器人可能会受到各种不可控因素的影响从而导致其非正常运行,以往的研究大多使用目标检测的方法和基于传感器的检测方法对建筑机器人进行安全监测,目标检测方法无法从微观上监测建筑机器人的局部是否正常运行,具有一定的应用局限性。以往的研究大多使用目标检测的方法和基于传感器的检测方法对建筑机器人进行安全监测,目标检测方法无法从微观上监测建筑机器人的局部是否正常运行,具有一定的应用局限性。
本发明提出基于自上而下的建筑机器人工作安全监测方法,通过实时检测并获取建筑场景下工作中的建筑机器人的空间位置坐标信息和关键点坐标信息,不仅可以从宏观上监测建筑机器人整体,而且可以从微观上监测建筑机器人的局部是否正常运行,而且在建筑机器人上部署大量的传感器,降低了成本。
实施例一
如图1所示,本实施例提供一种建筑机器人工作异常监测方法,包括如下步骤:
S101、获取建筑机器人在不同环境中工作时的视频数据并进行预处理;
本实施例中,所述用RGB相机采集建筑机器人在工作时的多个视频,视频包含建筑机器人工作时的随意移动以及左右侧身一定角度。
其中,所述预处理包括对视频信息进行标定获取到用于建筑机器人安全检测的数据集,具体包括:
对视频信息进行标定获取到用于建筑机器人安全检测的数据集,将采集的视频按帧截取为大量图片,利用labelimg对图片中的建筑机器人进行图像范围标定生成XML格式文件数据集,作为第一神经网络的训练数据集和测试数据集;利用labelme将图片中的建筑机器人的关键点进行标定生成JSON数据集,作为第二神经网络的训练数据集和测试数据集;其中,所述对数据集进行预处理操作包括对建筑机器人图像进行像素亮度变换、几何变换和图像增强等。
S102、确定建筑机器人在环境中的位置坐标信息;
获取建筑机器人在环境中的位置坐标信息,对获取到的建筑机器人的XML格式数据集进行划分,利用第一神经网络模型对划分后的建筑机器人的XML格式数据集与对应的RGB图像数据集进行训练,通过训练好的第一神经网络模型对工作中的建筑机器人进行实时可视化框选并预测出建筑机器人的位置信息。
本实施例中,所述获取位置信息中建筑机器人在环境中的位置坐标信息,对所获取的建筑机器人的XML格式数据集按8:2的比例进行划分,其中4/5的数据集用作训练集,剩余的1/5的数据集用作测试集和预测集。
利用第一神经网络模型对划分后的建筑机器人的XML格式数据集与RGB图像数据集进行训练,具体包括如下步骤:
S201、获取数据集:获取位置信息中所述获取最终建筑机器人数据集,得出建筑机器人的XML格式数据集;
S202、模型训练:将划分好的4/5的建筑机器人训练数据集和与其对应的RGB图片作为第一神经网络模型的输入进行训练,网络训练后利用划分的1/5的建筑机器人预测数据集进行模型预测,最终生成第一神经网络模型的PTH权重参数文件,再利用该权重参数文件对工作时的建筑机器人进行测试。
S103、预测建筑机器人的关键点坐标信息;
对建筑机器人的JSON数据集进行划分,利用第二神经网络模型对此划分后的建筑机器人的JSON数据集与对应的RGB图像数据集进行训练,通过训练好的第二神经网络模型对工作中的建筑机器人进行实时关键点坐标信息预测,并可视化关键点坐标信息。
本实施例中,所述对建筑机器人的JSON数据集进行划分,利用第二神经网络模型对此划分后的建筑机器人的JSON数据集与RGB图像数据集进行训练,包括:
S301、获取数据集:利用获取关键点信息中建筑机器人关键点检测数据集,得出建筑机器人的JSON数据集,将JSON数据集按8:2的比例进行划分,其中4/5的数据集用作训练集,剩余的1/5的数据集用作测试集和预测集。
S302、模型训练:选取JSON数据集搭配与之对应的RGB图像数据集作为模型输入,通过特征融合训练得到第二神经网络模型;
其中,所述通过特征融合训练得到第二神经网络模型的过程包括:
S3021、首先进行多个不同分辨率的特征图提取,具体为:,,/>,/>,其中,/>、/>、/>和/>分别表示第一分辨率、第二分辨率、第三分辨率和第四分辨率的特征图,/>表示JSON数据集搭配与之对应的RGB图像数据集;/>、/>、/>和/>表示用于不同分辨率特征图提取对应的卷积神经网络。
本实施例中,第一分辨率>第二分辨率>第三分辨率>第四分辨率。
S3022、然后提取到不同分辨率特征图的特征后进行特征融合操作,所述特征融合操作包括分别将第二分辨率、第三分辨率和第四分辨率的特征图进行上采样,将上采样后的特征图和第一分辨率特征图相加,得到融合后的高分辨率特征图,采用公式表示如下:,/>,,/>,其中,/>表示第二分辨率特征图上采样后的特征图,/>表示第三分辨率特征图上采样后的特征图,/>表示第四分辨率特征图上采样后的特征图,/>表示融合后的高分辨率特征图;/>表示上采样操作,/>为进行上采样操作时的尺度因子,表示将特征图的尺寸放大到原来的/>倍。
S3023、将上采样后的特征图与高分辨率特征图相加,得到融合后的高分辨率特征图,提取到丰富的高分辨率特征信息,再对融合后的高分辨率特征图进行关键点的预测:,/>,其中,/>表示用于关键点预测的卷积神经网络,/>是关键点的预测结果,包含了2/>个坐标,表示所有关键点的位置。
S3024、最后使用非极大值抑制算法(Non-Maximum Suppression,NMS)去除冗余的关键点预测,并解码坐标偏移以获得最终的关键点位置:,,其中,/>和/>是最终的关键点位置坐标,/>和/>是网络输出的坐标偏移,/>和/>是用于缩放坐标偏移的缩放因子,/>和/>是特征图上的坐标位置。
本实施例中,所述第一神经网络模型可以采用RTMDet神经网络;第二神经网络模型可以采用HRNet神经网络。
S104、通过获取到的建筑机器人各关键点的三维空间坐标进行异常判定;
通过自上而下的方法先获取到建筑机器人在空间中的位置信息,再在空间位置信息范围内预测关键点信息获取建筑机器人全身关键点的二维坐标,与此同时,利用深度相机获取建筑机器人的三维空间信息,通过计算建筑机器人的空间角度信息判断建筑机器人工作时是否发生异常。
其中,所述异常检测中建筑机器人的关键点坐标信息包含建筑机器人的双臂关节点和身体棱角关键点,通过建筑机器人各关键点的实时三维坐标的位置变化和设定的阈值范围比较,可直接判断建筑机器人在工作时是否发生了异常;
也可利用建筑机器人各关键点的实时三维坐标计算出建筑机器人在行进或侧身时的工作姿态角度以及建筑机器人的侧身角度,通过计算出的角度信息也可判断建筑机器人工作时是否产生异常。
具体地,工作姿态角度以及建筑机器人的侧身角度计算所用到的公式为:,其中,/>和/>分别表示建筑机器人的两对相连的两个关键点在三维空间中所组成的两个空间向量,/>表示两空间向量的点积,/>和/>分别表示两空间向量的模,/>为两空间向量的夹角。
实施例二
如图2所示,本实施例提供一种建筑机器人工作异常监测系统,包括:
数据获取模块,其用于获取建筑机器人在建筑场景下的工作视频数据;
位置信息提取模块,其用于基于工作视频数据和训练后的第一神经网络,获取建筑机器人在空间中的位置信息;
关键点信息预测模块,其用于在空间中的位置信息范围内,结合训练后的第二神经网络,将提取的不同分辨率特征图融合,基于融合后的特征图预测得到建筑机器人关键点坐标;
异常监测模块,其用于通过预测得到的建筑机器人关键点坐标对建筑机器人的工作状态进行异常判定。
实施例三
本实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如实施例一所述的一种建筑机器人工作异常监测方法中的步骤。
实施例四
本实施例提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如实施例一所述的一种建筑机器人工作异常监测方法中的步骤。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。