CN117745820A - 一种作业机械生产安全监测方法、装置、设备及介质 - Google Patents
一种作业机械生产安全监测方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN117745820A CN117745820A CN202311764428.9A CN202311764428A CN117745820A CN 117745820 A CN117745820 A CN 117745820A CN 202311764428 A CN202311764428 A CN 202311764428A CN 117745820 A CN117745820 A CN 117745820A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- model
- pose
- machine
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012544 monitoring process Methods 0.000 title claims abstract description 36
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 24
- 230000000007 visual effect Effects 0.000 claims abstract description 46
- 230000004438 eyesight Effects 0.000 claims description 29
- 230000015654 memory Effects 0.000 claims description 23
- 238000006243 chemical reaction Methods 0.000 claims description 21
- 238000003860 storage Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 10
- 238000009877 rendering Methods 0.000 claims description 8
- 238000000926 separation method Methods 0.000 claims description 7
- 238000005286 illumination Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000012806 monitoring device Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 3
- 238000011065 in-situ storage Methods 0.000 claims 2
- 238000010276 construction Methods 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 239000000306 component Substances 0.000 description 3
- 239000008358 core component Substances 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及机械施工监测技术领域,公开了一种作业机械生产安全监测方法、装置、设备及介质,该方法包括:扫描作业现场获取现场三维点云模型并标注高风险区域,通过现场三维点云模型对视觉传感器进行配准,并通过配准后的视觉传感器获取作业现场实时图像,基于作业现场实时图像确定现场作业机械的三维位姿,根据现场作业机械的三维位姿计算高风险区域和现场作业机械的实时距离,根据实时距离对作业机械进行监管,本发明能够基于作业现场实时图像监测作业机械的移动和作业安全,大大降低监测的人工成本和时间成本,并且能够避免由于人工判断带来的误差,使判断更准确。
Description
技术领域
本发明涉及机械施工监测技术领域,具体涉及一种作业机械生产安全监测方法、装置、设备及介质。
背景技术
变电站电力施工作业可能引发严重的安全危害和电力事故,如人身伤、设备损坏、火灾和爆炸,以及大面积停电等。然而变电站大型机械施工作业过程却始终缺乏数字化安全监控和管理手段,导致不得不依靠作业规章制度和作业现场布控球结合引导员的人工监控等行政管理手段实现大型机械施工过程的安全监控。这种监控手段依靠人力成本和时间成本。
随着在建变电站逐年增加,面对如此数量庞大的建设场景,现场作业监控手段难以满足日益增多的建设需求。并且依赖对布控球采集图像进行人工经验判断空间的传统方式可能存在严重误差,导致安全监控精度不足,也无法满足日益增多的安全生产需要,因此传统变电站大型机械施工作业过程亟待数字化技术赋能。
发明内容
有鉴于此,本发明提供了一种作业机械生产安全监测方法、装置、设备及介质,以解决现有技术监控手段需要大量人力成本和时间成本以及安全监控精度的问题。
第一方面,本发明提供了一种作业机械生产安全监测方法,包括:扫描作业现场获取现场三维点云模型并标注高风险区域;通过所述现场三维点云模型对视觉传感器进行配准,并通过配准后的视觉传感器获取作业现场实时图像;基于所述作业现场实时图像确定现场作业机械的三维位姿;根据所述现场作业机械的三维位姿计算所述高风险区域和所述现场作业机械的实时距离;根据所述实时距离对所述作业机械进行监管。
可选地,基于所述作业现场实时图像确定现场作业机械的三维位姿,包括:对所述作业现场实时图像进行背景分离得到所述现场作业机械的二维轮廓;基于机械模型库和所述现场作业机械的二维轮廓识别所述现场作业机械的型号,其中,机械模型库中存储各型号的作业机械的三维模型和二维图像;通过最优化对应型号的三维模型重投影到二维画面的轮廓和所述现场作业机械的二维轮廓间的重投影误差得到现场作业机械的三维位姿。
可选地,通过所述现场三维点云模型对视觉传感器进行配准,包括:对所述三维点云模型进行背景光照渲染;对渲染过后的所述三维点云模型进行初始视觉传感器位姿估计,计算渲染后的所述三维点云模型在初始视觉传感器位姿下的模型重投影图像;计算所述模型重投影图像和视觉传感器实际采集的二维图像的空间相似度;最优化所述空间相似度得到视觉传感器位姿;根据所述视觉传感器位姿得到三维-二维空间转换模型。
可选地,通过所述现场三维点云模型对视觉传感器进行配准,包括:在所述三维点云模型和视觉传感器实际采集的二维图像中分别标记对应注册点;基于随机抽样一致算法进行三维模型与二维图像融合配准,得到视觉传感器位姿;根据所述视觉传感器位姿得到三维-二维空间转换模型。
可选地,基于机械模型库和所述现场作业机械的二维轮廓识别所述现场作业机械的型号,包括:通过三维-二维空间转换模型还原所述现场作业机械的二维轮廓对应的三维轮廓;通过所述现场作业机械的二维轮廓和还原得到的三维轮廓,从所述机械模型库匹配所述现场作业机械的型号。
可选地,根据所述现场作业机械的三维位姿计算所述高风险区域和所述现场作业机械的实时距离,包括:根据所述现场作业机械的三维位姿,将若干立方体表示所述现场作业机械的若干核心部位;计算各个所述核心部位到所述高风险区域的最小值并将所述最小值作为所述实时距离。
可选地,根据所述实时距离对所述作业机械进行监管,包括:判断所述实时距离是否小于预设值,若小于,则发出警报。
第二方面,本发明提供了一种作业机械生产安全监测装置,包括:
点云模块,用于扫描作业现场获取现场三维点云模型并标注高风险区域;配准模块,通过所述现场三维点云模型对视觉传感器进行配准,并通过配准后的视觉传感器获取作业现场实时图像;位姿确定模块,用于基于所述作业现场实时图像确定现场作业机械的三维位姿;距离计算模块,用于根据所述现场作业机械的三维位姿计算所述高风险区域和所述现场作业机械的实时距离;管理模块,用于根据所述实时距离对所述作业机械进行监管。
第三方面,本发明提供了一种计算机设备,包括:存储器和处理器,存储器和处理器之间互相通信连接,存储器中存储有计算机指令,处理器通过执行计算机指令,从而执行上述第一方面或其对应的任一实施方式的作业机械生产安全监测方法。
第四方面,本发明提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机指令,计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的作业机械生产安全监测方法。
从以上技术方案可以看出,本发明实施例具有以下优点:
本发明提供的一种作业机械生产安全监测方法、装置、设备及介质,通过扫描作业现场获取现场三维点云模型并标注高风险区域,通过所述现场三维点云模型对视觉传感器进行配准,并通过配准后的视觉传感器获取作业现场实时图像,基于所述作业现场实时图像确定现场作业机械的三维位姿,根据所述现场作业机械的三维位姿计算所述高风险区域和所述现场作业机械的实时距离,根据所述实时距离对所述作业机械进行监管,能够基于作业现场实时图像监测作业机械的移动和作业安全,大大降低监测的人工成本和时间成本,并且能够避免由于人工判断带来的误差,使判断更准确。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例的一作业机械生产安全监测方法的流程示意图;
图2是本发明实施例的生成的三维点云模型的示意图;
图3是本发明实施例的已标定的视觉传感器采集的二维图像的示意图;
图4是本发明实施例的作业机械生产安全监测装置的结构框图;
图5是本发明实施例的作业机械生产安全监测装置的工作流程图;
图6是本发明实施例的计算机设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供的一种作业机械生产安全监测方法,主要应用于对大型作业机械如起重机、移动吊车和吊运机等进行作业安全实时监测,旨在利用单目视觉空间感知和作业机械深度位姿估计,从现场实时捕获图像中,在标定好的虚拟三维空间中进行重型作业设备的3D重建和实时位姿估计,并实时监测设备的移动和作业安全,如触线、碰撞等。
基于此,本发明实施例提供了一种作业机械生产安全监测方法,请参见图1、图2和图3,该方法包括:
步骤S101,扫描作业现场获取现场三维点云模型并标注高风险区域。
具体地,通过激光扫描仪快速扫描大型作业机械的作业现场获得三维点云模型,并标注高风险区域。高风险区域可以为作业现场中的固定设备、架空线路、杆塔等。
步骤S102,通过现场三维点云模型对视觉传感器进行配准,并通过配准后的视觉传感器获取作业现场实时图像。
具体地,利用点云和图像之间的关联,采用配准算法将它们融合成一个一致的场景表示,对视觉传感器进行校准,确保其准确地捕捉场景。
步骤S103,基于作业现场实时图像确定现场作业机械的三维位姿。
具体地,作业现场实时图像中包括现场作业机械的二维轮廓,需要根据该二维轮廓还原出现场作业机械的三维位姿。
步骤S104,根据现场作业机械的三维位姿计算高风险区域和现场作业机械的实时距离。
具体地,利用计算几何学的原理,根据现场作业机械各部位与高风险区域的相对位置计算实时距离。
步骤S105,根据实时距离对作业机械进行监管。
通过现场作业机械各部分与高风险区域的实时距离判断是否存在某一部位的实时距离小于预设值,从而确定是否进行预警。当作业机械靠近或进入高风险区域时,系统触发实时报警,通知操作员或自动执行相应的安全程序。在必要时,可以根据实时距离信息自动调整作业机械的运动,确保其安全作业。
本发明实施例的一种作业机械生产安全监测方法,通过扫描作业现场获取现场三维点云模型并标注高风险区域,通过现场三维点云模型对视觉传感器进行配准,并通过配准后的视觉传感器获取作业现场实时图像,基于作业现场实时图像确定现场作业机械的三维位姿,根据现场作业机械的三维位姿计算高风险区域和现场作业机械的实时距离,根据实时距离对作业机械进行监管,能够基于作业现场实时图像监测作业机械的移动和作业安全,大大降低监测的人工成本和时间成本,并且能够避免由于人工判断带来的误差,使判断更准确。
在一具体实施方式中,步骤S103,基于作业现场实时图像确定现场作业机械的三维位姿,包括:
步骤S1031,对作业现场实时图像进行背景分离得到现场作业机械的二维轮廓。
具体地,通过图像识别技术识别作业现场实时图像中的现场作业机械,并通过背景分割得到现场作业机械的二维轮廓。
步骤S1032,基于机械模型库和现场作业机械的二维轮廓识别现场作业机械的型号,其中,机械模型库中存储各型号的作业机械的三维模型和二维图像。
具体地,机械模型库为在实时监测之前预选构建的数据库,其中存储了目前主流使用的各型号大型作业机械的CAD三维模型和其对应的二维图像。通过将提取出的二维轮廓和机械模型库中的三维模型和二维图像进行对比,得到现场作业机械的型号。
步骤S1033,通过最优化对应型号的三维模型重投影到二维画面的轮廓和现场作业机械的二维轮廓间的重投影误差得到现场作业机械的三维位姿。
具体地,从机械模型库中获取现场作业机械的型号对应的三维模型并初始化该三维模型的位姿,将该三维模型重投影到二维画面得到重投影轮廓,计算该重投影轮廓和从作业现场实时图像中提取出的二维轮廓的重投影误差,当该重投影误差较大时,调整三维模型的位姿,采用梯度下降法重复优化直至最优化重投影误差,得到现场作业机械的三维位姿。
通过识别现场作业机械的型号,对于给定轮廓和型号的大型作业机械,通过最优化重投影误差,可以准确还原其在配准空间下的三维位姿。
在一具体实施方式中,步骤S102,通过现场三维点云模型对视觉传感器进行配准,包括:
步骤S10201,对三维点云模型进行背景光照渲染;
步骤S10202,对渲染过后的三维点云模型进行初始视觉传感器位姿估计,计算渲染后的三维点云模型在初始视觉传感器位姿下的模型重投影图像;
步骤S10203,计算模型重投影图像和视觉传感器实际采集的二维图像的空间相似度;
步骤S10204,最优化空间相似度得到视觉传感器位姿;
步骤S10205,根据视觉传感器位姿得到三维-二维空间转换模型。
具体地,对快速扫描得到的三维点云模型进行背景光照渲染,对渲染过后的三维点云模型进行初始视觉传感器位姿估计,获取渲染过后的三维点云模型在初始视觉传感器位姿得到其模型重投影图像。
对重投影图像和视觉传感器实际采集的二维图像采取相同特征,并计算二张特征图的空间相似度。
定义最优化问题,以视觉传感器为单目相机为例,相机内参已知(标定过),求解相机在空间中的相机位姿R,初始相机位姿为R0,相机内参为K,二维图像为P,三维模型为W,三维模型重投影图像P′,例采用ORB特征描述子提取二维特征orb(·),以上W,P,P′均为齐次坐标,通过最小化下述目标,可以得到相机位姿R。
完成相机位姿估计后,就可以完成3D-2D转换,也就得到三维-二维空间转换模型,三维-二维空间转换模型用于实现二维图像画面与实际空间的关系映射,可以将二维图像转换到三维空间的到其三维空间中的位置或将三维模型投影到二维图像上。最后基于二维图像上固定设备标注,进行三维可见轮廓还原和识别,并基于相机位姿标记三维模型不可见点,使融合配准结果更精准。
在一具体实施方式中,步骤S102,通过现场三维点云模型对视觉传感器进行配准,包括:
步骤S10211,在三维点云模型和视觉传感器实际采集的二维图像中分别标记对应注册点;
步骤S10221,基于随机抽样一致算法进行三维模型与二维图像融合配准,得到视觉传感器位姿;
步骤S10231,根据视觉传感器位姿得到三维-二维空间转换模型。
具体地,获取三维点云模型和视觉传感器采集的二维图像,标记三维点云模型和二维图像中的对应注册点,基于随机抽样一致(RANdom SAmple Consensus,RANSAC)算法进行三维模型与二维图像融合配准,完成相机位姿估计。完成相机位姿估计后,就可以完成3D-2D转换,也就得到三维-二维空间转换模型,最后基于二维图像上固定设备标注,进行三维可见轮廓还原和识别,并基于相机位姿标记三维模型不可见点,使融合配准结果更精准。
在一具体实施方式中,步骤S1032,基于机械模型库和现场作业机械的二维轮廓识别现场作业机械的型号,包括:
步骤S10321,通过三维-二维空间转换模型还原现场作业机械的二维轮廓对应的三维轮廓。
步骤S10322,通过现场作业机械的二维轮廓和还原得到的三维轮廓,从机械模型库匹配现场作业机械的型号。
具体地,三维-二维空间转换模型可以还原现场作业机械的二维轮廓对应的三维轮廓,还原得到的三维轮廓可以是局部的,通过该三维轮廓和现场作业机械的二维轮廓从机械模型库匹配现场作业机械的型号。
在一具体实施方式中,步骤S104,根据现场作业机械的三维位姿计算高风险区域和现场作业机械的实时距离,包括:
步骤S1041,根据现场作业机械的三维位姿,将若干立方体表示现场作业机械的若干核心部位;
步骤S1042,计算各个核心部位到高风险区域的最小值并将最小值作为实时距离。
具体地,已知现场作业机械三维位姿,现场作业机械的核心部位可以用少量立方体进行描述。高风险区域如场景线路和杆塔在三维空间已标注,可用三维线或几个面描述。
核心部件与标注线路或杆塔的距离计算,以线路距离为例,则是取核心部件长方体顶点与线的距离的最小值;以杆塔或其他物体为例,距离则是部件长方体顶点距离各物体平面,或物体平面各边的最小值。
进一步地,步骤S105,根据实时距离对作业机械进行监管,包括:
判断实时距离是否小于预设值,若小于,则发出警报。
当现场作业机械某核心部位与三维点云模型中线路或杆塔距离低于某一固定预设值时,触发警报,完成施工作业安全监管。
本发明实施例的作业机械生产安全监测方法具有人工和时间成本低、易推广、易扩展、低时延、经验误差低等优点。
首先使用该方法,可以降低安全监管中的人力投入。当作业人员熟悉现场快速扫描流程,安全监管人员即可采用通讯方式指挥多个作业现场实现监管“上云”,提高了安全作业的效率。其次除需人工扫描外,其余部分都是自动化和智能化计算,算法已经调试并可成功运行后,可通过后台远程推广新一代算法补丁,不需要为每个设备都进行现场调试,具有易推广特点。然后是易于扩展,因为大量视觉感知都依赖于本设备所采用的视觉传感器和扫描仪,便于扩展算法;同时服务器端的作业机械模型库也易于扩充升级。最后时延和误差问题,由于人工判断的误差可能很大、并且存在大量模糊判断,由于设备所携智能算法本身已获取三维空间感知、同时知晓作业机械在三维空间中的位姿,因此判断更准确且判断周期更短。
本发明实施例还提供了一种作业机械生产安全监测装置,如图4和图5所示,包括:
点云模块401,用于扫描作业现场获取现场三维点云模型并标注高风险区域;具体内容参见上述方法实施例。
配准模块402,通过现场三维点云模型对视觉传感器进行配准,并通过配准后的视觉传感器获取作业现场实时图像;具体内容参见上述方法实施例。
位姿确定模块403,用于基于作业现场实时图像确定现场作业机械的三维位姿;具体内容参见上述方法实施例。
距离计算模块404,用于根据现场作业机械的三维位姿计算高风险区域和现场作业机械的实时距离;具体内容参见上述方法实施例。
管理模块405,用于根据实时距离对作业机械进行监管。具体内容参见上述方法实施例。
其中,点云模块401和配准模块402为离线部分,位姿确定模块403、距离计算模块404和管理模块405为在线部分。
本发明实施例的一种作业机械生产安全监测方法,通过扫描作业现场获取现场三维点云模型并标注高风险区域,通过现场三维点云模型对视觉传感器进行配准,并通过配准后的视觉传感器获取作业现场实时图像,基于作业现场实时图像确定现场作业机械的三维位姿,根据现场作业机械的三维位姿计算高风险区域和现场作业机械的实时距离,根据实时距离对作业机械进行监管,能够基于作业现场实时图像监测作业机械的移动和作业安全,大大降低监测的人工成本和时间成本,并且能够避免由于人工判断带来的误差,使判断更准确。
在一实施例中,位姿确定模块403包括:
背景分离模块,用于对作业现场实时图像进行背景分离得到现场作业机械的二维轮廓;
型号识别模块,用于基于机械模型库和现场作业机械的二维轮廓识别现场作业机械的型号,其中,机械模型库中存储各型号的作业机械的三维模型和二维图像;
位姿优化模块,用于通过最优化对应型号的三维模型重投影到二维画面的轮廓和现场作业机械的二维轮廓间的重投影误差得到现场作业机械的三维位姿。
在一实施例中,配准模块402包括:
渲染模块,用于对三维点云模型进行背景光照渲染;
位姿估计模块,用于对渲染过后的三维点云模型进行初始视觉传感器位姿估计,计算渲染后的三维点云模型在初始视觉传感器位姿下的模型重投影图像;
相似度计算模块,用于计算模型重投影图像和视觉传感器实际采集的二维图像的空间相似度;
相似度优化模块,用于最优化空间相似度得到视觉传感器位姿;
第一模型获取模块,用于根据视觉传感器位姿得到三维-二维空间转换模型。
在一实施例中,配准模块402包括:
标记模块,用于在三维点云模型和视觉传感器实际采集的二维图像中分别标记对应注册点;
融合模块,用于基于随机抽样一致算法进行三维模型与二维图像融合配准,得到视觉传感器位姿;
第二模型获取模块,用于根据视觉传感器位姿得到三维-二维空间转换模型。
在一实施例中,型号识别模块包括:
三维还原模块,用于通过三维-二维空间转换模型还原现场作业机械的二维轮廓对应的三维轮廓;
匹配模块,用于通过现场作业机械的二维轮廓和还原得到的三维轮廓,从机械模型库匹配现场作业机械的型号。
在一实施例中,距离计算模块404包括:
部位表示模块,用于根据现场作业机械的三维位姿,将若干立方体表示现场作业机械的若干核心部位;
最小值计算模块,用于计算各个核心部位到高风险区域的最小值并将最小值作为实时距离。
在一实施例中,管理模块405包括:
判断模块,用于判断实时距离是否小于预设值,若小于,则发出警报。
本发明实施例还提供一种计算机设备的结构示意图,如图6所示,该计算机设备包括:一个或多个处理器10、存储器20,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相通信连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在计算机设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在一些可选的实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个计算机设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器10为例。
处理器10可以是中央处理器,网络处理器或其组合。其中,处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路,可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件,现场可编程逻辑门阵列,通用阵列逻辑或其任意组合。
其中,存储器20存储有可由至少一个处理器10执行的指令,以使至少一个处理器10执行实现上述实施例示出的方法。
存储器20可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器20可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中,存储器20可选包括相对于处理器10远程设置的存储器,这些远程存储器可以通过网络连接至该计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
存储器20可以包括易失性存储器,例如,随机存取存储器;存储器也可以包括非易失性存储器,例如,快闪存储器,硬盘或固态硬盘;存储器20还可以包括上述种类的存储器的组合。
该计算机设备还包括输入装置30和输出装置40。处理器10、存储器20、输入装置30和输出装置40可以通过总线或者其他方式连接,图6中以通过总线连接为例。
输入装置30可接收输入的数字或字符信息,以及产生与该计算机设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等。输出装置40可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。上述显示设备包括但不限于液晶显示器,发光二极管,显示器和等离子体显示器。在一些可选的实施方式中,显示设备可以是触摸屏。
本发明实施例还提供了一种计算机可读存储介质,上述根据本发明实施例的方法可在硬件、固件中实现,或者被实现为可记录在存储介质,或者被实现通过网络下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码,从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中,存储介质可为磁碟、光盘、只读存储记忆体、随机存储记忆体、快闪存储器、硬盘或固态硬盘等;进一步地,存储介质还可以包括上述种类的存储器的组合。可以理解,计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件,当软件或计算机代码被计算机、处理器或硬件访问且执行时,实现上述实施例示出的方法。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (16)
1.一种作业机械生产安全监测方法,其特征在于,包括:
扫描作业现场获取现场三维点云模型并标注高风险区域;
通过所述现场三维点云模型对视觉传感器进行配准,并通过配准后的视觉传感器获取作业现场实时图像;
基于所述作业现场实时图像确定现场作业机械的三维位姿;
根据所述现场作业机械的三维位姿计算所述高风险区域和所述现场作业机械的实时距离;
根据所述实时距离对所述作业机械进行监管。
2.根据权利要求1所述的方法,其特征在于,基于所述作业现场实时图像确定现场作业机械的三维位姿,包括:
对所述作业现场实时图像进行背景分离得到所述现场作业机械的二维轮廓;
基于机械模型库和所述现场作业机械的二维轮廓识别所述现场作业机械的型号,其中,机械模型库中存储各型号的作业机械的三维模型和二维图像;
通过最优化对应型号的三维模型重投影到二维画面的轮廓和所述现场作业机械的二维轮廓间的重投影误差得到现场作业机械的三维位姿。
3.根据权利要求2所述的方法,其特征在于,通过所述现场三维点云模型对视觉传感器进行配准,包括:
对所述三维点云模型进行背景光照渲染;
对渲染过后的所述三维点云模型进行初始视觉传感器位姿估计,计算渲染后的所述三维点云模型在初始视觉传感器位姿下的模型重投影图像;
计算所述模型重投影图像和视觉传感器实际采集的二维图像的空间相似度;
最优化所述空间相似度得到视觉传感器位姿;
根据所述视觉传感器位姿得到三维-二维空间转换模型。
4.根据权利要求2所述的方法,其特征在于,通过所述现场三维点云模型对视觉传感器进行配准,包括:
在所述三维点云模型和视觉传感器实际采集的二维图像中分别标记对应注册点;
基于随机抽样一致算法进行三维模型与二维图像融合配准,得到视觉传感器位姿;
根据所述视觉传感器位姿得到三维-二维空间转换模型。
5.根据权利要求3或4所述的方法,其特征在于,基于机械模型库和所述现场作业机械的二维轮廓识别所述现场作业机械的型号,包括:
通过三维-二维空间转换模型还原所述现场作业机械的二维轮廓对应的三维轮廓;
通过所述现场作业机械的二维轮廓和还原得到的三维轮廓,从所述机械模型库匹配所述现场作业机械的型号。
6.根据权利要求1所述的方法,其特征在于,根据所述现场作业机械的三维位姿计算所述高风险区域和所述现场作业机械的实时距离,包括:
根据所述现场作业机械的三维位姿,将若干立方体表示所述现场作业机械的若干核心部位;
计算各个所述核心部位到所述高风险区域的最小值并将所述最小值作为所述实时距离。
7.根据权利要求1所述的方法,其特征在于,根据所述实时距离对所述作业机械进行监管,包括:
判断所述实时距离是否小于预设值,若小于,则发出警报。
8.一种作业机械生产安全监测装置,其特征在于,包括:
点云模块,用于扫描作业现场获取现场三维点云模型并标注高风险区域;
配准模块,通过所述现场三维点云模型对视觉传感器进行配准,并通过配准后的视觉传感器获取作业现场实时图像;
位姿确定模块,用于基于所述作业现场实时图像确定现场作业机械的三维位姿;
距离计算模块,用于根据所述现场作业机械的三维位姿计算所述高风险区域和所述现场作业机械的实时距离;
管理模块,用于根据所述实时距离对所述作业机械进行监管。
9.根据权利要求8所述的装置,其特征在于,所述位姿确定模块包括:
背景分离模块,用于对所述作业现场实时图像进行背景分离得到所述现场作业机械的二维轮廓;
型号识别模块,用于基于机械模型库和所述现场作业机械的二维轮廓识别所述现场作业机械的型号,其中,机械模型库中存储各型号的作业机械的三维模型和二维图像;
位姿优化模块,用于通过最优化对应型号的三维模型重投影到二维画面的轮廓和所述现场作业机械的二维轮廓间的重投影误差得到现场作业机械的三维位姿。
10.根据权利要求9所述的装置,其特征在于,所述配准模块包括:
渲染模块,用于对所述三维点云模型进行背景光照渲染;
位姿估计模块,用于对渲染过后的所述三维点云模型进行初始视觉传感器位姿估计,计算渲染后的所述三维点云模型在初始视觉传感器位姿下的模型重投影图像;
相似度计算模块,用于计算所述模型重投影图像和视觉传感器实际采集的二维图像的空间相似度;
相似度优化模块,用于最优化所述空间相似度得到视觉传感器位姿;
第一模型获取模块,用于根据所述视觉传感器位姿得到三维-二维空间转换模型。
11.根据权利要求9所述的装置,其特征在于,所述配准模块包括:
标记模块,用于在所述三维点云模型和视觉传感器实际采集的二维图像中分别标记对应注册点;
融合模块,用于基于随机抽样一致算法进行三维模型与二维图像融合配准,得到视觉传感器位姿;
第二模型获取模块,用于根据所述视觉传感器位姿得到三维-二维空间转换模型。
12.根据权利要求10或11所述的装置,其特征在于,所述型号识别模块包括:
三维还原模块,用于通过三维-二维空间转换模型还原所述现场作业机械的二维轮廓对应的三维轮廓;
匹配模块,用于通过所述现场作业机械的二维轮廓和还原得到的三维轮廓,从所述机械模型库匹配所述现场作业机械的型号。
13.根据权利要求8所述的装置,其特征在于,所述距离计算模块包括:
部位表示模块,用于根据所述现场作业机械的三维位姿,将若干立方体表示所述现场作业机械的若干核心部位;
最小值计算模块,用于计算各个所述核心部位到所述高风险区域的最小值并将所述最小值作为所述实时距离。
14.根据权利要求8所述的装置,其特征在于,管理模块包括:
判断模块,用于判断所述实时距离是否小于预设值,若小于,则发出警报。
15.一种计算机设备,其特征在于,包括:存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行权利要求1至7中任一项所述的作业机械生产安全监测方法。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机指令,所述计算机指令用于使计算机执行权利要求1至7中任一项所述的作业机械生产安全监测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311764428.9A CN117745820A (zh) | 2023-12-20 | 2023-12-20 | 一种作业机械生产安全监测方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311764428.9A CN117745820A (zh) | 2023-12-20 | 2023-12-20 | 一种作业机械生产安全监测方法、装置、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117745820A true CN117745820A (zh) | 2024-03-22 |
Family
ID=90282908
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311764428.9A Pending CN117745820A (zh) | 2023-12-20 | 2023-12-20 | 一种作业机械生产安全监测方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117745820A (zh) |
-
2023
- 2023-12-20 CN CN202311764428.9A patent/CN117745820A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9251582B2 (en) | Methods and systems for enhanced automated visual inspection of a physical asset | |
CN105184859B (zh) | 一种基于激光扫描的变电站三维建模方法 | |
CN114241298A (zh) | 一种激光雷达和图像融合的塔吊环境目标检测方法及系统 | |
CN110880200A (zh) | 基于三维重建技术的gim模型工程智能验收方法 | |
Zhou et al. | Image-based onsite object recognition for automatic crane lifting tasks | |
CN114885133B (zh) | 基于深度图像的设备安全实时监控方法、系统及相关设备 | |
CN111770450B (zh) | 一种车间生产监控服务器、移动终端及应用 | |
CN112929602A (zh) | 基于图像处理的数据监控方法、装置及相关设备 | |
CN115469744A (zh) | 一种基于ar技术的机房设备巡检作业方法 | |
CN116468392A (zh) | 一种电网工程项目进度监控方法、装置、设备及存储介质 | |
KR102366396B1 (ko) | Rgb-d 데이터와 딥러닝을 이용한 3d객체영역분할 방법과 그 시스템 | |
CN112528825A (zh) | 一种基于图像识别的车站乘客招援服务方法 | |
KR102198028B1 (ko) | 스마트 팩토리 가상설계에 따른 설비배치에 대한 설비위치 검증방법 | |
CN117745820A (zh) | 一种作业机械生产安全监测方法、装置、设备及介质 | |
CN115982824A (zh) | 施工现场工人空间管理方法、装置、电子设备及存储介质 | |
CN117094660A (zh) | 一种基于数字孪生技术的施工监控方法及系统 | |
CN109559374B (zh) | 基于点云数据的高效测绘系统 | |
CN111612907A (zh) | 一种受损古建筑柱体的多方位修复系统及方法 | |
CN116503538A (zh) | 基于倾斜摄影的单体建模方法、系统、终端及存储介质 | |
CN110942083A (zh) | 拍摄装置以及拍摄系统 | |
CN111660294B (zh) | 一种液压重载机械臂增强现实操控系统 | |
CN114531700A (zh) | 一种非人工的基站天线工参采集系统及方法 | |
CN109785441B (zh) | 一种智能化运维方法及系统 | |
CN116563969B (zh) | 一种设备巡检方法、装置、设备和存储介质 | |
CN112435274A (zh) | 一种基于面向对象分割的遥感影像面状地物提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |