CN112723163A - 基于人工智能的冶金天车作业预警方法及系统 - Google Patents
基于人工智能的冶金天车作业预警方法及系统 Download PDFInfo
- Publication number
- CN112723163A CN112723163A CN202011565727.6A CN202011565727A CN112723163A CN 112723163 A CN112723163 A CN 112723163A CN 202011565727 A CN202011565727 A CN 202011565727A CN 112723163 A CN112723163 A CN 112723163A
- Authority
- CN
- China
- Prior art keywords
- image
- range
- coordinates
- area
- center point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 33
- 238000005272 metallurgy Methods 0.000 title claims abstract description 11
- 239000007788 liquid Substances 0.000 claims abstract description 44
- 238000004458 analytical method Methods 0.000 claims description 17
- 231100001261 hazardous Toxicity 0.000 claims description 6
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 130
- 229910052742 iron Inorganic materials 0.000 description 65
- 238000001514 detection method Methods 0.000 description 23
- 230000000007 visual effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000010355 oscillation Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000009628 steelmaking Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 229910052751 metal Inorganic materials 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 2
- 238000009414 blockwork Methods 0.000 description 2
- 210000000746 body region Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C13/00—Other constructional features or details
- B66C13/16—Applications of indicating, registering, or weighing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C13/00—Other constructional features or details
- B66C13/18—Control systems or devices
- B66C13/46—Position indicators for suspended loads or for crane elements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C15/00—Safety gear
- B66C15/06—Arrangements or use of warning devices
- B66C15/065—Arrangements or use of warning devices electrical
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Control And Safety Of Cranes (AREA)
Abstract
本发明涉及人工智能技术领域，具体涉及一种基于人工智能的冶金天车作业预警方法及系统。该方法通过结合横梁吊具的摆动范围、晃动范围、晃动角度和作业物体的摆动范围判断天车作业时的危险区域范围。当作业物体为罐内液体时，结合液体的飞溅情况，获取液体的飞溅危险区域范围，将飞溅危险区域范围与得到天车作业时的危险区域范围相结合，获取到天车作业时的最终危险区域范围。能够对天车作业时的危险区域范围进行实时的、准确的判断，从而能够及时对天车作业时的危险情况进行判断，并及时对危险区域内的工作人员发出预警。
Description
技术领域
本发明涉及人工智能技术领域，具体涉及一种基于人工智能的冶金天车作业预警方法及系统。
背景技术
转炉炼钢过程中，天车负责一切重物的起落。与传统起吊机不同的是转炉炼钢场景下会吊起装满铁水的铁水罐或钢包等重物。在生产过程中，天车的操作需要驾驶员和地面指挥人员相互协作完成，经常出现的危险情况包括：铁水罐或钢包内的液体飞溅、起吊重物周围有作业人员等情况。当出现危险情况时，驾驶员是来不及操作的。
发明人在实践中，发现上述现有技术存在以下缺陷：
获得不到准确的天车作业时的危险区域范围，从而不能够及时发出危险预警。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于人工智能的冶金天车作业预警方法及系统，所采用的技术方案具体如下：
第一方面，本发明一个实施例提供了一种基于人工智能的冶金天车作业预警方法，该方法包括步骤：
采集连续预定帧数横梁吊具区域的第一图像和天车作业物体区域的第二图像，第一图像包括当前第一图像和天车未作业时的初始第一图像；第二图像包括当前第二图像和天车未作业时的初始第二图像；获取第一图像中横梁吊具的关键点坐标；关键点坐标包括横梁吊具左端点坐标、右端点坐标和中心点坐标；获取左端点坐标和右端点坐标之间差值，根据初始第一图像的初始差值和当前第一图像的第一差值，判断横梁吊具的晃动范围，根据第一图像的左端点坐标和右端点坐标的变化量判断横梁吊具的晃动角度；根据初始第一图像的中心点坐标与当前第一图像的中心点坐标之间的最大距离，判断横梁吊具的摆动范围；获取第二图像中物体中心点坐标，根据初始第二图像中物体的中心点坐标与当前第二图像中物体的中心点坐标之间的最大距离，判断物体的摆动范围；根据横梁吊具的摆动范围、晃动范围、晃动角度和物体的摆动范围，判断天车作业时的危险区域范围。
第二方面，本发明另一实施例提供了一种基于人工智能的冶金天车作业预警系统，该系统包括图像采集模块、关键点获取模块、横梁吊具分析模块、作业物体分析模块和危险区域判断模块。
其中，图像采集模块，用于采集连续预定帧数横梁吊具区域的第一图像和天车作业物体区域的第二图像，第一图像包括当前第一图像和天车未作业时的初始第一图像；第二图像包括当前第二图像和天车未作业时的初始第二图像。
关键点获取模块，用于获取第一图像中横梁吊具的关键点坐标，获取第二图像中物体中心点坐标；关键点坐标包括横梁吊具左端点坐标、右端点坐标和中心点坐标。
横梁吊具分析模块，用于获取左端点坐标和右端点坐标之间差值，根据初始第一图像的初始差值和当前第一图像的第一差值，判断横梁吊具的晃动范围，根据第一图像的左端点坐标和右端点坐标的变化量判断横梁吊具的晃动角度；根据初始第一图像的中心点坐标与当前第一图像的中心点坐标之间的最大距离，判断横梁吊具的摆动范围。
作业物体分析模块，用于获取第二图像中物体中心点坐标，根据初始第二图像中物体的中心点坐标与当前第二图像中物体的中心点坐标之间的最大距离，判断物体的摆动范围。
危险区域判断模块，用于根据横梁吊具的摆动范围、晃动范围、晃动角度和物体的摆动范围，判断天车作业时的危险区域范围。
本发明实施例至少具有如下有益效果：
本发明实施例中在天车作业时，根据横梁吊具发生的位置变化进行分析，得到横梁吊具的摆动范围、晃动范围和晃动角度，并且结合作业物体的摆动范围，对天车作业时的危险区域范围进行实时的、准确的判断，从而能够及时对天车作业时的危险情况进行判断，及时对工作人员发出预警。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于人工智能的冶金天车作业预警方法流程图；
图2为本发明一个实施例所提供的横梁吊具的示意图；
图3为本发明一个实施例所提供的一种基于人工智能的冶金天车作业预警方法中第一危险区域的示意图；
图4为本发明一个实施例所提供的一种基于人工智能的冶金天车作业预警方法中由横梁吊具产生的危险区域的示意图；
图5为本发明一个实施例所提供的一种基于人工智能的冶金天车作业预警的第二方法流程图；
图6为本发明一个实施例所提供的一种基于人工智能的冶金天车作业预警方法流程图中横坐标方向飞溅危险区域范围判断示意图；
图7为本发明一个实施例所提供的一种基于人工智能的冶金天车作业预警的第三方法流程图；
图8为本发明一个实施例所提供的一种基于人工智能的冶金天车作业预警系统框图；
图9为本发明一个实施例所提供的一种基于人工智能的冶金天车作业预警第二系统框图；
图10为本发明一个实施例所提供的一种基于人工智能的冶金天车作业预警第三系统框图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的冶金天车作业预警方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于人工智能的冶金天车作业预警方法及系统的具体方案。
请参阅图1，其示出了本发明一个实施例提供的基于人工智能的冶金天车作业预警方法流程图。
步骤S1，采集连续预定帧数横梁吊具区域的第一图像和天车作业物体区域的第二图像，第一图像包括当前第一图像和天车未作业时的初始第一图像；第二图像包括当前第二图像和天车未作业时的初始第二图像。
具体地，在转炉炼钢场景下天车负责一切重物的起落，与传统起吊机不同的是，该场景下会吊起铁水罐等装满液体的重物。转炉炼钢场景下天车有主钩和副钩，主钩为两个钩子，分别分布在横梁吊具的左右两端，而横梁吊具的左右两端由多股钢丝绳连接。如图2所示，横梁吊具10。
由于天车开始作业时，天车的运动导致横梁吊具在天车运行方向上的位置往复变化，这时候引起的就是横梁吊具的摆动、晃动和作业物体的晃动。本发明实施例中，液体为铁水，吊钩的起吊目标为装有铁水的柱形罐体，罐内铁水晃动会导致横梁吊具左右两端的行程不一致的现象，这时候罐内铁水可能会出现飞溅的危险情况。
具体地，在天车横梁底部，部署第一广角RGB相机，相机视角为俯视，能够随着天车移动，相机视角内能够采集到的横梁吊具。第一广角RGB相机采集连续预定帧数横梁吊具区域的第一图像，本发明实施例中，预定帧数＝10。
在天车未进行作业时，第一广角RGB相机采集初始第一图像。
当天车进行作业时，第一广角RGB相机采集连续10帧横梁吊具区域的当前第一图像，由当前帧图像以及当前帧的连续前9帧图像组成了第一图像序列。
在横梁吊具的下方部署第二RGB相机，相机视角为俯视，相机随着横梁吊具移动，相机视角内能够采集到天车作业物体区域，获取天车作业物体区域作为第二图像，由于在本发明实施例中天车作业物体为装有铁水的柱形罐体，所以第二图像中包括罐体罐口图像和罐内液体图像。其中，第二RGB相机与第一广角RGB相机频率一致。
在天车未进行作业时，此时的罐体未被吊起时，根据第二RGB相机采集到初始第二图像。
天车作业后，第二RGB相机采集当前第二图像，获取连续预定帧数的第二图像序列，本发明实施例中，预定帧数＝10，即由当前帧与当前帧的连续前9帧图像组成了第二图像序列。
步骤S2，获取第一图像中横梁吊具的关键点坐标；关键点坐标包括横梁吊具左端点坐标、右端点坐标和中心点坐标；获取左端点坐标和右端点坐标之间差值，根据初始第一图像的初始差值和当前第一图像的第一差值，判断横梁吊具的晃动范围，根据第二图像的左端点坐标和右端点坐标的变化量判断横梁吊具的晃动角度。
具体地，第一广角RGB相机采集第一图像，将第一图像输入到结构为Encoder-Decoder的关键点检测网络中，Encoder对采集到的图像不断下采样进行特征提取到特征图(Feature Map)，Decoder对Feature Map进行持续上采样得到与第一图像等大的关键点热图。第一图像的关键点热图分为横梁吊具左右端点的关键点和人员双脚关键点。
具体地，关键点网络训练阶段为：
以第一广角RGB相机采集到的大量的第一图像为训练集，人为给关键点的位置打上标签获得标签数据，在此说明打标签的方法为：在所选关键点的位置出利用高斯卷积核进行处理，得到高斯热斑，获得标签数据。需要说明的是，训练集中的RGB图像应包含天车运行状态和静止状态的图像，目的是确保训练集中获得人员双脚关键点的信息。
关键点检测网络的损失函数采用交叉熵函数，不断迭代更新模型参数，使得损失函数不断降低，完成模型训练。关键点网络使用时，输入第一广角RGB相机实时采集的RGB图像，输出为关键点热图(Heatmap)，对Heatmap经SoftArgmax函数处理得到关键点的位置信息。需要说明的是，关键点热图为双通道，分别对应着横梁吊具左右端关键点和人员双脚关键点。
通过关键点检测网络能够得到第一图像中横梁吊具的左端点坐标和右端点坐标，得到左端点坐标和右端点坐标之间的差值，之后根据左右端点坐标能够获取横梁吊具的中心点坐标。
当天车未进行作业时，通过关键点检测网络获取初始第一图像中的横梁吊具的初始左右端点关键点坐标，获取初始左坐标和初始右坐标的横纵坐标的差值为初始差值，对初始左坐标和初始右坐标取均值，获取初始中心点坐标。
当天车进行作业后，第一广角RGB相机获取到连续10帧的横梁吊具区域的当前第一图像，基于在获得横梁吊具左右端关键点位置之后，对连续10帧的第一图像序列中的横梁吊具的左右关键点位置进行分析。
获取当前第一图像中横梁吊具左右端点的横纵坐标的第一差值：
(x，y)＝(xleft-xright，yleft-yright)
其中，x为横坐标差值，y为纵坐标差值，xleft为左关键点的横坐标，yleft为左关键点的纵坐标，xright为右关键点的横坐标，yright为右关键点的纵坐标。
按照相同的方法，获取连续10帧第一图像中横梁吊具左右关键点的横纵坐标的差值序列，得到差值序列中每个第一差值与初始差值之间在横纵坐标方向上的距离，记第n帧图像中左右关键点的第一差值与初始差值在横坐标方向的距离为
纵坐标方向的距离为
则横梁吊具在横坐标方向的晃动范围
以及纵坐标方向的晃动范围
分别为：
其中，max表示取最大值，横梁吊具的晃动范围表示的是相对于天车横梁的晃动，
越大，表示横梁吊具的晃动范围越大。在得到横梁吊具在横纵方向上的晃动范围之后，得到横梁吊具的晃动范围
在获取到横梁吊具的晃动范围Mh后，根据当前图像晃动获取到横梁吊具晃动时产生的晃动角度θ为：
步骤S3，根据初始第一图像的中心点坐标与当前第一图像的中心点坐标之间的最大距离，判断横梁吊具的摆动范围。
根据当前第一图像，获取连续10帧第一图像中的中心点坐标的序列，求每一帧中心点坐标与初始中心点坐标横纵方向上的距离2，记当前这连续10帧第一图像中第n帧图像中的中心点坐标与初始中心点横坐标的距离为
纵坐标的距离为
能够得到横梁吊具在横坐标上的摆动范围
与在纵坐标上的摆动范围
分别为：
其中，max表示取最大值，横梁吊具的摆动表示的是相对于天车横梁的摆动，
和
越大，表示横梁吊具的摆动范围越大。得到横梁吊具在横纵坐标的摆动范围后，得到横梁吊具的摆动范围
步骤S4，获取第二图像中物体中心点坐标，根据初始第二图像中物体的中心点坐标与当前第二图像中物体的中心点坐标之间的最大距离，判断物体的摆动范围。
具体地，由于本发明实施例中，天车作业物体为装有铁水的柱形罐体，为了屏蔽复杂工况对罐体检测的影响，基于目标检测网络，对第二图像进行目标检测，获得罐体的包围框，对包围框内的图像进行检测。
其中，目标检测网络的结构为Encoder+FC结构，输入为归一化处理后的第二图像，Encoder利用卷积层和池化层对输入的图像不断进行特征提取得到特征图，利用FC层回归出包围框的位置信息，输出为罐体的包围框的中心点坐标(a，b)和包围框的宽高尺寸(w，h)。目标检测网络为公知技术，实施者可以选择YOLO、Faster RCNN、SSD等网络来得到罐体的包围框，利用包围框对第二图像进行裁剪，得到罐体区域图像。
进一步利用霍夫圆检测对罐体区域图像进行检测，其中，霍夫圆检测是将图像中各像素点转换至霍夫空间，利用投票机制得到在同一个圆上的像素点，实现圆的检测。为了防止罐体型号不同干扰罐口边缘的检测，对检测到的圆直径进行筛选，选取直径最大的圆作为罐口，获得罐口区域图像。
在天车未进行作业时，此时的罐体未被吊起时，根据第二RGB相机采集到初始第二图像，由目标检测网络和霍夫圆检测获得初始罐口区域图像，获取此时罐口的的中心点坐标作为初始罐口中心点。
天车作业后，根据当前第二图像，对第二RGB相机采集连续10帧的第二图像序列进行分析，获取第二图像序列中每个第二图像的罐口区域图像，得到罐口的中心点坐标，记第n帧图像与初始罐口中心点在横坐标方向的距离为
在纵坐标方向的距离为
则罐体在横坐标方向的摆动范围
和在纵坐标方向的摆动范围
分别为：
其中，max是取最大值，罐体的摆动是相对于横梁吊具的摆动，
和
越大，表示罐体的摆动范围越大。得到罐体在横坐标方向的摆动范围
和纵坐标方向的摆动范围
之后，罐体的摆动范围Npot为：
步骤S5，根据横梁吊具的摆动范围、晃动范围、晃动角度和物体的摆动范围，判断天车作业时的危险区域范围。
具体地，由于罐体的摆动是相对于横梁吊具的摆动，那么罐体真实的摆动范围为Npot+Nh，由于罐体的摆动产生的危险区域为一个矩形区域，将该第一危险区域记为ROI1，如图3所示，第一危险区域包括罐口20、罐口的中心点坐标30、第一危险区域中心点40、罐体纵坐标方向的真实摆动范围50和罐体横坐标方向的真实摆动范围60。
其中，R表示罐口的半径，xP0表示该危险区域ROI1的中心点的横坐标，yP0表示该危险区域ROI1的中心点的纵坐标，
表示该危险区域ROI1的宽度，
表示该危险区域ROI1的高度。
当横梁吊具的晃动会引起横梁吊具产生倾斜角度θ，获取此时由横梁吊具晃动产生的的第二危险区域ROI2：
其中，xT0表示为危险区域ROI2中心点的横坐标，yT0表示为危险区域ROI2中心点的纵坐标；Mh＝0表示为横梁的晃动范围为0，即θ＝0，横梁吊具左右端点的行程一致，此时
表示为该危险区域ROI2的宽度，
表示为该危险区域ROI2的高度；Mh≠0表示为横梁的晃动范围不为0，即θ≠0，横梁左右端点的行程不一致，此时
表示横梁晃动下该危险区域ROI2的宽度，
表示横梁吊具晃动下该危险区域ROI2高度。如图4所示，由横梁吊具获取的危险区域ROI2中包括横梁吊具的宽度110、横梁吊具的高度120、危险区域ROI2的中心点位置130、倾斜角度140、危险区域ROI2在横坐标方向产生的危险区域范围150和危险区域ROI2在纵坐标方向的产生的危险区域范围160。
将危险区域ROI1和危险区域ROI2求并集，得到危险区域ROI，其中，ROI＝ROI1∪ROI2。
如图5所示，该方法还包括步骤S6，当物体为装满液体的罐体时，获取第二图像中罐体的罐口中心点坐标和罐内的液体中心点坐标，根据罐口中心点坐标和液体中心点坐标之间的平均距离，判断液体的晃动范围。
由于罐体的摆动可能会导致罐内液体的溅出，会导致危险区域ROI发生变化，需要根据罐内液体的晃动重新判断危险区域ROI，本发明实施例中，罐内液体为铁水。
具体地，由于铁水是高温的，表现为红色高亮的液体，铁水罐和铁水在色相和亮度上有明显的差异，利用该特征区分铁水罐和铁水。对之前获取到的罐体区域图像转换到HSV颜色空间中，HSV颜色空间模型表示色相、饱和度和亮度，在RGB图像的R、G、B三个颜色通道分量中，设最大值为MAX，最小值为MIN。RGB到HSV的转化公式为：
V＝MAX
在计算结果中，H的范围为0度到360度，S和V值的范围为0到1。当MAX＝MIN时，H通道为纯灰色，没有色彩信息；当MAX＝0时，S＝0表示没有颜色。
设置H、S、V三个通道的阈值分割出罐口区域内铁水的区域，利用连通域分析的方法获取铁水区域的中心点坐标，当铁水晃动时，铁水表面在罐体内不断变化，使得相机采集到的铁水区域的中心点位置不断变化，变化越大表示铁水表面的晃动越大。
获得第二图像序列中的罐口区域图像，得到每帧罐口区域图像的铁水区域中心点坐标，获取相邻帧罐口区域图像的铁水区域的中心点坐标之间在横纵方向上的距离，记第n+1帧罐口区域图像与第n帧罐口区域图像中铁水区域的中心点坐标沿横坐标的距离为
沿纵坐标的距离为
得到铁水区域在横坐标方向的晃动范围
和在纵坐标方向的晃动范围
分别为：
其中，
和
越大，表示铁水的晃动范围越大。
获得铁水在横坐标的晃动范围
和纵坐标方向的晃动范围
后，得到铁水的晃动范围
步骤S7，当液体的晃动范围超出罐体的摆动范围时，判断液体存在飞溅危险区域范围，结合飞溅危险区域范围和危险区域范围，重新确定危险区域范围为最终危险区域范围。
比较铁水晃动范围Miron与罐体的摆动范围Npot，当
或者
时，表示铁水晃动范围与罐体的摆动范围相近，此时没有铁水飞溅的风险，当
时，表示横坐标方向有铁水飞溅的风险，当
对，表示纵坐标方向有铁水飞溅的风险。
当在横坐标方向上判断存在铁水飞溅风险时，将第三危险区域ROI的范围沿横坐标方向的两侧拓展宽度为
的飞溅危险区域范围。如图6所示，最终危险区域范围包括横坐标方向的飞溅危险区域范围210和危险区域ROI220。
当在纵坐标方向上判断存在铁水飞溅风险时，将第三危险区域ROI的范围沿纵坐标方向的两侧拓展高度为
的飞溅危险区域范围。
当横纵方向上均判断存在铁水飞溅风险时，将第三危险区域ROI的范围沿横坐标方向的两侧拓展宽度为
的范围和沿纵坐标方向的两侧拓展高度为
的飞溅危险区域范围。
结合危险区域ROI和飞溅危险区域范围重新得到危险区域作为为最终危险区域范围ROInew。
当铁水飞溅风险消除时，相应的因铁水飞溅风险得到的第三危险区域ROI的飞溅危险区域范围也消除，这时重新获得第三危险区域ROI。
如图7所示，该方法还包括步骤S8，当前第一图像中包括工作人员，获取人员的双脚关键点，当双脚关键点在危险区域范围或最终危险区域范围内，发出预警并对天车进行减速，当判断液体存在飞溅危险区域范围时，发出预警并对天车进行减速。
当存在铁水飞溅风险时，此时及时预警，对天车进行减速，提醒工作人员避免铁水飞溅的情况出现。
再根据之前由第一图像输入到关键点检测网络中获取到的人员双脚关键点，当判断存在双脚关键点在危险区域范围或者最终危险区域范围时，对天车进行减速并对工作人员发出警报。
综上所述，本发明实施例在天车进行作业时，通过结合横梁吊具的摆动范围、晃动范围、晃动角度和作业物体的摆动范围判断天车作业时的危险区域范围，当作业物体为罐内液体时，结合液体的飞溅情况，获取液体的飞溅危险区域范围，将飞溅危险区域范围与得到天车作业时的危险区域范围相结合，获取到天车作业时的最终危险区域范围。能够对天车作业时的危险区域范围进行实时的、准确的判断，从而能够及时对天车作业时的危险情况进行判断，并及时对危险区域内的工作人员发出预警。
基于与上述方法相同的发明构思，本发明另一实施例还提供了一种基于人工智能的冶金天车作业预警系统。
请参阅图8，其示出了本发明另一实施例提供的基于人工智能的冶金天车作业预警系统框图。
该系统包括该系统包括图像采集模块100、关键点获取模块200、横梁吊具分析模块300、作业物体分析模块400和危险区域判断模块500。
其中，图像采集模块100用于采集连续预定帧数横梁吊具区域的第一图像和天车作业物体区域的第二图像，第一图像包括当前第一图像和天车未作业时的初始第一图像；第二图像包括当前第二图像和天车未作业时的初始第二图像。
具体地，在天车横梁底部，部署第一广角RGB相机，相机视角为俯视，能够随着天车移动，相机视角内能够采集到的横梁吊具。第一广角RGB相机采集连续预定帧数横梁吊具区域的第一图像，本发明实施例中，预定帧数＝10。
在天车未进行作业时，第一广角RGB相机采集初始第一图像。
当天车进行作业时，第一广角RGB相机采集连续10帧横梁吊具区域的当前第一图像，由当前帧图像以及当前帧的连续前9帧图像组成了第一图像序列。
在横梁吊具的下方部署第二RGB相机，相机视角为俯视，相机随着横梁吊具移动，相机视角内能够采集到天车作业物体区域，获取天车作业物体区域作为第二图像，由于在本发明实施例中天车作业物体为装有铁水的柱形罐体，所以第二图像中包括罐体罐口图像和罐内液体图像。其中，第二RGB相机与第一广角RGB相机频率一致。
在天车未进行作业时，此时的罐体未被吊起时，根据第二RGB相机采集到初始第二图像。
天车作业后，第二RGB相机采集当前第二图像，获取连续预定帧数的第二图像序列，本发明实施例中，预定帧数＝10，即由当前帧与当前帧的连续前9帧图像组成了第二图像序列。
关键点获取模块200用于获取第一图像中横梁吊具的关键点坐标，获取第二图像中物体中心点坐标；关键点坐标包括横梁吊具左端点坐标、右端点坐标和中心点坐标。
具体地，第一广角RGB相机采集第一图像，将第一图像输入到结构为Encoder-Decoder的关键点检测网络中，输出为横梁吊具左右端点的关键点和人员双脚关键点。
通过关键点检测网络能够得到第一图像中横梁吊具的左端点坐标和右端点坐标，得到左端点坐标和右端点坐标之间的差值，之后根据左右端点坐标能够获取横梁吊具的中心点坐标。
当天车未进行作业时，通过关键点检测网络获取初始第一图像中的横梁吊具的初始左右端点关键点坐标，获取初始左坐标和初始右坐标的横纵坐标的差值为初始差值，对初始左坐标和初始右坐标取均值，获取初始中心点坐标。
当天车作业后，通过关键点检测网络获取当前第一图像中的横梁吊具的左右端点坐标，获取左坐标和右坐标的横纵坐标的差值为第一差值，对当前第一图像的左坐标和右坐标取均值，获取当前第一图像中横梁吊具的中心点坐标。
横梁吊具分析模块300用于获取左端点坐标和右端点坐标之间差值，根据初始第一图像的初始差值和当前第一图像的第一差值，判断横梁吊具的晃动范围，根据第一图像的左端点坐标和右端点坐标的变化量判断横梁吊具的晃动角度；根据初始第一图像的中心点坐标与当前第一图像的中心点坐标之间的最大距离，判断横梁吊具的摆动范围。
具体地，获取当前第一图像中横梁吊具左右端点的横纵坐标的第一差值：
(x，y)＝(xleft-xright，yleft-yright)
其中，x为横坐标差值，y为纵坐标差值，xleft为左关键点的横坐标，yleft为左关键点的纵坐标，xright为右关键点的横坐标，yright为右关键点的纵坐标。
记连续10帧第一图像序列中第n帧图像中左右关键点的第一差值与初始差值在横坐标方向的距离为
纵坐标方向的距离为
则横梁吊具在横坐标方向的晃动范围
以及纵坐标方向的晃动范围
分别为：
其中，max表示取最大值，
越大，表示横梁吊具的晃动范围越大。得到横梁吊具的晃动范围
在获取到横梁吊具的晃动范围Mh后，根据当前图像晃动获取到横梁吊具晃动时产生的晃动角度θ为：
根据当前第一图像，获取连续10帧第一图像中的中心点坐标的序列，求每一帧中心点坐标与初始中心点坐标横纵方向上的距离2，记当前这连续10帧第一图像中第n帧图像中的中心点坐标与初始中心点横坐标的距离为
纵坐标的距离为
能够得到横梁吊具在横坐标上的摆动范围
与在纵坐标上的摆动范围
分别为：
其中，max表示取最大值，
和
越大，表示横梁吊具的摆动范围越大，得到横梁吊具的摆动范围
作业物体分析模块400用于获取第二图像中物体中心点坐标，根据初始第二图像中物体的中心点坐标与当前第二图像中物体的中心点坐标之间的最大距离，判断物体的摆动范围。
具体地，在天车未进行作业时，此时的罐体未被吊起时，根据第二RGB相机采集到初始第二图像，由目标检测网络和霍夫圆检测获得初始罐口区域图像，获取此时罐口的的中心点坐标作为初始罐口中心点。
天车作业后，根据当前第二图像，对第二RGB相机采集连续10帧的第二图像序列进行分析，获取第二图像序列中每个第二图像的罐口区域图像，得到罐口的中心点坐标，记第n帧图像与初始罐口中心点在横坐标方向的距离为
在纵坐标方向的距离为
则罐体在横坐标方向的摆动范围
和在纵坐标方向的摆动范围
分别为：
其中，max是取最大值，罐体的摆动是相对于横梁吊具的摆动，
和
越大，表示罐体的摆动范围越大。得到罐体在横坐标方向的摆动范围
和纵坐标方向的摆动范围
之后，罐体的摆动范围Npot为：
危险区域判断模块500用于根据横梁吊具的摆动范围、晃动范围、晃动角度和物体的摆动范围，判断天车作业时的危险区域范围。
具体地，由于罐体的摆动是相对于横梁吊具的摆动，那么罐体真实的摆动范围为Npot+Nh，由于罐体的摆动产生的危险区域为一个矩形区域，将该第一危险区域记为ROI1，
其中，xP0表示该危险区域ROI1的中心点的横坐标，yP0表示该危险区域ROI1的中心点的纵坐标，
表示该危险区域ROI1的宽度，
表示该危险区域ROI1的高度。
当横梁吊具的晃动会引起横梁吊具产生倾斜角度θ，获取此时由横梁吊具晃动产生的的第二危险区域ROI2：
其中，xT0表示为危险区域ROI2中心点的横坐标，yT0表示为危险区域ROI2中心点的纵坐标；Mh＝0表示为横梁的晃动范围为0，即θ＝0，横梁吊具左右端点的行程一致，此时
表示为该危险区域ROI2的宽度，
表示为该危险区域ROI2的高度；Mh≠0表示为横梁的晃动范围不为0，即θ≠0，横梁左右端点的行程不一致，此时
表示横梁晃动下该危险区域ROI2的宽度，
表示横梁吊具晃动下该危险区域ROI2高度。
将危险区域ROI1和危险区域ROI2求并集，得到危险区域ROI，其中，ROI＝ROI1∪ROI2。
如图9所示，该系统还包括液体分析模块600和最终区域判断模块700。
液体分析模块600用于当物体为装满液体的罐体时，获取第二图像中罐体的罐口中心点坐标和罐内的液体中心点坐标；根据罐口中心点坐标和液体中心点坐标之间的平均距离，判断液体的晃动范围。
具体地，由于铁水是高温的，表现为红色高亮的液体，铁水罐和铁水在色相和亮度上有明显的差异，利用该特征区分铁水罐和铁水。
获得第二图像序列中的罐口区域图像，得到每帧罐口区域图像的铁水区域中心点坐标，获取相邻帧罐口区域图像的铁水区域的中心点坐标之间在横纵方向上的距离，记第i+1帧罐口区域图像与第i帧罐口区域图像中铁水区域的中心点坐标沿横坐标的距离为
沿纵坐标的距离为
得到铁水区域在横坐标方向的晃动范围
和在纵坐标方向的晃动范围
分别为：
其中，
和
越大，表示铁水的晃动范围越大。
获得铁水在横坐标的晃动范围
和纵坐标方向的晃动范围
后，得到铁水的晃动范围
最终区域判断模块700用于当液体的晃动范围超出罐体的摆动范围时，判断液体存在飞溅危险区域范围；结合飞溅危险区域范围和危险区域范围，重新确定危险区域范围为最终危险区域范围。
比较铁水晃动范围Miron与罐体的摆动范围Npot，当
或者
时，表示铁水晃动范围与罐体的摆动范围相近，此时没有铁水飞溅的风险，当
时，表示横坐标方向有铁水飞溅的风险，当
时，表示纵坐标方向有铁水飞溅的风险。
当在横坐标方向上判断存在铁水飞溅风险时，将第三危险区域ROI的范围沿横坐标方向的两侧拓展宽度为
的飞溅危险区域范围；当在纵坐标方向上判断存在铁水飞溅风险时，将第三危险区域ROI的范围沿纵坐标方向的两侧拓展高度为
的飞溅危险区域范围；当横纵方向上均判断存在铁水飞溅风险时，将第三危险区域ROI的范围沿横坐标方向的两侧拓展宽度为
的范围和沿纵坐标方向的两侧拓展高度为
的飞溅危险区域范围。
结合危险区域ROI和飞溅危险区域重新得到危险区域作为为最终危险区域ROInew。
当铁水飞溅风险消除时，相应的因铁水飞溅风险得到的第三危险区域ROI的飞溅危险区域范围也消除，这时重新获得第三危险区域ROI。
如图10所示，该系统还包括预警模块800。
预警模块800用于当前第一图像中包括工作人员，获取人员的双脚关键点；当双脚关键点在危险区域范围或最终危险区域范围内，发出预警并对天车进行减速；当判断液体存在飞溅危险区域范围时，发出预警并对天车进行减速。
当存在铁水飞溅风险时，此时及时预警，对天车进行减速，提醒工作人员避免铁水飞溅的情况出现。
再根据之前由第一图像输入到关键点检测网络中获取到的人员双脚关键点，当判断存在双脚关键点在危险区域范围或者最终危险区域范围时，对天车进行减速并对工作人员发出警报。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.基于人工智能的冶金天车作业预警方法，其特征在于，该方法包括步骤：
采集连续预定帧数横梁吊具区域的第一图像和天车作业物体区域的第二图像，所述第一图像包括当前第一图像和天车未作业时的初始第一图像；所述第二图像包括当前第二图像和天车未作业时的初始第二图像；
获取所述第一图像中所述横梁吊具的关键点坐标；所述关键点坐标包括所述横梁吊具左端点坐标、右端点坐标和中心点坐标；
获取所述左端点坐标和所述右端点坐标之间差值，根据所述初始第一图像的初始差值和所述当前第一图像的第一差值，判断所述横梁吊具的晃动范围，根据所述第一图像的所述左端点坐标和所述右端点坐标的变化量判断所述横梁吊具的晃动角度；
根据所述初始第一图像的中心点坐标与所述当前第一图像的中心点坐标之间的最大距离，判断所述横梁吊具的摆动范围；
获取所述第二图像中所述物体中心点坐标，根据所述初始第二图像中物体的中心点坐标与所述当前第二图像中物体的中心点坐标之间的最大距离，判断所述物体的摆动范围；
根据所述横梁吊具的摆动范围、晃动范围、晃动角度和所述物体的摆动范围，判断天车作业时的危险区域范围。
2.根据权利要求1所述的基于人工智能的冶金天车作业预警方法，其特征在于，该方法还包括步骤：
当所述物体为装满液体的罐体时，获取所述第二图像中所述罐体的罐口中心点坐标和所述罐内的液体中心点坐标，根据所述罐口中心点坐标和所述液体中心点坐标之间的平均距离，判断所述液体的晃动范围；
当所述液体的晃动范围超出所述罐体的摆动范围时，判断所述液体存在飞溅危险区域范围，结合所述飞溅危险区域范围和所述危险区域范围，重新确定所述危险区域范围为最终危险区域范围。
3.根据权利要求1和2所述的基于人工智能的冶金天车作业预警方法，其特征在于，该方法还包括：
所述当前第一图像中包括工作人员，获取所述人员的双脚关键点；
当所述双脚关键点在所述危险区域范围或最终危险区域范围内，发出预警并对天车进行减速；
当判断所述液体存在飞溅危险区域范围时，发出预警并对天车进行减速。
4.根据权利要求2所述的基于人工智能的冶金天车作业预警方法，其特征在于，所述判断所述液体的晃动范围还包括：
当判断所述液体的晃动范围不超出所述罐体的摆动范围时，重新获取所述危险区域范围。
5.根据权利要求1或2所述的基于人工智能的冶金天车作业预警方法，其特征在于：
所述危险区域和所述最终危险区域范围为矩形区域范围。
6.基于人工智能的冶金天车作业预警系统，其特征在于，该系统包括图像采集模块、关键点获取模块、横梁吊具分析模块、作业物体分析模块和危险区域判断模块；
所述图像采集模块，用于采集连续预定帧数横梁吊具区域的第一图像和天车作业物体区域的第二图像，所述第一图像包括当前第一图像和天车未作业时的初始第一图像；所述第二图像包括当前第二图像和天车未作业时的初始第二图像；
所述关键点获取模块，用于获取所述第一图像中所述横梁吊具的关键点坐标，获取所述第二图像中所述物体中心点坐标；所述关键点坐标包括所述横梁吊具左端点坐标、右端点坐标和中心点坐标；
所述横梁吊具分析模块，用于获取所述左端点坐标和所述右端点坐标之间差值，根据所述初始第一图像的初始差值和所述当前第一图像的第一差值，判断所述横梁吊具的晃动范围，根据所述第一图像的所述左端点坐标和所述右端点坐标的变化量判断所述横梁吊具的晃动角度；根据所述初始第一图像的中心点坐标与所述当前第一图像的中心点坐标之间的最大距离，判断所述横梁吊具的摆动范围；
所述作业物体分析模块，用于获取所述第二图像中所述物体中心点坐标，根据所述初始第二图像中物体的中心点坐标与所述当前第二图像中物体的中心点坐标之间的最大距离，判断所述物体的摆动范围；
所述危险区域判断模块，用于根据所述横梁吊具的摆动范围、晃动范围、晃动角度和所述物体的摆动范围，判断天车作业时的危险区域范围。
7.根据权利要求6所述的基于人工智能的冶金天车作业预警系统，其特征在于，该系统还包括液体分析模块和最终区域判断模块；
所述液体分析模块，用于当所述物体为装满液体的罐体时，获取所述第二图像中所述罐体的罐口中心点坐标和所述罐内的液体中心点坐标；根据所述罐口中心点坐标和所述液体中心点坐标之间的平均距离，判断所述液体的晃动范围；
所述最终区域判断模块，用于当所述液体的晃动范围超出所述罐体的摆动范围时，判断所述液体存在飞溅危险区域范围；结合所述飞溅危险区域范围和所述危险区域范围，重新确定所述危险区域范围为最终危险区域范围。
8.根据权利要求6和7所述的基于人工智能的冶金天车作业预警系统，其特征在于，该系统还包括预警模块；
所述预警模块，用于所述当前第一图像中包括工作人员，获取所述人员的双脚关键点；当所述双脚关键点在所述危险区域范围或最终危险区域范围内，发出预警并对天车进行减速；当判断所述液体存在飞溅危险区域范围时，发出预警并对天车进行减速。
9.根据权利要求7所述的基于人工智能的冶金天车作业预警系统，其特征在于，最终区域判断模块还包括区域获取单元；
所述区域获取单元，用于当判断所述液体的晃动范围不超出所述罐体的摆动范围时，重新获取所述危险区域范围。
10.根据权利要求6或7所述的基于人工智能的冶金天车作业预警系统，其特征在于：
所述危险区域和所述最终危险区域范围为矩形区域范围。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011565727.6A CN112723163A (zh) | 2020-12-25 | 2020-12-25 | 基于人工智能的冶金天车作业预警方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011565727.6A CN112723163A (zh) | 2020-12-25 | 2020-12-25 | 基于人工智能的冶金天车作业预警方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112723163A true CN112723163A (zh) | 2021-04-30 |
Family
ID=75616441
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011565727.6A Withdrawn CN112723163A (zh) | 2020-12-25 | 2020-12-25 | 基于人工智能的冶金天车作业预警方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112723163A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114360202A (zh) * | 2021-12-31 | 2022-04-15 | 江苏黑马国际展览有限公司 | 一种展台吊顶安全高度计算方法及防坠预警装置 |
| CN114634112A (zh) * | 2022-03-23 | 2022-06-17 | 深圳唯创安全技术有限公司 | 基于ai视觉和uwb技术起重机起吊区域的人员防撞系统 |
| CN115205929A (zh) * | 2022-06-23 | 2022-10-18 | 池州市安安新材科技有限公司 | 避免电火花切割机床工作台误控制的认证方法及系统 |
-
2020
- 2020-12-25 CN CN202011565727.6A patent/CN112723163A/zh not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114360202A (zh) * | 2021-12-31 | 2022-04-15 | 江苏黑马国际展览有限公司 | 一种展台吊顶安全高度计算方法及防坠预警装置 |
| CN114634112A (zh) * | 2022-03-23 | 2022-06-17 | 深圳唯创安全技术有限公司 | 基于ai视觉和uwb技术起重机起吊区域的人员防撞系统 |
| CN115205929A (zh) * | 2022-06-23 | 2022-10-18 | 池州市安安新材科技有限公司 | 避免电火花切割机床工作台误控制的认证方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112723163A (zh) | 基于人工智能的冶金天车作业预警方法及系统 | |
| US9738493B2 (en) | Tower slewing crane | |
| CN112850501B (zh) | 一种塔吊自动化防撞方法及系统 | |
| CN110642109B (zh) | 升降设备的振动检测方法、装置、服务器及存储介质 | |
| CN106986272B (zh) | 一种基于机器视觉跟踪的集装箱货柜车防吊起方法及系统 | |
| WO2020238714A1 (zh) | 一种高效的铁水预处理自动扒渣方法和系统 | |
| CN209778095U (zh) | 基于图像的复杂工业环境下天车挂钩安全检测系统 | |
| CN112429647A (zh) | 起重机的控制方法和控制装置 | |
| WO2010009570A1 (zh) | 一种起吊定位方法及起吊智能视觉系统 | |
| WO2020238715A1 (zh) | 一种安全可靠的铁水预处理自动扒渣方法和系统 | |
| KR20190078984A (ko) | 인양물의 크레인 충돌방지를 위한 감시 시스템 | |
| CN115272338A (zh) | 基于图像处理的天车控制方法 | |
| CN111879308A (zh) | 一种基于位姿感知技术的智能塔机安全监控系统及实现方法 | |
| CN112010187B (zh) | 一种基于塔吊的监测方法及装置 | |
| CN117474321A (zh) | 基于bim模型的施工现场风险智能识别方法及系统 | |
| CN118134970B (zh) | 基于图像识别的起重工和吊钩检测跟踪方法及系统 | |
| CN111560489A (zh) | 一种转炉出钢中的台车自动走行方法和系统 | |
| CN111522294A (zh) | 一种扒渣机的自动控制系统及方法 | |
| CN116081483A (zh) | 一种炼钢厂液态熔融金属吊运天车挂钩安全检测方法 | |
| CN108892042B (zh) | 一种钢水包耳轴吊装对位识别装置及方法 | |
| CN113014894B (zh) | 一种基于人工智能的石油井下作业安全盯控方法 | |
| CN115215221A (zh) | 塔式起重机及其控制方法、控制装置和控制器 | |
| JP7351231B2 (ja) | 吊荷監視装置、クレーン、吊荷監視方法及びプログラム | |
| CN210418993U (zh) | 起重机 | |
| CN114200474A (zh) | 一种钢丝绳安全监测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210430 |