CN117775985A - 一种吊装作业的监测方法、装置、设备和存储介质 - Google Patents
一种吊装作业的监测方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN117775985A CN117775985A CN202311559411.XA CN202311559411A CN117775985A CN 117775985 A CN117775985 A CN 117775985A CN 202311559411 A CN202311559411 A CN 202311559411A CN 117775985 A CN117775985 A CN 117775985A
- Authority
- CN
- China
- Prior art keywords
- hoisted object
- detection frame
- hoisted
- operator
- video image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012544 monitoring process Methods 0.000 title claims abstract description 18
- 230000003068 static effect Effects 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000001514 detection method Methods 0.000 claims description 97
- 238000012806 monitoring device Methods 0.000 claims description 53
- 239000000725 suspension Substances 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 11
- 230000006399 behavior Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 229910000831 Steel Inorganic materials 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请提供一种吊装作业的监测方法、装置、设备和存储介质，涉及图像处理技术领域。一种吊装作业的监测方法，包括：获取吊装作业过程的视频图像；根据所述视频图像，确定吊装物是否处于暂停状态；确定处于暂停状态的所述吊装物是否相对静止；在所述吊装物不处于暂停状态或所述吊装物不是相对静止的情况下，获取所述吊装物与作业人员的实际距离，以确定是否触发安全警报。根据本申请的实施例，可在吊装作业过程中自动判断吊装物状态，保障现场作业人员的安全。
Description
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种吊装作业的监测方法、装置、设备和存储介质。
背景技术
在从仓储到运输的多个环节中，钢铁行业的物流存在诸多人为操作的作业安全隐患，需要通过引入视频监控设备进行远程视频确认。
现阶段，钢铁物流仓库对行车吊装作业的监管过程存在着不足，例如，现场作业人员的不规范行为需要通过人工查看录像视频回放的形式进行监管，无法及时遏制危险作业行为的发生。另外，人工查看录像视频时会出现不规范行为的遗漏和瞒报，在监管力度上存在偏差。
发明内容
根据本申请的一方面，提供一种吊装作业的监测方法，包括：获取吊装作业过程的视频图像；根据所述视频图像，确定吊装物是否处于暂停状态；确定处于暂停状态的所述吊装物是否相对静止；在所述吊装物不处于暂停状态或所述吊装物不是相对静止的情况下，获取所述吊装物与作业人员的实际距离，以确定是否触发安全警报。
根据一些实施例，根据所述视频图像，确定吊装物是否处于暂停状态，包括：获取所述视频图像中的吊装物的检测框和货车的检测框；根据所述货车的检测框在所述视频图像中的相对位置，在所述视频图像中设置决策区域；基于所述吊装物的检测框与所述决策区域的位置关系，确定所述吊装物是否处于暂停状态。
根据一些实施例，在所述视频图像中设置决策区域之后，根据所述视频图像，确定吊装物是否处于暂停状态还包括：获取所述吊装物的跟踪标识；以及获取所述决策区域的内部标识组和外部标识组，所述内部标识组和所述外部标识组均包含多个吊装物的跟踪标识。
根据一些实施例，所述暂停状态包括装货暂停状态和卸货暂停状态，其中基于所述吊装物的检测框与所述决策区域的位置关系，确定所述吊装物是否处于暂停状态，包括：获取所述吊装物的检测框底部中心坐标；在所述吊装物的检测框底部中心坐标处于所述决策区域内，且所述吊装物的跟踪标识不属于所述决策区域的内部标识组，以及所述吊装物的跟踪标识属于所述决策区域的外部标识组的情况下，确定所述吊装物处于所述装货暂停状态；在所述吊装物的检测框底部中心坐标不处于所述决策区域内，且所述吊装物的跟踪标识不属于所述决策区域的外部标识组，以及所述吊装物的跟踪标识属于所述决策区域的内部标识组的情况下，确定所述吊装物处于所述卸货暂停状态。
根据一些实施例，确定处于暂停状态的所述吊装物是否相对静止，包括：按预设帧数获取处于暂停状态的所述吊装物的检测框底部中心的纵坐标；计算预设帧数的所述吊装物的检测框底部中心的纵坐标的平均值；根据所述平均值的偏差值与预设的第一阈值的比较结果确定所述吊装物是否相对静止。
根据一些实施例，根据所述平均值的偏差值与预设的第一阈值的比较结果确定所述吊装物是否相对静止，包括：在所述偏差值小于等于所述第一阈值的情况下，确定所述吊装物相对静止；在所述偏差值大于所述第一阈值的情况下，确定所述吊装物不是相对静止。
根据一些实施例，在所述吊装物不处于暂停状态或所述吊装物不是相对静止的情况下，获取所述吊装物与作业人员的实际距离，以确定是否触发安全警报，包括：获取所述作业人员的检测框底部中心坐标；根据所述吊装物的检测框底部中心坐标和所述作业人员的检测框底部中心坐标，计算所述吊装物与所述作业人员的相对距离；根据所述相对距离计算所述吊装物与所述作业人员的实际距离；在所述吊装物与所述作业人员的实际距离小于预设的第二阈值的情况下，触发所述安全警报。
根据本申请的一方面，提供一种吊装作业的监测装置，包括：数据采集模块，用于获取吊装作业过程的视频图像；并获取所述视频图像中的吊装物的检测框、货车的检测框和作业人员的检测框；数据处理模块，用于根据所述货车的检测框在所述视频图像中的相对位置，在所述视频图像中设置决策区域；基于所述吊装物的检测框与所述决策区域的位置关系，确定所述吊装物是否处于暂停状态；确定处于暂停状态的所述吊装物是否相对静止；在所述吊装物不处于暂停状态或所述吊装物不是相对静止的情况下，获取所述吊装物与所述作业人员的实际距离；报警模块，用于根据所述吊装物与所述作业人员的实际距离，确定是否触发安全警报。
根据一些实施例，所述数据采集模块通过多个摄像头获取所述视频图像，并获取所述吊装物的检测框、所述货车的检测框和所述作业人员的检测框，其中，所述多个摄像头设置于吊车驾驶舱底部和吊车行车轨道两端。
根据本申请的一方面，提供一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如前述的方法。
根据本申请的一方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如前述的方法。
根据本申请的实施例，可对吊装作业过程进行实时视频监控，并通过对吊装物状态以及吊装物与作业人员的距离的自动确认，判断作业人员的行为是否违规，有效保障作业人员的安全，提升监管效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例。
图1示出根据本申请示例实施例的一种吊装作业的监测方法的流程图。
图2示出根据本申请示例实施例的通过视频图像确定吊装物状态的示意图。
图3示出根据本申请示例实施例的确定吊装物是否相对静止的示意图。
图4示出根据本申请示例实施例的确定吊装物与作业人员实际距离的示意图。
图5示出根据本申请示例实施例的一种吊装作业的监测装置的框图。
图6示出根据本申请示例实施例的电子设备的框图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本申请将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有这些特定细节中的一个或更多，或者可以采用其它的方式、组元、材料、装置或操作等。在这些情况下，将不详细示出或描述公知结构、方法、装置、实现、材料或者操作。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本申请提供一种吊装作业的监测方法、装置、设备和存储介质，用于对吊装作业过程进行实时监测，并可自动确认吊装物状态以及遏制作业人员危险作业行为的发生。
下面将参照附图，对根据本申请实施例的一种吊装作业的监测方法、装置、设备和存储介质进行详细说明。
本申请包含以下术语：
装货暂停状态，属于吊装物的暂停状态的一种。在吊车下放吊装物的过程中，需在吊装物接近落地位置前暂停吊车的操作，以便于现场作业人员在吊装物相对静止时接近吊装物并调整吊装物的落地位置，此时的吊装物处于装货暂停状态。
卸货暂停状态，属于吊装物的暂停状态的一种。在吊车吊起吊装物的过程中，需在吊装物被吊离初始位置后暂停吊车的操作，以便于现场作业人员在吊装物相对静止时接近吊装物并调整吊装物的起吊角度，此时的吊装物处于卸货暂停状态。
图1示出根据本申请示例实施例的一种吊装作业的监测方法的流程图。
如图1所示，在步骤S110中，监测装置获取吊装作业过程的视频图像。
例如，在步骤S110中，监测装置通过多个摄像头实时获取吊装作业过程的视频图像。
监测装置通过多角度设置的多个摄像头实时获取吊装作业过程的视频图像，同时，在通过多角度的摄像头获取的视频图像中模拟立体坐标系，以获取视频图像中吊装物的检测框、货车的检测框和作业人员的检测框的坐标。
在步骤S120中，根据视频图像，监测装置确定吊装物是否处于暂停状态。
例如，在步骤S120中，监测装置实时检测视频图像，以获取视频图像中吊装物的检测框和货车的检测框。进而，监测装置在视频图像中设置决策区域，并根据吊装物的检测框与决策区域的位置关系，确定吊装物是否处于暂停状态。
监测装置通过目标检测模型和目标追踪模型对视频图像进行多个目标的实时检测。在检测到吊装物和货车的情况下，监测装置获取吊装物的检测框和货车的检测框，并获取吊装物的检测框和货车的检测框的坐标。
根据一些实施例，目标检测模型和目标追踪模型在检测到多个目标的情况下，为相同类别(如吊装物、货车或作业人员)的多个目标分配独立且唯一的跟踪标识。
根据货车的检测框在视频图像中的相对位置，监测装置以视频图像中货车的货板为底，以预设高度(例如40cm)为高设置决策区域。
根据一些实施例，监测装置在决策区域中设置内部标识组和外部标识组，其中，内部标识组和外部标识组均包含多个吊装物的跟踪标识。
在设置决策区域后，监测装置获取吊装物的跟踪标识，以及吊装物的检测框底部中心坐标。监测装置通过吊装物的检测框底部中心坐标确定吊装物的检测框与决策区域的位置关系，同时，确定吊装物的跟踪标识是否属于决策区域的内部标识组或外部标识组，以此确定吊装物是否处于暂停状态。
例如，在吊装物的检测框底部中心坐标处于决策区域内，且吊装物的跟踪标识不属于决策区域的内部标识组，以及吊装物的跟踪标识属于决策区域的外部标识组的情况下，监测装置确定吊装物处于暂停状态中的装货暂停状态。
又例如，在吊装物的检测框底部中心坐标不处于决策区域内，且吊装物的跟踪标识不属于决策区域的外部标识组，以及吊装物的跟踪标识属于决策区域的内部标识组的情况下，监测装置确定吊装物处于暂停状态中的卸货暂停状态。
在步骤S130中，监测装置确定处于暂停状态的吊装物是否相对静止。
例如，在步骤S130中，监测装置计算按预设帧数获取的吊装物的检测框底部中心的纵坐标的平均值，以及计算此平均值与之前已求得的平均值的偏差值，并以此与预设的第一阈值进行比较，根据比较结果确定吊装物是否相对静止。
在吊装物处于暂停状态的情况下，从视频图像的当前帧开始，监测装置按预设帧数获取当前帧之后的各帧视频图像中吊装物的检测框底部中心的纵坐标，并计算预设帧数的吊装物的检测框底部中心的纵坐标的平均值。
根据一些实施例，预设帧数的吊装物的检测框底部中心的纵坐标的平均值averaget可通过如下公式计算：
averaget＝(averaget-1*(t-1)+yt)/t；
其中，t为从吊装物进入暂停状态的当前帧开始到目前的帧数(即预设帧数)，yt为最新一帧吊装物检测框底部中心的纵坐标值。
监测装置获取前一帧按预设帧数计算的吊装物的检测框底部中心的纵坐标的平均值，并以此计算与此次平均值的偏差值。
在偏差值小于等于预设的第一阈值的情况下，监测装置确定吊装物相对静止。
在偏差值大于预设的第一阈值的情况下，监测装置确定吊装物不是相对静止。在吊装物不是相对静止的情况下，监测装置确认吊装物的暂停状态结束。
在步骤S140中，在吊装物不处于暂停状态或吊装物不是相对静止的情况下，监测装置获取吊装物与作业人员的实际距离。
例如，在步骤S140中，在吊装物不处于暂停状态或吊装物不是相对静止的情况下，监测装置先计算视频图像中吊装物与作业人员的相对距离，进而根据摄像头的成像比例计算吊装物与作业人员的实际距离。
在吊装物不处于暂停状态或吊装物不是相对静止的情况下，监测装置获取吊装物的检测框底部中心坐标和作业人员的检测框底部中心坐标，并以此计算视频图像中的吊装物与作业人员的相对距离。
结合视频图像中的吊装物与作业人员的相对距离和获取视频图像的摄像头的成像比例，监测装置计算并获得吊装物与作业人员的实际距离。
进一步地，监测装置根据吊装物与作业人员的实际距离与预设的第二阈值的比较结果，确定是否触发安全警报。
根据一些实施例，在吊装物与作业人员的实际距离小于第二阈值的情况下，监测装置触发安全警报，以提醒现场的作业人员停止危险的作业行为。在吊装物与作业人员的实际距离大于等于第二阈值的情况下，监测装置不触发安全警报。
根据本申请的实施例，监测装置可通过对吊装作业过程的实时视频监控，自动确认吊装物的状态以及吊装物与作业人员的距离，从而提高安全作业的监管效率和覆盖率，弥补了人工监管的不足，同时可及时遏制危险作业行为，避免安全事故的发生。
图2示出根据本申请示例实施例的通过视频图像确定吊装物状态的示意图。
如图2所示，监测装置获取到的视频图像中包括货车100和吊装物200。
监测装置通过目标检测模型和目标追踪模型实时检测视频图像，获取吊装物200的检测框和货车100的检测框，同时，获取吊装物200的跟踪标识和吊装物200的检测框中各点的坐标，其中包括吊装物200的检测框底部中心点210的坐标。
监测装置以货车100的货板为底，以预设高度为高设置决策区域110。决策区域110包括内部标识组和外部标识组，其中，内部标识组和外部标识组均包含多个吊装物的跟踪标识。
监测装置通过确定吊装物200的检测框与决策区域110的位置关系确定吊装物200是否处于暂停状态，其中，
若点210的坐标处于决策区域内，且吊装物200的跟踪标识不属于决策区域110的内部标识组，以及吊装物200的跟踪标识属于决策区域110的外部标识组的情况下，监测装置确定吊装物200处于装货暂停状态。
若点210的坐标不处于决策区域内，且吊装物200的跟踪标识不属于决策区域110的外部标识组，以及吊装物200的跟踪标识属于决策区域110的内部标识组的情况下，监测装置确定吊装物200处于卸货暂停状态。
根据一些实施例，判断吊装物200是否处于暂停状态的伪代码可参考如下：
输入:目标检测模型f，目标追踪模型h，决策区域Ω，输入图像I，决策区域内部标识组In_id，决策区域外部标识组Out_id，暂停状态flag；
算法逻辑:
Id，[x1,y1]＝h(f(l))，获取吊装物检测框的跟踪标识id和底部中心坐标[x1,y1]；
if[x1,y1]在决策区域Ω内并且吊装物检测框的跟踪标识id不在决策区域内部标识组In_id中:
将id加入到In_id中；
If id在Out_id中:
flag＝“装货暂停”；
将该id从Out_id中移除；
elif[x1,y1]不在决策区域Ω内并且吊装物检测框的跟踪标识id不在决策区域外部标识组Out_id中:
将id加入到Out_id中；
if id在In_id中:
flag＝“卸货暂停”；
将该id从In_id中移除；
输出:flag.
根据本申请的实施例，可通过深度学习的目标检测模型和目标追踪模型实时对吊装作业过程进行视频图像监控，并自动判断吊装物的状态，提高了吊装作业监管的效率和准确度。
图3示出根据本申请示例实施例的确定吊装物是否相对静止的示意图。
如图3所示，在确定吊装物处于暂停状态后，监测装置获取吊装物在进入暂停状态的当前帧视频图像中吊装物检测框底部中心的坐标(x1，y1)。
监测装置继续获取从吊装物进入暂停状态的当前帧开始到目前最新一帧(即第6帧)中每一帧视频图像的吊装物检测框底部中心的坐标(x2，y2)、(x3，y3)、(x4，y4)、(x5，y5)和(x6，y6)。
监测装置通过公式计算由进入暂停状态的当前帧到最新的第6帧的吊装物的检测框底部中心的纵坐标的平均值average6，
average6＝(average5*5+y6)/6。
监测装置计算最新的第6帧的吊装物的检测框底部中心的纵坐标的平均值，与前一帧(即第5帧)的吊装物的检测框底部中心的纵坐标的平均值的偏差值average6-average5。
根据一些实施例，假设预设的第一阈值为15，则在average6-average5≤15时，监测装置确定吊装物相对静止。在average6-average5＞15时，监测装置确定吊装物不是相对静止，此时吊装物的暂停状态结束。
根据本申请的实施例，监测装置可自动判断吊装物是否相对静止，以便于作业人员接近吊装物进行作业，降低了吊装作业过程中的安全风险。
图4示出根据本申请示例实施例的确定吊装物与作业人员实际距离的示意图。
如图4所示，监测装置获取到的视频图像中包括吊装物200和作业人员300。
监测装置通过目标检测模型和目标追踪模型实时检测视频图像，获取吊装物200的检测框和作业人员300的检测框，同时，获取吊装物200和作业人员300的检测框中各点的坐标，其中包括吊装物200的检测框底部中心点210的坐标，以及作业人员300的检测框底部中心点310的坐标。
在吊装物200不处于暂停状态或吊装物200不是相对静止的情况下，监测装置通过点210的坐标以及点310的坐标计算视频图像中的吊装物200与作业人员300的相对距离400。
假设点210的坐标为(x7，y7)，点310的坐标为(x8，y8)，相对距离400的值为L，则L＝|x8-x7|。
若用于获取视频图像的摄像头的成像比例为K(即物体实际长度与物体成像长度的比值)，监测装置以此计算吊装物200与作业人员300的实际距离distance，distance＝L*K。
监测装置将吊装物200与作业人员300的实际距离distance与预设的第二阈值进行比较，并根据比较结果确定是否触发安全警报。
根据本申请的实施例，监测装置可自动检测吊装物与作业人员的距离，并及时触发警报，以保障作业人员的安全。
图5示出根据本申请示例实施例的一种吊装作业的监测装置的框图。
如图5所示，监测装置500包括数据采集模块510、数据处理模块520和报警模块530。
数据采集模块510通过多个摄像头获取吊装作业过程的视频图像。
根据一些实施例，数据采集模块510的多个摄像头可设置于吊车驾驶舱底部和吊车行车轨道两端，以使得数据采集模块510可从多个角度获取视频图像。
数据采集模块510还可通过目标检测模型和目标追踪模型获取视频图像中的吊装物、货车和作业人员各自的检测框，及其对应的坐标。
在检测到多个目标的情况下，数据采集模块510通过目标检测模型和目标追踪模型为相同类别(包括吊装物、货车或作业人员)的多个目标分配独立且唯一的跟踪标识。
根据一些实施例，目标检测模型可采用YoloV8模型，目标追踪模型可采用Deepsort模型。
数据处理模块520根据货车的检测框在视频图像中的相对位置，在视频图像中设置决策区域，并在决策区域中设置内部标识组和外部标识组，其中，内部标识组和外部标识组均包含多个吊装物的跟踪标识。
数据处理模块520对吊装物的检测框底部中心坐标是否处于决策区域内、吊装物的跟踪标识是否属于决策区域的内部或外部标识组进行判断，以此确定吊装物的检测框与决策区域的位置关系，从而确定吊装物是否处于暂停状态(装货暂停状态或卸货暂停状态)。
在吊装物处于暂停状态的情况下，数据处理模块520对预设帧数获取的吊装物的检测框底部中心的纵坐标的平均值、此平均值与之前已求得的平均值的偏差值进行计算，将计算结果与预设的第一阈值进行比较，以根据比较结果确定吊装物是否相对静止。
在吊装物不处于暂停状态或吊装物不是相对静止的情况下，数据处理模块520计算视频图像中吊装物与作业人员的相对距离，进而根据摄像头的成像比例计算吊装物与作业人员的实际距离。
报警模块530将吊装物与作业人员的实际距离与预设的第二阈值进行比较，并在吊装物与作业人员的实际距离小于第二阈值的情况下触发安全警报，以提醒现场的作业人员停止危险的作业行为。
根据一些实施例，报警模块530触发的安全警报包括声光警告等，并且，报警模块530可将触发安全警报时的当前帧视频图像保存，以用于信息反馈。
图6示出根据本申请示例实施例的电子设备的框图。
如图6所示，电子设备600仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书描述的根据本申请各种示例性实施方式的方法。例如，处理单元610可以执行如图1中所示的方法。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。根据本申请实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端或者网络设备等)执行根据本申请实施例的方法。
软件产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该计算机可读介质实现前述功能。
本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中，也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
根据本申请的一些实施例，本申请的技术方案可用于对吊装作业过程进行实时视频监控，并可自动确认吊装作业过程中吊装物的状态以及吊装物与作业人员的距离，及时遏制危险作业行为，有效保障现场人员安全，全面提升监管效率和力度。
以上对本申请实施例进行了详细介绍，以上实施例的说明仅用于帮助理解本申请的方法及其核心思想。同时，本领域技术人员依据本申请的思想，基于本申请的具体实施方式及应用范围上做出的改变或变形之处，都属于本申请保护的范围。综上所述，本说明书内容不应理解为对本申请的限制。
Claims (11)
1.一种吊装作业的监测方法，其特征在于，包括：
获取吊装作业过程的视频图像；
根据所述视频图像，确定吊装物是否处于暂停状态；
确定处于暂停状态的所述吊装物是否相对静止；
在所述吊装物不处于暂停状态或所述吊装物不是相对静止的情况下，获取所述吊装物与作业人员的实际距离，以确定是否触发安全警报。
2.根据权利要求1所述的方法，其特征在于，根据所述视频图像，确定吊装物是否处于暂停状态，包括：
获取所述视频图像中的吊装物的检测框和货车的检测框；
根据所述货车的检测框在所述视频图像中的相对位置，在所述视频图像中设置决策区域；
基于所述吊装物的检测框与所述决策区域的位置关系，确定所述吊装物是否处于暂停状态。
3.根据权利要求2所述的方法，其特征在于，在所述视频图像中设置决策区域之后，根据所述视频图像，确定吊装物是否处于暂停状态还包括：
获取所述吊装物的跟踪标识；以及
获取所述决策区域的内部标识组和外部标识组，所述内部标识组和所述外部标识组均包含多个吊装物的跟踪标识。
4.根据权利要求3所述的方法，其特征在于，所述暂停状态包括装货暂停状态和卸货暂停状态，其中基于所述吊装物的检测框与所述决策区域的位置关系，确定所述吊装物是否处于暂停状态，包括：
获取所述吊装物的检测框底部中心坐标；
在所述吊装物的检测框底部中心坐标处于所述决策区域内，且所述吊装物的跟踪标识不属于所述决策区域的内部标识组，以及所述吊装物的跟踪标识属于所述决策区域的外部标识组的情况下，确定所述吊装物处于所述装货暂停状态；
在所述吊装物的检测框底部中心坐标不处于所述决策区域内，且所述吊装物的跟踪标识不属于所述决策区域的外部标识组，以及所述吊装物的跟踪标识属于所述决策区域的内部标识组的情况下，确定所述吊装物处于所述卸货暂停状态。
5.根据权利要求1所述的方法，其特征在于，确定处于暂停状态的所述吊装物是否相对静止，包括：
按预设帧数获取处于暂停状态的所述吊装物的检测框底部中心的纵坐标；
计算预设帧数的所述吊装物的检测框底部中心的纵坐标的平均值；
根据所述平均值的偏差值与预设的第一阈值的比较结果确定所述吊装物是否相对静止。
6.根据权利要求5所述的方法，其特征在于，根据所述平均值的偏差值与预设的第一阈值的比较结果确定所述吊装物是否相对静止，包括：
在所述偏差值小于等于所述第一阈值的情况下，确定所述吊装物相对静止；
在所述偏差值大于所述第一阈值的情况下，确定所述吊装物不是相对静止。
7.根据权利要求1所述的方法，其特征在于，在所述吊装物不处于暂停状态或所述吊装物不是相对静止的情况下，获取所述吊装物与作业人员的实际距离，以确定是否触发安全警报，包括：
获取所述作业人员的检测框底部中心坐标；
根据所述吊装物的检测框底部中心坐标和所述作业人员的检测框底部中心坐标，计算所述吊装物与所述作业人员的相对距离；
根据所述相对距离计算所述吊装物与所述作业人员的实际距离；
在所述吊装物与所述作业人员的实际距离小于预设的第二阈值的情况下，触发所述安全警报。
8.一种吊装作业的监测装置，其特征在于，包括：
数据采集模块，用于获取吊装作业过程的视频图像；并获取所述视频图像中的吊装物的检测框、货车的检测框和作业人员的检测框；
数据处理模块，用于根据所述货车的检测框在所述视频图像中的相对位置，在所述视频图像中设置决策区域；基于所述吊装物的检测框与所述决策区域的位置关系，确定所述吊装物是否处于暂停状态；确定处于暂停状态的所述吊装物是否相对静止；在所述吊装物不处于暂停状态或所述吊装物不是相对静止的情况下，获取所述吊装物与所述作业人员的实际距离；
报警模块，用于根据所述吊装物与所述作业人员的实际距离，确定是否触发安全警报。
9.根据权利要求8所述的装置，其特征在于，所述数据采集模块通过多个摄像头获取所述视频图像，并获取所述吊装物的检测框、所述货车的检测框和所述作业人员的检测框，其中，所述多个摄像头设置于吊车驾驶舱底部和吊车行车轨道两端。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311559411.XA CN117775985A (zh) | 2023-11-21 | 2023-11-21 | 一种吊装作业的监测方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311559411.XA CN117775985A (zh) | 2023-11-21 | 2023-11-21 | 一种吊装作业的监测方法、装置、设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117775985A true CN117775985A (zh) | 2024-03-29 |
Family
ID=90398885
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311559411.XA Pending CN117775985A (zh) | 2023-11-21 | 2023-11-21 | 一种吊装作业的监测方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117775985A (zh) |
-
2023
- 2023-11-21 CN CN202311559411.XA patent/CN117775985A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105574683A (zh) | 一种全方位变电站巡检系统及方法 | |
| Ren et al. | Real-time anticollision system for mobile cranes during lift operations | |
| Park et al. | An analysis on safety risk judgment patterns towards computer vision based construction safety management | |
| Chian et al. | Dynamic identification of crane load fall zone: A computer vision approach | |
| CN113911922B (zh) | 智能塔吊回转全过程状况监测传感方法和系统 | |
| Li et al. | Intelligent hoisting with car-like mobile robots | |
| JP2003118981A (ja) | クレーン接近警報装置 | |
| CN113960953A (zh) | 一种基于物联网技术的智能工地应用系统及其使用方法 | |
| CN106629406B (zh) | 塔吊监控系统及方法 | |
| Lim et al. | Computer vision process development regarding worker’s safety harness and hook to prevent fall accidents: focused on system scaffolds in South Korea | |
| CN115072598A (zh) | 基于人工智能的塔吊监测方法和装置 | |
| WO2022235209A1 (en) | A system and method for detecting a hazard and for determining construction site progress | |
| CN117775985A (zh) | 一种吊装作业的监测方法、装置、设备和存储介质 | |
| KR102635902B1 (ko) | Ai 로봇을 이용한 건설 현장의 작업 공정별 상황 인식 및 안전 관리 시스템 | |
| CN116692705A (zh) | 一种群塔吊防碰撞监控方法、装置、电子设备及存储介质 | |
| CN116409716A (zh) | 起重机运行状态监控系统和方法 | |
| CN116664343A (zh) | 一种基于智慧工地数字模型的系统及方法 | |
| CN116342013A (zh) | 基于边缘计算的服务区危化品车辆智能监管系统及方法 | |
| CN114314347B (zh) | 起重机械安全监控管理系统 | |
| CN112990660B (zh) | 石油化工灭火救援辅助控制方法、系统、存储介质、终端 | |
| CN113277431B (zh) | 一种塔机防碰撞监测系统 | |
| CN112991670A (zh) | 消防危险区域分类管控方法、系统、存储介质、处理终端 | |
| WO2018168537A1 (en) | Learning target apparatus and operating method | |
| KR20240016118A (ko) | 인공지능 기반 영상인식 기술을 이용한 지능형 항만작업 관제 방법 및 시스템 | |
| Zhang et al. | Digital technologies for enhancing crane safety in construction: a combined quantitative and qualitative analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |