CN117351649A - 一种综合YOLOv8和帧差法的落石识别监测系统及方法 - Google Patents

Abstract

本发明公开了一种综合YOLOv8和帧差法的落石识别监测系统及方法，包括前端数据采集模块、数据传输模块、算法处理模块、预警发布终端。前端数据采集模块在现场进行视频图像采集，通过GPRS网络数据传输模块将视频图像实时传输至算法处理模块；算法处理模块包括YOLOv8落石识别算法，帧差分判断石块运动，落石冲击力估算，用于识别、运动跟踪和估计落石危险性；报警发布终端安装在现场，当算法处理模块判断落石具有较大地面冲击力需要报警时，报警发布终端在现场通过声光电方式及时提醒人员疏散撤离。本发明能够提升险现场落石崩塌监测预警的准确度和时效性，在一定程度上挽救人民的生命财产安全。

Description

一种综合YOLOv8和帧差法的落石识别监测系统及方法

技术领域

本发明属于抢险现场应急监测预警技术领域，尤其涉及一种综合YOLOv8和帧差法的落石识别监测系统及方法。

背景技术

在我国川藏和新藏“两线”地质灾害易发区域，滑坡、泥石流和崩塌等灾害频发且危害巨大，而山体滑坡、泥石流和崩塌的前期主要表现是落石。落石的发生具有突发性和不可预测性等特点，目前针对落石的主要监测手段是视频监测和人工巡回方式，在地形险要的山区，人工巡回的方式缺乏对监测者的人生安全保障，且人工监测的方式存在漏报误报的情况，准确率不高。现有的视频监测大多未采用智能识别落石的算法，准确率低，且易受环境干扰，难以适应复杂的实际地质环境。

发明内容

本发明的目的在于提供一种综合YOLOv8和帧差法的落石识别监测系统及方法，实现抢险现场落石的识别监测预警。

实现本发明目的的技术解决方案为：

一种综合YOLOv8和帧差法的落石识别监测方法，包括以下步骤：

步骤S1、通过YOLOv8算法对落石进行识别；

步骤S2、利用摄像头对现场进行监测，若发现监测范围内有石块，则监控石块是否发生运动；对视频进行处理，通过帧差法判断石块是否发生运动；

步骤S3、当判断有石块运动时，计算落石的冲击力，当计算的落石冲击力达到设定阈值时，进行报警提醒。

一种综合YOLOv8和帧差法的落石识别监测系统，包括：

前端数据采集模块，用于对现场进行实时监控，获得现场的视频数据；

数据传输模块，用于将前端数据采集模块采集的视频数据传输给算法处理模块；

算法处理模块，用于通过训练好的YOLOv8算法对石块进行识别，通过帧差分判断石块是否运动，当判断出石块运动并进行落石冲击力估算，实现落石危险性的综合判断，当计算的落石冲击力大于设定阈值时，则向预警发布终端发送指令；

所述预警发布终端，用于根据算法处理模块的指令确定是否要进行报警。

本发明与现有技术相比，其显著优点是：

采用最新的YOLOv8基于图像的深度学习模型，识别精度高，不易受到环境影响；采用帧间差分法进行运动目标识别，识别算法简单高效，降低对山区环境下网络的依赖；通过估算落石对地面冲击力，过滤微小落石，降低系统的误报率。

附图说明

图1为一种综合YOLOv8和帧差法的落石识别方案流程图。

图2为YOLOv8落石识别算法流程图。

图3为帧差法运动目标识别算法流程图。

图4为落石冲击力估算流程图。

具体实施方式

下面结合附图及具体实施例对本发明做进一步的介绍。

结合图1，本实施例提供一种综合YOLOv8和帧差法的落石识别监测方法，包括以下步骤：

步骤S1、通过YOLOv8算法对落石进行识别，结合图2，具体包括以下步骤：

步骤S11、通过布设在抢险现场的高清网络夜视摄像头对整个监控范围进行图像采集，建立落石数据库。

通过采集不同背景、不同姿态、不同光照强度、有无阴影等不同状态下的落石图片，利用Labelimg软件对落石进行标注，并对采集到的样本数据集按比例随机划分为训练集和测试集。

摄像头距离监控区域20-50m，直视监控区域，同时确保所布设的摄像头数量加监控范围可以覆盖整个现场。

步骤12、利用YOLOv8算法对落石训练库中图片进行训练，具体为：

YOLOv8算法训练模型采用Darknet53框架，将输入的图片数据像素调整为600*600，训练步骤(training-steps)设置为10000，学习率(learning rate)为0.001，冲量(momentum)为0.9，衰减率(decay)为0.005。利用采集的落石图片训练模型，获取模型训练的准确率。

当训练的准确率结果达到90％时，则模型达标；若准确率未达到90％，重复步骤S11和步骤S12，对模型继续进行学习训练。

步骤S2、模型训练结果达标后，利用摄像头对现场进行监测，若发现监测范围内有石块，则监控石块是否发生运动。结合图3，具体过程如下：

步骤S21：对视频帧图像进行预处理，将其转换为灰度图像，使用单通道灰度值表示各像素点的亮度值I(x,y)。

步骤S22：计算相邻时刻的图像的灰度值的差值ΔIt(x,y)：

帧差分公式表示为：

ΔIt(x,y)＝|I(x,y,t)-I(x,y,t-1)|

其中，I(t,x,y)表示t时刻像素点(x,y)的灰度值，I(t-1,x,y)表示t-1时刻像素点(x,y)的灰度值。

步骤S23：当场景中有运动的目标时，ΔIt(x,y)值一般不为0。采用某个阈值T对ΔIt(x,y)进行阈值操作，规定当ΔIt(x,y)≥T的像素点为运动目标区域，从而得到运动目标的二值图像D_t(x,y)，如下式所示：

步骤S24：将D_t(x,y)＝1的区域与步骤S1中检测出的落石目标区域进行重叠度比较，若区域重叠度大于落石面积的90％，则认为落石目标发生了运动。

步骤S3、计算落石的冲击力，结合图4，具体过程如下：

步骤S31：若落石发生运动，首先计算出落石目标的质量。通过视频图像序列无法直接获取到落石目标的质量，因此采用落石横截面积综合距离远近来进行估计，公式如下：

m＝k·S·L

其中，m为落石目标的质量，k为常量系数，S为落石目标在发生运动后第一时刻t落石目标所占有的像素数量，L为落石目标最低点位置距离图像底部边框中点的距离。

视频图像序列只能获取到落石目标的横截面，因此通过横截面积来估算落石的体积。落石的横截面积通过落石目标在图像中所占有的像素数量来确定。

考虑到落石目标距离摄像头存在距离远近不一的问题，通过图像中落石最低点位置距离图片下底边框中点的距离来估算落石距离摄像头的远近，即公式中的L。

步骤S32：计算出落石下降的速度，从而计算出落石的加速度，公式如下：

其中，Δd为发生运动时第1帧到第5帧落石目标在图像中运动的距离，Δt为第1帧到第5帧所持续的时间，v为落石运动的速度，a为落石运动的加速度。

由于视频每一帧的时间间隔是相同的，因此Δt是相同的，通过计算落石在第1帧和第5帧中的不同位置，从而获取落石在图像上运动的距离，该距离可通过步骤S1中落石目标最低点位置的变化情况来计算。

步骤S33：落石对地面的冲击力为：

F＝m·a

其中，F是落石对地面的冲击力，m为步骤s1中估算的落石质量，a为步骤s2估算的落石加速度，根据两者相乘可获得落石对地面的冲击力。根据经验公式，可确定出危险阈值。当落石冲击力大于阈值时，算法处理模块发送预警信息至终端，终端报警提醒人员疏散撤离。

本实施例提供的一种综合YOLOv8和帧差法的落石预警系统，包括前端数据采集模块、数据传输模块、算法处理模块、预警发布终端；

所述前端数据采集模块通过布设多个摄像头对抢险现场进行实时监控，通过数据传输模块将图像视频流实时传输给算法处理模块；

本实施例中，所述前端数据采集模块包括前端数据采集摄像头和同于对其供电的供电设备；采用多个前端数据采集摄像头分布在现场的多个位置，保证监控范围可覆盖整个现场。前端数据采集摄像头为高清网络夜视摄像头，分辨率为3480*2160，帧率为20；同时，摄像头具备夜视和无线通信功能，整体布设距离在20-50m范围之间。

所述数据传输模块，通过GPRS方式将数据由前端数据采集模块传输至算法处理模块；

所述算法处理模块通过YOLOv8算法对石块进行识别，通过帧差分判断石块是否运动，当判断出石块运动并进行落石冲击力估算，综合判断落石的危险性，当计算的落石冲击力大于设定阈值时，则向预警发布终端发送指令；所述算法处理模块包括：

石块识别单元，利用训练好的YOLOv8算法对石块进行识别，其处理过程具见步骤1；

石块运动识别单元，用于识别石块是否发生运动，其处理过程具见步骤2；

落石冲击计算单元，当判断有石块运动时，用于计算落石的冲击力，当计算的落石冲击力达到设定阈值时，进行报警提醒，其处理过程具见步骤3；

所述预警发布终端根据算法处理模块的指令确定是否要进行报警。

所述预警发布终端包括电子警示牌和扩音器。预警发布终端收到指令后，通过声光电提醒现场人员及时撤离。

本实施例中，本发明的系统和方法，采用了YOLOv8落石识别算法、帧差法判断目标运动和地面冲击力估算方法，提高了对落石识别的准确率，通过判断石块运动和估算落石冲击力，过滤微小落石对结果的影响，进一步降低系统误报率，从而提高灾害预警的成功率。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种综合YOLOv8和帧差法的落石识别监测方法，其特征在于，包括以下步骤：

步骤S1、通过YOLOv8算法对落石进行识别；

步骤S2、利用摄像头对现场进行监测，若发现监测范围内有石块，则监控石块是否发生运动；对视频进行处理，通过帧差法判断石块是否发生运动；

步骤S3、当判断有石块运动时，计算落石的冲击力，当计算的落石冲击力达到设定阈值时，进行报警提醒。

2.根据权利要求1所述的综合YOLOv8和帧差法的落石识别监测方法，其特征在于，步骤S2具体包括：

步骤S21：对视频帧图像进行预处理，将视频帧图像转换为灰度图像，使用单通道灰度值表示各像素点的亮度值；

步骤S22：计算相邻时刻的图像的灰度值的差值ΔIt(x,y)：

ΔIt(x,y)＝|I(x,y,t)-I(x,y,t-1)|

其中，I(t,x,y)表示t时刻像素点(x,y)的灰度值，I(t-1,x,y)表示t-1时刻像素点(x,y)的灰度值；

步骤S23：得到运动目标的二值图像D_t(x,y)：

T为设定的阈值；

步骤S24：将D_t(x,y)＝1的区域与步骤S1中检测出的落石目标区域进行重叠度比较，若区域重叠度大于落石面积的设定范围，则认为落石目标发生了运动。

3.根据权利要求1所述的综合YOLOv8和帧差法的落石识别监测方法，其特征在于，步骤S3具体包括：

步骤S31、首先计算出落石目标的质量：

m＝k•S·L

其中，m为落石目标的质量，k为常量系数，S为落石目标在发生运动后第一时刻t落石目标所占有的像素数量，L为落石目标最低点位置距离图像底部边框中点的距离；

步骤S32：计算出落石下降的速度，从而计算出落石的加速度，公式如下：

其中，Δd为发生运动时第1帧到第n帧落石目标在图像中运动的距离，Δt为第1帧到第n帧所持续的时间，v为落石运动的速度，a为落石运动的加速度；

步骤S33：计算落石对地面的冲击力：

F＝m·a

其中，F是落石对地面的冲击力。

4.根据权利要求3所述的综合YOLOv8和帧差法的落石识别监测方法，其特征在于，其中n取5。

5.一种综合YOLOv8和帧差法的落石识别监测系统，其特征在于，包括：

前端数据采集模块，用于对现场进行实时监控，获得现场的视频数据；

数据传输模块，用于将前端数据采集模块采集的视频数据传输给算法处理模块；

算法处理模块，用于通过训练好的YOLOv8算法对石块进行识别，通过帧差分判断石块是否运动，当判断出石块运动并进行落石冲击力估算，实现落石危险性的综合判断，当计算的落石冲击力大于设定阈值时，则向预警发布终端发送指令；

所述预警发布终端端，用于根据算法处理模块的指令确定是否要进行报警。

6.根据权利要求5所述的综合YOLOv8和帧差法的落石识别监测系统，其特征在于，所述算法处理模块包括：

石块识别单元，利用训练好的YOLOv8算法对石块进行识别；

石块运动识别单元，用于对视频进行处理，通过帧差法判断石块是否发生运动；

落石冲击计算单元，当判断有石块运动时，用于计算落石的冲击力，当计算的落石冲击力达到设定阈值时，进行报警提醒。

7.根据权利要求6所述的综合YOLOv8和帧差法的落石识别监测系统，其特征在于，所述石块运动识别单元的处理过程为：

对视频帧图像进行预处理，将视频帧图像转换为灰度图像，使用单通道灰度值表示各像素点的亮度值；

计算相邻时刻的图像的灰度值的差值ΔIt(x,y)：

ΔIt(x,y)＝|I(x,y,t)-I(x,y,t-1)|

其中，I(t,x,y)表示t时刻像素点(x,y)的灰度值，I(t-1,x,y)表示t-1时刻像素点(x,y)的灰度值；

得到运动目标的二值图像D_t(x,y)：

T为设定的阈值；

将D_t(x,y)＝1的区域与检测出的落石目标区域进行重叠度比较，若区域重叠度大于落石面积的设定范围，则认为落石目标发生了运动。

8.根据权利要求6所述的综合YOLOv8和帧差法的落石识别监测系统，其特征在于，所述落石冲击计算单元的处理过程为：

首先计算出落石目标的质量：

m＝k•S•L

其中，m为落石目标的质量，k为常量系数，S为落石目标在发生运动后第一时刻t落石目标所占有的像素数量，L为落石目标最低点位置距离图像底部边框中点的距离；

计算出落石下降的速度，从而计算出落石的加速度，公式如下：

其中，Δd为发生运动时第1帧到第n帧落石目标在图像中运动的距离，Δt为第1帧到第n帧所持续的时间，v为落石运动的速度，a为落石运动的加速度；

计算落石对地面的冲击力：

F＝m·a

其中，F是落石对地面的冲击力。

9.根据权利要求6所述的综合YOLOv8和帧差法的落石识别监测系统，其特征在于，所述前端数据采集模块包括多个高清网络夜视摄像头，具备夜视和无线通信功能。