CN114267155A - 一种基于视频识别技术的地质灾害监测预警系统 - Google Patents
一种基于视频识别技术的地质灾害监测预警系统 Download PDFInfo
- Publication number
- CN114267155A CN114267155A CN202111303040.XA CN202111303040A CN114267155A CN 114267155 A CN114267155 A CN 114267155A CN 202111303040 A CN202111303040 A CN 202111303040A CN 114267155 A CN114267155 A CN 114267155A
- Authority
- CN
- China
- Prior art keywords
- slope
- early warning
- geological disaster
- unit
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 71
- 238000005516 engineering process Methods 0.000 title claims abstract description 33
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 27
- 238000010586 diagram Methods 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 15
- 238000012423 maintenance Methods 0.000 claims description 45
- 230000011218 segmentation Effects 0.000 claims description 26
- 238000003860 storage Methods 0.000 claims description 25
- 238000012549 training Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 17
- 238000010008 shearing Methods 0.000 claims description 16
- 238000004088 simulation Methods 0.000 claims description 13
- 238000005520 cutting process Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 12
- 238000005096 rolling process Methods 0.000 claims description 9
- 238000005065 mining Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 239000011435 rock Substances 0.000 claims description 6
- 230000001960 triggered effect Effects 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000005336 cracking Methods 0.000 claims 3
- 230000006870 function Effects 0.000 abstract description 9
- 238000013135 deep learning Methods 0.000 abstract description 5
- 238000004364 calculation method Methods 0.000 abstract description 4
- 230000007246 mechanism Effects 0.000 abstract description 2
- 238000011160 research Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 239000010985 leather Substances 0.000 description 3
- 239000004575 stone Substances 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000010248 power generation Methods 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种基于视频识别技术的地质灾害监测预警系统，涉及地质灾害监测领域。本发明结合边坡变形、破坏机理，图像识别的边坡形变深度学习框架和动态目标识别技术，建立边坡形变识别单元、边坡灾害识别单元，并实现本地预警和远程预警；通过双目测距能以低成本得到RGBD图像，且可以结合图像叠加等技术，实现去雾、图像增强等功能，相比于传统的激光雷达获得深度数据，兼具成本与功能优势；本发明所使用的轻量级卷积神经网络架构(SFNet)采用了切分模块层，相比目前通用的轻量级卷积神经网络,在卷积核数目及输入特征图通道数相同时,SFNet的参数和计算量更少,分类正确率更高，相比标准卷积,在网络复杂度大幅降低。
Description
技术领域
本发明涉及地质灾害监测领域，尤其涉及一种基于视频识别技术的地质灾害监测预警系统。
背景技术
随着社会的发展，我国在大力推进新能源体系的建设，其中，水力发电作为一种清洁无污染，且能再生的发电源，具备广阔的发展与推广空间。但是，水力发电站，特别是大型水力发电站通常建设在地势险要地段，其地理环境复杂多变，我们在做好前期勘探工作的同时，还需要后期对地质灾害进行24小时的监测与预警。
水力发电站需要建立大坝，而大坝时长会建设在泥石流沟处，其地理条件决定了该地容易发生泥石流等地质灾害。然而通过传统的通过安保人员进行24小时值守，很难实现完备的地质灾害预警，由于安保人员在复杂的天气、地理条件下观察受限，加之监测时间长，很容易无法及时对地质灾害进行预警，同时，当发生地质灾害，需要进行预警时，也很难及时通知到相关人员进行疏散撤离。
为此：公开号为：CN112711033A的发明申请提供了一种边坡安全监测预警装置和预警方法，该装置包括：云台；设置在所述云台上的激光雷达，用于实时获取目标边坡的点云数据；设置在所述云台上的相机，用于实时获取所述目标边坡的图像数据，所述激光雷达和所述相机进行了预标定；控制器，用于对所述点云数据进行滤波处理，剔除离群点，所述控制器还用于对剔除离群点后的点云数据和所述图像数据通过换算矩阵运算融合，得到附带三维坐标的彩色图像数据；所述控制器还用于根据所述彩色图像数据对边坡表面进行深度变化监测，当监测到所述目标边坡发生灾害或形变时向云端进行预警。本发明相比于传统边坡监测手段，边坡建模精度高、装置布设方便、费用低。
但是，该申请所采用的激光雷达成本高昂，还需要配合相机才能得到附带三维坐标的彩色图像数据，此外，该方法的识别计算量大，无法进行边缘部署，其部署成本高昂，且响应存在延迟。
为更好保证大坝安全运行，同时更好监控大坝上游边坡变形、破坏，保障生产需要，计划开展基于视频识别技术地质灾害监测预警系统研究工作。实现边坡安全可视化呈现、数字化应用、智能化预警，保证革什扎公司电厂站安全稳定运行。
因此，有必要提供新的一种基于视频识别技术的地质灾害监测预警系统来解决上述技术问题。
发明内容
为解决上述之一技术问题，本发明提供的一种基于视频识别技术的地质灾害监测预警系统，对水坝边坡进行实时监控和地质灾害预警，包括地质灾害监测系统、地质灾害识别系统和地质灾害预警系统。
进一步的，所述地质灾害监测系统包括图像采集单元、图像预处理单元、像素定位单元和深度图像单元；所述图像采集单元通过视频采集设备采集边坡实时视频数据，并对边坡实时视频数据进行抽帧，得到边坡原始图像数据；所述图像处理单元用于对边坡原始图像数据进行预处理操作，并得到边坡实时图像数据；所述像素定位单元用于对边坡实时图像数据各像素点进行三维定位，并得到边坡点云数据；所述深度图像单元用于将边坡点云数据转化为边坡实时深度图像数据；其中，所述地质灾害监测系统对采集设备的各帧时序数据进行保留。
进一步的，所述地质灾害识别系统包括边坡形变识别单元、边坡灾害识别单元；所述边坡形变识别单元用于通过边坡的边坡实时深度图像数据进行边坡形变检测；所述边坡灾害识别单元用于通过边坡的边坡实时深度图像数据进行边坡地质灾害检测。
进一步的，所述地质灾害预警系统包括地质灾害本地预警单元和地质灾害远程预警单元；所述地质灾害本地预警单元用于在检测到发生边坡地质灾害和/或形变时进行本地预警；所述质灾害远程预警单元用于在检测到发生边坡地质灾害和/或形变时进行远程预警。
作为更进一步的解决方案，所述图像采集单元为双目图像采集单元，通过设置双目摄像头对边坡进行图像采集；所述像素定位单元为双目像素定位单元，通过双目定位法对各像素点进行双目深度定位，并得到各像素点三维坐标数据，通过将像素信息和三维坐标数据进行匹配，得到边坡点云数据。
作为更进一步的解决方案，所述深度图像单元是基于自动深度图生成的点云处理单元；通过预先设置边坡基准深度图像，作为深度图像单元的基准面，并对实时接收到的边坡点云数据进行深度处理，得到边坡实时深度图像数据，其中，所述深度处理即将边坡基准深度图像按照像素点进行对应自动做差。
作为更进一步的解决方案，所述边坡形变识别单元是基于卷积神经网络的图像识别单元，通过边坡的边坡实时深度图像数据进行边坡形变检测，所述边坡形变检测包括边坡表面沉降、边坡表面相对变形、边坡不均匀沉降、边坡坡体深度位移。
作为更进一步的解决方案，所述边坡灾害识别单元是基于卷积神经网络的图像识别单元，通过边坡的边坡实时深度图像数据进行边坡地质灾害检测，所述边坡地质灾害检测包括边坡平推滑移、边坡滑移-拉裂、边坡蠕滑-拉裂、边坡滑移-拉裂-剪断、边坡滑移-弯曲-剪断、边坡塑流-拉裂、边坡压缩-倾倒-剪断和边坡塌陷-拉裂-剪断。
作为更进一步的解决方案，所述边坡形变识别单元、边坡灾害识别单元的卷积神经网络均采用轻量级卷积神经网络架构(SFNet)，并通过输入不同的训练样本进行训练，所述轻量级卷积神经网络架构(SFNet)包括Conv2d层、切分模块层、全局平局池化层、标准卷积层和分类器层，通过轻量级卷积神经网络架构(SFNet)对特征图进行处理；
其中，输入切分模块层的特征图尺寸为Df*Df，通道数为M，切分模块层输出的特征图尺寸与输入特征图尺寸相同；所述切分模块层包括切分模块一层和切分模块二层，所述切分模块一层用于切分特征图和卷积操作，包括一层深度卷积和二层逐点卷积；
所述一层深度卷积使用单通道卷积核对特征图的各通道进行单独进行滤波并分别输出，将特征图延通道维度分割为4份
的子特征图，在使用四个不同尺寸的卷积核：1*Dk*1、Dk*1*1、Dk*Dk*1、1*1*1分别对子特征图进行独立卷积操作；所述二层逐点卷积用于将各通道对应输出进行线性组合，得到Df*Df*M的切分模块一层输出图，其中，Dk为卷积核大小；
所述切分模块二层用于对切分模块一层输出图进行通道融合，通过1*1*M卷积核处理切分模块一层输出图，得到切分模块二层输出图。
作为更进一步的解决方案，所述边坡实时深度图像数据为RGB_D深度图像数据，包括Red、Green、Blue和Deep四个通道。
作为更进一步的解决方案，所述训练样本保存在地质灾害样本库中，所述地质灾害样本库包括模拟样本库和实采样本库；所述模拟样本库用于保存人工模拟地质灾害/边坡形变并进行采集的模拟训练样本图像，所述实采样本库用于保存真实地质灾害/边坡形变并进行采集的实采训练样本图像。
作为更进一步的解决方案，所述地质灾害本地预警单元和地质灾害远程预警单元均通过中控台进行控制，所述地质灾害本地预警单元包括预警广播器和预警灯；所述预警广播器和预警灯均与中央控制台电性连接，所述中控台设置有预警麦克风，所述预警广播器、预警灯安装在各预警区域内，通过预警麦克风与预警广播器配合，实现本地预警；所述地质灾害远程预警单元通过无线网络与应急联络人进行通信连接。
作为更进一步的解决方案，还包括动态目标跟踪识别系统，所述动态目标跟踪识别系统用于监测和识别动态目标，并对动态目标进行识别预警；所述动态目标跟踪识别系统包括动态目标识别端和动态目标跟踪监测端，所述动态目标识别端通过不同的动态目标图像对卷积神经网络训练得到，并能对动态目标进行分类识别，所述分类识别包括动态目标名称、动态目标大小、是否为危险动态目标；所述动态目标跟踪监测端用于跟踪动态目标，并计算动态目标运动速度和运动路径。
作为更进一步的解决方案，还包括运维数据库，所述运维数据库包括运维日志存储端、运维图像存储端和监测视频存储端。
进一步的，所述运维日志存储端用于存储所述地质灾害监测预警系统的运维日志，所述运维日志包括事件发生日志、系统检修日志、系统维护日志，所述各运维日志通过人工和/或系统自动生成并进行写入。
进一步的，所述运维图像存储端用于保存所述地质灾害监测预警系统的运维图像，所述运维图像包括事件发生记录图像、白天历史记录图像、夜晚历史记录图像，所述白天历史记录图像、夜晚历史记录图像均为系统每日自动定时触发，并将若干实时图像进行自动保存；所述事件发生记录图像为系统在监测到发生边坡形变/地址灾害/滚石时进行事件触发，并将事件发生时的实时图像进行自动保存。
进一步的，所述监测视频存储端用于保存所述地质灾害监测预警系统的运维视频，所述运维视频包括事件发生记录视频发生记录视频、白天历史记录视频、夜晚历史记录视频，所述白天历史记录视频、夜晚历史记录视频均为系统全天候触发，并将实时视频进行自动保存；所述事件发生记录视频为系统在监测到发生边坡形变/地址灾害/滚石时进行事件触发，并将事件发生时的实时视频进行自动保存；其中，所述白天历史记录视频、夜晚历史记录视频为临时存储数据，在到达数据清理期或存储空间不足时进行自动清理。
与相关技术相比较，本发明提供的一种基于视频识别技术的地质灾害监测预警系统具有如下有益效果：
1、本发明针对吉牛水电站青杠林等泥石流沟地形，结合边坡变形、破坏机理，图像识别的边坡形变深度学习框架和动态目标识别技术，建立边坡形变识别单元、边坡灾害识别单元，并实现本地预警和远程预警；
2、本发明通过双目测距能以低成本得到RGBD图像，且可以结合图像叠加等技术，实现去雾、图像增强等功能，相比于传统的激光雷达获得深度数据，兼具成本与功能优势；
3、本发明所使用的轻量级卷积神经网络架构(SFNet)采用了切分模块层，所述切分模块层通过深度可分离卷积将特征图进行不同片段上分别使用大小形状各不相同的多种形式的卷积核进行卷积操作,增加特征提取的多样性，相比目前通用的轻量级卷积神经网络,在卷积核数目及输入特征图通道数相同时,SFNet的参数和计算量更少,分类正确率更高，相比标准卷积,在网络复杂度大幅降低的情况下,切分模块的分类正确率持平甚至更高；
4、本发明通过添加动态目标跟踪识别系统对动态目标尤其是滚石进行监测，增强监测系统的实用性。
附图说明
图1为本发明实施例提供的一种基于视频识别技术的地质灾害监测预警系统的较佳的系统示意图；
图2为本发明实施例提供的轻量级卷积神经网络架构(SFNet)较佳的切分模块层的切分示意图。
具体实施方式
下面结合附图和实施方式对本发明作进一步说明。
如图1与图2所示，本实施例提供的一种基于视频识别技术的地质灾害监测预警系统，对水坝边坡进行实时监控和地质灾害预警，包括地质灾害监测系统、地质灾害识别系统和地质灾害预警系统。
进一步的，所述地质灾害监测系统包括图像采集单元、图像预处理单元、像素定位单元和深度图像单元；所述图像采集单元通过视频采集设备采集边坡实时视频数据，并对边坡实时视频数据进行抽帧，得到边坡原始图像数据；所述图像处理单元用于对边坡原始图像数据进行预处理操作，并得到边坡实时图像数据；所述像素定位单元用于对边坡实时图像数据各像素点进行三维定位，并得到边坡点云数据；所述深度图像单元用于将边坡点云数据转化为边坡实时深度图像数据；其中，所述地质灾害监测系统对采集设备的各帧时序数据进行保留。
进一步的，所述地质灾害识别系统包括边坡形变识别单元、边坡灾害识别单元；所述边坡形变识别单元用于通过边坡的边坡实时深度图像数据进行边坡形变检测；所述边坡灾害识别单元用于通过边坡的边坡实时深度图像数据进行边坡地质灾害检测。
进一步的，所述地质灾害预警系统包括地质灾害本地预警单元和地质灾害远程预警单元；所述地质灾害本地预警单元用于在检测到发生边坡地质灾害和/或形变时进行本地预警；所述质灾害远程预警单元用于在检测到发生边坡地质灾害和/或形变时进行远程预警。
需要说明的是：水力发电站需要建立大坝，而大坝时长会建设在泥石流沟处，其地理条件决定了该地容易发生泥石流等地质灾害。以吉牛水电站为例：吉牛水电站位于四川省甘孜藏族自治州丹巴县境内，是大金川河一级支流革什扎河水电规划“一库四级”开发方案的最末一个梯级电站，为低闸引水式电站。水库正常蓄水位2378.00m，总库容197.5万m3，电站装机容量2×120MW。
其自然条件：
| 多年极端最高气温(℃) | 39.0℃ |
| 多年极端最低气温(℃) | -10.6℃ |
| 多年平均气温 | 14.3℃ |
| 海拔高低 | 2000m |
| 平均相对湿度 | 52％ |
故本实施例针对吉牛水电站青杠林等泥石流沟地形，建立基于远距离激光夜视仪视频识别技术的边坡形态变化预警系统；拟通过视频集中取样分析设备、远距离激光夜安全防范探测监控设备、人工智能技术等，融合边坡日夜转换视频数据，通过分析边坡日夜数据特性，结合边坡变形、破坏机理，研究图像识别的边坡形变深度学习框架及视频面向视频序列的动态目标识别技术，建立边坡明显形态变化预警系统。
为更好保证大坝安全运行，同时更好监控大坝上游边坡变形、破坏，保障生产需要，计划开展基于视频识别技术地质灾害监测预警系统研究工作。实现边坡安全可视化呈现、数字化应用、智能化预警，保证革什扎公司电厂站安全稳定运行。以达到如下目的：
(1)研究用于边坡形变图像识别的深度学习框架，开展主流深度学习框架的研究，根据本地化计算终端，研究低算力配置的边坡形变及室外环境干扰特征选取的高效深度学习框架，打造针对性模型，实现工业级应用方案设计，并保证其可移植性、实用性、泛化性等。
(2)研究室外恶劣环境免维护一体化视频监视分析成套设备，保证夏季暴雨等天气下，长期有效地对边坡进行视频数据采集和分析预警。
(3)基于选择的深度学习框架和模拟样本库，研究边坡形变及室外环境干扰目标提取与缺陷诊断技术研究，针对边坡及周边环境特点设计深度网络模型进行图像特征提取，使用SFNet的网络结构单元拓展定义不同数量的特征提取层，增强图像中对目标集合形变的识别能力。
本实施例就旨在提供基于视频识别技术的地质灾害监测预警系统，保证夏季暴雨等天气下，长期有效地对边坡进行视频数据采集和分析预警，且能做到及时响应等。
作为更进一步的解决方案，所述图像采集单元为双目图像采集单元，通过设置双目摄像头对边坡进行图像采集；所述像素定位单元为双目像素定位单元，通过双目定位法对各像素点进行双目深度定位，并得到各像素点三维坐标数据，通过将像素信息和三维坐标数据进行匹配，得到边坡点云数据。
需要说明的是：相比于传统的激光雷达获得深度数据，本实施例通过双目测距能以低成本得到RGBD图像，且可以结合图像叠加等技术，实现去雾、图像增强等功能，兼具成本与功能。本实施例采用主副摄像头结构，主摄像头需要具备强大的摄像要求：1/1.8英寸CMOS；支持超星光级超低照度；支持光学透雾，雾天也能输出清晰、透彻图像；支持雨刷功能；像素：400万；IP66防护等级；最大分辨率：2560×1440；最大补光距离：2.5km(激光)；车牌最大可识别距离：1130m；镜头焦距：10mm～600mm；镜头光圈：F1.8～F5.0；视场角：水平：41.2°～1.2°垂直：22.6°～0.7°对角：46.3°～1.4°；光学变倍：60倍；近摄距：1.5m；支持断电记忆；视频压缩标准：H.264H；H.264M；H.264B；Smart H.264；H.265；Smart H.265；日夜转换：ICR自动切换/电子彩转黑；支持强光抑制；支持背光补偿；电子防抖；数字变倍：6倍；网络接口：1个(内置RJ-45网口，支持10M/100M网络数据)；接入标准：35114A级，CGI；GB/T28181；ONVIF(Profile S&G)；存储功能：最大支持256G；工作温度：-35℃～+70℃；工作湿度：≤95％。
作为更进一步的解决方案，所述深度图像单元是基于自动深度图生成的点云处理单元；通过预先设置边坡基准深度图像，作为深度图像单元的基准面，并对实时接收到的边坡点云数据进行深度处理，得到边坡实时深度图像数据，其中，所述深度处理即将边坡基准深度图像按照像素点进行对应自动做差。
需要说明的是：本实施例采用TOF双目测距法得到深度数据，所述TOF双目测距法为成熟算法，故不做赘述。
作为更进一步的解决方案，所述边坡形变识别单元是基于卷积神经网络的图像识别单元，通过边坡的边坡实时深度图像数据进行边坡形变检测，所述边坡形变检测包括边坡表面沉降、边坡表面相对变形、边坡不均匀沉降、边坡坡体深度位移。
作为更进一步的解决方案，所述边坡灾害识别单元是基于卷积神经网络的图像识别单元，通过边坡的边坡实时深度图像数据进行边坡地质灾害检测，所述边坡地质灾害检测包括边坡平推滑移、边坡滑移-拉裂、边坡蠕滑-拉裂、边坡滑移-拉裂-剪断、边坡滑移-弯曲-剪断、边坡塑流-拉裂、边坡压缩-倾倒-剪断和边坡塌陷-拉裂-剪断。
需要说明的是：本本实施例设计一种基于视频识别技术地质灾害监测预警系统研究；并详细涉及建立室外恶劣环境免维护一体化视频监视分析成套设备；实现由于边坡平推(滑移)式、滑移-拉裂、蠕滑-拉裂、滑移-拉裂-剪断、滑移-弯曲-剪断、塑流-拉裂、压缩-倾倒-剪断、塌陷-拉裂-剪断等原因导致的边坡不安全形变的智能识别，并保证识别率不低于80％，边坡形变报警准确率不低于85％。
作为更进一步的解决方案，所述边坡形变识别单元、边坡灾害识别单元的卷积神经网络均采用轻量级卷积神经网络架构(SFNet)，并通过输入不同的训练样本进行训练，所述轻量级卷积神经网络架构(SFNet)包括Conv2d层、切分模块层、全局平局池化层、标准卷积层和分类器层，通过轻量级卷积神经网络架构(SFNet)对特征图进行处理；
其中，输入切分模块层的特征图尺寸为Df*Df，通道数为M，切分模块层输出的特征图尺寸与输入特征图尺寸相同；所述切分模块层包括切分模块一层和切分模块二层，所述切分模块一层用于切分特征图和卷积操作，包括一层深度卷积和二层逐点卷积；
所述一层深度卷积使用单通道卷积核对特征图的各通道进行单独进行滤波并分别输出，将特征图延通道维度分割为4份
的子特征图，在使用四个不同尺寸的卷积核：1*Dk*1、Dk*1*1、Dk*Dk*1、1*1*1分别对子特征图进行独立卷积操作；所述二层逐点卷积用于将各通道对应输出进行线性组合，得到Df*Df*M的切分模块一层输出图，其中，Dk为卷积核大小；
所述切分模块二层用于对切分模块一层输出图进行通道融合，通过1*1*M卷积核处理切分模块一层输出图，得到切分模块二层输出图。
需要说明的是：本实施例通过使用轻量级卷积神经网络架构，能部署在边缘，且对硬件要求不高，兼具成本与功能优势。
本实施例所使用的轻量级卷积神经网络架构(SFNet)与传统的卷积神经网络架构最大的不同就是采用了切分模块层，所述切分模块层通过深度可分离卷积将特征图进行不同片段上分别使用大小形状各不相同的多种形式的卷积核进行卷积操作,增加特征提取的多样性。相比目前通用的轻量级卷积神经网络,在卷积核数目及输入特征图通道数相同时,SFNet的参数和计算量更少,分类正确率更高.相比标准卷积,在网络复杂度大幅降低的情况下,切分模块的分类正确率持平甚至更高。
标准卷积层通过卷积核对输入特征图进行操作,卷积核K的尺寸为Dk×Dk×M×N,标准卷积层一般使用方形的卷积核Dk为卷积核的大小,M为卷积核的通道数,N为卷积核的个数,即输出通道数,当步长为1,并添加合适的0填充的情况下,一个标准卷积层的参数量为Dk×Dk×M×N,卷积层的计算量为Dk×Dk×M×N×Df×Df,其中卷积层参数量与卷积核大小Dk、输入通道数M和卷积核个数N有关,而卷积层计算量与卷积核参数量及特征图大小Df有关.所以可通过切分特征图打破输入特征图通道数与卷积核通道数的相等关系,并通过使用低秩卷积核减少每个卷积核参数量,从而减少卷积层的参数和计算量。
本实施所述的切分模块层设输入特征图大小为Df×Df×M,第一层将输入特征图切分成4部分,每部分单独拥有
大小的特征图,本文使用4种形状各不相同的卷积核分别对每份特征图进行卷积操作,则这4个卷积核大小分别为：
本实施例希望通过使用不同的卷积核让该网络学习到不同的特征,于是第一层卷积的参数量为：
计算量为：
如果使用额外的深度卷积,则这4种卷积核大小分别为：
该层的参数量为：
计算量为：
经过上述操作,特征图在空间维度上得到较好的滤波,但是还未在通道维度上进行任何处理,于是使用1×1的卷积,对其特征进行融合.将上一层各部分输出进行拼接,并输入到1×1卷积层,则该输入大小依旧为Df×Df×M,在这一层卷积核的大小为1×1×M×N.于是该层参数量为M×N,计算量为Df×Df×M×N.
所以切分结构的总参数量为:
总计算量为:
相比标准卷积,SFNet计算量和参数量只是原来的:
当取Dk＝3,则参数和计算量是标准卷积的
倍，故能减少计算量。
作为更进一步的解决方案，所述边坡实时深度图像数据为RGB_D深度图像数据，包括Red、Green、Blue和Deep四个通道。
作为更进一步的解决方案，所述训练样本保存在地质灾害样本库中，所述地质灾害样本库包括模拟样本库和实采样本库；所述模拟样本库用于保存人工模拟地质灾害/边坡形变并进行采集的模拟训练样本图像，所述实采样本库用于保存真实地质灾害/边坡形变并进行采集的实采训练样本图像。
需要说明的是：边坡形变数据和地质灾害的实采数据较少，故通过建立小型边坡并模拟边坡形变和地质灾害来进行模拟样本采集，并结合实采样本共同训练，进而提高识别准确度。
作为更进一步的解决方案，所述训练样本保存在地质灾害样本库中，所述地质灾害样本库包括模拟样本库和实采样本库；所述模拟样本库用于保存人工模拟地质灾害/边坡形变并进行采集的模拟训练样本图像，所述实采样本库用于保存真实地质灾害/边坡形变并进行采集的实采训练样本图像。
作为更进一步的解决方案，所述地质灾害本地预警单元和地质灾害远程预警单元均通过中控台进行控制，所述地质灾害本地预警单元包括预警广播器和预警灯；所述预警广播器和预警灯均与中央控制台电性连接，所述中控台设置有预警麦克风，所述预警广播器、预警灯安装在各预警区域内，通过预警麦克风与预警广播器配合，实现本地预警；所述地质灾害远程预警单元通过无线网络与应急联络人进行通信连接。
作为更进一步的解决方案，还包括动态目标跟踪识别系统，所述动态目标跟踪识别系统用于监测和识别动态目标，并对动态目标进行识别预警；所述动态目标跟踪识别系统包括动态目标识别端和动态目标跟踪监测端，所述动态目标识别端通过不同的动态目标图像对卷积神经网络训练得到，并能对动态目标进行分类识别，所述分类识别包括动态目标名称、动态目标大小、是否为危险动态目标；所述动态目标跟踪监测端用于跟踪动态目标，并计算动态目标运动速度和运动路径。
需要说明的是：滚石等也会威胁到边坡和周围人员的安全，故本实施例添加动态目标跟踪识别系统对动态目标尤其是滚石进行监测。
作为更进一步的解决方案，还包括运维数据库，所述运维数据库包括运维日志存储端、运维图像存储端和监测视频存储端。
进一步的，所述运维日志存储端用于存储所述地质灾害监测预警系统的运维日志，所述运维日志包括事件发生日志、系统检修日志、系统维护日志，所述各运维日志通过人工和/或系统自动生成并进行写入。
进一步的，所述运维图像存储端用于保存所述地质灾害监测预警系统的运维图像，所述运维图像包括事件发生记录图像、白天历史记录图像、夜晚历史记录图像，所述白天历史记录图像、夜晚历史记录图像均为系统每日自动定时触发，并将若干实时图像进行自动保存；所述事件发生记录图像为系统在监测到发生边坡形变/地址灾害/滚石时进行事件触发，并将事件发生时的实时图像进行自动保存。
进一步的，所述监测视频存储端用于保存所述地质灾害监测预警系统的运维视频，所述运维视频包括事件发生记录视频发生记录视频、白天历史记录视频、夜晚历史记录视频，所述白天历史记录视频、夜晚历史记录视频均为系统全天候触发，并将实时视频进行自动保存；所述事件发生记录视频为系统在监测到发生边坡形变/地址灾害/滚石时进行事件触发，并将事件发生时的实时视频进行自动保存；其中，所述白天历史记录视频、夜晚历史记录视频为临时存储数据，在到达数据清理期或存储空间不足时进行自动清理。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于视频识别技术的地质灾害监测预警系统，对水坝边坡进行实时监控和地质灾害预警，其特征在于，包括地质灾害监测系统、地质灾害识别系统和地质灾害预警系统；
所述地质灾害监测系统包括图像采集单元、图像预处理单元、像素定位单元和深度图像单元；所述图像采集单元通过视频采集设备采集边坡实时视频数据，并对边坡实时视频数据进行抽帧，得到边坡原始图像数据；所述图像处理单元用于对边坡原始图像数据进行预处理操作，并得到边坡实时图像数据；所述像素定位单元用于对边坡实时图像数据各像素点进行三维定位，并得到边坡点云数据；所述深度图像单元用于将边坡点云数据转化为边坡实时深度图像数据；其中，所述地质灾害监测系统对采集设备的各帧时序数据进行保留；
所述地质灾害识别系统包括边坡形变识别单元、边坡灾害识别单元；所述边坡形变识别单元用于通过边坡的边坡实时深度图像数据进行边坡形变检测；所述边坡灾害识别单元用于通过边坡的边坡实时深度图像数据进行边坡地质灾害检测；
所述地质灾害预警系统包括地质灾害本地预警单元和地质灾害远程预警单元；所述地质灾害本地预警单元用于在检测到发生边坡地质灾害和/或形变时进行本地预警；所述质灾害远程预警单元用于在检测到发生边坡地质灾害和/或形变时进行远程预警。
2.根据权利要求1所述的一种基于视频识别技术的地质灾害监测预警系统，其特征在于，所述图像采集单元为双目图像采集单元，通过设置双目摄像头对边坡进行图像采集；所述像素定位单元为双目像素定位单元，通过双目定位法对各像素点进行双目深度定位，并得到各像素点三维坐标数据，通过将像素信息和三维坐标数据进行匹配，得到边坡点云数据。
3.根据权利要求1所述的一种基于视频识别技术的地质灾害监测预警系统，其特征在于，所述深度图像单元是基于自动深度图生成的点云处理单元；通过预先设置边坡基准深度图像，作为深度图像单元的基准面，并对实时接收到的边坡点云数据进行深度处理，得到边坡实时深度图像数据，其中，所述深度处理即将边坡基准深度图像按照像素点进行对应自动做差。
4.根据权利要求1所述的一种基于视频识别技术的地质灾害监测预警系统，其特征在于，所述边坡形变识别单元是基于卷积神经网络的图像识别单元，通过边坡的边坡实时深度图像数据进行边坡形变检测，所述边坡形变检测包括边坡表面沉降、边坡表面相对变形、边坡不均匀沉降、边坡坡体深度位移；
所述边坡灾害识别单元是基于卷积神经网络的图像识别单元，通过边坡的边坡实时深度图像数据进行边坡地质灾害检测，所述边坡地质灾害检测包括边坡平推滑移、边坡滑移-拉裂、边坡蠕滑-拉裂、边坡滑移-拉裂-剪断、边坡滑移-弯曲-剪断、边坡塑流-拉裂、边坡压缩-倾倒-剪断和边坡塌陷-拉裂-剪断。
5.根据权利要求4所述的一种基于视频识别技术的地质灾害监测预警系统，其特征在于，所述边坡形变识别单元、边坡灾害识别单元的卷积神经网络均采用轻量级卷积神经网络架构(SFNet)，并通过输入不同的训练样本进行训练，所述轻量级卷积神经网络架构(SFNet)包括Conv2d层、切分模块层、全局平局池化层、标准卷积层和分类器层，通过轻量级卷积神经网络架构(SFNet)对特征图进行处理；
其中，输入切分模块层的特征图尺寸为Df*Df，通道数为M，切分模块层输出的特征图尺寸与输入特征图尺寸相同；所述切分模块层包括切分模块一层和切分模块二层，所述切分模块一层用于切分特征图和卷积操作，包括一层深度卷积和二层逐点卷积；
所述一层深度卷积使用单通道卷积核对特征图的各通道进行单独进行滤波并分别输出，将特征图延通道维度分割为4份
的子特征图，在使用四个不同尺寸的卷积核：1*Dk*1、Dk*1*1、Dk*Dk*1、1*1*1分别对子特征图进行独立卷积操作；所述二层逐点卷积用于将各通道对应输出进行线性组合，得到Df*Df*M的切分模块一层输出图，其中，Dk为卷积核大小；
所述切分模块二层用于对切分模块一层输出图进行通道融合，通过1*1*M卷积核处理切分模块一层输出图，得到切分模块二层输出图。
6.根据权利要求5所述的一种基于视频识别技术的地质灾害监测预警系统，其特征在于，所述边坡实时深度图像数据为RGB_D深度图像数据，包括Red、Green、Blue和Deep四个通道。
7.根据权利要求5所述的一种基于视频识别技术的地质灾害监测预警系统，其特征在于，所述训练样本保存在地质灾害样本库中，所述地质灾害样本库包括模拟样本库和实采样本库；所述模拟样本库用于保存人工模拟地质灾害/边坡形变并进行采集的模拟训练样本图像，所述实采样本库用于保存真实地质灾害/边坡形变并进行采集的实采训练样本图像。
8.根据权利要求1所述的一种基于视频识别技术的地质灾害监测预警系统，其特征在于，所述地质灾害本地预警单元和地质灾害远程预警单元均通过中控台进行控制，所述地质灾害本地预警单元包括预警广播器和预警灯；所述预警广播器和预警灯均与中央控制台电性连接，所述中控台设置有预警麦克风，所述预警广播器、预警灯安装在各预警区域内，通过预警麦克风与预警广播器配合，实现本地预警；所述地质灾害远程预警单元通过无线网络与应急联络人进行通信连接。
9.根据权利要求1所述的一种基于视频识别技术的地质灾害监测预警系统，其特征在于，还包括动态目标跟踪识别系统，所述动态目标跟踪识别系统用于监测和识别动态目标，并对动态目标进行识别预警；所述动态目标跟踪识别系统包括动态目标识别端和动态目标跟踪监测端，所述动态目标识别端通过不同的动态目标图像对卷积神经网络训练得到，并能对动态目标进行分类识别，所述分类识别包括动态目标名称、动态目标大小、是否为危险动态目标；所述动态目标跟踪监测端用于跟踪动态目标，并计算动态目标运动速度和运动路径。
10.根据权利要求1所述的一种基于视频识别技术的地质灾害监测预警系统，其特征在于，还包括运维数据库，所述运维数据库包括运维日志存储端、运维图像存储端和监测视频存储端；
所述运维日志存储端用于存储所述地质灾害监测预警系统的运维日志，所述运维日志包括事件发生日志、系统检修日志、系统维护日志，所述各运维日志通过人工和/或系统自动生成并进行写入；
所述运维图像存储端用于保存所述地质灾害监测预警系统的运维图像，所述运维图像包括事件发生记录图像、白天历史记录图像、夜晚历史记录图像，所述白天历史记录图像、夜晚历史记录图像均为系统每日自动定时触发，并将若干实时图像进行自动保存；所述事件发生记录图像为系统在监测到发生边坡形变/地址灾害/滚石时进行事件触发，并将事件发生时的实时图像进行自动保存；
所述监测视频存储端用于保存所述地质灾害监测预警系统的运维视频，所述运维视频包括事件发生记录视频发生记录视频、白天历史记录视频、夜晚历史记录视频，所述白天历史记录视频、夜晚历史记录视频均为系统全天候触发，并将实时视频进行自动保存；所述事件发生记录视频为系统在监测到发生边坡形变/地址灾害/滚石时进行事件触发，并将事件发生时的实时视频进行自动保存；其中，所述白天历史记录视频、夜晚历史记录视频为临时存储数据，在到达数据清理期或存储空间不足时进行自动清理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111303040.XA CN114267155A (zh) | 2021-11-05 | 2021-11-05 | 一种基于视频识别技术的地质灾害监测预警系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111303040.XA CN114267155A (zh) | 2021-11-05 | 2021-11-05 | 一种基于视频识别技术的地质灾害监测预警系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114267155A true CN114267155A (zh) | 2022-04-01 |
Family
ID=80824805
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111303040.XA Pending CN114267155A (zh) | 2021-11-05 | 2021-11-05 | 一种基于视频识别技术的地质灾害监测预警系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114267155A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114882366A (zh) * | 2022-05-26 | 2022-08-09 | 广州市城市规划勘测设计研究院 | 一种三维场景灾变监控预警方法 |
| CN115294749A (zh) * | 2022-09-29 | 2022-11-04 | 久恩金属制品(昆山)有限公司 | 基于金属防护网的多位面监测系统 |
| CN115908954A (zh) * | 2023-03-01 | 2023-04-04 | 四川省公路规划勘察设计研究院有限公司 | 基于人工智能的地质灾害隐患识别系统、方法及电子设备 |
| CN115953453A (zh) * | 2023-03-03 | 2023-04-11 | 国网吉林省电力有限公司信息通信公司 | 基于图像错位分析和北斗卫星的变电站地质形变监测方法 |
| CN117593349A (zh) * | 2023-11-24 | 2024-02-23 | 中山大学·深圳 | 图像变形监测方法、装置、设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101533529A (zh) * | 2009-01-23 | 2009-09-16 | 北京建筑工程学院 | 基于深度图像的三维空间数据处理方法与装置 |
| CN105550670A (zh) * | 2016-01-27 | 2016-05-04 | 兰州理工大学 | 一种目标物体动态跟踪与测量定位方法 |
| CN109685066A (zh) * | 2018-12-24 | 2019-04-26 | 中国矿业大学(北京) | 一种基于深度卷积神经网络的矿井目标检测与识别方法 |
| CN110880229A (zh) * | 2019-12-02 | 2020-03-13 | 北京深测科技有限公司 | 一种地质灾害监测预警方法和系统 |
| CN111914595A (zh) * | 2019-05-09 | 2020-11-10 | 中国科学院软件研究所 | 一种基于彩色图像的人手三维姿态估计方法和装置 |
| CN112348958A (zh) * | 2020-11-18 | 2021-02-09 | 北京沃东天骏信息技术有限公司 | 关键帧图像的采集方法、装置、系统和三维重建方法 |
| CN112711033A (zh) * | 2020-12-09 | 2021-04-27 | 中科视语(北京)科技有限公司 | 边坡安全监测预警装置和预警方法 |
| CN112861617A (zh) * | 2020-12-31 | 2021-05-28 | 中南大学 | 一种基于监控图像的边坡灾害识别系统 |
-
2021
- 2021-11-05 CN CN202111303040.XA patent/CN114267155A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101533529A (zh) * | 2009-01-23 | 2009-09-16 | 北京建筑工程学院 | 基于深度图像的三维空间数据处理方法与装置 |
| CN105550670A (zh) * | 2016-01-27 | 2016-05-04 | 兰州理工大学 | 一种目标物体动态跟踪与测量定位方法 |
| CN109685066A (zh) * | 2018-12-24 | 2019-04-26 | 中国矿业大学(北京) | 一种基于深度卷积神经网络的矿井目标检测与识别方法 |
| CN111914595A (zh) * | 2019-05-09 | 2020-11-10 | 中国科学院软件研究所 | 一种基于彩色图像的人手三维姿态估计方法和装置 |
| CN110880229A (zh) * | 2019-12-02 | 2020-03-13 | 北京深测科技有限公司 | 一种地质灾害监测预警方法和系统 |
| CN112348958A (zh) * | 2020-11-18 | 2021-02-09 | 北京沃东天骏信息技术有限公司 | 关键帧图像的采集方法、装置、系统和三维重建方法 |
| CN112711033A (zh) * | 2020-12-09 | 2021-04-27 | 中科视语(北京)科技有限公司 | 边坡安全监测预警装置和预警方法 |
| CN112861617A (zh) * | 2020-12-31 | 2021-05-28 | 中南大学 | 一种基于监控图像的边坡灾害识别系统 |
Non-Patent Citations (3)
| Title |
|---|
| 叶春阳: "基于双目视觉的滑坡形变识别方法研究与应用", 中国优秀硕士学位论文全文数据库·基础科学辑, 30 September 2021 (2021-09-30), pages 29 - 32 * |
| 张雨丰: "深度学习的轻量化及其在图像识别中的应用研究", 中国优秀硕士学位论文全文数据库·信息科技辑, 29 February 2020 (2020-02-29), pages 34 - 42 * |
| 王宴民: "深度图像化点云数据管理", 31 December 2013, 测绘出版社, pages: 43 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114882366A (zh) * | 2022-05-26 | 2022-08-09 | 广州市城市规划勘测设计研究院 | 一种三维场景灾变监控预警方法 |
| CN114882366B (zh) * | 2022-05-26 | 2023-03-21 | 广州市城市规划勘测设计研究院 | 一种三维场景灾变监控预警方法 |
| CN115294749A (zh) * | 2022-09-29 | 2022-11-04 | 久恩金属制品(昆山)有限公司 | 基于金属防护网的多位面监测系统 |
| CN115294749B (zh) * | 2022-09-29 | 2022-12-27 | 久恩金属制品(昆山)有限公司 | 基于金属防护网的多位面监测系统 |
| CN115908954A (zh) * | 2023-03-01 | 2023-04-04 | 四川省公路规划勘察设计研究院有限公司 | 基于人工智能的地质灾害隐患识别系统、方法及电子设备 |
| CN115908954B (zh) * | 2023-03-01 | 2023-07-28 | 四川省公路规划勘察设计研究院有限公司 | 基于人工智能的地质灾害隐患识别系统、方法及电子设备 |
| CN115953453A (zh) * | 2023-03-03 | 2023-04-11 | 国网吉林省电力有限公司信息通信公司 | 基于图像错位分析和北斗卫星的变电站地质形变监测方法 |
| CN115953453B (zh) * | 2023-03-03 | 2023-08-15 | 国网吉林省电力有限公司信息通信公司 | 基于图像错位分析和北斗卫星的变电站地质形变监测方法 |
| CN117593349A (zh) * | 2023-11-24 | 2024-02-23 | 中山大学·深圳 | 图像变形监测方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114267155A (zh) | 一种基于视频识别技术的地质灾害监测预警系统 | |
| CN112422783B (zh) | 一种基于停机坪集群的无人机智能巡查系统 | |
| US10949995B2 (en) | Image capture direction recognition method and server, surveillance method and system and image capture device | |
| CN108109385B (zh) | 一种输电线防外破的车辆识别与危险行为判别系统与方法 | |
| CN106356757B (zh) | 一种基于人眼视觉特性的电力线路无人机巡检方法 | |
| CN107463901B (zh) | 多尺度区域洪涝灾害危险性遥感评估方法和系统 | |
| Eltner et al. | Using deep learning for automatic water stage measurements | |
| CN103279949A (zh) | 基于自定位机器人的多相机参数自动标定系统运行方法 | |
| Ahmad et al. | A novel method for vegetation encroachment monitoring of transmission lines using a single 2D camera | |
| CN114419231B (zh) | 基于点云数据和ai技术的交通设施矢量识别提取分析系统 | |
| CN114089786A (zh) | 一种基于无人机视觉的沿山区公路自主巡检系统 | |
| CN103888731A (zh) | 枪机-球机混合视频监控的结构化描述装置及系统 | |
| CN117876874A (zh) | 基于高点监控视频的森林火灾检测和定位方法及系统 | |
| CN114241310B (zh) | 基于改进yolo模型的堤防管涌险情智能识别方法 | |
| CN115965578A (zh) | 一种基于通道注意力机制的双目立体匹配检测方法及装置 | |
| Manandhar et al. | Short-term solar radiation forecast using total sky imager via transfer learning | |
| CN114998245A (zh) | 基于双目测距和图像分割对输电线舞动的检测方法 | |
| CN108628320A (zh) | 一种智能汽车无人驾驶系统 | |
| CN216697489U (zh) | 一种基于视频识别技术的地质灾害监测预警系统 | |
| Rio et al. | The Innovation Development of Early Flash Flood Warning System Based on Digital Image Processing Through Android Smartphone. | |
| CN116739357B (zh) | 多模态融合感知的城市既有建筑广域监测预警方法及装置 | |
| Martins et al. | Systematic Literature Review on Forecasting/Nowcasting based upon Ground-Based Cloud Imaging | |
| Santhi et al. | Flood Detection and Segmentation Using Deep Learning Models | |
| Lee et al. | Deep Neural Network-Based Flood Monitoring System Fusing RGB and LWIR Cameras for Embedded IoT Edge Devices | |
| CN118424194A (zh) | 一种基于无人机遥感技术的变形监测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |