CN112560587A - 一种卷积神经网络边坡裂缝变化的动态预警方法及系统 - Google Patents

一种卷积神经网络边坡裂缝变化的动态预警方法及系统 Download PDF

Info

Publication number
CN112560587A
CN112560587A CN202011364682.6A CN202011364682A CN112560587A CN 112560587 A CN112560587 A CN 112560587A CN 202011364682 A CN202011364682 A CN 202011364682A CN 112560587 A CN112560587 A CN 112560587A
Authority
CN
China
Prior art keywords
layer
neural network
early warning
crack
slope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011364682.6A
Other languages
English (en)
Other versions
CN112560587B (zh
Inventor
池汇海
庹斌
李东旭
杨林
袁超
殷才华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUIZHOU ZHONGJIAN ARCHITECTURAL SCIENCE DESIGN INSTITUTE CO LTD
Guizhou China Construction Architecture Research and Design Institute Co Ltd
Original Assignee
GUIZHOU ZHONGJIAN ARCHITECTURAL SCIENCE DESIGN INSTITUTE CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUIZHOU ZHONGJIAN ARCHITECTURAL SCIENCE DESIGN INSTITUTE CO LTD filed Critical GUIZHOU ZHONGJIAN ARCHITECTURAL SCIENCE DESIGN INSTITUTE CO LTD
Priority to CN202011364682.6A priority Critical patent/CN112560587B/zh
Publication of CN112560587A publication Critical patent/CN112560587A/zh
Application granted granted Critical
Publication of CN112560587B publication Critical patent/CN112560587B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种卷积神经网络边坡裂缝变化的动态预警方法及系统，包括，在边坡对侧安装视频监控设备；对所述视频监控设备拍摄的图片进行定时处理；利用卷积神经网络图像识别算法判断处理后的所述图片中边坡是否存在新增裂缝，对多张图片进行深度学习，识别出所述裂缝开展的位置和变化情况；结合测距和三角函数关系，确定所述边坡发生滑移的范围和初步估算的变形情况并进行预警。本发明提高对同一边坡数据的采集范围和采集效率，在精准的数据识别方法下，可以对边坡发生变形的范围进行标定，从而自动向管理人员预警，确保边坡运营期的安全。

Description

一种卷积神经网络边坡裂缝变化的动态预警方法及系统
技术领域
本发明涉及运营期边坡裂缝监测预警的技术领域，尤其涉及一种卷积神经网络边坡裂缝变化的动态预警方法及系统。
背景技术
众所周知，已经建成一段时间的边坡可能出现安全备下降、边坡安全隐患逐渐加剧的情况，然而，现有的监测体系中，主要通过在边坡可能存在滑移的区域布设变形监测点，通过光学或北斗卫星定位技术进行变形监测，从而进行监测预警。
虽然现有方法可以精准的获得边坡滑移的相对变化量，并通过测点关系分析出滑移区域，但该方法仍然存在监测成本高，监测范围有限的情况，对于多山地区的大型、超大型边坡而言，这种方法的成本会随着监测范围的增大而显著增大；同时，由于监测设备大多位于野外，其设备防护、设备寿命都难以保证多年稳定，因此虽然目前在地质灾害监测、市政边坡监测方面已经有大量应用成果，但利用既有方法的代价仍然高昂，对于承担安全管控责任的单位而言，压力颇重，近年来，随着高清、超高清摄像技术以及基于神经网络的深度学习技术的飞速发展，基于图像识别技术的边坡裂缝识别预警系统的设计也成为了可能。
为了解决上述问题，本发明提出了基于卷积神经网络的边坡裂缝变化的动态预警系统，通过对边坡观测视频的定期取图，结合卷积神经网络分析系统进行分析和识别，从而动态掌握既有边坡裂缝的新增情况和开展情况，从而判断出边坡的危险区域和危险程度，在出现异常和预警后，及时预警，确保邻近边坡人员、建筑、道路的安全。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题，提出了本发明。
因此，本发明提供了一种卷积神经网络边坡裂缝变化的动态预警方法及系统，能够实时观测边坡裂缝的新增和滑移变化。
为解决上述技术问题，本发明提供如下技术方案：包括，在边坡对侧安装视频监控设备；对所述视频监控设备拍摄的图片进行定时处理；利用卷积神经网络图像识别算法判断处理后的所述图片中边坡是否存在新增裂缝，对多张图片进行深度学习，识别出所述裂缝开展的位置和变化情况；结合测距和三角函数关系，确定所述边坡发生滑移的范围和初步估算的变形情况并进行预警。
作为本发明所述的卷积神经网络边坡裂缝变化的动态预警方法的一种优选方案，其中：包括，获取所述拍摄图片1080*1080像素区域内各点的R、G、B值，将其转化为灰度图像，转化公式如下：
Rg＝(Rh+Gh+Bh)/3；
Gg＝(Rh+Gh+Bh)/3
Bg＝(Rh+Gh+Bh)/3
其中，Rg是灰度化后R值、Gg灰度化后G值、Bg灰度化后B值，Rh是灰度化前R值，Gh是灰度化前G值，Bh是灰度化前B值；将原始图像中R、G、B三个通道量值调平。
作为本发明所述的卷积神经网络边坡裂缝变化的动态预警方法的一种优选方案，其中：为了加快图片处理速度，则对图像区域进行编码，包括，将所述灰度图像分割为4*4的16个网格；分割后的网格大小为270*270,并依次编号1～16；在数据处理时逐个对分割后的网格内图像进行分析、识别，输入层参数为270*270*16的格式作为输入层数据。
作为本发明所述的卷积神经网络边坡裂缝变化的动态预警方法的一种优选方案，其中：卷积神经网络结构包括，输入层1个、卷积层5个、池化层3个、全连接层2个和输出层1个；所述卷积层分为特征提取层即C层、特征映射层即S层，即将上一层输出图像与本层卷积核即权重参数W卷积得到各个所C层，通过下采样得到各个所述S层，所述C层和所述S层的输出统称为特征图。
作为本发明所述的卷积神经网络边坡裂缝变化的动态预警方法的一种优选方案，其中：包括，计算出其卷积后特征图像feature map输出的大小为：
N＝(W-F+2P)/S+1
其中，N表示卷积后宽高(wide/height)大小，W表示输入层尺寸，F表示卷积核尺寸(kernel_size)，P表示边缘填充尺寸，S表示步长(padding)。
作为本发明所述的卷积神经网络边坡裂缝变化的动态预警方法的一种优选方案，其中：所述神经网络结构使用了多个尺寸的池化，包括，S2层卷积所用Pool_size为：4×4、stride为2，池化后S2层神经元个数为32×32×96＝98304；S4层卷积所用Pool_size为：3×3、stride为2，池化后S2神经元个数为16×16×256＝65536；S8层卷积所用Pool_size为：3×3、stride为2，池化后S2神经元个数为7×7×256＝12544。
作为本发明所述的卷积神经网络边坡裂缝变化的动态预警方法的一种优选方案，其中：包括，当所述卷积神经网络判定存在裂缝后，则对所述图片编码进行识别；从识别结果中提取出16张图片中存在裂缝最大概率的编号，并进行编号查询；若所述编号存在于数据库中，则开始进行裂缝变化比对；若所述裂缝不存在所述数据库中时，则新增裂缝编号，并关联于图片区域编号。
作为本发明所述的卷积神经网络边坡裂缝变化的动态预警方法的一种优选方案，其中：所述图片裂缝是否开展判断，基于所述图片灰度范围是否增大，包括，根据所述卷积神经网络识别出的所述图片区域编码，针对已经经过所述灰度处理的照片中存在的裂缝进行灰度裂缝像素面积比对，面积前后大小发生变化的，则判断裂缝宽度发生了变化，像素比对容许偏差5％。
作为本发明所述的卷积神经网络边坡裂缝变化的动态预警系统的一种优选方案，其中：包括，采样模块，用于拍摄高清图像以用于数据分析和变化对比，为后期开展工作进行数据收集；数据处理中心模块连接设置于所述采样模块的下表面，其用于接收、存储所述采样模块收集的数据并进行计算，所述数据中心模块包括运算单元、数据库和输入输出管理单元，所述运算单元与所述采集模块相连接，用于接收所述采样模块获取的图像数据信息以进行运算处理，计算灰度值，对比图像灰度区域幅值大小，所述数据库连接于各个模块，用于存储接收的所有数据信息，为所述数据处理中心模块提供调配供应服务，所述输入输出管理单元用于接收各个模块的信息并输出所述运算单元的运算结果；预警模块与所述数据处理中心模块相连接并设置于其上表面，所述预警模块用于读取所述运算单元的运算结果以进行动态报警。
作为本发明所述的卷积神经网络边坡裂缝变化的动态预警系统的一种优选方案，其中：包括，所述采样模块采样数据采集传感器，即高清摄像头，其采集的视频图像通过所述输入输出管理单元传回数据监控中心进行保存。
本发明的有益效果：本发明通过卷积神经网络图像识别算法，识别边坡拍摄的视频中定时截取的照片中新增的裂缝和裂缝开展情况，通过多张图片的深度学习，可识别出裂缝开展的位置和变化情况，通过测距以及三角函数关系，即可确定边坡发生滑移的范围和初步估算的变形情况，并进行预警；另一方面，本发明使用边坡结构裂缝动态预警系统，可长期有效地提高对同一边坡数据的采集范围和采集效率，在精准的数据识别方法下，可以对边坡发生变形的范围进行标定，从而自动向管理人员预警，确保边坡运营期的安全。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明第一个实施例所述的卷积神经网络边坡裂缝变化的动态预警方法的流程示意图；
图2为本发明第一个实施例所述的卷积神经网络边坡裂缝变化的动态预警方法的监测视频与边坡间的布置关系示意图；
图3为本发明第一个实施例所述的卷积神经网络边坡裂缝变化的动态预警方法的卷积神经网络结构示意图；
图4为本发明第一个实施例所述的卷积神经网络边坡裂缝变化的动态预警方法的实验对比输出曲线示意图；
图5为本发明第二个实施例所述的卷积神经网络边坡裂缝变化的动态预警系统的模块分布结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1～图4，为本发明的第一个实施例，该实施例提供了一种卷积神经网络边坡裂缝变化的动态预警方法，包括：
S1：在边坡对侧安装视频监控设备。参照图2，需要说明的是：
1为边坡坡体、2为边坡裂缝、3为视频摄像头支座及避雷针、4为数据采集箱、5为固定角度连接支架、6为高清摄像头及保护罩、7为裂缝放大区图。
S2：对视频监控设备拍摄的图片进行定时处理。本步骤需要说明的是，包括：
获取拍摄图片1080*1080像素区域内各点的R、G、B值，将其转化为灰度图像，转化公式如下：
Rg＝(Rh+Gh+Bh)/3；
Gg＝(Rh+Gh+Bh)/3
Bg＝(Rh+Gh+Bh)/3
其中，Rg是灰度化后R值、Gg灰度化后G值、Bg灰度化后B值，Rh是灰度化前R值，Gh是灰度化前G值，Bh是灰度化前B值；
将原始图像中R、G、B三个通道量值调平。
为了加快图片处理速度，则对图像区域进行编码，包括：
将灰度图像分割为4*4的16个网格；
分割后的网格大小为270*270,并依次编号1～16；
在数据处理时逐个对分割后的网格内图像进行分析、识别，输入层参数为270*270*16的格式作为输入层数据。
具体的，神经网络使用了多个尺寸的卷积核，包括：
C1层卷积所用卷积核的大小为：11×11、stride为4，使用卷积核数量为96个，卷积后使用relu作为激励函数，来确保特征图的值范围在合理范围之内，C1层神经元个数为65×65×96＝405600；
C3层卷积所用卷积核的大小为：5×5、stride为2，使用卷积核数量为256个，卷积后使用relu作为激励函数，来确保特征图的值范围在合理范围之内，C3层神经元个数为32×32×256＝262144；
C5层卷积所用卷积核的大小为：3×3、stride为2，使用卷积核数量为384个，卷积后使用relu作为激励函数，来确保特征图的值范围在合理范围之内，C5层神经元个数为16×16×384＝98304；
C6层卷积所用卷积核的大小为：3×3、stride为1，使用卷积核数量为384个，卷积后使用relu作为激励函数，来确保特征图的值范围在合理范围之内，C6层神经元个数为16×16×384＝98304；
C7层卷积所用卷积核的大小为：3×3、stride为1，使用卷积核数量为256个，卷积后使用relu作为激励函数，来确保特征图的值范围在合理范围之内，C7层神经元个数为16×16×256＝65536。
S3：利用卷积神经网络图像识别算法判断处理后的图片中边坡是否存在新增裂缝，对多张图片进行深度学习，识别出裂缝开展的位置和变化情况。参照图3，其中还需要说明的是，卷积神经网络结构包括：
输入层1个、卷积层5个、池化层3个、全连接层2个和输出层1个；
卷积层分为特征提取层即C层、特征映射层即S层，即将上一层输出图像与本层卷积核即权重参数W卷积得到各个所C层，通过下采样得到各个S层，C层和S层的输出统称为特征图；
计算出其卷积后特征图像feature map输出的大小为：
N＝(W-F+2P)/S+1
其中，N表示卷积后宽高(wide/height)大小，W表示输入层尺寸，F表示卷积核尺寸(kernel_size)，P表示边缘填充尺寸，S表示步长(padding)。
进一步的，神经网络结构使用了多个尺寸的池化，包括：
S2层卷积所用Pool_size为：4×4、stride为2，池化后S2层神经元个数为32×32×96＝98304；
S4层卷积所用Pool_size为：3×3、stride为2，池化后S2神经元个数为16×16×256＝65536；
S8层卷积所用Pool_size为：3×3、stride为2，池化后S2神经元个数为7×7×256＝12544。
S4：结合测距和三角函数关系，确定边坡发生滑移的范围和初步估算的变形情况并进行预警。本步骤还需要说明的是：
当卷积神经网络判定存在裂缝后，则对图片编码进行识别；
从识别结果中提取出16张图片中存在裂缝最大概率的编号，并进行编号查询；
若编号存在于数据库中，则开始进行裂缝变化比对；
若裂缝不存在数据库中时，则新增裂缝编号，并关联于图片区域编号；
图片裂缝是否开展判断，基于图片灰度范围是否增大，包括，
根据卷积神经网络识别出的图片区域编码，针对已经经过灰度处理的照片中存在的裂缝进行灰度裂缝像素面积比对，面积前后大小发生变化的，则判断裂缝宽度发生了变化，像素比对容许偏差5％。
通俗的说，为了与传统的多层感知器MLP全连接，将上一层特征图中各个像素依次排开，排成一列，即为光栅化(Rasterization)，其全连接层(Linear)F9神经元个数设计为4096个、F10层神经元个数为4096个；当神经网络输出判定结果为存在裂缝时，则对该图片给出存在裂缝的判断，进行下一步流程；当不存在裂缝时，则该算法系统对同一采样区间另一幅图进行特征提取及判断，判断结束后等待下一批次数据到来，整个特征识别判断过程市场为最短采样间隔，最小采样间隔不应低于图片特征识别判断耗时。
优选的，当灰度范围增大时，则判定该裂缝发生变化，当灰度范围变小时，仍然认为该裂缝也发生了变化；当判断裂缝发生变化后，则认为边坡发生变化，则现场对边坡进行踏勘复核，核实变化且变化确实存在则进行预警
为了更好地对本发明方法中采用的技术效果加以验证说明，本实施例选择以传统的多层感知器MLP预警方法和本发明方法进行对比测试，以科学论证的手段对比试验结果，验证本发明方法所具有的真实效果。
传统的多层感知器MLP预警方法无法实时监测裂缝变化，预警不及时，影响维护效率，为验证本发明方法相对于传统方法具有较高的效率性，本实施例中将采用传统方法与本发明方法分别对南方地区某项目建设的边坡进行仿真实时测量对比。
测试环境：(1)训练次数设定为5000次、学习率为0.005、MiniBatchSize设置为150、MaxEpochs设置为200；
(2)目标函数为MSE、隐含层激活函数默认为Rule函数，并采用Adam求解器；
(3)本发明方法采用传感器技术、卷积神经网络及特征输出结构，且层间输出通过return_sequences修改为True；
(4)开启自动化测试设备，并运用MATLB仿真模拟。
参照图4，为试验对比的最终结果输出曲线示意图，其中，实线为本发明输出的曲线，虚线为传统方法输出的曲线，根据图4的示意，能够直观的看出实线与虚线随着时间的增长，逐渐拉开了距离，虚线一直呈现不稳定的波动趋势，且一直低于实线的安全性增长，虽然实线也略有波动，但是基本趋于稳定，更一直保持在虚线的上升位置，由此，说明了本发明方法的效率性远远大于传统方法的效率性，验证了本发明方法所具有的真实效果。
实施例2
参照图5，为本发明的第二个实施例，该实施例不同于第一个实施例的是，提供了一种卷积神经网络边坡裂缝变化的动态预警系统，包括：
采样模块100，用于拍摄高清图像以用于数据分析和变化对比，为后期开展工作进行数据收集。
数据处理中心模块200连接设置于采样模块100的下表面，其用于接收、存储采样模块100收集的数据并进行计算，数据中心模块200包括运算单元201、数据库202和输入输出管理单元203，运算单元201与采集模块100相连接，用于接收采样模块100获取的图像数据信息以进行运算处理，计算灰度值，对比图像灰度区域幅值大小，数据库202连接于各个模块，用于存储接收的所有数据信息，为数据处理中心模块200提供调配供应服务，输入输出管理单元203用于接收各个模块的信息并输出运算单元201的运算结果。
预警模块300与数据处理中心模块200相连接并设置于其上表面，预警模块300用于读取运算单元201的运算结果以进行动态报警。
采样模块100采样数据采集传感器，即高清摄像头，其采集的视频图像通过输入输出管理单元203传回数据监控中心进行保存，1080P摄像头采集的视频像素为1080*1080＝1166400个像素点，视频帧数为30帧；视频采样频率为每隔10min采集20s，580s后开始下一次视频采样，此时间段采集的数据作为一个数据包上传到平台；而用于视频质量验证和视频数据处理的照片，分别来自于视频第5s第1帧、第8秒的第1帧、第16s的第1帧，产生的3张照片中第一张用于视频质量验证，验证视频当前采样数据是否可用，用于比对的照片来自于视频开始采集时保存于数据库中最早的一幅照片。
本实施例还需要说明的是，基于卷积神经网络的边坡裂缝变化的动态预警系统的数据采集是通过高清摄像头进行边坡高清摄像，数据传输是利用4G/5G无线数据传输模块将数据传回监测平台，并进行视频资料的初步存储。采集的视频资料应满足以下要求：
(1)由于高清摄像头数据采集数据量巨大，一旦连续观测，则会产生巨额流量费用，因此每次拍摄10s30帧视频数据；
(2)随机开始保存并上传数据，每隔十分钟采集一次数据，监测数据在本地只存储；
(3)该视频文件在存储后，则会从视频文件中，定时抽取视频帧作为待处理照片。
抽取的关键帧应能满足以下要求：
在获取照片文件后，则首先异常判断图片是否为异常图片，是否可用；
正常可用时则进行下一步，当不可用时则开始计数，当计数超过n次时，则判定该段视频资料出现问题，则发布内部预警；
当确定视频中抽取的对照片可用时，则进行预处理，处理后图片应能用于本神经网络识别。
优选的是，在既有建筑边坡对侧处安装视频监控(高清摄像头设备)，7*24小时对采集的边坡图像进行裂缝的识别和裂缝开展趋势的观察与判断，基于卷积神经网络的边坡裂缝变化的动态预警系统包括数据采集摄像头、数据无线传输采集箱、监测数据管理平台、关键帧抽取、图像预处理模块以及卷积神经网络分析算法、阈值预警模块等；使用基于卷积神经网络的边坡裂缝变化的动态预警系统，可有效地提高针对大型边坡的安全管控范围和安全管控能力，并大大提升视频图像数据的处理速度。
现场监测采集到的数据通过4G/5G无线数据传输模块传输到数据后台，该系统利用神经网络算法对视频图像进行解析，判断出该图像中是否存在新增裂缝，既有裂缝是否存在增大的趋势性变形，从而确定是否预警，当该系统判断出目前出现新增裂缝和既有裂缝出现增大趋势后，可通过系统预警模块发布短信、邮件及电话、微信消息报警，可以在最短的时间内通知相关人员，从而及时采取处理措施或避险措施，确保人民群众的生命财产安全，本发明通过对边坡观测视频的定期取图，结合卷积神经网络分析系统进行分析和识别，从而动态掌握既有边坡裂缝的新增情况和开展情况，从而判断出边坡的危险区域和危险程度。
优选的，还需要说明的是，数据处理中心模块200主要分为三个层次，包括控制层、运算层及存储层，控制层是数据处理中心模块200的指挥控制中心，由指令寄存器IR、指令译码器ID和操作控制器OC组成，控制层能够根据用户预先编好的程序，依次从存储器中取出各条指令，放在指令寄存器IR中，通过指令译码器分析确定，通知操作控制器OC进行操作，按照确定的时序向相应的部件发出微操作控制信号；运算层是数据处理中心模块200的核心，能够执行算术运算(如加减乘除及其附加运算)和逻辑运算(如移位、逻辑测试或两个值比较)，其连接于控制层，通过接受控制层的控制信号进行运算操作；存储层是数据处理中心模块200的数据库，能够存放数据(待处理及已经处理过的数据)。
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
如在本申请所使用的，术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如，来自一个组件的数据，该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号，以本地和/或远程过程的方式进行通信。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种卷积神经网络边坡裂缝变化的动态预警方法，其特征在于：包括，
在边坡对侧安装视频监控设备；
对所述视频监控设备拍摄的图片进行定时处理；
利用卷积神经网络图像识别算法判断处理后的所述图片中边坡是否存在新增裂缝，对多张图片进行深度学习，识别出所述裂缝开展的位置和变化情况；
结合测距和三角函数关系，确定所述边坡发生滑移的范围和初步估算的变形情况并进行预警。
2.根据权利要求1所述的卷积神经网络边坡裂缝变化的动态预警方法，其特征在于：包括，
获取所述拍摄图片1080*1080像素区域内各点的R、G、B值，将其转化为灰度图像，转化公式如下：
Rg＝(Rh+Gh+Bh)/3；
Gg＝(Rh+Gh+Bh)/3
Bg＝(Rh+Gh+Bh)/3
其中，Rg是灰度化后R值、Gg灰度化后G值、Bg灰度化后B值，Rh是灰度化前R值，Gh是灰度化前G值，Bh是灰度化前B值；
将原始图像中R、G、B三个通道量值调平。
3.根据权利要求2所述的卷积神经网络边坡裂缝变化的动态预警方法，其特征在于：为了加快图片处理速度，则对图像区域进行编码，包括，
将所述灰度图像分割为4*4的16个网格；
分割后的网格大小为270*270,并依次编号1～16；
在数据处理时逐个对分割后的网格内图像进行分析、识别，输入层参数为270*270*16的格式作为输入层数据。
4.根据权利要求1或3所述的卷积神经网络边坡裂缝变化的动态预警方法，其特征在于：卷积神经网络结构包括，输入层1个、卷积层5个、池化层3个、全连接层2个和输出层1个；
所述卷积层分为特征提取层即C层、特征映射层即S层，即将上一层输出图像与本层卷积核即权重参数W卷积得到各个所C层，通过下采样得到各个所述S层，所述C层和所述S层的输出统称为特征图。
5.根据权利要求4所述的卷积神经网络边坡裂缝变化的动态预警方法，其特征在于：包括，
计算出其卷积后特征图像feature map输出的大小为：
N＝(W-F+2P)/S+1
其中，N表示卷积后宽高(wide/height)大小，W表示输入层尺寸，F表示卷积核尺寸(kernel_size)，P表示边缘填充尺寸，S表示步长(padding)。
6.根据权利要求5所述的卷积神经网络边坡裂缝变化的动态预警方法，其特征在于：所述神经网络结构使用了多个尺寸的池化，包括，
S2层卷积所用Pool_size为：4×4、stride为2，池化后S2层神经元个数为32×32×96＝98304；
S4层卷积所用Pool_size为：3×3、stride为2，池化后S2神经元个数为16×16×256＝65536；
S8层卷积所用Pool_size为：3×3、stride为2，池化后S2神经元个数为7×7×256＝12544。
7.根据权利要求6所述的卷积神经网络边坡裂缝变化的动态预警方法，其特征在于：包括，
当所述卷积神经网络判定存在裂缝后，则对所述图片编码进行识别；
从识别结果中提取出16张图片中存在裂缝最大概率的编号，并进行编号查询；
若所述编号存在于数据库中，则开始进行裂缝变化比对；
若所述裂缝不存在所述数据库中时，则新增裂缝编号，并关联于图片区域编号。
8.根据权利要求7所述的卷积神经网络边坡裂缝变化的动态预警方法，其特征在于：所述图片裂缝是否开展判断，基于所述图片灰度范围是否增大，包括，
根据所述卷积神经网络识别出的所述图片区域编码，针对已经经过所述灰度处理的照片中存在的裂缝进行灰度裂缝像素面积比对，面积前后大小发生变化的，则判断裂缝宽度发生了变化，像素比对容许偏差5％。
9.一种卷积神经网络边坡裂缝变化的动态预警系统，其特征在于：包括，
采样模块(100)，用于拍摄高清图像以用于数据分析和变化对比，为后期开展工作进行数据收集；
数据处理中心模块(200)连接设置于所述采样模块(100)的下表面，其用于接收、存储所述采样模块(100)收集的数据并进行计算，所述数据中心模块(200)包括运算单元(201)、数据库(202)和输入输出管理单元(203)，所述运算单元(201)与所述采集模块(100)相连接，用于接收所述采样模块(100)获取的图像数据信息以进行运算处理，计算灰度值，对比图像灰度区域幅值大小，所述数据库(202)连接于各个模块，用于存储接收的所有数据信息，为所述数据处理中心模块(200)提供调配供应服务，所述输入输出管理单元(203)用于接收各个模块的信息并输出所述运算单元(201)的运算结果；
预警模块(300)与所述数据处理中心模块(200)相连接并设置于其上表面，所述预警模块(300)用于读取所述运算单元(201)的运算结果以进行动态报警。
10.根据权利要求9所述的卷积神经网络边坡裂缝变化的动态预警系统，其特征在于：包括，
所述采样模块(100)采样数据采集传感器，即高清摄像头，其采集的视频图像通过所述输入输出管理单元(203)传回数据监控中心进行保存。
CN202011364682.6A 2020-11-27 2020-11-27 一种卷积神经网络边坡裂缝变化的动态预警方法及系统 Active CN112560587B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011364682.6A CN112560587B (zh) 2020-11-27 2020-11-27 一种卷积神经网络边坡裂缝变化的动态预警方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011364682.6A CN112560587B (zh) 2020-11-27 2020-11-27 一种卷积神经网络边坡裂缝变化的动态预警方法及系统

Publications (2)

Publication Number Publication Date
CN112560587A true CN112560587A (zh) 2021-03-26
CN112560587B CN112560587B (zh) 2022-04-08

Family

ID=75045137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011364682.6A Active CN112560587B (zh) 2020-11-27 2020-11-27 一种卷积神经网络边坡裂缝变化的动态预警方法及系统

Country Status (1)

Country Link
CN (1) CN112560587B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113188975A (zh) * 2021-05-07 2021-07-30 中南大学 基于图像处理技术的岩体裂隙及飞石运动分析系统及方法
CN113205122A (zh) * 2021-04-23 2021-08-03 微马科技有限公司 基于低成本运算平台的人脸检测方法、装置及介质
CN114896548A (zh) * 2022-05-20 2022-08-12 西南交通大学 一种边坡稳定性判断方法、装置、设备及可读存储介质
CN115690430A (zh) * 2022-12-29 2023-02-03 尚特杰电力科技有限公司 光伏组件边缘特征图补齐方法、系统、设备及存储介质
CN116071893A (zh) * 2023-04-06 2023-05-05 湖南智慧平安科技有限公司 基于大数据与计算机视觉的预警中控指挥平台
CN116503359A (zh) * 2023-04-28 2023-07-28 东南大学 一种基于路侧摄像头的路面裂缝监测方法
CN116630899A (zh) * 2023-07-21 2023-08-22 四川公路工程咨询监理有限公司 一种高速公路边坡病害监测预警系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102346013A (zh) * 2010-07-29 2012-02-08 同济大学 一种隧道衬砌裂缝宽度的测量方法及装置
CN103573251A (zh) * 2012-08-06 2014-02-12 中国石油化工股份有限公司 大尺寸火山岩水力裂缝起裂与扩展ct扫描裂缝监测方法
CN107480611A (zh) * 2017-07-31 2017-12-15 浙江大学 一种基于深度学习卷积神经网络的裂缝识别方法
CN108592811A (zh) * 2018-03-26 2018-09-28 中震（北京）工程检测股份有限公司 一种房屋结构裂缝变形实时动态监测系统及识别方法
CN109087305A (zh) * 2018-06-26 2018-12-25 汕头大学 一种基于深度卷积神经网络的裂缝图像分割方法
CN109840483A (zh) * 2019-01-11 2019-06-04 深圳大学 一种滑坡裂缝检测与识别的方法及装置
CN109946296A (zh) * 2019-03-01 2019-06-28 威海华菱光电股份有限公司 裂缝变化监测装置及裂缝变化监测方法
CN110108224A (zh) * 2019-06-21 2019-08-09 长安大学 一种形变监测方法
JP2019200512A (ja) * 2018-05-15 2019-11-21 株式会社日立システムズ 構造物劣化検出システム
CN111028217A (zh) * 2019-12-10 2020-04-17 南京航空航天大学 一种基于全卷积神经网络的图像裂缝分割方法
CN111091100A (zh) * 2019-12-21 2020-05-01 河海大学 一种基于复杂噪声图像深度学习的混凝土裂缝识别方法
CN111242851A (zh) * 2020-04-10 2020-06-05 北京思莫特科技有限公司 一种混凝土结构表面裂缝检测方法及系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102346013A (zh) * 2010-07-29 2012-02-08 同济大学 一种隧道衬砌裂缝宽度的测量方法及装置
CN103573251A (zh) * 2012-08-06 2014-02-12 中国石油化工股份有限公司 大尺寸火山岩水力裂缝起裂与扩展ct扫描裂缝监测方法
CN107480611A (zh) * 2017-07-31 2017-12-15 浙江大学 一种基于深度学习卷积神经网络的裂缝识别方法
CN108592811A (zh) * 2018-03-26 2018-09-28 中震（北京）工程检测股份有限公司 一种房屋结构裂缝变形实时动态监测系统及识别方法
JP2019200512A (ja) * 2018-05-15 2019-11-21 株式会社日立システムズ 構造物劣化検出システム
CN109087305A (zh) * 2018-06-26 2018-12-25 汕头大学 一种基于深度卷积神经网络的裂缝图像分割方法
CN109840483A (zh) * 2019-01-11 2019-06-04 深圳大学 一种滑坡裂缝检测与识别的方法及装置
CN109946296A (zh) * 2019-03-01 2019-06-28 威海华菱光电股份有限公司 裂缝变化监测装置及裂缝变化监测方法
CN110108224A (zh) * 2019-06-21 2019-08-09 长安大学 一种形变监测方法
CN111028217A (zh) * 2019-12-10 2020-04-17 南京航空航天大学 一种基于全卷积神经网络的图像裂缝分割方法
CN111091100A (zh) * 2019-12-21 2020-05-01 河海大学 一种基于复杂噪声图像深度学习的混凝土裂缝识别方法
CN111242851A (zh) * 2020-04-10 2020-06-05 北京思莫特科技有限公司 一种混凝土结构表面裂缝检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YUNGHYUN KIM、SOOJIN CHO: "Automated Vision-Based Detection of Cracks on Concrete Surfaces Using a Deep Learning Technique", 《SENSORS》 *
车艳丽: "基于深度学习的路面裂缝分类与识别技术研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205122A (zh) * 2021-04-23 2021-08-03 微马科技有限公司 基于低成本运算平台的人脸检测方法、装置及介质
CN113188975A (zh) * 2021-05-07 2021-07-30 中南大学 基于图像处理技术的岩体裂隙及飞石运动分析系统及方法
CN113188975B (zh) * 2021-05-07 2022-07-15 中南大学 基于图像处理技术的岩体裂隙及飞石运动分析系统及方法
CN114896548A (zh) * 2022-05-20 2022-08-12 西南交通大学 一种边坡稳定性判断方法、装置、设备及可读存储介质
CN115690430A (zh) * 2022-12-29 2023-02-03 尚特杰电力科技有限公司 光伏组件边缘特征图补齐方法、系统、设备及存储介质
CN116071893A (zh) * 2023-04-06 2023-05-05 湖南智慧平安科技有限公司 基于大数据与计算机视觉的预警中控指挥平台
CN116503359A (zh) * 2023-04-28 2023-07-28 东南大学 一种基于路侧摄像头的路面裂缝监测方法
CN116630899A (zh) * 2023-07-21 2023-08-22 四川公路工程咨询监理有限公司 一种高速公路边坡病害监测预警系统
CN116630899B (zh) * 2023-07-21 2023-10-20 四川公路工程咨询监理有限公司 一种高速公路边坡病害监测预警系统

Also Published As

Publication number Publication date
CN112560587B (zh) 2022-04-08

Similar Documents

Publication Publication Date Title
CN112560587B (zh) 一种卷积神经网络边坡裂缝变化的动态预警方法及系统
CN107220603A (zh) 基于深度学习的车辆检测方法及装置
CN112329881B (zh) 车牌识别模型训练方法、车牌识别方法及装置
CN114049356B (zh) 一种结构表观裂缝检测方法、装置及系统
CN115457451B (zh) 基于物联网的恒温恒湿试验箱的监控方法及装置
CN110909657A (zh) 一种隧道表观病害图像识别的方法
CN115761300A (zh) 一种安全出口异常分割方法、系统及检测装置
CN115995056A (zh) 一种基于深度学习的桥梁病害自动识别方法
CN109145743A (zh) 一种基于深度学习的图像识别方法及装置
CN112907138B (zh) 一种从局部到整体感知的电网场景预警分类方法及系统
CN111259736A (zh) 一种基于深度学习的复杂环境下行人实时检测方法
CN106530198A (zh) 基于参数拟合安全容量的自适应批量隐写方法
CN108520532B (zh) 识别视频中物体运动方向的方法及装置
CN113963314A (zh) 降雨量监测方法、装置、计算机设备及存储介质
CN112434600A (zh) 一种无人机巡检方法及系统
CN117152094A (zh) 基于计算机视觉的钢板表面缺陷分析方法、装置及系统
CN116541689A (zh) 多模态数据采集与标注方法、装置、计算机设备
CN114596262A (zh) 一种基于图像识别技术的大坝监测分析方法及系统
CN112990350B (zh) 目标检测网络训练方法及基于目标检测网络煤矸识别方法
CN115648987A (zh) 一种带摄像头的充电桩
CN114418945A (zh) 一种光伏组件热斑检测方法及装置
CN110866440B (zh) 一种指针仪表深度学习网络搭建方法、检测方法及其系统
CN106600590B (zh) 电流互感器漏油自动检测方法及装置
CN117790353B (zh) 一种el检测系统及el检测方法
CN115546793B (zh) 水尺刻度自动读数方法、系统及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant