CN109272039A - 一种基于无人机的水坝周边异常监测方法与装置 - Google Patents

一种基于无人机的水坝周边异常监测方法与装置 Download PDF

Info

Publication number
CN109272039A
CN109272039A CN201811095926.8A CN201811095926A CN109272039A CN 109272039 A CN109272039 A CN 109272039A CN 201811095926 A CN201811095926 A CN 201811095926A CN 109272039 A CN109272039 A CN 109272039A
Authority
CN
China
Prior art keywords
training set
characteristic point
dam
picture
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811095926.8A
Other languages
English (en)
Other versions
CN109272039B (zh
Inventor
曹先彬
杜文博
甄先通
李岩
张安然
胡宇韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201811095926.8A priority Critical patent/CN109272039B/zh
Publication of CN109272039A publication Critical patent/CN109272039A/zh
Application granted granted Critical
Publication of CN109272039B publication Critical patent/CN109272039B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于无人机的水坝周边异常监测方法与装置，属于图像处理技术领域。该装置包括无人机无人值守前端设备、远程控制中心、通讯网络、数据处理模块、算法模块和处理中心。首先无人机搭载高清摄像装置飞行，采集指定位置图像并进行分类整理；将每类图像数据分别划分为训练集和测试集，并对训练集进行预处理，然后进行卷积神经网络的多尺度融合，得到分类结果。对每类测试集的最终分类结果，标记异常位置的特征点，再次划分训练集和测试集。对标记特征点的训练集图像进行分类模型的训练；将测试集输入分类模型中，对每个图像中各个特征点进行异常情况的定位。本发明提高了分类精度和定位精度，解决了人工巡检的方法费时费力的问题。

Description

一种基于无人机的水坝周边异常监测方法与装置
技术领域
本发明属于图像处理技术领域，具体是一种基于无人机的水坝周边异常监测方法与装置。
背景技术
当前，水坝建设已成为国家发展战略中举足轻重的一环；水坝的安全运行为国家发展提供了保障，更为人民生活提供了便利。在水坝巡检工作中，常用的方法是人工巡检，通过肉眼观察、敲击听声以及脚踩等传统方法，或辅以锤、钎以及钢卷尺等简单工具对工程表面和异常现象进行检查量测，从而去判断水坝是否出现异常情况；日常巡查检查次数正常为每周一次，特殊情况时，如发生特大暴雨、洪水、有感地震，发生险情后会24小时不间断地检查。发生比较严重的破坏现象或出现其他危险迹象时，会有专门人员对可能出现险情的部位进行连续监视观测。
然而，人工巡检的方法费时费力，而且很大程度上依赖于经验判断，并不准确。因此，有人提出，通过无人机实现基于空基的自主监视，对水坝异常情况进行巡检。无人机可通过携带的摄像头采集水坝的图像数据，并运用计算机视觉的技术进行智能分析与处理，对坝体、坝基、坝肩、泄洪设施及其闸门，以及对大坝安全有重大影响的近坝区岸坡和其他与大坝安全有直接关系的建筑物和设施，进行判断从而实现自主巡检。
由于无人机拍摄角度和飞行高度不同，采集的水坝周边异常情况的图片数据具有多尺度和多视角问题，造成分类困难，并且由于水坝异常情况通常出现在图片中很小的位置，如迎水面护坡块石有否移动、凹陷或突鼓等问题，造成异常情况定位困难。
发明内容
本发明结合现有技术存在的缺陷，基于深度学习上的多尺度融合的图像分类和定位方法，针对现有水坝异常情况分类和定位方法中因存在多尺度和多视角信息，而导致分类精度不高的问题，和因异常情况通常出现在图片中很小的位置而导致定位困难的问题，提出了一种基于无人机的水坝周边异常监测方法与装置；
所述的水坝周边异常监测方法，具体步骤如下：
步骤一、无人机搭载高清摄像装置，按特定轨迹和特定高度飞行，对水坝进行巡检，采集指定位置图像，并对采集的图像按照水坝异常情况分类整理；
分类包括：迎水面大坝附近水面有否旋涡为一个类别，大坝附近及溢洪道两侧山体岩石有否错动或出现新裂缝为一个类别，进水段有无坍塌、崩岸、淤堵为一个类别，近水面有无冒泡、变浑为一个类别，溢洪道有无冲刷或砂石、杂物堆积为一个类别，坝趾近区有无阴湿、渗水为一个类别等等，依次进行分类整理数据。
步骤二、将分类好的每类图像数据分别划分为训练集和测试集，并对训练集进行预处理；
选分类好的图像数据中80％做训练集，20％做测试集。
预处理包括：通过旋转从已有数据中创造出新的训练集。
旋转变换(Rotation)是指：将训练集中的每张图像都随机旋转一定的角度，保留旋转前和旋转后的图片，将数据集扩大2倍。
步骤三、针对每类预处理后的训练集图像，利用VGG网络进行卷积神经网络的多尺度融合，训练分类模型并将该类的测试集输入分类模型得到分类结果。
VGG网络包含十六个卷积层，十六个池化层，三个全连接层和一个softmax层；每个卷积层后面分别连接一个池化层。
具体过程如下：
步骤301，针对某类训练集图像，将3个不同尺度的预处理图片分别输入3个VGG网络模型，经过各自VGG网络的全部卷积层和池化层后，得到了3个统一尺寸为W*H*C的特征图；
W是特征图的长，H是特征图的宽，C是通道数；
步骤302，将统一尺寸为W*H*C的3个特征图使用通道拼接法进行特征融合，得到融合后的尺寸为W*H*3C的特征图；
融合后的多尺度特征图F为：F＝Concatenate(F1,F2,F3)；F1,F2,F3分别是3个不同尺度的预处理图片分别输入3个VGG网络模型后得到的统一尺寸为W*H*C的特征。
步骤303，将融合后的尺寸为W*H*3C的特征图使用1*1的卷积核减小通道数，变成W*H*C的特征图；
步骤304，将卷积后的W*H*C的特征图送入VGG网络模型的全连接层，再通过softmax层，得到这3个预处理图片所属的一个分类结果；
步骤305、返回步骤301，依次选取训练集中的3个数据进行训练得到分类结果，重复训练分类模型；
步骤306、用分类模型对该类图像数据的测试集进行测试，得到测试集的最终分类结果。
步骤四、对每类测试集的最终分类结果，标记异常位置的特征点；并将标记了特征点的图像再次划分训练集和测试集。
首先，针对某类测试集最终的分类结果图片，进行异常位置的特征点标注，不同的异常情况标记不同的特征点个数，将每张标注了特征点的图片上得到的点数目记为K；
然后，将该类标记了特征点的图片取80％做训练集，20％做测试集；并采用旋转变换扩充训练集的数据至2倍。
步骤五、针对某类标记了特征点的训练集图像，使用去掉全连接层和softmax的VGG网络进行分类模型的训练；
首先，将某个训练集图片输入到去掉全连接层和softmax的VGG网络中，经过所有卷积层后得到W*H*C的特征图；
然后，将该W*H*C的特征图沿通道维度进行池化(channel pooling)操作，得到W*H的特征图。
进而，将W*H的特征图的二维数据拉伸成W*H的一维数据，并通过包含十六个卷积层，十六个池化层，三个全连接层和一个softmax层的VGG网络，输出该张训练集图片上K个特征点的2K个坐标数据；
每个特征点的位置由x轴，y轴两个数据表示。
最后，继续选取该训练集中的下一个图片，输入去掉全连接层和softmax的VGG网络中重复上述步骤，得到该训练集图片中各个特征点的坐标数据；依次对分类模型进行训练。
步骤六、将标记了特征点的测试集输入分类模型中，对每个图像中各个特征点进行异常情况的定位。
所述的基于无人机的水坝周边异常监测装置，包括无人机无人值守前端设备、远程控制中心、通讯网络、数据处理模块、算法模块和处理中心。
远程控制中心设置了无人机飞行周期，飞行高度，飞行时间以及确定采集图片数据的类型。无人机无人值守前端设备通过携带摄像头，按照远程控制中心发送的命令采集水坝异常情况的图片，并通过通讯网络传给数据处理模块，数据处理模块对采集的图片进行分类和标注，将相似的异常情况进行归类；对分类后的每一类数据再进行异常位置的特征点标注，每一类根据异常情况标记不同数目的特征点，同一类的特征点数目保持一致。算法模块针对每类预处理后的训练集图像，利用VGG网络进行卷积神经网络的多尺度融合，训练分类模型并得到该类的测试集的分类结果。通过对每类测试集的最终分类结果，标记异常位置的特征点；并再次划分训练集和测试集进行训练，得到标记了特征点的测试集中每个图像的各个特征点异常情况的定位，处理中心将分类结果和定位位置反馈给水坝监测人员，进行后续工作。
本发明的优点在于：
1)、一种基于无人机的水坝周边异常监测方法，解决了水坝周边异常情况图片数据多尺度和多视角问题，提高了分类精度。
2)、一种基于无人机的水坝周边异常监测方法，使用特征点标记方式，解决了异常情况定位困难问题，提高了定位精度。
3)、一种基于无人机的水坝周边异常监测装置，使用无人机自主监视，解决了人工巡检的方法费时费力的问题。
附图说明
图1为本发明提供的一种基于无人机的水坝周边异常监测方法的流程图。
图2为本发明提供的一种基于无人机的水坝周边异常监测装置的结构图。
具体实施方式
下面将结合附图和实施例对本发明作进一步的详细说明。
本发明涉及一种无人机水坝巡检中异常情况的监测方法，可用于对水坝周边异常的分类和定位。如图1所示，具体步骤如下：
步骤一、无人机搭载高清摄像装置，按特定轨迹和特定高度飞行，对水坝进行巡检，采集指定位置图像，并对采集的图像按照水坝异常情况分类整理；
用无人机采集数据，按照水坝异常情况分类整理数据，不同的异常情况归为不同的类。分类包括：迎水面大坝附近水面有否旋涡为一个类别，迎水面护坡块石有否移动、凹陷或突鼓为一个类别，防浪墙、坝顶有否出现新的裂缝为一个类别，坝顶有否塌坑为一个类别，背水坡坝面、坝脚及镇压层范围内有否出现渗漏突鼓现象为一个类别，大坝附近及溢洪道两侧山体岩石有否错动或出现新裂缝为一个类别，进水段有无坍塌、崩岸、淤堵为一个类别，近水面有无冒泡、变浑为一个类别，溢洪道有无冲刷或砂石、杂物堆积为一个类别，坝趾近区有无阴湿、渗水为一个类别等等，依次进行分类整理数据。
步骤二、将分类好的每类图像数据分别划分为训练集和测试集，并对训练集进行预处理；
选分类好的图像数据中80％做训练集，20％做测试集。对于无人机数据收集的图片具有的多尺度和多视角问题，首先对数据进行预处理，人工增加训练集的大小。通过平移或翻转等方法从已有数据中创造出一批"新"的数据，使训练网络时有更好的效果。
预处理包括：通过旋转从已有数据中创造出新的训练集。
旋转变换(Rotation)是指：将训练集中的每张图像都随机旋转一定的角度，如顺时针旋转10度，保留旋转前和旋转后的图片，依次对训练集的数据进行旋转变换，将数据集扩大2倍。这样的数据增强主要是对图片做了旋转，造成的效果是原来可能是一个角度的图片，现在换了一个角度看，模型依然能识别这个角度的图片，增强了模型的能力，减小了模型对图片角度的敏感程度。
步骤三、针对每类预处理后的训练集图像，利用VGG网络进行卷积神经网络的多尺度融合，训练分类模型并将该类的测试集输入分类模型得到分类结果。
每个尺度的图片使用的基本卷积神经网络是VGG网络，VGG网络包含十六个卷积层，十六个池化层，三个全连接层和一个softmax层用来输出分类结果；每个卷积层后面分别连接一个池化层。
由于不同尺度的图片进入网络之前都调整成了224*224大小的图片，所以经过同一个VGG网络的全部卷积层后，得到的特征图也是统一大小W*H*C，通过通道上的拼接(concatenate)操作，得到一个W*H*3C的特征图，然后将这个多尺度融合后的特征图送入全连接层。为了解决送入全连接之前的特征图通道数过大的问题，使用1*1的卷积核减小特征图的通道数，因为使用1*1的卷积核可以在训练过程中提供参数，让网络自适应的寻找融合特征图的参数，是网络更好的适应和融合多尺度信息。将W*H*3C的特征图卷积后变成W*H*C的特征图，将W*H*C的特征图送入全连接层，再通过softmax层，使用训练集数据进行模型训练得到分类模型，然后对测试集数据进行测试，得到最终分类结果。
具体过程如下：
步骤301，针对某类训练集图像，将3个不同尺度的预处理图片分别输入3个VGG网络模型，经过各自VGG网络的全部卷积层和池化层后，得到了3个统一尺寸为W*H*C的特征图；
W是特征图的长，H是特征图的宽，C是通道数；
步骤302，将统一尺寸为W*H*C的3个特征图使用通道拼接法(concatenate)进行特征融合，得到融合后的尺寸为W*H*3C的特征图；
融合后的多尺度特征图F为：F＝Concatenate(F1,F2,F3)；F1,F2,F3分别是3个不同尺度的预处理图片分别输入3个VGG网络模型后得到的统一尺寸为W*H*C的特征。
步骤303，将融合后的尺寸为W*H*3C的特征图使用1*1的卷积核减小通道数，变成W*H*C的特征图；
步骤304，将卷积后的W*H*C的特征图送入VGG网络模型的全连接层，再通过softmax层，得到这3个预处理图片所属的一个分类结果；
步骤305、返回步骤301，依次选取训练集中的3个数据进行训练得到分类结果，重复训练分类模型；
步骤306、用分类模型对该类图像数据的测试集进行测试，得到测试集的最终分类结果。
步骤四、对每类测试集的最终分类结果，标记异常位置的特征点；并将标记了特征点的图像再次划分训练集和测试集。
由于无人机拍摄的图片像素较低，异常位置出现在图片中很细小的位置上，用检测的方法检测难度大。本实施例使用的是轻量级的特征点定位方法。首先将同一类别的图片进行异常位置的特征点标注，根据异常情况，如迎水面大坝附近水面有否旋涡可标记1个特征点，大坝附近及溢洪道两侧山体岩石有否错动或出现新裂缝可标记6个特征点，同一类的图片作为定位网络的输入，同一类数据取80％做训练集，20％做测试集。为解决图片的多视角问题，采用旋转变换(Rotation)扩充训练集的数据至2倍。
首先，针对某类测试集最终的分类结果图片，进行异常位置的特征点标注，不同的异常情况标记不同的特征点个数，将每张标注了特征点的图片上得到的点数目记为K；
然后，将该类标记了特征点的图片取80％做训练集，20％做测试集；并采用旋转变换扩充训练集的数据至2倍。
步骤五、针对某类标记了特征点的训练集图像，使用去掉全连接层和softmax的VGG网络进行分类模型的训练；
图片数据作为输入，使用去掉全连接层和softmax的VGG网络作为回归网络定位异常位置；首先，将某个训练集图片输入到去掉全连接层和softmax的VGG网络中，经过所有卷积层后得到W*H*C的特征图；为了保留空间上的位置信息，将该W*H*C的特征图沿通道维度进行池化(channel pooling)操作，得到W*H的特征图。
进而，将W*H的特征图的二维数据拉伸成W*H的一维数据，并将这个一维数据通过包含十六个卷积层，十六个池化层，三个全连接层和一个softmax层的VGG网络，输出该张训练集图片上K个特征点的2K个坐标数据；
每个特征点的位置由x轴，y轴两个数据表示。
最后，继续选取该训练集中的下一个图片，输入去掉全连接层和softmax的VGG网络中重复上述步骤，得到该训练集图片中各个特征点的坐标数据；依次对分类模型进行训练。
步骤六、将标记了特征点的测试集输入分类模型中，对每个图像中各个特征点进行异常情况的定位。
所述的基于无人机的水坝周边异常监测装置，包括无人机无人值守前端设备、远程控制中心、通讯网络、数据处理模块、算法模块和处理中心。
无人机无人值守前端设备通过携带摄像头，采集水坝异常情况的图片。
无人机远程控制中心设置无人机飞行周期，飞行高度，飞行时间，确定采集图片数据的类型。
数据处理模块对采集的图片进行分类和标注。将相似的异常情况进行归类，对分类后的每一类数据再进行异常情况的位置的特征点标注，每一类根据异常情况标记不同数目的特征点，同一类的特征点数目保持一致。
算法模块即上述多尺度融合的无人机水坝异常情况的监测方法的卷积神经网络部分。通过卷积神经网络的多尺度融合方法对水坝异常情况进行分类和定位。
处理中心将分类结果和定位位置反馈给水坝监测人员，进行后续工作。
远程控制中心设置了无人机飞行周期，飞行高度，飞行时间以及确定采集图片数据的类型。无人机无人值守前端设备通过携带摄像头，按照远程控制中心发送的命令采集水坝异常情况的图片，并通过通讯网络传给数据处理模块，数据处理模块对采集的图片进行分类和标注，将相似的异常情况进行归类；对分类后的每一类数据再进行异常位置的特征点标注，每一类根据异常情况标记不同数目的特征点，同一类的特征点数目保持一致。算法模块针对每类预处理后的训练集图像，利用VGG网络进行卷积神经网络的多尺度融合，训练分类模型并得到该类的测试集的分类结果。通过对每类测试集的最终分类结果，标记异常位置的特征点；并再次划分训练集和测试集进行训练，得到标记了特征点的测试集中每个图像的各个特征点异常情况的定位，处理中心将分类结果和定位位置反馈给水坝监测人员，进行后续工作。

Claims (7)

1.一种基于无人机的水坝周边异常监测方法，其特征在于，具体步骤如下：
步骤一、无人机搭载高清摄像装置，按特定轨迹和特定高度飞行，对水坝进行巡检，采集指定位置图像，并对采集的图像按照水坝异常情况分类整理；
步骤二、将分类好的每类图像数据分别划分为训练集和测试集，并对训练集进行预处理；
步骤三、针对每类预处理后的训练集图像，利用VGG网络进行卷积神经网络的多尺度融合，训练分类模型并将该类的测试集输入分类模型得到分类结果；
VGG网络包含十六个卷积层，十六个池化层，三个全连接层和一个softmax层；每个卷积层后面分别连接一个池化层；
具体过程如下：
步骤301，针对某类训练集图像，将3个不同尺度的预处理图片分别输入3个VGG网络模型，经过各自VGG网络的全部卷积层和池化层后，得到了3个统一尺寸为W*H*C的特征图；
W是特征图的长，H是特征图的宽，C是通道数；
步骤302，将统一尺寸为W*H*C的3个特征图使用通道拼接法进行特征融合，得到融合后的尺寸为W*H*3C的特征图；
融合后的多尺度特征图F为：F＝Concatenate(F1,F2,F3)；F1,F2,F3分别是3个不同尺度的预处理图片分别输入3个VGG网络模型后得到的统一尺寸为W*H*C的特征；
步骤303，将融合后的尺寸为W*H*3C的特征图使用1*1的卷积核减小通道数，变成W*H*C的特征图；
步骤304，将卷积后的W*H*C的特征图送入VGG网络模型的全连接层，再通过softmax层，得到这3个预处理图片所属的一个分类结果；
步骤305、返回步骤301，依次选取训练集中的3个数据进行训练得到分类结果，重复训练分类模型；
步骤306、用分类模型对该类图像数据的测试集进行测试，得到测试集的最终分类结果；
步骤四、对每类测试集的最终分类结果，标记异常位置的特征点；并将标记了特征点的图像再次划分训练集和测试集；
步骤五、针对某类标记了特征点的训练集图像，使用去掉全连接层和softmax的VGG网络进行分类模型的训练；
步骤六、将标记了特征点的测试集输入分类模型中，对每个图像中各个特征点进行异常情况的定位。
2.如权利要求1所述的一种基于无人机的水坝周边异常监测方法，其特征在于，步骤一中所述的分类整理包括：迎水面大坝附近水面有否旋涡为一个类别，大坝附近及溢洪道两侧山体岩石有否错动或出现新裂缝为一个类别，进水段有无坍塌、崩岸、淤堵为一个类别，近水面有无冒泡、变浑为一个类别，溢洪道有无冲刷或砂石、杂物堆积为一个类别，坝趾近区有无阴湿、渗水为一个类别，依次进行分类整理数据。
3.如权利要求1所述的一种基于无人机的水坝周边异常监测方法，其特征在于，步骤二中所述的训练集和测试集的划分为：选分类好的图像数据中80％做训练集，20％做测试集。
4.如权利要求1所述的一种基于无人机的水坝周边异常监测方法，其特征在于，步骤二中所述的预处理包括：通过旋转从已有数据中创造出新的训练集；
旋转变换是指：将训练集中的每张图像都随机旋转一定的角度，保留旋转前和旋转后的图片，将数据集扩大2倍。
5.如权利要求1所述的一种基于无人机的水坝周边异常监测方法，其特征在于，所述的步骤四具体为：首先，针对某类测试集最终的分类结果图片，进行异常位置的特征点标注，不同的异常情况标记不同的特征点个数，将每张标注了特征点的图片上得到的点数目记为K；
然后，将该类标记了特征点的图片取80％做训练集，20％做测试集；并采用旋转变换扩充训练集的数据至2倍。
6.如权利要求1所述的一种基于无人机的水坝周边异常监测方法，其特征在于，所述的步骤五具体为：首先，将某个训练集图片输入到去掉全连接层和softmax的VGG网络中，经过所有卷积层后得到W*H*C的特征图；
然后，将该W*H*C的特征图沿通道维度进行池化操作，得到W*H的特征图；
进而，将W*H的特征图的二维数据拉伸成W*H的一维数据，并通过包含十六个卷积层，十六个池化层，三个全连接层和一个softmax层的VGG网络，输出该张训练集图片上K个特征点的2K个坐标数据；
每个特征点的位置由x轴，y轴两个数据表示；
最后，继续选取该训练集中的下一个图片，输入去掉全连接层和softmax的VGG网络中重复上述步骤，得到该训练集图片中各个特征点的坐标数据；依次对分类模型进行训练。
7.应用于如权利要求1所述的一种基于无人机的水坝周边异常监测方法的监测装置，其特征在于，包括无人机无人值守前端设备、远程控制中心、通讯网络、数据处理模块、算法模块和处理中心；
远程控制中心设置了无人机飞行周期，飞行高度，飞行时间以及确定采集图片数据的类型；无人机无人值守前端设备通过携带摄像头，按照远程控制中心发送的命令采集水坝异常情况的图片，并通过通讯网络传给数据处理模块，数据处理模块对采集的图片进行分类和标注，将相似的异常情况进行归类；对分类后的每一类数据再进行异常位置的特征点标注，每一类根据异常情况标记不同数目的特征点，同一类的特征点数目保持一致；算法模块针对每类预处理后的训练集图像，利用VGG网络进行卷积神经网络的多尺度融合，训练分类模型并得到该类的测试集的分类结果；通过对每类测试集的最终分类结果，标记异常位置的特征点；并再次划分训练集和测试集进行训练，得到标记了特征点的测试集中每个图像的各个特征点异常情况的定位，处理中心将分类结果和定位位置反馈给水坝监测人员，进行后续工作。
CN201811095926.8A 2018-09-19 2018-09-19 一种基于无人机的水坝周边异常监测方法与装置 Active CN109272039B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811095926.8A CN109272039B (zh) 2018-09-19 2018-09-19 一种基于无人机的水坝周边异常监测方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811095926.8A CN109272039B (zh) 2018-09-19 2018-09-19 一种基于无人机的水坝周边异常监测方法与装置

Publications (2)

Publication Number Publication Date
CN109272039A true CN109272039A (zh) 2019-01-25
CN109272039B CN109272039B (zh) 2020-06-12

Family

ID=65197738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811095926.8A Active CN109272039B (zh) 2018-09-19 2018-09-19 一种基于无人机的水坝周边异常监测方法与装置

Country Status (1)

Country Link
CN (1) CN109272039B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516544A (zh) * 2019-07-19 2019-11-29 平安科技（深圳）有限公司 基于深度学习的人脸识别方法、装置及计算机可读存储介质
CN112748451A (zh) * 2021-01-26 2021-05-04 腾讯科技（深圳）有限公司 轨迹处理方法、装置、电子设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2542118A (en) * 2015-09-04 2017-03-15 Toshiba Res Europe Ltd A method, apparatus, system, and computer readable medium for detecting change to a structure
CN107480341A (zh) * 2017-07-21 2017-12-15 河海大学 一种基于深度学习的大坝安全综合评判方法
CN108510012A (zh) * 2018-05-04 2018-09-07 四川大学 一种基于多尺度特征图的目标快速检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2542118A (en) * 2015-09-04 2017-03-15 Toshiba Res Europe Ltd A method, apparatus, system, and computer readable medium for detecting change to a structure
CN107480341A (zh) * 2017-07-21 2017-12-15 河海大学 一种基于深度学习的大坝安全综合评判方法
CN108510012A (zh) * 2018-05-04 2018-09-07 四川大学 一种基于多尺度特征图的目标快速检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郑峥: "PCA_BP模型在大坝安全监控中的应用", 《建造技术》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516544A (zh) * 2019-07-19 2019-11-29 平安科技（深圳）有限公司 基于深度学习的人脸识别方法、装置及计算机可读存储介质
WO2021012494A1 (zh) * 2019-07-19 2021-01-28 平安科技（深圳）有限公司 基于深度学习的人脸识别方法、装置及计算机可读存储介质
CN110516544B (zh) * 2019-07-19 2024-04-09 平安科技（深圳）有限公司 基于深度学习的人脸识别方法、装置及计算机可读存储介质
CN112748451A (zh) * 2021-01-26 2021-05-04 腾讯科技（深圳）有限公司 轨迹处理方法、装置、电子设备及介质
CN112748451B (zh) * 2021-01-26 2022-04-22 腾讯科技（深圳）有限公司 轨迹处理方法、装置、电子设备及介质

Also Published As

Publication number Publication date
CN109272039B (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
Hashemi-Beni et al. Flood extent mapping: An integrated method using deep learning and region growing using UAV optical data
CN107066995A (zh) 一种基于卷积神经网络的遥感图像桥梁检测方法
CN106154350B (zh) 基于孔中摄像与单孔声波的工程综合测孔系统与方法
CN103679674B (zh) 一种无人飞行器实时图像拼接方法及系统
CN109117876A (zh) 一种稠密小目标检测模型构建方法、模型及检测方法
CN108520274A (zh) 基于图像处理及神经网络分类的高反光表面缺陷检测方法
CN108229461A (zh) 一种基于深度学习的隧道裂缝快速识别方法
Kalke et al. Support vector machine learning applied to digital images of river ice conditions
CN109460753A (zh) 一种检测水上漂浮物的方法
CN106909886B (zh) 一种基于深度学习的高精度交通标志检测方法及系统
CN105930819A (zh) 基于单目视觉和gps组合导航系统的实时城区交通灯识别系统
CN107066774A (zh) 倾斜摄影测量预测滚石运动轨迹模拟系统及其预测方法
CN109766746A (zh) 一种无人机航拍视频的轨道异物检测方法
CN110220909A (zh) 一种基于深度学习的地铁盾构隧道病害检测方法
JP7172400B2 (ja) 地質評価システム、地質評価方法及び地質評価プログラム
CN107424150A (zh) 一种基于卷积神经网络的道路破损检测方法及装置
CN106295695B (zh) 一种飞机起降过程自动追踪拍摄方法及装置
CN109272039A (zh) 一种基于无人机的水坝周边异常监测方法与装置
CN110503098A (zh) 一种快速实时性轻量级的目标检测方法及设备
CN109117838A (zh) 应用于无人船感知系统的目标检测方法及装置
CN113743358B (zh) 一种全方位采集和智能计算的景观视觉特征识别方法
CN108520277A (zh) 基于计算机视觉的钢筋混凝土结构地震损伤自动识别与智能定位方法
CN108388916A (zh) 一种基于人工智能的水体漂浮物自动识别方法和系统
CN113469071A (zh) 一种针对嵌入式设备的运煤皮带异物视频检测方法
CN109409406A (zh) 一种水坝坝体异常情况的空基检测方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant