CN110796634A - 大坝状态检测方法、装置、计算机设备和可读存储介质 - Google Patents

大坝状态检测方法、装置、计算机设备和可读存储介质 Download PDF

Info

Publication number
CN110796634A
CN110796634A CN201910853666.4A CN201910853666A CN110796634A CN 110796634 A CN110796634 A CN 110796634A CN 201910853666 A CN201910853666 A CN 201910853666A CN 110796634 A CN110796634 A CN 110796634A
Authority
CN
China
Prior art keywords
image
dam
attention
feature map
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910853666.4A
Other languages
English (en)
Inventor
杨宗立
杨宁
牟荣峰
乔雨
刘迎雨
李果
陈世明
周大建
张新宇
厉向军
陈伟金
宋波
李鹏
马华东
李贻超
傅慧源
吴卫
张鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZHEJIANG DAHUA SYSTEM ENGINEERING CO LTD
China Three Gorges Projects Development Co Ltd CTG
Original Assignee
ZHEJIANG DAHUA SYSTEM ENGINEERING CO LTD
China Three Gorges Projects Development Co Ltd CTG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZHEJIANG DAHUA SYSTEM ENGINEERING CO LTD, China Three Gorges Projects Development Co Ltd CTG filed Critical ZHEJIANG DAHUA SYSTEM ENGINEERING CO LTD
Priority to CN201910853666.4A priority Critical patent/CN110796634A/zh
Publication of CN110796634A publication Critical patent/CN110796634A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种大坝状态检测方法、装置、计算机设备和可读存储介质，其中大坝状态检测方法包括获取大坝监控场景下的待检测图像；将待检测图像输入基于注意力机制的深度学习模型，得到检测结果图像；根据所述检测结果图像确定大坝状态。上述大坝状态检测方法通过基于注意力机制的深度学习模型对大坝监控下的待检测图像进行检测，可以适用于大坝监控场景下的各种目标检测，且检测准确率较高。

Description

大坝状态检测方法、装置、计算机设备和可读存储介质
技术领域
本发明涉及图像处理技术领域，特别是涉及一种大坝状态检测方法、装置、计算机设备和可读存储介质。
背景技术
世界坝工有着悠久的历史，我国更是一个水利大国，目前已拥有水库大坝 9.8万余座，是世界上水库大坝最多的国家。但随着时间的推移和坝龄的增长，受温度、环境压力等各种因素的影响，大坝的运行形态会发生变化，出现变形、裂缝、渗漏、钙化物析出等一系列大坝表观缺陷。大坝安全不仅关系到水电厂的安全生产而且还直接影响到下游人民的生命财产安全。因此，对大坝的安全进行监测，及时判断大坝是否安全显得极其重要。
传统地，通过将监控对得到的图像进行分块，计算其局部显著性对比度。然后依据大坝裂缝在水下成像具有局部灰度值低、边缘梯度值大、线性特征等先验知识对局部显著性进行增强，最后利用阈值分割检测大坝是否存在裂缝。但是该方法在场景比较复杂的时候效果比较差，并且此方法仅能检测出大坝是否存在裂缝这一场景的图像检测，不适用大坝其他场景的图像检测任务。
发明内容
本申请提供一种大坝状态检测方法、装置、计算机设备和可读存储介质，可以适用于大坝监控场景下的各种目标检测，且检测准确率较高。
一种大坝状态检测方法，所述方法包括：
获取大坝监控场景下的待检测图像；
将待检测图像输入基于注意力机制的深度学习模型，得到检测结果图像；
根据所述检测结果图像确定大坝状态。
在一实施例中，所述将待检测图像输入基于注意力机制的深度学习模型，得到检测结果图像包括：
将所述待检测图像输入至第一卷积神经网络中进行卷积运算，得到图像特征图；
对所述图像特征图进行预设非线性运算，得到注意力特征图；
将所述图像特征图和所述注意力特征图中进行加法运算，得到待预测特征图；
将所述待预测特征图输入至第二卷积神经网络中进行卷积运算，得到所述检测结果图像。
在一实施例中，所述第一卷积神经网络和所述第二卷积神经网络为包括多个级联的深层卷积神经网络。
在一实施例中，所述对所述图像特征图进行预设非线性运算，得到注意力特征图包括：
采用通道注意力机制和Sigmoid非线性函数对所述图像特征图进行预设非线性运算，得到所述注意力特征图。
在一实施例中，所述采用通道注意力机制和Sigmoid非线性函数对所述图像特征图进行预设非线性运算，得到所述注意力特征图包括：所述图像特征图对应于多个通道的特征矩阵；
根据所述通道注意力机制，对所述图像特征图进行一阶通道注意力调制，得到调制特征图；
对所述调制特征图中的每一特征向量执行Sigmoid非线性函数运算，获得基于通道维度的注意力特征向量；
将所述图像特征图中每个空间位置特征向量与所述注意力特征向量中对应的特征向量相乘，得到所述注意力特征图。
在一实施例中，所述将待检测图像输入基于注意力机制的深度学习模型，得到检测结果图像之前还包括：
构建初始检测模型；
获取图像训练样本，所述图像训练样本包括同一监控场景下不同监控视角的待检测图像，以及所述待检测图像中的目标区域信息；
将所述图像训练样本输入至所述初始检测模型，得到第一检测结果图像；
根据所述第一检测结果图像和所述目标区域信息的差异程度，调整所述初始模型参数，得到基于注意力机制的深度学习检测模型。
在一实施例中，所述根据所述第一检测结果图像和所述目标区域信息的差异程度，调整所述初始检测模型的参数包括：
根据所述第一检测结果图像和所述目标区域信息之间的分类误差以及回归误差确定所述差异程度；
根据所述差异程度调整所述初始检测模型的参数。
一种大坝状态检测装置，所述装置包括：
获取模块，用于获取大坝监控场景下的待检测图像；
检测模块，用于将待检测图像输入基于注意力机制的深度学习模型，得到检测结果图像；
确定模块，用于根据所述检测结果图像确定大坝状态。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
本申请实施例提供的大坝状态检测方法、装置、计算机设备和可读存储介质包括获取大坝监控场景下的待检测图像；将待检测图像输入基于注意力机制的深度学习模型，得到检测结果图像；根据所述检测结果图像确定大坝状态。上述大坝状态检测方法通过基于注意力机制的深度学习模型对大坝监控下的待检测图像进行检测，可以适用于大坝监控场景下的各种目标检测，且检测准确率较高。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一实施例提供的大坝状态检测方法的流程图；
图2为一实施例提供的将待检测图像输入基于注意力机制的深度学习模型，得到检测结果图像的流程图；
图3为一实施例提供的采用通道注意力机制和Sigmoid非线性函数对所述图像特征图进行预设非线性运算，得到所述注意力特征图的流程图；
图4为一实施例提供的构建基于注意力机制的深度学习检测模型图的流程图；
图5为一个实施例中大坝状态检测装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了便于理解本申请，为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本申请，附图中给出了本申请的较佳实施方式。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施方式。相反地，提供这些实施方式的目的是使对本申请的公开内容理解的更加透彻全面。本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似改进，因此本申请不受下面公开的具体实施例的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。在本申请的描述中，“若干”的含义是至少一个，例如一个，两个等，除非另有明确具体的限定。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本申请。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
图1为一实施例提供的大坝状态检测方法的流程图，如图1所示，大坝状态检测包括步骤110至步骤130，其中：
步骤110，获取大坝监控场景下的待检测图像。
待检测图像可以通过监控设备获取。监控设备包括摄像头，通过摄像头采集大坝的表面图像。在一实施例中，监控设备可以按照预设的采集周期对大坝待检测区域进行图像采集，获取多张待检测图像。按照预设的采集周期对大坝待检测区域进行图像采集可以实时对大坝的状态进行检测。
大坝待检测区域可以设置为感兴趣区域。大坝待检测区域的数量可以为多个，多个待检测区域可用于检测大坝不同场景的目标检测状态，例如聚氨酯检测、保温被检测、大骨料检测等。
步骤120，将待检测图像输入基于注意力机制的深度学习模型，得到检测结果图像。
深度学习是一类模式分析方法的统称，主要涉及三类算法：(1)基于卷积运算的神经网络系统，即卷积神经网络。(2)基于多层神经元的自编码神经网络，包括自编码以及稀疏编码算法。(3)以多层自编码神经网络的方式进行预训练，进而结合鉴别信息进一步优化神经网络权值的深度置信网络。
本申请以第一类算法为例进行说明，即基于卷积神经网络算法，另外采用深度学习的监督学习机制得到基于注意力机制的深度学习模型。卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。监督学习(Supervised Learning) 本质上就是通过有标签的数据训练获得一个模型，然后通过获得的模型，给新增数据添加上特定的标签。整个机器学习的目标，都是使学习得到的模型能很好地适用于新样本。通过深度学习监督学习机制检测模型对待检测图像进行检测，可以实现有效地对大坝监控场景下的各种目标进行检测，具有较强的鲁棒性，不仅可以检测大坝的状态，还可以定位大坝存在缺陷的位置。
需要说明的是，本申请的注意力机制是指深度学习中的自学习注意力机制，其核心目标是从众多信息中选择出对当前任务目标更关键的信息。视觉注意力机制是人类视觉所特有的大脑信号处理机制。人类视觉通过快速扫描全局图像，获得需要重点关注的目标区域，也就是一般所说的注意力焦点，然后对这一目标区域投入更多注意力资源，以获取更多所需要关注目标的细节信息。本申请在得到待检测图像后，根据待检测图像中不同区域，采用不同的权重进行非等价处理，即重点关注整个待检测图像中的感兴趣区域(目标区域)。本申请将注意力机制应用在对大坝监控场景下的目标检测任务，使得卷积神经网络可以更加关注需要检测的感兴趣区域，从而提高检测的效果和准确度。
在获得待检测图像后，将待检测图像输入至构建好的基于注意力机制的深度学习模型中，得到检测结果图像。
步骤130，根据所述检测结果图像确定大坝状态。
检测结果图像中包含有很多有价值的信息，可以从中得到大坝的状态信息。例如大坝的目标区域是否存在裂缝、聚氨酯含量等，从而可以进行跟踪处理。
本实施例提供的大坝状态检测方法包括：获取大坝监控场景下的待检测图像；将待检测图像输入基于注意力机制的深度学习模型，得到检测结果图像；根据所述检测结果图像确定大坝状态。上述方法通过基于注意力机制的深度学习模型对大坝监控下的待检测图像进行检测，可以适用于大坝监控场景下的各种目标检测，且检测准确率较高。
在一实施例中，所述将待检测图像输入基于注意力机制的深度学习模型，得到检测结果图像包括步骤210至步骤240，其中：
步骤210，将所述待检测图像输入至第一卷积神经网络中进行卷积运算，得到图像特征图。
在一实施方式中，第一卷积神经网络可以为深层卷积神经网络，如VGG、 ResNet等卷积神经网络。深层卷积神经网络具有较强的特征提取能力。深层卷积神经网络包含多个卷积层，后一层的输入是前一层的输出，最后一层输出即为待检测图像的图像特征图。第一卷积神经网络在进行卷积运算过程中，每层卷积核大小和步长可以根据实际应用场景具体设定。例如，可以采用卷积核大小为(3*3)，步长为(2*2)的卷积层对待测图像进行卷积运算，得到该待检测图像在该次卷积操作后的特征。可以理解的是，由于卷积运算具有平移不变性，在得到的图像特征图中，所有物体之间的相对位置与待检测图像是相同的。
需要说明的是，图像特征图为对应于多个通道的特征矩阵，图像特征图可以理解为三维矩阵，即是多个特征矩阵的叠加。例如图像特征图可以对应于3 个通道的特征矩阵，在xy平面对应一个二维的特征矩阵，即一个通道，在z轴上有3个二维的特征矩阵，3个二维特征矩阵在沿z轴排布组成三维矩阵。
步骤220，对所述图像特征图进行预设非线性运算，得到注意力特征图。
非线性运算的函数可以为Sigmoid函数，注意力维度可以是通道维度的注意力或空间位置维度的注意力。预设非线性运算操作和注意力维度的选择可以根据实际应用场景具体设定，本实施例不作限制。在一实施例中，采用通道注意力机制和Sigmoid非线性函数对所述图像特征图进行预设非线性运算，得到所述注意力特征图。
通道注意力机制本质上是一个基于通道的注意力模型，它通过建模图像特征图中各个通道的重要程度，然后针对不同的任务增强或者抑制不同的通道。增强可以理解为采用比较大的注意力权重，相应地，抑制可以理解为采用比较小的注意力权重。
步骤230，将所述图像特征图和所述注意力特征图进行加法运算，得到待预测特征图。
将注意力特征图和图像特征图进行元素加法运算。具体地，由于注意力特征图和图像特征图均对应于多个通道的特征矩阵，将注意力特征图和图像特征图进行元素加法运算即为：将注意力特征图中每一通道的特征矩阵与图像特征图中对应通道的特征矩阵进行加法运算。进一步地，对应通道的特征矩阵进行相加运算可以为多个特征矩阵对应位置的元素进行相加。
步骤240，将所述待预测特征图输入至第二卷积神经网络中进行卷积运算，得到所述检测结果图像。
第二卷积神经网络通过预设卷积运算得到最终的检测结果图像。第二卷积神经网络可以为深层卷积神经网络。第二卷积神经网络包含多个卷积操作，后一层的输入是前一层的输出，最后一层输出目标位置信息，从而得到检测结果图像。其中，第二卷积神经网络在预设卷积运算过程中，每层卷积核的大小和卷积步长应根据具体场景设定。例如，可以采用卷积核大小为(5*5)，步长为 (2*2)的卷积层对待检测特征图进行卷积运算。需要说明的是，第一卷积神经网络和第二卷积神经网络均是检测模型中的神经网络，由于执行的功能不同，第一卷积神经网络和第二卷积神经网络可以理解为不同的神经网络，即内部参数可能不同。
在一实施例中，所述采用通道注意力机制和Sigmoid非线性函数对所述图像特征图进行预设非线性运算，得到所述注意力特征图包括步骤310至步骤330，其中：
步骤310，根据所述通道注意力机制，对所述图像特征图进行一阶通道注意力调制，得到调制特征图。
步骤320，对所述调制特征图中的每一特征向量执行Sigmoid非线性函数运算，获得基于通道维度的注意力特征向量。
步骤330，将所述图像特征图中每个空间位置特征向量与所述注意力特征向量中对应的特征向量相乘，得到所述注意力特征图。
具体地，首先对具有多个通道的图像特征图进行一阶通道注意力调制，得到调制特征图，调制特征图为一个二维的特征矩阵，二维的特征矩阵包含多个特征向量。一阶通道注意力调制可以为多个通道的特征矩阵进行全局取平均操作，也可以根据实际情况进行其他操作，以降低图像特征图的维度。然后对调制特征图中的每一特征向量执行Sigmoid非线性函数运算，获得基于通道维度的注意力特征向量。注意力特征向量为每一通道特征矩阵对应的注意力权重。将所述图像特征图中每一通道的特征矩阵中每一空间位置与对应位置的注意力权重相乘，得到所述注意力特征图。
在一实施例中，所述将待检测图像输入基于注意力机制的深度学习模型，得到检测结果图像之前还包括步骤410至步骤440，其中：
步骤410，构建初始检测模型。初始检测模型可以使用深度学习框架Pytorch 或者Caffe构建初始模型。
在构建初始模型之后，需要对初始模型进行训练。训练样本的数量本实施例不作限制，训练样本的数量越多，训练得到的模型鲁棒性越强。
对初始模型进行训练的具体过程如下：
步骤420，获取图像训练样本。本实施例中图像训练样本包括同一监控场景下不同监控视角的待检测图像，以及所述待检测图像中的目标区域信息。
图像训练样本选择大坝监控场景下大量不同视角的图像样本可以提高模型对于不同监控场景下的鲁棒性。
对于目标区域信息可以采用人工标注操作，在一实施方式中，可以使用LabelImg图像标注工具进行目标区域标注工作。目标区域信息包括大坝中待检测的目标以及该目标的位置信息，可以用框图或其他形状的图像进行标注，以检验初始检测模型是否可以检测出目标区域信息。
步骤430，将图像训练样本输入至所述初始检测模型，得到第一检测结果图像。
具体地，将所述待检测图像输入至初始检测模型中的第一卷积神经网络进行卷积运算，得到图像特征图；对所述图像特征图进行预设非线性运算，得到注意力特征图；将所述图像特征图和所述注意力特征图进行加法运算，得到待预测特征图；将所述待预测特征图输入至初始检测模型中的第二卷积神经网络进行卷积运算，得到所述第一检测结果图像。
步骤440，根据所述第一检测结果图像和所述目标区域信息的差异程度，调整所述初始模型参数，得到基于注意力机制的深度学习检测模型。
在一实施例中，所述根据所述第一检测结果图像和所述目标区域信息的差异程度，调整所述初始检测模型的参数包括：
根据所述第一检测结果图像和所述目标区域信息之间的分类误差以及回归误差确定所述差异程度；
根据所述差异程度调整所述初始检测模型的参数。初始检测模型的参数包括第一卷积神经网络和第二神经网络中的参数。
具体地，在获取到检测结果图像后，提取第一检测结果图像中目标区域对应位置的图像信息作为检测结果，计算该图像信息与目标区域的误差，根据所述差异程度调整所述初始检测模型的参数。通过不断地迭代对初始模型的参数进行调整，使检测结果和对应目标区域差异尽可能小，从而检测结果更接近真实目标区域。
在一实施方式中，可以从分类和回归两方面衡量检测结果和对应目标区域差异，分类误差可以使用交叉熵损失函数，回归误差可以使用Smooth L1损失函数。根据检测结果和对应目标区域的误差对初始检测模型的参数进行更新，使检测结果和对应目标区域差异尽可能小，从而检测结果更接近真实目标区域。
通过不断地迭代对初始模型的参数进行调整，得到最终的基于注意力机制的深度学习模型。在训练过程中，当迭代次数达到预设次数时完成训练过程。预设次数可以根据实际情况进行选取，本实施例不作具体限定。当迭代次数达到预设次数时，说明此时模型已经具备良好的特征提取和目标区域检测的能力，停止模型参数更新操作，即可以得到训练好的基于注意力机制的面向大坝监控场景目标检测模型。
在一实施方式中，当检测结果图像中存在目标区域时，可以发出预设的报警提示音或者报警信号，以提示大坝存在缺陷，从而可以及时的对缺陷进行处理。
应该理解的是，虽然图1至图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1至图4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种大坝状态检测装置，包括：获取模块510、检测模块520和确定模块530，其中：
获取模块510，用于获取大坝监控场景下的待检测图像。
检测模块520，用于将待检测图像输入基于注意力机制的深度学习模型，得到检测结果图像。
确定模块530，用于根据所述检测结果图像确定大坝状态。
在一实施例中，大坝状态检测装置还包括展示模块，用于展示检测结果。展示模块的具体形式本实施例不作限定。
在一实施例中，检测模块520将待检测图像输入基于注意力机制的深度学习模型，得到检测结果图像包括：
将所述待检测图像输入至第一卷积神经网络中进行卷积运算，得到图像特征图；
对所述图像特征图进行预设非线性运算，得到注意力特征图；
将所述图像特征图和所述注意力特征图中对应位置的特征向量进行加法运算，得到待预测特征图；
将所述待预测特征图输入至第二卷积神经网络中进行卷积运算，得到所述检测结果图像。
在一实施例中，所述第一卷积神经网络和所述第二卷积神经网络为包括多个级联的深层卷积神经网络。
在一实施例中，检测模块520对所述图像特征图进行预设非线性运算，得到注意力特征图包括：
采用通道注意力机制和Sigmoid非线性函数对所述图像特征图进行预设非线性运算，得到所述注意力特征图。
在一实施例中，检测模块520采用通道注意力机制和Sigmoid非线性函数对所述图像特征图进行预设非线性运算，得到所述注意力特征图包括：所述图像特征图对应于多个通道的特征矩阵；
根据所述通道注意力机制，对所述图像特征图进行一阶通道注意力调制，得到调制特征图；
对所述调制特征图中的每一特征向量执行Sigmoid非线性函数运算，获得基于通道维度的注意力特征向量；
将所述图像特征图中每个空间位置特征向量与所述注意力特征向量中对应的特征向量相乘，得到所述注意力特征图。
在一实施例中，大坝状态检测装置还包括模型构建模块(图中未示出)，用于：
构建初始检测模型；
获取图像训练样本，所述图像训练样本包括同一监控场景下不同监控视角的待检测图像，以及所述待检测图像中的目标区域信息；
将所述图像训练样本输入至所述初始检测模型，得到第一检测结果图像；
根据所述第一检测结果图像和所述目标区域信息的差异程度，调整所述初始模型参数，得到基于注意力机制的深度学习检测模型。
在一实施例中，模型构建模块根据所述第一检测结果图像和所述目标区域信息的差异程度，调整所述初始检测模型的参数包括：
根据所述第一检测结果图像和所述目标区域信息之间的分类误差以及回归误差确定所述差异程度；
根据所述差异程度调整所述初始检测模型的参数。
本申请实施例提供的大坝状态检测装置包括获取模块510、检测模块520和确定模块530，通过获取模块510获取大坝监控场景下的待检测图像；检测模块 520将待检测图像输入基于注意力机制的深度学习模型，得到检测结果图像；确定模块530根据所述检测结果图像确定大坝状态。上述装置通过基于注意力机制的深度学习模型对大坝监控下的待检测图像进行检测，可以适用于大坝监控场景下的各种目标检测，且检测准确率较高。
关于大坝状态检测装置的具体限定可以参见上文中对于大坝状态检测方法的限定，在此不再赘述。上述大坝状态检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种大坝检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取大坝监控场景下的待检测图像；
将待检测图像输入基于注意力机制的深度学习模型，得到检测结果图像；
根据所述检测结果图像确定大坝状态。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取大坝监控场景下的待检测图像；
将待检测图像输入基于注意力机制的深度学习模型，得到检测结果图像；
根据所述检测结果图像确定大坝状态。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程 ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限， RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步 DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM (ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus) 直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种大坝状态检测方法，其特征在于，所述方法包括：
获取大坝监控场景下的待检测图像；
将待检测图像输入基于注意力机制的深度学习模型，得到检测结果图像；
根据所述检测结果图像确定大坝状态。
2.根据权利要求1所述的方法，其特征在于，所述将待检测图像输入基于注意力机制的深度学习模型，得到检测结果图像包括：
将所述待检测图像输入至第一卷积神经网络中进行卷积运算，得到图像特征图；
对所述图像特征图进行预设非线性运算，得到注意力特征图；
将所述图像特征图和所述注意力特征图进行加法运算，得到待预测特征图；
将所述待预测特征图输入至第二卷积神经网络中进行卷积运算，得到所述检测结果图像。
3.根据权利要求2所述的方法，其特征在于，所述第一卷积神经网络和所述第二卷积神经网络为包括多个级联的深层卷积神经网络。
4.根据权利要求2所述的方法，其特征在于，所述对所述图像特征图进行预设非线性运算，得到注意力特征图包括：
采用通道注意力机制和Sigmoid非线性函数对所述图像特征图进行预设非线性运算，得到所述注意力特征图。
5.根据权利要求4所述的方法，其特征在于，所述采用通道注意力机制和Sigmoid非线性函数对所述图像特征图进行预设非线性运算，得到所述注意力特征图包括：所述图像特征图对应于多个通道的特征矩阵；
根据所述通道注意力机制，对所述图像特征图进行一阶通道注意力调制，得到调制特征图；
对所述调制特征图中的每一特征向量执行Sigmoid非线性函数运算，获得基于通道维度的注意力特征向量；
将所述图像特征图中每个空间位置特征向量与所述注意力特征向量中对应的特征向量相乘，得到所述注意力特征图。
6.根据权利要求1所述的方法，其特征在于，所述将待检测图像输入基于注意力机制的深度学习模型，得到检测结果图像之前还包括：
构建初始检测模型；
获取图像训练样本，所述图像训练样本包括同一监控场景下不同监控视角的待检测图像，以及所述待检测图像中的目标区域信息；
将所述图像训练样本输入至所述初始检测模型，得到第一检测结果图像；
根据所述第一检测结果图像和所述目标区域信息的差异程度，调整所述初始模型参数，得到基于注意力机制的深度学习检测模型。
7.根据权利要求6所述的方法，其特征在于，所述根据所述第一检测结果图像和所述目标区域信息的差异程度，调整所述初始检测模型的参数包括：
根据所述第一检测结果图像和所述目标区域信息之间的分类误差以及回归误差确定所述差异程度；
根据所述差异程度调整所述初始检测模型的参数。
8.一种大坝状态检测装置，其特征在于，所述装置包括：
获取模块，用于获取大坝监控场景下的待检测图像；
检测模块，用于将待检测图像输入基于注意力机制的深度学习模型，得到检测结果图像；
确定模块，用于根据所述检测结果图像确定大坝状态。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
CN201910853666.4A 2019-09-10 2019-09-10 大坝状态检测方法、装置、计算机设备和可读存储介质 Pending CN110796634A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910853666.4A CN110796634A (zh) 2019-09-10 2019-09-10 大坝状态检测方法、装置、计算机设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910853666.4A CN110796634A (zh) 2019-09-10 2019-09-10 大坝状态检测方法、装置、计算机设备和可读存储介质

Publications (1)

Publication Number Publication Date
CN110796634A true CN110796634A (zh) 2020-02-14

Family

ID=69427477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910853666.4A Pending CN110796634A (zh) 2019-09-10 2019-09-10 大坝状态检测方法、装置、计算机设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN110796634A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488872A (zh) * 2020-03-31 2020-08-04 腾讯科技（深圳）有限公司 图像检测方法、装置、计算机设备和存储介质
CN111597941A (zh) * 2020-05-08 2020-08-28 河海大学 一种面向大坝缺陷图像的目标检测方法
CN111639652A (zh) * 2020-04-28 2020-09-08 博泰车联网(南京)有限公司 一种图像处理方法、装置及计算机存储介质
CN111815606A (zh) * 2020-07-09 2020-10-23 浙江大华技术股份有限公司 图像质量评估方法、存储介质及计算装置
CN111967419A (zh) * 2020-08-25 2020-11-20 深圳大学 一种坝岸险情预测方法、装置、计算机设备及存储介质
CN112132093A (zh) * 2020-09-30 2020-12-25 湖南省气象科学研究所 高分辨率遥感图像目标检测方法、装置和计算机设备
CN114463587A (zh) * 2022-01-30 2022-05-10 中国农业银行股份有限公司 一种异常数据检测方法、装置、设备及存储介质
CN114647762A (zh) * 2022-03-23 2022-06-21 中国水利水电科学研究院 一种基于图谱对比的堤坝探测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108376235A (zh) * 2018-01-15 2018-08-07 深圳市易成自动驾驶技术有限公司 图像检测方法、装置及计算机可读存储介质
CN109345507A (zh) * 2018-08-24 2019-02-15 河海大学 一种基于迁移学习的大坝图像裂缝检测方法
CN109902763A (zh) * 2019-03-19 2019-06-18 北京字节跳动网络技术有限公司 用于生成特征图的方法和装置
CN109948699A (zh) * 2019-03-19 2019-06-28 北京字节跳动网络技术有限公司 用于生成特征图的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108376235A (zh) * 2018-01-15 2018-08-07 深圳市易成自动驾驶技术有限公司 图像检测方法、装置及计算机可读存储介质
CN109345507A (zh) * 2018-08-24 2019-02-15 河海大学 一种基于迁移学习的大坝图像裂缝检测方法
CN109902763A (zh) * 2019-03-19 2019-06-18 北京字节跳动网络技术有限公司 用于生成特征图的方法和装置
CN109948699A (zh) * 2019-03-19 2019-06-28 北京字节跳动网络技术有限公司 用于生成特征图的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIE HU等: "Squeeze-and-Excitation Networks", 《CVPR》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488872A (zh) * 2020-03-31 2020-08-04 腾讯科技（深圳）有限公司 图像检测方法、装置、计算机设备和存储介质
CN111488872B (zh) * 2020-03-31 2022-10-25 腾讯科技（深圳）有限公司 图像检测方法、装置、计算机设备和存储介质
CN111639652A (zh) * 2020-04-28 2020-09-08 博泰车联网(南京)有限公司 一种图像处理方法、装置及计算机存储介质
CN111597941B (zh) * 2020-05-08 2021-02-09 河海大学 一种面向大坝缺陷图像的目标检测方法
CN111597941A (zh) * 2020-05-08 2020-08-28 河海大学 一种面向大坝缺陷图像的目标检测方法
CN111815606A (zh) * 2020-07-09 2020-10-23 浙江大华技术股份有限公司 图像质量评估方法、存储介质及计算装置
CN111815606B (zh) * 2020-07-09 2023-09-01 浙江大华技术股份有限公司 图像质量评估方法、存储介质及计算装置
CN111967419A (zh) * 2020-08-25 2020-11-20 深圳大学 一种坝岸险情预测方法、装置、计算机设备及存储介质
CN111967419B (zh) * 2020-08-25 2023-06-20 深圳大学 一种坝岸险情预测方法、装置、计算机设备及存储介质
CN112132093A (zh) * 2020-09-30 2020-12-25 湖南省气象科学研究所 高分辨率遥感图像目标检测方法、装置和计算机设备
CN112132093B (zh) * 2020-09-30 2024-01-05 湖南省气象科学研究所 高分辨率遥感图像目标检测方法、装置和计算机设备
CN114463587A (zh) * 2022-01-30 2022-05-10 中国农业银行股份有限公司 一种异常数据检测方法、装置、设备及存储介质
CN114647762A (zh) * 2022-03-23 2022-06-21 中国水利水电科学研究院 一种基于图谱对比的堤坝探测方法
CN114647762B (zh) * 2022-03-23 2023-01-24 中国水利水电科学研究院 一种基于图谱对比的堤坝探测方法

Similar Documents

Publication Publication Date Title
CN110796634A (zh) 大坝状态检测方法、装置、计算机设备和可读存储介质
Westphal et al. A machine learning method for defect detection and visualization in selective laser sintering based on convolutional neural networks
Lee et al. A convolutional neural network model for abnormality diagnosis in a nuclear power plant
CN111079632A (zh) 文本检测模型的训练方法、装置、计算机设备和存储介质
CN109086876B (zh) 设备的运行状态检测方法、装置、计算机设备和存储介质
CN111401472B (zh) 基于深度卷积神经网络的红外目标分类方法和装置
CN112613454A (zh) 一种电力基建施工现场违章识别方法及系统
CN111401473B (zh) 基于注意力机制卷积神经网络的红外目标分类方法
CN112001110A (zh) 一种基于振动信号空间时时递归图卷积神经网络的结构损伤识别监测方法
CN113139659A (zh) 基于数字孪生的水利监测方法及系统
CN111144398A (zh) 目标检测方法、装置、计算机设备和存储介质
CN111047088A (zh) 预测图像获取方法、装置、计算机设备和存储介质
CN115496975B (zh) 辅助加权数据融合方法、装置、设备及存储介质
CN110175974A (zh) 图像显著性检测方法、装置、计算机设备和存储介质
CN115171045A (zh) 一种基于yolo的电网作业现场违章识别方法及终端
CN111382638B (zh) 一种图像检测方法、装置、设备和存储介质
Xie et al. RDAD: A reconstructive and discriminative anomaly detection model based on transformer
CN111680784B (zh) 基于时空多维影响力的海面温度深度学习预测方法
CN115099264A (zh) 船舶零件故障诊断方法及装置、计算机和计算机储存介质
CN112862002A (zh) 多尺度目标检测模型的训练方法、目标检测方法和装置
CN114119531A (zh) 应用于校园智慧平台的火灾检测方法、装置及计算机设备
CN111178202B (zh) 目标检测方法、装置、计算机设备和存储介质
CN110222575B (zh) 基于注意力机制目标检测的设备综合效率分析方法、装置、系统、设备及存储介质
CN111008604A (zh) 预测图像获取方法、装置、计算机设备和存储介质
CN111125918A (zh) 基于相似寿命模型和相似寿命的复杂产品可靠性评定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200214

RJ01 Rejection of invention patent application after publication