CN110738634B - 聚氨酯覆盖区域检测方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请提供了一种聚氨酯覆盖区域检测方法、装置、计算机设备和存储介质，其中，该方法包括：通过获取大坝上游面的第一图像；将第一图像输入训练完备的聚氨酯检测模型中，得到第一目标图像，其中，第一目标图像是在第一图像上以矩形框标注聚氨酯未覆盖区域得到的图像；根据第一目标图像，确定大坝上游面的聚氨酯未覆盖区域。通过本发明，实现了全方位定位和分析大坝上游面的聚氨酯未覆盖区域的有益效果，解决相关技术中由于人为检测容易出现疏漏，且现场人为检查存在着一定的复杂性和局限性，无法全方位检测大坝上游面的聚氨酯未覆盖区域的问题。

Description

聚氨酯覆盖区域检测方法、装置、计算机设备和存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种聚氨酯覆盖区域检测方法、装置、计算机设备和存储介质。

背景技术

随着数字图像处理、模式识别和深度学习技术的日益发展和完善，目标检测方法也在不断发展。基于传统图像处理技术的目标检测方法直接手动设计特征对图像提取特征，然后送到分类器进行训练，没有对图像的高级特征加以利用，检测精度低，检测速度慢。

比如，在建造过程中，当大坝仓面上水泥浇筑完成后，大坝仓面需要覆盖上聚氨酯，以保持大坝表面相对恒温、恒湿、减少温度梯度变化及干缩裂缝。当大坝仓面上存在聚氨酯未覆盖区域时，就需要检测出聚氨酯未覆盖区域。

相关技术的大坝上游面的聚氨酯未覆盖区域检测方案中，一般由人为现场检测，但是人为检测容易出现疏漏，且现场人为检查存在着一定的复杂性和局限性，无法全方位检测大坝上游面的聚氨酯未覆盖区域。

发明内容

基于此，本申请提供了一种聚氨酯覆盖区域检测方法、装置、计算机设备和存储介质，用以解决相关技术中由于人为检测容易出现疏漏，且现场人为检查存在着一定的复杂性和局限性，无法全方位检测大坝上游面的聚氨酯未覆盖区域的问题。

根据本发明实施例的一个方面，提供了一种聚氨酯覆盖区域检测方法，包括：

获取大坝上游面的第一图像；

将所述第一图像输入训练完备的聚氨酯检测模型中，得到第一目标图像，其中，所述第一目标图像是在所述第一图像上以矩形框标注聚氨酯未覆盖区域得到的图像；

根据所述第一目标图像，确定所述大坝上游面的聚氨酯未覆盖区域。

在一个实施例中，将所述第一图像输入训练完备的聚氨酯检测模型中，得到第一目标图像包括：

通过特征提取网络，提取所述第一图像的第一编码特征图像；

通过训练完备的区域生成网络，根据所述第一编码特征图像，生成第一候选感兴趣区域集合；

从所述第一候选感兴趣区域集合筛选出第一目标感兴趣区域集合，将所述第一目标感兴趣区域集合映射到所述第一编码特征图像中，再经过感兴趣区域池化，得到预设大小的第一特征图像；

通过训练完备的目标分类和回归网络，根据所述第一特征图像，生成所述第一目标图像。

在一个实施例中，从所述第一候选感兴趣区域集合筛选出第一目标感兴趣区域集合包括：

选取所述第一候选感兴趣区域集合中的候选感兴趣区域属于聚氨酯未覆盖区域的概率较高的多个候选感兴趣区域，组成所述第一目标感兴趣区域集合。

在一个实施例中，根据所述第一目标图像，确定所述大坝上游面的聚氨酯未覆盖区域之后，所述方法还包括：

计算所述大坝上游面的聚氨酯未覆盖区域占所述大坝上游面的聚氨酯未覆盖率；

判断所述聚氨酯未覆盖率是否大于告警阈值；

在判断结果为所述聚氨酯未覆盖率大于所述告警阈值的情况下，发出告警。

在一个实施例中，确定所述大坝上游面的聚氨酯未覆盖区域之后还包括：

显示所述大坝上游面的聚氨酯未覆盖区域，和/或，所述大坝上游面的聚氨酯未覆盖率。

在一个实施例中，所述训练完备的聚氨酯检测模型的训练过程包括：

构建初始聚氨酯检测模型，其中，所述初始聚氨酯检测模型包括特征提取网络、初始区域生成网络、初始目标分类和回归网络；

获取图像训练样本，其中，所述图像训练样本包括：大坝上游面在不同时间段的多个第二图像，以及与所述第二图像一一对应的多个真实目标图像，所述真实目标图像是在所述第二图像上以矩形框标注聚氨酯未覆盖区域得到的图像；

将所述图像训练样本输入到所述特征提取网络，得到第二编码特征图像；

将所述第二编码特征图像输入到所述初始区域生成网络，得到第二候选感兴趣区域集合；

从所述第二候选感兴趣区域集合筛选出第二目标感兴趣区域集合，将所述第二目标感兴趣区域集合映射到所述第二编码特征图像中，再经过感兴趣区域池化，得到预设大小的第二特征图像；

将所述第二特征图像输入到所述初始目标分类和回归网络，得到第二目标图像；

根据所述初始区域生成网络和所述目标分类和回归网络的损失函数，调整所述初始区域生成网络和所述目标分类和回归网络的参数，直至收敛或者训练次数达到预设次数，得到所述训练完备的聚氨酯检测模型。

在一个实施例中，所述损失函数包括：交叉熵损失函数，和/或Smooth L1 损失函数。

在一个实施例中，根据所述初始区域生成网络和所述目标分类和回归网络的损失函数，调整所述初始区域生成网络和所述目标分类和回归网络的参数包括：

根据所述交叉熵损失函数计算所述第二候选感兴趣区域相对于所述真实目标图像中标注的矩形框的第一类别损失，以及根据所述Smooth L1损失函数计算所述第二候选感兴趣区域相对于所述真实目标图像中标注的矩形框的第一坐标回归损失；

根据所述交叉熵损失函数计算所述第二目标图像中标注的矩形框相对于所述真实目标图像中标注的矩形框的第二类别损失，以及根据所述Smooth L1损失函数计算所述第二目标图像中标注的矩形框相对于所述真实目标图像中标注的矩形框的第二坐标回归损失；

叠加所述第一类别损失和所述第二类别损失得到第三类别损失，以及叠加所述第一坐标回归损失和所述第二坐标回归损失得到第三坐标回归损失；

根据所述第三类别损失和所述第三坐标回归损失，调整所述初始区域生成网络和所述目标框分类和回归网络的参数。

在一个实施例中，获取图像训练样本包括：

选取不同时间段的同一摄像机拍摄的大坝上游面的视频图像；

从所述视频图像中抽取多帧图像作为所述多个第二图像；

根据用户的输入，在所述多个第二图像上分别以矩形框标注聚氨酯未覆盖区域，得到所述多个真实目标图像；

将所述多个第二图像和所述多个真实目标图像一一对应分组，得到所述图像训练样本。

根据本发明实施例的另一个方面，还提供了一种聚氨酯覆盖检测装置，包括：

获取模块，用于获取大坝上游面的第一图像；

输入模块，用于将所述第一图像输入训练完备的聚氨酯检测模型中，得到第一目标图像，其中，所述第一目标图像是在所述第一图像上以矩形框标注聚氨酯未覆盖区域得到的图像；

确定模块，用于根据所述第一目标图像，确定所述大坝上游面的聚氨酯未覆盖区域。

根据本发明实施例的又一个方面，还提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的一种聚氨酯覆盖区域检测方法。

根据本发明的实施例的再一个方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的一种聚氨酯覆盖区域检测方法。

与相关技术相比，本申请提供了一种聚氨酯覆盖区域检测方法、装置、计算机设备和存储介质，通过获取大坝上游面的第一图像；将第一图像输入训练完备的聚氨酯检测模型中，得到第一目标图像，其中，第一目标图像是在第一图像上以矩形框标注聚氨酯未覆盖区域得到的图像；根据第一目标图像，确定大坝上游面的聚氨酯未覆盖区域的方式，实现了全方位定位和分析大坝上游面的聚氨酯未覆盖区域的有益效果，解决相关技术中由于人为检测容易出现疏漏，且现场人为检查存在着一定的复杂性和局限性，无法全方位检测大坝上游面的聚氨酯未覆盖区域的问题。

附图说明

为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种聚氨酯未覆盖区域检测方法的流程图；

图2是本申请实施例提供的训练完备的聚氨酯检测模型生成第一目标图像的流程图；

图3是本申请实施例提供的一种训练完备的聚氨酯检测模型的训练过程的流程图；

图4是本申请实施例的一种聚氨酯覆盖区域检测装置的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在本实施例中提供了一种聚氨酯未覆盖区域检测方法。图1为本申请实施例的一种聚氨酯未覆盖区域检测方法的流程图，如图1所示，该流程包括如下步骤：

步骤S102：获取大坝上游面的第一图像。

步骤S104：将第一图像输入训练完备的聚氨酯检测模型中，得到第一目标图像，其中，第一目标图像是在第一图像上以矩形框标注聚氨酯未覆盖区域得到的图像。

步骤S106：根据第一目标图像，确定大坝上游面的聚氨酯未覆盖区域。

通过上述步骤，获取大坝上游面的第一图像，将第一图像输入训练完备的聚氨酯检测模型中，得到第一目标图像，根据第一目标图像，确定大坝上游面的聚氨酯未覆盖区域，解决了由于人为检测容易出现疏漏，且现场人为检查存在着一定的复杂性和局限性，无法全方位检测大坝上游面的聚氨酯未覆盖区域的问题，实现了全方位定位和分析大坝上游面的聚氨酯未覆盖区域的有益效果。

在本实施例中，可以采用摄像头作为全方位视觉传感器采集第一图像。通过本实施例，在大坝上游面，有些大坝上游面的表面处于人眼视野盲区的情况下，依然能够实现全面采集大坝图像信息。

在一个实施例中，如图2所示，为训练完备的聚氨酯检测模型生成第一目标图像的流程图，该流程包括如下步骤：

步骤S202：通过特征提取网络，提取第一图像的第一编码特征图像。

首先将第一图像输入到编码器网络中，进行卷积运算，得到第一编码特征图。在一种实施方式中，编码器网络可以为轻量级特征提取卷积神经网络，如 MobileNet等卷积神经网络，也可以为带有残差结构的深层卷积神经网络，如 ResNet。可以理解的是，轻量级特征提取卷积神经网络的连接参数比较少，占据内存少，能够更加快速的对输入图像特征进行提取。同时，对硬件的要求也相对降低。但是在精度上轻量级特征提取卷积神经网络要略低于深层特征提取卷积神经网络。

其中，编码器网络在卷积运算的过程中，每层的卷积核大小和卷积步长可以根据具体的场景设定。例如，采用卷积核大小为(3*3)，步长为(2*2)的卷积层对第一图像进行卷积运算，得到该第一图像在该次卷积操作后的编码特征。可以理解的是，由于卷积运算的平移不变性，在该编码特征图中，所有物体之间的相对位置与在输入第一图像中是相同的。编码器网络应包含多层卷积层，后一层的卷积网络对前一层输出的编码特征继续进行卷积操作，最后一层输出的编码特征即为输入第一图像的第一编码特征图像。

步骤S204：通过训练完备的区域生成网络，根据第一编码特征图像，生成第一候选感兴趣区域集合。

在一种实施例方式中但不仅限于以下实施方式：

区域生成网络的转置卷积运算的过程中，例如，采用卷积核大小为(3*3)，步长为(2*2)，通道数为512的转置卷积层对编码特征进行转置卷积运算，得到该S202中第一编码特征图像在该次转置卷积操作后的特征图像。将该第一特征图像分别输入到一个通道数为18的1*1卷积层和一个通道数为36的1*1卷积层，进行卷积运算后得到W*H*9个锚，即组成第一候选感兴趣区域集合，以及得到第一候选感兴趣区域集合属于聚氨酯未覆盖区域的概率以及对应的回归位置参数(W、H为该特征图的大小)，其中，锚是第一图像上的点对应的候选感兴趣区域，一个点可以有多个锚。

步骤S206：从第一候选感兴趣区域集合筛选出第一目标感兴趣区域集合，将第一目标感兴趣区域集合映射到第一编码特征图像中，再经过感兴趣区域池化，得到预设大小的第一特征图像。

在一种实施例方式中但不仅限于以下实施方式：

筛选规则是：先选取S204中W*H*9个候选感兴趣区域属于聚氨酯未覆盖区域的概率较大的2000个锚，利用步骤S204中生成的回归的位置参数修正这 2000个锚的位置，得到第一感兴趣区域集合；利用非极大值抑制的方法，选出第一感兴趣区域集合中属于聚氨酯未覆盖区域的概率最大的300个感兴趣区域集合，即第一目标感兴趣区域集合；将这300个感兴趣区域映射到S202中的第一编码特征图，再经过感兴趣区域池化，在本实施例中预设大小的第一特征图像为7*7，则得到7*7固定大小的特征图像，其中，预设大小可以根据用户需要调整大小。

进一步的，感兴趣区域池化(Region of interest pooling，也称为RoI pooling)是使用卷积神经网络在目标检测任务中广泛使用的操作。例如，在单个图像中检测多个汽车和行人。其目的是对非均匀尺寸的输入执行最大池化以获得固定尺寸的特征图(例如7×7)。

步骤S208：通过训练完备的目标分类和回归网络，根据第一特征图像，生成第一目标图像。

在一种实施例方式中但不仅限于以下实施方式：

将步骤S206中的7*7固定大小的特征图像输入到用户设定的2个4096维的全连接层中，得到4096维特征，将4096维特征分别输入到2维的全连接层进行聚氨酯类别分类和8维特征进行聚氨酯区域坐标回归，得到最终的目标类别和坐标，最终得到第一目标图像。

通过上述步骤，与相关技术相比，将基于卷积神经网络的目标检测算法用于大坝上游的聚氨酯覆盖检测当中，并且通过特征特区网络、区域生成网络、感兴趣区域池化、目标分类和回归网络使聚氨酯区域检测的坐标更准确，使得大坝上游聚氨酯覆盖可以得到实时的监控，能够实现对大坝上游面的聚氨酯未覆盖区域的检测，避免了大坝上未刷聚氨酯而导致的大坝上游面不能保持表面相对恒温、恒湿、以及减少温度梯度变化及干缩裂缝的问题。

在一个实施例中，从第一候选感兴趣区域集合筛选出第一目标感兴趣区域集合包括：选取第一候选感兴趣区域集合中的候选感兴趣区域属于聚氨酯未覆盖区域的概率较高的多个候选感兴趣区域，组成第一目标感兴趣区域集合。为本申请提供了筛选出第一目标感兴趣区域集合的方式。

在一个实施例中，根据第一目标图像，确定大坝上游面的聚氨酯未覆盖区域之后，计算大坝上游面标注聚氨酯未覆盖区域占大坝面积的比值，得到大坝上游面的聚氨酯未覆盖区域的面积占比，将大坝上游面标注的聚氨酯未覆盖区域和大坝上游面的聚氨酯未覆盖区域的面积占比作为检测结果反馈至结果展示系统。一方面，结果展示系统将检测结果进行可视化展示，即突出聚氨酯未覆盖的区域，并输出聚氨酯未覆盖区域占比；另一方面，判断聚氨酯未覆盖率是否大于告警阈值，在判断结果为聚氨酯未覆盖率大于告警阈值的情况下，结果展示系统发出告警。

在一个实施例中，如图3所示，为本申请实施例提供的一种训练完备的聚氨酯检测模型的训练过程的流程图，该流程包括如下步骤：

步骤S302：构建初始聚氨酯检测模型，其中，初始聚氨酯检测模型包括特征提取网络、初始区域生成网络、初始目标分类和回归网络。

在一种实施例方式中但不仅限于以下实施方式：基于深度学习框架构 Pytorch构建初始聚氨酯检测模型。

步骤S304：获取图像训练样本，其中，图像训练样本包括：大坝上游面在不同时间段的多个第二图像，以及与第二图像一一对应的多个真实目标图像，真实目标图像是在第二图像上以矩形框标注聚氨酯未覆盖区域得到的图像。

步骤S306：将图像训练样本输入到特征提取网络，得到第二编码特征图像。

在一种实施例方式中但不仅限于以下实施方式：将训练样本的图像输入到特征提取网络，进行多层卷积操作，得到图像样本的编码特征图，其中多层卷积操作可根据用户的实际需要进行设定。

步骤S308：将第二编码特征图像输入到初始区域生成网络，得到第二候选感兴趣区域集合。

在一种实施例方式中但不仅限于以下实施方式：

在第二编码特征图上的每个点都有9个锚，锚是大小和尺寸固定的候选框，三种尺寸分别为：128、256、512，三种比例分别是：1：1、1：2、2：1，组合起来一共9种，对第二编码特征图中所有的锚进行筛选，筛选原则可根据用户需要进行设定。在本实施例中设定的筛选原则是：对每个真实目标框，选择一个与它重叠度最高的一个锚作为正样本，对于剩下的锚，从中选择任意一个和真实目标框重叠度超过0.7的锚作为正样本，正样本的数量不超过128个，随机选择和真实目标框重叠度低于0.3的锚作为负样本，负样本和正样本的总数为256，则256个负样本和正样本组成第二感兴趣区域集合，其中，真实目标框为 S304中真实目标图像上的矩形框。

步骤S310：从第二候选感兴趣区域集合筛选出第二目标感兴趣区域集合，将第二目标感兴趣区域集合映射到第二编码特征图像中，再经过感兴趣区域池化，得到预设大小的第二特征图像；

在一种实施例方式中但不仅限于以下实施方式：

计算第二编码特征图中所有锚属于聚氨酯未覆盖区域的概率以及对应回归的位置参数，在本实施例中选取概率较大的12000个锚，然后利用回归的位置参数修正这12000个锚，再利用非极大值抑制的方法选取概率最大的2000个锚，即组成第二候选感兴趣区域集合。

将得到的第二候选感兴趣区域集合通过区域目标选择器筛选，在本实施例中筛选出128个目标区域，则128个目标区域为第二目标感兴趣区域，其中，筛选规则可根据用户的实际需要进行设定，在本实施例中设定筛选规则为：选择32个感兴趣区域与真实目标区域重叠度大于0.5的作为正样本，选择96个感兴趣区域与真实目标区域重叠度小于0.1的作为负样本；将这128个区域映射到第二编码特征图中，通过感兴趣区域池化，得到预设大小的第二特征图像，在本实施例中预设大小为7*7，则得到7*7固定大小的第二特征图像。

步骤S312：将第二特征图像输入到初始目标分类和回归网络，得到第二目标图像。

在一种实施例方式中但不仅限于以下实施方式：

将步骤S312得到的预设大小的第二特征图像，在本实施例中预设大小为 7*7，则将7*7的第二特征图像经过全连接层操作，得到最终的目标类别和坐标，即得到第二目标图像，其中全连接层操作可根据用户实际需要进行设定，在本实施例中全连接层操作中包括两个4096维的全连接层，则上述操作为将7*7固定大小的特征图像输入到2个4096维的全连接层中，得到4096维特征，将4096 维特征分别输入到2维的全连接层进行聚氨酯类别分类和8维特征进行聚氨酯区域坐标回归，得到最终的目标类别和坐标，即第二目标图像。

步骤S314：根据初始区域生成网络和目标分类和回归网络的损失函数，调整初始区域生成网络和目标分类和回归网络的参数，直至收敛或者训练次数达到预设次数，得到训练完备的聚氨酯检测模型。

当训练次数达到预设次数或者达到收敛后，此时聚氨酯检测模型已经有了较好的特征提取能力和目标分类回归能力，可以停止调整初始聚氨酯检测模型的参数，得到训练完备的聚氨酯检测模型。其中，预设次数可以为1万、2万、 5万等，不做具体限定。

基于上述步骤，为本申请提供了一种训练完备的聚氨酯模型的训练方法。

在一个实施例中，步骤S314中的损失函数包括：交叉熵损失函数，和/或 SmoothL1损失函数。

在一个实施例中，步骤S314中：根据初始区域生成网络和目标分类和回归网络的损失函数，调整初始区域生成网络和目标分类和回归网络的参数包括如下过程：

根据交叉熵损失函数计算第二候选感兴趣区域相对于真实目标图像中标注的矩形框的第一类别损失，以及根据Smooth L1损失函数计算第二候选感兴趣区域相对于真实目标图像中标注的矩形框的第一坐标回归损失；根据交叉熵损失函数计算第二目标图像中标注的矩形框相对于真实目标图像中标注的矩形框的第二类别损失，以及根据Smooth L1损失函数计算第二目标图像中标注的矩形框相对于真实目标图像中标注的矩形框的第二坐标回归损失；叠加第一类别损失和第二类别损失得到第三类别损失，以及叠加第一坐标回归损失和第二坐标回归损失得到第三坐标回归损失；根据第三类别损失和第三坐标回归损失，调整初始区域生成网络和目标分类和回归网络的参数。

在一个实施例中，获取步骤S304中的图像训练样本包括：选取不同时间段的同一摄像机拍摄的大坝上游面的视频图像；从视频图像中抽取多帧图像作为多个第二图像；根据用户的输入，在多个第二图像上分别以矩形框标注聚氨酯未覆盖区域，得到多个真实目标图像；将多个第二图像和多个真实目标图像一一对应分组，得到图像训练样本。

在本实施例中，图像训练样本在真实的大坝上游监控场景中获取，为了保证训练得到的聚氨酯模型的泛化效果，选取了不同时间段的视频图像，对视频图像进行抽帧，得到大量图片，人工对图片中没有刷聚氨酯的区域进行标注，最后得到图像训练样本。

在本实施例中还提供了一种聚氨酯覆盖区域检测装置。图4为本申请实施例的一种聚氨酯覆盖区域检测装置的结构示意图，如图4所示，该装置包括：获取模块410，用于获取大坝上游面的第一图像；输入模块420，耦合至获取模块410，用于将第一图像输入训练完备的聚氨酯检测模型中，得到第一目标图像，其中，第一目标图像是在第一图像上以矩形框标注聚氨酯未覆盖区域得到的图像；确定模块430，耦合至输入模块420，用于根据第一目标图像，确定大坝上游面的聚氨酯未覆盖区域。

在一个实施例中，装置还包括：特征提取模块，用于通过特征提取网络，提取第一图像的第一编码特征图像；区域生成模块，用于通过训练完备的区域生成网络，根据第一编码特征图像，生成第一候选感兴趣区域集合；第一筛选模块，用于从第一候选感兴趣区域集合筛选出第一目标感兴趣区域集合，将第一目标感兴趣区域集合映射到第一编码特征图像中，再经过感兴趣区域池化，得到预设大小的第一特征图像；目标图像生成模块，用于通过训练完备的目标分类和回归网络，根据第一特征图像，生成第一目标图像。

在一个实施例中，装置还包括：选取模块，用于选取第一候选感兴趣区域集合中的候选感兴趣区域属于聚氨酯未覆盖区域的概率较高的多个候选感兴趣区域，组成第一目标感兴趣区域集合。

在一个实施中，装置还包括：计算模块，用于计算大坝上游面的聚氨酯未覆盖区域占大坝上游面的聚氨酯未覆盖率；判断模块，用于判断聚氨酯未覆盖率是否大于告警阈值；警告模块，用于在判断结果为聚氨酯未覆盖率大于告警阈值的情况下，发出告警。

在一个实施例中，装置还包括：显示模块，用于显示大坝上游面的聚氨酯未覆盖区域，和/或，大坝上游面的聚氨酯未覆盖率。

本发明实施例的一种聚氨酯覆盖区域检测装置与上述一种聚氨酯覆盖区域检测方法一一对应，在上述一种聚氨酯覆盖区域检测装置的实施例阐述的技术特征及其有益效果均适用于一种聚氨酯覆盖区域检测方法实施例中。

在本实施例中还提供了一种计算机设备，包括存储器和处理器，存储器存储有可执行程序，处理器执行可执行程序时实现上述的一种聚氨酯覆盖区域检测方法的步骤。

本领域普通技术人员可以理解实现上述实施例用于一种聚氨酯覆盖区域检测方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，程序可存储于一非易失性的计算机可读存储介质中，如实施例中，该程序可存储于计算机系统的存储介质中，并被该计算机系统中的至少一个处理器执行，以实现包括如上述一种聚氨酯覆盖区域检测方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

需要说明的是，本文中诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实例均采用相关的方式描述，各个实例之间相同相似的部分可互相参见，每个实例重点说明的都是与其他实例的不同之处。尤其对系统实例而言，由于其基本相似于方法实例，所以描述的比较简单，相关之处参见方法实例的部分说明即可。

以上所述仅为本发明的较佳实例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种聚氨酯覆盖区域检测方法，其特征在于，所述方法包括：

获取大坝上游面的第一图像；

将所述第一图像输入训练完备的聚氨酯检测模型中，得到第一目标图像，其中，所述第一目标图像是在所述第一图像上以矩形框标注聚氨酯未覆盖区域得到的图像；所述训练完备的聚氨酯检测模型的训练过程包括：构建初始聚氨酯检测模型，其中，所述初始聚氨酯检测模型包括特征提取网络、初始区域生成网络、初始目标分类和回归网络；获取图像训练样本，其中，所述图像训练样本包括：大坝上游面在不同时间段的多个第二图像，以及与所述第二图像一一对应的多个真实目标图像，所述真实目标图像是在所述第二图像上以矩形框标注聚氨酯未覆盖区域得到的图像；将所述图像训练样本输入到所述特征提取网络，得到第二编码特征图像；将所述第二编码特征图像输入到所述初始区域生成网络，得到第二候选感兴趣区域集合；从所述第二候选感兴趣区域集合筛选出第二目标感兴趣区域集合，将所述第二目标感兴趣区域集合映射到所述第二编码特征图像中，再经过感兴趣区域池化，得到预设大小的第二特征图像；将所述第二特征图像输入到所述初始目标分类和回归网络，得到第二目标图像；根据所述初始区域生成网络和所述目标分类和回归网络的损失函数，调整所述初始区域生成网络和所述目标分类和回归网络的参数，直至收敛或者训练次数达到预设次数，得到所述训练完备的聚氨酯检测模型；

根据所述第一目标图像，确定所述大坝上游面的聚氨酯未覆盖区域；

计算所述大坝上游面的聚氨酯未覆盖区域占所述大坝上游面的聚氨酯未覆盖率；判断所述聚氨酯未覆盖率是否大于告警阈值；在判断结果为所述聚氨酯未覆盖率大于所述告警阈值的情况下，发出告警。

2.根据权利要求1所述的方法，其特征在于，将所述第一图像输入训练完备的聚氨酯检测模型中，得到第一目标图像包括：

通过特征提取网络，提取所述第一图像的第一编码特征图像；

通过训练完备的区域生成网络，根据所述第一编码特征图像，生成第一候选感兴趣区域集合；

从所述第一候选感兴趣区域集合筛选出第一目标感兴趣区域集合，将所述第一目标感兴趣区域集合映射到所述第一编码特征图像中，再经过感兴趣区域池化，得到预设大小的第一特征图像；

通过训练完备的目标分类和回归网络，根据所述第一特征图像，生成所述第一目标图像。

3.根据权利要求2所述的方法，其特征在于，从所述第一候选感兴趣区域集合筛选出第一目标感兴趣区域集合包括：

选取所述第一候选感兴趣区域集合中的候选感兴趣区域属于聚氨酯未覆盖区域的概率较高的多个候选感兴趣区域，组成所述第一目标感兴趣区域集合。

4.根据权利要求1至3任意一项所述的方法，其特征在于，确定所述大坝上游面的聚氨酯未覆盖区域之后还包括：

显示所述大坝上游面的聚氨酯未覆盖区域，和/或，所述大坝上游面的聚氨酯未覆盖率。

5.根据权利要求1所述的方法，其特征在于，所述损失函数包括：交叉熵损失函数，和/或Smooth L1损失函数。

6.根据权利要求5所述的方法，其特征在于，根据所述初始区域生成网络和所述目标分类和回归网络的损失函数，调整所述初始区域生成网络和所述目标分类和回归网络的参数包括：

根据所述交叉熵损失函数计算所述第二候选感兴趣区域相对于所述真实目标图像中标注的矩形框的第一类别损失，以及根据所述Smooth L1损失函数计算所述第二候选感兴趣区域相对于所述真实目标图像中标注的矩形框的第一坐标回归损失；

根据所述交叉熵损失函数计算所述第二目标图像中标注的矩形框相对于所述真实目标图像中标注的矩形框的第二类别损失，以及根据所述Smooth L1损失函数计算所述第二目标图像中标注的矩形框相对于所述真实目标图像中标注的矩形框的第二坐标回归损失；

叠加所述第一类别损失和所述第二类别损失得到第三类别损失，以及叠加所述第一坐标回归损失和所述第二坐标回归损失得到第三坐标回归损失；

根据所述第三类别损失和所述第三坐标回归损失，调整所述初始区域生成网络和所述目标分类和回归网络的参数。

7.根据权利要求1所述的方法，其特征在于，获取图像训练样本包括：

选取不同时间段的同一摄像机拍摄的大坝上游面的视频图像；

从所述视频图像中抽取多帧图像作为所述多个第二图像；

根据用户的输入，在所述多个第二图像上分别以矩形框标注聚氨酯未覆盖区域，得到所述多个真实目标图像；

将所述多个第二图像和所述多个真实目标图像一一对应分组，得到所述图像训练样本。

8.一种聚氨酯覆盖区域检测装置，其特征在于，包括：

获取模块，用于获取大坝上游面的第一图像；

输入模块，用于将所述第一图像输入训练完备的聚氨酯检测模型中，得到第一目标图像，其中，所述第一目标图像是在所述第一图像上以矩形框标注聚氨酯未覆盖区域得到的图像；所述训练完备的聚氨酯检测模型的训练过程包括：构建初始聚氨酯检测模型，其中，所述初始聚氨酯检测模型包括特征提取网络、初始区域生成网络、初始目标分类和回归网络；获取图像训练样本，其中，所述图像训练样本包括：大坝上游面在不同时间段的多个第二图像，以及与所述第二图像一一对应的多个真实目标图像，所述真实目标图像是在所述第二图像上以矩形框标注聚氨酯未覆盖区域得到的图像；将所述图像训练样本输入到所述特征提取网络，得到第二编码特征图像；将所述第二编码特征图像输入到所述初始区域生成网络，得到第二候选感兴趣区域集合；从所述第二候选感兴趣区域集合筛选出第二目标感兴趣区域集合，将所述第二目标感兴趣区域集合映射到所述第二编码特征图像中，再经过感兴趣区域池化，得到预设大小的第二特征图像；将所述第二特征图像输入到所述初始目标分类和回归网络，得到第二目标图像；根据所述初始区域生成网络和所述目标分类和回归网络的损失函数，调整所述初始区域生成网络和所述目标分类和回归网络的参数，直至收敛或者训练次数达到预设次数，得到所述训练完备的聚氨酯检测模型；

确定模块，用于根据所述第一目标图像，确定所述大坝上游面的聚氨酯未覆盖区域；以及计算所述大坝上游面的聚氨酯未覆盖区域占所述大坝上游面的聚氨酯未覆盖率；判断所述聚氨酯未覆盖率是否大于告警阈值；在判断结果为所述聚氨酯未覆盖率大于所述告警阈值的情况下，发出告警。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法。

10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。

Images