CN113139528B - 基于Faster_RCNN的无人机热红外图像堤坝险情检测方法 - Google Patents

Abstract

本发明公开了基于Faster_RCNN的热红外图像堤坝险情检测方法，使用图像收集模块用于采集堤防无人机巡检取得的图像数据；使用特征提取模块将图像数据进行基本的分类和筛选，剔除无效热红外图像；利用图像处理模块对于热红外图像进行识别和标注，确定训练集与测试集；构建Faster_RCNN模型进行训练；目标检测识别模块利用训练好的Faster_RCNN模型对堤坝中的险情区域进行检测，并判断是否有险情以及确定险情的具体位置、大小及置信度。本发明修改基本Faster_RCNN模型，增强水体的颜色信息的作用，减少池化层，提升小目标检测性能。本发明相对于传统的Faster_RCNN目标检测网络，识别效率和准确率都更突出；检测速度快，能够满足无人机巡检堤坝的应用需求。

Description

基于Faster_RCNN的无人机热红外图像堤坝险情检测方法

技术领域

本发明涉及图像分析检测技术领域，特别涉及一种基于Faster_RCNN的无人机热红外图像堤坝险情检测方法，采用改进的Faster_RCNN模型进行目标检测。

背景技术

堤防工程是防御洪水侵袭的重要屏障，关系到区域人民的生命财产安全和社会经济发展，堤防险情及时发现和早期处理是洪水防御的关键工作，然而险情识别目前仍主要依赖人海战术实施拉网式排查，人力消耗巨大，危险性大，且易存在漏查，造成堤防安全隐患。堤坝险情检测是通过计算机自动检测堤坝尤其在汛期出现的管涌、渗漏等问题。利用人工智能技术对堤坝的热红外图像进行自动分析，对有效防止堤坝险情恶化，人工处理图像数据多造成的视觉疲劳以及遗漏等有着较高的优化与提升。

堤坝险情的检测问题实际上是图像的相似性对比问题，或者称之为模式识别问题。随着人工智能技术的快速发展，一些技术人员利用人工智能技术在一些材料的破损方面展开探索实践，根据裂纹或渗漏的特点，将先进的计算机技术应用于实际的检测过程中，利用计算机信息处理分析方面的优势，结合专业人员的建筑知识对险情进行科学的判断。但堤坝险情识别与其它应用不同，有自身的特点，如目标小，颜色是重要的特征等。如何根据堤防险情问题的特点，将人工智能的强大识别能力应用于实际的堤防险情检测过程中，提高堤防险情检测的检测速度和精度，还有待于研究。

目标检测问题是一类研究热点问题。随着数字图像技术的发展和实际应用的需要，出现了新的需求是需要将目标的分割和识别合二为一，这就是近20年来发展起来的一门新兴技术科学--目标检测。它综合了目标的分割与识别，在复杂场景中对多个目标进行实时处理，以代替传统的人工完成分类，分割，识别的任务为目的。而在堤坝的热红外图像检测上应用相对较少，堤坝的热红外图像检测主要采用卷积神经网络(CNN)模型。

发明内容

本发明的目的是针对现有技术的不足，提供一种基于Faster_RCNN的热红外图像堤坝险情检测方法，采用Faster_RCNN模型进行目标检测，速度更快，检测效率更高，实现了堤坝险情的自动化检测。

为了实现上述的目的，本发明采用以下技术方案：基于Faster_RCNN的热红外图像堤坝险情检测方法，采用的系统包括图像数据收集模块、特征提取模块、图像处理模块、训练模块和目标检测识别模块，步骤如下：

S1、图像数据收集：使用图像收集模块用于采集堤防无人机巡检取得的图像数据，包含有险情以及无险情的热红外图像；

S2、基础特征提取：使用特征提取模块将图像数据进行基本的分类和筛选，剔除无效热红外图像；

S3、图像处理：利用图像处理模块对于热红外图像进行识别和标注，确定训练集与测试集；

S4、 Faster_RCNN训练：先将图像数据保存，然后利用卷积神经网络提取输入的热红外图像的特征，此时将保存的图像数据与卷积神经网络提取后的数据进行拟合，然后将数据通过候选区域算法生成对于渗漏检测的建议框，再将建议框与拟合后的数据相结合，构建Faster_RCNN模型并利用Faster_RCNN模型对图像数据集进行训练；

S5、目标检测识别：目标检测识别模块利用训练好的Faster_RCNN模型对堤坝中的险情区域进行检测，并判断是否有险情，以及确定险情的具体位置、大小及置信度。

步骤S3具体过程如下：

S3-1.利用图像处理模块对于热红外图像进行识别和标注：将特征明显的热红外图像挑选出来，将其中难以识别或已经检修后的无效数据剔除，并将选择挑选后的热红外图像，使用400px * 400px的像素大小对整张的堤坝热红外图像进行分割，然后将分割完成的数据集，使用Labelme软件标出所有渗漏的特征，使用矩形框进行标注，以“leakage”作为渗漏标识，获得一组与热红外图像对应的标注集；

S3-2.确定训练集与测试集：根据样本的数量，以7:3的比例将训练样本分为训练集和测试集，然后利用Python的os模块将所有Labelme标注出的.txt格式文件整合为Faster_RCNN可读取的.json文件。

步骤S4中，利用Faster_RCNN模型对图像数据集进行训练的具体过程如下：

a. 用卷积神经网络提取输入热红外图像的特征，针对小目标特征，feature map的卷积神经网络由13个卷积层，13个relu层和2个pooling层，通过该卷积神经网络进行训练，得到feature map；

b将热红外图像的RGB颜色信息作为feature map与上一步得到的feature map跨接，得到融合RGB信息的feature map，增加RGB特征层的权重；

c. 通过RPN网络从包含融合RGB信息的feature map得到建议框的ROIs，并对ROIs进行2分类，判别建议框内容是前景还是背景，留下前景建议框；

d.将建议框ROIs的feature map池化得到与融合RGB信息的feature map 相同尺寸的feature map，并将其与融合RGB信息的feature map合并，再送入分类器，进行分类和回归模型的构建，计算损失函数，并进行反向传播，修改权重。

本发明的有益效果：本发明的Faster__RCNN训练模块包含了图像预处理模块以及卷积模块，图像预处理模块包括数据增强单元，利用transform函数对热红外图像做旋转，镜像，高斯模糊等数据增强操作，并针对小目标将热红外图像进行固定大小的裁剪实现特征提取。（1）在传统的Faster_RCNN模型中增加颜色信息层，提高颜色信息的作用。减少传统的Faster_RCNN模型池化层数量，提升小目标检测性能；（2）训练模块包含了图像预处理模块以及卷积模块，图像预处理模块包括数据增强单元，利用transform函数对热红外图像做旋转，镜像，高斯模糊等数据增强操作，并针对小目标将热红外图像进行固定大小的裁剪实现特征提取；（3）积模块包含了建议单元和训练单元，建议单元使用RPN算法生成精确的建议框，与训练单元生成的数据相映射；（4）目标检测时，将大图像裁剪成小图像以提高小目标检测精度。

本发明采用Faster_RCNN模型在进行目标检测时，与传统的卷积神经网络(CNN)相比，速度更快，检测效率更高，实现了堤坝险情的自动化检测，并且在模型中针对特征进行数据提取的优化，并且针对小目标特征进行网络池化层的调整以及固定大小的图像裁剪特征提取，精度更高，发挥辅助堤坝险情检测作用。

附图说明

图1是本发明的流程图。

图2是本发明的Faster_RCNN模型示意图。

具体实施方式

为了使本领域的技术人员更好的理解本申请方案，接下来将配合上述配图，对本申请实施例中的技术方案进行清晰，完整，详细的描述，且所描述的实施例部分为本申请的一部分实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范畴。

基于融合颜色信息的堤坝险情热红外图像检测方法，采用的系统包括图像数据收集模块、特征提取模块、图像处理模块、Faster_RCNN训练模块和目标检测识别模块，如图1所示，包括以下步骤：

S1、图像数据收集：使用图像收集模块用于采集堤防无人机巡检取得的图像数据，包含有险情以及无险情的热红外图像；从检测堤坝渗漏的无人机巡检图像集中收集堤坝各种状态的热红外图像，包含堤坝部分，水体部分，堤坝周边的植被部分以及渗漏部分，其中，无险情图片为常规堤坝热红外图像，有险情图片为已经发生渗漏的堤坝热红外图像。

S2、基础特征提取：使用特征提取模块将图像数据进行基本的分类和筛选，剔除无效图像；

S3、图像处理：利用图像处理模块对于热红外图像进行识别和标注，确定训练集与测试集；

S4、 Faster_RCNN训练：先将图像数据保存，然后利用卷积神经网络提取输入的热红外图像的特征，此时将保存的图像数据与卷积神经网络提取后的数据进行拟合，然后将数据通过候选区域算法生成对于渗漏检测的建议框，再将建议框与拟合后的数据相结合，构建如图2所示的Faster_RCNN模型并利用Faster_RCNN模型对图像数据集进行训练；

S5、目标检测识别：目标检测识别模块利用训练好的Faster_RCNN模型对堤坝中的险情区域进行检测，并判断是否有险情，以及确定险情的具体位置、大小及置信度。目标检测识别模块将需要检测的热红外图像数据按照规则裁剪具有一定重叠区域的小图像，并将小图像分别输入模型进行预测得到目标检测结果。所述目标检测识别模块分类出有无险情以及指出险情的具体位置、大小及置信度。最终，将小图像检测识别结果进行拼接，得到最终的检测结果。

步骤S3具体过程如下：

S3-1.利用图像处理模块对于热红外图像进行识别和标注：将特征明显的热红外图像挑选出来，将其中难以识别或已经检修后的无效数据剔除，并将选择挑选后的热红外图像，使用400px * 400px的像素大小对整张的堤坝热红外图像进行分割，然后将分割完成的数据集，使用Labelme软件标出所有渗漏的特征，使用矩形框进行标注，以“leakage”作为渗漏标识，获得一组与热红外图像对应的标注集；

S3-2.确定训练集与测试集：根据样本的数量，以7:3的比例将训练样本分为训练集和测试集，然后利用Python的os模块将所有Labelme标注出的.txt格式文件整合为Faster_RCNN可读取的.json文件。

步骤S4中，利用Faster_RCNN模型对图像数据集进行训练的具体过程如下：

a. 用卷积神经网络提取输入热红外图像的特征，针对小目标特征，feature map的卷积神经网络由13个卷积层，13个relu层和2个pooling层，通过该卷积神经网络进行训练，得到feature map；

b将热红外图像的RGB颜色信息作为feature map与上一步得到的feature map跨接，得到融合RGB信息的feature map，增加RGB特征层的权重；

c. 通过RPN网络从包含融合RGB信息的feature map得到建议框的ROIs，并对ROIs进行2分类，判别建议框内容是前景还是背景，留下前景建议框；

d.将建议框ROIs的feature map池化得到与融合RGB信息的feature map 相同尺寸的feature map，并将其与融合RGB信息的feature map合并，再送入分类器，进行分类和回归模型的构建，计算损失函数，并进行反向传播，修改权重。

传统Faster_RCNN中一般是提取图像纹理、边缘等信息，再生成高级特征，对目标进行识别和检测。在这个过程中，颜色信息一般会被丢失。而在堤防险情热红外图像中，水体的颜色信息是一个很重要的特征,因此，本发明对传统Faster_RCNN模型进行改进，将热红外图像的RGB颜色信息作为特征层，与后续的feature map进行跨接，并增加RGB特征层的权重。

本发明的Faster_RCNN模型包括特征提取模块，RPN模块与全连接层模块，更具体训练过程如下：

步骤1：特征提取模块，输入热红外图像经过预处理模块生成400*400*3的数据;

步骤2：生成的数据使用包含激活函数ReLU的64个卷积核大小为3，填充为3，步长为1的卷积层进行卷积，得到通道为64，特征为400*400的数据;

步骤3：次将生成的数据使用包含激活函数ReLU的64个卷积核大小为3，填充为3，步长为1的卷积层进行卷积，得到通道为64，特征为400*400的数据;

步骤4：将生成的数据使用128个卷积核大小为2，无填充，步长为2的池化层进行池化，得到通道为128，特征为200*200的数据;

步骤5：重复6次将生成的数据使用包含激活函数ReLU的128个卷积核大小为3，填充为3，步长为1的卷积层进行卷积，得到通道为128，特征为200*200的数据;

步骤6：将生成的数据使用256个卷积核大小为2，无填充，步长为2的池化层进行池化，得到通道为256，特征为100*100的数据;

步骤7：重复3次将生成的数据使用包含激活函数ReLU的256个卷积核大小为3，填充为3，步长为1的卷积层进行卷积，得到通道为256，特征为100*100的数据;

步骤8：将图片原始RGB3通道信息加入，得到通道为259，特征为100*100的数据;

步骤9：开始RPN模块，首先将数据使用包含激活函数ReLU的259个卷积核大小为3，填充为3，步长为1的卷积层进行卷积，得到通道为259，特征为100*100的数据;

步骤10：将数据分为两个部分进行卷积处理;第一部分使用未包含激活函数的18个卷积核大小为1，填充为0，步长为1的卷积层进行卷积，得到通道为18，特征为100*100的数据;将得到的数据每一个数据点制定9个不同大小的预测框，得到100*100*9个预测框;第二部分使用未包含激活函数的36个卷积核大小为1，填充为0，步长为1的卷积层进行卷积，得到通道为36，特征为100*100的数据，该数据表示的是建议框坐标信息的偏移量，用于为建议框进行筛选；

步骤11：将第二部分得到坐标信息的偏移量作为筛选条件，从第一部分得到的建议框中筛选出300个;

步骤12：将通过特征提取模块得到通道为259，特征为100*100的数据，在数据构成的特征图中生成筛选出的300个建议框，然后对每一个建议框的内容进行ROI池化，得到300个通道为259，特征为7*7的特征图;

步骤13：将所得的特征图使用包含激活函数ReLu的2072个卷积核为7，填充为0，步长为1的全连接层进行卷积，得到通道为2072，特征为1*1的特征图;

步骤14：得到的特征图通过损失函数进行分类和定位。

步骤S5中，目标检测识别，利用训练好的Faster_RCNN训练模型对堤坝中的险情区域进行检测，并判断是否有险情以及确定险情的具体位置、大小及置信度。流程为：（a）输入一张待检测热红外图像，将图片以等同于数据集热红外图像大小的400px * 400px进行分割，每两张分割图片部分有10%的重叠，防止渗漏出现在两张分割的热红外图像之间。（b）利用Faster_RCNN模型中的RPN算法提取出建议框，并且将建议框与热红外图像的featuremap相拟合。(c) 将融合的特征放入ROI池化层中进行池化操作，得到固定维度的特征。 (d)将得到的特征使用Softmax激活函数进行分类，对候选区域的位置进行回归，完成模型的训练，从而判断是否有渗漏以及确认渗漏的具体位置。(e) 对分割热红外图像识别的结果，进行拼接，为解决重叠部分出现渗漏特征，使用非极大抑制算法挑选出最符合条件的特征，最终得到检测结果。

本发明利用训练样本对基于堤坝热红外图像特征以及小目标模型做出调整后的Faster_RCNN模型进行训练，得到相应训练后模型，其中，基于堤坝热红外图像特征做出的调整为：利用渗漏特征与色彩的强相关性，将热红外图像原始3通道数据添加进Faster_RCNN 的fpn（feature_pyramid_network）层中；调整提取图片特征时backbone中的池化层数，有效缓解了小目标的检测困难问题。检测时，按规则将原始热红外图像划分成具有一定重叠的小图像，进行检测，小图像的检测结果按规则进行拼接，形成最终结果。

以上对本发明所提供的一种基于Faster_RCNN的堤坝险情检测系统和方法进行了详细的介绍，本文中应用了具体的隔离对本发明的原理和实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法以及核心思想，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (2)

1.基于Faster_RCNN的热红外图像堤坝险情检测方法，其特征在于，步骤如下：

S1、图像数据收集：使用图像收集模块用于采集堤防无人机巡检取得的图像数据，包含有险情以及无险情的热红外图像；

S2、基础特征提取：使用特征提取模块将图像数据进行基本的分类和筛选，剔除无效热红外图像；

S3、图像处理：利用图像处理模块对于热红外图像进行识别和标注，确定训练集与测试集；

S4、 Faster_RCNN训练：先将图像数据保存，然后利用卷积神经网络提取输入的热红外图像的特征，此时将保存的图像数据与卷积神经网络提取后的数据进行拟合，然后将数据通过候选区域算法生成对于渗漏检测的建议框，再将建议框与拟合后的数据相结合，构建Faster_RCNN模型并利用Faster_RCNN模型对图像数据集进行训练；利用Faster_RCNN模型对图像数据集进行训练的具体过程如下：

a. 用卷积神经网络提取输入热红外图像的特征，针对小目标特征，feature map的卷积神经网络由13个卷积层，13个relu层和2个pooling层，通过该卷积神经网络进行训练，得到feature map；

b将图像的RGB颜色信息作为feature map与上一步得到的feature map跨接，得到融合RGB信息的feature map，增加RGB特征层的权重；

c. 通过RPN网络从包含融合RGB信息的feature map得到建议框的ROIs，并对ROIs进行2分类，判别建议框内容是前景还是背景，留下前景建议框；

d.将建议框ROIs的feature map池化得到与融合RGB信息的feature map 相同尺寸的feature map，并将其与融合RGB信息的feature map合并，再送入分类器，进行分类和回归模型的构建，计算损失函数，并进行反向传播，修改权重；

S5、目标检测识别：目标检测识别模块利用训练好的Faster_RCNN模型对堤坝中的险情区域进行检测，并判断是否有险情，以及确定险情的具体位置、大小及置信度。

2.如权利要求1所述的基于Faster_RCNN的热红外图像堤坝险情检测方法，其特征在于，步骤S3具体过程如下：

S3-1.利用图像处理模块对于热红外图像进行识别和标注：将特征明显的热红外图像挑选出来，将其中难以识别或已经检修后的无效数据剔除，并将选择挑选后的热红外图像，使用400px * 400px的像素大小对整张的堤坝热红外图像进行分割，然后将分割完成的数据集，使用Labelme软件标出所有渗漏的特征，使用矩形框进行标注，以“leakage”作为渗漏标识，获得一组与热红外图像对应的标注集；

S3-2.确定训练集与测试集：根据样本的数量，以7:3的比例将训练样本分为训练集和测试集，然后利用Python的os模块将所有Labelme标注出的.txt格式文件整合为Faster_RCNN可读取的.json文件。

Images