CN114241310A - 基于改进yolo模型的堤防管涌险情智能识别方法 - Google Patents

Abstract

本发明公开了一种基于改进YOLO模型的堤防管涌险情智能识别方法，该方法包括改进和训练YOLO模型流程和基于改进YOLO模型堤防管涌识别的过程。改进和训练YOLO模型流程包括数据采集、制作样本、图像去背景处理和模型改进和训练步骤；基于改进YOLO模型识别的堤防管涌过程包括获取图像、划分窗口、图像处理与堤防管涌识别和输出最终识别结果等步骤。本发明利用单个YOLO模型实现堤防管涌目标特征提取、识别、目标定位等过程，克服人工特征提取的不足深层次挖掘数据所含信息；修改了原始YOLO模型，提升到小目标识别能力和速度，利用针对性的图像背景方法，分离大部分图像的背景，减少图像背景的干扰，提高堤防管涌识别精度。

Description

基于改进YOLO模型的堤防管涌险情智能识别方法

技术领域

本发明属于图像处理技术领域，特别涉及利用改进YOLO模型进行堤防管涌识别方法，可用于堤防的巡查。

背景技术

堤防管涌识别是使用计算机视觉等方法判断图像中是否存在堤防管涌险情，并给出在图像中的精准位置。我国洪涝灾害问题突出，防洪减灾关系人民生命财产安全、社会稳定与可持续发展。堤防工程是我国防洪体系的重要基础。堤防险情一旦致灾，将给沿岸人民的生命财产带来重大损失。堤防管涌是堤防险情中最为严重的，堤防管涌识别是现代水利工程迫切需要解决的技术难题。

目前，已经发展出一些堤防管涌识别方法，这些方法是采用专业设备对堤防管涌进行识别。例如：使用电阻率层析成像(ERT)方法可以通过电性变化间接识别，利用光纤分布式温度传感识别管涌，采用专业地质雷达对防护堤土层的密实程度和管涌等病害情况进行了无损探测。但这些方法识别速度慢，成本高。

近年来，卷积神经网络由于具有良好的迁移性、能够提取目标的深层特征，更好地表现目标的本质信息，具有良好的鲁棒性，因此，其在目标识别和识别等众多领域中取得令人瞩目的成绩，YOLO模型是基于卷积神经网络的目标识别模型，具有良好的目标识别性能。但由于在堤防管涌识别问题中，目标小，并且采用的是热红外图像，不是常见的彩色图像，所以不适宜直接用于堤防管涌识别，提高堤防管涌识别的识别速度和精度，还有待于研究。

本发明通过对标准YOLO模型进行改进，可用于基于无人机热红外图像的堤防管涌识别，具有识别速度快，成本低的优势。目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。

发明内容

本发明的目的是针对现有技术的不足，提供一种基于改进YOLO模型的堤防管涌险情智能识别方法。

为实现上述目的，本发明采用了下述技术方案：一种基于改进YOLO模型的堤防管涌险情智能识别方法，包括改进和训练YOLO模型和堤防管涌识别两个过程；

所述改进和训练YOLO模型的具体步骤如下：

步骤S11、数据采集：使用携带热红外传感器的无人机巡检堤防获取得的河坝的热红外图像数据，包含有堤防管涌热红外图像以及无堤防管涌热红外图像；

步骤S12、制作样本：包括数据标注整理和堤防管涌样本生成两步；

步骤S13、图像去背景处理；

步骤S14、模型改进和训练：改进的YOLO模型由CBL卷积模块、跨阶段局部融合网络模块、空间金字塔池化模块组成；跨阶段局部融合网络模块包括一个跨阶段局部融合网络CSP1_4模块、两个跨阶段局部融合网络CSP1_12模块、一个跨阶段局部融合网络CSP2_1模块、三个跨阶段局部融合网络CSP2_4模块；YOLO模型的输入是经过去背景处理后的640*640热红外图像；第一个输入端连接一个CBL卷积模块和跨阶段局部融合网络CSP1_4模块，得到特征图A；跨阶段局部融合网络CSP1_4模块后连接第二个CBL卷积模块和第一个跨阶段局部融合网络CSP1_12模块，第一个跨阶段局部融合网络CSP1_12模块输出特征图B；第一个跨阶段局部融合网络CSP1_12模块后连接第三个CBL卷积模块和第二个跨阶段局部融合网络CSP1_12模块，第二个跨阶段局部融合网络CSP1_12模块输出特征图C；第二个跨阶段局部融合网络CSP1_12模块后连接第四个CBL卷积模块、第一个空间金字塔池化模块SPP和跨阶段局部融合网络CSP2_1模块，跨阶段局部融合网络CSP2_1模块输出特征图D；跨阶段局部融合网络CSP2_1模块后连接第一个上采样模块，第一个上采样模块的输出与特征图C跨接形成新的特征图E；特征图E连接第一个跨阶段局部融合网络CSP2_4模块、第五个CBL卷积模块和第二个上采样模块，第二个上采样模块的输出与特征图B跨接，形成新的特征图F；将特征图F连接第二个跨阶段局部融合网络CSP2_4模块和第六个CBL模块和第三个上采样模块，第三个上采样模块的输出与特征图A跨接，形成新的特征图G；特征图G连接第三个跨阶段局部融合网络CSP2_4模块和一个卷积层，得到模型的输出。

作为优选，所述跨阶段局部融合网络CSP1_4模块和跨阶段局部融合网络CSP1_12模块均包含一个CBL模块、X个残差模块和一个卷积层后的输出与模块输入经过一个卷积层的输出进行跨接，再将跨接的结果连接BN层、Leaky Relu激活函数和一个CBL模块。

作为优选，所述跨阶段局部融合网络CSP2_1模块、三个跨阶段局部融合网络CSP2_4模块均包含一个CBL模块、2X个CBL模块和一个卷积层后的输出与模块输入经过一个卷积层的输出进行跨接，再将跨接的结果连接BN层、Leaky Relu激活函数和一个CBL模块。

作为优选，所述空间金字塔池化模块包含一个CBL层，3个最大池化层，然后将3个最大池化层的输出进行跨接并连接一个CBL层。

作为优选，步骤S12中数据标注整理过程为：对采集到的热红外图像数据集进行标记，将特征明显的热红外图像挑选出来，将其中难以识别或已经检修后的无效数据剔除，并将选择挑选后的热红外图像，使用640*640的像素大小对整张的堤防热红外图像进行分割，然后将分割完成的数据集，使用Labelme软件标出所有堤防管涌的特征，使用矩形框进行标注，以“leakage”作为堤防管涌标识，获得一组与热红外图像对应的标注集；另外选取一些没有堤防管涌的常见的堤防热红外图像作为负样本。

作为优选，步骤S12中堤防管涌样本生成过程为：采用随机裁剪、翻转、模糊和改变亮度、对比度、随机排布扩增样本；所有的样本统一缩放为640*640像素；将生成的样本和采集到的样本按照8:2:1随机划分为训练集、验证集、测试集；使用K-means算法对训练集中标注的候选框进行聚类以优化预测框的大小。

作为优选，步骤S13中图像去背景处理过程为：将彩色热红外图像转化成灰度图像，利用统计方法确定阈值τ，该阈值为水体灰度值的上限，通过公式(1)对图像进行二值化：

式中，x表示水体灰度值；然后通过形态学腐蚀、膨胀操作，减少噪声和空洞的影响，得到彩色热红外图像的前景区域和背景区域；

根据公式(2)对彩色热红外图像进行处理，

当p位于背景区域，其灰度x_p设置为0，否则，将其灰度x_p设置为255-x_p；通过以上处理，保留了前景信息，去除了背景信息，可以减少背景信息的干扰。

进一步地，所述堤防管涌识别的步骤如下：

步骤S21、获取图像：通过携带热红外传感器的无人机获取堤防的热红外图像；

步骤S22、划分窗口：建立划分窗口的规则，将热红外图像分成具有20％重叠的窗口，以480像素为滑动步长，采用640*640大小的滑动窗口，遍历整个输入图像；最后将高度和宽度不足640像素的窗口，通过将左上角坐标向上和向左移动，使窗口大小保持640*640像素；

记录每一窗口图像块在原始大图中对应的编号和左上角坐标，记为(R，C，X，Y)，其中R为行数，C表示列数，X，Y是对应的左上角坐标。

步骤S23、图像处理与堤防管涌识别：将每个窗口的热红外图像安装步骤S13方法进行图像去背景处理，并将其输入到已经训练好的改进YOLO模型，设置置信度阈值，得到置信度超过阈值的预测框的中心点位置、大小、类别及置信度；

根据下式计算预测框在原始大图中的真实位置：

其中，

是第k个预测框中心点在原始图像中的位置；(Xⁱ，Yⁱ)是预测框所在当前窗口的左上角坐标，

是第k个预测框中心点在当前窗口图像中的位置；最终，得到每个窗口识别出管涌在原始图像中的中心点位置、大小、类别及置信度。

步骤S24、输出最终识别结果：当所有窗口识别完成后，在原始大图上得到多个预测框，再利用加权非极大抑制剔除重叠预测框，得到最终识别结果。

采用本发明所述技术方案所具有的有益效果：

利用单个YOLO模型实现堤防管涌目标特征提取、识别、目标定位等过程，克服人工特征提取的不足深层次挖掘数据所含信息；(2)利用针对性的图像预处理方法，分离大部分图像的背景，减少图像背景的干扰，提高识别精度；(3)本发明针对堤防管涌小目标识别问题对YOLO模型进行了改进，提升的识别的精度和速度。

附图说明

图1为本发明中改进和训练YOLO模型流程图。

图2为本发明中的堤防管涌识别流程图。

图3为本发明中改进的YOLO模型网络结构图。

具体实施方式

为了使本领域的技术人员更好的理解本申请方案，下面对本申请实施例中的技术方案进行清晰，完整，详细的描述，且所描述的实施例部分为本申请的一部分实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范畴。

一种基于改进YOLO模型的堤防管涌险情智能识别方法，包括改进和训练YOLO模型和堤防管涌识别两个过程。

如图1所示，改进和训练YOLO模型的具体步骤如下：

步骤S11、数据采集。使用携带热红外传感器的无人机巡检堤防获取得的堤防的热红外图像数据，包含有堤防管涌热红外图像以及无堤防管涌热红外图像。从无人机巡检图像集中收集堤防各种状态的热红外图像，包含堤防部分热红外图像、水体部分热红外图像、堤防周边的植被部分热红外图像以及堤防管涌部分热红外图像，其中，无堤防管涌热红外图像为常规堤防热红外图像，有堤防管涌热红外图像为已经发生管涌热红外图像。

步骤S12、制作样本：包括数据标注整理和堤防管涌样本生成两步。

a.数据标注整理：对采集到的热红外图像数据集进行标记，将特征明显的热红外图像挑选出来，将其中难以识别或已经检修后的无效数据剔除，并将选择挑选后的热红外图像，使用640*640的像素大小对整张的堤防热红外图像进行分割，然后将分割完成的数据集，使用Labelme软件标出所有堤防管涌，使用矩形框进行标注，以“leakage”作为堤防管涌标识，获得一组与热红外图像对应的标注集；另外选取一些没有堤防管涌的常见的堤防热红外图像作为负样本。

b.堤防管涌样本生成：由于堤防管涌样本难以获取，所以采用随机裁剪、翻转、模糊和改变亮度、对比度、随机排布等随机形变方法扩增样本；所有的样本统一缩放为640*640像素；将生成的样本和采集到的样本按照8:2:1随机划分为训练集、验证集、测试集；使用K-means算法对训练集中标注的候选框进行聚类以优化预测框的大小。

步骤S13、图像去背景处理：将彩色热红外图像转化成灰度图像，利用统计方法确定阈值τ，该阈值为水体灰度值的上限，通过公式(1)对灰度图像进行二值化：

式中，x表示水体灰度值；然后通过形态学腐蚀、膨胀操作，减少噪声和空洞的影响，得到彩色热红外图像的前景区域和背景区域；

根据公式(2)对彩色热红外图像进行处理，

当p位于背景区域，其灰度x_p设置为0，否则，将其灰度x_p设置为255-x_p；通过以上处理，保留了前景信息，去除了背景信息，可以减少背景信息的干扰。

步骤S14、模型改进和训练：对原始YOLO模型的进行具体优化为：(1)原始YOLO模型中的Focus模块使图像的分辨率下降了一半，为了识别堤防管涌小目标，本发明删去原始YOLO模型中的Focus模块，使得原始YOLO模型能够识别的最小目标为8*8像素，提升到能够识别4*4像素的目标；(2)在原始YOLO模型上增加了一次上采样过程和一个跨阶段局部融合网络CSP模块，从而实现在更大的特征层上做预测，提高堤防管涌小目标的识别能力；(3)原始YOLO模型有3个预测分枝，其中两个用于预测较大的目标，而在堤防管涌识别问题中没有较大的目标，所以删除原始YOLO模型中用于识别大目标的2个分枝，以减少预测分枝的干扰和提升识别速度。本发明的改进后的YOLO模型如图3所示，改进后的YOLO模型由普通的CBL(conv–bn–leakyrelu)卷积模块、跨阶段局部融合网络模块(CSP)、空间金字塔池化模块(SPP)组成，跨阶段局部融合网络模块(CSP)包括一个跨阶段局部融合网络CSP1_4模块、两个跨阶段局部融合网络CSP1_12模块、一个跨阶段局部融合网络CSP2_1模块、三个跨阶段局部融合网络CSP2_4模块。具体如下：

YOLO模型的输入是经过去背景处理后的640*640热红外图像；第一个输入端连接一个CBL卷积模块和跨阶段局部融合网络CSP1_4模块，得到特征图A；跨阶段局部融合网络CSP1_4模块后连接第二个CBL卷积模块和第一个跨阶段局部融合网络CSP1_12模块，第一个跨阶段局部融合网络CSP1_12模块输出特征图B；第一个跨阶段局部融合网络CSP1_12模块后连接第三个CBL卷积模块和第二个跨阶段局部融合网络CSP1_12模块，第二个跨阶段局部融合网络CSP1_12模块输出特征图C；第二个跨阶段局部融合网络CSP1_12模块后连接第四个CBL卷积模块、第一个空间金字塔池化模块SPP、跨阶段局部融合网络CSP2_1模块和第五个CBL卷积模块，第五个CBL卷积模块输出特征图D；跨阶段局部融合网络CSP2_1模块后连接第一个上采样模块，第一个上采样模块的输出与特征图C跨接形成新的特征图E；特征图E连接第一个跨阶段局部融合网络CSP2_4模块、第六个CBL卷积模块和第二个上采样模块，第二个上采样模块的输出与特征图B跨接，形成新的特征图F；

接着，在原始YOLO模型中增加了以下模块：将特征图F连接第二个跨阶段局部融合网络CSP2_4模块和第七个CBL模块和第三个上采样模块，第三个上采样模块的输出与特征图A跨接，形成新的特征图G；

接着，特征图G连接第三个跨阶段局部融合网络CSP2_4模块和一个卷积层(CONV)，得到模型的输出(预测结果)。

在本实施例中，CBL卷积模块、跨阶段局部融合网络CSP1_X模块、跨阶段局部融合网络CSP2_X模块和SPP模块具体如图3所示。所述CBL卷积模块由一个卷积层(CONV)，BN层和Leaky Relu激活函数组成；

跨阶段局部融合网络CSP1_X模块(跨阶段局部融合网络CSP1_4模块、两个跨阶段局部融合网络CSP1_12模块)包含一个CBL模块、X个残差模块(Res unit)和一个卷积层(CONV)后的输出与模块输入经过一个卷积层(CONV)的输出进行跨接(Concat)，再将跨接的结果连接BN层、Leaky Relu激活函数和一个CBL模块。

跨阶段局部融合网络CSP2_X模块(跨阶段局部融合网络CSP2_1模块、三个跨阶段局部融合网络CSP2_4模块)包含一个CBL模块、2X个CBL模块和一个卷积层(CONV)后的输出与模块输入经过一个卷积层(CONV)的输出进行跨接(Concat)，再将跨接的结果连接BN层、Leaky Relu激活函数和一个CBL模块。

空间金字塔池化模块(SPP)包含一个CBL层，3个最大池化层(Maxpool)，然后将3个最大池化层的输出进行跨接并连接一个CBL层。

在本实施例中，通过Python编程语言和Pytorch深度学习框架实现改进的YOLO模型。采用COCO数据集对改进YOLO模型进行预训练，然后再利用步骤S12中建立的训练集、验证集、测试集微调改进YOLO模型并测试的网络的识别效果。训练过程中，采用GIOU Loss函数计算边框预测的损失，类别概率损失则采用交叉熵损失函数(BCEcls loss)。

进一步地，基于改进YOLO模型的堤防管涌识别的步骤如下：

步骤S21、获取图像：通过携带热红外传感器的无人机获取堤防的热红外图像。

步骤S22、划分窗口：因为改进YOLO模型的输入是640*640像素，所以建立划分窗口的规则，将热红外图像分成具有20％重叠的窗口。以480像素为滑动步长，采用640*640大小的滑动窗口，遍历整个输入图像。最后将高度和宽度不足640像素的窗口，通过将左上角坐标向上和向左移动，使窗口大小保持640*640像素。

记录每一窗口图像块在原始大图中对应的编号和左上角坐标，记为(R，C，X，Y)，其中R为行数，C表示列数，X，Y是对应的左上角坐标。

步骤S23、图像处理与堤防管涌识别：将每个窗口的热红外图像安装步骤S13方法进行图像去背景处理，并将其输入到已经训练好的改进YOLO模型，设置置信度阈值，得到置信度超过阈值的预测框的中心点位置、大小及置信度；

根据下式计算预测框在原始大图中的真实位置：

其中，

是第k个预测框中心点在原始图像中的位置；(Xⁱ，Yⁱ)是预测框所在当前窗口的左上角坐标，

是第k个预测框中心点在当前窗口图像中的位置。最终，得到每个窗口识别出堤防管涌在原始图像中的中心点位置、大小、及置信度。

步骤S24、输出最终识别结果：当所有窗口识别完成后，在原始大图上得到多个预测框，再利用加权非极大抑制剔除重叠预测框，得到最终识别结果。

以上对本发明所提供的一种基于改进YOLO模型的堤防管涌识别系统和方法进行了详细的介绍，本文中应用了具体的隔离对本发明的原理和实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法以及核心思想，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于改进YOLO模型的堤防管涌险情智能识别方法，包括改进和训练YOLO模型和堤防管涌识别两个过程；其特征在于，所述改进和训练YOLO模型的具体步骤如下：

步骤S11、数据采集：使用携带热红外传感器的无人机巡检堤防获取得的堤防的热红外图像数据，包含有堤防管涌热红外图像以及无堤防管涌热红外图像；

步骤S12、制作样本：包括数据标注整理和堤防管涌样本生成两步；

步骤S13、图像去背景处理；

步骤S14、模型改进和训练：改进的YOLO模型由CBL卷积模块、跨阶段局部融合网络模块、空间金字塔池化模块组成；跨阶段局部融合网络模块包括一个跨阶段局部融合网络CSP1_4模块、两个跨阶段局部融合网络CSP1_12模块、一个跨阶段局部融合网络CSP2_1模块、三个跨阶段局部融合网络CSP2_4模块；YOLO模型的输入是经过去背景处理后的640*640热红外图像；第一个输入端连接一个CBL卷积模块和跨阶段局部融合网络CSP1_4模块，得到特征图A；跨阶段局部融合网络CSP1_4模块后连接第二个CBL卷积模块和第一个跨阶段局部融合网络CSP1_12模块，第一个跨阶段局部融合网络CSP1_12模块输出特征图B；第一个跨阶段局部融合网络CSP1_12模块后连接第三个CBL卷积模块和第二个跨阶段局部融合网络CSP1_12模块，第二个跨阶段局部融合网络CSP1_12模块输出特征图C；第二个跨阶段局部融合网络CSP1_12模块后连接第四个CBL卷积模块、第一个空间金字塔池化模块SPP和跨阶段局部融合网络CSP2_1模块，跨阶段局部融合网络CSP2_1模块输出特征图D；跨阶段局部融合网络CSP2_1模块后连接第一个上采样模块，第一个上采样模块的输出与特征图C跨接形成新的特征图E；特征图E连接第一个跨阶段局部融合网络CSP2_4模块、第五个CBL卷积模块和第二个上采样模块，第二个上采样模块的输出与特征图B跨接，形成新的特征图F；将特征图F连接第二个跨阶段局部融合网络CSP2_4模块和第六个CBL模块和第三个上采样模块，第三个上采样模块的输出与特征图A跨接，形成新的特征图G；特征图G连接第三个跨阶段局部融合网络CSP2_4模块和一个卷积层，得到模型的输出。

2.根据权利要求1所述的基于改进YOLO模型的堤防管涌险情智能识别方法，其特征在于，所述跨阶段局部融合网络CSP1_4模块和跨阶段局部融合网络CSP1_12模块均包含一个CBL模块、X个残差模块和一个卷积层后的输出与模块输入经过一个卷积层的输出进行跨接，再将跨接的结果连接BN层、Leaky Relu激活函数和一个CBL模块。

3.根据权利要求1所述的基于改进YOLO模型的堤防管涌险情智能识别方法，其特征在于，所述跨阶段局部融合网络CSP2_1模块和跨阶段局部融合网络CSP2_4模块均包含一个CBL模块、2X个CBL模块和一个卷积层后的输出与模块输入经过一个卷积层的输出进行跨接，再将跨接的结果连接BN层、Leaky Relu激活函数和一个CBL模块。

4.根据权利要求1所述的基于改进YOLO模型的堤防管涌险情智能识别方法，其特征在于，所述空间金字塔池化模块包含一个CBL层，3个最大池化层，然后将3个最大池化层的输出进行跨接并连接一个CBL层。

5.根据权利要求1所述的基于改进YOLO模型的堤防管涌险情智能识别方法，其特征在于，步骤S12中数据标注整理过程为：对采集到的热红外图像数据集进行标记，将特征明显的热红外图像挑选出来，将其中难以识别或已经检修后的无效数据剔除，并将选择挑选后的热红外图像，使用640*640的像素大小对整张的堤防热红外图像进行分割，然后将分割完成的数据集，使用Labelme软件标出所有堤防管涌的特征，使用矩形框进行标注，以“leakage”作为堤防管涌标识，获得一组与热红外图像对应的标注集；另外选取一些没有堤防管涌的常见的堤防热红外图像作为负样本。

6.根据权利要求5所述的基于改进YOLO模型的堤防管涌险情智能识别方法，其特征在于，步骤S12中堤防管涌样本生成过程为：采用随机裁剪、翻转、模糊和改变亮度、对比度、随机排布扩增样本；所有的样本统一缩放为640*640像素；将生成的样本和采集到的样本按照8:2:1随机划分为训练集、验证集、测试集；使用K-means算法对训练集中标注的候选框进行聚类以优化预测框的大小。

7.根据权利要求1所述的基于改进YOLO模型的堤防管涌险情智能识别方法，其特征在于，步骤S13中图像去背景处理过程为：将彩色热红外图像转化成灰度图像，利用统计方法确定阈值τ，该阈值为水体灰度值的上限，通过公式(1)对图像进行二值化：

式中，x表示水体灰度值；然后通过形态学腐蚀、膨胀操作，减少噪声和空洞的影响，得到彩色热红外图像的前景区域和背景区域；

根据公式(2)对彩色热红外图像进行处理，

当p位于背景区域，其灰度x_p设置为0，否则，将其灰度x_p设置为255-x_p。

8.根据权利要求1所述的基于改进YOLO模型的堤防管涌险情智能识别方法，其特征在于，所述堤防管涌识别的步骤如下：

步骤S21、获取图像：通过携带热红外传感器的无人机获取堤防的热红外图像；

步骤S22、划分窗口：建立划分窗口的规则，将热红外图像分成具有20％重叠的窗口，以480像素为滑动步长，采用640*640大小的滑动窗口，遍历整个输入图像；最后将高度和宽度不足640像素的窗口，通过将左上角坐标向上和向左移动，使窗口大小保持640*640像素；

记录每一窗口图像块在原始大图中对应的编号和左上角坐标，记为(R，C，X，Y)，其中R为行数，C表示列数，X，Y是对应的左上角坐标。

步骤S23、图像处理与堤防管涌识别：将每个窗口的热红外图像安装步骤S13方法进行图像去背景处理，并将其输入到已经训练好的改进YOLO模型，设置置信度阈值，得到置信度超过阈值的预测框的中心点位置、大小、类别及置信度；

根据下式计算预测框在原始大图中的真实位置：

其中，

是第k个预测框中心点在原始图像中的位置；(Xⁱ，Yⁱ)是预测框所在当前窗口的左上角坐标，

是第k个预测框中心点在当前窗口图像中的位置；

步骤S24、输出最终识别结果：当所有窗口识别完成后，在原始大图上得到多个预测框，再利用加权非极大抑制剔除重叠预测框，得到最终识别结果。

Images