CN115170970B - 一种用于检测城市街道景观破损的方法 - Google Patents

Abstract

本发明提供一种用于检测城市街道景观破损的方法，具体包括：S01、数据集的处理；S02、数据集的标记；S03、采用改进的YoloV4‑tiny模型进行对城市街景破损元素的初步预测；S04、采用改进损失函数引入双重平衡熵对城市街景数据进行训练、获得训练模型；S05、将设置在各个街道的摄像头获取的静态图片或动态视频进行格式处理后，放入训练模型中、获得城市街景破损检测结果。该方法基于改进的YoloV4‑tiny模型对城市街道景观破损度进行检测，可靠性与准确性高，人为主观因素影响小、检测效率高。

Description

一种用于检测城市街道景观破损的方法

技术领域

本发明涉及城市规划技术领域，具体涉及一种用于检测城市街道景观破损的方法。

背景技术

城市景观设计是对城市各项景观要素采取保护、利用、改善、发展等措施，为城市发展提供从全局到个案，从近期到远期的总体性布局要求，并体现、控制、引导城市物质建设风尚，促进城市景观体系的良好形成。

然而，随着城市化进程的加速，人口增加与车辆等机械设备的增加，极易造成城市景观的破损；城市景观破损一是易造成人们的出行不便，二是影响城市的整体观感、降低城市居住的舒适度。目前，对于城市景观破损的判断主要依赖于人为肉眼观察；而人为判断对于操作人员的要求较高，人为主观影响因素大，误差大、准确性低，且浪费大量的人力成本(需要操作人员伸入各个城市角度对城市街景的破损程度进行检测、判断，或需要人力进行大量城市街景图片的筛选判断)、检测效率低。

发明内容

针对以上现有技术存在的问题，本发明的目的在于提供一种用于检测城市街道景观破损的方法，该方法基于改进的YoloV4-tiny模型对城市街道景观破损度进行检测，可靠性与准确性高，人为主观因素影响小、检测效率高。

本发明的目的通过以下技术方案实现：

一种用于检测城市街道景观破损的方法，其特征在于：具体步骤包括：S01、数据集的处理；S02、数据集的标记；S03、采用改进的YoloV4-tiny模型进行对城市街景破损元素的初步预测；S04、采用改进损失函数引入双重平衡熵对城市街景数据进行训练、获得训练模型；S05、将设置在各个街道的摄像头获取的静态图片或动态视频进行格式处理后，放入训练模型中、获得城市街景破损检测结果。

作进一步优化，所述步骤S01数据集的处理具体为：

S11、首先构建城市街景图像的数据集，并采用数据增强的手段对数据集进行数据扩充，增加数据集的多样性；

S12、然后，将数据集划分为训练集、验证集与测试集；其中，训练集用于模型的数据样本拟合，验证集是在模型训练过程中单独留出来的数据样本、用于对模型参数的调整和对模型能力进行初步判断，测试集用于评估最终模型的泛化能力。

优选的，所述数据增强的手段包括空间转换与颜色转换；其中，空间转换是根据透视变换的思想，对图像进行压缩、拉伸、旋转、水平及垂直翻转等处理，从而产生相应的图像，增加数据图像的丰富度、实现在街景环境下的多种角度转换；颜色转换是通过对图像进行亮度、饱和度、对比度、噪声等处理，使单一频道的数据变得更强、忽略到多余颜色，从而实现高层次语义信息的提取、降低街景拍摄的其他环境因素的干扰。

作进一步优化，步骤S02数据集的标记具体为：

S21、首先使用标记工具对步骤S01中处理后训练集中的图像进行破损特征标记与定位，从而生成破损街景数据集；

S22、然后采用k-means算法进行聚类，获取城市街景数据先验框；

具体为：随机选取步骤S21中破损街景数据集的9个标记框作为聚类中心、即锚框，并计算出其余标记框(简称标注框，下同)与选取的9个锚框中心点的欧式距离，具体公式为：

d²＝(x₁-x₂)²+(y₁-y₂)²；

式中，(x₁,y₁)表示9个锚框的中心点坐标；(x₂,y₂)表示标注框的中心点坐标；

将每个标注框分到与其欧氏距离d值最大的锚框所属的锚框聚类；一次聚类完成后，计算每个锚框聚类的标注框的宽、高的平均值，作为下一次聚类的锚框的宽、高；重复聚类直至所有标注框与所属的锚框类与前一次聚类相同，停止聚类、获得9个聚类锚框作为城市街景数据先验框；在数据增强的基础上、获取城市街景数据的先验框，提高后续城市街景破损检测盒识别的可靠性与准确性。

优选的，所述标记工具采用labelimg标记工具。

作进一步优化，所述步骤S03采用改进的YoloV4-tiny模型进行对城市街景破损元素的初步预测具体为：

S31、首先，采用YoloV4-tiny模型的主干网络对步骤S02中处理后的训练集进行特征提取，即对S02中处理后的训练集的特征向量分别进行卷积、标准化、激活函数、残差网络的堆叠，实现训练集特征信息的初步提取；

S32、然后，在YoloV4-tiny模型的主干网络提取特征图进行五次卷积后，引入空间金字塔模块、采用四种不同尺寸对五次卷积的结果进行最大池化处理，从而尽可能分离出绝缘子图像的特征信息；

S33、之后，对获得的四种不同池化核进行堆叠；堆叠后再进行卷积与上采样的操作，最后与初步提取的特征信息进行特征层融合。

优选的，所述步骤S32中四种池化核的大小分别为1x1、5x5、9x9和13x13。

通过YoloV4-tiny模型与空间金字塔模块的组合，实现不同特征层之间进行融合、获得更高的特征信息，加深网络的深度，从而增加网络的容量和复杂度，实现更加可靠、更加精确的城市街景破损缺陷特征的提取能力。

由于城市街景元素在不同背景条件下存在的破损情况不同，导致训练集中各个城市街景元素本身的差异性大，且城市街景元素的正、负样本之间存在较大差异，实际检测过程中、城市街景的实际正样本远远少于负样本；若直接通过改进后的YoloV4-tiny模型对城市街景的破损程度进行检测，其测试误差较大、测试精度度低，无法准确有效的获得街景破损程度的检测值。

作进一步优化，所述步骤S04采用改进损失函数引入双重平衡熵对城市街景数据进行训练、获得训练模型具体为：

通过在置信度损失函数loss₁与分类损失函数loss₂中同时引入权重系数β，达到城市街景训练集中正、负样本个数平衡的目的，其中β∈(0,1)；具体为：

式中，与/>分别为预测的边界框包含目标物体与预测的边界框不包含目标物体；/>与/>分别为预测置信度与真实置信度；λ_n为预设参数值；S²为网格的个数；B为每个网格先验框的个数；

式中，c表示检测目标的种类；P_i ^j(c)与分别表示属于类别c的实际概率和预测概率；

最终改进的YoloV4-tiny模型的损失函数包括置信度损失函数loss₁、分类损失函数loss₂及目标框回归损失函数；具体为：

式中，IOU表示预测框与真实框之间的交集并集；w^gt与h^gt分别表示真实框的宽度与高度；w与h分别表示预测框的宽度与高度；ρ²(b,b^gt)表示预测框中心点与真实框中心点之间的欧式距离；C表示包含预测边界盒与真实边界盒的最小对角线距离。

本发明具有如下技术效果：

本申请通过数据增强的手段、对城市街道景观的环境数据进行增强，从而实现高层次语义信息的提取、降低街景拍摄的其他环境因素的干扰；通过数据集的标记与聚类，能够更好的拟合真实情况下的街景目标、提高检测识别的精度；通过改进的YoloV4-tiny模型极性初步预测，实现不同特征层之间进行融合、获得更高的特征信息，加深网络的深度，从而增加网络的容量和复杂度，实现更加可靠、更加精确的城市街景破损缺陷特征的提取能力；通过改进损失函数引入双重平衡熵对城市街景数据进行训练，平衡正负样本之间的巨大差异性，避免街景数据的差异而造成的训练模型误差大，使得检测效果更好、准确性更高。

附图说明

图1为本申请实施例中城市街道景观破损检测的流程图。

图2为现有的YoloV4-tiny模型的结构示意图。

图3为本申请实施例中改进的YoloV4-tiny模型结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例：

如图1所示，一种用于检测城市街道景观破损的方法，其特征在于：具体步骤包括：

S01、数据集的处理：

S11、首先构建城市街景图像的数据集，城市街景数据集包括各种城市街景破损图像，可通过网上搜索软件下载、实际拍摄照片等手段获得；并采用数据增强的手段对数据集进行数据扩充，增加数据集的多样性；数据增强的手段包括空间转换与颜色转换；其中，空间转换是根据透视变换的思想，对图像进行压缩、拉伸、旋转、水平及垂直翻转等处理，从而产生相应的图像，增加数据图像的丰富度、实现在街景环境下的多种角度转换；颜色转换是通过对图像进行亮度、饱和度、对比度、噪声等处理，使单一频道的数据变得更强、忽略到多余颜色，从而实现高层次语义信息的提取、降低街景拍摄的其他环境因素的干扰。

S12、然后，将数据集划分为训练集、验证集与测试集；其中，训练集用于模型的数据样本拟合，验证集是在模型训练过程中单独留出来的数据样本、用于对模型参数的调整和对模型能力进行初步判断，测试集用于评估最终模型的泛化能力。

S02、数据集的标记：

S21、首先使用标记工具、如labelimg标记工具对步骤S01中处理后训练集中的图像进行破损特征标记与定位，从而生成破损街景数据集；在利用labelimg标记工具标注前，需要进行文件格式的转换；

S22、然后采用k-means算法进行聚类，获取城市街景数据先验框；

具体为：随机选取步骤S21中破损街景数据集的9个标记框作为聚类中心、即锚框，并计算出其余标记框(简称标注框，下同)与选取的9个锚框中心点的欧式距离，具体公式为：

d²＝(x₁-x₂)²+(y₁-y₂)²；

式中，(x₁,y₁)表示9个锚框的中心点坐标；(x₂,y₂)表示标注框的中心点坐标；

将每个标注框分到与其欧氏距离d值最大的锚框所属的锚框聚类；一次聚类完成后，计算每个锚框聚类的标注框的宽、高的平均值，作为下一次聚类的锚框的宽、高；重复聚类直至所有标注框与所属的锚框类与前一次聚类相同，停止聚类、获得9个聚类锚框作为城市街景数据先验框；在数据增强的基础上、获取城市街景数据的先验框，提高后续城市街景破损检测盒识别的可靠性与准确性。

S03、采用改进的YoloV4-tiny模型进行对城市街景破损元素的初步预测：

S31、首先，采用YoloV4-tiny模型的主干网络对步骤S02中处理后的训练集进行特征提取，即对S02中处理后的训练集的特征向量分别进行卷积、标准化、激活函数、残差网络的堆叠，实现训练集特征信息的初步提取；

其中：

标准化公式为：

激活函数公式为：

y＝x tanh(ln(1+e^x))；

残差网络的堆叠为四个基本的卷积块和最大池化块构成，输入数据经过第一次卷积后、即结果为0并分为两个部分，后半部分经过第二次卷积后、得到路线一，路线一进一步经过第三次卷积，得到结果1；然后将结果1与路线1进行拼接后、再进行第四次卷积，得到结果2；之后将第一次卷积结果0和结果2进行拼接，得到的结果输入maxpool后得到最终输出。

S32、然后，在YoloV4-tiny模型的主干网络提取特征图进行五次卷积后，引入空间金字塔模块、采用四种不同尺寸对五次卷积的结果进行最大池化处理，从而尽可能分离出绝缘子图像的特征信息；四种池化核的大小分别为1x1、5x5、9x9和13x13；

如图3所示，将主干网络中P5经过五次卷积后的结果采用四种不同尺度进行最大池化处理；

S33、之后，对获得的四种不同池化核进行堆叠；堆叠后再进行卷积与上采样的操作，最后与初步提取的特征信息进行特征层融合。

S04、采用改进损失函数引入双重平衡熵对城市街景数据进行训练、获得训练模型：

通过在置信度损失函数loss₁与分类损失函数loss₂中同时引入权重系数β，达到城市街景训练集中正、负样本个数平衡的目的，其中β∈(0,1)；具体为：

式中，与/>分别为预测的边界框包含目标物体与预测的边界框不包含目标物体；/>与/>分别为预测置信度与真实置信度；λ_n为预设参数值；S²为网格的个数；B为每个网格先验框的个数；

式中，c表示检测目标的种类；P_i ^j(c)与分别表示属于类别c的实际概率和预测概率；

最终改进的YoloV4-tiny模型的损失函数包括置信度损失函数loss₁、分类损失函数loss₂及目标框回归损失loss₃；具体为：

式中，IOU表示预测框与真实框之间的交集并集；w^gt与h^gt分别表示真实框的宽度与高度；w与h分别表示预测框的宽度与高度；ρ²(b,b^gt)表示预测框中心点与真实框中心点之间的欧式距离；C表示包含预测边界盒与真实边界盒的最小对角线距离。

S05、将设置在各个街道的摄像头获取的静态图片或动态视频进行格式处理后，放入训练模型中、获得城市街景破损检测结果。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (1)

1.一种用于检测城市街道景观破损的方法，其特征在于：具体步骤包括：

S01、数据集的处理，具体为：

S11、首先构建城市街景图像的数据集，并采用数据增强的手段对数据集进行数据扩充，增加数据集的多样性；

S12、然后，将数据集划分为训练集、验证集与测试集；其中，训练集用于模型的数据样本拟合，验证集是在模型训练过程中单独留出来的数据样本、用于对模型参数的调整和对模型能力进行初步判断，测试集用于评估最终模型的泛化能力；

S02、数据集的标记，具体为：

S21、首先使用标记工具对步骤S01中处理后训练集中的图像进行破损特征标记与定位，从而生成破损街景数据集；标记工具采用labelimg标记工具；

S22、然后采用k-means算法进行聚类，获取城市街景数据先验框；

具体为：随机选取步骤S21中破损街景数据集的9个标记框作为聚类中心、即锚框，并计算出其余标记框与选取的9个锚框中心点的欧式距离，具体公式为：

；

式中，（x ₁ ,y ₁）表示9个锚框的中心点坐标；（x ₂ ,y ₂）表示标注框的中心点坐标；

将每个标注框分到与其欧氏距离d值最大的锚框所属的锚框聚类；一次聚类完成后，计算每个锚框聚类的标注框的宽、高的平均值，作为下一次聚类的锚框的宽、高；重复聚类直至所有标注框与所属的锚框类与前一次聚类相同，停止聚类、获得9个聚类锚框作为城市街景数据先验框；在数据增强的基础上、获取城市街景数据的先验框，提高后续城市街景破损检测盒识别的可靠性与准确性；

S03、采用改进的YoloV4-tiny模型进行对城市街景破损元素的初步预测，具体为：

S31、首先，采用YoloV4-tiny模型的主干网络对步骤S02中处理后的训练集进行特征提取，即对S02中处理后的训练集的特征向量分别进行卷积、标准化、激活函数、残差网络的堆叠，实现训练集特征信息的初步提取；

S32、然后，在YoloV4-tiny模型的主干网络提取特征图进行五次卷积后，引入空间金字塔模块、采用四种不同尺寸对五次卷积的结果进行最大池化处理，从而分离出绝缘子图像的特征信息；

S33、之后，对获得的四种不同池化核进行堆叠；堆叠后再进行卷积与上采样的操作，最后与初步提取的特征信息进行特征层融合；

S04、采用改进损失函数引入双重平衡熵对城市街景数据进行训练、获得训练模型，具体为：

通过在置信度损失函数loss ₁与分类损失函数loss ₂中同时引入权重系数β，达到城市街景训练集中正、负样本个数平衡的目的，其中β∈（0,1）；具体为：

式中，与/>分别为预测的边界框包含目标物体与预测的边界框不包含目标物体；/>与/>分别为预测置信度与真实置信度；/>为预设参数值；S ²为网格的个数；B为每个网格先验框的个数；

式中，c表示检测目标的种类；与/>分别表示属于类别c的实际概率和预测概率；

最终改进的YoloV4-tiny模型的损失函数包括置信度损失函数loss ₁、分类损失函数loss ₂及目标框回归损失函数；具体为：

式中，IOU表示预测框与真实框之间的交集并集；w ^gt与h ^gt分别表示真实框的宽度与高度；w与h分别表示预测框的宽度与高度；表示预测框中心点与真实框中心点之间的欧式距离；C表示包含预测边界盒与真实边界盒的最小对角线距离；

S05、将设置在各个街道的摄像头获取的静态图片或动态视频进行格式处理后，放入训练模型中、获得城市街景破损检测结果。