CN116721095B - 一种航拍式的道路照明故障检测方法及装置 - Google Patents

Abstract

本发明公开了一种航拍式的道路照明故障检测方法，该方法包括获取航拍数据；根据云端数据库中路灯的GPS信息生成相机的拍摄位置，并结合相机的航拍高度在道路图像中生成与各路灯对应的路灯预选框；道路图像进行裁剪以获得路灯子图；基于路灯亮度配置数据和故障类型对路灯子图进行标签标注，将多个路灯子图和对应的标签组成数据集；构建BP神经网络模型；采用数据集对BP神经网络模型进行训练，以获得路灯照明故障检测模型；获取待检测区域的道路图像输入至所述路灯照明故障检测模型，以获得各路灯的预测结果。本发明还提供了一种道路照明故障检测装置。本发明提供的方法可以快速完成当日的路灯巡检工作。

Description

一种航拍式的道路照明故障检测方法及装置

技术领域

本发明属于市政管理与智慧交通领域，尤其涉及一种航拍式的道路照明故障检测方法及装置。

背景技术

当前，路灯已经不再是一种简单的夜间照明工具，也是彰显城市活力、时尚以及文化的一种因素。虽然路灯存在很多优势，但是在管理工作当中由于管理不当，无法对出现故障的路灯进行及时维护和修复对路灯正常使用带来了不利影响，严重限制了路灯功能的发挥，对人民生活和城市建设带来了不利影响。因此，需要及时的对路灯进行检查，加强路灯维护，确保路灯功能正常发挥。常见的路灯故障有外玻璃壳破损或漏气、钠灯漏钠、熔断器故障、镇流器故障、启动装置失灵等故障，这些故障最终导致路灯出现灯泡不亮或者灯光间歇性闪烁问题。为了及时发现路灯照明问题，常见的解决方案有定期的人工巡检或者为每个路灯安装故障检测装置，定期的人工巡检需要消耗大量的人力和时间，故障反馈不及时，并且不利于路灯故障数据的收集，而为每个路灯安装故障检测装置虽然可以及时的检测出故障，但是成本较高，不利于普及。因此需要一种方式能够及时的检测路灯故障并且尽可能的减少成本开销。

专利文献CN114266775A公开了一种运动物体检测的路灯照明控制方法和系统，该方法为基于现场采集设备实时采集涵盖照明光源照明区域的图像数据；确定至少一个图像为现场采集设备静止状态下的基准图像；将基准图像拼接为涵盖照明光源照明区域的全景图像，并建立照明现场虚拟模型；通过现场采集设备实时获取照明光源的照明区域图像，输入照明现场虚拟模型进行比对，提取图像差别部分轮廓；遍历素材库，判断图像差别部分轮廓相匹配的物体的三维模型，并根据图像差别部分轮廓的实际位置信息，将对应的物体的三维模型映射到照明现场虚拟模型上，根据三维模型所处照明光源的探照范围，控制照明光源照明。该方法需要提前布置监控设备，而采集的图像信息会在晚上因来往车辆的车灯而受到影响。

专利文献CN113240676A公开了一种基于大数据的智慧路灯的智能调控方法及系统，通过对采集到的人口热力图进行数值化处理并进行边缘检测得到边缘检测图，建立边缘检测图与实际地图的地理位置映射，通过边缘检测图中的边缘线，将实际地图进行分区得到不同的分区域，得到分区域子图像集合，进而建立对分区域子图像集合中各个分区域子图像进行按序检测的子图像检测序列，计算路灯所在位置的光照偏差及分区阈值，依照子图像检测序列动态地根据不同的分区域的光照偏差及分区阈值，计算优化调光输出以实现对各区域的路灯的智能调控。该方法采用人口热力学力图作为调整参数，但是容易受外界环境温度影响，尤其在高温季节中容易出现问题。

发明内容

本发明的目的是提供一种道路照明故障检测方法及装置，该方法可以快速完成当日的路灯巡检工作。

为了实现本发明的第一个目的，提供了一种航拍式的道路照明故障检测方法，包括以下步骤：

获取航拍数据，其包括道路图像，以及相机的航拍高度和位置信息。

根据云端存储的路灯GPS信息生成相机的拍摄位置，并结合相机的航拍高度在道路图像中生成与各路灯对应的路灯预选框。

识别预选框内路灯顶部预设的身份码，将对应路灯信息与云端数据库进行绑定，以获得对应的路灯亮度配置数据，所述的路灯亮度配置数据包括预设路灯亮度和对应路灯电路实际的电流值。

对带有路灯预选框的道路图像进行裁剪，以获得多个路灯子图。

基于路灯亮度配置数据和故障类型对路灯子图进行标签标注，将多个路灯子图和对应的标签组成数据集。

构建BP神经网络模型，包括特征提取模块，光电转换模块以及预测模块，所述特征提取模块用于提取道路图像中路灯光圈大小，以生成对应的，所述光电转换模块根据输入的亮度特征值生成对应的电流特征，所述预测模块根据输入的电流特征与云端存储的路灯亮度配置数据进行预测，以输出预测结果，所述预测结果包括电路正常、电路短路、电路断路或电路接触不良。

采用数据集对BP神经网络模型进行训练，以获得用于判断路灯故障类型的路灯照明故障检测模型。

将获取待检测区域的道路图像输入至所述路灯照明故障检测模型，以获得各路灯的预测结果。

本发明通过预先设定的航线采集道路照明系统的工况图像，将带有高度和GPS位置等信息的图像发送至云端，云端对图像进行处理得出检测结果，从而提高城市路灯日常检修的效率。

具体的，采用无人机搭载相机对道路进行拍摄，从而大大提高检修效率。

具体的，所述相机的拍摄位置基于道路两侧路灯的GPS信息计算获得，其具体过程如下：式中，表示第m个拍摄点一侧路灯的GPS信息，/>表示第m个拍摄点另一侧路灯的GPS信息。

具体的，所述路灯预选框在道路图像中的位置如下：式中，表示道路图像的尺寸，/>表示路灯预选框的尺寸，/>表示被框选路灯的GPS信息，/>表示相机的拍摄位置，/>表示相机的航拍高度，分别表示相机内外参以及比例函数。

具体的，当目标路灯的身份码不清晰时，则通过前后路灯的身份码在云端数据库中进行遍历以确定目标路灯的身份，从而避免身份码被遮挡导致无法识别的问题。

具体的，所述路灯子图通过对路灯预选框内图像进行二值化处理与形态学滤波，并采用最小外接矩阵定位路灯作为裁剪中心获得。

具体的，所述特征提取模块通过将道路图像裁剪成多个路灯子图，针对每个路灯子图进行尺寸缩放，并累加不同尺寸路灯子图的灰度值作为亮度特征值。

具体的，在预测结果中：

当预测电流值与预设电流值的差值大于预设误差值范围时则判断为电路短路。

当预测电流值与预设电流值的差值小于预设误差范围时则判断为电路接触不良。

当预测电流值与预设电流值的差值在预设误差范围内时则判断为电路正常。

当预测电流值为零时，则判断为电路断路。

为了实现本发明的第二个目的，提供了一种道路照明故障检测装置，包括搭载有相机的无人机和基于上述航拍式的道路照明故障检测方法实现的控制系统，所述控制系统包括GPS模块，高度传感器，自助导航模块，飞控模块，无线通讯模块以及云端处理器。

所述GPS模块，用于获取无人机的位置信息。

所述高度传感器，用于获取无人机的航拍高度。

所述自助导航模块，用于根据执行任务生成对应的航线。

所述飞控模块，用于控制无人机的飞行姿态，高度以及飞行速度。

所述无线通讯模块，用于将相机拍摄获得的道路图像发送至云端处理器。

所述云端处理器，用于处理接收到的道路图像，以输出各路灯的故障类型和位置信息。

与现有技术相比，本发明的有益效果：

本发明提供无人机航拍的方式对城市区域内所有路灯进行巡检，并结合路灯顶部设置的身份码进行故障检测，从而提高城市照明设施的日常巡检效率。

附图说明

图1为本实施例提供的道路照明故障检测方法的流程图；

图2为本实施例提供的道路图像中路灯预选框的示意图；

图3为本实施例提供的路灯反光板以及路灯身份码示意图；

图4为本实施例提供的路灯照明故障检测模型的检测流程图；

图5为本实施例提供的道路照明故障检测装置的示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相 似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一 致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本 申请的一些方面相一致的装置和方法的例子。

如图1所示，本实施例提供的一种航拍式的道路照明故障检测方法，包括以下步骤：

通过无人机拍摄城市内照明设施所在区域，以获得航拍照明以及无人机的航拍高度。

更具体地，通过工作人员在云端设置好巡检路线后发送到无人机，云端根据巡检路线上路灯的位置，自动生成相机拍摄位置的坐标序列，然后无人机根据巡检路线进行路灯图像的拍摄以及飞行高度数据、GPS等数据的收集工作。

其中，无人机的飞行速度为30km/h~40 km/h，从而模仿正常巡检车的运动速度，而无人机的飞行高度设置为离地8m~10m，从而符合城市区域的飞行限高。

相机的拍摄位置基于道路两侧路灯的GPS信息计算获得，其具体过程如下：式中，表示第m个拍摄点一侧路灯的GPS信息，/>表示第m个拍摄点另一侧路灯的GPS信息。

无人机在拍摄点完成一次拍摄后，将拍摄图像、无人机航拍高度、相机的拍摄位置和无人机硬件状态等信息上传云端，云端并结合相机的航拍高度在道路图像中生成与各路灯对应的路灯预选框，该路灯预选框在道路图像中的位置信息如下：式中，表示道路图像的尺寸，/>表示路灯预选框的尺寸，/>表示被框选路灯的GPS信息，/>表示相机的拍摄位置，/>表示相机的航拍高度，分别表示相机内外参以及比例函数。

如图2所示，为本实施例提供的路灯预选框示意图。

为了提高身份码的识别准确率，路灯加装了一个反光板并将路灯身份码印在反光板上，如附图3所示，云端在预选框中先用yolov5目标检测算法搜索反光板区域，再在反光板区域内用opencv库中的模板匹配算法搜索路灯身份码，用二维码解码器读取路灯身份码信息，从而将预选框内的路灯与云端数据库中路灯的信息进行对应，以获得对应的路灯亮度配置数据，其灯亮度配置数据包括预设路灯亮度和对应路灯电路实际的电流值。

由于路灯光源是发光源，其亮度远超预选框内的其他地方，因此预选框中最亮位置即是路灯位置。采用大津法对预选框所框选的图像进行二值化处理，在形态学滤波之后用最小外接矩阵定位出路灯中心位置，以路灯中心位置为基准裁剪出路灯子图。

基于路灯亮度配置数据和故障类型对路灯子图进行标签标注，将多个路灯子图和对应的标签组成数据集。

更具体地，本实施例的数据集，通过控制修改路灯电路的电流值以模仿不同故障问题，在根据无人机悬置于路灯上方获取对应故障问题的路灯亮度，并与无故障情况下的路灯亮度进行比对，以构建对应的数据集。

本实例提供的路灯亮度配置数据包括路灯亮度和路灯供电箱实际提供的电流值。

如图4所示，构建BP神经网络模型，包括特征提取模块，光电转换模块以及预测模块，所述特征提取模块用于提取道路图像中路灯光圈大小，以生成对应的亮度特征值，光电转换模块根据输入的亮度特征值生成对应的电流特征，所述预测模块根据输入的电流特征与云端存储的路灯亮度配置数据进行预测，以输出预测结果。

更具体地，该BP神经网络模型包含一层输入层、两层隐含层、一层输出层。输入层包含两个输入节点，分别接受亮度特征值和路灯亮度配置数据的输入，隐含层神经元的激活函数设为tansig函数，输出层神经元激活函数设为purelin函数，输出层包含四个输出节点，分别输出故障类型的预测结果，该故障类型包括电路短路导致路灯亮度高于预设照明度，电路短路导致路灯无法照明，电路接触不良导致路灯亮度低于预设照明度以及路灯亮度与预设照明度在合理误差范围内的电路正常。BP神经网络模型的学习过程由信号正向传播与误差的反向回传两个部分组成；正向传播时，输入样本从输入层传入，经各隐层依次逐层处理，传向输出层，若输出层输出与期望不符，则将误差作为调整信号逐层反向回传，对神经元之间的连接权矩阵做出处理，使误差减小。经反复学习，最终使误差减小到可接受的范围。具体步骤如下：1、从数据集中取出某一样本，把信息输入网络中。

2、通过各节点间的连接情况正向逐层处理后，得到神经网络的实际输出。

3、计算网络实际输出与期望输出的误差。

4、将误差逐层反向回传至之前各层，并按一定原则将误差信号加载到连接权值上，使整个神经网络的连接权值向误差减小的方向转化。

5、对训练集中每一个输入—输出样本对重复以上步骤，直到整个训练样本集的误差减小到符合要求为止。

此外，特征提取模块通过将道路图像裁剪成多个路灯子图，针对每个路灯子图进行尺寸缩放，并累加不同尺寸路灯子图的灰度值作为亮度特征值。

采用数据集对BP神经网络模型进行训练，以获得用于判断路灯故障类型的路灯照明故障检测模型。

更具体地，在训练过程中，将制备好的路灯子图输入至特征提取模块中，将获得该图中路灯光圈大小作为对应的亮度特征值，然后通过光电转换模块对输入的亮度特征值转换为对应的电流值，该光电转换模块通过数据集中已标注的路灯亮度配置数据进行训练，使得亮度特征值转换获得的电流值趋近于真实的电流值，最后预测模块根据输入的电流特征与路灯身份码对应的路灯亮度配置数据进行预测，其预测结果的预测逻辑如下：

当预测电流值与预设电流值的差值大于预设误差值范围时则判断为电路短路。

当预测电流值与预设电流值的差值小于预设误差范围时则判断为电路接触不良。

当预测电流值与预设电流值的差值在预设误差范围内时则判断为电路正常。

当预测电流值为零时，则判断为电路断路。

获取待检测区域的道路图像输入至所述路灯照明故障检测模型，以获得各路灯的预测结果。

本实施例还提供了一种道路照明故障检测装置，包括搭载有黑白相机的无人机和基于上述实施例提供的航拍式的道路照明故障检测方法实现的控制系统，如图5所示，该控制系统包括GPS模块，高度传感器，自助导航模块，飞控模块，无线通讯模块以及云端处理器。

其中，GPS模块用于获取无人机的位置信息；高度传感器用于获取无人机的航拍高度；自助导航模块用于根据执行任务生成对应的航线；飞控模块用于控制无人机的飞行姿态，高度以及飞行速度；无线通讯模块用于将相机拍摄获得的道路图像发送至云端处理器；云端处理器用于处理接收到的道路图像，以输出各路灯的故障类型和位置信息。

综上所述，本发明提出的道路照明故障检测方法相较于人工巡检，节省了大量的人力和时间，并且可以更加方便的收集数据；相较于单灯设计，节省了大量成本，且方便管理者管理。

本文结合说明书附图和具体实施例进行阐述只是用于帮助理解本发明的方法和核心思想。本发明所述的方法并不限于具体实施方式中所述的实施例，本领域技术人员依据本发明的方法和思想得出的其他实施方式，同样属于本发明的技术创新范围。本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种航拍式的道路照明故障检测方法，其特征在于，包括以下步骤：

获取航拍数据，包括道路图像，以及相机的航拍高度和位置信息；

根据云端存储的路灯GPS信息生成相机的拍摄位置，所述拍摄位置的计算过程如下：式中，表示第m个拍摄点一侧路灯的GPS信息，/>表示第m个拍摄点另一侧路灯的GPS信息，并结合相机的航拍高度在道路图像中生成与各路灯对应的路灯预选框，所述路灯预选框在道路图像中的位置如下：

式中，表示道路图像的尺寸，/>表示路灯预选框的尺寸，/>表示被框选路灯的GPS信息，/>表示相机的拍摄位置，/>表示相机的航拍高度，分别表示相机内外参以及比例函数；识别预选框内路灯顶部预设的身份码，将对应的路灯与云端数据库进行绑定，以获得对应的路灯亮度配置数据，所述的路灯亮度配置数据包括预设路灯亮度和对应路灯电路实际的电流值；

对带有路灯预选框的道路图像进行裁剪，以获得多个路灯子图；

基于路灯亮度配置数据和故障类型对路灯子图进行标签标注，将多个路灯子图和对应的标签组成数据集；

构建BP神经网络模型，包括特征提取模块，光电转换模块以及预测模块，所述特征提取模块用于提取道路图像中路灯光圈大小，以生成对应的亮度特征值，所述光电转换模块根据输入的亮度特征值生成对应的电流特征，所述预测模块根据输入的电流特征与路灯身份码对应的路灯亮度配置数据进行预测，以输出预测结果，所述预测结果包括电路正常、电路短路、电路断路或电路接触不良；

采用数据集对BP神经网络模型进行训练，以获得用于判断路灯故障类型的路灯照明故障检测模型；

获取待检测区域的道路图像输入至所述路灯照明故障检测模型，以获得各路灯的预测结果。

2.根据权利要求1所述的道路照明故障检测方法，其特征在于，采用无人机搭载相机对道路进行拍摄。

3.根据权利要求1所述的道路照明故障检测方法，其特征在于，当目标路灯的身份码不清晰时，则通过前后路灯的身份码在云端数据库中进行遍历以确定目标路灯的身份。

4.根据权利要求1所述的道路照明故障检测方法，其特征在于，所述路灯子图通过对路灯预选框内图像进行二值化处理与形态学滤波，并采用最小外接矩阵定位路灯作为裁剪中心获得。

5.根据权利要求1所述的道路照明故障检测方法，其特征在于，所述特征提取模块通过将道路图像裁剪成多个路灯子图，针对每个路灯子图进行尺寸缩放，并累加不同尺寸路灯子图的灰度值作为亮度特征值。

6.根据权利要求1所述的道路照明故障检测方法，其特征在于，在预测结果中：

当预测电流值与预设电流值的差值大于预设误差值范围时，则判断为电路短路；

当预测电流值与预设电流值的差值小于预设误差范围时，则判断为电路接触不良；

当预测电流值与预设电流值的差值在预设误差范围内时，则判断为电路正常；

当预测电流值为零时，则判断为断路。

7.一种道路照明故障检测装置，其特征在于，包括搭载有相机的无人机和基于如权利要求1~6任一项所述的航拍式的道路照明故障检测方法实现的控制系统，所述控制系统包括GPS模块，高度传感器，自助导航模块，飞控模块，无线通讯模块以及云端处理器；

所述GPS模块，用于获取无人机的位置信息；

所述高度传感器，用于获取无人机的航拍高度；

所述自助导航模块，用于根据执行任务生成对应的航线；

所述飞控模块，用于控制无人机的飞行姿态，高度以及飞行速度；

所述无线通讯模块，用于将相机拍摄获得的道路图像发送至云端处理器；

所述云端处理器，用于处理接收到的道路图像，以输出各路灯的故障类型和位置信息。