CN116430894A - 基于无人机的光伏电站智能巡检系统 - Google Patents

Abstract

本发明提供一种基于无人机的光伏电站智能巡检系统。所述基于无人机的光伏电站智能巡检系统包括：无人机和检测平台；其中，所述无人机按照指定巡检轨迹飞行获取光伏组件图像数据。本发明提供的基于无人机的光伏电站智能巡检系统具有本系统在光伏电站场景下，使用无人机对光伏发电板进行拍照，然后将所拍的照片上传到服务器，在服务器端通过缺陷检测算法、图像处理等方法进行检测、分析、处理，进而识别出每张图片中的缺陷的位置并标记，最终将不同区域内所有的图片合并形成当前区域下光伏发电板的大图，从而识别出区域内所有故障板以及其位置信息的优点。

Description

基于无人机的光伏电站智能巡检系统

技术领域

本发明涉及无人机应用光伏电站技术领域，尤其涉及一种基于无人机的光伏电站智能巡检系统。

背景技术

光伏发电是直接将太阳能转化成电能的产业，由于常规能源具有储量有限、污染高等缺点，因而环保可靠且可再生的光伏发电系统迅速发展，基于太阳能的光伏发电系统分为集中式和分布式，集中式光伏电站一般占地面积广，建设位置大多位于一些偏远地区、自然环境较为恶劣；分布式电站一般建在屋顶、大棚和大面积水池上，在光伏电站运行中，光伏板容易受到鸟粪污染、树枝树叶遮挡、风吹日晒老化等因素的影响，随着时间推移可能出现裂痕、热斑等问题，影响光伏板的发电效率，这给光伏电站的管理人员带来了巨大的运维压力，需要定期巡视光伏电站以检查光伏板是否存在缺陷。

传统的光伏电站运维主要依靠人工巡检，这种方式不仅成本高昂、工作效率低下，还需要依靠运维人员的经验进行判别，容易出现巡检不到位等问题，另外，在偏远地区，交通环境相对恶劣，导致光伏电站巡检工作成本高昂，效率低下，因此，人工巡检方式难以满足安全高效的光伏电站巡检需求。

因此，有必要提供一种新的基于无人机的光伏电站智能巡检系统解决上述技术问题。

发明内容

为解决人工巡检成本高昂，容易出现漏检和效率低下的技术问题，本发明提供一种基于无人机的光伏电站智能巡检系统。

本发明提供的基于无人机的光伏电站智能巡检系统包括：无人机和检测平台；其中，所述无人机按照指定巡检轨迹飞行获取光伏组件图像数据，对获取的光伏组件图像数据进行解析处理输出光伏板故障定位至检测平台；所述检测平台按照用户需求将光伏组件位置数据整合，之后进行故障检测并进行位置标定，同步监测数据通过飞行数据上传云服务。

优选的，所述无人机采用无线数据端的无人机控制器和手机APP均可控制，所述无人机控制器和手机APP可实现数据交互。

优选的，所述检测平台在进行数据整合检测时同步进行其他检测，所述其他检测包括基于视觉和热学的方法对光伏组件模块部分表面的变色、污损、热点、断裂和分层故障进行检测。

优选的，所述故障检测包括通过OpenCV开源技术框架，对检测后的图片进行二值化、腐蚀、膨胀、去噪形态学操作，进而去除图片中的噪声等信息，最终将处理完的图片采用非极大值抑制的方法，对误检的图片进行剔除，从而得到更加精准的结果。

优选的，所述无人机在飞行过程中具有飞行数据，飞行数据包括经纬度、飞行高度、前进速度、上升速度、Z轴速度、运行时间、电池电量信息。

优选的，所述手机APP内部包含了登录、无人机基础设置、飞行控制、控制台功能。

优选的，所述数据传输方式主要是通过USB连接线将手机与无人机控制器相连，从而实现数据传输功能。

与相关技术相比较，本发明提供的基于无人机的光伏电站智能巡检系统具有如下有益效果：

本发明提供一种基于无人机的光伏电站智能巡检系统：

本系统在光伏电站场景下，使用无人机对光伏发电板进行拍照，然后将所拍的照片上传到服务器，在服务器端通过缺陷检测算法、图像处理等方法进行检测、分析、处理，进而识别出每张图片中的缺陷的位置并标记，最终将不同区域内所有的图片合并形成当前区域下光伏发电板的大图，从而识别出区域内所有故障板以及其位置信息，在使用上较为方便和省力。

附图说明

图1为本发明提供的系统总体架构图；

图2为本发明提供的研究内容架构图；

图3为本发明提供的无人机与APP交互的架构图；

图4为本发明提供的无人机与管理系统交互的架构图；

图5为本发明提供的故障位置点标定示意图；

图6为本发明提供的缺陷检测效果示意图；

图7为本发明提供的管理平台功能框架示意图；

图8为本发明提供的故障检测系统示意图。

具体实施方式

下面结合附图和实施方式对本发明作进一步说明。

请结合参阅图1-图8，基于无人机的光伏电站智能巡检系统包括：无人机和检测平台；其中，所述无人机按照指定巡检轨迹飞行获取光伏组件图像数据，对获取的光伏组件图像数据进行解析处理输出光伏板故障定位至检测平台；所述检测平台按照用户需求将光伏组件位置数据整合，之后进行故障检测并进行位置标定，同步监测数据通过飞行数据上传云服务。

所述无人机采用无线数据端的无人机控制器和手机APP均可控制，所述无人机控制器和手机APP可实现数据交互。

所述检测平台在进行数据整合检测时同步进行其他检测，所述其他检测包括基于视觉和热学的方法对光伏组件模块部分表面的变色、污损、热点、断裂和分层故障进行检测。

所述故障检测包括通过OpenCV开源技术框架，对检测后的图片进行二值化、腐蚀、膨胀、去噪形态学操作，进而去除图片中的噪声等信息，最终将处理完的图片采用非极大值抑制的方法，对误检的图片进行剔除，从而得到更加精准的结果。

所述无人机在飞行过程中具有飞行数据，飞行数据包括经纬度、飞行高度、前进速度、上升速度、Z轴速度、运行时间、电池电量信息。

所述手机APP内部包含了登录、无人机基础设置、飞行控制、控制台功能。

所述数据传输方式主要是通过USB连接线将手机与无人机控制器相连，从而实现数据传输功能。

在本发明中：

为了提高设计水平，保证系统质量，在系统实现中，拟遵循以下指导原则：

1、系统采用基于深度学习的缺陷检测、图像处理等技术；

2、系统应具有开放性、可扩充性、兼容性和灵活性；

3、系统设计应标准化、规范化、国际化；

4、系统必须具有安全性、可靠性、容错性；

无人机与APP交互：

研究重点：

该模块主要是通过手机app对无人机进行相关的操控以及数据的交互，App内部包含了登录、无人机基础设置、飞行控制、控制台等功能，其中登录功能主要是通过登录大疆无人机用户，登录成功后显示该用户下无人机的设备列表、连接状态、飞行位置等子功能模块；基础设置功能中主要是对直播地址、流媒体服务地址以及数据发送的时间间隔进行相关设置；飞行控制功能主要是对无人机进行实时的操控，以及可以设置直播开关并设置一些直播的相关参数；控制台功能主要是针对后台管理人员或开发人员，其主要是利用飞行数据进行一些业务处理，例如无人机的经纬度、飞行高度、前进速度、上升速度、Z轴速度、运行时间以及电池电量等数据，而数据传输方式主要是通过USB连接线将手机与无人机控制器相连，从而实现数据传输功能，如图3所示。

技术方案：

首先了解无人机与控制器的传输方式以及传输接口的功能定义，然后根据该接口的功能开发对应App，开发完成之后通过USB连接线与控制器相连，进而通过实现的接口读取无人机所传输的数据，实现交互功能。

APP与管理系统交互

研究重点：

该模块主要是通过web后端对无人机进行相应管理，其中管理界面包括无人机设备列表、无人机飞行计划、无人机直播、回放等功能。其过程是通过无人机的控制器向web后台发送实时数据，包括无人机飞行路线、无人机在地图中的位置信息、无人机的飞行速度、高度、无人机飞行的历史数据等信息，然后后台管理员可以通过这些数据对无人机进行管理和控制，例如对改变无人机飞行路线、调整无人机飞行速度、高度等。

技术方案：

由于大疆官网并没有单独提供无人机或者控制器与web端的交互接口，因此可以通过App作为中转，先通过无人机向App发送数据，然后由App将所接收到的数据转发给web端，其过程如图4所示。

APP与检测服务交互

研究重点：

该模块主要是将无人机所获取到的数据(图片、飞行轨迹、飞行速度、高度等)传输给服务器，服务器接收到数据后，将这些图片构建成数据集，然后采用深度学习的缺陷检测方法对该数据集进行训练，最终得到一个可以检测该场景下的图片中是否存在故障的模型，有了该模型之后便可以对损坏光伏板的进行检测。

技术方案：

与上一功能模块类似，无人机与服务器之间的通讯仍需要借助App来进行交互；同时在检测服务之前需要对图片进行标注(标注损坏区域)，进而进行模型训练，期间可能还需要借助图像处理的技术对数据集(图片)进行进一步的筛选、优化、完善。

故障位置点标定

研究重点：

该模块主要是将无人机拍摄的单张图片中的缺陷进行位置的标定。其过程主要是服务器将输入的图片检测完成后，该图片即对存在的缺陷进行了标注，然后通过计算该标注点在整张图片中的相对位置，最终计算的结果即是损坏点的坐标。

技术方案：

首先获取服务器对含有缺陷的图片进行检测的结果图，得到该结果图之后根据整张图片的大小计算缺陷处的坐标值(x，y)，该坐标值即为缺陷点在当前图片中的相对位置，如图5所示。

图片所在区域位置标定

研究重点：

该模块是确定单张图片在整个区域中的相对位置，从而进一步推断出图片中的故障板在整个区域的位置。其过程主要是：在无人机进行拍照前，根据事先获得的整个区域图片，将其按照无人机的飞行路线以及拍照间隔划分为多个子块，并分别计算出每个子块的相对位置坐标，然后当无人机开始工作后，每拍摄完一张图片传给服务器并经过检测之后，将该图片与划分好的子块进行比对，查找其属于哪一个子块，查找完成后获取该子块的相对位置坐标，最终结合单张图片中故障点的相对位置关系和图片所在区域的相对位置关系从而计算出故障板在整个区域的位置。

技术方案：

首先根据无人机的飞行路线确定该区域的GPS信息，然后将该区域划分的多个子块分别计算GPS信息，计算完成后，将检测服务输出图片的GPS信息分别与这些子块相匹配，最终匹配成功的子块即为该张图片所在整个区域中的相对位置，然后根据目前图片的相对位置以及故障点在图片中的相对位置，进而求出故障点的GPS信息。

红外图像检测

研究重点：

该模块主要是通过基于视觉和热学的方法，对光伏模块表面的变色、污损、热点、断裂和分层故障进行检测。其过程主要是通过无人机上的红外相机对光伏板进行拍照，然后查看照片中的颜色状况，其中变色块即为该光伏板的损坏区域。

技术方案：

通过图片中的像素点来确定周围的颜色变化，即损坏区域的像素值与周围的像素值偏差较大，因此通过遍历整张图片的像素点，将每个像素点结合其周围的像素点进行均值求解，最后根据均值间的差异来确定故障位置。

缺陷检测

研究重点：

该模块主要是检测图片中的损坏位置，即标注出图片中可能存在的所有损坏区域。其过程主要是通过基于深度学习的方法，将含有缺陷的图片构建成数据集，然后对该数据集中的损坏区域进行一一标注，标注完成后将数据集进行训练，训练结束后得到一个可以用于检测该类缺陷图片的通用模型。

技术方案：

采集光伏板图像样本,制作光伏板缺陷检测模型训练集；(2)利用训练集训练光伏板缺陷检测模型；(3)输入待检测光伏板图像样本；(4)使用特征提取网络得到输入图像的抽象卷积特征；(5)将不同尺度的卷积特征图分别输入到不同的区域生成网络,得到锚框的位置修正坐标偏移量和每个候选框中包含缺陷区域的置信度；(6)利用阈值分割和非极大值抑制过滤候选框；(7)将每个候选框对应的特征图区域输入到感兴趣区域池化层和回归网络,得到候选框的坐标修正偏移量,并计算得到检测框；(8)输出最终检测结果.该方法能有效检测光伏板的缺陷区域，如图6所示。

图像处理

研究重点：

该模块主要是针对缺陷检测的结果图片进行进一步的筛选。由于缺陷检测完成后，其结果中可能存在一些误检信息，因此需要通过二次筛选对其中的误差进行更正，以便更加精准的识别故障。

技术方案：

通过OpenCV等开源技术框架，对检测后的图片进行二值化、腐蚀、膨胀、去噪等形态学操作，进而去除图片中的噪声等信息，最终将处理完的图片采用非极大值抑制的方法，对误检的图片进行剔除，从而得到更加精准的结果。

用户管理

对登录用户列表进行操作，包括增加、修改、删除、查找和导出。

用户信息包括：登录名、密码、姓名、部门、角色等。

可以分配平台的用户以及每个用户关联的无人机设备，分配之后用户无需创建，即可登录平台观看无人机。

1.1角色管理

可以创建角色来对每个角色进行权限控制，从而来分配用户的权限，其中权限包括增加、修改、删除。

为每一个新建的角色分配相应的系统访问权限。

每一个用户对应一种特定的角色，从而拥有相应的系统访问权限。

1.2无人机地图

显示无人机起飞后的第一视角画面，基于高德地图对飞机的飞行轨迹做了实时绘制，并将无人机数据以表格的方式展现出来，同时支持实时刷新。

1.3无人机列表

对所有无人机进行统一管理，包括添加、修改和删除，同时可以创建无人机进行管理，点击创建按钮即可创建无人机，自动生成直播地址。打开无人机app或者收到无人机视频数据，播放按钮自动变为可点击状态，点击即可查看无人机第一视角。

1.4飞行计划

对无人机的飞行路线等信息进行提前设置。可以在地图点击开始规划路线，双击结束路线放置，因为无人机的飞行距离不一样，所以，设置范围也不一样。可以设置多个点。

同时可以建立任务名称以及飞行速度以及高度。会自动计算出飞行时间以及无人机实际飞行距离，可以对单个点位设置无人机动作，速度、高度、悬停、拍摄照片、开始录像、停止录像、无人机朝向、云台方向、设置返航点位置。完成任务自动返航等。

保存自动放回列表，下发到飞行app,操作员无需操作无人机即可自动飞行。

1.5直播大厅

对多台无人机的视频传输做统一查阅，可以点击视频窗口右上角选择无人机视频源。

支持四屏、九屏、十六屏、以及全屏。

1.6视频回放

对每次无人机的飞行数据做点播回放，可以查阅每次飞行的实时视频，并且支持mp4格式下载。支持在线观看。

1.7平台日志

对每个用户的操作进行日志管控。每个行为都会记录到数据库中。

1.8APP管理

1.9登录

进入首页会初始化App，初始化成功后，在右上角点击登录按钮可以登录大疆客户端，登录成功后app会自动连接无人机，登录页左上角会显示无人机的连接状态以及无人机的型号等。同事会在app底部显示飞机连接成功。

1.10设置

对用户权限、后台接收无人机数据的接口地址、心跳周期、rtmp地址等基本参数进行设置。

a)：授权秘钥需询问管理员

b)：后台接口可以设置您的程序接口地址，方便app将无人机的数据传递到用户的接口。

c)：心跳周期可以设置推送数据的周期，隔几秒发送数据。

d)：rtmp地址可以设置直播地址，流媒体服务地址。

1.11飞行控制

对无人机进行实时的飞行控制，如飞行速度，飞行高度，飞行路线等，同时在飞行过程中可以实时直播。

1.12直播设置

在飞行过程中对实时直播进行相关设置，包括直播开关、直播地址、声音开关等。

a)：直播开关可以开始和关闭直播状态

b)：直播地址是设置页面的rtmp地址

c)：声音开关可以设置视频传输是否携带声音传输

1.13控制台

传输无人机飞行过程中的飞行数据，包括经纬度、飞行高度、前进速度、上升速度、Z轴速度、运行时间、电池电量等信息。

1.14检测管理

1.15红外检测

对无人机携带的红外摄像机进行操控，从而对不同区域的光伏板进行拍摄。

1.16缺陷检测

通过服务器训练好的模型对红外检测到的图片进行检测，输出检测结果。

检测系统设计

1.17数据集采集与标注

缺陷图片数据采集

缺陷图片数据标记

1.18模型训练

缺陷检测模型训练

1.19故障检测

1.故障识别

2.故障检测

3.故障定位。

技术选型：

前端框架：Bootstrap,Thymeleaf

后端框架：SpringBoot、Mybatis

数据库：MySQL

缺陷检测算法：基于深度学习的目标检测算法、缺陷检测算法缺陷定位：基于OpenCV的图像识别+定位算法。

与相关技术相比较，本发明提供的基于无人机的光伏电站智能巡检系统具有如下有益效果：

本发明提供一种基于无人机的光伏电站智能巡检系统，本系统在光伏电站场景下，使用无人机对光伏发电板进行拍照，然后将所拍的照片上传到服务器，在服务器端通过缺陷检测算法、图像处理等方法进行检测、分析、处理，进而识别出每张图片中的缺陷的位置并标记，最终将不同区域内所有的图片合并形成当前区域下光伏发电板的大图，从而识别出区域内所有故障板以及其位置信息，在使用上较为方便和省力。

需要说明的是，本发明的设备结构和附图主要对本发明的原理进行描述，在该设计原理的技术上，装置的动力机构、供电系统及控制系统等的设置并没有完全描述清楚，而在本领域技术人员理解上述发明的原理的前提下，可清楚获知其动力机构、供电系统及控制系统的具体。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种基于无人机的光伏电站智能巡检系统，其特征在于，包括：无人机和检测平台；

其中，所述无人机按照指定巡检轨迹飞行获取光伏组件图像数据，对获取的光伏组件图像数据进行解析处理输出光伏板故障定位至检测平台；

所述检测平台按照用户需求将光伏组件位置数据整合，之后进行故障检测并进行位置标定，同步监测数据通过飞行数据上传云服务。

2.根据权利要求1所述的基于无人机的光伏电站智能巡检系统，其特征在于，所述无人机采用无线数据端的无人机控制器和手机APP均可控制，所述无人机控制器和手机APP可实现数据交互。

3.根据权利要求1所述的基于无人机的光伏电站智能巡检系统，其特征在于，所述检测平台在进行数据整合检测时同步进行其他检测，所述其他检测包括基于视觉和热学的方法对光伏组件模块部分表面的变色、污损、热点、断裂和分层故障进行检测。

4.根据权利要求1所述的基于无人机的光伏电站智能巡检系统，其特征在于，所述故障检测包括通过OpenCV开源技术框架，对检测后的图片进行二值化、腐蚀、膨胀、去噪形态学操作，进而去除图片中的噪声等信息，最终将处理完的图片采用非极大值抑制的方法，对误检的图片进行剔除，从而得到更加精准的结果。

5.根据权利要求1所述的基于无人机的光伏电站智能巡检系统，其特征在于，所述无人机在飞行过程中具有飞行数据，飞行数据包括经纬度、飞行高度、前进速度、上升速度、Z轴速度、运行时间、电池电量信息。

6.根据权利要求2所述的基于无人机的光伏电站智能巡检系统，其特征在于，所述手机APP内部包含了登录、无人机基础设置、飞行控制、控制台功能。

7.根据权利要求1所述的基于无人机的光伏电站智能巡检系统，其特征在于，所述数据传输方式主要是通过USB连接线将手机与无人机控制器相连，从而实现数据传输功能。

Images