CN113286129A - 一种光伏电站的巡检方法及系统 - Google Patents
一种光伏电站的巡检方法及系统 Download PDFInfo
- Publication number
- CN113286129A CN113286129A CN202110833737.1A CN202110833737A CN113286129A CN 113286129 A CN113286129 A CN 113286129A CN 202110833737 A CN202110833737 A CN 202110833737A CN 113286129 A CN113286129 A CN 113286129A
- Authority
- CN
- China
- Prior art keywords
- image
- defect
- wide
- infrared image
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000007547 defect Effects 0.000 claims abstract description 144
- 238000012545 processing Methods 0.000 claims abstract description 31
- 230000002950 deficient Effects 0.000 claims abstract description 28
- 239000013585 weight reducing agent Substances 0.000 claims abstract description 23
- 230000008569 process Effects 0.000 claims abstract description 22
- 238000013507 mapping Methods 0.000 claims abstract description 19
- 238000001514 detection method Methods 0.000 claims abstract description 7
- 238000003491 array Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 29
- 230000009466 transformation Effects 0.000 claims description 19
- 238000005259 measurement Methods 0.000 claims description 9
- 238000009826 distribution Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 239000003550 marker Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 20
- 208000016261 weight loss Diseases 0.000 description 17
- 238000003860 storage Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000000712 assembly Effects 0.000 description 3
- 238000000429 assembly Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- WYTGDNHDOZPMIW-RCBQFDQVSA-N alstonine Natural products C1=CC2=C3C=CC=CC3=NC2=C2N1C[C@H]1[C@H](C)OC=C(C(=O)OC)[C@H]1C2 WYTGDNHDOZPMIW-RCBQFDQVSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Abstract
本发明提供一种光伏电站的巡检方法及系统，涉及检测技术领域。该巡检方法包括：确定巡检范围；将巡检范围划分为多个区域子阵；无人机根据航线进行巡检，定点悬停，使用双光相机同时采集红外图像和广角图像；对红外图像进行缺陷检测，得到缺陷类型及缺陷在红外图像上的位置范围框，并获取位置范围框的中心位置坐标；将红外图像映射到广角图像；将映射到广角图像上的中心位置坐标转换到世界坐标系，得到缺陷地理坐标；对所有缺陷地理坐标进行降重处理；将降重处理后的各缺陷地理坐标投射到建站图像上，并结合缺陷类型，生成巡检报告。本发明的技术方案能够提高通过无人机巡检光伏电站定位缺陷位置的准确度。
Description
技术领域
本发明属于检测技术领域，尤其涉及一种光伏电站的巡检方法及系统。
背景技术
我国光伏电站数量多、分布广，巡检周期长，运维成本高。目前主要通过对无人机采集的巡检数据进行处理以定位缺陷的具体位置。现有的缺陷定位方案主要以巡检图像的分割匹配和使用方位坐标模型两种方法为主。
其中，在巡检图像的分割匹配方案中，首先根据巡检的无人机硬件平台GPS粗略的定位当前缺陷点位置，其次在采集到的与建站图像同类型的巡检图像中提取缺陷点所在的区域，然后将该区域的子串和组件进行分割并提取该区域视觉特征，最终将得到的视觉特征与原建站图像进行匹配得到匹配结果，进一步由建站图像得出该位置的地理坐标即可实现缺陷的定位。在上述缺陷定位方法中，主要存在光伏子串与组件分割不完整，视觉特征提取易受环境、光伏板色差影响，以及因光伏组件较为相似带来的错误匹配等问题，以上都将导致缺陷定位误差较大或无法定位缺陷。
在使用方位坐标模型定位方案中，首先根据无人机定点巡检的地理坐标定位缺陷在巡检图像上的位置，然后由方位坐标模型进行坐标转换得到缺陷的地理坐标，最后由该地理坐标匹配距离其最近的光伏组件位置即为巡检得出缺陷点所在详细地理坐标。在上述缺陷定位方法中，直接将无人机定点巡检图像上的缺陷转换为地理坐标，然后遍历距离该坐标点最近的光伏子串作为缺陷点位置，由于没有补偿手段，本方法也存在准确度不高等问题。
发明内容
有鉴于此，本发明提供一种光伏电站的巡检方法及系统、电子设备、可读存储介质，能够提高通过无人机巡检光伏电站定位缺陷位置的准确度。
第一方面，本发明提供一种光伏电站的巡检方法，采用如下技术方案：
所述光伏电站的巡检方法包括：
根据所述光伏电站分布情况确定巡检范围；
将所述巡检范围划分为多个区域子阵；
无人机根据预先规划的航线进行巡检，所述无人机定点悬停，使用双光相机同时采集所述红外图像和所述广角图像；
对所述红外图像进行缺陷检测，得到缺陷类型及缺陷在所述红外图像上的位置范围框，并获取所述位置范围框的中心位置坐标；
将所述红外图像映射到所述广角图像；
将映射到所述广角图像上的所述中心位置坐标转换到世界坐标系，得到缺陷地理坐标；
对所有所述缺陷地理坐标进行降重处理；
将降重处理后的各所述缺陷地理坐标投射到建站图像上，并结合所述缺陷类型，生成巡检报告。
可选地，所述无人机在相邻两次悬停位置处，采集的图像部分交叠。
可选地，所述将所述红外图像映射到所述广角图像包括：从所述红外图像上选择4个标记位置；将所述4个标记位置对应到所述广角图像，确定透视变换矩阵的参数；根据所述透视变换矩阵的参数进行透视变换，得到透视变换矩阵；根据所述透视变换矩阵将所述红外图像映射到所述广角图像。
可选地，所述将映射到所述广角图像上的所述中心位置坐标转换到世界坐标系，得到缺陷地理坐标包括：
对所述广角图像进行空三运算，得到所述无人机采集所述广角图像时，相对于世界坐标系下的外姿态角；
结合所述双光相机的内参、所述外姿态角以及悬停位置信息，将映射到所述广角图像的所述中心位置坐标转换到世界坐标系，得到所述缺陷地理坐标。
可选地，所述对所述广角图像进行空三运算，得到所述无人机采集所述广角图像时，相对于世界坐标系下的外姿态角包括：
对所述广角图像进行空三运算，得出所述广角图像拍摄中心点的世界坐标系的地
理坐标，高程信息X、Y、Z，以及所述外姿态角包括的绕空间坐标轴X、Y、Z三轴的旋转角
；
所述结合所述双光相机的内参、所述外姿态角以及悬停位置信息，将映射到所述广角图像的所述中心位置坐标转换到世界坐标系，得到所述缺陷地理坐标包括：
获取采集所述广角图像时所述无人机悬停位置的经度、纬度、绝对高程，以及所述红外图像中心点在相应地理位置上对应的绝对高程信息；
结合所述双光相机的内参对所述广角图像的畸变进行校正；
根据Y、Z、X轴旋转的顺序计算旋转矩阵；
根据所述旋转矩阵、所述广角图像拍摄中心点的世界坐标系的地理坐标，计算得到所述缺陷地理坐标。
可选地，所述结合所述双光相机的内参对所述广角图像的畸变进行校正包括：
设所述中心位置坐标为(x,y)，所述双光相机的几何中心坐标为(x0,y0)，校正过程如下：
式中w0表示所述红外图像的宽度，d表示所述双光相机的单位像素长度，f表示所述双光相机的焦距，k1、k2、k3表示所述双光相机的径向畸变的泰勒展开系数，p1、p2表示所述双光相机的切向畸变的系数。
可选地，所述根据Y、Z、X轴旋转的顺序计算旋转矩阵包括：
旋转矩阵如下：
；
其中，
；
所述根据所述旋转矩阵、所述广角图像拍摄中心点的世界坐标系的地理坐标，计算得到所述缺陷地理坐标包括：
（Xs,Ys）表示所述缺陷地理坐标，（Xc,Yc）表示所述广角图像拍摄中心点的世界坐标系的地理坐标，式中（x,y）选择以上校正后得到的最终值。
可选地，所述对所有所述缺陷地理坐标进行降重处理包括：将所有所述缺陷地理坐标按所述区域子阵进行集合划分，同一所述区域子阵内的所有缺陷地理坐标为一集合；将同一集合内的所有缺陷地理坐标两两之间构建邻接矩阵，并为两个缺陷地理坐标之间的度量设定一阈值；判断两个缺陷地理坐标之间的度量是否小于阈值；当度量小于所述阈值时，判定两个所述缺陷地理坐标对应所述红外图像上同一缺陷；去除重复的所述缺陷地理坐标。
可选地，所述去除重复的所述缺陷地理坐标包括：分别计算两个所述缺陷地理坐标所在位置到对应的红外图像中心点的距离；保留在所述红外图像上实际距离所述红外图像中心点较近的位置对应的所述缺陷地理坐标。
可选地，所述将降重处理后的各所述缺陷地理坐标投射到建站图像上包括：获取建站时的tfw文件，所述tfw文件包含所述建站图像左上角及右下角两点在世界坐标系下的地理坐标，以及所述建站图像在横纵两个方向上的像素长度，并由此计算降重处理后的各所述缺陷地理坐标在所述建站图像上的坐标位置，计算过程包括：
上式中（Xs,Ys）表示所述缺陷地理坐标，(xD,yD)表示降重处理后的各所述缺陷地理坐标在所述建站图像上的坐标位置，(Dl,Dt)表示所述建站图像左上角的坐标，pixWidth、pixHeight分别表示在所述建站图像在横纵两个方向上的像素长度。
可选地，所述光伏电站的巡检方法还包括：确定所述红外图像与所述区域子阵之间的对应关系；将所述对应关系体现在所述巡检报告中。
第二方面，本发明提供一种光伏电站的巡检系统，采用如下技术方案：
所述光伏电站的巡检系统包括：
范围确定模块，用于根据所述光伏电站分布情况确定巡检范围；
子阵划分模块，用于将所述巡检范围划分为多个区域子阵；
巡检模块，用于使无人机根据预先规划的航线进行巡检，并采集红外图像和广角图像；
红外图像检测模块，用于对所述红外图像进行缺陷检测，得到缺陷类型及缺陷在所述红外图像上的位置范围框，并获取所述位置范围框的中心位置坐标；
映射模块，用于将所述红外图像映射到所述广角图像；
坐标转换模块，用于将映射到所述广角图像上的所述中心位置坐标转换到世界坐标系，得到缺陷地理坐标；
降重模块，用于对所有所述缺陷地理坐标进行降重处理；
报告模块，用于将降重处理后的各所述缺陷地理坐标投射到建站图像上，并结合所述缺陷类型，生成巡检报告。
第三方面，本发明提供一种电子设备，采用如下技术方案：
所述电子设备包括：存储器，所述存储器存储执行指令；以及处理器，所述处理器执行所述存储器存储的执行指令，使得所述处理器执以上任一项所述的方法。
第四方面，本发明提供一种可读存储介质，采用如下技术方案：
所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现以上任一项所述的方法。
本发明提供一种光伏电站的巡检方法及系统，在应用该巡检方法进行巡检的过程中，一方面，将巡检范围划分为多个区域子阵，无人机根据预先规划的航线进行巡检，采集红外图像和广角图像，对红外图像进行缺陷检测，得到缺陷类型及缺陷在红外图像上的位置范围框，并获取位置范围框的中心位置坐标，再将红外图像映射到广角图像，将映射到所述广角图像上的中心位置坐标转换到世界坐标系，得到缺陷地理坐标，从而能够准确定位缺陷位置，受环境及无人机等外界因素影响较小；另一方面，对所有缺陷地理坐标进行降重处理，可有效避免巡检过程中的缺陷重复定位问题；再一方面，将降重处理后的各缺陷地理坐标投射到建站图像上，并结合缺陷类型，生成巡检报告，巡检报告中可包括多种缺陷相关信息。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的光伏电站的巡检方法的流程图；
图2为本发明实施例提供的航线的示意图；
图3为本发明实施例提供的无人机在相邻两次悬停位置处采集的图像的交叠关系图；
图4为本发明实施例提供的红外图像上标记位置的示意图；
图5为本发明实施例提供的广角图像上对应标记位置的示意图；
图6为本发明实施例提供的红外图像在广角图像上一一对应的示意图；
图7为本发明实施例提供的坐标转换过程示意图；
图8为本发明实施例提供的步骤S6的具体流程图；
图9为本发明实施例提供的子步骤S62的具体流程图；
图10为本发明实施例提供的步骤S7的具体流程图；
图11为本发明实施例提供的光伏电站的巡检系统的模块图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。在本文中，本发明的这些实施方案可以被单独地或总地用术语“发明”来表示，这仅仅是为了方便，并且如果事实上公开了超过一个的发明，不是要自动地限制该应用的范围为任何单个发明或发明构思。
本发明实施例提供一种光伏电站的巡检方法，具体地，如图1所示，图1为本发明实施例提供的光伏电站的巡检方法的流程图，该光伏电站的巡检方法包括：
步骤S1、根据光伏电站分布情况确定巡检范围。
步骤S2、将巡检范围划分为多个区域子阵。
可选地，步骤S2具体包括：根据光伏电站的实际地形及无人机巡检的难易程度，将巡检范围划分为多个区域子阵；导出kml文件，kml文件包括光伏电站及各区域子阵的世界地理坐标范围；根据kml文件生成标记各区域子阵范围的tfw文件，确定各区域子阵所定义的区间及单位像素值大小。可便于在巡检报告生成过程中进行世界地理坐标和建站图像的图像坐标之间进行转换。
步骤S3、无人机根据预先规划的航线进行巡检，无人机定点悬停，使用双光相机同时采集红外图像和广角图像。
可按照实际地形和光伏电站分布进行航线规划，以保证在无人机定点悬停采集图像过程中无遗漏或大量重复。需要说明的是，航线的设计与步骤S1中区域子阵的划分并无直接联系。例如，如图2所示，图2为本发明实施例提供的航线的示意图，在巡检过程中无人机采用蛇形航线对整个光伏电站进行巡检。
无人机沿航线飞行，在拍摄位置处定点悬停，拍摄过程中双光相机云台与水平面成-60°角（由于太阳能电池板安装时具有一定的倾斜角度，如此设置可使拍摄的图像中的太阳能电池板更加规则、更加全面），使用双光相机同一时刻采集红外图像与广角图像。定点悬停位置根据航线进行设计，通过无人机巡检的航线和悬停位置的配合，能够实现最少的图像拍摄数量实现光伏电站的全面巡检。
可选地，如图3所示，图3为本发明实施例提供的无人机在相邻两次悬停位置处采集的图像的交叠关系图，无人机在相邻两次悬停位置处，采集的图像部分交叠，以避免巡检过程中漏掉部分区域，同时交叠范围不能较大，避免之后的运算和/或处理过程中带来额外的工作量，具体交叠量可以根据实际需要进行选择。在图3中，虚线部分表示第一次悬停位置采集的图像结果，实线部分表示第二次悬停位置采集的图像结果，其中小矩形框表示红外图像覆盖的位置，大矩形框表示广角图像覆盖的位置，采集过程中两次红外图像的覆盖位置之间有部分交叠。
步骤S4、对红外图像进行缺陷检测，得到缺陷类型及缺陷在红外图像上的位置范围框，并获取位置范围框的中心位置坐标。
可选地，将红外图像输入使用神经网络深度学习模型，进行缺陷检测，得到缺陷类型以及缺陷在红外图像上的位置范围框，并获取位置范围框的中心位置坐标。示例性地，在红外图像上以点的形式标示双光相机拍摄中心点（无人机悬停位置），以矩形框表示缺陷在红外图像上地位置范围框。在红外图像上，不同缺陷类型可通过不同颜色和/或形状示出。
步骤S5、将红外图像映射到广角图像。
可选地，如图4、图5和图6所示，图4为本发明实施例提供的红外图像上标记位置的示意图，图5为本发明实施例提供的广角图像上对应标记位置的示意图，图6为本发明实施例提供的红外图像在广角图像上一一对应的示意图，将红外图像映射到广角图像包括：从红外图像上选择4个标记位置；将4个标记位置对应到广角图像，确定透视变换矩阵的参数；根据透视变换矩阵的参数进行透视变换，得到透视变换矩阵（此透视变换矩阵适用于本次巡检过程中的所有红外图像和所有广角图像）；根据透视变换矩阵将红外图像映射到广角图像，进而实现红外图像到广角图像的映射。
步骤S6、将映射到广角图像上的中心位置坐标转换到世界坐标系，得到缺陷地理坐标。
如图7和图8所示，图7为本发明实施例提供的坐标转换过程示意图，图8为本发明实施例提供的步骤S6的具体流程图，步骤S6具体可包括：
子步骤S61、对广角图像进行空三运算，得到无人机采集广角图像时，相对于世界坐标系下的外姿态角。
具体可以包括：对广角图像进行空三运算，得出广角图像拍摄中心点的世界坐标
系（例如WGS84世界坐标系）的地理坐标，高程信息X、Y、Z，以及外姿态角包括的绕空间坐标
轴X、Y、Z三轴的旋转角
。
子步骤S62、结合双光相机的内参、外姿态角以及悬停位置信息，将映射到广角图像的中心位置坐标转换到世界坐标系，得到缺陷地理坐标。
如图9所示，图9为本发明实施例提供的子步骤S62的具体流程图，子步骤S62具体可以包括：
子步骤S621、获取采集广角图像时无人机悬停位置的经度、纬度、绝对高程，以及红外图像中心点在相应地理位置上对应的绝对高程信息。
子步骤S622、结合双光相机的内参对广角图像的畸变进行校正。
可选地，结合双光相机的内参对广角图像的畸变进行校正包括：
设中心位置坐标为(x,y)，双光相机的几何中心坐标为(x0,y0)，校正过程如下：
式中w0表示红外图像的宽度，d表示双光相机的单位像素长度，f表示双光相机的焦距，k1、k2、k3表示双光相机的径向畸变的泰勒展开系数，p1、p2表示双光相机的切向畸变的系数。
子步骤S623、根据Y、Z、X轴旋转的顺序计算旋转矩阵。
可选地，根据Y、Z、X轴旋转的顺序计算旋转矩阵包括：
旋转矩阵如下：
；
其中，
；
子步骤S624、根据旋转矩阵、广角图像拍摄中心点的世界坐标系的地理坐标，计算得到缺陷地理坐标。
可选地，根据旋转矩阵、广角图像拍摄中心点的世界坐标系的地理坐标，计算得到缺陷地理坐标包括：
（Xs,Ys）表示缺陷地理坐标，（Xc,Yc）表示广角图像拍摄中心点的世界坐标系的地理坐标，式中（x,y）选择以上校正后得到的最终值。
步骤S7、对所有缺陷地理坐标进行降重处理。
可选地，如图10所示，图10为本发明实施例提供的步骤S7的具体流程图，对所有缺陷地理坐标进行降重处理包括：
子步骤S71、将所有缺陷地理坐标按区域子阵进行集合划分，同一区域子阵内的所有缺陷地理坐标为一集合；
示例性地，将所有缺陷地理坐标使用kml文件按区域子阵进行集合划分。
子步骤S72、将同一集合内的所有缺陷地理坐标两两之间构建邻接矩阵，并为两个缺陷地理坐标之间的度量设定一阈值（相当于为邻接矩阵中的数值设定一阈值）；
子步骤S73、判断两个缺陷地理坐标之间的度量是否小于阈值；
子步骤S74、当度量小于阈值时，判定两个缺陷地理坐标对应红外图像上同一缺陷；
子步骤S75、去除重复的缺陷地理坐标。
子步骤S75中，可以通过以下方式去除重复的缺陷地理坐标：分别计算两个缺陷地理坐标所在位置到对应的红外图像中心点的距离，子步骤S75、保留在红外图像上距离红外图像中心点较近的位置对应的缺陷地理坐标。通过以上方式可有助于提升最终缺陷识别结果的精度。其中，分别计算两个缺陷地理坐标所在位置到对应的红外图像中心点的距离，可以通过以下两种方式实现：第一种，在世界坐标系下计算，也就是先计算红外图像中心点的地理坐标，再分别两个缺陷地理坐标与红外图像中心点的地理坐标之间的距离，红外图像中心点的地理坐标可以参照计算缺陷地理坐标的方式进行，即先将其映射到广角图像上，再将映射到广角图像上的红外图像中心点的坐标转换到世界坐标系，得到红外图像中心点的地理坐标；第二种，在红外图像坐标体系下计算，也就是分别计算两个缺陷在红外图像上所在位置到红外图像中心点之间的距离。
当度量大于或等于阈值时，结束。
降重处理后，剩余的缺陷地理坐标，即认为是针对红外图像上检测出的缺陷对应到世界坐标系下的准确地理坐标位置。
步骤S8、将降重处理后的各缺陷地理坐标投射到建站图像上，并结合缺陷类型，生成巡检报告。
可选地，将降重处理后的各缺陷地理坐标投射到建站图像上包括：获取建站时的tfw文件，tfw文件包含建站图像左上角及右下角两点在世界坐标系下的地理坐标，以及建站图像在横纵两个方向上的像素长度，并由此计算降重处理后的各缺陷地理坐标在建站图像上的坐标位置，计算过程包括：
上式中（Xs,Ys）表示所述缺陷地理坐标，(xD,yD)表示降重处理后的各缺陷地理坐标在建站图像上的坐标位置，(Dl,Dt)表示建站图像左上角的坐标，pixWidth、pixHeight分别表示在建站图像在横纵两个方向上的像素长度。
经过以上计算即可统计和标示出缺陷的类型、缺陷的位置及个数，并生成巡检报告。此时，巡检报告中主要体现无人机巡检的结果，具体包含以上所述的缺陷的类型、缺陷的位置及个数等，当然还可以包括缺陷类型占比、巡检里程、缺陷地理坐标等。
可选地，本发明实施例中的光伏电站的巡检方法还包括：确定红外图像与区域子阵之间的对应关系；将对应关系体现在巡检报告中。也就是说，巡检报告中也会包括当前红外图像的所属区域子阵信息，以便使缺陷能够按点定位，提升检修效率。具体可以通过实际采集的红外图像与光伏电站区域子阵图像之间的映射关系确定二者的对应关系。
示例性地，在巡检报告的表头表格标示出当前红外图像的所属区域子阵、红外图像中心点的地理坐标、缺陷类型、缺陷数量等信息，如所属区域子阵#006，红外图像中心点的地理坐标 [110.704559，31.208633]，热斑0个，二极管1个，开路0个，巡检报告上方子图为区域子阵图像，下方为红外图像，在区域子阵图像上以不同颜色的点的形式标示出双光相机拍摄中心点（无人机悬停位置），以及红外图像中缺陷在区域子阵图像上的映射位置，在红外图像上以点的形式标示双光相机拍摄中心点（无人机悬停位置），以矩形框表示缺陷在红外图像上地位置范围框。
在应用该巡检方法进行巡检的过程中，一方面，将巡检范围划分为多个区域子阵，无人机根据预先规划的航线进行巡检，采集红外图像和广角图像，对红外图像进行缺陷检测，得到缺陷类型及缺陷在红外图像上的位置范围框，并获取位置范围框的中心位置坐标，再将红外图像映射到广角图像，将映射到广角图像上的中心位置坐标转换到世界坐标系，得到缺陷地理坐标，从而能够准确定位缺陷位置，受环境及无人机等外界因素影响较小；另一方面，对所有缺陷地理坐标进行降重处理，可有效避免巡检过程中的缺陷重复定位问题；再一方面，将降重处理后的各缺陷地理坐标投射到建站图像上，并结合缺陷类型，生成巡检报告，巡检报告中可包括多种缺陷相关信息。
此外，本发明实施例还提供一种光伏电站的巡检系统，具体地，如图11所示，图11为本发明实施例提供的光伏电站的巡检系统的模块图，该光伏电站的巡检系统包括：
范围确定模块10，用于根据光伏电站分布情况确定巡检范围；
子阵划分模块20，用于将巡检范围划分为多个区域子阵；
巡检模块30，用于使无人机根据预先规划的航线进行巡检，并采集红外图像和广角图像；
红外图像检测模块40，用于对红外图像进行缺陷检测，得到缺陷类型及缺陷在红外图像上的位置范围框，并获取位置范围框的中心位置坐标；
映射模块50，用于将红外图像映射到广角图像；
坐标转换模块60，用于将映射到广角图像上的中心位置坐标转换到世界坐标系，得到缺陷地理坐标；
降重模块70，用于对所有缺陷地理坐标进行降重处理；
报告模块80，用于将降重处理后的各缺陷地理坐标投射到建站图像上，并结合缺陷类型，生成巡检报告。
需要说明的是，之前光伏电站的巡检方法的具体内容均适用于其对应的各个模块，此处不再进行赘述。
此外，本发明实施例还提供一种电子设备，该电子设备包括：存储器，存储器存储执行指令；以及处理器，处理器执行存储器存储的执行指令，使得处理器执以上任一项的光伏电站的巡检方法。
本发明实施例还提供一种可读存储介质，可读存储介质中存储有执行指令，执行指令被处理器执行时用于实现以上任一项的光伏电站的巡检方法。
本领域的技术人员应该明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令完成流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可以存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，是的存储在该计算机刻度存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种光伏电站的巡检方法，其特征在于，包括：
根据所述光伏电站分布情况确定巡检范围；
将所述巡检范围划分为多个区域子阵；
无人机根据预先规划的航线进行巡检，所述无人机定点悬停，使用双光相机同时采集红外图像和广角图像；
对所述红外图像进行缺陷检测，得到缺陷类型及缺陷在所述红外图像上的位置范围框，并获取所述位置范围框的中心位置坐标；
将所述红外图像映射到所述广角图像；
将映射到所述广角图像上的所述中心位置坐标转换到世界坐标系，得到缺陷地理坐标；
对所有所述缺陷地理坐标进行降重处理；
将降重处理后的各所述缺陷地理坐标投射到建站图像上，并结合所述缺陷类型，生成巡检报告。
2.根据权利要求1所述的光伏电站的巡检方法，其特征在于，所述无人机在相邻两次悬停位置处，采集的图像部分交叠。
3.根据权利要求1所述的光伏电站的巡检方法，其特征在于，所述将所述红外图像映射到所述广角图像包括：从所述红外图像上选择4个标记位置；将所述4个标记位置对应到所述广角图像，确定透视变换矩阵的参数；根据所述透视变换矩阵的参数进行透视变换，得到透视变换矩阵；根据所述透视变换矩阵将所述红外图像映射到所述广角图像。
4.根据权利要求1所述的光伏电站的巡检方法，其特征在于，所述将映射到所述广角图像上的所述中心位置坐标转换到世界坐标系，得到缺陷地理坐标包括：
对所述广角图像进行空三运算，得到所述无人机采集所述广角图像时，相对于世界坐标系下的外姿态角；
结合所述双光相机的内参、所述外姿态角以及悬停位置信息，将映射到所述广角图像的所述中心位置坐标转换到世界坐标系，得到所述缺陷地理坐标。
5.根据权利要求4所述的光伏电站的巡检方法，其特征在于，所述对所述广角图像进行空三运算，得到所述无人机采集所述广角图像时，相对于世界坐标系下的外姿态角包括：
对所述广角图像进行空三运算，得出所述广角图像拍摄中心点的世界坐标系的地理坐
标，高程信息X、Y、Z，以及所述外姿态角包括的绕空间坐标轴X、Y、Z三轴的旋转角
；
所述结合所述双光相机的内参、所述外姿态角以及悬停位置信息，将映射到所述广角图像的所述中心位置坐标转换到世界坐标系，得到所述缺陷地理坐标包括：
获取采集所述广角图像时所述无人机悬停位置的经度、纬度、绝对高程，以及所述红外图像中心点在相应地理位置上对应的绝对高程信息；
结合所述双光相机的内参对所述广角图像的畸变进行校正；
根据Y、Z、X轴旋转的顺序计算旋转矩阵；
根据所述旋转矩阵、所述广角图像拍摄中心点的世界坐标系的地理坐标，计算得到所述缺陷地理坐标。
6.根据权利要求1所述的光伏电站的巡检方法，其特征在于，所述对所有所述缺陷地理坐标进行降重处理包括：将所有所述缺陷地理坐标按所述区域子阵进行集合划分，同一所述区域子阵内的所有缺陷地理坐标为一集合；将同一集合内的所有缺陷地理坐标两两之间构建邻接矩阵，并为两个缺陷地理坐标之间的度量设定一阈值；判断两个缺陷地理坐标之间的度量是否小于阈值；当度量小于所述阈值时，判定两个所述缺陷地理坐标对应所述红外图像上同一缺陷；去除重复的所述缺陷地理坐标。
7.根据权利要求6所述的光伏电站的巡检方法，其特征在于，所述去除重复的所述缺陷地理坐标包括：分别计算两个所述缺陷地理坐标所在位置到对应的红外图像中心点的距离；保留在所述红外图像上实际距离所述红外图像中心点较近的位置对应的所述缺陷地理坐标。
8.根据权利要求1所述的光伏电站的巡检方法，其特征在于，所述将降重处理后的各所
述缺陷地理坐标投射到建站图像上包括：获取建站时的tfw文件，所述tfw文件包含所述建
站图像左上角及右下角两点在世界坐标系下的地理坐标，以及所述建站图像在横纵两个方
向上的像素长度，并由此计算降重处理后的各所述缺陷地理坐标在所述建站图像上的坐标
位置，计算过程包括：
上式中（Xs,Ys）表示所述缺陷地理坐标，(xD,yD)表示降重处理后的各所述缺陷地理坐标在所述建站图像上的坐标位置，(Dl,Dt)表示所述建站图像左上角的坐标，pixWidth、pixHeight分别表示在所述建站图像在横纵两个方向上的像素长度。
9.根据权利要求8所述的光伏电站的巡检方法，其特征在于，还包括：确定所述红外图像与所述区域子阵之间的对应关系；将所述对应关系体现在所述巡检报告中。
10.一种光伏电站的巡检系统，其特征在于，包括：
范围确定模块，用于根据所述光伏电站分布情况确定巡检范围；
子阵划分模块，用于将所述巡检范围划分为多个区域子阵；
巡检模块，用于使无人机根据预先规划的航线进行巡检，并采集红外图像和广角图像；
红外图像检测模块，用于对所述红外图像进行缺陷检测，得到缺陷类型及缺陷在所述红外图像上的位置范围框，并获取所述位置范围框的中心位置坐标；
映射模块，用于将所述红外图像映射到所述广角图像；
坐标转换模块，用于将映射到所述广角图像上的所述中心位置坐标转换到世界坐标系，得到缺陷地理坐标；
降重模块，用于对所有所述缺陷地理坐标进行降重处理；
报告模块，用于将降重处理后的各所述缺陷地理坐标投射到建站图像上，并结合所述缺陷类型，生成巡检报告。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110833737.1A CN113286129B (zh) | 2021-07-23 | 2021-07-23 | 一种光伏电站的巡检方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110833737.1A CN113286129B (zh) | 2021-07-23 | 2021-07-23 | 一种光伏电站的巡检方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113286129A true CN113286129A (zh) | 2021-08-20 |
| CN113286129B CN113286129B (zh) | 2021-10-22 |
Family
ID=77287031
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110833737.1A Active CN113286129B (zh) | 2021-07-23 | 2021-07-23 | 一种光伏电站的巡检方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113286129B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114265418A (zh) * | 2021-09-03 | 2022-04-01 | 国家电投集团江苏新能源有限公司 | 一种用于光伏电站的无人机巡检与缺陷定位系统及方法 |
| CN114296483A (zh) * | 2022-03-09 | 2022-04-08 | 北京图知天下科技有限责任公司 | 一种风力发电机不停机状态下的智能巡检方法及电子设备 |
| CN114935942A (zh) * | 2022-05-20 | 2022-08-23 | 无锡海纳智能科技有限公司 | 一种分布式光伏电站巡检航线的确定方法及电子设备 |
| CN115755954A (zh) * | 2022-10-28 | 2023-03-07 | 佳源科技股份有限公司 | 巡检路径规划方法、系统、计算机设备及存储介质 |
| CN116046356A (zh) * | 2023-04-03 | 2023-05-02 | 深圳市城市公共安全技术研究院有限公司 | 基于无人机的光伏组件检测方法、无人机及存储介质 |
| CN116449875A (zh) * | 2023-06-16 | 2023-07-18 | 拓恒技术有限公司 | 一种无人机巡检方法及系统 |
| CN116993327A (zh) * | 2023-09-26 | 2023-11-03 | 国网安徽省电力有限公司经济技术研究院 | 用于变电站的缺陷定位系统及其方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013250098A (ja) * | 2012-05-30 | 2013-12-12 | Sharp Corp | 配線欠陥検出方法および配線欠陥検出装置、並びに配線基板の製造方法 |
| CN105957041A (zh) * | 2016-05-27 | 2016-09-21 | 上海航天控制技术研究所 | 一种广角镜头红外图像畸变校正方法 |
| CN108010085A (zh) * | 2017-11-30 | 2018-05-08 | 西南科技大学 | 基于双目可见光相机与热红外相机的目标识别方法 |
| CN108253971A (zh) * | 2017-12-29 | 2018-07-06 | 深圳创动科技有限公司 | 一种巡检方法及系统 |
| CN111062991A (zh) * | 2019-12-27 | 2020-04-24 | 西安因诺航空科技有限公司 | 一种光伏场景的巡检目标定位方法、设备及可读存储介质 |
| CN111952883A (zh) * | 2020-08-25 | 2020-11-17 | 广东电网有限责任公司 | 一种基于三维激光雷达的输电线路故障识别系统及方法 |
| CN112577472A (zh) * | 2020-12-03 | 2021-03-30 | 上海振华重工电气有限公司 | 一种无人机光伏巡检定位系统及方法 |
| CN112862777A (zh) * | 2021-02-03 | 2021-05-28 | 国家电投集团江西电力有限公司 | 一种光伏电站组件缺陷巡检系统及其缺陷处理方法 |
| US20210167726A1 (en) * | 2017-12-14 | 2021-06-03 | Acciona Energia S.A. | Automated photovoltaic plant inspection system and method |
-
2021
- 2021-07-23 CN CN202110833737.1A patent/CN113286129B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013250098A (ja) * | 2012-05-30 | 2013-12-12 | Sharp Corp | 配線欠陥検出方法および配線欠陥検出装置、並びに配線基板の製造方法 |
| CN105957041A (zh) * | 2016-05-27 | 2016-09-21 | 上海航天控制技术研究所 | 一种广角镜头红外图像畸变校正方法 |
| CN108010085A (zh) * | 2017-11-30 | 2018-05-08 | 西南科技大学 | 基于双目可见光相机与热红外相机的目标识别方法 |
| US20210167726A1 (en) * | 2017-12-14 | 2021-06-03 | Acciona Energia S.A. | Automated photovoltaic plant inspection system and method |
| CN108253971A (zh) * | 2017-12-29 | 2018-07-06 | 深圳创动科技有限公司 | 一种巡检方法及系统 |
| CN111062991A (zh) * | 2019-12-27 | 2020-04-24 | 西安因诺航空科技有限公司 | 一种光伏场景的巡检目标定位方法、设备及可读存储介质 |
| CN111952883A (zh) * | 2020-08-25 | 2020-11-17 | 广东电网有限责任公司 | 一种基于三维激光雷达的输电线路故障识别系统及方法 |
| CN112577472A (zh) * | 2020-12-03 | 2021-03-30 | 上海振华重工电气有限公司 | 一种无人机光伏巡检定位系统及方法 |
| CN112862777A (zh) * | 2021-02-03 | 2021-05-28 | 国家电投集团江西电力有限公司 | 一种光伏电站组件缺陷巡检系统及其缺陷处理方法 |
Non-Patent Citations (2)
| Title |
|---|
| CHRISTIAN SCHUSS: "Detecting Defects in Photovoltaic Cells and Panels With the Help of Time-Resolved Thermography Under Outdoor Environmental Conditions", 《2020 IEEE INTERNATIONAL INSTRUMENTATION AND MEASUREMENT TECHNOLOGY CONFERENCE》 * |
| 杨扬: "基于双光相机的光伏组件缺陷自动检测", 《新型工业化》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114265418A (zh) * | 2021-09-03 | 2022-04-01 | 国家电投集团江苏新能源有限公司 | 一种用于光伏电站的无人机巡检与缺陷定位系统及方法 |
| CN114296483A (zh) * | 2022-03-09 | 2022-04-08 | 北京图知天下科技有限责任公司 | 一种风力发电机不停机状态下的智能巡检方法及电子设备 |
| CN114296483B (zh) * | 2022-03-09 | 2022-06-28 | 北京图知天下科技有限责任公司 | 一种风力发电机不停机状态下的智能巡检方法及电子设备 |
| CN114935942A (zh) * | 2022-05-20 | 2022-08-23 | 无锡海纳智能科技有限公司 | 一种分布式光伏电站巡检航线的确定方法及电子设备 |
| CN115755954A (zh) * | 2022-10-28 | 2023-03-07 | 佳源科技股份有限公司 | 巡检路径规划方法、系统、计算机设备及存储介质 |
| CN116046356A (zh) * | 2023-04-03 | 2023-05-02 | 深圳市城市公共安全技术研究院有限公司 | 基于无人机的光伏组件检测方法、无人机及存储介质 |
| CN116449875A (zh) * | 2023-06-16 | 2023-07-18 | 拓恒技术有限公司 | 一种无人机巡检方法及系统 |
| CN116449875B (zh) * | 2023-06-16 | 2023-09-05 | 拓恒技术有限公司 | 一种无人机巡检方法及系统 |
| CN116993327A (zh) * | 2023-09-26 | 2023-11-03 | 国网安徽省电力有限公司经济技术研究院 | 用于变电站的缺陷定位系统及其方法 |
| CN116993327B (zh) * | 2023-09-26 | 2023-12-15 | 国网安徽省电力有限公司经济技术研究院 | 用于变电站的缺陷定位系统及其方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113286129B (zh) | 2021-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113286129B (zh) | 一种光伏电站的巡检方法及系统 | |
| He et al. | Research of multi-rotor UAVs detailed autonomous inspection technology of transmission lines based on route planning | |
| CN111931565B (zh) | 一种基于光伏电站uav的自主巡检与热斑识别方法及系统 | |
| CN108109437B (zh) | 一种基于地图特征的无人机自主航线提取生成方法 | |
| CN106371456A (zh) | 一种无人机巡线方法及系统 | |
| CN113192193A (zh) | 基于Cesium三维地球框架的高压输电线路走廊三维重建方法 | |
| CN112923928B (zh) | 一种基于图像识别的光伏板导航方法、装置、电子设备及存储介质 | |
| CN110189411A (zh) | 一种航空器失事后应急救援搜寻区域可视化方法 | |
| CN110910440B (zh) | 一种基于电力影像数据的输电线路长度确定方法和系统 | |
| CN116192044A (zh) | 一种故障光伏板编号定位方法、装置、电子设备及存储介质 | |
| Du et al. | An open data platform for traffic parameters measurement via multirotor unmanned aerial vehicles video | |
| CN103426153B (zh) | 一种无人机遥感影像快速拼接方法 | |
| CN114252884A (zh) | 路侧雷达定位监测方法、装置、计算机设备和存储介质 | |
| CN115657706A (zh) | 基于无人机的地貌测量方法及系统 | |
| CN117557931B (zh) | 一种基于三维场景的表计最优巡检点的规划方法 | |
| CN117315146B (zh) | 基于跨尺度多源数据的三维模型的重建方法及存储方法 | |
| CN112184903A (zh) | 高压线行树障风险点的检测方法、装置、设备及介质 | |
| CN116594419A (zh) | 巡检航线规划方法、装置、电子设备及存储介质 | |
| CN113344002B (zh) | 一种目标坐标去重方法、系统、电子设备及可读存储介质 | |
| Zhang et al. | Research on 3D modeling of UAV tilt photogrammetry | |
| KR20230026916A (ko) | 드론을 이용하여 시계열정보가 포함된 3차원 지도의 제작 방법 | |
| CN113222025A (zh) | 一种基于激光雷达的可行区域标签生成方法 | |
| CN114252868A (zh) | 激光雷达的标定方法、装置、计算机设备和存储介质 | |
| CN114252859A (zh) | 目标区域的确定方法、装置、计算机设备和存储介质 | |
| CN114255264B (zh) | 多基站配准方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |