CN112101118B - 一种远景与近景图像结合的光伏组件定位与匹配方法 - Google Patents

Abstract

本发明公开一种远景与近景图像结合的光伏组件定位与匹配方法，包括以下步骤：建立光伏电站的三维模型；拍摄远景图像与近景图像；在远景图像中识别光伏组件，选择特征点；根据拍摄点的GPS信息和相机姿态信息，以及光伏电站的三维模型，计算特征点的位置信息；根据特征点的位置信息，校正拍摄点的位置信息；将近景图像与远景图像的相应区域进行匹配；在近景图像中检测异常的光伏组件，在光伏电站的三维模型中进行定位与匹配。本发明充分结合远景图像的光伏组件分布信息，以及近景图像的光伏组件局部信息，有效实现了光伏组件的定位与匹配，可以用于光伏电站无人机拍摄巡检。

Description

一种远景与近景图像结合的光伏组件定位与匹配方法

技术领域

本发明涉及一种远景与近景图像结合的光伏组件定位与匹配方法，属于光伏电站巡检与智能运维技术领域。

背景技术

光伏组件在运行过程中，可能会出现故障或异常情况，不仅影响发电效率，而且具有一定的安全隐患。因此，如何及时发现光伏电站中的故障或异常光伏组件，对于提高光伏电站的发电量和发电安全具有十分重要的意义。

随着无人机巡检、智能机器人巡检的发展，通过拍摄图像，进一步定位光伏电站中的故障或异常光伏组件，成为一种可行的方式。其具体是利用各个光伏组件的实际位置信息，建立光伏电站的三维模型。然后基于拍摄的图像，识别出故障或异常的光伏组件，结合拍摄时的GPS信息和相机姿态信息，计算光伏组件在电站三维模型中的位置。

由于GPS定位目前存在一定的误差，上述现有技术对光伏组件定位的准确度有待提高。另外，现有技术存在拍摄距离的选择问题：远距离拍摄的图像能够呈现光伏电站的整体信息(比如光伏组件的分布情况)，但是难以显示足够的局部信息(比如光伏组件是否存在故障或异常)；近距离拍摄的图像能够显示光伏组件的局部信息，但是难以充分呈现光伏组件的分布信息。

发明内容

发明目的：本发明的目的在于解决现有技术中存在的不足，充分利用远景图像中的光伏组件分布信息，以及近景图像中的光伏组件局部信息，提供一种远景与近景图像结合的光伏组件定位与匹配方法。

技术方案：本发明的一种远景与近景图像结合的光伏组件定位与匹配方法，依次包括以下步骤：

S1：根据光伏电站各个光伏组件的位置信息，建立电站的三维模型；

S2：在同一拍摄点拍摄远景图像与近景图像；

S3：在远景图像中识别出各个光伏组件，并根据光伏组件的分布情况选择特征点；

S4：根据拍摄点的GPS信息和相机姿态信息，以及光伏电站的三维模型，计算特征点的位置信息；根据特征点的位置信息，校正拍摄点的位置信息；

S5：在近景图像中检测出异常的光伏组件，计算其角点在电站三维坐标系中的位置，并与电站三维模型中的光伏组件进行匹配。

进一步的，所述步骤S1中，以地平面作为XOY平面，Z轴垂直地面向上，建立光伏电站的三维坐标系；用V_i＝(v_i1,v_i2,v_i3,v_i4)^T表示第i个光伏组件的角点坐标矩阵，其中v_ij＝(x_ij,y_ij,z_ij)^T,j＝1,2,3,4表示第i个光伏组件的第j个角点坐标；根据电站中光伏组件的尺寸、安装倾斜角，以及位置信息，计算各个光伏组件的角点坐标矩阵；用G_i＝(x_i,y_i,z_i)^T表示第i个光伏组件的中心坐标，计算各个光伏组件的中心坐标：

进一步的，所述步骤S1中，根据光伏组件的分布情况，将相连的光伏组件划分为子区域，将子区域边缘的角点作为特征点，用B_k＝(b_k1,b_k2,b_k3,b_k4)^T表示电站中第k个子区域的特征点坐标矩阵，其中b_km＝(x_km,y_km,z_km)^T,m＝1,2,3,4表示第k个子区域的第m个特征点坐标；用C_k＝(x_k,y_k,z_k)^T表示第k个子区域的中心坐标，计算各个子区域的特征点坐标均值作为子区域中心的坐标：

进一步的，所述步骤S2中，拍摄远景图像，记为I_f；保持拍摄点不变，调节相机焦距及云台角度，拍摄近景图像，记为I_c1,I_c2,…,I_cN，使得每张近景图像显示远景图像的一部分区域，并且所有近景图像显示的区域加起来可以覆盖远景图像的全部区域。

进一步的，所述步骤S3中，基于光伏组件的色彩特征、几何特征以及纹理特征识别并分割出远景图像I_f中各个光伏组件所在的区域，判断各个光伏组件是否相连，将相连的光伏组件划分为子区域，将子区域边缘的角点选作特征点，用F_p＝(f_p1,f_p2,f_p3,f_p4)^T表示远景图像中第p个子区域的特征点像素坐标矩阵，其中f_pq＝(u_pq,v_pq)^T,q＝1,2,3,4表示第p个子区域的第q个特征点像素坐标。

进一步的，所述步骤S4中，图像中的像素点(u,v)^T与电站三维坐标系中的点(x_w,y_w,z_w)^T的对应关系：

其中，Z_c为拍摄距离，K为相机参数矩阵，R为相机旋转矩阵，t为相机光心在所述电站三维坐标系中的位置。根据拍摄点的GPS信息和相机姿态信息，估算Z_c,R,t的值，然后计算远景图像I_f中各特征点f_pq在电站三维坐标系中的位置l_pq。

进一步的，所述步骤S4中，由于GPS定位存在一定的误差，l_pq也存在一定的误差，将第p个子区域l_pq的均值，记为c_p：

搜索到c_p欧式距离最小的C_k，将远景图像I_f的第p个子区域与电站三维模型的第k个子区域相互匹配，并将远景图像I_f的特征点f_pq与电站三维模型的特征点b_km相互匹配；根据远景图像中的特征点像素坐标，以及对应电站三维坐标系中的特征点坐标，计算相机光心在所述电站三维坐标系中的位置t，校正拍摄点的位置信息。

进一步的，所述步骤S5中，基于色彩特征、几何特征以及纹理特征识别出近景图像中的异常光伏组件，其角点在近景图像中的坐标矩阵为A＝(a₁,a₂,a₃,a₄)^T，其中a_j＝(u_j,v_j)^T,j＝1,2,3,4表示异常光伏组件的第j个角点坐标，根据步骤S4中校正的拍摄点位置信息，以及近景图像的相机姿态信息，计算近景图像中异常光伏组件的角点a_j在电站三维坐标系中的位置h_j；计算h_j的均值，记为g：

搜索到g距离最小的G_i，将近景图像中的异常光伏组件与电站三维模型的第i个光伏组件相互匹配。

有益效果：本发明提供了一种结合远景图像与近景图像的光伏组件定位与匹配方法，利用远景图像的光伏组件分布情况定位特征点，与电站的三维模型进行匹配，并校正拍摄点的位置信息，避免了由于GPS定位误差造成的光伏组件定位误差及匹配错误；利用近景图像的局部信息检测出异常的光伏组件，实现其在电站三维模型中的定位与匹配。该方法可以用于无人机光伏电站拍摄巡检。

附图说明

图1为实施例的整体流程示意图；

图2为光伏电站三维模型示意图；

图3为远景图像与近景图像示意图；

图4为远景图像中特征点与电站三维模型匹配示意图；

图5为近景图像中异常光伏组件与电站三维模型匹配示意图。

具体实施方式

下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

如图1所示，本实施例的一种远景与近景图像结合的光伏组件定位与匹配方法，依次包括以下步骤：

S1：根据光伏电站各个光伏组件的位置信息，建立电站的三维模型。

在本实施例中，以地平面作为XOY平面，Z轴垂直地面向上，建立光伏电站的三维坐标系；用V_i＝(v_i1,v_i2,v_i3,v_i4)^T表示第i个光伏组件的角点坐标矩阵，其中v_ij＝(x_ij,y_ij,z_ij)^T,j＝1,2,3,4表示第i个光伏组件的第j个角点坐标；根据电站中光伏组件的尺寸、安装倾斜角，以及位置信息，计算各个光伏组件的角点坐标矩阵；用G_i＝(x_i,y_i,z_i)^T表示第i个光伏组件的中心坐标，计算各个光伏组件的中心坐标：

根据光伏组件的分布情况，将相连的光伏组件划分为子区域，将子区域边缘的角点作为特征点，用B_k＝(b_k1,b_k2,b_k3,b_k4)^T表示电站中第k个子区域的特征点坐标矩阵，其中b_km＝(x_km,y_km,z_km)^T,m＝1,2,3,4表示第k个子区域的第m个特征点坐标；用C_k＝(x_k,y_k,z_k)^T表示第k个子区域的中心坐标，计算各个子区域的特征点坐标均值作为子区域中心的坐标：

S2：在同一拍摄点拍摄远景图像与近景图像。

在本实施例中，拍摄远景图像，记为I_f；保持拍摄点不变，调节相机焦距及云台角度，拍摄近景图像，记为I_c1,I_c2,…,I_cN，使得每张近景图像显示远景图像的一部分区域，并且所有近景图像显示的区域加起来可以覆盖远景图像的全部区域。

S3：在远景图像中识别出各个光伏组件，并根据光伏组件的分布情况选择特征点。

在本实施例中，基于光伏组件的色彩特征、几何特征以及纹理特征识别并分割出远景图像I_f中各个光伏组件所在的区域，判断各个光伏组件是否相连，将相连的光伏组件划分为子区域，将子区域边缘的角点选作特征点，用F_p＝(f_p1,f_p2,f_p3,f_p4)^T表示远景图像中第p个子区域的特征点像素坐标矩阵，其中f_pq＝(u_pq,v_pq)^T,q＝1,2,3,4表示第p个子区域的第q个特征点像素坐标。

S4：根据拍摄点的GPS信息和相机姿态信息，以及光伏电站的三维模型，计算特征点的位置信息；根据特征点的位置信息，校正拍摄点的位置信息。

在本实施例中，图像中的像素点(u,v)^T与电站三维坐标系中的点(x_w,y_w,z_w)^T的对应关系：

其中，Z_c为拍摄距离，K为相机参数矩阵，R为相机旋转矩阵，t为相机光心在所述电站三维坐标系中的位置。根据拍摄点的GPS信息和相机姿态信息，估算Z_c,R,t的值，然后计算远景图像I_f中各特征点f_pq在电站三维坐标系中的位置l_pq。

由于GPS定位存在一定的误差，l_pq也存在一定的误差，将第p个子区域l_pq的均值，记为c_p：

搜索到c_p欧式距离最小的C_k，将远景图像I_f的第p个子区域与电站三维模型的第k个子区域相互匹配，并将远景图像I_f的特征点f_pq与电站三维模型的特征点b_km相互匹配；根据远景图像中的特征点像素坐标，以及对应电站三维坐标系中的特征点坐标，计算相机光心在所述电站三维坐标系中的位置t，校正拍摄点的位置信息。

S5：在近景图像中检测出异常的光伏组件，计算其角点在电站三维坐标系中的位置，并与电站三维模型中的光伏组件进行匹配。

在本实施例中，基于色彩特征、几何特征以及纹理特征识别出近景图像中的异常光伏组件，其角点在近景图像中的坐标矩阵为A＝(a₁,a₂,a₃,a₄)^T，其中a_j＝(u_j,v_j)^T,j＝1,2,3,4表示异常光伏组件的第j个角点坐标，根据步骤S4中校正的拍摄点位置信息，以及近景图像的相机姿态信息，计算近景图像中异常光伏组件的角点a_j在电站三维坐标系中的位置h_j；计算h_j的均值，记为g：

搜索到g距离最小的G_i，将近景图像中的异常光伏组件与电站三维模型的第i个光伏组件相互匹配。

图2为本发明一实施例提供的光伏电站三维模型示意图。在本实施例中，根据光伏组件的分布情况，将相连的光伏组件划分为子区域，共15个子区域。每个子区域内有两排光伏组件，每排10个光伏组件，每个子区域有20个光伏组件。将子区域按照从上到下，从左到右的顺序进行编号，左边一列子区域编号为1-5，中间一列子区域编号为6-10，右边一列子区域编号为11-15。对第k个子区域内的光伏组件编号(k＝1-15)，上面一排光伏组件编号为20·(k-1)+1到20·(k-1)+10，下面一排光伏组件编号为20·(k-1)+11到20·(k-1)+20。按照步骤S1中所述的方法建立电站三维坐标系，计算各个光伏组件的角点和中心坐标，以及各个子区域的特征点和中心坐标。

图3为本发明一实施例提供的远景图像与近景图像示意图。在本实施例中，按照步骤S2中所述的方法拍摄远景图像与近景图像。图3(a)为远景图像，覆盖了两个完整的子区域；图3(b)为近景图像，覆盖了两个完整的光伏组件。近景图像显示了远景图像一部分区域的细节信息(光伏组件上的白色圆形区域)。

图4为本发明一实施例提供的远景图像中特征点与电站三维模型匹配示意图。在本实施例中，按照步骤S3中所述的方法，选择远景图像中子区域的角点作为特征点，如图4(a)所示，按照步骤S4中所述的方法，将图4(a)中的两个子区域定位/匹配到电站三维模型中的子区域7和8，如图4(b)所示。

图5为本发明一实施例提供的近景图像中异常光伏组件与电站三维模型匹配示意图。在本实施例中，按照步骤S5中所述的方法检测近景图像中的异常光伏组件，如图5(a)所示，并将其定位/匹配到电站三维模型中的子区域7中，编号为145的光伏组件，如图5(b)所示。

Claims (7)

1.一种远景与近景图像结合的光伏组件定位与匹配方法，其特征在于：依次包括以下步骤：

S1：根据光伏电站各个光伏组件的位置信息，建立电站的三维模型；

S2：在同一拍摄点拍摄远景图像与近景图像；

S3：在远景图像中识别出各个光伏组件，并根据光伏组件的分布情况选择特征点；

S4：根据拍摄点的GPS信息和相机姿态信息，以及光伏电站的三维模型，计算特征点的位置信息；根据特征点的位置信息，校正拍摄点的位置信息；

S5：在近景图像中检测出异常的光伏组件，计算其角点在电站三维坐标系中的位置，并与电站三维模型中的光伏组件进行匹配；

所述步骤S3中，基于光伏组件的色彩特征、几何特征以及纹理特征识别并分割出远景图像I_f中各个光伏组件所在的区域，判断各个光伏组件是否相连，将相连的光伏组件划分为子区域，将子区域边缘的角点选作特征点，用F_p＝(f_p1,f_p2,f_p3,f_p4)^T表示远景图像中第p个子区域的特征点像素坐标矩阵，其中f_pq＝(u_pq,v_pq)^T,q＝1,2,3,4表示第p个子区域的第q个特征点像素坐标。

2.根据权利要求1所述的一种远景与近景图像结合的光伏组件定位与匹配方法，其特征在于：所述步骤S1中，以地平面作为XOY平面，Z轴垂直地面向上，建立光伏电站的三维坐标系；用V_i＝(v_i1,v_i2,v_i3,v_i4)^T表示第i个光伏组件的角点坐标矩阵，其中v_ij＝(x_ij,y_ij,z_ij)^T,j＝1,2,3,4表示第i个光伏组件的第j个角点坐标；根据电站中光伏组件的尺寸、安装倾斜角，以及位置信息，计算各个光伏组件的角点坐标矩阵；用G_i＝(x_i,y_i,z_i)^T表示第i个光伏组件的中心坐标，计算各个光伏组件的中心坐标：

。

3.根据权利要求1所述的一种远景与近景图像结合的光伏组件定位与匹配方法，其特征在于：所述步骤S1中，根据光伏组件的分布情况，将相连的光伏组件划分为子区域，将子区域边缘的角点作为特征点，用B_k＝(b_k1,b_k2,b_k3,b_k4)^T表示电站中第k个子区域的特征点坐标矩阵，其中b_km＝(x_km,y_km,z_km)^T,m＝1,2,3,4表示第k个子区域的第m个特征点坐标；用C_k＝(x_k,y_k,z_k)^T表示第k个子区域的中心坐标，计算各个子区域的特征点坐标均值作为子区域中心的坐标：

。

4.根据权利要求1所述的一种远景与近景图像结合的光伏组件定位与匹配方法，其特征在于：所述步骤S2中，拍摄远景图像，记为I_f；保持拍摄点不变，调节相机焦距及云台角度，拍摄近景图像，记为I_c1,I_c2,…,I_cN，使得每张近景图像显示远景图像的一部分区域，并且所有近景图像显示的区域加起来可以覆盖远景图像的全部区域。

5.根据权利要求1所述的一种远景与近景图像结合的光伏组件定位与匹配方法，其特征在于：所述步骤S4中，图像中的像素点(u,v)^T与电站三维坐标系中的点(x_w,y_w,z_w)^T的对应关系：

其中，Z_c为拍摄距离，K为相机参数矩阵，R为相机旋转矩阵，t为相机光心在所述电站三维坐标系中的位置；根据拍摄点的GPS信息和相机姿态信息，估算Z_c,R,t的值，然后计算远景图像I_f中各特征点f_pq在电站三维坐标系中的位置l_pq。

6.根据权利要求1所述的一种远景与近景图像结合的光伏组件定位与匹配方法，其特征在于：所述步骤S4中，由于GPS定位存在一定的误差，l_pq也存在一定的误差，将第p个子区域l_pq的均值，记为c_p：

搜索到c_p欧式距离最小的C_k，将远景图像I_f的第p个子区域与电站三维模型的第k个子区域相互匹配，并将远景图像I_f的特征点f_pq与电站三维模型的特征点b_km相互匹配；根据远景图像中的特征点像素坐标，以及对应电站三维坐标系中的特征点坐标，计算相机光心在所述电站三维坐标系中的位置t，校正拍摄点的位置信息。

7.根据权利要求1所述的一种远景与近景图像结合的光伏组件定位与匹配方法，其特征在于：所述步骤S5中，基于色彩特征、几何特征以及纹理特征识别出近景图像中的异常光伏组件，其角点在近景图像中的坐标矩阵为A＝(a₁,a₂,a₃,a₄)^T，其中a_j＝(u_j,v_j)^T,j＝1,2,3,4表示异常光伏组件的第j个角点坐标，根据步骤S4中校正的拍摄点位置信息，以及近景图像的相机姿态信息，计算近景图像中异常光伏组件的角点a_j在电站三维坐标系中的位置h_j；计算h_j的均值，记为g：

搜索到g距离最小的G_i，将近景图像中的异常光伏组件与电站三维模型的第i个光伏组件相互匹配。