CN117351053B - 光伏电站图像配准方法、存储介质和电子设备 - Google Patents
光伏电站图像配准方法、存储介质和电子设备 Download PDFInfo
- Publication number
- CN117351053B CN117351053B CN202311642748.7A CN202311642748A CN117351053B CN 117351053 B CN117351053 B CN 117351053B CN 202311642748 A CN202311642748 A CN 202311642748A CN 117351053 B CN117351053 B CN 117351053B
- Authority
- CN
- China
- Prior art keywords
- image
- photovoltaic panel
- image area
- area
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000013507 mapping Methods 0.000 claims abstract description 52
- 238000003709 image segmentation Methods 0.000 claims abstract description 38
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/50—Photovoltaic [PV] energy
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种光伏电站图像配准方法、存储介质和电子设备，所述光伏电站图像配准方法包括：获得目标光伏电站场景的第一图像和第二图像；对第一图像和第二图像分别进行图像分割，得到第一图像中的第一光伏板图像区域和第二图像中的第二光伏板图像区域；基于第一图像的第一拍摄位置与第二图像的第二拍摄位置之间的拍摄距离确定第一图像相对于第二图像的偏移量；基于偏移量得到第一光伏板图像区域的映射图像区域；确定映射图像区域与第二光伏板图像区域中表示相同位置的匹配点对，并基于匹配点对确定映射关系；基于映射关系对第一图像和第二图像进行配准。应用本发明实施例提供的方案能够提高图像配准的准确性。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种光伏电站图像配准方法、存储介质和电子设备。
背景技术
相关技术中，无人机可以通过拍摄光伏电站场景的图像，用于检查光伏电站的运行状况。无人机上可以分别安装红外图像的拍摄设备和可见光图像的拍摄设备，拍摄光伏电站的红外图像和可见光图像，从而得到关于光伏电站的更为全面的图像信息。
然而由于拍摄设备不同，所拍摄的图像中的场景并不完全相同，因此，需要对所拍摄的图像进行配准，以得到更为有效的图像信息，例如基于配准结果得到红外图像和可见光图像的融合图像等。
由于无人机在快速移动的状态下拍照，可见光图像和红外图像的清晰度有限且场景差异较大，要通过人工辨认图像中的场景并进行配准较为困难。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的在于提出一种光伏电站图像配准方法、存储介质和电子设备，以提高图像配准的准确性。
根据本发明实施例的第一方面，提供了一种光伏电站图像配准方法，所述方法包括：
获得目标光伏电站场景的第一图像和第二图像；
对所述第一图像和所述第二图像分别进行图像分割，得到所述第一图像中的第一光伏板图像区域和所述第二图像中的第二光伏板图像区域；
基于所述第一图像的第一拍摄位置与所述第二图像的第二拍摄位置之间的拍摄距离确定所述第一图像相对于所述第二图像的偏移量；
基于所述偏移量得到所述第一光伏板图像区域的映射图像区域；
确定所述映射图像区域与所述第二光伏板图像区域中表示相同位置的匹配点对，并基于所述匹配点对确定映射关系；
基于所述映射关系对所述第一图像和第二图像进行配准。
根据本发明实施例的第二方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述光伏电站图像配准方法。
根据本发明实施例的第三方面，提供了一种电子设备，包括：存储器、处理器；所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现上述光伏电站图像配准方法。
本发明实施例提供的方案中，获得了目标光伏电站场景的第一图像和第二图像，并对第一图像和第二图像进行图像分割，得到光伏板在第一图像和第二图像中的第一光伏板图像区域和第二光伏板图像区域。由于光伏板形状规则，第一光伏板图像区域和第二光伏板图像区域在光伏电站场景中相应地具有较为明显的形状特征，在用于配准的时候是较为清晰、准确的参考对象，以此确定第一图像相对于第二图像的偏移量以进行配准，能够提高图像配准的准确性。
在基于所计算的偏移量得到映射图像区域后，本发明实施例提供的方案还通过确定映射图像区域与第二光伏板图像区域中表示相同位置的匹配点对重新确定了映射关系，这样，当基于偏移量得到的映射图像区域的位置存在误差的情况下，能够通过对匹配点对确定的映射关系减少误差的影响，从而可以通过此种方式确定的映射关系提高对第一图像和第二图像进行图像配准的准确性。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1是本发明实施例提供的第一种光伏电站图像配准方法的流程示意图；
图2是本发明实施例提供的一种图像匹配方法的流程示意图；
图3是本发明实施例提供的第二种光伏电站图像配准方法的流程示意图；
图4是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例提供的光伏电站图像配准方法、存储介质和电子设备。
本发明的一个实施例中，参见图1，提供了一种光伏电站图像配准方法，该方法包括以下步骤S101-S106。
步骤S101：获得目标光伏电站场景的第一图像和第二图像。
其中，第一图像和第二图像可以是由不同的拍摄设备得到的、包含相同的目标光伏电站场景的光伏电站图像，或者是由同一拍摄设备在不同时刻拍摄的光伏电站图像。
在同时存在红外图像拍摄设备拍摄的红外图像和可见光图像拍摄设备拍摄的可见光图像的情况下，第一图像可以是目标光伏电站场景的红外图像和可见光图像中的任一图像，第二图像可以是红外图像和可见光图像中除第一图像外的图像；
另外，第一图像和第二图像也可以是由不同的红外图像拍摄设备拍摄的红外图像，或者是由不同的可见光图像拍摄设备拍摄的可见光图像，本发明实施例并不对此进行限定。
可见光图像拍摄设备可以是拍摄可见光图像的相机、摄像头、传感器等，红外图像拍摄设备可以是拍摄红外图像的相机、摄像头、传感器等。
S102：对第一图像和第二图像分别进行图像分割，得到第一图像中的第一光伏板图像区域和第二图像中的第二光伏板图像区域。
第一光伏板图像区域和第二光伏板图像区域分别为：第一图像和第二图像中光伏板所在的图像区域。
图像分割的方式可以包括：基于灰度阈值的图像分割、或者采用分水岭算法的图像分割等，本发明实施例并不对此进行限定。
例如，在基于灰度阈值的图像分割方式中，可以基于光伏板在图像中的灰度值与图像背景的灰度值差异设置灰度阈值，将低于灰度阈值、不低于灰度阈值的像素值分别设置为0或者1，得到二值化图像，并从二值化图像中确定不同像素值的像素点形成的边缘，得到光伏板轮廓，从而实现图像分割；或者，在本发明的一个实施例中，图像分割还可以基于模型训练的方式实现，参见下述实施例，此处暂不详述。
由上，图像分割可以确定光伏板轮廓，在此情况下，可以按照以下方式得到第一光伏板图像区域和第二光伏板图像区域。
对第一图像和第二图像分别进行图像分割，得到第一图像中的第一光伏板轮廓和第二图像中的第二光伏板轮廓；将第一光伏板轮廓的外接矩形区域确定为第一光伏板图像区域，并将第二光伏板轮廓的外接矩形区域确定第二光伏板图像区域。
第一光伏板轮廓、第二光伏板轮廓的外接矩形区域为：第一光伏板轮廓、第二光伏板轮廓的外接矩形在图像中所占的区域。
外接矩形区域是由包含光伏板轮廓的外接矩形形成的区域。
由于光伏板的轮廓形状接近矩形，采用外接矩形能够很好的描述光伏板在图像中的位置，并且矩形的形状较为规则，便于根据外接矩形区域确定匹配点对从而实现映射关系的计算。
S103：基于第一图像的第一拍摄位置与第二图像的第二拍摄位置之间的拍摄距离确定第一图像相对于第二图像的偏移量。
第一拍摄位置和第二拍摄位置分别为：拍摄第一图像时第一图像的拍摄设备所在的位置和拍摄第二图像时第二图像的拍摄设备所在的位置。
本发明的一个实施例中，拍摄距离可以按照以下方式确定：
其中，表示第一拍摄位置与第二拍摄位置之间的拍摄距离；表示第一拍摄位置与第二拍摄位置在纬度方向的距离差；/>表示第一拍摄位置与第二拍摄位置在经度方向的距离差；/>表示第一拍摄位置的纬度；/>表示第二拍摄位置的纬度；/>表示第一拍摄位置的经度；/>表示第二拍摄位置的经度。
上述各经度和纬度可以通过在拍摄设备上安装定位系统如GPS（GlobalPositioning System，全球定位系统）获得。
上述公式中的为地球长轴长度，/>为地球短轴长度，单位为米。
由上，可以通过计算经度和纬度方向上的距离差确定拍摄距离，经纬度将第一拍摄位置与第二拍摄位置归于同一参考坐标系下，且不受第一拍摄位置、第二拍摄位置的实际地理环境影响，能稳定地对拍摄距离进行测量。
本发明的另一些实施例中，当拍摄设备位于无人机上时，可以基于无人机在拍摄第一图像、第二图像过程中记录的飞行距离确定。
偏移量可以通过拍摄距离除以每像素的实际单位长度得到，使得像素点在偏移过程中偏移的距离以像素点数量衡量。实际单位长度表示每一像素在实际场景中对应的距离。
具体的偏移量计算方式见下述实施例，此处暂不详述。
S104：基于偏移量得到第一光伏板图像区域的映射图像区域。
映射图像区域为对第一光伏板图像区域基于偏移量映射得到的图像区域，
具体映射的方式可以是：对第一光伏板图像区域中的每一块光伏板对应的像素点，按照偏移量进行位置平移，得到平移后的像素点组成的映射图像区域。
例如，在第一图像、第二图像的拍摄设备安装于无人机的云台情况下，可以设置云台角度和飞行方向一致，因此在水平横向上第一图像的拍摄设备、第二图像的拍摄设备所得图像的中心始终在飞行方向上；而图像纵向上会有偏差出现，因此按照以下方式基于偏移量进行位置平移：
其中，为宽度比，/>为第二图像的宽度，/>为第一图像的宽度，第一图像、第二图像的宽度可以用第一图像、第二图像在宽度方向包含的像素点的数量表示；/>为第一光伏板图像区域中像素点的横坐标、/>为第一光伏板图像区域中像素点的纵坐标；/>为偏移后映射图像区域中像素点的横坐标，/>为偏移后映射图像区域中像素点的纵坐标；/>表示偏移量。
S105：确定映射图像区域与第二光伏板图像区域中表示相同位置的匹配点对，并基于匹配点对确定映射关系。
可以确定映射图像区域与第二光伏板图像区域中表示同一光伏板的光伏板图像区域，从而获得对应相同位置的匹配点对，具体实施方式参见下述实施例，此处暂不详述。
得到匹配点对的情况下，可以获得匹配点对中，映射图像区域中的点集映射到光伏板图像区域中的点集之间的单应性变换对应的单应性矩阵，所得单应性矩阵可以作为映射关系。
或者，也可获得上述点集之间的仿射变换、刚体变换的变换关系，作为映射关系。
S106：基于映射关系对第一图像和第二图像进行配准。
进行图像配准的过程可以包括：按照已确定的映射关系，将第一图像的像素点的像素值从该像素点在第一图像中的位置映射到第二图像中的对应位置上，如下，在采用33单应性矩阵表示映射关系的情况下，映射后第二图像中的对应位置确定方式参见下述公式：
其中，为映射后对应位置的横坐标，/>为映射后对应位置的纵坐标，/>为映射前位置的横坐标，/>为映射前位置的纵坐标；
、/>、/>、/>、/>、/>、/>、/>为单应性矩阵的元素，所形成的单应性矩阵如下所示：
这样，可以在第二图像上映射后的对应位置上，将第一图像中像素点的像素值与该对应位置上第二图像的像素点的像素值叠加，叠加的方式可以是加权平均等。
另外，也可以按照上述映射关系，将第二图像的像素点的像素值从该像素点在第二图像中的位置映射到第一图像中的对应位置上，从而实现图像配准，过程类似上述实施例，此处不再详述。
本发明实施例提供的方案中，获得了目标光伏电站场景的第一图像和第二图像，并对第一图像和第二图像进行图像分割，得到光伏板在第一图像和第二图像中的第一光伏板图像区域和第二光伏板图像区域。由于光伏板形状规则，第一光伏板图像区域和第二光伏板图像区域在光伏电站场景中相应地具有较为明显的形状特征，在用于配准的时候是较为清晰、准确的参考对象，以此确定第一图像相对于第二图像的偏移量以进行配准，能够提高图像配准的准确性。
在基于所计算的偏移量得到映射图像区域后，本发明实施例提供的方案还通过确定映射图像区域与第二光伏板图像区域中表示相同位置的匹配点对重新确定了映射关系，这样，当基于偏移量得到的映射图像区域的位置存在误差的情况下，能够通过对匹配点对确定的映射关系减少误差的影响，从而可以通过此种方式确定的映射关系提高对第一图像和第二图像进行图像配准的准确性。
以下说明前述步骤S102中基于模型训练的方式实现图像分割的过程。
本发明的一个实施例中，对第一图像和第二图像分别进行图像分割，得到第一图像中的第一光伏板轮廓和第二图像中的第二光伏板轮廓，包括：
将第一图像输入预先训练的图像分割模型，得到图像分割模型输出的第一光伏板轮廓，并将第二图像输入图像分割模型，得到图像分割模型输出的第二光伏板轮廓；
其中，图像分割模型为：采用预先标注光伏板轮廓的样本图像对预设的卷积神经网络训练得到的、用于获得图像中光伏板轮廓的模型。
样本图像为对光伏电站拍摄的图像，可以是对第一图像和第二图像中的光伏电站拍摄的图像，也可以包括对其它光伏电站的拍摄图像。
图像模型的训练方式可以如下：
将样本图像输入预设的卷积网络模型，根据卷积网络模型输出的光伏板轮廓与标注的光伏板轮廓的差异得到模型损失，并基于模型损失调整卷积网络模型的模型参数，直到达到预设的训练完成条件，如训练了足够的次数，模型损失收敛等。
这样，可以通过预先训练图像分割模型，使得图像分割模型通过调整模型参数，能够输出与标注一致的光伏板轮廓，从而学习到图像分割的能力。在进行样本分割时就可以直接使用训练好的图像分割模型，在简便的同时又能够通过预先训练提高图像分割的准确性。
以下说明前述步骤S105中获得对应相同位置的匹配点对的实现方式。
本发明的一个实施例中，对于映射图像区域包括的每一第三光伏板图像区域，确定第二光伏板图像区域中与该第三光伏板图像区域表示相同位置的第四光伏板图像区域，并根据该第三光伏板图像区域的角点和第四光伏板图像区域的角点得到匹配点对。
确定与第三光伏板图像区域表示相同位置的第四光伏板图像区域，即在目标光伏电站场景中与第三光伏板图像区域对应于同一块光伏板的光伏板图像区域。
以下说明得到第四光伏板图像区域的实现方式。
第一种实现方式中，可以通过计算交并比的方式得到第四光伏板图像区域。本发明的一个实施例中，可以在第二光伏板图像区域中获得与该第三光伏板图像区域的交并比大于预设的交并比阈值的候选光伏板图像区域；基于候选光伏板图像区域确定第四光伏板图像区域。
在上述过程中，若存在一个候选光伏板图像区域，则，可以将该候选光伏板图像区域确定为第四光伏板图像区域。
若存在一个以上的候选光伏板图像区域，则可以确定产生交并比最大的候选光伏板图像区域作为第四光伏板图像区域。
交并比阈值可以人为设定，例如设置为0.5、0.6等。
在通过偏移量得到的映射图像区域因误差而不完全与第二光伏板图像区域重合的情况下，可以通过上述交并比计算的过程、以及设置交并比阈值，选出交并比较大的候选光伏板图像区域，相应的，所选出的候选光伏板图像区域与第三光伏板图像区域重合部分较多，也就更有可能表示同一块光伏板，从而能够增加匹配的准确性。
第二种实现方式中，对于每一第三光伏板图像区域可以计算该第三光伏板图像区域的中心位置与各第二光伏板图像区域的中心位置的距离，若存在距离小于预设距离阈值的第二光伏板图像区域，则确定为第四光伏板图像区域；又或者，也可以使用第三光伏板图像区域、各第二光伏板图像区域的边界之间的距离确定，本发明实施例并不对此进行限定。
第三光伏板图像区域和第四光伏板图像区域为外接矩形形状的情况下，第三光伏板图像区域的角点和第四光伏板图像区域的角点可以用矩形四角的坐标表示。
按照以上方式，可以找到与第三光伏板图像区域距离最近的第四光伏板图像区域，从而得到匹配点对，并确定映射关系。
以下通过图2所示的图像匹配方法的流程示意图对上述匹配点对的确定过程进行整体说明。
以红外图像为第一图像、可见光图像为第二图像为例，红外图像矩形集合包括第一图像中得到的第一光伏板图像区域，其中每一块光伏板对应一个表示该光伏板位置的外接矩形；类似的，可见光图像矩形集合包括第二光伏板图像区域。
按照前述实施例所述的方式，可以确定红外图像相对于可见光图像的偏移量。采用偏移量对红外图像矩形集合进行映射，所得映射矩形集合包括映射图像区域。
在此情况下，按照上述实施例的方式计算IOU（Intersection over Union，交并比），即对于映射矩形集合包括的每一第三光伏板图像区域，判断可见光图像矩形集合中的各外接矩形表示的光伏板的区域与该第三光伏板图像区域的交并比是否大于交并比阈值，若大于，则选出候选光伏板图像区域，并基于候选光伏板图像区域确定第四光伏板图像区域。保存矩形对，也就是保存表示第三光伏板图像区域和对应的第四光伏板图像区域的外接矩形对，保存时，可以记录各外接矩形的角点，从而得到匹配点对。
本发明的一个实施例中，基于第一图像的拍摄设备与第二图像的拍摄设备之间的拍摄距离确定第一图像相对于第二图像的偏移量，包括：
基于第一图像的拍摄设备的芯片宽度、拍摄高度、焦距，计算第一图像的拍摄设备的视野宽度；基于视野宽度和第一图像的拍摄设备的图像分辨率，得到单位像素对应的实际单位长度；基于实际单位长度、拍摄距离，确定第一图像相对于第二图像的偏移量。
视野宽度的计算方式可以是：芯片宽度(拍摄高度-焦距)/焦距。在第一图像、第二图像的拍摄设备事先调试好拍摄参数的情况下，可以，芯片宽度、拍摄高度、焦距可以被预先记录。
由于无人机拍摄高度较高，以米为单位计量，而拍摄设备的焦距为10-20mm之间，焦距相对于拍摄高度可以忽略，因此，可以按照以下公式计算第一图像的拍摄设备的视野宽度：
其中，表示第一图像的拍摄设备的视野宽度，/>表示第一拍摄的芯片宽度，/>表示第一图像的拍摄设备的拍摄高度，/>表示第一图像的拍摄设备的焦距。
调整之后的计算公式简化了对于焦距的计算，并且，由于焦距相对于拍摄高度可以忽略，在简化的同时也能够保证计算结果的准确性。
图像分辨率通常用表示宽度的像素点数量表示高度的像素点数量表示，例如1600/>900。在此情况下，基于视野宽度和第一图像的拍摄设备的图像分辨率，得到单位像素对应的实际单位长度，也就是用视野宽度除以图像分辨率中表示宽度的像素点数量，得到实际单位长度。
在此情况下，拍摄距离除以实际单位长度，可以得到偏移量。
按照以上方式，可以根据拍摄距离和计算所得的实际单位长度，确定拍摄距离对应的像素点数量，使得所计算的偏移量包含的像素点数量能够对应拍摄距离，使得确定映射图像区域的偏移过程符合实际场景中的第一图像、第二图像的拍摄设备的移动过程，提高映射的准确性。
以下通过图3对本发明实施例提供的整体流程进行说明。
图3所示的实施例中，红外图像可以作为第一图像、可见光图像则为第二图像，或者，红外图像可以作为第二图像、可见光图像作为第一图像。
红外图像位置信息包括经纬度，焦距，拍摄高度，俯仰角，偏航角等信息，可见光图像位置信息与红外图像位置信息的种类类似，区别在于图像所属的拍摄设备不同。
计算像素偏差，即计算以像素点数量表示的偏移量，具体可以通过红外图像信息或者可见光图像位置信息得到拍摄距离，并根据拍摄距离确定偏移量，具体实施方式参见前述实施例。
红外图像分割模型和可见图像分割模型可以作为图像分割模型中的两个子模型，分别用于接收红外图像、可见光图像两种不同类型的图像输入，并进行图像分割。以红外图像为第一图像，可见光图像为第二图像，得到的红外目标外接矩形集合中的外接矩形可以表示第一光伏板图像区域，可见光目标外接矩形集合中的外接矩形可以表示第二光伏板图像区域。
图像初映射即基于偏移量得到第一光伏板图像区域的映射图像区域。当第一图像为红外图像时，使用红外目标外接矩形集合得到映射图像区域，当第一图像为可见光图像时，使用可见光目标外接矩形集合得到映射图像区域。
求矩形IOU，即在第二光伏板图像区域中获得与映射图像区域中每一第三光伏板图像区域的交并比大于预设的交并比阈值的候选光伏板图像区域，基于候选光伏板图像区域确定第四光伏板图像区域。
进一步的，可以得到每一第三光伏板图像区域和对应的第四光伏板图像区域的匹配点对，通过单应性矩阵求解得到匹配点对之间的映射关系，并使用所得映射关系对红外图像、可见光图像进行配准。
本发明的一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现上述任一实施例的光伏电站图像配准方法。
本发明的一个实施例中，提供了一种电子设备，包括：存储器、处理器；存储器上存储有计算机程序，计算机程序被处理器执行时，实现上述任一实施例的光伏电站图像配准方法。
图4是本发明实施例的控制器的结构框图。
如图4所示，控制器400包括：处理器401和存储器403。其中，处理器401和存储器403相连，如通过总线402相连。可选地，控制器400还可以包括收发器404。需要说明的是，实际应用中收发器404不限于一个，该控制器400的结构并不构成对本发明实施例的限定。
处理器401可以是CPU（Central Processing Unit，中央处理器），通用处理器，DSP（Digital Signal Processor，数据信号处理器），ASIC（Application SpecificIntegrated Circuit，专用集成电路），FPGA（Field Programmable Gate Array，现场可编程门阵列）或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框、模块和电路。处理器401也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线402可包括一通路，在上述组件之间传送信息。总线402可以是PCI（Peripheral Component Interconnect，外设部件互连标准）总线或EISA（ExtendedIndustry Standard Architecture，扩展工业标准结构）总线等。总线402可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器403用于存储与本发明上述实施例的光伏电站图像配准方法对应的计算机程序，该计算机程序由处理器401来控制执行。处理器401用于执行存储器403中存储的计算机程序，以实现前述方法实施例所示的内容。
其中，控制器400包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA（个人数字助理）、PAD（平板电脑）、PMP（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图4示出的控制器400仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (8)
1.一种光伏电站图像配准方法，其特征在于，所述光伏电站图像配准方法包括：
获得目标光伏电站场景的第一图像和第二图像；
对所述第一图像和所述第二图像分别进行图像分割，得到所述第一图像中的第一光伏板图像区域和所述第二图像中的第二光伏板图像区域；
基于所述第一图像的第一拍摄位置与所述第二图像的第二拍摄位置之间的拍摄距离确定所述第一图像相对于所述第二图像的偏移量；
基于所述偏移量得到所述第一光伏板图像区域的映射图像区域；
确定所述映射图像区域与所述第二光伏板图像区域中表示相同位置的匹配点对，并基于所述匹配点对确定映射关系；
基于所述映射关系对所述第一图像和第二图像进行配准；
所述确定所述映射图像区域与所述第二光伏板图像区域中表示相同位置的匹配点对，包括：
对于所述映射图像区域包括的每一第三光伏板图像区域，确定所述第二光伏板图像区域中与该第三光伏板图像区域表示相同位置的第四光伏板图像区域，并根据该第三光伏板图像区域的角点和所述第四光伏板图像区域的角点得到匹配点对；
所述确定所述第二光伏板图像区域中与该第三光伏板图像区域表示相同位置的第四光伏板图像区域，包括：
在所述第二光伏板图像区域中获得与该第三光伏板图像区域的交并比大于预设的交并比阈值的候选光伏板图像区域；
基于所述候选光伏板图像区域确定所述第四光伏板图像区域。
2.根据权利要求1所述的光伏电站图像配准方法，其特征在于，所述对所述第一图像和所述第二图像分别进行图像分割，得到所述第一图像中的第一光伏板图像区域和所述第二图像中的第二光伏板图像区域，包括：
对所述第一图像和所述第二图像分别进行图像分割，得到所述第一图像中的第一光伏板轮廓和所述第二图像中的第二光伏板轮廓；
将所述第一光伏板轮廓的外接矩形区域确定为第一光伏板图像区域，并将所述第二光伏板轮廓的外接矩形区域确定第二光伏板图像区域。
3.根据权利要求1所述的光伏电站图像配准方法，其特征在于，所述对所述第一图像和所述第二图像分别进行图像分割，得到所述第一图像中的第一光伏板轮廓和所述第二图像中的第二光伏板轮廓，包括：
将所述第一图像输入预先训练的图像分割模型，得到所述图像分割模型输出的第一光伏板轮廓，并将所述第二图像输入所述图像分割模型，得到所述图像分割模型输出的第二光伏板轮廓；
其中，所述图像分割模型为：采用预先标注光伏板轮廓的样本图像对预设的卷积神经网络训练得到的、用于获得图像中光伏板轮廓的模型。
4.根据权利要求1所述的光伏电站图像配准方法，其特征在于，所述基于所述第一图像的拍摄位置与所述第二图像的拍摄位置之间的拍摄距离确定所述第一图像相对于所述第二图像的偏移量，包括：
基于所述第一图像的拍摄设备的芯片宽度、拍摄高度、焦距，计算所述第一图像的拍摄设备的视野宽度；
基于所述视野宽度和所述第一图像的拍摄设备的图像分辨率，得到单位像素对应的实际单位长度；
基于所述实际单位长度、所述拍摄距离，确定所述第一图像相对于所述第二图像的偏移量。
5.根据权利要求4所述的光伏电站图像配准方法，其特征在于，所述基于所述第一图像的拍摄设备的芯片宽度、拍摄高度、焦距，计算所述第一图像的拍摄设备的视野宽度，包括
按照以下公式计算所述第一图像的拍摄设备的视野宽度：
其中，表示所述第一图像的拍摄设备的视野宽度，/>表示所述第一拍摄的芯片宽度，/>表示所述第一图像的拍摄设备的拍摄高度，/>表示所述第一图像的拍摄设备的焦距。
6.根据权利要求1所述的光伏电站图像配准方法，其特征在于，按照以下方式确定所述第一图像的第一拍摄位置与所述第二图像的第二拍摄位置之间的拍摄距离：
其中，表示所述第一拍摄位置与所述第二拍摄位置之间的拍摄距离；表示所述第一拍摄位置与所述第二拍摄位置在纬度方向的距离差；表示所述第一拍摄位置与所述第二拍摄位置在经度方向的距离差；/>表示所述第一拍摄位置的纬度；/>表示所述第二拍摄位置的纬度；/>表示所述第一拍摄位置的经度；表示所述第二拍摄位置的经度。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-6中任一项所述的光伏电站图像配准方法。
8.一种电子设备，其特征在于，包括：存储器、处理器；所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1-6中任一项所述的光伏电站图像配准方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311642748.7A CN117351053B (zh) | 2023-12-04 | 2023-12-04 | 光伏电站图像配准方法、存储介质和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311642748.7A CN117351053B (zh) | 2023-12-04 | 2023-12-04 | 光伏电站图像配准方法、存储介质和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117351053A CN117351053A (zh) | 2024-01-05 |
| CN117351053B true CN117351053B (zh) | 2024-02-23 |
Family
ID=89363555
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311642748.7A Active CN117351053B (zh) | 2023-12-04 | 2023-12-04 | 光伏电站图像配准方法、存储介质和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117351053B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200064465A (ko) * | 2018-11-29 | 2020-06-08 | 한국에너지기술연구원 | 태양광 패널 고장 검출 시스템 및 방법 |
| CN113920044A (zh) * | 2021-09-30 | 2022-01-11 | 杭州电子科技大学 | 一种基于无人机成像的光伏热斑组件检测后定位方法 |
| CN114881931A (zh) * | 2022-04-12 | 2022-08-09 | 星逻人工智能技术(上海)有限公司 | 基于双光融合的光伏面板缺陷检测方法、系统、设备和计算机可读存储介质 |
| CN116228670A (zh) * | 2023-01-03 | 2023-06-06 | 深圳市朗驰欣创科技股份有限公司 | 基于Yolov5的光伏缺陷检测方法、装置、计算机设备及介质 |
| CN116758142A (zh) * | 2023-05-12 | 2023-09-15 | 浙江正泰智维能源服务有限公司 | 一种图像地理配准的缺陷组件定位方法及装置 |
| CN117152218A (zh) * | 2023-08-08 | 2023-12-01 | 正泰集团研发中心(上海)有限公司 | 图像配准方法、装置、计算机设备和可读存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220077820A1 (en) * | 2020-09-04 | 2022-03-10 | Mgit | Method and system for soar photovoltaic power station monitoring |
-
2023
- 2023-12-04 CN CN202311642748.7A patent/CN117351053B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200064465A (ko) * | 2018-11-29 | 2020-06-08 | 한국에너지기술연구원 | 태양광 패널 고장 검출 시스템 및 방법 |
| CN113920044A (zh) * | 2021-09-30 | 2022-01-11 | 杭州电子科技大学 | 一种基于无人机成像的光伏热斑组件检测后定位方法 |
| CN114881931A (zh) * | 2022-04-12 | 2022-08-09 | 星逻人工智能技术(上海)有限公司 | 基于双光融合的光伏面板缺陷检测方法、系统、设备和计算机可读存储介质 |
| CN116228670A (zh) * | 2023-01-03 | 2023-06-06 | 深圳市朗驰欣创科技股份有限公司 | 基于Yolov5的光伏缺陷检测方法、装置、计算机设备及介质 |
| CN116758142A (zh) * | 2023-05-12 | 2023-09-15 | 浙江正泰智维能源服务有限公司 | 一种图像地理配准的缺陷组件定位方法及装置 |
| CN117152218A (zh) * | 2023-08-08 | 2023-12-01 | 正泰集团研发中心(上海)有限公司 | 图像配准方法、装置、计算机设备和可读存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 《deterioration diagnosis of solar module using thermal and visible image processing》;Heon Jeong et al.;《energies》;全文 * |
| 《无人机载可见红外光伏板热斑检测系统研究》;洪声艺;《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》;全文 * |
| 葛宜元.《机电一体化系统设计 第2版》.北京：机械工业出版社,2020,第210-211页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117351053A (zh) | 2024-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110264520B (zh) | 车载传感器与车辆位姿关系标定方法、装置、设备和介质 | |
| CN110146869B (zh) | 确定坐标系转换参数的方法、装置、电子设备和存储介质 | |
| CN108805934B (zh) | 一种车载摄像机的外部参数标定方法及装置 | |
| CN110148185B (zh) | 确定成像设备坐标系转换参数的方法、装置和电子设备 | |
| US9536306B2 (en) | Vehicle vision system | |
| US10909395B2 (en) | Object detection apparatus | |
| CN112270719B (zh) | 相机标定方法、装置及系统 | |
| WO2022078074A1 (zh) | 车辆与车道线的位置关系检测方法、系统和存储介质 | |
| CN111508027A (zh) | 摄像机外参标定的方法和装置 | |
| CN104167109A (zh) | 车辆位置的检测方法和检测装置 | |
| EP4016457A1 (en) | Positioning method and apparatus | |
| CN112946609B (zh) | 激光雷达与相机的标定方法、装置、设备及可读存储介质 | |
| CN103902953A (zh) | 一种屏幕检测系统及方法 | |
| JP2017181476A (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム | |
| CN111982132B (zh) | 数据处理方法、装置和存储介质 | |
| CN114782911A (zh) | 图像处理的方法、装置、设备、介质、芯片及车辆 | |
| CN112750075A (zh) | 一种低空遥感影像拼接方法以及装置 | |
| CN112255604B (zh) | 一种雷达数据准确性的判断方法、装置及计算机设备 | |
| CN117351053B (zh) | 光伏电站图像配准方法、存储介质和电子设备 | |
| CN116228860A (zh) | 目标物的地理位置预测方法、装置、设备及存储介质 | |
| CN117152265A (zh) | 一种基于区域提取的交通图像标定方法及装置 | |
| CN114415129A (zh) | 基于多项式模型的视觉与毫米波雷达联合标定方法及装置 | |
| CN113112551B (zh) | 相机参数的确定方法、装置、路侧设备和云控平台 | |
| CN114792343A (zh) | 图像获取设备的标定方法、获取图像数据的方法、装置 | |
| CN113147746A (zh) | 坡道车位的探测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |