CN116129114A - 图像处理方法、装置及电子设备 - Google Patents

图像处理方法、装置及电子设备 Download PDF

Info

Publication number
CN116129114A
CN116129114A CN202211725028.2A CN202211725028A CN116129114A CN 116129114 A CN116129114 A CN 116129114A CN 202211725028 A CN202211725028 A CN 202211725028A CN 116129114 A CN116129114 A CN 116129114A
Authority
CN
China
Prior art keywords
photovoltaic
string
segmentation
mask
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211725028.2A
Other languages
English (en)
Inventor
王新乐
方振宇
张锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sunshine Zhiwei Technology Co ltd
Original Assignee
Sunshine Zhiwei Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sunshine Zhiwei Technology Co ltd filed Critical Sunshine Zhiwei Technology Co ltd
Priority to CN202211725028.2A priority Critical patent/CN116129114A/zh
Publication of CN116129114A publication Critical patent/CN116129114A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种图像处理方法、装置及电子设备，该方法包括：获取待处理的全景图像；全景图像中包含光伏组串的图像数据；利用神经网络模型对全景图像进行处理，获得与该图像数据相对应的光伏组串分割掩膜；在检测到光伏组串分割掩膜相对于全景图像存在倾斜的情况下，对光伏组串分割掩膜对应的图像数据进行旋转校正；对旋转校正后的图像数据进行组件分割，并对组件分割后的图像数据进行旋转回位，获得图像数据的各个光伏组件分割结果。应用本发明实施例提供的方法，能够快速准确地获得光伏组串的图像数据的各个光伏组件分割结果。

Description

图像处理方法、装置及电子设备
技术领域
本发明涉及图像处理技术领域，特别涉及一种图像处理方法、装置及电子设备。
背景技术
目前，为了方便对光伏电站进行故障检测和定位的工作，通常需要对包含电站的光伏组串的全景图像进行光伏组件的识别和定位。
现有技术中，通常是采用深度学习的方式进行光伏组件的识别，然而，由于光伏组串中相邻的光伏组件之间的间隙较小，采用深度学习的方式无法准确地从全景图像中识别出光伏组串的光伏组件。
发明内容
本发明所要解决的技术问题是提供一种图像处理方法、装置及电子设备，能够快速准确地获得光伏组件分割结果。具体方案如下：
一种图像处理方法，包括：
获取待处理的全景图像；所述全景图像中包含至少一个光伏组串的图像数据；
利用预先构建的神经网络模型对所述全景图像进行处理，获得所述全景图像的光伏组串分割结果，所述光伏组串分割结果包括与每个所述光伏组串的图像数据相对应的光伏组串分割掩膜；
检测每个所述光伏组串分割掩膜相对于所述全景图像是否存在倾斜；
对于每个所述光伏组串分割掩膜，在检测到所述光伏组串分割掩膜相对于所述全景图像存在倾斜的情况下，根据所述光伏组串分割掩膜相对于所述全景图像的倾斜角度，对所述光伏组串分割掩膜对应的图像数据进行旋转校正；对旋转校正后的所述图像数据进行组件分割，并对组件分割后的所述图像数据进行旋转回位，获得所述图像数据的各个光伏组件分割结果。
上述的方法，可选的，所述检测每个所述光伏组串分割掩膜相对于所述全景图像是否存在倾斜，包括：
对每个所述光伏组串分割掩膜进行直线检测，获得每个所述光伏组串分割掩膜的直线检测结果；
根据每个所述光伏组串分割掩膜的直线检测结果，确定每个所述光伏组串分割掩膜相对于所述全景图像是否存在倾斜。
上述的方法，可选的，所述对每个所述光伏组串分割掩膜进行直线检测，获得每个所述光伏组串分割掩膜的直线检测结果，包括：
对每个所述光伏组串分割掩膜进行边缘检测，获得每个所述光伏组串分割掩膜的边缘直线；
在各个所述光伏组串分割掩膜的边缘直线中确定目标边缘直线；
在检测到所述目标边缘直线相对于所述全景图像存在倾斜的情况下，基于所述目标边缘直线相对于所述全景图像的倾斜角度，对各个所述光伏组串分割掩膜以及各个所述光伏组串分割掩膜分别对应的图像数据进行初始旋转校正；
对初始旋转校正后的每个所述光伏组串分割掩膜进行直线检测，获得初始旋转校正后的每个所述光伏组串分割掩膜的直线检测结果。
上述的方法，可选的，所述在各个所述光伏组串分割掩膜的边缘直线中确定目标边缘直线，包括：
将各个所述光伏组串分割掩膜的边缘直线中最长的直线，确定为目标边缘直线。
上述的方法，可选的，所述对初始旋转校正后的每个所述光伏组串分割掩膜进行直线检测，获得初始旋转校正后的每个所述光伏组串分割掩膜的直线检测结果，包括：
对初始旋转校正后的每个所述光伏组串分割掩膜进行边缘检测，获得初始旋转校正后的每个所述光伏组串分割掩膜的边缘直线；
利用预设的霍夫直线检测算法，基于初始旋转校正后的每个所述光伏组串分割掩膜的边缘直线，对初始旋转校正后的每个所述光伏组串分割掩膜进行直线检测，获得每个初始旋转校正后的所述光伏组串分割掩膜的直线检测结果。
上述的方法，可选的，所述利用预先构建的神经网络模型对所述全景图像进行处理，获得所述全景图像的光伏组串分割结果，包括：
对全景图像进行切片，获得多个图片块；
将各个所述图片块输入到预先构建的神经网络模型，由所述神经网络模型预测出每个所述图片块的分割掩膜，并对各个所述分割掩膜进行拼接，得到的全景图像的初始光伏组串分割结果；
对所述初始光伏组串分割结果进行过滤，获得光伏组串分割结果。
上述的方法，可选的，构建所述神经网络模型的过程，包括：
获取训练样本集；所述训练样本集包括多张光伏组串的样本图像，每一所述样本图像设置有样本标签；
对所述多张样本图像进行数据增强；
利用数据增强后的所述样本图像对待训练的初始神经网络模型进行训练；
在所述初始神经网络模型满足预设的训练完成条件的情况下，将满足所述训练完成条件的初始神经网络模型，确定为构建好的神经网络模型。
上述的方法，可选的，所述对旋转校正后的所述图像数据进行组件分割，包括：
获取所述图像数据对应的组件模板；
利用所述图像数据对应的组件模板，对旋转校正后的所述图像数据进行组件分割。
一种图像处理装置，包括：
获取单元，用于获取待处理的全景图像；所述全景图像中包含至少一个光伏组串的图像数据；
处理单元，用于利用预先构建的神经网络模型对所述全景图像进行处理，获得所述全景图像的光伏组串分割结果，所述光伏组串分割结果包括与每个所述光伏组串的图像数据相对应的光伏组串分割掩膜；
检测单元，用于检测每个所述光伏组串分割掩膜相对于所述全景图像是否存在倾斜；
分割单元，用于对于每个所述光伏组串分割掩膜，在检测到所述光伏组串分割掩膜相对于所述全景图像存在倾斜的情况下，根据所述光伏组串分割掩膜相对于所述全景图像的倾斜角度，对所述光伏组串分割掩膜对应的图像数据进行旋转校正；对旋转校正后的所述图像数据进行组件分割，并对组件分割后的所述图像数据进行旋转回位，获得所述图像数据的各个光伏组件分割结果。
一种存储介质，所述存储介质包括存储指令，其中，在所述指令运行时控制所述存储介质所在的设备执行如上述的图像处理方法。
一种电子设备，包括存储器，以及一个或者一个以上的指令，其中一个或一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行如上述的图像处理方法。
与现有技术相比，本发明实施例包括以下优点：
本发明实施例提供了一种图像处理方法、装置及电子设备，可以先获取待处理的全景图像；全景图像中包含至少一个光伏组串的图像数据；然后，利用预先构建的神经网络模型对所述全景图像进行处理，获得全景图像的光伏组串分割结果，光伏组串分割结果包括与每个光伏组串的图像数据相对应的光伏组串分割掩膜；检测每个光伏组串分割掩膜相对于全景图像是否存在倾斜；对于每个光伏组串分割掩膜，在检测到光伏组串分割掩膜相对于全景图像存在倾斜的情况下，根据光伏组串分割掩膜相对于全景图像的倾斜角度，对光伏组串分割掩膜对应的图像数据进行旋转校正；对旋转校正后的图像数据进行组件分割，并对组件分割后的图像数据进行旋转回位，获得图像数据的各个光伏组件分割结果。应用本发明提供的方法，利用神经网络模型对全景图像进行处理，获得全景图像的光伏组串分割结果，然后检测光伏组串分割结果中的每一光伏组串分割掩膜相对于全景图像是否存在倾斜，如果存在倾斜，则对图像数据进行旋转校正后进行组件分割，再旋转回位，能够得到精准的光伏组件分割结果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种图像处理方法的方法流程图；
图2为本发明实施例提供的一种检测每个光伏组串分割掩膜相对于全景图像是否存在倾斜的过程的流程图；
图3为本发明实施例提供的一种获得每个光伏组串分割掩膜的直线检测结果的过程的流程图；
图4为本发明实施例提供的一种获得全景图像的光伏组串分割结果的过程的流程图；
图5为本发明实施例提供的一种图像处理装置的结构示意图；
图6为本发明实施例提供的一种电子设备的结构示意图；
图7为本发明实施例提供的一种图像处理过程的流程图；
图8为本发明实施例提供的一种图像处理过程的示例图；
图9为本发明实施例提供的又一种图像处理过程的示例图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
目前，为了方便对光伏电站进行故障检测和定位的工作，通常需要对光伏电站的全景图像进行光伏组串中的光伏组件进行识别和定位。现有技术中，通常是采用深度学习的方式进行光伏组件的识别，然而，由于光伏组串中各相邻的光伏组件之间的间隙较小，采用深度学习的方式无法准确地从全景图像中识别出光伏组串的光伏组件。
在一些可行的方式中，是采用组件分割算法对光伏组串的图像进行分割，然而，当光伏组串的图像相对于全景图像存在倾斜时，会导致获得的组件分割结果不准确。
基于此，本发明实施例提供了一种图像处理方法，应用于电子设备，该电子设备可以是计算机、手机、平板或各类智能可穿戴设备等等，所述图像处理方法的方法流程图如图1所示，具体包括：
S101：获取待处理的全景图像；所述全景图像中包含至少一个光伏组串的图像数据。
在本实施例中，可以通过相机对光伏组串所在的区域进行拍摄，获得全景图像，例如，可以采用无人机搭载相机拍摄光伏组串所在区域的可见光图像，然后对可见光图像进行拼接，得到全景图像，该全景图像可以是全景地图，可以携带有全球卫星定位系统的位置信息。
可选的，光伏组串可以包括多个光伏组件。
S102：利用预先构建的神经网络模型对所述全景图像进行处理，获得所述全景图像的光伏组串分割结果，所述光伏组串分割结果包括与每个所述光伏组串的图像数据相对应的光伏组串分割掩膜。
在本实施例中，神经网络模型可以是各类型的卷积神经网络，例如，可以是UNet分割网络。
可选的，光伏组串分割掩膜可以指示光伏组串的图像数据在全景图像中的位置，每个光伏组串的图像数据对应一个光伏组串分割掩膜，光伏组串分割掩膜的尺寸、形状和位置可以与该光伏组串分割掩膜对应的图像数据一致。
S103：检测每个所述光伏组串分割掩膜相对于所述全景图像是否存在倾斜。
在本实施例中，可以先对每个光伏组串分割掩膜进行边缘检测，获得边缘直线，然后利用预设的直线检测算法基于光伏组串分割掩膜的边缘直线检测每个光伏组串分割掩膜相对于全景图像是否存在倾斜。
S104：对于每个所述光伏组串分割掩膜，在检测到所述光伏组串分割掩膜相对于所述全景图像存在倾斜的情况下，根据所述光伏组串分割掩膜相对于所述全景图像的倾斜角度，对所述光伏组串分割掩膜对应的图像数据进行旋转校正；对旋转校正后的所述图像数据进行组件分割，并对组件分割后的所述图像数据进行旋转回位，获得所述图像数据的各个光伏组件分割结果。
在本实施例中，可以根据光伏组串分割相对于全景图像的倾斜角度，对光伏组串分割掩膜对应的图像数据进行旋转校正，可以使得光伏组串的图像数据相对于全景图像不存在倾斜，例如，在光伏组串为长方形的情况下，使得图像数据的第一类型边与全景图像的水平线平行或者图像数据的第二类型边与全景图像的垂直线平行等等；可选的，第一类型边的长度大于第二类型边。
可选的，在光伏组串分割掩膜相对于全景图像不存在倾斜的情况下，可以直接对图像数据进行组件分割，得到图像数据的各个光伏组件分割结果。
在本实施例中，可以根据每个光伏组串的图像数据的各个光伏组件分割结果，确定光伏组串中的各个光伏组件在所述全景图像中的位置。具体可以先确定每个光伏组件分割结果相对于图像数据的位置，进而根据光伏组件分割结果相对于图像数据的位置，确定光伏组件分割结果相对于全景图像的位置。
应用本发明实施例提供的方法，检测到光伏组串分割掩膜相对于所述全景图像存在倾斜的情况下，说明光伏组串分割掩膜图像数据也存在倾斜，可以对图像数据进行旋转校正，然后对旋转校正后的图像数据进行组件分割，可以得到初始组件分割结果，然后基于图像数据已旋转的角度，对组件分割后的图像数据进行旋转回位，也即对各个初始组件分割结果进行旋转回位，可以得到精准的光伏组件分割结果。
在本发明提供的一实施例中，基于上述的实施过程，可选的，所述检测每个所述光伏组串分割掩膜相对于所述全景图像是否存在倾斜的过程，如图2所示，包括：
S201：对每个所述光伏组串分割掩膜进行直线检测，获得每个所述光伏组串分割掩膜的直线检测结果。
在本实施例中，可以先对每个光伏组串分割掩膜进行边缘检测，获得每个光伏组串分割掩膜的边缘直线；利用预设的霍夫直线检测算法，基于每个光伏组串分割掩膜的边缘直线，对每个光伏组串分割掩膜进行直线检测，获得每个光伏组串分割掩膜的直线检测结果。
S202：根据每个所述光伏组串分割掩膜的直线检测结果，确定每个所述光伏组串分割掩膜相对于所述全景图像是否存在倾斜。
在本发明提供的一实施例中，基于上述的实施过程，可选的，S201中的对每个所述光伏组串分割掩膜进行直线检测，获得每个所述光伏组串分割掩膜的直线检测结果的过程，如图3所示，包括：
S301：对每个所述光伏组串分割掩膜进行边缘检测，获得每个所述光伏组串分割掩膜的边缘直线。
在本实施例中，边缘直线可以是光伏组串分割掩膜的第一类型边的直线，也可以是第二类型边的直线，第一类型边的长度可以大于第二类型边的长度。
S302：在各个所述光伏组串分割掩膜的边缘直线中确定目标边缘直线。
在本发明提供的一实施例中，基于上述的实施过程，可选的，所述在各个所述光伏组串分割掩膜的边缘直线中确定目标边缘直线，包括：将各个所述光伏组串分割掩膜的边缘直线中最长的直线，确定为目标边缘直线。
在一些实施例中，可以将各个光伏组串分割掩膜的边缘直线中最短的直线，确定为目标边缘直线。
S303：在检测到所述目标边缘直线相对于所述全景图像存在倾斜的情况下，基于所述目标边缘直线相对于所述全景图像的倾斜角度，对各个所述光伏组串分割掩膜以及各个所述光伏组串分割掩膜分别对应的图像数据进行初始旋转校正。
在本实施例中，在各个光伏组串分割掩膜以及各个分割掩膜对应的图像数据进行初始旋转校正，可以使得旋转后的目标边缘直线相对于全景图像的水平线或垂直线不存在倾斜，通过对各个图像数据的初始旋转校正，能够在光伏电站中的光伏组串整体布局方向与地理正方向不一致的情况下，将各个光伏组串的图像数据在全景图像中进行初始旋转校正。
S304：对初始旋转校正后的每个所述光伏组串分割掩膜进行直线检测，获得初始旋转校正后的每个所述光伏组串分割掩膜的直线检测结果。
在本实施例中，可以先检测全景图像中的各个光伏组串的图像数据是否存在整体倾斜，如果是，则可以对所有的光伏组串的图像数据进行旋转，然后再确定每个光伏组串的图像数据相对于全景图像是否存在倾斜，能够有效地提高光伏组串的图像数据校正的效率。
在一些实施例中，在检测到所述目标边缘直线相对于所述全景图像不存在倾斜的情况下，可以检测每个所述光伏组串分割掩膜相对于所述全景图像是否存在倾斜。
在本发明提供的一实施例中，基于上述的实施过程，可选的，所述对初始旋转校正后的每个所述光伏组串分割掩膜进行直线检测，获得初始旋转校正后的每个所述光伏组串分割掩膜的直线检测结果，包括：
对初始旋转校正后的每个所述光伏组串分割掩膜进行边缘检测，获得初始旋转校正后的每个所述光伏组串分割掩膜的边缘直线；
利用预设的霍夫直线检测算法，基于初始旋转校正后的每个所述光伏组串分割掩膜的边缘直线，对初始旋转校正后的每个所述光伏组串分割掩膜进行直线检测，获得每个初始旋转校正后的所述光伏组串分割掩膜的直线检测结果。
在本发明提供的一实施例中，基于上述的实施过程，可选的，所述利用预先构建的神经网络模型对所述全景图像进行处理，获得所述全景图像的光伏组串分割结果的过程，如图4所示，包括：
S401：对全景图像进行切片，获得多个图片块。
在本实施例中，各个图片块的尺寸可以为预设尺寸。
S402：将各个所述图片块输入到预先构建的神经网络模型，由所述神经网络模型预测出每个所述图片块的分割掩膜，并对各个所述分割掩膜进行拼接，得到的全景图像的初始光伏组串分割结果。
S403：对所述初始光伏组串分割结果进行过滤，获得光伏组串分割结果。
在本实施例中，可以利用预设的噪声面积后处理的阈值对初始光伏组串分割结果进行过滤，获得光伏组串分割结果。
可选的，光伏组串分割结果中包括每个光伏组串的图像数据对应一个光伏组串分割掩膜，以及背景掩膜，光伏组串分割掩膜和背景掩膜的颜色不同，例如，光伏组串分割掩膜的颜色可以为白色，背景掩膜的颜色可以为黑色。
在本发明提供的一实施例中，基于上述的实施过程，可选的，构建所述神经网络模型的过程，包括：
获取训练样本集；所述训练样本集包括多张光伏组串的样本图像，每一所述样本图像设置有样本标签。
对所述多张样本图像进行数据增强。
利用数据增强后的所述样本图像对待训练的初始神经网络模型进行训练。
在所述初始神经网络模型满足预设的训练完成条件的情况下，将满足所述训练完成条件的初始神经网络模型，确定为构建好的神经网络模型。
在本实施例中，对各样本图像进行数据增强，能够得到新的样本图像，增加样本图像的数量。
在本实施例中，训练初始神经网络模型的过程可以是，将样本图像输入到初始神经网络模型中，获得初始神经网络模型输出的分割结果；利用预设的损失函数基于分割结果与样本图像的样本标签，计算得到损失函数值，根据损失函数值调整初始神经网络模型的网络参数。
可选的，训练完成条件可以是训练次数满足预设的次数阈值，也可以是初始神经网络模型的预测准确率满足预设的准确率阈值，还可以是损失函数收敛。
在本发明提供的一实施例中，基于上述的实施过程，可选的，所述对旋转校正后的所述图像数据进行组件分割，包括：
获取所述图像数据对应的组件模板。
利用所述图像数据对应的组件模板，对旋转校正后的所述图像数据进行组件分割。
在本实施例中，组件模板可以包括图像数据所属光伏组的各个光伏组件的标识；可选的，通过组件模板对旋转校正后的图像数据进行匹配和填充处理，获得各个初始组件分割结果。
在一些实施例中，在光伏组串分割掩膜不存在倾斜的情况下，可以直接利用图像数据对应的组件模板，对图像数据进行组件分割，得到组件分割结果。
在一些实施例中，获得各个光伏组串的图像数据的组件分割结果之后，可以输出显示包括组件分割结果的全景图像。
与图1所述的方法相对应，本发明实施例还提供了一种图像处理装置，用于对图1中方法的具体实现，本发明实施例提供的图像处理装置应用于电子设备，所述装置的结构示意图如图5所示，具体包括：
获取单元501，用于获取待处理的全景图像；所述全景图像中包含至少一个光伏组串的图像数据；
处理单元502，用于利用预先构建的神经网络模型对所述全景图像进行处理，获得所述全景图像的光伏组串分割结果，所述光伏组串分割结果包括与每个所述光伏组串的图像数据相对应的光伏组串分割掩膜；
检测单元503，用于检测每个所述光伏组串分割掩膜相对于所述全景图像是否存在倾斜；
分割单元504，用于对于每个所述光伏组串分割掩膜，在检测到所述光伏组串分割掩膜相对于所述全景图像存在倾斜的情况下，根据所述光伏组串分割掩膜相对于所述全景图像的倾斜角度，对所述光伏组串分割掩膜对应的图像数据进行旋转校正；对旋转校正后的所述图像数据进行组件分割，并对组件分割后的所述图像数据进行旋转回位，获得所述图像数据的各个光伏组件分割结果；所述光伏组件分割结果表示所述图像数据所属的光伏组串中的光伏组件在所述全景图像中的位置。
在本发明提供的一实施例中，基于上述的方案，可选的，所述检测单元503，包括：
检测子单元，用于对每个所述光伏组串分割掩膜进行直线检测，获得每个所述光伏组串分割掩膜的直线检测结果；
第一确定子单元，用于根据每个所述光伏组串分割掩膜的直线检测结果，确定每个所述光伏组串分割掩膜相对于所述全景图像是否存在倾斜。
在本发明提供的一实施例中，基于上述的方案，可选的，所述检测子单元，包括：
边缘检测模块，用于对每个所述光伏组串分割掩膜进行边缘检测，获得每个所述光伏组串分割掩膜的边缘直线；
确定模块，用于在各个所述光伏组串分割掩膜的边缘直线中确定目标边缘直线；
初始旋转校正模块，用于在检测到所述目标边缘直线相对于所述全景图像存在倾斜的情况下，基于所述目标边缘直线相对于所述全景图像的倾斜角度，对各个所述光伏组串分割掩膜以及各个所述光伏组串分割掩膜分别对应的图像数据进行初始旋转校正；
直线检测模块，用于对初始旋转校正后的每个所述光伏组串分割掩膜进行直线检测，获得初始旋转校正后的每个所述光伏组串分割掩膜的直线检测结果。
在本发明提供的一实施例中，基于上述的方案，可选的，所述确定模块，包括：
确定子模块，用于将各个所述光伏组串分割掩膜的边缘直线中最长的直线，确定为目标边缘直线。
在本发明提供的一实施例中，基于上述的方案，可选的，所述直线检测模块，包括：
边缘检测子模块，用于对初始旋转校正后的每个所述光伏组串分割掩膜进行边缘检测，获得初始旋转校正后的每个所述光伏组串分割掩膜的边缘直线；
直线检测子模块，用于利用预设的霍夫直线检测算法，基于初始旋转校正后的每个所述光伏组串分割掩膜的边缘直线，对初始旋转校正后的每个所述光伏组串分割掩膜进行直线检测，获得每个初始旋转校正后的所述光伏组串分割掩膜的直线检测结果。
在本发明提供的一实施例中，基于上述的方案，可选的，所述处理单元502，包括：
第一处理子单元，用于对全景图像进行切片，获得多个图片块；
第二处理子单元，用于将各个所述图片块输入到预先构建的神经网络模型，由所述神经网络模型预测出每个所述图片块的分割掩膜，并对各个所述分割掩膜进行拼接，得到的全景图像的初始光伏组串分割结果；
过滤子单元，用于对所述初始光伏组串分割结果进行过滤，获得光伏组串分割结果。
在本发明提供的一实施例中，基于上述的方案，可选的，处理单元502，包括：
第一获取子单元，用于获取训练样本集；所述训练样本集包括多张光伏组串的样本图像，每一所述样本图像设置有样本标签；
数据增强子单元，用于对所述多张样本图像进行数据增强；
训练子单元，用于利用数据增强后的所述样本图像对待训练的初始神经网络模型进行训练；
第二确定子单元，用于在所述初始神经网络模型满足预设的训练完成条件的情况下，将满足所述训练完成条件的初始神经网络模型，确定为构建好的神经网络模型。
在本发明提供的一实施例中，基于上述的方案，可选的，所述分割单元504，包括：
第二获取子单元，用于获取所述图像数据对应的组件模板；
分割子单元，用于利用所述图像数据对应的组件模板，对旋转校正后的所述图像数据进行组件分割。
上述本发明实施例公开的图像处理装置中的各个单元和模块具体的原理和执行过程，与上述本发明实施例公开的图像处理方法相同，可参见上述本发明实施例提供的图像处理方法中相应的部分，这里不再进行赘述。
本发明实施例还提供了一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行上述图像处理方法。
本发明实施例还提供了一种电子设备，其结构示意图如图6所示，具体包括存储器601，以及一个或者一个以上的指令602，其中一个或者一个以上指令602存储于存储器601中，且经配置以由一个或者一个以上处理器603执行所述一个或者一个以上指令602进行以下操作：
获取待处理的全景图像；所述全景图像中包含至少一个光伏组串的图像数据；
利用预先构建的神经网络模型对所述全景图像进行处理，获得所述全景图像的光伏组串分割结果，所述光伏组串分割结果包括与每个所述光伏组串的图像数据相对应的光伏组串分割掩膜；
检测每个所述光伏组串分割掩膜相对于所述全景图像是否存在倾斜；
对于每个所述光伏组串分割掩膜，在检测到所述光伏组串分割掩膜相对于所述全景图像存在倾斜的情况下，根据所述光伏组串分割掩膜相对于所述全景图像的倾斜角度，对所述光伏组串分割掩膜对应的图像数据进行旋转校正；对旋转校正后的所述图像数据进行组件分割，并对组件分割后的所述图像数据进行旋转回位，获得所述图像数据的各个光伏组件分割结果；所述光伏组件分割结果表示所述图像数据所属的光伏组串中的光伏组件在所述全景图像中的位置。
参见图7，为本发明实施例提供的一种图像处理过程的流程图，包括全局组串自校正部分和局部组串自校正部分；通过对全景图像组串分割的全局组串掩膜和每个组串掩膜的倾角计算，再进行逆旋转的组件分割和回位操作，对全景图像中的每个组件进行精细化分割。具体如下：
(1)全景图像组串分割。
在本实施例中，可以对无人机拍摄的多张可见光图像经过数据标注，数据增强和分块切片后输入至UNET的分割网络中进行模型的训练，经迭代优化后获取到最优模型。单张全景图像经过图像切片成小块，对单张全景图像的多个小块图像进行模型的推理预测出多个小块的分割掩膜，多张分割掩膜经图像拼接后输出单张全景图像的分割掩膜，再经噪声面积后处理的阈值过滤后获得全局精细化的分割掩膜。掩膜中每个白色块区域标记组串的分割结果，黑色区域被标记为背景。
(2)全局组串自校正。针对屋顶光伏电站的各光伏组串整体倾斜问题，可以参见图7中的全局组串自校正部分和图8，先对全局组串的分割掩膜进行边缘检测和霍夫直线检测来获取图像整体倾斜角度，之后对全局图像进行逆旋转，再进行组串中的组件分割，再对分割后的结果进行逆旋转回去，已获得精细化的组串和组件分割结果。
(3)局部组串自校正回位分割。局部组串中的组件自校正回位的流程，可以参见图7中的局部组串自校正部分和图9，针对全景图像中的每个组串掩膜，通过霍夫直线检测计算单个组串相对于全景图像的倾角；对每个组串进行逆旋转的校正；对校正后的组串进行组件分割；对经校正后的组件分割结果再进行一次逆旋转回位，获得精准的组件分割结果。
在本实施例中，通过组串分割能精准的扣取全景图像中每个组串的位置信息，再通过组件分割算法，即可获取每个组件对应于全景图像的位置信息。具体地，组串分割后，对扣取的每个可见光组串进行自动的模板扣取，以获取每个组串框内的独立的组件模板。同时对于存在拍摄倾斜的全景图像，进行图像逆旋转的自校正回位处理。摆正后的单个组串，经过独立组件模板的匹配和填充等处理，获取每个组件相对于组串的位置信息。最终输出每个组件的相对于整个全景图像的位置信息。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上对本发明所提供的一种图像处理方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取待处理的全景图像；所述全景图像中包含至少一个光伏组串的图像数据；
利用预先构建的神经网络模型对所述全景图像进行处理，获得所述全景图像的光伏组串分割结果，所述光伏组串分割结果包括与每个所述光伏组串的图像数据相对应的光伏组串分割掩膜；
检测每个所述光伏组串分割掩膜相对于所述全景图像是否存在倾斜；
对于每个所述光伏组串分割掩膜，在检测到所述光伏组串分割掩膜相对于所述全景图像存在倾斜的情况下，根据所述光伏组串分割掩膜相对于所述全景图像的倾斜角度，对所述光伏组串分割掩膜对应的图像数据进行旋转校正；对旋转校正后的所述图像数据进行组件分割，并对组件分割后的所述图像数据进行旋转回位，获得所述图像数据的各个光伏组件分割结果。
2.根据权利要求1所述的方法，其特征在于，所述检测每个所述光伏组串分割掩膜相对于所述全景图像是否存在倾斜，包括：
对每个所述光伏组串分割掩膜进行直线检测，获得每个所述光伏组串分割掩膜的直线检测结果；
根据每个所述光伏组串分割掩膜的直线检测结果，确定每个所述光伏组串分割掩膜相对于所述全景图像是否存在倾斜。
3.根据权利要求2所述的方法，其特征在于，所述对每个所述光伏组串分割掩膜进行直线检测，获得每个所述光伏组串分割掩膜的直线检测结果，包括：
对每个所述光伏组串分割掩膜进行边缘检测，获得每个所述光伏组串分割掩膜的边缘直线；
在各个所述光伏组串分割掩膜的边缘直线中确定目标边缘直线；
在检测到所述目标边缘直线相对于所述全景图像存在倾斜的情况下，基于所述目标边缘直线相对于所述全景图像的倾斜角度，对各个所述光伏组串分割掩膜以及各个所述光伏组串分割掩膜分别对应的图像数据进行初始旋转校正；
对初始旋转校正后的每个所述光伏组串分割掩膜进行直线检测，获得初始旋转校正后的每个所述光伏组串分割掩膜的直线检测结果。
4.根据权利要求3所述的方法，其特征在于，所述在各个所述光伏组串分割掩膜的边缘直线中确定目标边缘直线，包括：
将各个所述光伏组串分割掩膜的边缘直线中最长的直线，确定为目标边缘直线。
5.根据权利要求3所述的方法，其特征在于，所述对初始旋转校正后的每个所述光伏组串分割掩膜进行直线检测，获得初始旋转校正后的每个所述光伏组串分割掩膜的直线检测结果，包括：
对初始旋转校正后的每个所述光伏组串分割掩膜进行边缘检测，获得初始旋转校正后的每个所述光伏组串分割掩膜的边缘直线；
利用预设的霍夫直线检测算法，基于初始旋转校正后的每个所述光伏组串分割掩膜的边缘直线，对初始旋转校正后的每个所述光伏组串分割掩膜进行直线检测，获得每个初始旋转校正后的所述光伏组串分割掩膜的直线检测结果。
6.根据权利要求1所述的方法，其特征在于，所述利用预先构建的神经网络模型对所述全景图像进行处理，获得所述全景图像的光伏组串分割结果，包括：
对全景图像进行切片，获得多个图片块；
将各个所述图片块输入到预先构建的神经网络模型，由所述神经网络模型预测出每个所述图片块的分割掩膜，并对各个所述分割掩膜进行拼接，得到的全景图像的初始光伏组串分割结果；
对所述初始光伏组串分割结果进行过滤，获得光伏组串分割结果。
7.根据权利要求1所述的方法，其特征在于，构建所述神经网络模型的过程，包括：
获取训练样本集；所述训练样本集包括多张光伏组串的样本图像，每一所述样本图像设置有样本标签；
对所述多张样本图像进行数据增强；
利用数据增强后的所述样本图像对待训练的初始神经网络模型进行训练；
在所述初始神经网络模型满足预设的训练完成条件的情况下，将满足所述训练完成条件的初始神经网络模型，确定为构建好的神经网络模型。
8.根据权利要求1所述的方法，其特征在于，所述对旋转校正后的所述图像数据进行组件分割，包括：
获取所述图像数据对应的组件模板；
利用所述图像数据对应的组件模板，对旋转校正后的所述图像数据进行组件分割。
9.一种图像处理装置，其特征在于，包括：
获取单元，用于获取待处理的全景图像；所述全景图像中包含至少一个光伏组串的图像数据；
处理单元，用于利用预先构建的神经网络模型对所述全景图像进行处理，获得所述全景图像的光伏组串分割结果，所述光伏组串分割结果包括与每个所述光伏组串的图像数据相对应的光伏组串分割掩膜；
检测单元，用于检测每个所述光伏组串分割掩膜相对于所述全景图像是否存在倾斜；
分割单元，用于对于每个所述光伏组串分割掩膜，在检测到所述光伏组串分割掩膜相对于所述全景图像存在倾斜的情况下，根据所述光伏组串分割掩膜相对于所述全景图像的倾斜角度，对所述光伏组串分割掩膜对应的图像数据进行旋转校正；对旋转校正后的所述图像数据进行组件分割，并对组件分割后的所述图像数据进行旋转回位，获得所述图像数据的各个光伏组件分割结果。
10.一种电子设备，其特征在于，包括存储器，以及一个或者一个以上的指令，其中一个或一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行如权利要求1～8任意一项所述的图像处理方法。
CN202211725028.2A 2022-12-30 2022-12-30 图像处理方法、装置及电子设备 Pending CN116129114A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211725028.2A CN116129114A (zh) 2022-12-30 2022-12-30 图像处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211725028.2A CN116129114A (zh) 2022-12-30 2022-12-30 图像处理方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN116129114A true CN116129114A (zh) 2023-05-16

Family

ID=86300290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211725028.2A Pending CN116129114A (zh) 2022-12-30 2022-12-30 图像处理方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN116129114A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117333374A (zh) * 2023-10-26 2024-01-02 深圳市海恒智能股份有限公司 一种基于图像直线段信息的书脊图像校正方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117333374A (zh) * 2023-10-26 2024-01-02 深圳市海恒智能股份有限公司 一种基于图像直线段信息的书脊图像校正方法

Similar Documents

Publication Publication Date Title
CN108009543B (zh) 一种车牌识别方法及装置
CN111507958B (zh) 目标检测方法、检测模型的训练方法及电子设备
CN111310746B (zh) 文本行检测方法、模型训练方法、装置、服务器及介质
CN111368615B (zh) 一种违章建筑预警方法、装置及电子设备
CN111311485B (zh) 图像处理方法及相关装置
CN110782469A (zh) 一种视频帧图像分割方法、装置、电子设备及存储介质
CN111383204A (zh) 视频图像融合方法、融合装置、全景监控系统及存储介质
CN116129114A (zh) 图像处理方法、装置及电子设备
WO2023207064A1 (zh) 基于弱光补偿的MaskRCNN渗水检测方法及系统
CN110827301B (zh) 用于处理图像的方法和装置
CN115797336A (zh) 光伏组件的故障检测方法、装置、电子设备和存储介质
CN114880730A (zh) 确定目标设备的方法、装置及光伏系统
CN113807185B (zh) 一种数据处理方法和装置
CN111241891B (zh) 一种人脸图像切图方法、装置及计算机可读存储介质
CN116994068A (zh) 一种基于知识蒸馏的目标检测方法及装置
CN112288730A (zh) 基于人工智能的光伏电池板表面缺陷定位方法及装置
WO2024021081A1 (zh) 一种检测产品表面缺陷的方法和装置
CN111862196A (zh) 检测平板物体的通孔的方法、装置和计算机可读存储介质
US20190278998A1 (en) Object region identifying apparatus, object region identifying method, and computer program product
CN115661097A (zh) 一种物体表面缺陷检测方法及系统
CN113921412A (zh) 一种晶圆中晶片周期的计算方法、装置和设备
CN114359931A (zh) 一种快递面单识别方法、装置、计算机设备及存储介质
CN114037822A (zh) 一种行驶证检测方法和系统
CN112258563A (zh) 图像对齐方法、装置、电子设备及存储介质
CN111881791A (zh) 一种安防识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 230000 office buildings 201 and 301 of sunshine power supply Co., Ltd., No. 2 Tianhu Road, high tech Zone, Hefei, Anhui Province

Applicant after: Sunshine Zhiwei Technology Co.,Ltd.

Address before: Room 201 and 301, office building of Sunshine Power Supply Co., Ltd., No. 2, Tianhu Road, High-tech Zone, Hefei City, Anhui Province, 230088

Applicant before: Sunshine Zhiwei Technology Co.,Ltd.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination