CN116051549B - 一种太阳能电池片缺陷分割方法、系统、介质及设备 - Google Patents

一种太阳能电池片缺陷分割方法、系统、介质及设备 Download PDF

Info

Publication number
CN116051549B
CN116051549B CN202310314704.5A CN202310314704A CN116051549B CN 116051549 B CN116051549 B CN 116051549B CN 202310314704 A CN202310314704 A CN 202310314704A CN 116051549 B CN116051549 B CN 116051549B
Authority
CN
China
Prior art keywords
defect
image
information
feature map
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310314704.5A
Other languages
English (en)
Other versions
CN116051549A (zh
Inventor
田崇翼
曹玉康
庞丹丹
严毅
王瑞琪
冯媛媛
阎俏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jianzhu University
Original Assignee
Shandong Jianzhu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jianzhu University filed Critical Shandong Jianzhu University
Priority to CN202310314704.5A priority Critical patent/CN116051549B/zh
Publication of CN116051549A publication Critical patent/CN116051549A/zh
Application granted granted Critical
Publication of CN116051549B publication Critical patent/CN116051549B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明属于光伏缺陷图像分割领域，提供一种太阳能电池片缺陷分割方法、系统、介质及设备，获取太阳能电池片缺陷图像并进行预处理；基于分层结构的编码器对预处理后缺陷图像进行切割并进行编码，提取预处理后缺陷图像多个层次的特征信息，得到与原始图像不同大小分辨率的特征图，即缺陷多级特征图；利用解码器通过线性操作和上采样操作对缺陷多级特征图进行解码，得到解码后的缺陷多级特征图；利用分层残差的方式将解码后的缺陷多级特征图中高分辨率信息与低分辨率信息进行融合，得到待分割缺陷图像；基于待分割缺陷图像进行缺陷分割，得到分割后的太阳能电池片缺陷图像。本发明解决太阳能电池板表面缺陷分割精度与速度不均衡问题。

Description

一种太阳能电池片缺陷分割方法、系统、介质及设备
技术领域
本发明属于光伏缺陷图像分割技术领域，具体涉及一种太阳能电池片缺陷分割方法、系统、介质及设备。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
许多方法都采用传统的图像处理技术与机器学习算法来提取光伏缺陷图像的关键特征，并对缺陷特征的像素包括长度、宽度以及面积进行识别。包括基于区域特征采用一系列阈值对缺陷进行分割。并在之后相继出现了基于自适应阈值的方法，聚类、基于灰度变化率的低对比度缺陷分割算法。而计算机视觉的发展为缺陷分割提供了更加细粒化的工具，尤其是基于OpenCV（计算机视觉与机器学习软件库）的缺陷分割算法，而近些年所出现的PVT（金字塔视觉转换器）、PVT v2（基于金字塔视觉转换器改进的基线）、DeepLab（基于深度卷积网络与空洞卷积的语义分割网络）、SCNet(自校正卷积网络)以及Segmenter（语义分割转换器）等算法更是将计算机视觉技术的应用推向了高潮。
总的来说，无论是传统的图像处理技术，还是如今蓬勃发展的计算机视觉技术，都需要将分割算法的精度以及速度放在首位，将光伏缺陷快速且精确地分割出来，可以有效减少人工成本，改善建筑的用能情况。但是，对于目前建筑光伏分割领域，还是存在太阳能电池板表面缺陷分割算法精度与速度不够均衡的问题。
发明内容
为了解决上述问题，本发明提出了一种太阳能电池片缺陷分割方法、系统、介质及设备，本发明主要针对太阳能电池板表面缺陷分割精度与速度不均衡等问题，运用编码器-解码器的思想，同时受实时语义分割模型的启发，改进信息聚合模块用于融合上下文信息，使其具备更丰富的缺陷语义特征。
根据一些实施例，本发明的第一方案提供了一种太阳能电池片缺陷分割方法，采用如下技术方案：
一种太阳能电池片缺陷分割方法，包括：
获取太阳能电池片缺陷图像并进行预处理；
基于分层结构的编码器对预处理后缺陷图像进行切割并进行编码，提取预处理后缺陷图像多个层次的特征信息，得到与原始图像不同大小分辨率的特征图，即缺陷多级特征图；
利用解码器通过线性操作和上采样操作对缺陷多级特征图进行解码，得到解码后的缺陷多级特征图；
利用分层残差的方式将解码后的缺陷多级特征图中高分辨率信息与低分辨率信息进行融合，得到待分割缺陷图像；
基于待分割缺陷图像进行缺陷分割，得到分割后的太阳能电池片缺陷图像。
进一步地，所述基于分层结构的编码器对预处理后缺陷图像进行切割并进行编码，提取预处理后缺陷图像多个层次的特征信息，具体为：
将预处理后缺陷图像进行补丁嵌入，得到缺陷补丁；
利用卷积操作对缺陷补丁进行重叠补丁合并，得到合并序列；
针对合并序列利用自注意力机制进行特征提取，得到合并序列的自注意力特征；
基于合并序列的自注意力特征，利用混合前馈网络模型学习缺陷特征的位置信息，得到缺陷图像的一层次特征信息；
采用不同于第一次编码的缩减比，重复三次上述过程，得到不同层次的特征信息。
进一步地，所述混合前馈网络模型学习缺陷特征的位置信息，具体为：
将合并序列的自注意力特征输入值第一多层感知机中进行非线性分类；
对非线性分类后的特征采用深度可分离卷积操作处理；
经过深度可分离卷积操作的数据再依次经过激活函数和第二多层感知机的操作处理；
将第二多层感知机的输出与合并序列的注意力特征进行叠加操作，得到缺陷图像的一层次特征信息。
进一步地，所述混合前馈网络模型学习缺陷特征的位置信息，具体为：
；
其中，是指自注意力的特征，/>代表多层感知机，/>代表深度可分离卷积操作，/>指激活函数操作。
进一步地，利用解码器通过线性操作和上采样操作对缺陷多级特征图进行解码，得到解码后的缺陷多级特征图，具体为：
将编码器所产生的四组特征都输入至多层感知层；
通过一个线性层投射到相应的维度，使用双线性插值上采样，直至其恢复到第一个阶段的分辨率；
将多层感知层输出的四组特征在通道维度上进行拼接，再经过一个线性层进行拼接，得到解码后的缺陷多级特征图。
进一步地，所述利用分层残差的方式将解码后的缺陷多级特征图中高分辨率信息与低分辨率信息进行融合，得到待分割缺陷图像，具体为：
将解码后的缺陷多级特征图分别通过不同内核及步长的卷积进行下采样，缩减每个尺度的通道数，得到不同分辨率的特征图；
通过卷积操作将下采样后的不同分辨率的特征图进行上采样，放大特征图；
利用多个卷积以及分层残差方式融合解码后的缺陷多级特征图中不同尺度的上下文信息，并与上采样后的特征图进行并行连接，得到待分割缺陷图像。
进一步地，基于聚合后的语义信息进行缺陷分割，得到分割后的太阳能电池片缺陷图像，具体为：
基于待分割缺陷图像进行插值操作；
将插值操作后的图像进行上采样至太阳能电池片缺陷图像大小；
得到分割后的太阳能电池片缺陷图像。
根据一些实施例，本发明的第二方案提供了一种太阳能电池片缺陷分割系统，采用如下技术方案：
一种太阳能电池片缺陷分割系统，包括：
数据采集与处理模块，被配置为获取太阳能电池片缺陷图像并进行预处理；
模型编码模块，被配置为基于分层结构的编码器对预处理后缺陷图像进行切割并进行编码，提取预处理后缺陷图像多个层次的特征信息，得到与原始图像不同大小分辨率的特征图，即缺陷多级特征图；
模型解码模块，被配置为利用解码器通过线性操作和上采样操作对缺陷多级特征图进行解码，得到解码后的缺陷多级特征图；
信息聚合模块，被配置为利用分层残差的方式将解码后的缺陷多级特征图中高分辨率信息与低分辨率信息进行融合，得到待分割缺陷图像；
光伏缺陷分割模块，被配置为基于待分割缺陷图像进行缺陷分割，得到分割后的太阳能电池片缺陷图像。
根据一些实施例，本发明的第三方案提供了一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的一种太阳能电池片缺陷分割方法中的步骤。
根据一些实施例，本发明的第四方案提供了一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的一种太阳能电池片缺陷分割方法中的步骤。
与现有技术相比，本发明的有益效果为：
本发明将采集到的缺陷图像或者视频处理作为输入，利用模型编码器的重叠补丁操作以及多层Transformer编码器结构进行特征编码与提取，同时模型解码器简单的线性与上采样操作不仅最大限度地保留了有关光伏缺陷的特征信息，在未使用复杂卷积的情况下大幅减少了解码器的参数量与计算量。最后使用的信息聚合模块在原有模块的基础上增加了并行连接，并减少了不同尺度的通道数，这在保证上下文信息融合的同时也进一步提高了模型的推理速度。此外，与现有的缺陷分割系统中的模型相比，在计算内存以及空间分辨率方面更加友好，主要表现在以往的模型对固定分辨率的图像采用位置编码，但在测试阶段大多是不同分辨率的图片，如果继续使用位置插值会造成精度的下降，因此本发明采用重叠补丁合并的方法，将输入图像切割为较小的小块，通过设置补丁大小、跨度等参数使补丁进行重叠合并，得到与不重叠过程相同大小的特征。最终系统无需外部传感器就可实现对光伏表面缺陷的类别划分和像素级确切分割。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例中一种太阳能电池片缺陷分割方法流程图；
图2是本发明实施例中太阳能电池片缺陷分割模型结构示意图；
图3是本发明实施例中混合前馈网络结构示意图；
图4是本发明实施例中信息聚合模块结构示意图；
图5是本发明实施例中一种太阳能电池片缺陷分割系统结构示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
如图1所示，本实施例提供了一种太阳能电池片缺陷分割方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器和系统，并通过终端和服务器的交互实现。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务器、云通信、中间件服务、域名服务、安全服务CDN（CDN的全称是Content Delivery Network，即内容分发网络）、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本发明在此不做限制。本实施例中，该方法包括以下步骤：
获取太阳能电池片缺陷图像并进行预处理；
基于分层结构的编码器对预处理后缺陷图像进行切割并进行编码，提取预处理后缺陷图像多个层次的特征信息，得到与原始图像不同大小分辨率的特征图，即缺陷多级特征图；
利用解码器通过线性操作和上采样操作对缺陷多级特征图进行解码，得到解码后的缺陷多级特征图；
利用分层残差的方式将解码后的缺陷多级特征图中高分辨率信息与低分辨率信息进行融合，得到待分割缺陷图像；
基于待分割缺陷图像进行缺陷分割，得到分割后的太阳能电池片缺陷图像。
其中，所述基于分层结构的编码器对预处理后缺陷图像进行切割并进行编码，提取预处理后缺陷图像多个层次的特征信息，具体为：
将预处理后缺陷图像进行补丁嵌入，得到缺陷补丁；
利用卷积操作对缺陷补丁进行重叠补丁合并，得到合并序列；
针对合并序列利用自注意力机制进行特征提取，得到合并序列的自注意力特征；
基于合并序列的自注意力特征，利用混合前馈网络模型学习缺陷特征的位置信息，得到缺陷图像的一层次特征信息；
采用不同于第一次编码的缩减比，重复三次上述过程，得到不同层次的特征信息。
所述前馈网络结构学习缺陷特征的位置信息，具体为：
将合并序列的自注意力特征输入值第一多层感知机中进行非线性分类；
对非线性分类后的特征采用深度可分离卷积操作处理；
经过深度可分离卷积操作的数据再依次经过激活函数和第二多层感知机的操作处理；
将第二多层感知机的输出与合并序列的注意力特征进行叠加操作，得到缺陷图像的一层次特征信息。
具体地，利用解码器通过线性操作和上采样操作对缺陷多级特征图进行解码，得到解码后的缺陷多级特征图，具体为：
将编码器所产生的四组特征都输入至多层感知层；
通过一个线性层投射到相应的维度，使用双线性插值上采样，直至其恢复到第一个阶段的分辨率；
将多层感知层输出的四组特征在通道维度上进行拼接，再经过一个线性层进行拼接，得到解码后的缺陷多级特征图。
所述利用分层残差的方式将解码后的缺陷多级特征图中高分辨率信息与低分辨率信息进行融合，得到待分割缺陷图像，具体为：
将解码后的缺陷多级特征图分别通过不同内核及步长的卷积进行下采样，缩减每个尺度的通道数，得到不同分辨率的特征图；
通过卷积操作将下采样后的不同分辨率的特征图进行上采样，放大特征图；
利用多个卷积以及分层残差方式融合解码后的缺陷多级特征图中不同尺度的上下文信息，并与上采样后的特征图进行并行连接，得到待分割缺陷图像。
基于缺陷特征图进行缺陷分割，得到分割后的太阳能电池片缺陷图像，具体为：
基于待分割缺陷图像进行插值操作；
将插值操作后的图像进行上采样至太阳能电池片缺陷图像大小；
得到分割后的太阳能电池片缺陷图像。
将信息聚合模块输出的缺陷特征图输入分割模块进行插值操作，将其上采样至原图像大小，最终得到分割后的太阳能电池片缺陷图像。
本实施例运用编码器-解码器的思想，同时受实时语义分割模型的启发，改进信息聚合模块用于融合上下文信息，使其具备更丰富的缺陷语义特征。其中，模型编码器的输出作为模型解码器的输入，对从缺陷图像中得到的多级特征信息进行编码与解码等操作。编码器模块中的多层Transformer（转换器模型）编码器将从输入的缺陷图像提取多个层次的特征信息，得到与原始图像不同分辨率大小的特征图，完成编码过程。模型解码器则采用简单的线性与上采样操作，没有使用多余的复杂卷积等操作，因而具有较少的参数量与计算量。其次，该发明使用的信息聚合模块相较于原有模块增加了并行连接，并且减少了每个尺度特征信息的通道数，可以在提高信息融合能力的同时提高推理速度。
此外，在以往使用模型编码器-解码器结构的光伏缺陷分割过程中，部分编码过程仍然采用固定分辨率的位置编码，这对于不同分辨率的缺陷图像则会导致效率低且不灵活。本发明所使用的模型编码器采用重叠补丁合并以及多层Ttansformer编码器的结构，在输入图片切割环节保持了局部连续性，同时多层结构也有助于模型在多个尺度对特征信息进行提取，从而得到高分辨率的粗粒度特征和低分辨率的细粒度特征，有效提升对缺陷信息的关注度。
本实施例所述的方法，具体包括：
数据采集与处理过程，通过利用高分辨率的工业摄像机来实时捕获太阳能电池板表面的视频。其中摄像头平行于建筑分布式光伏的太阳能电池板表面进行视频的采集，同时将采集后的视频帧进行格式转换，数据增强，并对图像尺寸、大小以及分辨率进行处理，标记裂缝缺陷类型，最终得到带有类别标签的缺陷图像，按照9:1的比例划分训练集与验证集，至此，数据集制作完毕。
模型编码器则主要对数据采集与处理模块输入的训练集样本进行编码，包括切割图片为若干个小的补丁，按照补丁大小、跨度等参数进行重叠合并处理，使其保持局部的连续性。之后经过四层Transformer编码器进行处理，分别得到多个层级的缺陷特征信息，即高分辨率的粗粒度特征和低分辨率的细粒度特征。
模型解码器则依赖于简单的线性层与上采样操作对缺陷特征进行解码，由于模型编码器具有强大的有效接收域，因此在解码器中采用简单高效的操作，将多层特征进行融合。
信息聚合过程则利用分层残差的方式来融合不同尺度的上下文信息，并缩减通道数、增加并行连接，在保证融合上下文信息的同时提高推理速度。
缺陷分割的过程则依据信息聚合模块中的输出对缺陷类型进行分割。
如图2所示，基于改进Segformer（基于分层转换器的语义分割模型）的光伏缺陷分割模型的具体原理如下：
步骤1：利用重叠补丁嵌入对输入图像进行处理，并输入Transformer编码器1进行操作。
光伏表面缺陷数据集首先经过重叠补丁嵌入与合并操作进行图像处理，由H×W×3的原始图像划分为4×4大小的补丁，并进行重叠合并操作。最终得到N×C即H/4×W/4×C大小的输出。与原始方法所划分的16×16大小的补丁不同，本次所划分的4×4大小的补丁更加适用于密集预测任务。其中N为序列长度，C为通道数。
步骤11：对于给定输入大小为H×W×3的缺陷图像，补丁嵌入层将其处理为4×4大小的补丁，即补丁的分辨率为4×4，所得到的序列长度为N个4×4大小的补丁。
步骤12：之后输入Transformer编码器1中进行重叠补丁合并，在步骤11的基础上，分别使用卷积核大小K为7，步长S为4，扩充P为3以及卷积核大小K为3，步长S为2，扩充P为3的卷积操作实现对缺陷图像的补丁合并操作，同时将该序列的维度投射为给定维度（通道数）C，最终得到N×C大小的序列，其中N=H×W，该步骤的主要目的是在将图片切割为补丁的同时通过重叠合并操作保留其局部连续性。
步骤13：针对重叠补丁合并操作所得到的N×C序列，自注意力是指将数据特征映射为Q，K，V三个空间表示，每个头的Q，K，V都有相同的维数N×C，其中N=H×W，自注意力的计算公式为：
；
其中，V是表示输入特征的向量，Q、K是计算注意力权重的特征向量，Softmax操作是指使权重概率分布和为1。是指注意力的原始分数，即Q与K的相关性系数。是指缩放系数，使结果不至于过大或过小，导致Softmax之后就非0即1。自注意力的原理为对Q和K计算相似度，将这个相似度值通过Softmax操作进行得到一组权重，根据这组权重与对应V的乘积求和得到注意力下的V值。
但对于本发明中所使用的高效自注意力机制而言，引用缩减比R来缩短序列长度。
；
；
其中，K是要缩减的序列，是指将K变形为/>。表示输入通道数为/>，输出通道数为C的线性层。因此，新的K的维度就变为/>。在本发明所使用的四个Transformer编码器中，缩减比R分别设为64，16，4，1。
本步骤的主要目的是在模型面对大分辨率图像时降低自注意力的计算复杂度。
步骤14：混合前馈网络的结构如图3所示。主要包括多层感知机、深度可分离卷积与GELU激活函数。
具体原理为将自注意力的特征输出至多层感知机中，再使用深度可分离卷积操作，经过一个GELU激活函数，再通过多层感知机操作，最后将输出和原始输入值进行叠加操作，作为混合前馈网络的总输出。
该步骤的公式为：
；
其中，是指自注意力的特征输出，/>代表多层感知机，/>代表深度可分离卷积操作，该卷积与正常的3×3卷积相比可以提高计算速度，并减少参数量，指激活函数操作。
该步骤的主要目的为利用深度可分离卷积来学习缺陷特征的位置信息，该操作可以有效避免原有位置编码在需要插值时所造成的精度下降问题。
最终在经过补丁嵌入以及Transformer编码器1后的输出大小为。其中，/>是指在经过Transformer编码器1后的通道数。至此，第一个阶段完成。
步骤2：需要注意的是，本发明将编码器部分共分为四个阶段，步骤1为第一个阶段，每个阶段都由如图2所示的重叠补丁嵌入以及一个Transformer编码器组成。后续阶段的操作除了与第一阶段的缩减比不同之外，其他都相同，因此可以分别利用Transformer编码器2，3，4进行步骤12~14的操作，分别获得原始图像分辨率{1/8、1/16、1/32}的多级特征，即图2中所标记的大小分别为、/>、/>的多级特征输出。/>分别是指经过Transformer编码器2，3，4之后的通道数。
步骤3：将编码器部分所得到的多级特征输入至多层感知层进行解码。
将编码器部分所产生的四组特征都输入至多层感知层，每组特征在进入多层感知层之后会首先通过一个线性层投射到原始的统一维度（通道）C，之后使用双线性插值上采样，直至其恢复到第一个阶段的分辨率，此时的通道数由C变为4C，之后将多层感知层输出的四组特征在通道维度上进行压缩拼接到通道C，再经过一个线性层进行拼接，最终输出。具体公式如下：
；
；
；
；
其中，是指第i个编码器所产生的多尺度特征，i是第i个编码器，i=1,2,3,4，/>是第i个编码器的通道数；/>是指分别以/>为输入向量维数和输出向量维数的线性层，F是多层感知层输出的四组特征在通道维度上进行压缩拼接后的特征；Concat是指拼接操作，/>是指类别数，M为预测掩模，Upsample是指上采样操作，H、W、C分别指原始图像特征的高度、宽度以及通道数。
步骤4：将解码器的输出M输入至信息聚合模块进行上下文信息的聚合，使之输出更为丰富的语义信息。如图4所示，信息聚合模块的输入设置为1/48分辨率的特征图，将输入分别通过不同内核及步长的卷积进行下采样，得到1/48、1/96、1/192、1/384分辨率的特征图，相较于原始模块缩减了每个尺度的通道数，以提高推理速度。之后通过1×1卷积将下采样后的特征图进行上采样，放大特征图。再利用多个3×3卷积以分层残差方式融合不同尺度的上下文信息，同时增加了1×1卷积与上采样后的并行连接，缩短计算时间。此外，信息聚合模块还增加了深度可分离卷积作为捷径，便于进行优化。
最后进行整个模型的训练，并使用测试集测试模型分割效果，最终由缺陷分割模块依据信息聚合模块的输出分割光伏表面缺陷，得到分割结果。
在模型搭建完成后，整体的模型结构相较于原有的语义分割模型，在推理速度以及计算复杂度等方面均有较大提升，为模型训练降低了不必要的计算成本，使得网络在精度以及效率方面得到较大的优化，充分发挥了简单高效的编码器-解码器结构的优势，并展现了信息聚合模块的效果。
本实施例使缺陷分割变得更加简单高效，在投入使用之后，将主要针对光伏的裂缝缺陷进行识别与分割，帮助工作人员及时发现太阳能电池板所存在的缺陷。首先利用分层Transformer结构，避免位置编码时插值所引起的模型性能下降的问题，同时分层结构也有利于模型在每一层输出不同层级的信息。在解码器部分，MLP解码器利用变压器感应的特性，即低分辨率的特征大多位于局部，高分辨率的特征大多位于非局部，从而进一步融合分层编码器所得到的高分辨率以及低分辨率特征。另外，在解码器输出后，添加了信息聚合模块，利用信息聚合模块中的并行方式以及缩减通道，将上下文信息进一步聚合，得到了缺陷信息更为丰富的特征图，并提高推理速度，最终输出光伏表面缺陷分割结果。
实施例二
如图5所示，本实施例提供了一种太阳能电池片缺陷分割系统，包括：
数据采集与处理模块，被配置为获取太阳能电池片缺陷图像并进行预处理；
模型编码模块，被配置为基于分层结构的编码器对预处理后缺陷图像进行切割并进行编码，提取预处理后缺陷图像多个层次的特征信息，得到与原始图像不同大小分辨率的特征图，即缺陷多级特征图；
模型解码模块，被配置为利用解码器通过线性操作和上采样操作对缺陷多级特征图进行解码，得到解码后的缺陷多级特征图；
信息聚合模块，被配置为利用分层残差的方式将解码后的缺陷多级特征图中高分辨率信息与低分辨率信息进行融合，得到待分割缺陷图像；
光伏缺陷分割模块，被配置为基于待分割缺陷图像进行缺陷分割，得到分割后的太阳能电池片缺陷图像。
系统主要分为5个模块：第一部分为数据采集与处理模块，第二部分为模型编码模块，第三部分为模型解码模块，第四部分为信息聚合模块，第五部分为光伏表面缺陷分割模块。其中：
数据采集与处理模块负责通过工业摄像机对建筑分布式光伏的表面情况进行图像采集，并对采集到的视频帧进行处理，主要包括标记裂缝缺陷，并生成类别标签等操作。模型编码模块采用四层的Transformer编码器，对输入的缺陷图像进行切割、重新输入到不同层级的编码器中，获得与原始图像不同大小分辨率的特征图，完成编码。模型解码模块则对模型编码器输出的多级特征进行线性操作、上采样，最终解码出特征信息。信息聚合模块将模型解码器输出的高分辨率信息与低分辨率信息进行聚合，通过并行连接以及缩减通道实现对上下文信息的并行整合，得到具有更丰富缺陷信息的特征。最后，光伏缺陷分割模块输出信息聚合模块的结果，用于光伏缺陷分割。
上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
所提出的系统，可以通过其他的方式实现。例如以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的一种太阳能电池片缺陷分割方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的一种太阳能电池片缺陷分割方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random AccessMemory，RAM）等。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (7)

1.一种太阳能电池片缺陷分割方法，其特征在于，包括：
获取太阳能电池片缺陷图像并进行预处理；
基于分层结构的编码器对预处理后缺陷图像进行切割并进行编码，提取预处理后缺陷图像多个层次的特征信息，得到与原始图像不同大小分辨率的特征图，即缺陷多级特征图；所述基于分层结构的编码器对预处理后缺陷图像进行切割并进行编码，提取预处理后缺陷图像多个层次的特征信息，具体为：
将预处理后缺陷图像进行补丁嵌入，得到缺陷补丁；
利用卷积操作对缺陷补丁进行重叠补丁合并，得到合并序列；
针对合并序列利用自注意力机制进行特征提取，得到合并序列的自注意力特征；基于合并序列的自注意力特征，利用混合前馈网络模型学习缺陷特征的位置信息，得到缺陷图像的一层次特征信息；
采用不同于第一次编码的缩减比，重复三次上述过程，得到不同层次的特征信息；所述混合前馈网络模型学习缺陷特征的位置信息，具体为：
将合并序列的自注意力特征输入值第一多层感知机中进行非线性分类；
对非线性分类后的特征采用深度可分离卷积操作处理；
经过深度可分离卷积操作的数据再依次经过激活函数和第二多层感知机的操作处理；
将第二多层感知机的输出与合并序列的注意力特征进行叠加操作，得到缺陷图像的一层次特征信息；
利用解码器通过线性操作和上采样操作对缺陷多级特征图进行解码，得到解码后的缺陷多级特征图；利用解码器通过线性操作和上采样操作对缺陷多级特征图进行解码，得到解码后的缺陷多级特征图，具体为：
将编码器所产生的四组特征都输入至多层感知层；
通过一个线性层投射到相应的维度，使用双线性插值上采样，直至其恢复到第一个阶段的分辨率；
将多层感知层输出的四组特征在通道维度上进行拼接，再经过一个线性层进行拼接，得到解码后的缺陷多级特征图；最终在经过补丁嵌入以及Transformer编码器1后的输出大小为其中，C1是指在经过Transformer编码器1后的通道数；至此，第一个阶段完成；
将编码器部分共分为四个阶段，每个阶段都由重叠补丁嵌入以及一个Transformer编码器组成；后续阶段的操作除了与第一阶段的缩减比不同之外，其他都相同，分别利用Transformer编码器2，3，4进行操作，分别获得原始图像分辨率{1/8、1/16、1/32}的多级特征，即所标记的大小分别为 的多级特征输出；C2，C3，C4分别是指经过Transformer编码器2，3，4之后的通道数；
利用分层残差的方式将解码后的缺陷多级特征图中高分辨率信息与低分辨率信息进行融合，得到待分割缺陷图像；信息聚合的输入设置为1/48分辨率的特征图，将输入分别通过不同内核及步长的卷积进行下采样，得到1/48、1/96、1/192、1/384分辨率的特征图，相较于原始模块缩减了每个尺度的通道数，以提高推理速度；之后通过1×1卷积将下采样后的特征图进行上采样，放大特征图；再利用多个3×3卷积以分层残差方式融合不同尺度的上下文信息，同时增加了1×1卷积与上采样后的并行连接，缩短计算时间；此外，信息聚合模块还增加深度可分离卷积作为捷径，便于进行优化；
基于待分割缺陷图像进行缺陷分割，得到分割后的太阳能电池片缺陷图像。
2.如权利要求1所述的一种太阳能电池片缺陷分割方法，其特征在于，所述混合前馈网络模型学习缺陷特征的位置信息，具体为：
xout＝MLP(GELU(DWConv(MLP(xin)))+xin；
其中，xin是指自注意力的特征，MLP代表多层感知机，DWConv代表深度可分离卷积操作，GELU指激活函数操作。
3.如权利要求1所述的一种太阳能电池片缺陷分割方法，其特征在于，所述利用分层残差的方式将解码后的缺陷多级特征图中高分辨率信息与低分辨率信息进行融合，得到待分割缺陷图像，具体为：
将解码后的缺陷多级特征图分别通过不同内核及步长的卷积进行下采样，缩减每个尺度的通道数，得到不同分辨率的特征图；
通过卷积操作将下采样后的不同分辨率的特征图进行上采样，放大特征图；
利用多个卷积以及分层残差方式融合解码后的缺陷多级特征图中不同尺度的上下文信息，并与上采样后的特征图进行并行连接，得到待分割缺陷图像。
4.如权利要求1所述的一种太阳能电池片缺陷分割方法，其特征在于，基于缺陷特征图进行缺陷分割，得到分割后的太阳能电池片缺陷图像，具体为：
基于待分割缺陷图像进行插值操作；
将插值操作后的图像进行上采样至太阳能电池片缺陷图像大小；
得到分割后的太阳能电池片缺陷图像。
5.一种太阳能电池片缺陷分割系统，其特征在于，包括：
数据采集与处理模块，被配置为获取太阳能电池片缺陷图像并进行预处理；
模型编码模块，被配置为基于分层结构的编码器对预处理后缺陷图像进行切割并进行编码，提取预处理后缺陷图像多个层次的特征信息，得到与原始图像不同大小分辨率的特征图，即缺陷多级特征图；所述基于分层结构的编码器对预处理后缺陷图像进行切割并进行编码，提取预处理后缺陷图像多个层次的特征信息，具体为：
将预处理后缺陷图像进行补丁嵌入，得到缺陷补丁；
利用卷积操作对缺陷补丁进行重叠补丁合并，得到合并序列；
针对合并序列利用自注意力机制进行特征提取，得到合并序列的自注意力特征；基于合并序列的自注意力特征，利用混合前馈网络模型学习缺陷特征的位置信息，得到缺陷图像的一层次特征信息；
采用不同于第一次编码的缩减比，重复三次上述过程，得到不同层次的特征信息；所述混合前馈网络模型学习缺陷特征的位置信息，具体为：
将合并序列的自注意力特征输入值第一多层感知机中进行非线性分类；
对非线性分类后的特征采用深度可分离卷积操作处理；
经过深度可分离卷积操作的数据再依次经过激活函数和第二多层感知机的操作处理；
将第二多层感知机的输出与合并序列的注意力特征进行叠加操作，得到缺陷图像的一层次特征信息；
模型解码模块，被配置为利用解码器通过线性操作和上采样操作对缺陷多级特征图进行解码，得到解码后的缺陷多级特征图；利用解码器通过线性操作和上采样操作对缺陷多级特征图进行解码，得到解码后的缺陷多级特征图，具体为：将编码器所产生的四组特征都输入至多层感知层；
通过一个线性层投射到相应的维度，使用双线性插值上采样，直至其恢复到第一个阶段的分辨率；
将多层感知层输出的四组特征在通道维度上进行拼接，再经过一个线性层进行拼接，得到解码后的缺陷多级特征图；最终在经过补丁嵌入以及Transformer编码器1后的输出大小为其中，C1是指在经过Transformer编码器1后的通道数；至此，第一个阶段完成；
将编码器部分共分为四个阶段，每个阶段都由重叠补丁嵌入以及一个Transformer编码器组成；后续阶段的操作除了与第一阶段的缩减比不同之外，其他都相同，分别利用Transformer编码器2，3，4进行操作，分别获得原始图像分辨率{1/8、1/16、1/32}的多级特征，即所标记的大小分别为 的多级特征输出；C2，C3，C4分别是指经过Transformer编码器2，3，4之后的通道数；
信息聚合模块，被配置为利用分层残差的方式将解码后的缺陷多级特征图中高分辨率信息与低分辨率信息进行融合，得到待分割缺陷图像；信息聚合的输入设置为1/48分辨率的特征图，将输入分别通过不同内核及步长的卷积进行下采样，得到1/48、1/96、1/192、1/384分辨率的特征图，相较于原始模块缩减了每个尺度的通道数，以提高推理速度；之后通过1×1卷积将下采样后的特征图进行上采样，放大特征图；再利用多个3×3卷积以分层残差方式融合不同尺度的上下文信息，同时增加了1×1卷积与上采样后的并行连接，缩短计算时间；此外，信息聚合模块还增加深度可分离卷积作为捷径，便于进行优化；
光伏缺陷分割模块，被配置为基于待分割缺陷图像进行缺陷分割，得到分割后的太阳能电池片缺陷图像。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一项所述的一种太阳能电池片缺陷分割方法中的步骤。
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4中任一项所述的一种太阳能电池片缺陷分割方法中的步骤。
CN202310314704.5A 2023-03-29 2023-03-29 一种太阳能电池片缺陷分割方法、系统、介质及设备 Active CN116051549B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310314704.5A CN116051549B (zh) 2023-03-29 2023-03-29 一种太阳能电池片缺陷分割方法、系统、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310314704.5A CN116051549B (zh) 2023-03-29 2023-03-29 一种太阳能电池片缺陷分割方法、系统、介质及设备

Publications (2)

Publication Number Publication Date
CN116051549A CN116051549A (zh) 2023-05-02
CN116051549B true CN116051549B (zh) 2023-12-12

Family

ID=86118455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310314704.5A Active CN116051549B (zh) 2023-03-29 2023-03-29 一种太阳能电池片缺陷分割方法、系统、介质及设备

Country Status (1)

Country Link
CN (1) CN116051549B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116825653A (zh) * 2023-05-25 2023-09-29 广东派顿新能源有限公司 一种基于回收硅片的光伏板组件制备方法及光伏板组件
CN116843685B (zh) * 2023-08-31 2023-12-12 山东大学 一种基于图像检测的3d打印工件缺陷识别方法及系统
CN117495884B (zh) * 2024-01-02 2024-03-22 湖北工业大学 一种钢铁表面缺陷分割方法、装置、电子设备及存储介质
CN117541587B (zh) * 2024-01-10 2024-04-02 山东建筑大学 太阳能电池板缺陷检测方法、系统、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581406A (zh) * 2022-03-04 2022-06-03 桂林医学院 基于Segformer的胃部病理切片细胞核分割方法
CN114842019A (zh) * 2022-07-06 2022-08-02 山东建筑大学 一种电池板表面缺陷检测方法、系统、存储介质及设备
CN114863098A (zh) * 2022-04-15 2022-08-05 华中科技大学 用于工业场景的细小微弱缺陷分割方法
WO2022216521A1 (en) * 2021-11-10 2022-10-13 Innopeak Technology, Inc. Dual-flattening transformer through decomposed row and column queries for semantic segmentation
CN115359261A (zh) * 2022-10-21 2022-11-18 阿里巴巴（中国）有限公司 图像识别方法、计算机可读存储介质以及电子设备
CN115424016A (zh) * 2022-08-22 2022-12-02 池州学院 一种高压输电线识别方法
CN115631405A (zh) * 2022-11-04 2023-01-20 上海海事大学 一种基于SegFormer的SAR影像海洋内波条纹分割方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022216521A1 (en) * 2021-11-10 2022-10-13 Innopeak Technology, Inc. Dual-flattening transformer through decomposed row and column queries for semantic segmentation
CN114581406A (zh) * 2022-03-04 2022-06-03 桂林医学院 基于Segformer的胃部病理切片细胞核分割方法
CN114863098A (zh) * 2022-04-15 2022-08-05 华中科技大学 用于工业场景的细小微弱缺陷分割方法
CN114842019A (zh) * 2022-07-06 2022-08-02 山东建筑大学 一种电池板表面缺陷检测方法、系统、存储介质及设备
CN115424016A (zh) * 2022-08-22 2022-12-02 池州学院 一种高压输电线识别方法
CN115359261A (zh) * 2022-10-21 2022-11-18 阿里巴巴（中国）有限公司 图像识别方法、计算机可读存储介质以及电子设备
CN115631405A (zh) * 2022-11-04 2023-01-20 上海海事大学 一种基于SegFormer的SAR影像海洋内波条纹分割方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
Deep Dual-resolution Networks for Real-time and Accurate Semantic Segmentation of Road Scenes;YuanHao Hong等;arXiv：210106085v2;第1-12页 *
PIDNet: A Real-time Semantic Segmentation Network Inspired from PID Controller;Jiacong Xu等;arXiv：2206.02066v2;第5页 *
Research on intelligent classification of aggregates based on segformer;Zou, C等;2022 4th International Conference on Artificial Intelligence and Advanced Manufacturing (AIAM);全文 *
SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers;Enze Xie等;arXiv:2105.15203v3;第3-6页，图2 *
基于深度网络的图像语义分割研究;赵晓聘;中国优秀硕士学位论文全文数据库信息科技辑(第03期);第5章 *
改进 U2-Net的太阳能电池片缺陷分割方法;王盛 等;国外电子测量技术;第42卷(第02期);第178-181页 *
高效跨域的Transformer小样本语义分割网络;方红 等;计算机工程与应用;全文 *

Also Published As

Publication number Publication date
CN116051549A (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
CN116051549B (zh) 一种太阳能电池片缺陷分割方法、系统、介质及设备
CN110059772B (zh) 基于多尺度解码网络的遥感图像语义分割方法
WO2023077816A1 (zh) 边界优化的遥感图像语义分割方法、装置、设备及介质
CN112258526B (zh) 一种基于对偶注意力机制的ct肾脏区域级联分割方法
CN114936605A (zh) 基于知识蒸馏的神经网络训练方法、设备及存储介质
CN112767423B (zh) 一种基于改进SegNet的遥感图像建筑物分割方法
CN110930378A (zh) 基于低数据需求的肺气肿影像处理方法及系统
CN115457043A (zh) 基于重叠自注意力变形器架构u型网络的图像分割网络
CN115861703A (zh) 一种基于多尺度CNN-Transformer的遥感图像变化检测方法和装置
CN115908805A (zh) 基于卷积增强交叉自注意力变形器的u型图像分割网络
CN117078930A (zh) 基于边界感知和注意力机制的医学图像分割方法
CN115496919A (zh) 基于窗口掩码策略的混合卷积-变压器架构及自监督方法
CN116645598A (zh) 一种基于通道注意力特征融合的遥感图像语义分割方法
CN115953582A (zh) 一种图像语义分割方法及系统
CN115375617A (zh) 一种缺陷检测、训练方法、装置、存储介质及设备
Tao et al. A convolutional-transformer network for crack segmentation with boundary awareness
CN112149802B (zh) 一种语义结构一致的图像内容转换方法
CN112418229A (zh) 一种基于深度学习的无人船海上场景图像实时分割方法
CN112633123A (zh) 一种基于深度学习的异源遥感影像变化检测方法及装置
CN114863104B (zh) 一种基于标签分布学习的图像分割方法
CN116563691A (zh) 一种基于TransUnet模型的道路病害检测方法
CN116310916A (zh) 一种高分辨率遥感城市图像语义分割方法及系统
CN116362995A (zh) 一种基于标准先验的牙齿图像修复方法和系统
CN115984560A (zh) 基于CNN和Transformer的图像分割方法
CN114219738A (zh) 单幅图像多尺度超分辨重建网络结构及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant