CN117435980A - 基于小样本学习的海岛光伏智能运维状态分析方法 - Google Patents

基于小样本学习的海岛光伏智能运维状态分析方法 Download PDF

Info

Publication number
CN117435980A
CN117435980A CN202311765881.1A CN202311765881A CN117435980A CN 117435980 A CN117435980 A CN 117435980A CN 202311765881 A CN202311765881 A CN 202311765881A CN 117435980 A CN117435980 A CN 117435980A
Authority
CN
China
Prior art keywords
defect
picture
model
sample
pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311765881.1A
Other languages
English (en)
Other versions
CN117435980B (zh
Inventor
甘纯
张引贤
张展耀
闻旭东
冯仰光
吴昊
田晶
韩叶林
俞欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Zhejiang Electric Power Co Ltd
Zhoushan Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
State Grid Zhejiang Electric Power Co Ltd
Zhoushan Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Zhejiang Electric Power Co Ltd, Zhoushan Power Supply Co of State Grid Zhejiang Electric Power Co Ltd filed Critical State Grid Zhejiang Electric Power Co Ltd
Priority to CN202311765881.1A priority Critical patent/CN117435980B/zh
Publication of CN117435980A publication Critical patent/CN117435980A/zh
Application granted granted Critical
Publication of CN117435980B publication Critical patent/CN117435980B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于小样本学习的海岛光伏智能运维状态分析方法，涉及光伏智能运维领域。目前因为缺少样本，光伏电站缺陷的得不到准确的分类。本发明包括以下步骤：获取光伏电站运维图片并输入训练好的缺陷识别模型中，缺陷识别模型进行缺陷检测和分类；其中缺陷识别模型的训练，采用损失函数来指导缺陷识别模型的学习，使用三元组损失来学习缺陷样本之间的相似性，以区分正常样本和缺陷样本，使用交叉熵分类损失函数来进行缺陷分类，以使缺陷识别模型识别不同类型的缺陷；本技术方案利用少量的缺陷样本图片，通过相似性匹配准则进行训练，利用有限的缺陷样本图片，学习缺陷共性特征，实现对新图片的准确分类和识别，有效提高运维效率，降低运维成本。

Description

基于小样本学习的海岛光伏智能运维状态分析方法
技术领域
本发明涉及光伏智能运维领域，尤其涉及基于小样本学习的海岛光伏智能运维状态分析方法。
背景技术
随着可再生能源的快速发展，光伏电站作为一种重要的清洁能源发电方式，得到了广泛应用。然而，光伏电站在长期运行过程中，会面临各种各样的问题和缺陷，如鸟粪、碎石等。这些缺陷会导致光伏电站的发电效率下降，甚至可能引发安全隐患。因此，对光伏电站进行及时准确地缺陷分类和智能运维显得尤为重要。
传统的光伏电站运维通常依赖于人工巡检和定期维护，这种方式存在着效率低下、成本高昂、易受人为因素影响等问题。为了提高光伏电站的运维效率和准确性，智能运维技术逐渐得到应用。智能运维技术利用传感器、监控系统和数据分析等手段，实现对光伏电站运行状态的实时监测和故障预警，从而提高光伏电站的发电效率和可靠性。
然而，光伏电站智能运维面临一个重要的挑战，即缺乏足够的缺陷数据。由于光伏电站缺陷的多样性和分布的不均匀性，获取大规模的缺陷数据是一项困难而耗时的任务。这导致了当前可用于训练和验证的缺陷图片非常有限，无法满足光伏电站智能运维的需求。缺乏足够的缺陷图片限制了光伏电站智能运维算法的性能和可靠性，使得现有的方法在实际应用中存在一定的局限性；对光伏电站缺陷的得不到准确的分类。
发明内容
本发明要解决的技术问题和提出的技术任务是对现有技术方案进行完善与改进，提供基于小样本学习的海岛光伏智能运维状态分析方法，以实现少图片下的缺陷准确分类的目的。为此，本发明采取以下技术方案。
基于小样本学习的海岛光伏智能运维状态分析方法，包括以下步骤：
1）获取光伏电站运维图片；
2）将获取的光伏电站运维图片输入训练好的缺陷识别模型中；缺陷识别模型的训练包括：
获取缺陷图片，缺陷图片来自于原始光伏电站中已有的缺陷样本，缺陷样本包含破损、附着物、鸟粪和刮痕；
对缺陷图片进行预处理，包括图片清洗和标准化，以确保图片的质量和一致性，并通过包括对图片的随机裁剪、换向、缩放及视觉处理进行增强以扩充图片，生成更多的样本；
构建基于视觉变换模型的缺陷识别模型，在训练过程中，采用损失函数来指导缺陷识别模型的学习，使用三元组损失来学习缺陷样本之间的相似性，以区分正常样本和缺陷样本，使用交叉熵分类损失函数来进行缺陷分类，以使缺陷识别模型识别不同类型的缺陷；
3)缺陷识别模型对光伏电站运维图片进行缺陷检测和分类，若光伏电站运维图片存在异常，则进行提示，并输出对应缺陷的类型，通知运维人员进行对应缺陷点的维护、检测和验证，并将运维人员确认状态后的运维图片存入光伏电站运维图片数据库中。
本技术方案通过少样本学习方法，在缺乏大规模训练图片的情况下，利用少量的缺陷样本图片，实现对光伏电站缺陷的准确分类。能够快速准确地检测出光伏电站中的各种缺陷，包括破损、附着物、鸟粪和刮痕等，提高了缺陷检测的准确性和效率，实现对光伏运维状态的准确、快速分析，有助于提高其工作的稳定性。
通过构建缺陷识别模型，并通过相似性匹配准则进行训练，能够有效地利用有限的缺陷样本图片，学习到缺陷的共性特征，从而实现对新样本的准确分类和识别，并有效提高运维效率，减少漏检和误检的情况，同时减少人工巡检和检测的工作量，降低运维成本。
作为优选技术手段：缺陷识别模型训练包括以下步骤：
201)获取光伏电站的正常图片和缺陷图片，对缺陷图片进行处理，生成更多样式的光伏电站缺陷图片，并与原始图片合并，形成增强后的光伏电站缺陷图片集；
202）从增强后的光伏电站缺陷图片集中随机选择一个缺陷样本作为第一个输入，并再次随机选择一个缺陷样本作为第二个输入；根据两样本的相似性进行标签设置，从而生成带有标签的训练样本对；其中，相同类别的两样本标签设置为正样本对，不同类别的两样本标签设置为负样本对；
203）构建以视觉变换模型为基本架构的缺陷识别模型；
204）构造缺陷特征池M, 特征池的大小为K×d，其中K为缺陷的数量，d是特征的维度；
205）根据缺陷识别模型对每张图片进行与缺陷相关特征的注意力计算，以构建缺陷图片和背景之间的关系，并提取图片的特征表示x；
206）对缺陷图片的特征表示进行三元组损失计算；在计算时，对于每个训练样本，选择一个参照样本、一个缺陷正样本和另一种缺陷作为负样本，构成一个三元组（参照样本，正样本，负样本），计算参照样本和正样本之间的距离；
207）根据步骤206）的计算结果，将参照样本、正样本和负样本的特征表示连接起来，得到连接后的特征表示；使用全连接层的权重和偏置，计算相似度得分，并根据相似度得分对不同类别的图片进行优化，使得同类型图片相似度更近，不同类型更远；
208）根据得到的特征表示，利用缺陷特征与正常特征之间的差异特征，对特征池M进行更新，更新的方式为；针对某一缺陷特征m，在得到了与正常特征的对比特征后，对该缺陷特征池进行滑动更新：
，
更新后的缺陷特征池是通过将当前时刻t的缺陷特征池/>乘以权重/>，再加上当前缺陷特征m乘以权重1-/>得到，k为当前缺陷特征的缺陷序号；
209）根据特征和特征池之间的注意力权重，来加权特征池，从而得到丰富的特征；
210）将缺陷识别模型扩展为两份，分别为教师模型和学生模型，针对增强后的图片，通过步骤205）至步骤209），将其馈入到教师模型中，计算得到特征表示；使用带有标签的训练集进行监督训练，通过计算第一损失函数的梯度更新教师模型的权重和参数；
211）将增强后的图片进行图像变化得到再次增强的图片，输入训练学生模型，重复205）至209）步骤，计算得到特征表示；使用带有标签的训练集进行监督训练，通过计算第二损失函数的梯度更新学生模型的权重和参数；
212）将增强后的无标签光伏电站图片输入到教师模型和学生模型中，计算得到特征表示；使用无监督的第三损失函数来衡量教师模型和学生模型之间的相似性；
213）在每次更新学生模型的权重和参数后，使用滑动平均的方式更新教师模型的权重和参数；通过多次迭代训练得到优化后学生模型，将优化得到的学生模型作为最终的缺陷识别模型。
通过使用增强后的光伏电站缺陷图片集，利用小样本学习方法，提高模型的学习能力和泛化能力，从而更好地适应缺陷检测任务。引入了教师模型和学生模型的训练方式，通过教师模型的指导和监督，学生模型可以逐渐逼近或达到教师模型的性能水平，从而实现对缺陷的有效识别。训练方式利用三元组损失来学习缺陷样本之间的相似性，以区分正常样本和缺陷样本，从而提高了模型的缺陷检测准确性和鲁棒性。利用缺陷特征与正常特征之间的差异性，构造了一个缺陷特征池，并根据不同类别的缺陷特征更新缺陷特征池，更新后的特征池是通过将当前时刻t的特征池/>乘以权重/>，再加上当前缺陷特征m乘以权重1-/>得到，这样的更新方式可以保持特征池的历史信息，并且对新的缺陷特征进行适当的加权，以便更好地反映缺陷特征与正常特征之间的差异性，从而实现利用其进行辅助缺陷检测。采用了无监督的第三损失函数来衡量教师模型和学生模型之间的相似性，从而可以利用无标签图片来提高模型的性能。在每次更新学生模型的权重和参数后，使用滑动平均的方式更新教师模型的权重和参数，从而使得教师模型能够逐渐适应新的图片分布，提高模型的性能。再次增强的图片可以通过例如对比度增强以及色彩增强得到。
另外，在每次迭代中，使用不同的批次无标注光伏电站图片进行训练，以提高模型在电站场景下的泛化能力。利用 教师-学生 的半监督训练方法来提升缺陷识别模型的电站缺陷表征能力。通过使用带有标签的训练集进行监督训练，以及使用不带标签的训练集进行无监督训练，可以使学生模型逐渐学习到更好的特征表示。同时，通过滑动平均更新教师模型，可以提供更稳定的指导信号，进一步提升学生模型的性能。
作为优选技术手段：在步骤201）中，使用随机裁剪方式，从不同位置和尺寸裁剪出多个子图片，以增加图片的多样性和覆盖不同目标的局部区域；并对原始图片进行包括旋转、缩放和翻转的处理，生成更多样式和角度的图片；使用包括亮度、对比度和色彩平衡的方式调整图片的视觉特征，生成更多样式的光伏电站缺陷图片；将裁剪后的子图片和增强后的图片与原始图片合并，形成增强后的光伏电站缺陷图片集。本技术方案通过增加图片多样性、覆盖不同目标的局部区域、调整图片视觉特征等方式来生成更多样式的光伏电站缺陷图片，具有提高模型性能、适应不同环境和光照条件等优点，有效提高模型的泛化能力和缺陷检测的准确性和鲁棒性。
作为优选技术手段：在步骤204）中，对于输入的图片 X，通过线性变换计算查询特征Q，其中
Q=XW q，
W q表示查询特征的权重矩阵；对于输入的图片X，通过线性变换计算键值特征K，其中K=XW k，W k表示键值特征的权重矩阵；对于输入的图片X，通过线性变换计算价值特征V，其中
V=XW v，
W v表示价值特征的权重矩阵；
使用查询特征和键值特征的内积计算注意力权重；
在注意力权重计算中，首先计算查询特征和键值特征的内积，然后通过归一化指数函数进行归一化，得到注意力权重；最后，将注意力权重与价值特征相乘，得到最终的输出。
视觉变换模型通过自注意力机制来建模全局依赖关系，能够捕捉到图片中不同区域之间的关联性。在光伏电站场景中，不同缺陷可能分布在图片的不同位置，使用视觉变换模型可以更好地捕捉到全局信息，提高缺陷分类的准确性。此外视觉变换模型具有较好的可扩展性，可以处理不同尺寸的输入图片。在光伏电站场景中，图片的尺寸可能会有所变化，使用 视觉变换模型可以灵活地适应不同尺寸的图片输入。通过这些计算步骤，视觉变换模型可以有效地建模图片之间的关系，并提取图片的特征表示。这些特征表示可以用于缺陷识别模型的相似性匹配任务，判断两个样本是否属于同一类别。
作为优选技术手段：在步骤205）中，使用特征提取器f提取参照样本、正样本和负样本的特征表示，分别表示为f(参照样本)、f(正样本) 和f(负样本)；计算参照样本和正样本之间的欧氏距离的平方，即
，
计算三元组损失，即
，
其中 margin是一个预先定义的边界值，用于控制正样本和负样本之间的距离。
通过最小化三元组损失，可以使同类样本之间的距离尽可能小，不同类样本之间的距离尽可能大，从而提高缺陷识别模型的性能和泛化能力。
作为优选技术手段：在步骤207）中，将参照样本、正样本和负样本的特征表示，以及利用特征池丰富后的增强特征连接起来，得到连接后的特征表示h；使用全连接层的权重W和偏置b，计算相似度得分s= sigmoid(hW+b)，其中 sigmoid 函数将得分映射到0到1之间的范围，表示两个样本的相似度；
根据已知的样本是否属于同一类缺陷的判断，作为真实的相似度得分y；使用二元交叉熵损失函数计算损失，即
，
其中y是真实的相似度得分0或1，s是缺陷识别模型配合相似度计算得到的相似度得分。
在进行相似度计算时，两个特征表示被连接起来，并通过一系列的全连接层和激活函数，计算出相似度得分。通常，使用 sigmoid激活函数将得分映射到0到1之间的范围，表示两个样本的相似度。
作为优选技术手段：在步骤210）中，第一损失函数为
，
其中y是真实的相似度得分0或 1，是教师模型计算得到的相似度得分。
作为优选技术手段：在步骤210）中，第二损失函数为
，
其中y是真实的相似度得分0或 1，是学生模型计算得到的相似度得分。
作为优选技术手段：第三损失函数为：
，
其中是教师 模型计算得到的特征表示，/>是学生模型计算得到的特征表示。
第一损失函数和第二损失函数都是基于交叉熵损失函数（Cross-Entropy Loss）构建的，用于监督训练教师模型和学生模型。具体来说，这两个损失函数利用了真实的相似度得分 y 和模型计算得到的相似度得分 s，来衡量模型预测的准确性。这种方案具有以下优点：
通过最小化损失函数，可以使得教师模型和学生模型的预测更加准确。由于损失函数是基于真实的相似度得分构建的，因此可以有效地衡量模型的预测准确性。
使用这种损失函数，可以利用梯度下降算法对模型进行优化，从而使得模型的权重和参数得到更新。梯度下降算法可以有效地找到损失函数的最小值，从而提高模型的性能。
由于该损失函数可以根据真实的相似度得分进行调整，因此可以适应不同的图片分布和噪声水平。这使得该损失函数在不同的任务和图片集上都具有较好的性能表现。
通过使用这种基于交叉熵损失的方案，可以使得模型对于一些噪声和异常值具有较好的鲁棒性。因为该损失函数会对模型的预测结果进行惩罚，从而使得模型更加关注于正确的预测结果。
由于该损失函数可以使得模型更加关注于正确的预测结果，因此可以提高模型的泛化能力。这使得该模型在处理未知图片时可以更加准确地进行预测。
另外，通过分别对教师模型和学生模型进行训练，并结合无监督的第三损失函数来衡量两个模型之间的相似性，可以进一步提高缺陷检测的准确性。同时，使用滑动平均的方式更新教师模型的权重和参数，可以使得教师模型逐渐适应新的图片分布，从而提高模型的性能。
作为优选技术手段：在步骤213）中，更新教师模型的公式为
，
其中是教师模型的权重和参数，/>是学生模型的权重和参数，/>是滑动平均的衰减因子。
通过使用滑动平均的方式更新教师模型的权重和参数，可以使得更新过程更加平滑，避免模型在训练过程中出现大的波动，这有助于提高模型的稳定性和性能。通过将学生模型的权重和参数引入到教师模型的更新中，可以利用学生模型的知识来改进教师模型的性能，有助于提高模型的泛化能力和缺陷检测的准确性。由于教师模型是逐渐适应新的图片分布的，因此可以更好地适应新的环境和图片变化，这使得教师模型在面对新的缺陷类型时能够具有更好的鲁棒性和泛化能力。通过使用衰减因子，可以控制教师模型向学生模型学习的速度；当/>较小时，教师模型会更快地学习学生模型的知识，但可能会增加过拟合的风险；而当/>较大时，教师模型会更加谨慎地学习学生模型的知识，从而避免过拟合。相比于每次训练都重新初始化教师模型，使用滑动平均的方式更新教师模型的权重和参数可以节省计算资源，提高训练效率。
有益效果：本技术方案通过少样本学习方法，在缺乏大规模训练图片的情况下，利用少量的缺陷样本图片，实现对光伏电站缺陷的准确分类。能够快速准确地检测出光伏电站中的各种缺陷，包括破损、附着物、鸟粪和刮痕等，提高了缺陷检测的准确性和效率。
本技术方案通过构建缺陷识别模型，并通过相似性匹配准则进行训练。能够有效地利用有限的缺陷样本图片，学习到缺陷的共性特征，从而实现对新样本的准确分类和识别，并有效提高运维效率，减少漏检和误检的情况，同时减少人工巡检和检测的工作量，降低运维成本。
附图说明
图1是本发明的流程图。
图2是本发明的训练流程图。
具体实施方式
以下结合说明书附图对本发明的技术方案做进一步的详细说明。
如图1所示，本发明包括以下步骤：
S1:获取光伏电站运维图片；
S2:将获取的光伏电站运维图片输入训练好的缺陷识别模型中；
S3:缺陷识别模型进行缺陷检测和分类，若存在异常，则进行提示，并输出对应缺陷的类型，通知运维人员进行对应缺陷点的维护、检测和验证，并将运维人员确认状态后的运维图片存入光伏电站运维图片数据库中。
为了实现对缺陷识别模型的训练，本技术方案基于少量缺陷图片的小样本学习，在进行训练时，我们首先需要获取少量的缺陷图片。这些缺陷图片来自于原始光伏电站中已有的缺陷样本，主要包含破损、附着物、鸟粪、刮痕这四种光伏电站异物。然后，我们对这些缺陷图片进行预处理，包括图片清洗、标准化等步骤，以确保图片的质量和一致性。我们选择适合视觉变换模型作为我们的主题模型架构，它在处理少量图片时具有较好的表现。为了充分利用少量图片，我们可以采用一些图片增强技术进行图片的扩充。图片增强可以通过对缺陷图片进行旋转、翻转、缩放等操作来生成更多的样本。在训练过程中，我们可以使用一些损失函数来指导模型的学习。例如，我们可以使用三元组损失来学习缺陷样本之间的相似性，以便更好地区分正常样本和缺陷样本。此外，我们还可以使用分类损失函数来进行缺陷分类，以便模型能够准确地识别不同类型的缺陷。在模型训练完成后，我们可以使用这个训练好的模型来进行缺陷检测和分类。通过输入新的未知样本，模型可以输出其是否为缺陷样本以及缺陷的类型。
如图2所示，具体的缺陷识别模型的训练包括以下步骤：
S201：对原始光伏电站中的运维图片进行增强
针对原始光伏电站缺陷图片，使用随机裁剪技术，从不同位置和尺寸裁剪出多个子图片。这样可以增加图片的多样性和覆盖不同目标的局部区域。对原始光伏电站缺陷图片进行旋转、缩放和翻转等操作，生成更多样式和角度的图片。这样可以模拟电站缺陷在不同角度和尺度下的目标样本，增加模型的鲁棒性。使用亮度、对比度和色彩平衡等技术调整图片的视觉特征，生成更多样式的光伏电站缺陷图片。这样可以模拟不同环境下的目标样本，提高模型的泛化能力。将裁剪后的子图片和增强后的图片与原始图片合并，形成增强后的光伏电站缺陷图片集。这样可以扩大训练图片集的规模和多样性。
S202：构建光伏电站运维缺陷图片训练样本对
从增强后的图片集中随机选择一个缺陷样本（比如划痕）作为第一个输入。这样可以保证每个样本都有机会作为第一个输入参与训练。再次随机选择一个缺陷样本作为第二个输入。这样可以确保每个样本都有机会作为第二个输入参与训练，增加样本之间的差异性。如果第二个样本属于与第一个样本相同的类别，将其标签设置为“1.0”，表示它们是相似的。这样可以为模型提供正样本对，即一对图片属于同一种缺陷，用于学习相似性匹配准则。对于所有其他类别，将标签设置为“0.0”，表示它们是不相似的。这样可以为模型提供负样本对，即一对图片属于不同种缺陷，用于学习区分不同类别之间的差异。通过以上步骤进行处理，生成带有标签的训练样本对，为后续的缺陷识别模型训练提供基础。同时，增强和样本对构建的步骤可以增加图片的多样性和训练样本的数量，提高模型的泛化能力和性能。
S203：选择视觉变换模型Vision Transformer作为缺陷识别模型的 backbone，构建以视觉变换模型为基本架构的缺陷识别模型。
在光伏电站场景中，选择视觉变换模型作为缺陷识别模型的backbone。视觉变换模型具有较强的表达能力和学习能力，可以有效地处理复杂的场景，提取不同缺陷类型的特征。视觉变换模型通过自注意力机制self-attention来建模全局依赖关系，能够捕捉到图片中不同区域之间的关联性。在光伏电站场景中，不同缺陷可能分布在图片的不同位置，使用视觉变换模型可以更好地捕捉到全局信息，提高缺陷分类的准确性。视觉变换模型具有较好的可扩展性， 可以处理不同尺寸的输入图片。在光伏电站场景中，图片的尺寸可能会有所变化，使用视觉变换模型可以灵活地适应不同尺寸的图片输入。
S204:构造缺陷特征池M, 特征池的大小为K×d，其中K为缺陷的数量，d是特征的维度。
S205:根据缺陷识别模型对每张图片进行与缺陷相关特征的注意力计算，以构建缺陷图片和背景之间的关系，并提取图片的特征表示x；
对于输入的图片X，通过线性变换计算查询特征Query（Q），其中
Q=XW q，
W q表示查询特征Query 的权重矩阵。对于输入的图片 X，通过线性变换计算键值特征Key（K），其中K=XW k，W k表示键值特征 Key的权重矩阵。对于输入的图片 X，通过线性变换计算价值特征Value（V），其中
V=XW v，
W v表示价值特征Value 的权重矩阵。
使用查询特征Query（Q） 和键值特征Key（K）的内积计算注意力权重，即
。
在注意力计算中，首先计算查询特征Query和键值特征Key的内积，然后通过归一化指数函数softmax进行归一化，得到注意力权重。最后，将注意力权重与 价值特征Value（V）相乘，得到最终的输出。通过以上步骤，视觉变换模型可以有效地建模缺陷图片和背景之间的关系，并提取图片的特征表示。这些特征表示可以用于缺陷识别模型的相似性匹配任务，判断两个样本是否属于同一类别。
S206：缺陷图片的三元组损失Triplet Loss 的计算
对于每个训练样本，选择一个参照样本、一个缺陷正样本和另一种缺陷作为负样本，构成一个三元组（参照样本，正样本，负样本）。使用特征提取器f提取参照样本、正样本和负样本的特征表示，分别表示为f(参照样本)、f(正样本) 和f(负样本)。计算参照样本和正样本之间的欧氏距离的平方，即
。
计算三元组损失，即
，
其中为三重损失函数；margin是一个预先定义的边界值，用于控制正样本和负样本之间的距离。
S207：不同缺陷类型相似度得分的计算
将参照样本、正样本和负样本的特征表示，以及利用特征池丰富后的增强特征连接起来，得到连接后的特征表示h。使用全连接层的权重W和偏置b，计算相似度得分s=sigmoid(hW+b)，其中 sigmoid 函数将得分映射到0到1之间的范围，表示两个样本的相似度。
根据已知的样本是否属于同一类缺陷的判断，作为真实的相似度得分y。使用二元交叉熵损失函数计算损失，即
，
其中y是真实的相似度得分0 或1，s是网络计算得到的相似度得分。
S208：缺陷特征池的利用与更新
根据步骤S205得到的特征表示，利用缺陷特征与正常特征之间的差异特征，对特征池M进行更新，更新的方式为：针对某一缺陷特征m，在得到与正常特征的对比特征后，对该缺陷特征池进行滑动更新；更新的方式为：
，
更新后的缺陷特征池是通过将当前时刻t的缺陷特征池/>乘以权重/>，再加上当前缺陷特征m乘以权重1-/>得到，k为当前缺陷特征的缺陷序号。这样的更新方式可以保持特征池的历史信息，并且对新的缺陷特征进行适当的加权，以便更好地反映缺陷特征与正常特征之间的差异性。
S209：根据步骤S205中的特征x和特征池M之间的注意力权重γ，来加权特征池M，从而得到丰富的特征x'：
γ = softmax(x)，
x' = γM 。
S210：为了进一步提升网络的特征表示能力，将缺陷识别模型扩展为两份，分别为教师模型和学生模型，使用带缺陷类别的训练集进行教师模型的监督训练。
使用增强后的图片输入训练教师模型，将增强后的图片输入馈入到教师模型中，计算得到特征表示。使用带有标签的训练集进行监督训练，通过计算损失函数的梯度来更新教师模型的权重和参数。损失函数为
，
其中y是真实的相似度得分0或 1，是教师模型计算得到的相似度得分。
S211：使用带缺陷类别的训练集进行学生模型的监督训练
使用再次增强后的图片输入训练学生模型，将再次增强后的图片输入馈入到学生模型中，计算得到特征表示。使用带有标签的训练集进行监督训练，通过计算损失函数的梯度来更新学生模型的权重和参数。损失函数为
，
其中y是真实的相似度得分0或 1，是学生模型计算得到的相似度得分。
S212：使用不带标签的训练集进行无监督训练
将增强后的无标签光伏电站图片输入到教师模型和学生模型中，计算得到特征表示。使用无监督的损失函数来衡量教师模型和学生模型之间的相似性，例如平均欧氏距离。损失函数为：
，
其中是教师 模型计算得到的特征表示，/>是学生模型计算得到的特征表示。
S213：滑动平均更新教师模型
在每次更新学生模型的权重和参数后，使用滑动平均的方式更新教师模型的权重和参数。更新公式为
，
其中是教师模型的权重和参数，/>是学生模型的权重和参数，/>是滑动平均的衰减因子。
通过多次迭代训练得到优化后学生模型，将优化得到的学生模型作为最终的缺陷识别模型。每次迭代中，使用不同的批次无标注光伏电站图片进行训练，以提高模型在电站场景下的泛化能力。通过以上步骤，可以利用 教师-学生 的半监督训练方法来提升缺陷识别模型的电站缺陷表征能力。通过使用带有标签的训练集进行监督训练，以及使用不带标签的训练集进行无监督训练，可以使学生模型逐渐学习到更好的特征表示。同时，通过滑动平均更新教师模型，可以提供更稳定的指导信号，进一步提升学生模型的性能。
为证明本发明的作用效果，采用不同方式对本发明的方法进行验证，具体验证过程为：
采用少样本跨域标准评估 4-way 1-shot及 4-way 5-shot两种验证方式来验证方法的有效性，4-way 1-shot表示每个任务中有4个类别，每个类别只有1个样本，这四个类别分别是破损、附着物、鸟粪、刮痕。在进行验证的过程中，我们对各项方法进行了消融实验，每一行在上一行的基础上进行模块的累加，baseline是只使用视觉变换模型+三元组损失的网络，实验结果如下表所示：
从实验效果来看，本方法能够在这几种缺陷上实现良好的分类正确率，同时从消融实验可以看出，每一个模块都能够对方法的精度有所提升。
以上所示的基于小样本学习的海岛光伏智能运维状态分析方法是本发明的具体实施例，已经体现出本发明实质性特点和进步，可根据实际的使用需要，在本发明的启示下，对其进行形状、结构等方面的等同修改，均在本方案的保护范围之列。

Claims (10)

1.基于小样本学习的海岛光伏智能运维状态分析方法，其特征在于包括以下步骤：
1）获取光伏电站运维图片；
2）将获取的光伏电站运维图片输入训练好的缺陷识别模型中；缺陷识别模型的训练包括：
获取缺陷图片，缺陷图片来自于光伏电站中已有的缺陷样本，缺陷样本包含破损、附着物、鸟粪和刮痕；
对缺陷图片进行预处理，包括图片清洗和标准化，以确保图片的质量和一致性，并通过包括对图片的随机裁剪、换向、缩放及视觉处理进行增强以扩充图片数量，生成更多的样本；
构建基于视觉变换模型的缺陷识别模型，在训练过程中，采用损失函数来指导缺陷识别模型的学习，使用三元组损失来学习缺陷样本之间的相似性，以区分正常样本和缺陷样本，使用交叉熵分类损失函数进行缺陷分类，以使缺陷识别模型识别不同类型的缺陷；
3）缺陷识别模型对光伏电站运维图片进行缺陷检测和分类，若光伏电站运维图片存在异常，则进行提示，并输出对应缺陷的类型，通知运维人员进行对应缺陷点的维护、检测和验证，并将运维人员确认状态后的运维图片存入光伏电站运维图片数据库中。
2.根据权利要求1所述的基于小样本学习的海岛光伏智能运维状态分析方法，其特征在于：缺陷识别模型训练包括以下步骤：
201)获取光伏电站的正常图片和缺陷图片，对缺陷图片进行处理，生成更多样式的光伏电站缺陷图片，并与原始图片合并，形成增强后的光伏电站缺陷图片集；
202）从增强后的光伏电站缺陷图片集中随机选择一个缺陷样本作为第一个输入，并再次随机选择一个缺陷样本作为第二个输入；根据两样本的相似性进行标签设置，从而生成带有标签的训练样本对；其中，相同类别的两样本标签设置为正样本对，不同类别的两样本标签设置为负样本对；
203）构建以视觉变换模型为基本架构的缺陷识别模型；
204）构造缺陷特征池M, 特征池的大小为K×d，其中K为缺陷的数量，d是特征的维度；
205）根据缺陷识别模型对每张图片进行与缺陷相关特征的注意力计算，以构建缺陷图片和背景之间的关系，并提取图片的特征表示x；
206）对缺陷图片的特征表示进行三元组损失计算；在计算时，对于每个训练样本，选择一个参照样本、一个缺陷正样本和另一种缺陷作为负样本，构成一个三元组，计算参照样本和正样本之间的距离；
207）根据步骤206）的计算结果，将参照样本、正样本和负样本的特征表示连接起来，得到连接后的特征表示；使用全连接层的权重和偏置，计算相似度得分，并根据相似度得分对不同类别的图片进行优化，使得同类型图片相似度更近，不同类型更远；
208）根据得到的特征表示，利用缺陷特征与正常特征之间的差异特征，对特征池M进行更新，更新的方式为：针对某一缺陷特征m，在得到与正常特征的对比特征后，对该缺陷特征池进行滑动更新：
；
更新后的缺陷特征池是通过将当前时刻t的缺陷特征池/>乘以权重/>，再加上当前缺陷特征m乘以权重1-/>得到，k为当前缺陷特征的缺陷序号；
209）根据特征和特征池之间的注意力权重，来加权特征池，从而得到丰富的特征；
210）将缺陷识别模型扩展为两份，分别为教师模型和学生模型，针对增强后的图片，通过步骤205）至步骤209），将其馈入到教师模型中，计算得到特征表示；使用带有标签的训练集进行监督训练，通过计算第一损失函数的梯度更新教师模型的权重和参数；
211）将增强后的图片进行图像变化得到再次增强的图片，输入训练学生模型，重复205）至209）步骤，计算得到特征表示；使用带有标签的训练集进行监督训练，通过计算第二损失函数的梯度更新学生模型的权重和参数；
212）将增强后的无标签光伏电站图片输入到教师模型和学生模型中，计算得到特征表示；使用无监督的均方误差损失函数来衡量教师模型和学生模型之间的相似性；
213）在每次更新学生模型的权重和参数后，使用滑动平均的方式更新教师模型的权重和参数；通过多次迭代训练得到优化后学生模型，将优化得到的学生模型作为最终的缺陷识别模型。
3.根据权利要求2所述的基于小样本学习的海岛光伏智能运维状态分析方法，其特征在于：在步骤201）中，使用随机裁剪方式，从不同位置和尺寸裁剪出多个子图片，以增加图片的多样性和覆盖不同目标的局部区域；并对原始图片进行包括旋转、缩放和翻转的处理，生成更多样式和角度的图片；使用包括亮度、对比度和色彩平衡的方式调整图片的视觉特征，生成更多样式的缺陷图片；将裁剪后的子图片和增强后的图片与原始图片合并，形成增强后的光伏电站缺陷图片集。
4.根据权利要求3所述的基于小样本学习的海岛光伏智能运维状态分析方法，其特征在于：在步骤205）中，对于输入的图片 X，通过线性变换计算查询特征Q，其中
Q = XW q，
W q表示查询特征的权重矩阵；对于输入的图片X，通过线性变换计算键值特征K，其中 K = XW k，W k表示键值特征的权重矩阵；对于输入的图片X，通过线性变换计算价值特征V，其中
V = XW v，
W v表示价值特征的权重矩阵；
使用查询特征和键值特征的内积计算注意力权重；
在注意力权重计算中，首先计算查询特征和键值特征的内积，然后通过归一化指数函数进行归一化，得到注意力权重；最后，将注意力权重与价值特征相乘，得到最终的输出。
5.根据权利要求4所述的基于小样本学习的海岛光伏智能运维状态分析方法，其特征在于：在步骤206）中，使用特征提取器 f提取参照样本、正样本和负样本的特征表示，分别表示为f(参照样本)、f(正样本) 和f (负样本)；计算参照样本和正样本之间的欧氏距离的平方，即：
，
计算三元组损失，即
，
其中为三重损失函数，其中 margin是一个预先定义的边界值，用于控制正样本和负样本之间的距离。
6.根据权利要求5所述的基于小样本学习的海岛光伏智能运维状态分析方法，其特征在于：在步骤207）中，将参照样本、正样本和负样本的特征表示，以及利用特征池丰富后的增强特征连接起来，得到连接后的特征表示 h；使用全连接层的权重 W 和偏置 b，计算相似度得分 s = sigmoid(hW + b)，其中 sigmoid 函数将得分映射到0到1之间的范围，表示两个样本的相似度；
根据已知的样本是否属于同一类缺陷的判断，作为真实的相似度得分y；使用二元交叉熵损失函数计算损失，即
，
其中 y 是真实的相似度得分0 或1，s 是缺陷识别模型配合相似度计算得到的相似度得分。
7.根据权利要求5所述的基于小样本学习的海岛光伏智能运维状态分析方法，其特征在于：在步骤210）中，第一损失函数为：
，其中 y是真实的相似度得分0或 1，/>是教师模型计算得到的相似度得分。
8.根据权利要求7所述的基于小样本学习的海岛光伏智能运维状态分析方法，其特征在于：在步骤211）中，第二损失函数为：
，
其中 y是真实的相似度得分0或1，是学生模型计算得到的相似度得分。
9.根据权利要求8所述的基于小样本学习的海岛光伏智能运维状态分析方法，其特征在于：第三损失函数为：
，
其中 是教师 模型计算得到的特征表示，/>是学生模型计算得到的特征表示。
10.根据权利要求9所述的基于小样本学习的海岛光伏智能运维状态分析方法，其特征在于：在步骤213）中，更新教师模型的公式为
，
其中 是教师模型的权重和参数，/>是学生模型的权重和参数，/>是滑动平均的衰减因子。
CN202311765881.1A 2023-12-21 2023-12-21 基于小样本学习的海岛光伏智能运维状态分析方法 Active CN117435980B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311765881.1A CN117435980B (zh) 2023-12-21 2023-12-21 基于小样本学习的海岛光伏智能运维状态分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311765881.1A CN117435980B (zh) 2023-12-21 2023-12-21 基于小样本学习的海岛光伏智能运维状态分析方法

Publications (2)

Publication Number Publication Date
CN117435980A true CN117435980A (zh) 2024-01-23
CN117435980B CN117435980B (zh) 2024-04-12

Family

ID=89546543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311765881.1A Active CN117435980B (zh) 2023-12-21 2023-12-21 基于小样本学习的海岛光伏智能运维状态分析方法

Country Status (1)

Country Link
CN (1) CN117435980B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008842A (zh) * 2019-03-09 2019-07-12 同济大学 一种基于深度多损失融合模型的行人重识别方法
KR20190140824A (ko) * 2018-05-31 2019-12-20 한국과학기술원 트리플릿 기반의 손실함수를 활용한 순서가 있는 분류문제를 위한 딥러닝 모델 학습 방법 및 장치
CN110930347A (zh) * 2018-09-04 2020-03-27 京东方科技集团股份有限公司 卷积神经网络的训练方法、焊点缺陷的检测方法及装置
CN113158955A (zh) * 2021-04-30 2021-07-23 杭州电子科技大学 基于聚类引导和成对度量三元组损失的行人重识别方法
CN115170793A (zh) * 2022-02-22 2022-10-11 北京理工大学 面向工业产品质检的小样本图像分割自我校准方法
CN115311238A (zh) * 2022-08-15 2022-11-08 华北电力大学（保定） 一种基于图像分析的光伏组件缺陷损伤的识别方法
CN115797309A (zh) * 2022-12-13 2023-03-14 天津大学 一种基于两阶段增量学习的表面缺陷分割方法
CN116167965A (zh) * 2022-12-01 2023-05-26 武汉科技大学 基于隐私保护的类不平衡晶圆缺陷模式识别方法及装置
CN116502714A (zh) * 2023-02-03 2023-07-28 深圳智现未来工业软件有限公司 一种端到端的知识图谱生成方法
CN116630285A (zh) * 2023-05-31 2023-08-22 河北工业大学 基于显著性特征分级蒸馏的光伏电池类增量缺陷检测方法
WO2023234930A1 (en) * 2022-05-31 2023-12-07 Siemens Aktiengesellschaft Self-supervised anomaly detection framework for visual quality inspection in manufactruing

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190140824A (ko) * 2018-05-31 2019-12-20 한국과학기술원 트리플릿 기반의 손실함수를 활용한 순서가 있는 분류문제를 위한 딥러닝 모델 학습 방법 및 장치
CN110930347A (zh) * 2018-09-04 2020-03-27 京东方科技集团股份有限公司 卷积神经网络的训练方法、焊点缺陷的检测方法及装置
US20210334587A1 (en) * 2018-09-04 2021-10-28 Boe Technology Group Co., Ltd. Method and apparatus for training a convolutional neural network to detect defects
CN110008842A (zh) * 2019-03-09 2019-07-12 同济大学 一种基于深度多损失融合模型的行人重识别方法
CN113158955A (zh) * 2021-04-30 2021-07-23 杭州电子科技大学 基于聚类引导和成对度量三元组损失的行人重识别方法
CN115170793A (zh) * 2022-02-22 2022-10-11 北京理工大学 面向工业产品质检的小样本图像分割自我校准方法
WO2023234930A1 (en) * 2022-05-31 2023-12-07 Siemens Aktiengesellschaft Self-supervised anomaly detection framework for visual quality inspection in manufactruing
CN115311238A (zh) * 2022-08-15 2022-11-08 华北电力大学（保定） 一种基于图像分析的光伏组件缺陷损伤的识别方法
CN116167965A (zh) * 2022-12-01 2023-05-26 武汉科技大学 基于隐私保护的类不平衡晶圆缺陷模式识别方法及装置
CN115797309A (zh) * 2022-12-13 2023-03-14 天津大学 一种基于两阶段增量学习的表面缺陷分割方法
CN116502714A (zh) * 2023-02-03 2023-07-28 深圳智现未来工业软件有限公司 一种端到端的知识图谱生成方法
CN116630285A (zh) * 2023-05-31 2023-08-22 河北工业大学 基于显著性特征分级蒸馏的光伏电池类增量缺陷检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SEMENOV, A: "Neural Networks with Multidimensional Cross-Entropy Loss Functions", 《COMPUTATION DATA AND SOCIAL NETWORK》, 10 November 2020 (2020-11-10), pages 57 - 62 *
贾东鑫等: "基于小样本深度学习的热轧带钢表面缺陷检测", 《信息技术与信息化》, 25 June 2023 (2023-06-25), pages 182 - 185 *

Also Published As

Publication number Publication date
CN117435980B (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
CN109543606B (zh) 一种加入注意力机制的人脸识别方法
WO2019214268A1 (zh) 一种基于复合信息的光伏阵列故障诊断方法
Xu et al. Recognition of rust grade and rust ratio of steel structures based on ensembled convolutional neural network
CN111461190A (zh) 一种基于深度卷积神经网络的非均衡船舶分类方法
CN109344753A (zh) 一种基于深度学习的航拍图像输电线路细小金具识别方法
CN111783841B (zh) 基于迁移学习和模型融合的垃圾分类方法、系统及介质
CN110321862B (zh) 一种基于紧致三元损失的行人再识别方法
CN111860106B (zh) 一种无监督的桥梁裂缝识别方法
CN111444865B (zh) 一种基于逐步求精的多尺度目标检测方法
CN110599459A (zh) 基于深度学习的地下管网风险评估云系统
CN109543693A (zh) 基于正则化标签传播的弱标注数据降噪方法
CN115953666B (zh) 一种基于改进Mask-RCNN的变电站现场进度识别方法
CN115797694A (zh) 基于多尺度孪生神经网络的显示面板微缺陷分类方法
CN117152503A (zh) 一种基于伪标签不确定性感知的遥感图像跨域小样本分类方法
CN111126155A (zh) 一种基于语义约束生成对抗网络的行人再识别方法
CN114626461A (zh) 基于领域自适应的跨域目标检测方法
CN116758539B (zh) 一种基于数据增强的胚胎图像卵裂球识别方法
CN107633527A (zh) 基于全卷积神经网络的目标追踪方法及装置
CN117372854A (zh) 一种大坝深水结构隐患病害实时检测方法
CN117435980B (zh) 基于小样本学习的海岛光伏智能运维状态分析方法
CN116884192A (zh) 一种电力生产作业风险预警方法、系统和设备
CN115239034B (zh) 一种风力发电机叶片早期缺陷预测方法及系统
CN116596851A (zh) 一种基于知识蒸馏和异常模拟的工业瑕疵检测方法
CN111275025A (zh) 一种基于深度学习的车位检测方法
Xu et al. Research on improved residual network classification method for defect recognition of thermal battery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant