CN117520924A - 基于多模态数据的海岛光伏运维故障原因分析方法及系统 - Google Patents

基于多模态数据的海岛光伏运维故障原因分析方法及系统 Download PDF

Info

Publication number
CN117520924A
CN117520924A CN202311855821.9A CN202311855821A CN117520924A CN 117520924 A CN117520924 A CN 117520924A CN 202311855821 A CN202311855821 A CN 202311855821A CN 117520924 A CN117520924 A CN 117520924A
Authority
CN
China
Prior art keywords
fault
data
text
image
maintenance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311855821.9A
Other languages
English (en)
Other versions
CN117520924B (zh
Inventor
甘纯
张引贤
张展耀
闻旭东
冯仰光
陈炯
吴昊
田晶
韩叶林
俞欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhoushan Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
Zhoushan Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhoushan Power Supply Co of State Grid Zhejiang Electric Power Co Ltd filed Critical Zhoushan Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Priority to CN202311855821.9A priority Critical patent/CN117520924B/zh
Publication of CN117520924A publication Critical patent/CN117520924A/zh
Application granted granted Critical
Publication of CN117520924B publication Critical patent/CN117520924B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/27—Regression, e.g. linear or logistic regression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Economics (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Water Supply & Treatment (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Photovoltaic Devices (AREA)

Abstract

本发明公开了一种基于多模态数据的海岛光伏运维故障原因分析方法及系统，涉及光伏智能运维领域。目前，海岛光伏运维故障原因分析准确性不太理想。本发明包括内容：获取光伏电站图像运维和文本运维数据；校验运维数据；将图像和文本数据进行配对；将图像数据和文本数据输入对应输入单模态编码器中，两单模态编码器编码形成特征向量；通过交叉注意力机制融合不同光伏电站数据模态的特征向量，得到加权后的图像和文本的特征表示矩阵，并进行拼接；故障分类计算；计算得到热力图；根据分类结果和相关特征，生成解释性的文本描述故障原因。本技术方案可以更全面、准确地了解光伏系统的故障原因，提高故障原因分析的准确性，以更好地解决故障问题。

Description

基于多模态数据的海岛光伏运维故障原因分析方法及系统
技术领域
本发明涉及光伏智能运维领域，尤其涉及一种基于多模态数据的海岛光伏运维故障原因分析方法及系统。
背景技术
光伏智能运维（光伏运维）是指利用先进的信息技术和智能化手段对光伏发电系统进行监测、诊断、预测和维护的一种运维方式。随着光伏发电技术的快速发展和广泛应用，光伏智能运维在提高光伏系统的可靠性、降低运维成本和提高发电效率方面发挥着重要作用。
然而，目前光伏智能运维仍存在一些不足之处。首先，传统的光伏智能运维主要依赖于单一模态的数据，如光伏阵列的电流、电压等。这种单一模态的数据无法全面反映光伏系统的运行状态和故障原因，限制了故障诊断和预测的准确性和效果。其次，光伏系统中的故障原因通常是多样化的，可能涉及光伏阵列、逆变器、电网等多个组件和子系统。传统的光伏智能运维往往只能对单一故障原因进行分析，无法全面理解和解决光伏系统的故障问题。
因此，目前迫切需要创新性的方法，使用多模态数据进行光伏智能运维的故障原因分析方法，以更好地理解光伏系统的故障原因，提高故障诊断和预测的准确性和效果。
发明内容
本发明要解决的技术问题和提出的技术任务是对现有技术方案进行完善与改进，提供一种基于多模态数据的海岛光伏运维故障原因分析方法，以达到提高故障诊断和预测的准确性和效果，帮助光伏系统运维人员更好地解决故障问题，提高系统可靠性和发电效率的目的。
为此，本发明采用的一种技术方案是：一种基于多模态数据的海岛光伏运维故障原因分析方法，包括以下内容：
1）获取光伏电站正常和具有缺陷的图像运维数据，图像运维数据包括光伏电池板、逆变器、电网设备的照片或监控摄像头捕捉的图像；
2）获取光伏电站文本运维数据，文本运维数据包括设备的技术规格、维护记录、故障报告、运维日志；
3）校验运维数据，以确保获取的图像和文本数据的质量和准确性；对于图像数据，校验其分辨率和清晰度；对于文本数据，校验其信息的完整性；
4）将图像和文本数据进行配对，以建立图像和文本之间的关联；
5）将图像数据输入基于残差网络的单模态编码器中，将文本数据输入基于word2vec的单模态编码器中，两单模态编码器对应编码图像和文本数据形成特征向量；
6）通过交叉注意力机制融合不同光伏电站数据模态的特征向量，得到加权后的图像和文本的特征表示矩阵；
7）将加权后的图像和文本的特征表示矩阵进行拼接，形成融合后的特征；
8）故障分类计算，使用训练后的基于卷积神经网络的故障分类网络对融合后的特征进行计算，经非线性变换后，进行归一化，得到表示各个类别故障概率的输出；
9）基于故障分类网络对故障原因进行可视化解释，得到热力图；
10）根据分类结果和相关特征，生成解释性的文本描述故障原因。
本技术方案结合了图像和文本两种数据模态，可以更全面地了解光伏电站的运行状态和故障情况；图像数据可以提供设备的外观和运行状态的直观信息，而文本数据可以提供关于设备性能、运行参数、维护历史等详细信息。图像和文本两种数据模态具有互补性；图像数据可以提供直观的视觉信息，而文本数据可以提供详细的描述和解释。通过将这两种模态的数据进行融合，可以更准确地识别和诊断故障。本技术方案使用了深度学习和神经网络技术，可以自动地对数据进行处理和分析，大大提高了运维效率和准确性。使用了故障分类网络，可以将故障原因进行可视化解释，得到热力图，这种可视化方式可以直观地展示不同设备或部件在故障发生时的关注程度，帮助运维人员快速定位故障原因。本技术方案不仅提供了故障分类的结果，还根据分类结果和相关特征生成了解释性的文本描述故障原因，这种描述可以为运维人员提供详细的故障分析和解决方案，有助于提高运维效率和准确性。以上可以使本技术方案具有全面性、互补性、高效性、可视化和解释性等优点，提高运维效率和准确性，为运维人员提供更直观、更详细的故障分析和解决方案。
当然多模态数据除了图像和文本数据，还可以有音频数据，这些数据包括来自不同传感器和模态的数据，通过综合利用这些多模态数据，可以更全面、准确地了解光伏系统的运行状态和故障原因。例如，通过图像数据可以观察光伏阵列的物理损坏情况，通过文本数据可以获取逆变器的报警信息，通过音频数据可以检测电网的噪声变化等。通过对多模态数据进行分析，可以更好地理解光伏系统的故障原因，提高故障诊断和预测的准确性和效果。
作为优选技术手段：还包括故障严重程度回归分析，故障严重程度回归分析使用故障分类网络的全连接层来进行故障严重程度的回归，得到表示故障严重程度概率的输出。使用全连接层进行故障严重程度的回归分析，能够根据输入的数据准确地预测故障的严重程度，学习到数据中的复杂关系，从而提供更精确的预测结果。本技术方案可以提供更直观的解释，使得运维人员更容易理解模型的预测结果，这对于故障原因分析和解决方案的制定非常有帮助。
作为优选技术手段：图像和文本数据进行配对的方法如下：
采用设备的唯一标识符或时间戳将图像和文本数据进行匹配，实现图像和文本之间的关联。通过采用设备的唯一标识符或时间戳进行图像和文本数据的配对，可以确保数据之间的准确关联，这种方法能够避免数据混淆和错误匹配，确保后续的分析和处理基于正确匹配的数据。使用唯一标识符或时间戳进行数据匹配是一种高效的方法，不需要复杂的特征匹配和相似度计算，直接根据标识符或时间戳进行匹配，减少了计算量和时间复杂度。本技术方案适用于各种设备和场景，只要设备具有唯一标识符或时间戳，就可以使用该方法进行数据配对，这使得该方案具有广泛的适用性，可以应用于不同的光伏电站和运维场景。而且，技术方案易于扩展和改进，可以根据实际需求，增加其他标识符或特征进行数据匹配，提高匹配的准确性和鲁棒性。同时，也可以根据新的数据类型和场景进行相应的调整和优化。
作为优选技术手段：通过构建的交叉注意力机制来融合不同模态的特征包括步骤：
601）将图像数据和文本数据的特征表示分别作为输入矩阵XA和XB；
602）计算图像模态A的每个位置i与文本模态B的每个位置j之间的相似度得分s ij；
603）通过对相似度得分s ij进行归一化，计算图像模态A位置i对文本模态 B 的注意力权重a ij；
604）根据注意力权重a ij对文本模态 B 的输入矩阵XB进行加权求和，得到交叉注意力机制的输出YB；同样地，计算文本模态B位置j对图像模态 A 的注意力权重b ji，根据注意力权重b ji对图像模态A的输入矩阵XA进行加权求和，得到交叉注意力机制的输出YA。
本技术方案通过交叉注意力机制可以成功融合图像和文本两种模态的特征，这种融合方式能够充分利用不同模态数据之间的互补性，从而提供更全面、更准确的特征表示。
交叉注意力机制能够为每个位置计算对其他位置的注意力权重，这种权重计算方式能够根据不同位置的重要性进行加权求和，从而得到更有效的特征表示。通过注意力权重，能够自适应地学习到不同模态数据之间的关联和重要性，使得模型能够更好地适应各种数据分布和场景，提高模型的泛化能力。且交叉注意力机制的计算过程相对高效，避免了复杂的特征匹配和相似度计算，这使得在处理大规模多模态数据时能够保持较高的计算效率。通过注意力权重为运维人员提供了关于不同模态数据之间关联的可解释性，有助于运维人员更好地理解模型的预测结果，从而更准确地定位故障原因。
作为优选技术手段：故障分类计算包括步骤：
801）使用训练后的故障分类网络全连接层对融合后的特征进行计算，假设融合后的特征为 F ∈ Rdf，其中d f表示特征的维度；全连接层的权重为 W ∈，其中d o表示输出类别的数量；全连接层的偏置项为 b ∈/>；
全连接层的计算过程表示为：
Z = W · F+b，
其中，Z ∈ Rdo表示全连接层的输出；
其中，权重W和偏置项b的最优值通过训练全连接层得到；
802）通过非线性激活函数对全连接层的输出进行非线性变换；
803）使用 Softmax 函数将输出进行归一化，得到表示各个类别概率的输出：
P = Softmax(A)，
其中，P ∈ Rdo表示各个类别的概率。
通过使用全连接层进行分类计算，能够学习到数据的复杂关系，从而提供更准确的分类结果。通过非线性激活函数对全连接层的输出进行非线性变换，能够捕捉到数据中的非线性关系，有助于提高分类的准确性和鲁棒性。使用Softmax函数将输出进行归一化，得到表示各个类别概率的输出；这种归一化方式使得每个类别的概率之和为1，便于后续的决策和解释。而且本技术方案易于扩展和改进，可以根据实际需求，增加其他类型的神经网络层或优化算法，提高分类的准确性和效率。
作为优选技术手段：基于故障分类网络对故障原因进行可视化解释而得到热力图包括步骤：
901）获取故障分类网络的最后一个输出特征图，假设大小为H×W，
902）计算预测结果对于特征图上每个位置的梯度，使用反向传播算法得到梯度，其中Aij表示特征图上位置i,j的特征向量；
计算每个位置的重要性权重，通过对梯度进行全局平均池化得到权重向量，其中/>，
将权重向量与特征图进行加权求和，得到加权特征图G，其中，
对加权特征图进行归一化，并将其映射到原始图像的尺寸上，得到热力图；通过热力图可视化故障分类网络对于不同特征的关注程度，从而进行故障原因分析。
通过计算每个位置的重要性权重，对特征图上的局部区域进行重要性评估，这有助于识别出对故障预测影响较大的特征，从而更好地理解模型的预测结果。将加权特征图归一化并映射到原始图像的尺寸上，能够将局部的重要性评估集成到整体的热力图中，这使得运维人员能够综合考虑全局信息，更全面地了解故障情况。采用了高效的反向传播算法和池化操作，提高了计算效率。
作为优选技术手段：根据分类结果和相关特征生成解释性的文本描述故障原因包括步骤：
1001）根据模型的分类结果和相关特征，确定故障原因的具体特征；通过对分类结果和相关特征的分析，得到故障原因的主要因素；
1002）利用语言模型生成描述故障原因的文本；通过训练好的统计模型，学习故障原因描述的概率分布。
本技术方案利用了语言模型和统计模型，能够自动地生成描述故障原因的文本，这大大减少了分析故障原因的工作量，提高了运维效率。且可以根据不同的分类结果和相关特征生成不同的解释性文本，这使得该方案能够适应不同的故障情况和数据分布，具有较高的灵活性。
作为优选技术手段：在利用语言模型生成描述故障原因的文本时，根据分类结果和相关特征作为输入的上下文，使用语言模型生成故障原因的具体特征、可能的原因和建议的解决方案；通过查询模型，找到在给定上下文的条件下，得到每个可能的下一个词的概率，然后，根据每个可能的下一个词的概率，使用策略选择下一个词，从而生成相应的文本描述。
本技术方案利用语言模型生成描述故障原因的文本时，该方案能够根据分类结果和相关特征作为输入的上下文，理解故障原因的具体特征、可能的原因和建议的解决方案，这使得生成的文本更具有针对性和准确性，能够更好地满足运维人员的需求。通过语言模型生成文本时，能够考虑到每个可能的下一个词的概率，并根据这些概率选择下一个词，这有助于生成高质量、连贯的文本描述，提高运维人员对故障原因的理解和解决方案的接收度。本技术方案不仅可以生成故障原因的描述文本，还可以根据分类结果和相关特征自动提供可能的解决方案建议，这为运维人员提供了更全面的故障处理方案，有助于快速解决问题。由于本方法使用的是有监督学习模型，因此可以解释模型为什么会生成这样的文本描述和解决方案建议，这增加了模型的可信度和可解释性，有助于运维人员更好地理解和信任模型的预测结果。由于本方法可以根据不同的分类结果和相关特征生成不同的文本描述和建议，这使得该方案能够适应不同的故障情况和数据分布，具有较高的灵活性。
本发明采用的另一种技术方案为：一种基于多模态数据的海岛光伏运维故障原因分析系统，其采用前述的基于多模态数据的海岛光伏运维故障原因分析方法；系统包括：
光伏电站图像运维数据获取模块：用于获取光伏电站正常和具有缺陷的图像运维数据，其中图像运维数据包括光伏电池板、逆变器、电网设备的照片或监控摄像头捕捉的图像；
光伏电站文本运维数据获取模块：用于获取光伏电站文本运维数据，其中文本运维数据包括设备的技术规格、维护记录、故障报告、运维日志；
校验运维数据模块，用于校验运维数据，以确保获取的图像和文本数据的质量和准确性；对于图像数据，校验其分辨率和清晰度；对于文本数据，校验其信息的完整性；
图像和文本数据配对模块，用于图像和文本数据的配对，从而建立图像和文本之间的关联；
图像和文本数据编码模块，用于将图像数据输入基于残差网络的单模态编码器中，将文本数据输入基于word2vec的单模态编码器中，两单模态编码器对应编码图像和文本数据形成特征向量；
基于交叉注意力的模态融合模块，通过交叉注意力机制融合光伏电站不同数据模态的特征向量，得到加权后的图像和文本的特征表示矩阵；
特征拼接融合模块，用于将加权后的图像和文本的特征表示矩阵进行拼接，形成融合后的特征表示；
故障分类计算模块，用于使用训练后的基于卷积神经网络的故障分类网络对融合后的特征进行计算，经非线性变换后，进行归一化，得到表示各个类别故障概率的输出；
可视化模块，用于基于故障分类网络对故障原因进行可视化解释，得到热力图；
文本生成模块，根据分类结果和相关特征，生成解释性的文本描述故障原因。
本系统综合了图像运维数据和文本运维数据两种模态的数据，通过交叉注意力机制实现了不同模态数据的融合，从而更全面地分析故障原因。系统设置了校验运维数据模块，对获取的图像和文本数据进行质量校验，确保数据的准确性和完整性，提高了故障原因分析的准确性。系统通过图像和文本数据配对模块，建立了图像和文本之间的关联，使得不同模态的数据能够相互补充，更全面地描述故障情况。使用基于残差网络和word2vec的单模态编码器分别对图像和文本数据进行编码，形成特征向量，这种编码方式能够有效地提取出不同模态数据的特征，为后续的故障分类计算提供有力的支持。系统通过故障分类网络对融合后的特征进行计算，实现了故障的分类，同时，通过可视化模块，能够将故障原因以热力图的形式直观地展示出来，方便运维人员快速定位和解决问题。系统根据分类结果和相关特征，自动生成解释性的文本描述故障原因，为运维人员提供了详细的故障分析和解决方案，提高了故障处理的效率。
作为优选技术手段：还包括故障严重程度回归分析模块，用于故障分类网络的全连接层进行故障严重程度的回归分析，输出一个0~1的浮点数值，得到表示故障严重程度概率的输出。
通过故障严重程度回归分析模块，系统能够基于全连接层对故障的严重程度进行回归分析，得到表示故障严重程度概率的输出，这有助于运维人员提前了解故障可能带来的影响，从而采取相应的预防措施或应急处理方案。通过对故障严重程度的预测，运维人员可以更加精细化地进行电站运维，例如，对于可能影响较大的故障，可以优先进行处理，以减少其对电站运行的影响。基于故障严重程度的概率输出，运维人员可以做出更加明智的决策，例如，当预测到某个故障可能严重影响电站运行时，可以提前进行设备更换或维修，避免因故障导致的停机或产能损失。通过对故障严重程度的预测和分析，运维人员可以不断积累经验，优化运维策略和方法，同时，也可以为后续的设备选型、设计改进等提供数据支持，进一步提高电站的运行效率和稳定性。
有益效果：
本技术方案至少结合了图像和文本两种数据模态，可以更全面地了解光伏电站的运行状态和故障情况；图像数据可以提供设备的外观和运行状态的直观信息，而文本数据可以提供关于设备性能、运行参数、维护历史等详细信息。
由于图像和文本两种数据模态具有互补性；图像数据可以提供直观的视觉信息，而文本数据可以提供详细的描述和解释，通过将这两种模态的数据进行融合，可以更准确地识别和诊断故障。
本技术方案使用了深度学习和神经网络技术，可以自动地对数据进行处理和分析，大大提高了运维效率和准确性。
使用故障分类网络，可以将故障原因进行可视化解释，得到热力图，这种可视化方式可以直观地展示不同设备或部件在故障发生时的关注程度，帮助运维人员快速定位故障原因。
本技术方案不仅提供了故障分类的结果，还根据分类结果和相关特征生成了解释性的文本描述故障原因，这种描述可以为运维人员提供详细的故障分析和解决方案，有助于提高运维效率和准确性。
综上，本技术方案具有全面性、互补性、高效性、可视化和解释性等优点，提高运维效率和准确性，为运维人员提供更直观、更详细的故障分析和解决方案。通过综合利用这些数据可以更全面、准确地了解光伏系统的故障原因。提高故障诊断和预测的准确性和效果，帮助光伏系统运维人员更好地解决故障问题，提高系统可靠性和发电效率。
附图说明
图1是本发基于多模态数据的海岛光伏运维故障原因分析方法明的流程图。
图2是本发明基于多模态数据的海岛光伏运维故障原因分析系统的架构原理图。
图3是本发明的分析输出结果图。
具体实施方式
为更好地理解光伏系统的故障原因，提高故障诊断和预测的准确性和效果，在本发明中采用多模态神经网络，多模态神经网络通常是多个单模态神经网络（单模态编码器）的组合。其中，模态包括缺陷图片和光伏电站的日志数据。例如，海岛光伏智能运维模型相应的由两个单模态神经网络组成，一个用于处理缺陷图片数据，一个用于处理光伏电站的日志数据。这些单模态神经网络通常会分别处理它们的输入。这个过程被称为编码。在单模态编码完成后，必须将从每个模型提取的信息融合在一起。针对基于多模态数据的海岛光伏运维故障原因分析，已经提出了多种融合技术，从简单的串联到注意机制不等。多模态数据融合的过程是最重要的成功因素之一。融合完成后，一个最终的“决策”网络接收融合的编码信息，并在故障原因分析任务上进行训练。
简单来说，基于多模态数据的海岛光伏智能运维的故障分析通常由三个部分组成：
（1）单模态编码器，用于包括编码缺陷图片和光伏电站的日志数据。通常，每个输入模态都有一个编码器。
（2）融合网络，在编码阶段将从包括缺陷图片和光伏电站日志数据提取的特征组合在一起。
（3）分类器，接收融合的数据并进行故障原因分析的预测。
以下结合说明书附图对本发明的技术方案做进一步的详细说明。
实施例一：
如图1所示，以下就基于多模态数据的海岛光伏运维故障原因分析方法作具体的说明：
S1：光伏电站图像运维数据收集
需要收集光伏电站的图像数据。这些图像可以包括光伏电池板、逆变器、电网等设备的照片或监控摄像头捕捉的图像。确保图像具有足够的分辨率和清晰度，以便能够准确地捕捉设备的细节和状态。这些图像可以用于分析设备的状态、损坏情况以及其他相关信息。
S2：光伏电站文本运维数据收集
需要收集与光伏电站运维相关的文本数据。这些文本数据可以包括设备的技术规格、维护记录、故障报告、运维日志等。确保文本数据包含完整的信息，并经过正确的记录和标注。这些文本数据可以提供设备的详细信息、维护历史以及故障原因的描述。
S3：运维数据质量和准确性的校验
需要确保收集到的图像和文本数据的质量和准确性。对于图像数据，确保其具有足够的分辨率和清晰度，以便能够准确地捕捉设备的细节和状态。对于文本数据，确保其包含完整的信息，并经过正确的记录和标注。
S4：建立图像和文本数据的关联
需要将图像和文本数据进行配对，以建立图像和文本之间的关联。可以使用设备的唯一标识符或时间戳等信息将图像和文本数据进行匹配。确保图像和文本数据的关联性，以便后续的多模态分析。
通过按照以上步骤进行，可以准备海岛光伏智能运维的多模态分析所需的图像和文本数据。
这样可以为后续的多模态数据故障原因分析提供基础。请注意，在每个步骤中要确保数据的质量和准确性，以获得可靠的分析结果。
S5：选择合适的单模态运维数据编码器
针对不同的模态数据，选择不同的单模态编码器。
在处理视觉模态时，采用经典的 ResNets（残差网络）。ResNets 是一种深度卷积神经网络，通过引入残差连接来解决梯度消失和梯度爆炸的问题。其数学表示如下：
y = F(x,W i)+x ，
其中，x是输入，y是输出，F 表示 Residual 函数，W i表示网络的权重参数。
在处理文本模态时，使用 word2vec 技术进行编码。word2vec 是一种将文本数据转换为向量表示的技术，基于分布式假设，即具有相似上下文的词在向量空间中也应该具有相似的表示。
word2vec 通过训练一个神经网络来学习词向量，其中包括连续词袋模型（CBOW）和 Skip-gram 模型。CBOW 模型的数学表示如下：
，
其中，v表示目标词的词向量，vi表示上下文词的词向量，C表示上下文窗口的大小。
通过选择合适的单模态编码器，可以将视觉和文本数据编码为有意义的表示，从而进行多模态数据故障原因分析。这种编码方式可以提取出数据中的重要特征，并帮助更好地理解和解释数据。同时，还可以使用其他编码器和嵌入技术来处理其他类型的数据，以满足不同任务的需求。为后续的多模态数据故障原因分析提供基础。
S6：为不同电站数据模态构建交叉注意力机制
在基于多模态数据的海岛光伏运维故障原因分析中，采用交叉注意力机制这种融合方法可以更好地捕捉不同模态之间的关联性，从而提高故障原因分析的准确性和效果。
交叉注意力机制基于自注意力机制的思想。自注意力机制（Self-Attention）是一种用于计算序列中不同位置之间的关联性的方法。在自注意力机制中，将输入序列表示为一个矩阵，其中每一行代表一个位置的特征向量。假设输入序列的长度为N，每个位置的特征向量的维度为d，则输入矩阵为X ∈。
自注意力机制通过计算每个位置与其他位置之间的相似度得到注意力权重。这可以通过计算位置之间的内积来实现。具体而言，可以通过以下公式计算位置i和位置j之间的相似度得分s ij：
s ij= Xi· Xj，
其中，Xi和Xj分别表示位置i和位置j的特征向量。
然后，可以通过对相似度得分进行归一化，得到位置i对其他位置的注意力权重a ij：
，
注意力权重表示了位置i对其他位置的重要性程度。
最后，可以根据注意力权重对输入矩阵进行加权求和，得到自注意力机制的输出Y：
Yi= ∑j= 1N a ijXj，
在交叉注意力机制中，将不同模态的表示作为输入，并通过计算它们之间的注意力权重来决定它们在融合中的贡献。
具体而言，交叉注意力机制通过计算每个模态与其他模态之间的相似度得到注意力权重。这可以通过计算模态之间的内积或通过使用神经网络来实现。然后，根据注意力权重，可以对不同模态的表示进行加权求和，从而得到融合后的表示。
假设有两个模态，分别为模态 A 和模态 B，它们的输入矩阵分别为 XA∈ RN×dA和 XB∈RM×dB，其中N和M分别表示两个模态的长度，d A和d B分别表示两个模态的特征向量维度。
交叉注意力机制通过计算模态 A 的每个位置与模态 B 的每个位置之间的相似度得到注意力权重。具体而言，可以通过以下公式计算位置i和位置j之间的相似度得分s ij：
s ij= XAi· XBj,
然后，可以通过对相似度得分进行归一化，得到位置i对模态 B 其他位置的注意力权重a ij：
,
最后，可以根据注意力权重对模态 B 的输入矩阵进行加权求和，得到交叉注意力机制的输出YB：
,
同理，可以得到 YA i。通过以上步骤的反复迭代，两种模态间进行了知识的不断交换和融合，最终将两种模态进行拼接，得到的融合特种用于最终的故障分析。
交叉注意力机制的优点在于它能够捕捉到不同模态之间的复杂关系和交互，从而提高了融合后表示的表达能力。在基于多模态数据的海岛光伏运维故障原因分析中，交叉注意力机制可以帮助更好地理解不同模态之间的关联性，从而提高故障原因分析的准确性和效果。
基于交叉注意力的模态融合模块在多模态数据故障原因分析中起着重要的作用。交叉注意力机制是一种有效的融合方法，它能够捕捉到不同模态之间的关联性，提高故障原因分析的准确性和效果。在实际应用中，可以根据具体任务和数据特点选择合适的融合方法，以达到更好的分析结果。
S7：不同模态运维数据的特征拼接融合
将交叉注意力机制的输出YA和YB进行拼接，得到融合后的特征表示。可以使用简单的拼接操作将两个特征向量连接在一起，形成一个更高维度的特征向量。
S8：电站故障分类计算
使用训练后的基于卷积神经网络的故障分类网络对融合后的特征进行计算。假设融合后的特征为 F ∈ Rdf，其中d f表示特征的维度。故障分类网络全连接层的权重为 W ∈，其中d o表示输出类别的数量。全连接层的偏置项为 b ∈/>。
全连接层的计算过程可以表示为：
Z = W · F+b ,
其中，Z ∈ Rdo表示全连接层的输出。
全连接层的输出需要进行非线性变换。常用的激活函数包括 ReLU 函数、Sigmoid函数等。以ReLU 函数为例，其计算过程可以表示为：
A = max(Z,0),
其中，A ∈ Rdo表示经过 ReLU 激活函数后的输出。
最后，使用 Softmax 函数将输出进行归一化，得到表示各个类别概率的输出：
P = Softmax(A),
其中，P ∈ Rdo表示各个类别的概率。
通过训练全连接层，可以学习到权重W和偏置项b的最优值，从而实现准确的故障原因分类。分类结果可以帮助了解当前故障的具体原因，为后续的故障处理和维修提供指导。
S9：故障严重程度回归
除了故障原因的分类，还可以基于多模态特征对故障的严重程度进行回归分析。同样地，可以使用全连接层来进行故障严重程度的回归。具体步骤与故障原因分类类似，只是输出的维度和目标不同。
S10：故障位置在图像中的可视化
根据分类和回归结果对故障原因进行解释和分析，可以采用可视化故障原因的重要特征。通过分析全连接层的权重，确定哪些特征对于故障原因的分类起到了重要的作用。这些重要特征可以通过可视化技术（如热力图、条形图等）进行展示，帮助用户理解故障原因分类的依据。
在本实施例中，采用 Grad-CAM 的方式来分析故障的成因，Grad-CAM 是一种可视化技术，用于解释卷积神经网络（CNN）模型的预测结果。它通过计算特征图上每个位置对于预测结果的重要性，生成一个热力图，热力图用于可视化故障分类网络对于不同特征的关注程度。
在这一步骤中，使用 Grad-CAM 技术对故障原因进行可视化解释，具体步骤如下：获取故障分类网络的最后一个输出特征图，假设大小为H×W。
计算预测结果对于特征图上每个位置的梯度，使用反向传播算法得到梯度，其中Aij表示特征图上位置i,j的特征向量。
计算每个位置的重要性权重，通过对梯度进行全局平均池化得到权重向量，其中/>。
将权重向量与特征图进行加权求和，得到加权特征图G，其中。
对加权特征图进行归一化，并将其映射到原始图像的尺寸上，得到热力图。热力图可以用来可视化故障分类网络对于不同特征的关注程度，从而进行故障原因分析。
如图3所示，为当检测到信号缺陷时的曲线图片及对应热力图。热力图准确的显示了时间线上错误的位置，其结果表达更为直观。
步骤十一：生成故障解释性文本描述
为使故障原因更为清楚，还可以生成解释性的文本描述来解释故障原因。在光伏电站运维中，可以收集大量的故障数据和对应的故障原因描述，根据模型的分类结果和相关特征，可以确定故障原因的具体特征。这些特征可能包括光伏电站的组件状态、环境条件、电网连接等。通过对分类结果和相关特征的分析，可以了解故障原因的主要因素。通过分析这些数据，可以构建一个统计模型，如 n-gram 模型或语言模型，来学习故障原因描述的概率分布。
首先，将收集到的故障原因描述进行预处理，包括分词、去除停用词等。然后，可以使用 n-gram 模型来学习故障原因描述的概率分布。n-gram 模型是一种基于统计的语言模型，它通过计算相邻 n 个词的出现频率来估计整个句子的概率。
例如，可以使用 2-gram 模型，即考虑相邻两个词的概率。通过统计故障原因描述中相邻两个词的频率，可以计算每个词在给定前一个词的条件下出现的概率。这样，就可以根据输入的上下文（前一个词）生成相应的文本描述（后一个词）。
举个例子，假设已经训练好了一个 2-gram 模型，并且希望根据输入的上下文“电池”生成下一个词。可以查询模型，找到在给定上下文“电池”的条件下，每个可能的下一个词的概率。然后，根据这些概率，可以使用一定的策略（如贪婪搜索、随机采样等）选择下一个词，从而生成相应的文本描述。
通过分析分类结果和相关特征，可以生成描述故障原因的文本，以帮助用户更好地理解和解决故障。这些文本描述可以包括故障原因的具体特征、可能的原因和建议的解决方案等，输出样例展示：
2021年12月12日15:00，XX光伏发电场发生电器故障。
实施例二：
如图2所示，本实施例提供一种基于多模态数据的海岛光伏运维故障原因分析系统，包括：
光伏电站图像运维数据获取模块：用于获取光伏电站正常和具有缺陷的图像运维数据，其中图像运维数据包括光伏电池板、逆变器、电网设备的照片或监控摄像头捕捉的图像；
光伏电站文本运维数据获取模块：用于获取光伏电站文本运维数据，其中文本运维数据包括设备的技术规格、维护记录、故障报告、运维日志；
校验运维数据模块，用于校验运维数据，以确保获取的图像和文本数据的质量和准确性；对于图像数据，校验其分辨率和清晰度；对于文本数据，校验其信息的完整性；
图像和文本数据配对模块，用于图像和文本数据的配对，从而建立图像和文本之间的关联；
图像和文本数据编码模块，用于将图像数据输入基于残差网络的单模态编码器中，将文本数据输入基于word2vec的单模态编码器中，两单模态编码器对应编码图像和文本数据形成特征向量；
基于交叉注意力的模态融合模块，通过交叉注意力机制融合光伏电站不同数据模态的特征向量，得到加权后的图像和文本的特征表示矩阵；基于交叉注意力的模态融合模块为图2中的模态融合1和模态融合2。
特征拼接融合模块，用于将加权后的图像和文本的特征表示矩阵进行拼接，形成融合后的特征表示；特征拼接融合模块为图2中的模态融合3。
故障分类计算模块，用于使用训练后的基于卷积神经网络的故障分类网络对融合后的特征进行计算，经非线性变换后，进行归一化，得到表示各个类别故障概率的输出；
可视化模块，用于基于故障分类网络对故障原因进行可视化解释，得到热力图；
文本生成模块，根据分类结果和相关特征，生成解释性的文本描述故障原因。
本系统综合了图像运维数据和文本运维数据两种模态的数据，通过交叉注意力机制实现了不同模态数据的融合，从而更全面地分析故障原因。当然为了提高分析的准确性，还可以增加音频数据，音频数据、与图像数据和文本数据进行综合，实现模态的融合。
系统设置了校验运维数据模块，对获取的图像和文本数据进行质量校验，确保数据的准确性和完整性，提高了故障原因分析的准确性。系统通过图像和文本数据配对模块，建立了图像和文本之间的关联，使得不同模态的数据能够相互补充，更全面地描述故障情况。使用基于残差网络和word2vec的单模态编码器分别对图像和文本数据进行编码，形成特征向量，这种编码方式能够有效地提取出不同模态数据的特征，为后续的故障分类计算提供有力的支持。系统通过故障分类网络对融合后的特征进行计算，实现了故障的分类，同时，通过可视化模块，能够将故障原因以热力图的形式直观地展示出来，方便运维人员快速定位和解决问题。系统根据分类结果和相关特征，自动生成解释性的文本描述故障原因，为运维人员提供了详细的故障分析和解决方案，提高了故障处理的效率。
可以理解的是，上述各个模块的详细功能实现可参见前述方法实施例中的介绍，在此不做其他赘述。
由以上具体实施方式可知，本发明提出了一种创新基于多模态数据的海岛光伏运维故障原因分析方法及系统，可以结合图像、文本、音频等数据模态，更全面地了解光伏电站的运行状态和故障情况；图像数据可以提供设备的外观和运行状态的直观信息，而文本数据可以提供关于设备性能、运行参数、维护历史等详细信息。通过音频数据可以检测电网的噪声变化等。
由于图像和文本两种数据模态具有互补性；图像数据可以提供直观的视觉信息，而文本数据可以提供详细的描述和解释，通过将这两种模态的数据进行融合，可以更准确地识别和诊断故障。
本技术方案使用了深度学习和神经网络技术，可以自动地对数据进行处理和分析，大大提高了运维效率和准确性。
使用故障分类网络，可以将故障原因进行可视化解释，得到热力图，这种可视化方式可以直观地展示不同设备或部件在故障发生时的关注程度，帮助运维人员快速定位故障原因。
本技术方案不仅提供了故障分类的结果，还根据分类结果和相关特征生成了解释性的文本描述故障原因，这种描述可以为运维人员提供详细的故障分析和解决方案，有助于提高运维效率和准确性。
以上使得本技术方案具有全面性、互补性、高效性、可视化和解释性等优点，提高运维效率和准确性，为运维人员提供更直观、更详细的故障分析和解决方案。通过综合利用这些数据可以更全面、准确地了解光伏系统的故障原因。提高故障诊断和预测的准确性和效果，帮助光伏系统运维人员更好地解决故障问题，提高系统可靠性和发电效率。
上述的实施例仅为本发明的优选技术方案，而不应视为对于本发明的限制，本发明的保护范围应以权利要求记载的技术方案，包括权利要求记载的技术方案中技术特征的等同替换方案为保护范围。即在此范围内的等同替换改进，也在本发明的保护范围之内。

Claims (10)

1.一种基于多模态数据的海岛光伏运维故障原因分析方法，其特征在于包括以下内容：
1）获取光伏电站正常和具有缺陷的图像运维数据，图像运维数据包括光伏电池板、逆变器、电网设备的照片或监控摄像头捕捉的图像；
2）获取光伏电站文本运维数据，文本运维数据包括设备的技术规格、维护记录、故障报告、运维日志；
3）校验运维数据，以确保获取的图像和文本数据的质量和准确性；对于图像数据，校验其分辨率和清晰度；对于文本数据，校验其信息的完整性；
4）将图像和文本数据进行配对，以建立图像和文本之间的关联；
5）将图像数据输入基于残差网络的单模态编码器中，将文本数据输入基于word2vec的单模态编码器中，两单模态编码器对应编码图像和文本数据形成特征向量；
6）通过交叉注意力机制融合光伏电站不同数据模态的特征向量，得到加权后的图像和文本的特征表示矩阵；
7）将加权后的图像和文本的特征表示矩阵进行拼接，形成融合后的特征；
8）故障分类计算，使用训练后的基于卷积神经网络的故障分类网络对融合后的特征进行计算，经非线性变换后，进行归一化，得到表示各个类别故障概率的输出；
9）基于故障分类网络对故障原因进行可视化解释，得到热力图；
10）根据分类结果和相关特征，生成解释性的文本描述故障原因。
2.根据权利要求1所述的一种基于多模态数据的海岛光伏运维故障原因分析方法，其特征在于：还包括故障严重程度回归分析，故障严重程度回归分析使用故障分类网络的全连接层来进行故障严重程度的回归，得到表示故障严重程度概率的输出。
3.根据权利要求2所述的一种基于多模态数据的海岛光伏运维故障原因分析方法，其特征在于：图像和文本数据进行配对的方法如下：
采用设备的唯一标识符或时间戳将图像和文本数据进行匹配，实现图像和文本之间的关联。
4.根据权利要求3所述的一种基于多模态数据的海岛光伏运维故障原因分析方法，其特征在于：通过构建的交叉注意力机制来融合不同模态的特征包括步骤：
601）将图像数据和文本数据的特征表示分别作为输入矩阵XA 和XB；
602）计算图像模态A的每个位置i与文本模态B的每个位置j之间的相似度得分 s ij；
603）通过对相似度得分s ij进行归一化，计算图像模态A位置i对文本模态 B 的注意力权重a ij；
604）根据注意力权重a ij对文本模态 B 的输入矩阵XB进行加权求和，得到交叉注意力机制的输出YB；同样地，计算文本模态B位置j对图像模态 A 的注意力权重b ji，根据注意力权重b ji对图像模态A的输入矩阵XA进行加权求和，得到交叉注意力机制的输出YA。
5.根据权利要求4所述的一种基于多模态数据的海岛光伏运维故障原因分析方法，其特征在于：故障分类计算包括步骤：
801）使用训练后的故障分类网络全连接层对融合后的特征进行计算，假设融合后的特征为 F ∈ Rdf，其中 d f表示特征的维度；全连接层的权重为 W ∈ ，其中 d o 表示输出类别的数量；全连接层的偏置项为 b ∈/>；
全连接层的计算过程表示为：
Z = W · F+b，
其中，Z ∈ Rdo表示全连接层的输出；
其中，权重W和偏置项b的最优值通过训练全连接层得到；
802）通过非线性激活函数对全连接层的输出进行非线性变换；
803）使用 Softmax 函数将输出进行归一化，得到表示各个类别概率的输出：
P = Softmax(A)，
其中，P ∈ Rdo表示各个类别的概率。
6.根据权利要求5所述的一种基于多模态数据的海岛光伏运维故障原因分析方法，其特征在于：基于故障分类网络对故障原因进行可视化解释而得到热力图包括步骤：
901）获取故障分类网络的最后一个输出特征图，假设大小为 H × W，
902）计算预测结果对于特征图上每个位置的梯度，使用反向传播算法得到梯度，其中Aij表示特征图上位置 i,j的特征向量；
计算每个位置的重要性权重，通过对梯度进行全局平均池化得到权重向量，其中；
将权重向量与特征图进行加权求和，得到加权特征图G，其中；
对加权特征图进行归一化，并将其映射到原始图像的尺寸上，得到热力图；通过热力图可视化故障分类网络对于不同特征的关注程度，从而进行故障原因分析。
7.根据权利要求6所述的一种基于多模态数据的海岛光伏运维故障原因分析方法，其特征在于：根据分类结果和相关特征生成解释性的文本描述故障原因包括步骤：
1001）根据模型的分类结果和相关特征，确定故障原因的具体特征；通过对分类结果和相关特征的分析，得到故障原因的主要因素；
1002）利用语言模型生成描述故障原因的文本；通过训练好的统计模型，学习故障原因描述的概率分布。
8.根据权利要求7所述的一种基于多模态数据的海岛光伏运维故障原因分析方法，其特征在于：在利用语言模型生成描述故障原因的文本时，根据分类结果和相关特征作为输入的上下文，使用语言模型生成故障原因的具体特征、可能的原因和建议的解决方案；通过查询模型，找到在给定上下文的条件下，得到每个可能的下一个词的概率，然后，根据每个可能的下一个词的概率，使用策略选择下一个词，从而生成相应的文本描述。
9.一种基于多模态数据的海岛光伏运维故障原因分析系统，其特征在于：采用如权利要求1-8任一所述的一种基于多模态数据的海岛光伏运维故障原因分析方法；其包括：
光伏电站图像运维数据获取模块：用于获取光伏电站正常和具有缺陷的图像运维数据，其中图像运维数据包括光伏电池板、逆变器、电网设备的照片或监控摄像头捕捉的图像；
光伏电站文本运维数据获取模块：用于获取光伏电站文本运维数据，其中文本运维数据包括设备的技术规格、维护记录、故障报告、运维日志；
校验运维数据模块，用于校验运维数据，以确保获取的图像和文本数据的质量和准确性；对于图像数据，校验其分辨率和清晰度；对于文本数据，校验其信息的完整性；
图像和文本数据配对模块，用于图像和文本数据的配对，从而建立图像和文本之间的关联；
图像和文本数据编码模块，用于将图像数据输入基于残差网络的单模态编码器中，将文本数据输入基于word2vec的单模态编码器中，两单模态编码器对应编码图像和文本数据形成特征向量；
基于交叉注意力的模态融合模块，通过交叉注意力机制融合不同光伏电站数据模态的特征向量，得到加权后的图像和文本的特征表示矩阵；
特征拼接融合模块，用于将加权后的图像和文本的特征表示矩阵进行拼接，形成融合后的特征表示；
故障分类计算模块，用于使用训练后的基于卷积神经网络的故障分类网络对融合后的特征进行计算，经非线性变换后，进行归一化，得到表示各个类别故障概率的输出；
可视化模块，用于基于故障分类网络对故障原因进行可视化解释，得到热力图；
文本生成模块，根据分类结果和相关特征，生成解释性的文本描述故障原因。
10.根据权利要求9所述的一种基于多模态数据的海岛光伏运维故障原因分析系统，其特征在于：还包括故障严重程度回归分析模块，用于采用故障分类网络的全连接层进行故障严重程度的回归分析，输出一个0~1的浮点数值，得到表示故障严重程度概率的输出。
CN202311855821.9A 2023-12-29 2023-12-29 基于多模态数据的海岛光伏运维故障原因分析方法及系统 Active CN117520924B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311855821.9A CN117520924B (zh) 2023-12-29 2023-12-29 基于多模态数据的海岛光伏运维故障原因分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311855821.9A CN117520924B (zh) 2023-12-29 2023-12-29 基于多模态数据的海岛光伏运维故障原因分析方法及系统

Publications (2)

Publication Number Publication Date
CN117520924A true CN117520924A (zh) 2024-02-06
CN117520924B CN117520924B (zh) 2024-04-12

Family

ID=89764782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311855821.9A Active CN117520924B (zh) 2023-12-29 2023-12-29 基于多模态数据的海岛光伏运维故障原因分析方法及系统

Country Status (1)

Country Link
CN (1) CN117520924B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210135625A1 (en) * 2018-05-09 2021-05-06 Beijing Institute Of Technology Photovoltaic array fault diagnosis method based on composite information
CN113496210A (zh) * 2021-06-21 2021-10-12 西安理工大学 基于注意力机制的光伏组串跟踪及故障跟踪方法
US20220392637A1 (en) * 2021-06-02 2022-12-08 Neumora Therapeutics, Inc. Multimodal dynamic attention fusion
CN116204266A (zh) * 2023-05-04 2023-06-02 深圳市联合信息技术有限公司 远程协助的信息创建运维系统及其方法
CN116434023A (zh) * 2023-04-07 2023-07-14 上海大学 基于多模态交叉注意力网络的情感识别方法、系统及设备
CN116844179A (zh) * 2023-07-11 2023-10-03 郑州轻工业大学 基于多模态交叉注意力机制图文融合的情感分析方法
CN116994069A (zh) * 2023-09-22 2023-11-03 武汉纺织大学 一种基于多模态信息的图像解析方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210135625A1 (en) * 2018-05-09 2021-05-06 Beijing Institute Of Technology Photovoltaic array fault diagnosis method based on composite information
US20220392637A1 (en) * 2021-06-02 2022-12-08 Neumora Therapeutics, Inc. Multimodal dynamic attention fusion
CN113496210A (zh) * 2021-06-21 2021-10-12 西安理工大学 基于注意力机制的光伏组串跟踪及故障跟踪方法
CN116434023A (zh) * 2023-04-07 2023-07-14 上海大学 基于多模态交叉注意力网络的情感识别方法、系统及设备
CN116204266A (zh) * 2023-05-04 2023-06-02 深圳市联合信息技术有限公司 远程协助的信息创建运维系统及其方法
CN116844179A (zh) * 2023-07-11 2023-10-03 郑州轻工业大学 基于多模态交叉注意力机制图文融合的情感分析方法
CN116994069A (zh) * 2023-09-22 2023-11-03 武汉纺织大学 一种基于多模态信息的图像解析方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
牛斌;李金泽;房超;马利;徐和然;纪兴海;: "一种基于注意力机制与多模态的图像描述方法", 辽宁大学学报(自然科学版), no. 01, 15 February 2019 (2019-02-15) *
费文曲;: "基于位置感知交叉注意力网络的方面情感分析", 信息通信, no. 02, 15 February 2020 (2020-02-15) *

Also Published As

Publication number Publication date
CN117520924B (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
CN111914873A (zh) 一种两阶段云服务器无监督异常预测方法
CN112989977B (zh) 一种基于跨模态注意力机制的视听事件定位方法及装置
US20230084910A1 (en) Semantic segmentation network model uncertainty quantification method based on evidence inference
CN112906775B (zh) 一种设备故障预测方法及系统
CN110781970A (zh) 分类器的生成方法、装置、设备及存储介质
CN116862847A (zh) 一种红外图像电力设备交互式分割方法和系统
CN117036732B (zh) 一种基于融合模型的机电设备检测系统、方法及设备
CN117520924B (zh) 基于多模态数据的海岛光伏运维故障原因分析方法及系统
CN111966758A (zh) 一种基于画像数据分析技术的电力隐患排查方法
CN114580738B (zh) 一种社交媒体危机事件预测方法及系统
CN116127324A (zh) 不间断电源内部关键部件的故障检测方法和装置
KR20190132223A (ko) 네트워크 장애 원인 분석 장치 및 방법
CN115661429A (zh) 一种锅炉水冷壁管缺陷识别系统、方法和存储介质
CN112529881A (zh) 一种电力控制柜线缆异常识别方法及装置
Zhao et al. A new multilabel recognition framework for transmission lines bolt defects based on the combination of semantic knowledge and structural knowledge
CN117786507B (zh) 全局和局部特征耦合指导的滚动轴承未知故障检测方法
CN117708720B (zh) 一种基于知识图谱的设备故障诊断系统
CN117539674B (zh) 异常处理方法、装置、设备及存储介质
CN117499621B (zh) 视频采集设备的检测方法、装置、设备及介质
CN117591813B (zh) 基于多维特征的复杂装备故障诊断方法及系统
CN115174421B (zh) 基于自监督解缠绕超图注意力的网络故障预测方法及装置
KR102483080B1 (ko) 인공지능을 활용한 항공기 소음 분류 및 추출 방법
Li et al. Detection of Protective Apparatus for Municipal Engineering Construction Personnel Based on Improved YOLOv5s
Wen et al. Design and Implementation of a Power Grid Fault State Analysis System Based on Deep Learning
Xu et al. Intelligent multi-severity nuclear accident identification under transferable operation conditions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant