CN117033981B - 一种海缆故障检测方法、装置、设备和介质 - Google Patents

一种海缆故障检测方法、装置、设备和介质 Download PDF

Info

Publication number
CN117033981B
CN117033981B CN202311281785.XA CN202311281785A CN117033981B CN 117033981 B CN117033981 B CN 117033981B CN 202311281785 A CN202311281785 A CN 202311281785A CN 117033981 B CN117033981 B CN 117033981B
Authority
CN
China
Prior art keywords
features
modes
data
feature
submarine cable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311281785.XA
Other languages
English (en)
Other versions
CN117033981A (zh
Inventor
杜育斌
梁广
刘祥
何平
谭涛亮
郭圣
黎立
王年孝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangjiang Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Yangjiang Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangjiang Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Yangjiang Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority to CN202311281785.XA priority Critical patent/CN117033981B/zh
Publication of CN117033981A publication Critical patent/CN117033981A/zh
Application granted granted Critical
Publication of CN117033981B publication Critical patent/CN117033981B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Laying Of Electric Cables Or Lines Outside (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种海缆故障检测方法、装置、设备和介质，方法包括：采用预设的特征提取模型对海缆多种模态关联的目标检测数据进行特征提取，并输入预设的全连接层进行特征对齐，对应构建多个对齐特征，基于全部对齐特征、各模态对应的状态编码和预设的通道注意力模块进行特征处理，输出多个拼接特征和注意力向量，将注意力向量分别与各拼接特征进行逐元素相乘生成多个注意力特征，对全部注意力特征进行级联特征融合，并输入预设的分类器进行分类决策，输出故障检测结果。整个海缆故障检测过程，结合多模态数据融合进行检测，引入通道注意力模块更好地抽取表达性更优的特征，整体提升了海缆故障检测的工作效率的同时提高了故障检测准确率。

Description

一种海缆故障检测方法、装置、设备和介质
技术领域
本发明涉及海缆检测技术领域，尤其涉及一种海缆故障检测方法、装置、设备和介质。
背景技术
海底电缆作为跨越洋底的信息传输线路，是现代通信和信息技术的重要基础设施。在海底的工作环境中，海底电缆受到海底地形和自然灾害等多种因素的影响易发生故障和损伤，为了保证信息通信的连续性和可靠性，需要对海底电缆进行故障检测以及时进行维修。
传统的海缆检测手段包括通过人工瞭望、海洋“拖鱼”、潜水员下潜、水下机器人搭载、岸站检测等方式，采用光、电、声、磁及其他传感器数据进行检测，但容易受具体水下环境制约无法使用，导致检测结果准确率低。为解决上述问题，人们引入深度神经网络采用海底电缆的多模态数据进行分析检测，但仍存在数据融合不充分、对数据模态缺失缺乏弹性的情况，有待进一步提高海底电缆的故障检测准确率。
发明内容
本发明提供了一种海缆故障检测方法、装置、设备和介质，解决了现有技术在采用海底电缆的多模态数据进行故障分析检测时，海底电缆的故障检测准确率较低的技术问题。
本发明第一方面提供的一种海缆故障检测方法，包括：
获取海缆多种模态关联的目标检测数据，采用预设的特征提取模型分别对各所述目标检测数据进行特征提取，生成多个未对齐特征；
将各所述未对齐特征分别输入预设的全连接层进行特征对齐，对应构建多个对齐特征；
基于全部所述对齐特征、各所述模态对应的状态编码和预设的通道注意力模块进行特征处理，输出多个拼接特征和注意力向量；
将所述注意力向量分别与各所述拼接特征进行逐元素相乘，对应生成多个注意力特征；
对全部所述注意力特征进行级联特征融合，并输入预设的分类器进行分类决策，输出故障检测结果。
可选地，所述获取海缆多种模态关联的目标检测数据，采用预设的特征提取模型分别对各所述目标检测数据进行特征提取，生成多个未对齐特征之前，包括：
采集海缆多种模态的检测数据，对所述检测数据进行归一化、去噪和校准，确定目标检测数据。
可选地，所述特征提取模型包括卷积神经网络模型和序列神经网络模型；所述获取海缆多种模态关联的目标检测数据，采用预设的特征提取模型分别对各所述目标检测数据进行特征提取，生成多个未对齐特征的步骤，包括：
获取海缆多种模态关联的目标检测数据，并将全部所述目标检测数据划分为空间域数据和时间域数据；
分别采用预设的卷积神经网络模型对各所述空间域数据进行特征提取，对应构建第一未对齐特征；
分别采用预设的序列神经网络模型对各所述时间域数据进行特征提取，对应构建第二未对齐特征。
可选地，所述基于全部所述对齐特征、各所述模态对应的状态编码和预设的通道注意力模块进行特征处理，输出多个拼接特征和注意力向量的步骤，包括：
获取全部所述模态关联的状态编码；
采用各所述对齐特征与对应的状态编码进行拼接，生成对应的拼接特征；
对全部所述拼接特征进行通道拼接，并输入至预设的通道注意力模块进行通道信息提取，输出注意力向量。
可选地，还包括：
当任一所述状态编码显式标记对应的模态为缺失模态时，将全部所述未对齐特征关联的对齐特征进行通道拼接，构建融合特征；
将所述融合特征输入所述缺失模态预设的特征生成器进行跨膜态数据生成，输出所述缺失模态的对齐特征；
跳转执行所述基于全部所述对齐特征、各所述模态对应的状态编码和预设的通道注意力模块进行特征处理，输出多个拼接特征和注意力向量的步骤。
可选地，所述特征生成器的训练确定过程，包括：
获取海缆全部模态的训练对齐特征以及各所述模态对应的初始生成器和鉴别器；
从全部所述模态中随机确定数量阈值内的训练缺失模态，并基于全部所述训练缺失模态对全部所述模态进行去重，确定完整模态；
对全部所述完整模态的训练对齐特征进行通道拼接后，分别输入各所述训练缺失模态的初始生成器进行跨膜态数据生成，对应输出仿真对齐特征；
将各所述仿真对齐特征分别联合对应的训练对齐特征输入各所述训练缺失模态的鉴别器进行鉴别，输出鉴别结果；
基于各所述仿真对齐特征与对应的训练对齐特征以及全部所述鉴别结果，确定总损失函数值；
当所述总损失函数值收敛时，确定各所述训练缺失模态的特征生成器；
若存在任一所述模态未确定对应的特征生成器，则跳转执行所述从全部所述模态中随机确定数量阈值内的训练缺失模态，并基于全部所述训练缺失模态对全部所述模态进行去重，确定完整模态的步骤，直至全部所述模态均确定对应的特征生成器。
可选地，所述总损失函数值的确定过程，包括：
；
；
；
其中，为总损失函数值，/>为生成器损失函数值，/>为鉴别器损失函数值，/>为生成器损失函数值的权重参数，/>为鉴别器损失函数值的权重参数，/>为第/>个训练缺失模态，/>为训练缺失模态的总数，/>为第/>个训练缺失模态的仿真对齐特征，/>为第/>个训练缺失模态的训练对齐特征，/>为第/>个训练缺失模态的鉴别器。
本发明第二方面提供的一种海缆故障检测装置，包括：
特征提取模块，用于获取海缆多种模态关联的目标检测数据，采用预设的特征提取模型分别对各所述目标检测数据进行特征提取，生成多个未对齐特征；
特征对齐模块，用于将各所述未对齐特征分别输入预设的全连接层进行特征对齐，对应构建多个对齐特征；
注意力处理模块，用于基于全部所述对齐特征、各所述模态对应的状态编码和预设的通道注意力模块进行特征处理，输出多个拼接特征和注意力向量；
注意力特征生成模块，用于将所述注意力向量分别与各所述拼接特征进行逐元素相乘，对应生成多个注意力特征；
故障检测结果输出模块，用于对全部所述注意力特征进行级联特征融合，并输入预设的分类器进行分类决策，输出故障检测结果。
本发明第三方面提供的一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如本发明第一方面任一项所述的海缆故障检测方法的步骤。
本发明第四方面提供的一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现如本发明第一方面任一项所述的海缆故障检测方法。
从以上技术方案可以看出，本发明具有以下优点：
本发明采用预设的特征提取模型对海缆多种模态关联的目标检测数据进行特征提取，并输入预设的全连接层进行特征对齐，对应构建多个对齐特征，基于全部对齐特征、各模态对应的状态编码和预设的通道注意力模块进行特征处理，输出多个拼接特征和注意力向量，将注意力向量分别与各拼接特征进行逐元素相乘生成多个注意力特征，对全部注意力特征进行级联特征融合，并输入预设的分类器进行分类决策，输出故障检测结果。整个海缆故障检测过程，结合多模态数据融合进行检测，相较于单一模态数据能够为海缆检测带来更强的准确性和鲁棒性，采用纯机器学习网络框架矿业实现端到端的训练，能够充分利用大数据优势，引入通道注意力模块，自适应地、显式地表征各模态特征及特征内向量元素的重要程度后进行级联特征融合，能够更好地抽取表达性更优的特征，整体提升了海缆故障检测的工作效率的同时提高了故障检测准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种海缆故障检测方法的步骤流程图；
图2为本发明实施例提供的一种海缆故障检测方法的框架示意图；
图3为本发明实施例提供的拼接特征的结构示意图；
图4为本发明实施例提供的一种海缆故障检测装置的结构框图。
具体实施方式
本发明实施例提供了一种海缆故障检测方法、装置、设备和介质，用于解决现有技术在采用海底电缆的多模态数据进行故障分析检测时，海底电缆的故障检测准确率较低的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，图1为本发明实施例提供的一种海缆故障检测方法的步骤流程图。
本发明提供的一种海缆故障检测方法，包括：
步骤101、获取海缆多种模态关联的目标检测数据，采用预设的特征提取模型分别对各目标检测数据进行特征提取，生成多个未对齐特征。
可选地，特征提取模型包括卷积神经网络模型和序列神经网络模型；步骤101包括以下子步骤：
获取海缆多种模态关联的目标检测数据，并将全部目标检测数据划分为空间域数据和时间域数据；
分别采用预设的卷积神经网络模型对各空间域数据进行特征提取，对应构建第一未对齐特征；
分别采用预设的序列神经网络模型对各时间域数据进行特征提取，对应构建第二未对齐特征。
目标检测数据，指的是对海缆进行故障检测的检测数据进行数据预处理后的数据。
空间域数据，指的是空间域形式的目标检测数据，例如图像数据、视频数据、激光数据等。
时间域数据，指的是时间域形式的目标检测数据，例如声学数据、传感器数据、运维数据等。可以理解的是，视频数据也可以归属于时间域数据，传感器数据可以包括温度数据、振动数据等。
未对齐特征，指的是不同长度的特征。
优选地，在步骤101之前，包括：
采集海缆多种模态的检测数据，对检测数据进行归一化、去噪和校准，确定目标检测数据。
检测数据，指的是对海缆进行故障检测时直接采集的数据。
在本发明实施例中，对海缆进行故障检测时，首先对多种模态的检测数据进行初步采样，满足各模态的数据体量基本相当即数据样本个数量互相平衡，以防止数据淹没等不良现象。然后，由于每个模态中存在不同的数据采集设备，或者不同品牌的设备的数值分布存在差异，需对检测数据进行再采样以对分辨率、尺寸、数值分布等进行归一化至同一值域，例如：可能由分辨率为480P、720P、1080P到4K的不同拍摄设备采集的图像数据，统一resize到640×640分辨率；采样频率为10Hz~1kHz的振动传感器采集的振动数据，需重采样至统一频率并截取相同长度的片段；传感器因量程不同导致其数据的值域分布不同；常用工业相机的数据格式有8位和10位。再者，对归一化后的检测数据进行一定的去噪和校准处理，其中去噪主要使用空域或频域中的滤波方法，如图像数据进行双边滤波去噪、传感器数据进行低通滤波或频域分解后的重建等，而校准主要指数据整体分布的放射变换，如图像数据的白平衡，传感器数据的零均值化等。
在对海缆的检测数据进行归一化、去噪和校准的数据预处理，确定目标检测数据后，将全部目标检测数据划分为空间域数据和时间域数据，采用各空间域数据的模态对应的预设卷积神经网络模型分别进行特征提取，对应构建多个第一未对齐特征，采用各时间域数据的模态对应的预设序列神经网络模型分别进行特征提取，对应构建多个第二未对齐特征。
可以理解的是，预设的卷积神经网络模型（CNN），可以为任一VGG、ResNet等框架，CNN模型通过卷积、池化和全连接层等不同层次的处理，从目标检测数据中提取出对于任务具有较高表达能力和区分度的特征。预设的序列神经网络模型，可以为任一循环神经网络（RNN）、长短期记忆（LSTM）、门循环单元（GRU）等模型，序列神经网络模型可以处理序列数据，并保留上下文信息，以捕捉时域数据中高表达能力的特征，同时可以根据数据自适应地进行参数学习，并且能够处理可变时域长度的数据。
步骤102、将各未对齐特征分别输入预设的全连接层进行特征对齐，对应构建多个对齐特征。
对齐特征，指的是长度等同的特征。
在本发明实施例中，在对全部目标检测数据完成特征提取后，通常输出各模态不同长度的特征即未对齐特征，通过将未对齐特征各自输入一个预设的全连接层进行特征对齐，以构建出长度等同的特征即对齐特征。
步骤103、基于全部对齐特征、各模态对应的状态编码和预设的通道注意力模块进行特征处理，输出多个拼接特征和注意力向量。
可选地，步骤103包括以下子步骤：
获取全部模态关联的状态编码；
采用各对齐特征与对应的状态编码进行拼接，生成对应的拼接特征；
对全部拼接特征进行通道拼接，并输入至预设的通道注意力模块进行通道信息提取，输出注意力向量。
状态编码，包括模态具备编码和模态缺失编码，其中模态具备编码指的是标记模态具备检测数据状态的编码，模态缺失编码指的是标记模态缺失检测数据状态的编码。状态编码为一维向量，两个一维向量的数值是可学习的，跟随如图2所示的整体神经网络框架的训练过程进行优化。
在发明实施例中，如图3所示，将各模态得到的对齐特征与其对应的状态编码进行拼接，生成带模态状态的对齐特征即拼接特征，对全部拼接特征进行通道拼接的特征融合后，输入预设的通道注意力模块进行通道信息提取，以输出注意力向量。
步骤104、将注意力向量分别与各拼接特征进行逐元素相乘，对应生成多个注意力特征。
在本发明实施例中，注意力向量与拼接特征等长度，将注意力向量与各拼接特征进行逐元素相乘后得到带注意力的特征，即注意力特征。
步骤105、对全部注意力特征进行级联特征融合，并输入预设的分类器进行分类决策，输出故障检测结果。
故障检测结果，指的是海缆有故障和海缆无故障的检测结果。
在本发明实施例中，级联全部注意力特征进行特征融合生成级联特征，将级联特征输入一个预设的分类器进行分类决策，输出对应的故障检测结果。
可以理解的是，分类器包括但不限于多层感知机（MLP）、支持向量机（SVM）、随机森林（RF）、集成学习（各种boosting）等。
优选地，方法还包括：
S1、当任一状态编码显式标记对应的模态为缺失模态时，将全部未对齐特征关联的对齐特征进行通道拼接，构建融合特征；
S2、将融合特征输入缺失模态预设的特征生成器进行跨膜态数据生成，输出缺失模态的对齐特征；
S3、跳转执行基于全部对齐特征、各模态对应的状态编码和预设的通道注意力模块进行特征处理，输出多个拼接特征和注意力向量的步骤。
缺失模态，指的是缺失目标检测数据的模态，对应的状态编码为模态缺失编码。
在本发明实施例中，实际工况中海缆部分模态的检测数据可能因为多种条件限制而不可获得或数据质量过差而不可用，则需要进行数据的互生成。当存在任一状态编码显式标记对应的模态为缺失模态时，将全部模态中除缺失模态外的其他模态的对齐特征进行通道拼接，并将构建出的融合特征输入缺失模态关联的预设特征生成器进行跨膜态数据生成，输出缺失模态的对齐特征，将基于目标检测数据得到的对齐特征和跨膜态数据生成的对齐特征，作为海缆的全部对齐特征，跳转执行基于全部对齐特征、各模态对应的状态编码和预设的通道注意力模块进行特征处理，输出多个拼接特征和注意力向量的步骤。该跨模态数据互生成机制，使得能够在一路或多路模态数据缺失或不可用情况下仍然输出准确的检测结果，提高了缺失模态数据时的弹性，更加符合实际工况。
特征生成器可以为以初始生成器为多层感知机（MLP）、编码器-解码器对抗生成网络（GAN）或其变体，或其他生成网络，训练确定的生成器。以生成器为多层感知机为例，它包含多个全连接层-激活层组合，它的首个全连接层的输入维度为（N-1）C，其中N为模态个数，C为对齐特征向量通道数，即缺失模态以外的其他所有模态的对齐特征为输入；它的最后一个全连接层的输出通道数为C，即对齐特征向量通道数。
优选地，特征生成器的训练确定过程，包括：
获取海缆全部模态的训练对齐特征以及各模态对应的初始生成器和鉴别器；
从全部模态中随机确定数量阈值内的训练缺失模态，并基于全部训练缺失模态对全部模态进行去重，确定完整模态；
对全部完整模态的训练对齐特征进行通道拼接后，分别输入各训练缺失模态的初始生成器进行跨膜态数据生成，对应输出仿真对齐特征；
将各仿真对齐特征分别联合对应的训练对齐特征输入各训练缺失模态的鉴别器进行鉴别，输出鉴别结果；
基于各仿真对齐特征与对应的训练对齐特征以及全部鉴别结果，确定总损失函数值；
当总损失函数值收敛时，确定各训练缺失模态的特征生成器；
若存在任一模态未确定对应的特征生成器，则跳转执行从全部模态中随机确定数量阈值内的训练缺失模态，并基于全部训练缺失模态对全部模态进行去重，确定完整模态的步骤，直至全部模态均确定对应的特征生成器。
训练对齐特征，指的是包含真实的检测数据生成的对齐特征，用于训练初始生成器。
训练缺失模态，指的是训练初始生成器时确定的缺失模态。
完整模态，指的是训练初始生成器时，全部模态中缺失模态以外的模态。
仿真对齐特征，指的是初始生成器生成的对齐特征。
在本发明实施例中，获取包含海缆全部模态的训练对齐特征，并确定各模态的初始生成器和鉴别器，鉴别器可以采用多层感知器或编码器结构，其输出为0~1之间的单个数值。设总共有N个模态，从全部N个模态中随机选择数量阈值n内个模态的训练对齐特征置0表示缺失即确定训练缺失模态，其中0＜n＜N-b，b为一个经验性的整数值，例如可以设置b=N/2，控制最少应存在b个模态的训练对齐特征，使得初始生成器那个在多路模态的检测数据确实的情况下生成本路模态的对齐特征。基于训练缺失模态从全部模态中进行去重得到完整模态，将全部完整模态的训练对齐特征进行通道拼接后，分别输入各训练缺失模态的初始生成器进行跨膜态数据生成，生成的仿真对齐特征记为/>，则该n个缺失模态所对应的初始生成器生成的仿真对齐特征为/>，n个缺失模态中仿真对齐特征所对应的训练对齐特征为/>。
采用和/>进行二范数误差计算，确定各初始生成器的生成器损失值。每一模态的初始生成器对应一个鉴别器，对于某训练缺失模态/>的初始生成器生成的仿真对齐特征/>和对应的训练对齐特征/>，分别输入其鉴别器/>以进行鉴别输出鉴别结果，使用经典对抗生成网络损失计算鉴别器损失函数值，通过生成器损失函数值和鉴别器损失函数值确定总损失函数值：
；
；
；
其中，为总损失函数值，/>为生成器损失函数值，/>为鉴别器损失函数值，/>为生成器损失函数值的权重参数，/>为鉴别器损失函数值的权重参数，/>为第/>个训练缺失模态，/>为训练缺失模态的总数，/>为第/>个训练缺失模态的仿真对齐特征，/>为第/>个训练缺失模态的训练对齐特征，/>为第/>个训练缺失模态的鉴别器。
可以理解的是，生成器损失函数值的计算还可以适应一范数或其他形式损失函数。
对总损失函数值进行收敛判断，若收敛，则确定当前的初始生成器为各训练缺失模态的特征生成器，若未收敛，则基于总损失函数值进行随机梯度下降或采用其他优化变体方法进行网络参数更新，跳转执行对全部完整模态的训练对齐特征进行通道拼接后，分别输入各训练缺失模态的初始生成器进行跨膜态数据生成，对应输出仿真对齐特征的步骤，直至总体损失函数值收敛。共有N个模态，则总共需训练确定N个特征生成器，若确定存在任一模态未确定对应的特征生成器，则跳转执行从全部模态中随机确定数量阈值内的训练缺失模态，并基于全部训练缺失模态对全部模态进行去重，确定完整模态的步骤，直至全部模态均确定对应的特征生成器。
可以理解的是，特征生成器的训练确定过程，可以联合预设的分类器的训练共同进行。获取海缆正常状态时全部模态的训练对齐特征和海缆损伤状态（含不同损伤种类）时全部模态的训练对齐特征，将两种状态的训练对齐特征按照特征生成器的训练确定过程输出仿真对齐特征后，按照如图2所示的整体神经网络框架的训练过程，基于训练缺失模态的仿真对齐特征和完整模态的训练对齐特征进行拼接、通道信息提取和级联特征融合后，输入初始的分类器进行分类决策，并根据分类决策的输出结果计算分类损失函数值，则此时的总损失函数值为：/>。
在本发明实施例中，采用预设的特征提取模型对海缆多种模态关联的目标检测数据进行特征提取，并输入预设的全连接层进行特征对齐，对应构建多个对齐特征，基于全部对齐特征、各模态对应的状态编码和预设的通道注意力模块进行特征处理，输出多个拼接特征和注意力向量，将注意力向量分别与各拼接特征进行逐元素相乘生成多个注意力特征，对全部注意力特征进行级联特征融合，并输入预设的分类器进行分类决策，输出故障检测结果。整个海缆故障检测过程，结合多模态数据融合进行检测，相较于单一模态数据能够为海缆检测带来更强的准确性和鲁棒性，采用纯机器学习网络框架实现端到端的训练，能够充分利用大数据优势，引入通道注意力模块，自适应地、显式地表征各模态特征及特征内向量元素的重要程度后进行级联特征融合，能够更好地抽取表达性更优的特征，整体提升了海缆故障检测的工作效率的同时提高了故障检测准确率。
请参阅图4，图4为本发明实施例提供的一种海缆故障检测装置的结构框图。
一种海缆故障检测装置，包括：
特征提取模块401，用于获取海缆多种模态关联的目标检测数据，采用预设的特征提取模型分别对各目标检测数据进行特征提取，生成多个未对齐特征；
特征对齐模块402，用于将各未对齐特征分别输入预设的全连接层进行特征对齐，对应构建多个对齐特征；
注意力处理模块403，用于基于全部对齐特征、各模态对应的状态编码和预设的通道注意力模块进行特征处理，输出多个拼接特征和注意力向量；
注意力特征生成模块404，用于将注意力向量分别与各拼接特征进行逐元素相乘，对应生成多个注意力特征；
故障检测结果输出模块405，用于对全部注意力特征进行级联特征融合，并输入预设的分类器进行分类决策，输出故障检测结果。
可选地，还包括数据预处理模块，用于采集海缆多种模态的检测数据，对检测数据进行归一化、去噪和校准，确定目标检测数据。
可选地，特征提取模型包括卷积神经网络模型和序列神经网络模型；特征提取模块401具体用于：
获取海缆多种模态关联的目标检测数据，并将全部目标检测数据划分为空间域数据和时间域数据；
分别采用预设的卷积神经网络模型对各空间域数据进行特征提取，对应构建第一未对齐特征；
分别采用预设的序列神经网络模型对各时间域数据进行特征提取，对应构建第二未对齐特征。
可选地，注意力处理模块403具体用于：
获取全部模态关联的状态编码；
采用各对齐特征与对应的状态编码进行拼接，生成对应的拼接特征；
对全部拼接特征进行通道拼接，并输入至预设的通道注意力模块进行通道信息提取，输出注意力向量。
可选地，还包括缺失模态数据生成模块，用于：
当任一状态编码显式标记对应的模态为缺失模态时，将全部未对齐特征关联的对齐特征进行通道拼接，构建融合特征；
将融合特征输入缺失模态预设的特征生成器进行跨膜态数据生成，输出缺失模态的对齐特征；
跳转执行基于全部对齐特征、各模态对应的状态编码和预设的通道注意力模块进行特征处理，输出多个拼接特征和注意力向量的步骤。
其中，特征生成器的训练确定过程，包括：
获取海缆全部模态的训练对齐特征以及各模态对应的初始生成器和鉴别器；
从全部模态中随机确定数量阈值内的训练缺失模态，并基于全部训练缺失模态对全部模态进行去重，确定完整模态；
对全部完整模态的训练对齐特征进行通道拼接后，分别输入各训练缺失模态的初始生成器进行跨膜态数据生成，对应输出仿真对齐特征；
将各仿真对齐特征分别联合对应的训练对齐特征输入各训练缺失模态的鉴别器进行鉴别，输出鉴别结果；
基于各仿真对齐特征与对应的训练对齐特征以及全部鉴别结果，确定总损失函数值；
当总损失函数值收敛时，确定各训练缺失模态的特征生成器；
若存在任一模态未确定对应的特征生成器，则跳转执行从全部模态中随机确定数量阈值内的训练缺失模态，并基于全部训练缺失模态对全部模态进行去重，确定完整模态的步骤，直至全部模态均确定对应的特征生成器。
其中，总损失函数值的确定过程，包括：
；
；
；
其中，为总损失函数值，/>为生成器损失函数值，/>为鉴别器损失函数值，/>为生成器损失函数值的权重参数，/>为鉴别器损失函数值的权重参数，/>为第/>个训练缺失模态，/>为训练缺失模态的总数，/>为第/>个训练缺失模态的仿真对齐特征，/>为第/>个训练缺失模态的训练对齐特征，/>为第/>个训练缺失模态的鉴别器。
本发明实施例还提供了一种电子设备，包括存储器及处理器，存储器中储存有计算机程序，计算机程序被处理器执行时，使得处理器执行如本发明任一实施例所述的海缆故障检测方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被执行时实现如本发明任一实施例所述的海缆故障检测方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种海缆故障检测方法，其特征在于，包括：
获取海缆多种模态关联的目标检测数据，采用预设的特征提取模型分别对各所述目标检测数据进行特征提取，生成多个未对齐特征；
将各所述未对齐特征分别输入预设的全连接层进行特征对齐，对应构建多个对齐特征；
基于全部所述对齐特征、各所述模态对应的状态编码和预设的通道注意力模块进行特征处理，输出多个拼接特征和注意力向量；
将所述注意力向量分别与各所述拼接特征进行逐元素相乘，对应生成多个注意力特征；
对全部所述注意力特征进行级联特征融合，并输入预设的分类器进行分类决策，输出故障检测结果；
还包括：
当任一所述状态编码显式标记对应的模态为缺失模态时，将全部所述未对齐特征关联的对齐特征进行通道拼接，构建融合特征；
将所述融合特征输入所述缺失模态预设的特征生成器进行跨膜态数据生成，输出所述缺失模态的对齐特征；
跳转执行所述基于全部所述对齐特征、各所述模态对应的状态编码和预设的通道注意力模块进行特征处理，输出多个拼接特征和注意力向量的步骤；
所述特征生成器的训练确定过程，包括：
获取海缆全部模态的训练对齐特征以及各所述模态对应的初始生成器和鉴别器；
从全部所述模态中随机确定数量阈值内的训练缺失模态，并基于全部所述训练缺失模态对全部所述模态进行去重，确定完整模态；
对全部所述完整模态的训练对齐特征进行通道拼接后，分别输入各所述训练缺失模态的初始生成器进行跨膜态数据生成，对应输出仿真对齐特征；
将各所述仿真对齐特征分别联合对应的训练对齐特征输入各所述训练缺失模态的鉴别器进行鉴别，输出鉴别结果；
基于各所述仿真对齐特征与对应的训练对齐特征以及全部所述鉴别结果，确定总损失函数值；
当所述总损失函数值收敛时，确定各所述训练缺失模态的特征生成器；
若存在任一所述模态未确定对应的特征生成器，则跳转执行所述从全部所述模态中随机确定数量阈值内的训练缺失模态，并基于全部所述训练缺失模态对全部所述模态进行去重，确定完整模态的步骤，直至全部所述模态均确定对应的特征生成器；
其中，所述目标检测数据是指对海缆进行故障检测的检测数据进行数据预处理后的数据，所述目标检测数据包括空间域数据和时间域数据；
所述空间域数据是指空间域形式的目标检测数据，所述空间域数据包括图像数据、视频数据或激光数据；
所述时间域数据是指时间域形式的目标检测数据，所述时间域数据包括声学数据、传感器数据或运维数据。
2.根据权利要求1所述的海缆故障检测方法，其特征在于，所述获取海缆多种模态关联的目标检测数据，采用预设的特征提取模型分别对各所述目标检测数据进行特征提取，生成多个未对齐特征的步骤之前，包括：
采集海缆多种模态的检测数据，对所述检测数据进行归一化、去噪和校准，确定目标检测数据。
3.根据权利要求1所述的海缆故障检测方法，其特征在于，所述特征提取模型包括卷积神经网络模型和序列神经网络模型；所述获取海缆多种模态关联的目标检测数据，采用预设的特征提取模型分别对各所述目标检测数据进行特征提取，生成多个未对齐特征的步骤，包括：
获取海缆多种模态关联的目标检测数据，并将全部所述目标检测数据划分为空间域数据和时间域数据；
分别采用预设的卷积神经网络模型对各所述空间域数据进行特征提取，对应构建第一未对齐特征；
分别采用预设的序列神经网络模型对各所述时间域数据进行特征提取，对应构建第二未对齐特征。
4.根据权利要求1所述的海缆故障检测方法，其特征在于，所述基于全部所述对齐特征、各所述模态对应的状态编码和预设的通道注意力模块进行特征处理，输出多个拼接特征和注意力向量的步骤，包括：
获取全部所述模态关联的状态编码；
采用各所述对齐特征与对应的状态编码进行拼接，生成对应的拼接特征；
对全部所述拼接特征进行通道拼接，并输入至预设的通道注意力模块进行通道信息提取，输出注意力向量。
5.根据权利要求1所述的海缆故障检测方法，其特征在于，所述总损失函数值的确定过程，包括：
；
；
；
其中，为总损失函数值，/>为生成器损失函数值，/>为鉴别器损失函数值，/>为生成器损失函数值的权重参数，/>为鉴别器损失函数值的权重参数，/>为第/>个训练缺失模态，/>为训练缺失模态的总数，/>为第/>个训练缺失模态的仿真对齐特征，/>为第/>个训练缺失模态的训练对齐特征，/>为第/>个训练缺失模态的鉴别器。
6.一种海缆故障检测装置，其特征在于，包括：
特征提取模块，用于获取海缆多种模态关联的目标检测数据，采用预设的特征提取模型分别对各所述目标检测数据进行特征提取，生成多个未对齐特征；
特征对齐模块，用于将各所述未对齐特征分别输入预设的全连接层进行特征对齐，对应构建多个对齐特征；
注意力处理模块，用于基于全部所述对齐特征、各所述模态对应的状态编码和预设的通道注意力模块进行特征处理，输出多个拼接特征和注意力向量；
注意力特征生成模块，用于将所述注意力向量分别与各所述拼接特征进行逐元素相乘，对应生成多个注意力特征；
故障检测结果输出模块，用于对全部所述注意力特征进行级联特征融合，并输入预设的分类器进行分类决策，输出故障检测结果；
还包括缺失模态数据生成模块，用于：
当任一所述状态编码显式标记对应的模态为缺失模态时，将全部所述未对齐特征关联的对齐特征进行通道拼接，构建融合特征；
将所述融合特征输入所述缺失模态预设的特征生成器进行跨膜态数据生成，输出所述缺失模态的对齐特征；
跳转执行所述基于全部所述对齐特征、各所述模态对应的状态编码和预设的通道注意力模块进行特征处理，输出多个拼接特征和注意力向量的步骤；
所述特征生成器的训练确定过程，包括：
获取海缆全部模态的训练对齐特征以及各所述模态对应的初始生成器和鉴别器；
从全部所述模态中随机确定数量阈值内的训练缺失模态，并基于全部所述训练缺失模态对全部所述模态进行去重，确定完整模态；
对全部所述完整模态的训练对齐特征进行通道拼接后，分别输入各所述训练缺失模态的初始生成器进行跨膜态数据生成，对应输出仿真对齐特征；
将各所述仿真对齐特征分别联合对应的训练对齐特征输入各所述训练缺失模态的鉴别器进行鉴别，输出鉴别结果；
基于各所述仿真对齐特征与对应的训练对齐特征以及全部所述鉴别结果，确定总损失函数值；
当所述总损失函数值收敛时，确定各所述训练缺失模态的特征生成器；
若存在任一所述模态未确定对应的特征生成器，则跳转执行所述从全部所述模态中随机确定数量阈值内的训练缺失模态，并基于全部所述训练缺失模态对全部所述模态进行去重，确定完整模态的步骤，直至全部所述模态均确定对应的特征生成器；
其中，所述目标检测数据是指对海缆进行故障检测的检测数据进行数据预处理后的数据，所述目标检测数据包括空间域数据和时间域数据；
所述空间域数据是指空间域形式的目标检测数据，所述空间域数据包括图像数据、视频数据或激光数据；
所述时间域数据是指时间域形式的目标检测数据，所述时间域数据包括声学数据、传感器数据或运维数据。
7.一种电子设备，其特征在于，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-5任一项所述的海缆故障检测方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求1-5任一项所述的海缆故障检测方法。
CN202311281785.XA 2023-10-07 2023-10-07 一种海缆故障检测方法、装置、设备和介质 Active CN117033981B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311281785.XA CN117033981B (zh) 2023-10-07 2023-10-07 一种海缆故障检测方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311281785.XA CN117033981B (zh) 2023-10-07 2023-10-07 一种海缆故障检测方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN117033981A CN117033981A (zh) 2023-11-10
CN117033981B true CN117033981B (zh) 2024-02-09

Family

ID=88630264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311281785.XA Active CN117033981B (zh) 2023-10-07 2023-10-07 一种海缆故障检测方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN117033981B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117668528B (zh) * 2024-02-01 2024-04-12 成都华泰数智科技有限公司 基于物联网的天然气调压器故障检测方法及系统
CN118152901A (zh) * 2024-05-13 2024-06-07 西北工业大学 基于数据驱动的设备故障预测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488935A (zh) * 2020-04-14 2020-08-04 北京华控智加科技有限公司 一种基于神经网络统一建模的磨煤机故障诊断方法
CN114692700A (zh) * 2022-05-30 2022-07-01 中天电力光缆有限公司 一种基于海缆的海洋环境感知检测方法、装置及系统
CN116563781A (zh) * 2023-04-25 2023-08-08 广西电网有限责任公司来宾供电局 一种用于巡检机器人的图像监测与诊断方法
CN116701992A (zh) * 2023-05-17 2023-09-05 哈尔滨工程大学 基于图注意力网络和时间卷积网络的多模态异常检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11609258B2 (en) * 2020-11-27 2023-03-21 Uif (University Industry Foundation), Yonsei University Apparatus and method for detecting cable fault based on reflectometry using AI

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488935A (zh) * 2020-04-14 2020-08-04 北京华控智加科技有限公司 一种基于神经网络统一建模的磨煤机故障诊断方法
CN114692700A (zh) * 2022-05-30 2022-07-01 中天电力光缆有限公司 一种基于海缆的海洋环境感知检测方法、装置及系统
CN116563781A (zh) * 2023-04-25 2023-08-08 广西电网有限责任公司来宾供电局 一种用于巡检机器人的图像监测与诊断方法
CN116701992A (zh) * 2023-05-17 2023-09-05 哈尔滨工程大学 基于图注意力网络和时间卷积网络的多模态异常检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于大数据的海底电缆安全运行影响因素多维度分析;朱德高 等;自动化应用(第12期);131-134 *

Also Published As

Publication number Publication date
CN117033981A (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
CN117033981B (zh) 一种海缆故障检测方法、装置、设备和介质
US20210011791A1 (en) Abnormality detection system, abnormality detection method, abnormality detection program, and method for generating learned model
WO2019221965A1 (en) Unsupervised cross-domain distance metric adaptation with feature transfer network
EP4030381A1 (en) Artificial-intelligence-based image processing method and apparatus, and device and storage medium
CN110929622A (zh) 视频分类方法、模型训练方法、装置、设备及存储介质
CN111046027B (zh) 时间序列数据的缺失值填充方法和装置
WO2019116354A1 (en) Training of artificial neural networks using safe mutations based on output gradients
US11715190B2 (en) Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device
WO2022116322A1 (zh) 异常检测模型生成方法和装置、异常事件检测方法和装置
US10599975B2 (en) Scalable parameter encoding of artificial neural networks obtained via an evolutionary process
CN108876847B (zh) 图像定位方法、装置、系统和存储介质
CN115471216B (zh) 智慧实验室管理平台的数据管理方法
CN117349102B (zh) 数字孪生运维数据质量检验方法、系统和介质
CN108717520A (zh) 一种行人重识别方法及装置
CN113570689A (zh) 人像卡通化方法、装置、介质和计算设备
CN112966547A (zh) 一种基于神经网络的燃气现场异常行为识别预警方法、系统、终端及存储介质
CN113474795A (zh) 从传感器输入信号回答认知查询
WO2018142694A1 (ja) 特徴量生成装置、特徴量生成方法及びプログラム
CN115908969A (zh) 图像处理及模型训练的方法和设备
WO2022216599A1 (en) System for generating natural language comment texts for multi-variate time series
CN115878391A (zh) 磁盘异常的检测方法及装置
US20210241075A1 (en) System for generating synthetic digital data of multiple sources
EP4354336A1 (en) Automatic generation of as-run results in a three demensional model using augmented reality
CN104717689B (zh) 一种无线传感器网络的故障诊断方法
CN115238805B (zh) 异常数据识别模型的训练方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant