CN111985533B - 一种基于多尺度信息融合的增量式水声信号识别方法 - Google Patents

一种基于多尺度信息融合的增量式水声信号识别方法 Download PDF

Info

Publication number
CN111985533B
CN111985533B CN202010673065.8A CN202010673065A CN111985533B CN 111985533 B CN111985533 B CN 111985533B CN 202010673065 A CN202010673065 A CN 202010673065A CN 111985533 B CN111985533 B CN 111985533B
Authority
CN
China
Prior art keywords
signal
scale
sample
global
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010673065.8A
Other languages
English (en)
Other versions
CN111985533A (zh
Inventor
周青
王言
葛轶洲
徐百乐
张歆
申富饶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
CETC 36 Research Institute
Original Assignee
Nanjing University
CETC 36 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University, CETC 36 Research Institute filed Critical Nanjing University
Priority to CN202010673065.8A priority Critical patent/CN111985533B/zh
Publication of CN111985533A publication Critical patent/CN111985533A/zh
Application granted granted Critical
Publication of CN111985533B publication Critical patent/CN111985533B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本发明提供了一种基于多尺度信息融合的增量式水声信号识别方法，包括：步骤1，初始化算法记忆存储空间；步骤2，输入水声信号；步骤3，更新增量学习数据集；步骤4，对增量数据集进行数据增强；步骤5，更新全局特征提取器和多尺度信息提取器；步骤6，进行特征信息的融合；步骤7，更新算法的记忆存储空间；步骤8，若判断样本为已知信号，则转步骤9，若判断样本为未知信号，则输出信号未知，并转步骤10；步骤9，利用信号分类器进行已知信号的识别，并输出识别结果；步骤10，判断是否有数据更新，若有数据更新则返回步骤2进行算法的增量学习，若无数据更新则结束算法。

Description

一种基于多尺度信息融合的增量式水声信号识别方法
技术领域
本发明涉及基于深度学习和Open-Set识别的增量式水声信号识别方法，更具体的，涉及一种基于多尺度信息融合的增量式水声信号识别方法。
背景技术
近年来，由于机器学习技术不断发展和水下传感器所采集数据精度的不断提升，使得水下航行器对于水声信号的分析和识别成为可能。对于水声信号进行精准和实时的识别，不仅可以有效的保证民用航行器在水下航行过程中的安全性，避免航行事故的发生；同时具有一定的军事意义。
常规的水声信号是一组按水声传感器采集时间的先后顺序排列而成的数列，是一种典型的时间序列数据，其单个信号值的精度由所使用传感器的精确决定。因此水声信号识别问题可以抽象为一种时间序列分类问题。目前处理时间序列分类问题的方法主要分为两类，基于传统机器学习的方法和基于深度学习的方法。
基于传统机器学习的方法主要分为四类，基于时域的特征方法，基于形状特征的方法，基于变化特征的方法以及基于集成学习的方法。其中基于时域特征的方法是假设同一类别的时间序列都是在时间维度上对某一潜在特征曲线观察采样的结果，它们之间的差异性是由噪声和相位漂移所引起的，例如DTW算法；基于形状特征的方法是假设同一类别的时间序列是通过一些相似子序列的形状来区分的，这些子序列可能出现在时间序列的任意位置，例如Shapelets方法；基于变化特征的方法是基于视觉上不易被观察的相似性，此类特征由时间序列的自相关性产生；基于集成学习的方法是同时采用多种特征进行学习的方法。参考文献：Bagnall A,Davis L,Hills J.:Transformation based ensembles fortime series classification.In:SIAM International Conference on DataMining.pp.307-318(2012)。
基于深度学习的方法的模型框架主要基于卷积神经网络，经实验证明，一个相对简单的FCN网络或者ResNet网络，结合Global Average Pooling结构即可以在一些简单时间序列分类问题上取得较好的效果。对于数据更加复杂的任务，研究人员通过引入Attention结构、Encoder方法等手段，不断提升深度学习模型的性能。参考文献：Wang Z,Yan W,Oates T.:Time series classification from scratch with deep neuralnetworks:A strong baseline.In:International Joint Conference on NeuralNetworks.pp.1578-1585(2017)。
以集成模型HIVE-COTE为代表的基于传统机器学习的时间序列方法，虽然可以达到一定的性能水平，但是其在实际应用过程中存在一定的缺陷，包括部分特征提取算法计算复杂度过高，导致模型训练时间过长；模型超参数可拓展性差；多维数据上性能不佳。因此基于深度学习的方法逐渐受到人们的关注，因为其在一定程度上可以缓解模型训练时间长，模型超参数可拓展性差的问题，并且随着深度学习的不断发现，其在多维时间序列数据的优势逐渐显现。
发明内容
发明目的：当前基于深度学习的水声信号识别方法存在部分缺陷，包括已有算法对于多尺度信息特征没有有效的处理方法，算法性能有待提高；水声信号类别繁多，识别系统难以采集所有类型信号数据进行学习，当前相关算法缺乏判断输入信号不可识别的能力；识别系统在实际应用过程中，训练数据通常以分组方法迭代添加，当前相关算法缺乏增量学习的能力。
为了解决上述技术问题，本发明公开一种基于多尺度信息融合的增量式水声信号识别方法，该方法从水声信号多尺度特征提取和融合的角度提升深度学习系统信号识别能力，同时具备Open-Set识别和增量学习的能力。该方法可以用于多种场合，各种环境下的水声信号识别任务，包括如下步骤：
步骤1，初始化记忆存储空间；
步骤2，输入初始水声信号集Si，并进行信号数据的初步清洗，包括无效样本、重复样本的去除，信号中异常值的处理，缺失值的修改；
步骤3，利用记忆存储空间中现有样本和增量过程提供的新样本更新增量学习数据集Su；
步骤4，使用窗口切片法和窗口形变法对增量数据集Su进行数据增强，得到扩充后的增量数据集Sa；
步骤5，利用Sa训练全局特征提取器fglobal和多尺度信息提取器fmulti-scale；
步骤6，利用特征提取器fglobal和fmulti-scale分别对水声信号进行特征提取，得到信号的全局特征vglobal和多尺度特征vmulti-scale，之后对全局特征vglobal和多尺度特征vmulti-scale进行信息融合得到混合特征vmix；
步骤7，对于新增类型样本对应的混合特征vmix，进行均衡采样，并对利用更新的数据对特征提取器网络进行微调Fine-tuning操作；同时对于更新后的数据集，选择每类具有代表性特征的样本组成集合Sr，以更新Momroy空间；
步骤8，对于待识别信号xtest，利用网络的OpenMax结构进行Open-Set识别，如果判断此信号为已知信号，则转步骤9，如果判断此信号为未知信号，则输出信号未知，并转步骤10；
步骤9，利用信号分类器Csignal对待识别信号xtest进行识别并输出识别结果；
步骤10，判断是否有数据更新，如果有新数据更新则返回步骤2进行增量学习，否则结束。
步骤1中，根据系统部署的硬件条件及对算法决策速度要求，定义每个水声信号类别的最大记忆量Max_Size，及算法对于水声信号识别数量的上限Max_Number，利用Max_Size和Max_Number初始化算法的记忆存储空间。
步骤2中，本发明要求对于不同种类的水声信号分别具有一定数量的初始样本，将当前采集的水声信号作为初始数据集Si输入此算法；并进行初步的数据清洗，包括无效样本的去除，异常点和缺失值的处理等操作。首先统计出初始数据集Si中是否存在无效样本和重复样本，如果存在则进行去除；之后使用基于密度的方法统计Si中样本存在的离群点，利用该样本的中位数或者平均值进行离群数据点的修补，最后统计Si中样本存在的缺失值，利用单线性差值对缺失值进行修复。之后得到清洗过的数据集Si。参考文献：Wang X,Wang C.Time Series Data Cleaning:A Survey[J].IEEE Access,2019,8:1866-1881.
步骤3中，利用数据集Si及记忆存储空间内样本对增量学习数据集Su进行更新操作，如果所述方法为首次运行，则取首次采集的水声信号样本作为数据集，如果是进行增量学习，则取记忆存储空间中现有样本和增量过程提供的新样本混合作为数据集。
步骤4中，使用窗口切片法和窗口形变法对增量数据集Su进行数据增强，窗口切片法具体为：定义Nws个切片窗口尺度，利用切片窗口在每类信号样本中进行随机裁剪得到扩充数据；窗口形变法具体为：定义Nww个窗口形变指数，利用形变窗口在每类信号样本中进行随机裁剪并对切片数据进行基于形变指数的拉伸或压缩；利用扩充数据得到数据增强后的增量数据集Sa。参考文献：Kamycki K,Kapuscinski T,Oszust M.Data Augmentation withSuboptimal Warping for Time-Series Classification[J].Sensors,2020,20(1):98。
步骤5包括如下步骤：
步骤5-1，定义3层卷积网络(FCN)作为全局特征提取器fglobal，定义3个卷积层的通道数分别为128,256,128；其中激活函数使用ReLU，同时为优化训练使用BatchNormalization方法；
步骤5-2，定义3层堆叠LSTM网络作为多尺度信息提取器fmulti-scale，同时定义网络的Unit个数为32；
步骤5-3，初始化全局特征提取器fglobal和多尺度信息提取器fmulti-scale参数；
步骤5-4，利用增量学习数据集Sa训练全局特征提取器fglobal和多尺度信息提取器fmulti-scale。参考文献：Ioffe S,Szegedy C.Batch normalization:Accelerating deepnetwork training by reducing internal covariate shift[C].InternationalConference on Machine Learning.2015:448-456.
步骤6包括如下步骤：
步骤6-1，利用全局特征提取器fglobal对水声信号进行特征提取，得到水声信号的全局特征vglobal；
步骤6-2，利用多尺度特征提取器fmulti-scale对水声信号进行特征提取，得到信号的多尺度特征vmulti-scale；
步骤6-3，为了有效利用两种特征，对于特征fglobal和fmulti-scale进行信息融合。为进行有效融合，设计一种类MFB融合方法，其基本思想是分别将两种特征fglobal和fmulti-scale利用全连接层映射到可对齐的高维特征空间中，在高维空间中进行融合，融合方法为逐元素相乘，由于高维空间中特征存在信息冗余，之后再将融合后特征利用全连接层映射到低维特征空间，得到混合特征vmix，加快系统推理速度。参考文献：Fukui A,Park D H,Yang D,etal.Multimodal Compact Bilinear Pooling for Visual Question Answering andVisual Grounding[C].Conference on Empirical Methods in Natural LanguageProcessing.2016:457-468.
步骤7中，对于新增类型样本对应的混合特征vmix，为了避免新类别样本与记忆存储空间中现有类型样本数量差异过大，出现类别样本不均衡现象，对模型性能产生负面的影响，设计均衡微调的方法，该方法包括两个步骤，首先进行均衡采样，即根据记忆存储空间中现有类别的样本数，在所添加的新类样本中，进行随机采样；并利用更新后的数据对特征提取器网络进行微调Fine-tuning操作。同时对于进行均衡采样之后的数据集，选择每类具有代表性特征的样本组成集合Sr，在选择过程中，设计一种基于特征原型的筛选方法，即对于第k个类别，定义其类原型为ck：
Figure BDA0002583052410000051
其中Sk为第k个类型对应的信号样本集合，xi为第i个样本对应的水声信号数据，yi为第i个样本对应的标签数据，MFB_like为类MFB融合方法，使用余弦距离度量第k个类中每个样本与类原型为ck的相似性，每个类保留Max_Number个高质量的样本，用以更新Momroy空间。
步骤8中，为了使算法具有判断输入信号不可识别的能力，对于待识别信号xtest，利用网络的开集识别归一化结构OpenMax进行开集识别Open-Set，OpenMax结构定义如下：
OpenMax(xtest)＝Softmax(yopen)
Figure BDA0002583052410000061
其中Softmax为归一化指数函数；yopen为OpenMax操作的中间变量，N为当前可识别水声信号类别的总数；wi表示模型判断xtest属于类别yi的信心，如果对于已有类别信号均无有效信心，则判断信号为不可识别信号；如果判断信号为已知信号，则转步骤9，如果判断此信号为未知信号，则输出信号未知，并转步骤10。
步骤9中，对于步骤8判断当前识别的已知水声信号xtest，利用信号分类器Csignal对其进行识别：
Figure BDA0002583052410000062
其中k表示第k类信号，ck表示第k类信号的类原型，y表示样本对应的标签，ck′的作用是与ck区别开，其表示的是求和符号中所指代的全部类中的一个；用ftotal表示水声信号特征提取及融合的过程，并选择使用余弦距离作为度量函数d；在Csignal得到识别结果后由系统输出。参考文献：Vinyals O,Blundell C,Lillicrap T.Matching networks for oneshot learning[C].Neural Information Processing Systems.2016:3630-3638。
步骤10中，进行是否进行增量学习的判断，若有数据更新，则返回步骤2对新采样水声信号进行处理，并执行增量学习，否则结束。
有益效果：本发明的优点包括三点，第一，本发明利用深度学习方法，从合理利用水声信号多尺度特征的角度出发提取多尺度特征并进行信息特征融合，有效的提升模型识别准确率；第二，本发明在水声信号识别算法中设计一种Open-Set识别结构，使得系统具有判断输入信号不可识别的能力；第三，本发明从水声识别系统实际应用角度出发，设计一种增量学习算法，使得系统对于新补充的数据具有增量学习的能力。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。
图1为本发明系统的运行流程图。
图2为本发明中所使用的水声信号数据集中部分样本可视化结果。
图3为本发明中所使用对水声信号进行多尺度特征提取和融合模型的结构图。
图4为本发明中所使用增量学习算法流程示意图。
具体实施方式
图1是本发明系统的运行流程图，包括10个步骤。
步骤1中，进行算法记忆存储空间的初始化，由于记忆存储空间与系统部署的硬件条件及对算法决策速度相关，因此根据系统性能要求，定义每个水声信号类别的最大记忆量Max_Size，及算法对于水声信号识别数量的上限Max_Number，利用Max_Size和Max_Number初始化算法的记忆存储空间。
步骤2中，输入初始水声信号集Si，并进行信号数据的初步清洗。要求系统对于不同种类的水声信号分别具有一定数量的初始样本，将当前采集的水声信号作为初始数据集Si输入此算法；并进行初步的数据清洗，包括无效样本的去除，异常点和缺失值的处理等操作。首先统计初始数据集Si中是否存在无效样本和重复样本，若存在则进行去除；之后使用基于密度的方法统计Si中样本存在的离群点，利用该样本的中位数或者平均值进行离群数据点的修补，最后统计Si中样本存在的缺失值，利用单线性差值对缺失值进行修复。之后得到清洗过的数据集Si。
步骤3中，对增量学习数据集Su进行更新。利用数据集Si及系统记忆存储空间内样本对增量学习数据集Su进行更新操作，若算法为首次运行，则取首次采集的水声信号样本作为数据集，若算法进行增量学习，则取算法记忆存储空间中现有样本和增量过程提供的新样本混合作为数据集。
步骤4中，使用两种数据增强方法对增量数据集Su进行数据增强。使用的数据增强方法包括窗口切片法和窗口形变法，窗口切片法实施为定义Nws个切片窗口尺度，利用切片窗口在每类信号样本中进行随机裁剪得到扩充数据，得到被切割样本对应信号类型的新数据；窗口形变法实施为定义Nww个窗口形变指数，利用形变窗口在每类信号样本中进行随机裁剪并对切片数据进行基于形变指数的拉伸或压缩；利用扩充数据得到数据增强后的增量数据集Sa。
步骤5包括如下步骤：
步骤5-1，定义3层卷积网络(FCN)作为全局特征提取器fglobal，同时定义3个卷积层的通道数分别为128,256,128；其中激活函数使用ReLU，同时为优化训练使用BatchNormalization方法；
步骤5-2，定义3层堆叠LSTM网络作为多尺度信息提取器fmulti-scale，同时定义LSTM网络的Unit个数为32；
步骤5-3，初始化全局特征提取器fglobal和多尺度信息提取器fmulti-scale参数；
步骤5-4，利用增量学习数据集Sa训练全局特征提取器fglobal和多尺度信息提取器fmulti-scale。
步骤6包括如下步骤：
步骤6-1，利用全局特征提取器fglobal对水声信号进行特征提取，得到水声信号的全局特征vglobal；
步骤6-2，利用多尺度特征提取器fmulti-scale对水声信号进行特征提取，得到信号的多尺度特征vmulti-scale；
步骤6-3，为了有效利用两种特征，对于特征fglobal和fmulti-scale进行信息融合。为进行有效融合，设计一种类MFB融合方法，其基本思想是分别将两种特征映射到可对齐的高维特征空间中，在高维空间中进行融合，由于高维空间中特征存在信息冗余，之后再将融合后特征映射到低维特征空间，得到混合特征vmix，加快系统推理速度。
步骤7中，对于新增类型样本对应的混合特征vmix，为了避免新类别样本与记忆存储空间中现有类型样本数量差异过大，出现类别样本不均衡现象，对模型性能产生负面的影响，设计均衡微调的方法，该方法包括两个步骤，首先进行均衡采样，即根据记忆存储空间中现有类别的样本数，在所添加的新类样本中，进行随机采样；之后利用更新后的数据对网络进行Fine-tuning操作。同时对于更新后的数据集，选择每类具有代表性特征的样本组成集合Sr，在选择过程中，设计一种基于特征原型的筛选方法，即对于第k个类别，定义其类原型为ck：
Figure BDA0002583052410000091
其中Sk为第k个类型对应的信号样本集合，使用余弦距离度量第k个类中每个样本与类原型为ck的相似性，每个类保留Max_Number个高质量的样本，用以更新Momroy空间。
步骤8中，为了使算法具有判断输入信号不可识别的能力，对于待识别信号xtest，利用网络的OpenMax结构进行Open-Set识别，OpenMax结构定义如下：
OpenMax(xtest)＝Softmax(yopen)
Figure BDA0002583052410000092
其中wi表示模型判断xtest属于类别yi的信心，若对于已有类别信号均无有效信心，则判断该信号为不可识别信号。如果系统判断此信号为已知信号，则转步骤9，如果判断此信号为未知信号，则输出信号未知，并转步骤10。
步骤9中，对于步骤8判断当前系统可以识别的水声信号xtest，利用信号分类器Csignal对其进行识别：
Figure BDA0002583052410000093
其中用ftotal表示水声信号特征提取及融合的过程，并选择使用余弦距离作为度量函数d；在Csignal得到识别结果后由系统输出。
步骤10中，进行系统是否进行增量学习的判断，若算法有数据更新，则返回步骤2对新采样水声信号进行处理，并执行算法的增量学习，否则结束算法。
实施例
为了验证本发明的有效性，使用了样本量为5230的水声信号数据集进行实验。本实施例现以该水声信号数据集中一个测试样本为例，按照以下步骤进行信号识别：
1、定义算法的Max_Size和Max_Number，初始化算法的记忆存储空间。
2、使用该水声信号数据集生成初始化数据集，初始化数据集包括训练集和验证集，对初始化数据集进行空白样本和重复样本的去除，离群值的处理以及缺失值的修补，完成数据清洗。
3、对清洗后的数据集，使用窗口切片法和窗口形变法进行数据增强。
4、利用步骤3得到的数据集，结合记忆存储空间样本生成增量学习数据集。
5、利用步骤4得到的增量学习数据集，训练全局特征提取器和多尺度特征提取器，网络进行参数更新。
6、利用步骤5训练好的两种特征提取器对数据集中样本进行特征提取，每个样本得到全局特征和多尺度特征，使用类MFB融合方法每个样本的两种特征分别进行融合，得到每个样本的融合特征。
7、统计此时记忆存储空间中样本情况，对新增类样本进行均匀采样，完成均衡微调操作。之后利用每个类别对应样本的特征，计算得到该类对应的类特征原型，利用余弦函数度量每个样本和该样本对应类特征原型的相似度，选择每个类的Max_Size个最相似的样本对记忆存储空间进行更新。
8、利用记忆存储空间更新后的数据样本训练OpenMax结构。
9、利用记忆存储空间更新后的数据样本训练信号分类器。
8、利用两个特征提取器提取测试样本的特征并进行融合，得到测试信号的融合特征。
9、对于测试样本融合特征，使用OpenMax结构判断该信号是否可以识别，若可以识别则转步骤10；否则输出信号不可识别，并转步骤11。
10、使用信号分类器及余弦相似度对测试信号进行识别，输出信号的识别结果。
11、判断系统是否有新的水声信号数据输入，若有输入，则转步骤2进行增量学习；否则算法结束。
图2展示了本发明中所使用的水声信号数据集中部分样本可视化结果。展示的样本共7个类别，包括4中水下调制信号和3种水下声呐信号。其中4种水下调制信号分别为频移键控信号(BFSK)、正交相移键控信号(QPSK)、二进制相移键控信号(BPSK)、正交频分复用信号(OFDM)；3种水下声呐信号包括单频脉冲信号(CW)，线性调频脉冲信号(LFM)，双曲调频脉冲信号(HFM)。在该水声信号数据集上进行算法的有效性验证，通过与现有比较有效的水声信号识别算法进行对比，包括全卷积网络(使用Global Average Pooling方法)、残差网络(使用Global Average Pooling方法)、Multi-scale卷积网络(MCMM)以及时间卷积网络(Time-CNN)，证明本发明性能的提升。
图3展示了本发明中所使用对水声信号进行多尺度特征提取和融合模型的结构图。可以明显的观察到本发明的特征提取方法分为两个阶段，第一阶段为特征分别提取过程，第二阶段为多特征进行信息融合的过程。在第一阶段中，使用层数为3的全卷积网络提取信号的全局特征，使用3层堆叠LSTM结构提取信号的多尺度特征；在第二阶段中，使用类MFB方法进行两种特征的融合，如图所示，先将两种特征映射到可对齐的高维特征空间进行融合，之后将融合后的特征在此映射的低维特征空间，此特征压缩的操作是为了提升模型的推理速度。
图4展示了本发明中所使用增量学习算法流程示意图。由示意图可以直观的发现，算法的增量学习过程主要分为四个阶段，第一阶段，综合记忆存储空间已有样本和新增样本混合得到增量学习数据集；第二阶段，利用图2所示特征提取及融合模型，得到数据集样本的融合特征；第三阶段，在样本融合特征的基础上，进行均衡微调，缓解数据不平衡问题对算法性能的影响；第四阶段，利用类特征原型的方法，判断每类对应样本的特征质量，筛选高质量样本用以更新记忆存储空间，并进行后续算法。
本发明提供一种基于多尺度信息融合的增量式水声信号识别方法，可以有效实现对水声信号数据的多尺度信息提取及融合，同时本方法具有Open-Set识别能力及增量学习能力，能够对输入信号进行是否可识别的判断，同时对于系统分阶段输入的数据具有增量学习的能力。具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (10)

1.一种基于多尺度信息融合的增量式水声信号识别方法，其特征在于，包括如下步骤：
步骤1，初始化记忆存储空间；
步骤2，输入初始水声信号集Si，并进行信号数据的初步清洗；
步骤3，利用记忆存储空间中现有样本和增量过程提供的新样本更新增量学习数据集Su；
步骤4，使用窗口切片法和窗口形变法对增量数据集Su进行数据增强，得到扩充后的增量数据集Sa；
步骤5，利用Sa训练全局特征提取器fglobal和多尺度信息提取器fmulti-scale；
步骤6，利用特征提取器fglobal和fmulti-scale分别对水声信号进行特征提取，得到信号的全局特征vglobal和多尺度特征vmulti-scale，之后对全局特征vglobal和多尺度特征vmulti-scale进行信息融合得到混合特征vmix；
步骤7，对于新增类型样本对应的混合特征vmix，进行均衡采样，并利用更新的数据对特征提取器网络进行微调Fine-tuning操作；同时对于更新后的数据集，选择每类具有代表性特征的样本组成集合Sr，以更新Momroy空间；
步骤8，对于待识别信号xtest，利用网络的OpenMax结构进行Open-Set识别，如果判断此信号为已知信号，则转步骤9，如果判断此信号为未知信号，则输出信号未知，并转步骤10；
步骤9，利用信号分类器Csignal对待识别信号xtest进行识别并输出识别结果；
步骤10，判断是否有数据更新，如果有新数据更新则返回步骤2进行增量学习，否则结束。
2.根据权利要求1所述的方法，其特征在于，步骤1中，定义每个水声信号类别的最大记忆量Max_Size，及对于水声信号识别数量的上限Max_Number，利用Max_Size和Max_Number初始化记忆存储空间。
3.根据权利要求2所述的方法，其特征在于，步骤2中，将当前采集的水声信号作为初始数据集Si作为输入，并进行初步的数据清洗，包括统计出初始数据集Si中是否存在无效样本和重复样本，如果存在则进行去除；使用基于密度的方法统计Si中样本存在的离群点，利用样本的中位数进行离群数据点的修补，统计Si中样本存在的缺失值，利用单线性差值进行修复。
4.根据权利要3所述的方法，其特征在于，步骤3中，更新增量学习数据集Su，如果所述方法为首次运行，则取首次采集的水声信号样本作为数据集，如果是进行增量学习，则取记忆存储空间中现有样本和增量过程提供的新样本混合作为数据集。
5.根据权利要求4所述的方法，其特征在于，步骤4中，使用窗口切片法和窗口形变法对增量数据集Su进行数据增强，窗口切片法具体为：定义Nws个切片窗口尺度，利用切片窗口在每类信号样本中进行随机裁剪得到扩充数据；窗口形变法具体为：定义Nww个窗口形变指数，利用形变窗口在每类信号样本中进行随机裁剪并对切片数据进行基于形变指数的拉伸或压缩；利用扩充数据得到数据增强后的增量数据集Sa。
6.根据权利要求5所述的方法，其特征在于，步骤5包括如下步骤：
步骤5-1，定义3层卷积网络作为全局特征提取器fglobal，其中激活函数使用ReLU，同时为优化训练使用Batch Normalization方法；
步骤5-2，定义3层堆叠LSTM网络作为多尺度信息提取器fmulti-scale；
步骤5-3，初始化全局特征提取器fglobal和多尺度信息提取器fmulti-scale参数；
步骤5-4，利用增量学习数据集Sa训练全局特征提取器fglobal和多尺度信息提取器fmulti-scale。
7.根据权利要求6所述的方法，其特征在于，步骤6包括如下步骤：
步骤6-1，利用全局特征提取器fglobal对水声信号进行特征提取，得到水声信号的全局特征vglobal；
步骤6-2，利用多尺度特征提取器fmulti-scale对水声信号进行特征提取，得到信号的多尺度特征vmulti-scale；
步骤6-3，对于特征fglobal和fmulti-scale进行信息融合，设计类MFB融合方法，分别将两种特征fglobal和fmulti-scale利用全连接层映射到可对齐的高维特征空间中，在高维空间中进行融合，融合方法为逐元素相乘，再将融合后特征利用全连接层映射到低维特征空间，得到混合特征vmix。
8.根据权利要求7所述的方法，其特征在于，步骤7中，对于新增类型样本对应的混合特征vmix，进行均衡采样，即根据记忆存储空间中现有类别的样本数，在所添加的新类样本中，进行随机采样，并利用更新后的数据对特征提取器网络进行微调Fine-tuning操作；同时对于进行均衡采样之后的数据集，选择每类具有代表性特征的样本组成集合Sr，在选择过程中，设计一种基于特征原型的筛选方法，即对于第k个类别，定义其类原型为ck：
Figure FDA0002583052400000031
其中Sk为第k个类型对应的信号样本集合，xi为第i个样本对应的水声信号数据，yi为第i个样本对应的标签数据，MFB_like为类MFB融合方法，使用余弦距离度量第k个类中每个样本与类原型为ck的相似性，每个类保留Max_Number个高质量的样本，以更新Momroy空间。
9.根据权利要求8所述的方法，其特征在于，步骤8中，对于待识别信号xtest，利用网络的开集识别归一化结构OpenMax进行开集识别Open-Set，OpenMax结构定义如下：
Open Max(xtest)＝Sof tmax(yopen)
Figure FDA0002583052400000032
其中Softmax为归一化指数函数；yopen为OpenMax操作的中间变量，N为当前可识别水声信号类别的总数；wi表示模型判断xtest属于类别yi的信心，如果对于已有类别信号均无有效信心，则判断信号为不可识别信号；如果判断信号为已知水声信号，则转步骤9，如果判断此信号为未知信号，则输出信号未知，并转步骤10。
10.根据权利要求9所述的方法，其特征在于，步骤9中，对于步骤8判断当前识别的已知水声信号xtest，利用信号分类器Csignal对其进行识别：
Figure FDA0002583052400000041
其中k表示第k类信号，ck表示第k类信号的类原型，y表示样本对应的标签，ck′的作用是与ck区别开，其表示的是求和符号中所指代的全部类中的一个；用ftotal表示水声信号特征提取及融合的过程，并选择使用余弦距离作为度量函数d；在Csignal得到识别结果后输出识别结果。
CN202010673065.8A 2020-07-14 2020-07-14 一种基于多尺度信息融合的增量式水声信号识别方法 Active CN111985533B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010673065.8A CN111985533B (zh) 2020-07-14 2020-07-14 一种基于多尺度信息融合的增量式水声信号识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010673065.8A CN111985533B (zh) 2020-07-14 2020-07-14 一种基于多尺度信息融合的增量式水声信号识别方法

Publications (2)

Publication Number Publication Date
CN111985533A CN111985533A (zh) 2020-11-24
CN111985533B true CN111985533B (zh) 2023-02-03

Family

ID=73437760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010673065.8A Active CN111985533B (zh) 2020-07-14 2020-07-14 一种基于多尺度信息融合的增量式水声信号识别方法

Country Status (1)

Country Link
CN (1) CN111985533B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112288044B (zh) * 2020-12-24 2021-07-27 成都索贝数码科技股份有限公司 基于树型结构的多尺度残差网络的新闻画面属性识别方法
CN112697435B (zh) * 2021-01-26 2022-09-09 山西三友和智慧信息技术股份有限公司 一种基于改进seld-tcn网络的滚动轴承故障诊断方法
CN113239809B (zh) * 2021-05-14 2023-09-15 西北工业大学 基于多尺度稀疏sru分类模型的水声目标识别方法
CN113705715B (zh) * 2021-09-04 2024-04-19 大连钜智信息科技有限公司 一种基于lstm和多尺度fcn的时间序列分类方法
CN114091531A (zh) * 2021-11-12 2022-02-25 哈尔滨工程大学 基于多尺度的环境特征提取方法
CN116994202B (zh) * 2023-08-03 2024-03-15 杭州宸悦智能工程有限公司 智能洗车机及其系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250848B (zh) * 2016-07-29 2019-08-09 西北工业大学 一种基于多模型融合的单类水声目标识别方法
CN110751044B (zh) * 2019-09-19 2022-07-29 杭州电子科技大学 基于深度网络迁移特征与增广自编码的城市噪声识别方法
CN111210000B (zh) * 2019-12-18 2021-11-23 浙江工业大学 一种基于固定特征的调制信号增量学习方法

Also Published As

Publication number Publication date
CN111985533A (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
CN111985533B (zh) 一种基于多尺度信息融合的增量式水声信号识别方法
CN111238807B (zh) 一种行星齿轮箱故障诊断方法
CN107515895B (zh) 一种基于目标检测的视觉目标检索方法与系统
CN111967294A (zh) 一种无监督域自适应的行人重识别方法
US7724961B2 (en) Method for classifying data using an analytic manifold
CN106952644A (zh) 一种基于瓶颈特征的复杂音频分割聚类方法
CN111562108A (zh) 一种基于cnn和fcmc的滚动轴承智能故障诊断方法
CN109859771B (zh) 一种联合优化深层变换特征与聚类过程的声场景聚类方法
CN105304078B (zh) 目标声数据训练装置和目标声数据训练方法
CN113076920B (zh) 一种基于非对称域对抗自适应模型的智能故障诊断方法
CN114564982A (zh) 雷达信号调制类型的自动识别方法
CN100461217C (zh) 一种复杂性测度的图像纹理分割方法
CN111738309A (zh) 多尺度分析和集成学习的气敏传感器故障模式识别方法
CN108171119B (zh) 基于残差网络的sar图像变化检测方法
CN117727307B (zh) 基于特征融合的鸟类声音智能识别方法
CN109740672B (zh) 多流特征距离融合系统与融合方法
CN112487406B (zh) 一种基于机器学习的网络行为分析方法
CN116805051A (zh) 基于注意力机制的双卷积动态域适应设备故障诊断方法
CN111310719B (zh) 一种未知辐射源个体识别及检测的方法
CN115705393A (zh) 一种基于持续学习的雷达辐射源分级识别方法
Nair et al. A life cycle on processing large dataset-LCPL
CN112861066A (zh) 基于机器学习和fft的盲源分离信源数目并行估计方法
CN114662541A (zh) 故障诊断模型构建方法、装置及电子设备
CN105006231A (zh) 基于模糊聚类决策树的分布式大型人口语者识别方法
CN113283519A (zh) 一种基于离散系数的深度神经网络近似模型分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant