CN114460566B - 水声目标实时识别方法、系统及装置 - Google Patents
水声目标实时识别方法、系统及装置 Download PDFInfo
- Publication number
- CN114460566B CN114460566B CN202210002761.5A CN202210002761A CN114460566B CN 114460566 B CN114460566 B CN 114460566B CN 202210002761 A CN202210002761 A CN 202210002761A CN 114460566 B CN114460566 B CN 114460566B
- Authority
- CN
- China
- Prior art keywords
- data
- underwater sound
- acoustic signal
- model
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000012549 training Methods 0.000 claims abstract description 106
- 238000004458 analytical method Methods 0.000 claims abstract description 72
- 230000004927 fusion Effects 0.000 claims abstract description 56
- 238000013135 deep learning Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000008859 change Effects 0.000 claims abstract description 15
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims description 47
- 238000012216 screening Methods 0.000 claims description 31
- 230000006870 function Effects 0.000 claims description 29
- 238000001514 detection method Methods 0.000 claims description 26
- 238000005516 engineering process Methods 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000013528 artificial neural network Methods 0.000 claims description 19
- 238000010606 normalization Methods 0.000 claims description 16
- 238000001228 spectrum Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 230000006835 compression Effects 0.000 claims description 7
- 238000007906 compression Methods 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 claims description 7
- 230000003750 conditioning effect Effects 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 abstract description 3
- 238000003860 storage Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 8
- 238000011160 research Methods 0.000 description 8
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 6
- 230000007123 defense Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000005855 radiation Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 241000251730 Chondrichthyes Species 0.000 description 1
- 241000408659 Darpa Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/537—Counter-measures or counter-counter-measures, e.g. jamming, anti-jamming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
- G06F2218/06—Denoising by applying a scale-space analysis, e.g. using wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Networks & Wireless Communication (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Acoustics & Sound (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
本发明公开了水声目标实时识别方法、系统及装置,方法中利用实采数据量规模变化,进行不同阶段多种场景的动态模型训练,形成特征关联且适用于边缘计算平台、满足场景应用需求的多种目标识别模型,基于选择确定的融合特征,利用各个目标识别模型进行水声目标的识别分析,利用边缘计算平台进行逻辑控制规则的自定义配置,根据各目标识别模型的识别结果,推理获得水声目标的当前分类结果及性能分析报告。本发明由于直接利用不断积累的待识别水声目标的数据进行动态模型训练,因此可在任意复杂环境下进行水声目标识别,满足基于深度学习的多种水声目标算法进行水中应用的需求,为在边缘计算平台上实现高性能复杂水声目标算法提供了可行的处理方案。
Description
技术领域
本发明涉及目标识别技术领域,尤其涉及一种水声目标实时识别方法、系统及装置。
背景技术
声波作为水中信息采集手段的主要载体,其通过感知、辨识及通讯等方式,用于对目标对象进行信息探测、定位、观察、估计、通信等目的,因此水声目标识别技术是当今海洋信息处理技术中最具有挑战性的研究内容之一,对海洋科学研究、环境调查、权益维护等方向发挥极其重要的作用。
比如,水声目标探测技术可广泛运用于水中防务、资源勘测、舰船识别和鱼类活动探测等领域,作为实现水声装备智能化的突破口,在海洋防务和经济建设中发挥着重要作用。另外,在军事领域,对特定目标进行位置检测,有利于战术部署,提高海防预警能力;在民用领域,对某些非法船只进行检测,有助于海运的监测与管理。
早期水声目标识别通过人为经验判断,因此需要经过长期在不同海洋环境中训练,才能具备识别各种目标信号音色特性的能力。但是水中声信号面临着各种干扰问题,且一些干扰强度时目标信号的千倍,另外随着声呐系统的完善以及舰船的隐蔽性技术的提高,人为经验在高强度工作下的判别能力有所下降,其劣势也逐步显现。
当然水中声识别技术也经历了较长时间的发展,其包括主、被动两种工作方式,分别针对目标的反射回波以及辐射噪声。被动工作方式具有隐蔽性高、探测范围远等优势,因此是作为各类水声目标的重要探测手段,具有较高的研究价值。
在20世纪60年代美国首次将BQQ-3声呐系统安装在“长尾鲨”上,采用三分之一倍频程线谱分析方法对水中被动目标进行分类。加拿大大西洋防务研究机构研制了一种能用于声呐信号机器解释的舰船辐射噪声信号分析专家系统(INTERSENSOR)。90年代中期,美国国防部高级研究项目局(DARPA)在“有关自动目标识别的智能算法”的建议书中提到,将神经网络与模式匹配相结合可进一步加强目标的识别性能。对成熟的识别系统看而言,多采用专家系统和模板匹配的方式进行目标识别,而且特征库已建到个体,甚至可以识别到具体的型号,已装备于现役声呐如 BQQ-SD 综合声呐系统、BQQ-3 标性质识别声呐和 AN/BQQ-6 综合声呐系统。为满足时间敏感目标打击作战任务对目标自动识别的要求,美国国防先进研究计划署制定运动与静止目标获取与识别研究 (MSTAR) 计划。俄罗斯也注重研究物理意义更为明确的特征提取技术,把目标特征分成几种主要类型,分别为: 噪声辐射频谱特征、目标参数、目标噪声辐射强度、接收信号的线谱结构以及各类目标的机动特点等.基于信号分析的特征提取从时、空、频域以及各种变换域中进一步挖掘水中目标声信号精细特征。澳大利亚研制了一种称为 SONEX 的被动识别专家系统,主要提取目标的空化、深水压力空化、螺旋桨拍水声、螺旋桨共振声、机械摩擦声等精细特征。此外,国外注重多传感器、多特征信息的融合应用。美国的林肯实验室在研究计划中把多声呐综合信息系统、波束形成对信号特征的影响作为研究的重点。此外,美国麻省理工学院(MIT)已将水中识别系统的“智能化”作为2027年之前的重点攻关内容。
我国的声目标识别技术中,传统采用人工提取特征技术和较为简单的分类器,在复杂环境下,这些识别系统对复杂的信号无能为力,性能常常迅速降低。近五年来,人工智能技术迅速发展,基于深度学习的水声目标识别方法不断出现。但是,目前在水声目标识别的应用需求下,没有相关的识别系统被提出,也没有用于性能提升的实时动态识别系统被提出。
发明内容
本申请实施例通过提供一种水声目标识别方法、系统及装置,解决了现有技术中水声识别技术功能的单一性导致在不同复杂环境无法进行水声目标的识别分析目的,本申请为解决背景技术存在的技术问题,开发了基于边缘计算平台、适配多种深度学习算法的实时水声目标识别技术,可以有效满足在复杂环境下对水声目标识别的应用需求,同时为实现在边缘计算平台上实现基于深度学习的水声目标算法提供了可行的处理方案。
第一方面,本申请实施例提供了一种水声目标识别方法,所述方法包括:
S110,利用数据采集规则配置,控制并接收实时采集的水声目标的声学信号数据;
S120,利用数据预处理规则配置对实采的所述声学信号数据进行信号预处理后,形成满足水声目标识别归一化配置的若干声学信号数据集合;根据不同距离下不同大类目标的探测需求,通过对各所述声学信号数据集合进行不同场景以及不同维度的特征值提取,形成所述水声目标识别所需的基于数据量规模动态变化的具备索引及筛选功能的多模式特征库;
S130,利用模型训练规则配置按照不同数据量规模需求进行不同阶段多种场景的动态模型训练;通过将所述多模式特征库中的特征值输入到预先搭建的多种深度学习神经网络中,分别对所述多模式特征库中的特征值进行端对端的动态并行模型训练,形成特征关联且适用于边缘计算平台、满足不同应用场景需求的目标识别模型,以此实现利用边缘计算平台中的模型识别规则配置,接收并部署适配于当前所述声学信号数据的数据量规模的多种所述目标识别模型以及映射缓存的所述多模式特征库,在接收选择确定的所述多模式特征库中的融合特征后,利用边缘推理计算规则控制各所述目标识别模型对选择确定的融合特征进行并行识别分析,从而利用所述水声目标不同维度的识别分析结果,推理获得水声目标当前分类结果及性能分析报告。
进一步地,所述步骤S110中:利用所述数据采集规则中的采集调理参数,控制数据采集设备采集不同增益参数下的声学信号数据。
进一步地,在所述步骤S120中包括:
利用信噪比评估对采集的所述声学信号数据进行包括筛选、过滤、数字束波形成、均衡、归一化、存储在内的信号处理;
统计当前水声目标的所述声学信号数据的实时数据量;
根据不同阶段各模型训练所需数据量规模的阈值范围,将所述实时数据量与各个阶段阈值范围的临界值进行比较;
在实时数据量低于最小数据量规模的阈值范围临界值时,提取预存的水声公开数据集中的部分数据作为存储的所述声学信号数据;
利用多源数据融合技术将存储后的所述声学信号数据进行打散及自适应划分,得到满足水声目标识别要求的若干声学信号数据集合。
进一步地,在所述步骤S120中还包括:
在实时数据量高于最小数据量规模的阈值范围临界值时,直接利用多源数据融合技术将存储后的所述声学信号数据进行打散及自适应划分,得到满足水声目标识别要求的若干声学信号数据集合。
进一步地,所述步骤S120还包括,预先设置包括波形特征、时频域特征、听觉特征在内的特征库分类;其中,
在所述波形特征库中预设包括直接波形幅度、过零率、能量在内的提取参数,筛选出所述声学信号数据集合中符合所述波形特征的特征值;
在所述时频域特征库中预设包括小波特征、Wigner-Ville分布特征在内的二维时频特征,计算筛选出所述声学信号数据集合中符合所述二维时频特征的特征值;
在所述听觉特征库中预设包括伽马通频率倒谱系数、梅尔倒谱系数、梅尔谱及差分梅尔谱、对数梅尔谱、各类自设的听觉滤波器组在内的二维特征,计算筛选出所述声学信号数据集合中符合所述二维特征的特征值;
通过索引关系关联各特征库分类,形成具备索引及筛选的多模式特征库,以便在使用确定相关特征时,依据不同距离下不同大类目标的探测需求,进行特征索引和筛选。
进一步地,在所述步骤S130中,利用模型训练规则配置,按照不同数据量规模需求进行不同阶段多种场景的动态模型训练的方法中,还包括:
基于实时数据量与当前各所述目标识别模型所需数据量规模的阈值范围临界值的比较结果,在实时数据量超过当前对应所述目标识别模型所需数据量规模的阈值范围临界值时,控制执行模型重训练,动态更新相应种类的所述目标识别模型;否则直接进入下一步骤基于选择确定的融合特征利用各所述目标识别模型执行识别分析。
进一步地,在所述步骤S130中,训练的各所述目标识别模型之间关联有一种确定性融合特征,以便进行确定性融合特征选择后,基于边缘推理计算规则,通过各所述目标识别模型的识别结果,推理获得水声目标当前分类结果及性能分析报告。
进一步地,在所述步骤S130中,
利用融合特性最优选择以及端对端的复杂深度学习分类器技术对所述多模式特征库中的特征值进行多GPU分布式数据动态并行逻辑训练,形成适用于所述边缘计算平台的至少满足三种不同需求的所述目标识别模型;
以及,利用减少参数计算量的模型压缩算法对各所述目标识别模型进行压缩后,至少形成包括资源节约模型、精度最优模型以及资源精度平衡模型在内的目标识别模型。
第二方面,本申请实施例提供了一种水声目标识别方法,基于实施例一中任意一项所述方法步骤的实现,所述方法包括:
S210,发送数据采集规则配置,以控制并接收实时采集水声目标的声学信号数据;
S220,发送数据预处理规则配置,以对实采的所述声学信号数据进行信号预处理后,形成满足水声目标识别归一化配置的若干声学信号数据集合;根据不同距离下不同大类目标的探测需求,通过对各所述声学信号数据集合进行不同场景以及不同维度的特征值提取,形成所述水声目标识别所需的基于数据量规模动态变化的具备索引及筛选功能的多模式特征库;
S230,发送模型训练规则配置,以便按照不同数据量规模需求进行不同阶段多种场景的动态模型训练;通过将实时的所述多模式特征库中的特征值输入到预先搭建的多种深度学习神经网络中,分别对所述多模式特征库中的特征值进行端对端的动态并行模型训练,形成特征关联且适用于边缘计算平台、满足不同应用场景需求的目标识别模型;
S240:利用边缘计算平台动态更新包括数据采集规则、数据预处理规则、模型训练规则、模型识别规则在内的逻辑控制规则配置,监控所述声学信号数据的实时数据量;利用边缘计算平台中的模型识别规则配置,接收并部署适配于当前所述声学信号数据的数据量规模的多种所述目标识别模型以及映射缓存所述多模式特征库,接收选择确定的所述多模式特征库中的融合特征;利用边缘推理计算规则控制各所述目标识别模型对选择确定的融合特征进行并行识别分析,利用所述水声目标不同维度的识别分析结果,推理获得当前水声目标的分类结果及性能分析报告。
进一步地,所述步骤S240中包括:
利用所述边缘计算平台配置的调试模式、重训练模式、推理模式,通过显控设备对所述调试模式、所述重训练模式以及所述推理模式的逻辑控制规则进行自定义配置;
在所述调试模式中,接收所述数据采集规则配置,控制所述声学信号数据采集规模;
在重训练模式中,基于不同阶段训练的数据量规模的阈值范围,将动态变化的实时数据量分别与各阶段阈值范围的临界值进行比较,以确定实时数据量适配于当前阶段的所述目标识别模型,当实时数据量超过当前所述目标识别模型所要求的阈值范围的临界值时,利用实时更新的所述多模式特征库进行对应所述目标识别模型的重训练;
在推理模式中,获取多种所述目标识别模型在确定融合特征对所述水声目标的识别分析结果,推理获得所述水声目标的分类结果及性能分析报告。
第三方面,本申请实施例提供了一种水声目标识别系统,采用实施例一中任意一项所述的方法,所述系统包括:
数据采集模块,配置为利用数据采集规则配置,控制并接收实时采集的水声目标的声学信号数据;
特征提取模块,配置为利用数据预处理规则配置对实采的所述声学信号数据进行信号预处理后,以形成满足水声目标识别归一化配置的若干声学信号数据集合;根据不同距离下不同大类目标的探测需求,通过对各所述声学信号数据集合进行不同场景以及不同维度的特征值提取,形成所述水声目标识别所需的基于数据量规模动态变化的具备索引及筛选功能的多模式特征库;
模型训练模块,配置为利用模型训练规则配置,按照不同数据量规模需求进行不同阶段多种场景的动态模型训练;通过将所述多模式特征库中的特征值输入到预先搭建的多种深度学习神经网络中,分别对所述多模式特征库中的特征值进行端对端的动态并行模型训练,形成特征关联且适用于边缘计算平台、满足不同应用场景需求的目标识别模型,以此实现利用边缘计算平台中的模型识别规则配置,接收并部署适配于当前所述声学信号数据的数据量规模的多种所述目标识别模型以及映射缓存所述多模式特征库,接收选择确定的所述多模式特征库中的融合特征;利用边缘推理计算规则控制各所述目标识别模型对选择确定的融合特征进行并行识别分析,利用所述水声目标不同维度的识别分析结果,推理获得水声目标当前分类结果及性能分析报告。
第四方面,本申请实施例提供了一种水声目标识别系统,采用实施例二任意一项所述的方法,所述系统包括:
数据实采配置模块,配置为发送数据采集规则配置,以控制并接收实时采集的水声目标的声学信号数据;
预处理配置模块,配置为发送数据预处理规则配置,以对实采的所述声学信号数据进行信号预处理后,形成满足水声目标识别归一化配置的若干声学信号数据集合;根据不同距离下不同大类目标的探测需求,通过对各所述声学信号数据集合进行不同场景以及不同维度的特征值提取,形成所述水声目标识别所需的基于数据量规模动态变化的具备索引及筛选功能的多模式特征库;
模型训练配置模块,配置为发送模型训练规则配置,以便按照不同数据量规模需求进行不同阶段多种场景的动态模型训练;通过将实时的所述多模式特征库中的特征值输入到预先搭建的多种深度学习神经网络中,分别对所述多模式特征库中的特征值进行端对端的动态并行模型训练,形成特征关联且适用于边缘计算平台、满足不同应用场景需求的目标识别模型;
识别分析模块,配置为利用边缘计算平台动态更新包括数据采集规则、数据预处理规则、模型训练规则、模型识别规则在内的逻辑控制规则配置,监控所述声学信号数据的实时数据量;利用边缘计算平台中的模型识别规则配置,接收并部署适配于当前所述声学信号数据的数据量规模的多种所述目标识别模型以及映射缓存所述多模式特征库,接收选择确定的所述多模式特征库中的融合特征;利用边缘推理计算规则控制各所述目标识别模型对选择确定的融合特征进行并行识别分析,利用所述水声目标不同维度的识别分析结果,推理获得当前水声目标的分类结果及性能分析报告。
第五方面,本申请实施例提供了一种水声目标识别装置,用于执行实施例一或实施例二中任意一项所述的方法,所述装置包括:边缘计算终端、嵌入式控制器、云服务器以及数据采集设备,所述云服务器分别与所述嵌入式控制器、所述数据采集设备通信连接,所述边缘计算终端与所述嵌入式控制器通信连接;
通过所述嵌入式控制器控制所述数据采集设备、所述云服务器执行所述的方法步骤;
通过所述边缘计算终端控制所述数据采集设备、所述云服务器、所述嵌入式控制器执行所述的方法步骤。
本申请实施例中提供的多个技术方案,至少具有如下技术效果:
(1)本发明有效解决目前在各种复杂环境下,水声目标识别的空缺的问题,通过满足基于深度学习的多种水声目标算法进行水中应用的需求,为在边缘计算平台上实现复杂水声目标算法提供了可行的处理方案。
(2)本发明由于采用动态模型训练方法,在任意复杂环境下均可以通过不断变化的实采数据量规模来获取识别模型,并且只要预先将深度学习神经网络搭建好,即可用实采数据进行模型训练,从而实现将最先最前沿的深度学习技术及时更新到本方案中,而不需要另外开发整个技术流程,以此降低了相关行业的技术开发成本。
(3)本发明由于采用基于边缘计算平台的适配多种深度学习算法的实时水声目标识别技术,有效满足在复杂环境下对水声目标识别的应用需求,通过边缘计算平台及时获取操作人员的使用需求,通过不断执行识别方案,可以取代人工经验判别,并在边缘计算平台上实现基于深度学习的水声目标算法提供了可行的处理方案。
附图说明
图1为本申请实施例一中一种水声目标识别方法的流程图;
图2为本申请实施例二中一种水声目标识别方法的流程图;
图3为本申请实施例三中一种水声目标识别系统模块框图;
图4为本申请实施例四中一种水声目标识别系统模块框图;
图5为本申请实施例五中一种水声目标识别装置连接框图;
图6为本申请实施例五中一种水声目标识别装置的物理组成框图;
图7为本申请实施例五中一种水声目标识别装置的功能组成剖析图。
具体实施方式
为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
实施例一
参考附图1所示,本申请实施例提供了一种水声目标识别方法,该方法包括如下步骤。
步骤S110,利用数据采集规则配置,控制并接收实时采集水声目标的声学信号数据。
本实施例中的步骤S110中包括:利用数据采集规则中的采集调理参数,控制数据采集设备40采集不同增益参数下的声学信号数据。进一步说明,本实施例中利用数据采集设备40执行采集声学信号数据,数据采集设备40可以但不限于采用水听器(阵)。水听器(阵)作为一种将声信号转换成电信号的换能器,接收水中的声信号,具有水中通信、探测、目标定位、跟踪等功能,是声呐的重要部件,可应用于水中的探测、识别、通信、海洋环境监测和海洋资源的开发等领域。本实施例中接收数据采集规则配置后,确定数据采集设备40执行的空间、时间密度等要求,实时采集水声目标的声学信号数据。本实施例中利用数据采集设备40进行前端信号采集与调理,基于可调的采样率,例如48KHz、96KHz,采样深度16bit、24bit,在非水听器阵录取时,设置多个不同增益档位的水听器,其级差为10dB,从而便于模型训练以及推理逻辑控制。
步骤S120,利用数据预处理规则配置,对实采的声学信号数据进行信号预处理后,形成满足水声目标识别归一化配置的若干声学信号数据集合;根据不同距离下不同大类目标的探测需求,通过对各声学信号数据集合进行不同场景以及不同维度的特征值提取,形成水声目标识别所需的基于数据量规模动态变化的具备索引及筛选功能的多模式特征库。
在步骤S120中进一步包括如下步骤。
步骤S121,利用信噪比评估对采集的声学信号数据进行包括筛选、过滤、数字束波形成、均衡、归一化、存储在内的信号处理。也就是说,步骤S210中的声学信号数据处理包括,对声学信号数据进行基于信噪比评估完成信号筛选、信号滤波、数字波束形成、信号均衡、信号归一化等处理,然后存储处理后的实采的声学信号数据。本实施例中采用嵌入式存储技术将处理后的声学信号数据定时批量传输至存储空间,该存储空间可以是工作站中的存储空间,也可以是云服务器中的存储空间。
执行信号处理时,对实采声学信号数据进行抗干扰滤波、高低频均衡在内的处理,基于信噪比筛选,保留辐射噪声高于背景噪声一定阈值,将经过处理的声学信号数据置于相应存储区,进行自适应划分处理,以便对融合后的数据进行自适应划分处理。
步骤S122,统计当前水声目标的声学信号数据的实时数据量。
步骤S123,根据不同阶段各模型训练所需数据量规模的阈值范围,将实时数据量与各个阶段阈值范围的临界值进行比较。
步骤S124,在实时数据量低于最小数据量规模的阈值范围临界值时,提取预存的水声公开数据集中的部分数据作为存储的声学信号数据;利用多源数据融合技术将存储后的声学信号数据进行打散及自适应划分,得到满足水声目标识别要求的若干声学信号数据集合。
可以看出,步骤S121-步骤S123表示为本实施例中数据集合配置的基本步骤,然后根据实采的数据量规模进行相应的处理。
从本实施例中的步骤S124可以看出,刚对某场景进行水声目标识别时,预先探测的数据量规模太小,无法满足水声目标的识别要求,因此需要进行比较基础的模型训练,当实采的数据量规模增加到一定程度时,为了提高水声目标的识别精度,本实施例中采用了基于不同数据量规模的多阶段的动态模型训练技术。
当然在步骤S123中,将实时数据量与各个阶段阈值范围的临界值进行比较后,还有另一种结果,实时数据量高于最小数据量规模的阈值范围临界值。也就是说,在步骤S120中进一步还包括:
步骤S124’,在实时数据量高于最小数据量规模的阈值范围临界值时,直接利用多源数据融合技术将存储后的声学信号数据进行打散及自适应划分,得到满足水声目标识别要求的若干声学信号数据集合。
因此不管步骤S121、S122、S123、S124,还是步骤S121、S122、S123、S124’,都是为了使声学信号数据集合中的数据量规模及质量要求满足模型训练。
在步骤S120中还包括,预先设置包括波形特征、时频域特征、听觉特征在内的特征库分类。以波形特征、时频域特征、听觉特征举例说明。
在波形特征库中预设包括直接波形幅度、过零率、能量在内的提取参数,筛选出声学信号数据集合中符合波形特征的特征值。
在时频域特征库中预设包括小波特征、Wigner-Ville分布特征在内的二维时频特征,计算筛选出声学信号数据集合中符合二维时频特征的特征值;在听觉特征库中预设包括伽马通频率倒谱系数、梅尔倒谱系数、梅尔谱及差分梅尔谱、对数梅尔谱、各类自设的听觉滤波器组在内的二维特征,计算筛选出声学信号数据集合中符合二维特征的特征值;通过索引关系关联各特征库分类,形成具备索引及筛选的多模式特征库,以便在使用确定相关特征时,依据不同距离下不同大类目标的探测需求,进行特征索引和筛选。也就是说,对不同维度的特征值计算,例如波形特征、时频域特征及听觉特征,波形特征中采用直接波形幅度、过零率、能量等,时频域特征中采用小波特征、Wigner-Ville分布特征在内的二维时频特征;听觉特征中,采用如伽马通频率倒谱系数(GFCC)、梅尔倒谱系数(MFCC)、梅尔谱及差分梅尔谱、对数梅尔谱、各类自设的听觉滤波器组在内的二维特征,都是具备索引选取功能的特征库。
步骤S130,利用模型训练规则配置按照不同数据量规模需求进行不同阶段多种场景的动态模型训练;通过将多模式特征库中的特征值输入到预先搭建的多种深度学习神经网络中,分别对多模式特征库中的特征值进行端对端的动态并行模型训练,形成特征关联且适用于边缘计算平台、满足不同应用场景需求的目标识别模型,以此实现利用边缘计算平台中的模型识别规则配置,接收并部署适配于当前声学信号数据的数据量规模的多种目标识别模型以及映射缓存的多模式特征库,在接收选择确定的多模式特征库中的融合特征后,利用边缘推理计算规则控制各目标识别模型对选择确定的融合特征进行并行识别分析,从而利用水声目标不同维度的识别分析结果,推理获得水声目标当前分类结果及性能分析报告。
在步骤S130中,利用模型训练规则配置,按照不同数据量规模需求进行不同阶段多种场景的动态模型训练的方法中,还包括:基于实时数据量与当前各目标识别模型所需数据量规模的阈值范围临界值的比较结果,在实时数据量超过当前对应目标识别模型所需数据量规模的阈值范围临界值时,控制执行模型重训练,动态更新相应种类的对应目标识别模型;否则直接进入下一步骤基于选择确定的融合特征利用各目标识别模型执行识别分析。
进一步可以看出,由于不同场景中水声目标的未知性,本实施例中采用基于预设数据量规模的不同维度的动态模型训练。举例说明,数据量规模通过临界值预先划分成0-A-B-C-D,在刚开始进行水声目标识别时,数据量规模较小,比如不足临界值A,那么未达第一阶段的模型训练,此时按照步骤S124所描述的,提取预先存储的水声公开数据集中的部分数据,添加到待训练所需的若干声学信号数据集合,进行步骤S200的特征库配置,然后进行初级的模型训练,此时可以看出,模型识别的精度不够,没法精确识别出水声目标,但是已经搭建了新场景下的水声目标识别步骤的框架。本实施例中通过继续控制水声目标的声学信号数据的采集,不断统计实时数据量,为了减少运算量,可以将实时数据量定时与不同阶段的数据量规模阈值范围的临界值进行比较,当实时数据量首次高于数据量规模阈值范围低位临界值时,利用当前多模式特征库中的特征值执行模型训练。
其中,水声公开数据集可以采用ShipsEar、DeepShip及诸如海洋声学公开数据,进行重采样,分帧处理,并进行标注,置于相应存储区。
在步骤S130中,训练的各目标识别模型之间关联有一种确定性融合特征,以便进行确定性融合特征选择后,基于边缘推理计算规则,通过各目标识别模型的识别结果,推理获得水声目标当前分类结果及性能分析报告。本实施例中的目标识别模型可以包括特征关联的资源节约模型、精度最优模型及资源精度平衡识别模型。
进一步说明,在步骤S130中,利用融合特性最优选择以及端对端的复杂深度学习分类器技术对多模式特征库中的特征值进行多GPU分布式数据动态并行逻辑训练,形成适用于边缘计算平台的至少满足三种不同需求的目标识别模型;以及,利用减少参数计算量的模型压缩算法对各目标识别模型进行压缩后,至少形成包括资源节约模型、精度最优模型以及资源精度平衡模型在内的目标识别模型。本实施例基于深度学习神经网络基于多种复杂神经网络,例如DNN、CNN、Transfomer、DenseNet、ResNet等进行端对端的复杂深度学习分类器设计,完成水声目标识别融合特征最优选择。
也就是说,本步骤基于动态更新的多模式特征库,依据不同场景下的应用需求形成多种水中实时推理识别压缩模型,各种模型关联一种确定的融合特征。其中,采用融合特征最优选择、端对端的复杂深度学习分类器设计,对于水声目标的特征值进行多GPU分布式数据动态并行训练逻辑,形成适用于边缘计算平台的满足三种不同需求的模型,通过对模型压缩减少参数计算量,最终形成资源节约模型、精度最优模型、资源精度平衡模型三种或更多模型。
进一步说明,步骤S130可实现如下效果,通过训练形成的多种目标识别模型分别对水声目标进行识别分析,输出不同场景及不同维度的各目标识别模型的识别分析结果。本实施例中,不管步骤S130中有没有执行模型训练,在接收到识别任务时,按照识别计划利用目标识别模型进行水声目标的识别分析。其中,可以采用定时识别,也可以采用定量识别。在定时识别时,表示预设定时识别计划,当触发识别时间时,根据最新的目标识别模型对实采的声学信号数据进行识别。在定量识别时,表示预设定量识别计划,对实采的声学信号数据按照时序进行相关处理存储后,当最新存储的声学信号数据满足定量要求后,例如每多产生2000条有效帧之后,执行声学信号数据的识别分析。在此进一步说明,由于水声目标识别并不是到达对应场景后立即就能精准识别的,需要相应的过程,比如,通过不断进行水声目标的声学信号数据的采集进行不同数据量规模的模型训练,然后利用最新训练形成的目标识别模型对实采的水声目标的声学信号数据进行识别分析。也就是说,模型训练采用不断积攒声学信号数据的声学信号数据集合,以及不断动态更新的多模式特征库,而模型识别采用实时采集到的定时时段或者定量的多模式特征库中的特征值。
实施例二
参考附图2所示,本实施例提供了一种水声目标识别方法,用于实施例一中任意一项方法步骤的实现,也就是说,实施例二为实施例一中方法实现的基础。本实施例中的方法包括如下步骤。
步骤S210,发送数据采集规则配置,以控制并接收实时采集水声目标的声学信号数据。
步骤S220,发送数据预处理规则配置,以对实采的声学信号数据进行信号预处理后,形成满足水声目标识别归一化配置的若干声学信号数据集合;根据不同距离下不同大类目标的探测需求,通过对各声学信号数据集合进行不同场景以及不同维度的特征值提取,形成水声目标识别所需的基于数据量规模动态变化的具备索引及筛选功能的多模式特征库。
步骤S230,发送模型训练规则配置,以便按照不同数据量规模需求进行不同阶段多种场景的动态模型训练;通过将实时的多模式特征库中的特征值输入到预先搭建的多种深度学习神经网络中,分别对多模式特征库中的特征值进行端对端的动态并行模型训练,形成特征关联且适用于边缘计算平台、满足不同应用场景需求的目标识别模型。
步骤S240:利用边缘计算平台动态更新包括数据采集规则、数据预处理规则、模型训练规则、模型识别规则在内的逻辑控制规则配置,监控声学信号数据的实时数据量;利用边缘计算平台中的模型识别规则配置,接收并部署适配于当前声学信号数据的数据量规模的多种目标识别模型以及映射缓存多模式特征库,接收选择确定的多模式特征库中的融合特征;利用边缘推理计算规则控制各目标识别模型对选择确定的融合特征进行并行识别分析,利用水声目标不同维度的识别分析结果,推理获得当前水声目标的分类结果及性能分析报告。
在步骤S240包括:利用边缘计算平台配置的调试模式、重训练模式、推理模式,通过显控设备对调试模式、重训练模式以及推理模式的逻辑控制规则进行自定义配置。
在调试模式中,接收数据采集规则配置,控制声学信号数据采集规模。
在重训练模式中,基于不同阶段训练的数据量规模的阈值范围,将动态变化的实时数据量分别与各阶段阈值范围的临界值进行比较,以确定实时数据量适配于当前阶段的目标识别模型,当实时数据量超过当前目标识别模型所要求的阈值范围的临界值时,利用实时更新的多模式特征库进行对应目标识别模型的重训练。
在推理模式中,获取多种目标识别模型在确定融合特征对水声目标的识别分析结果,推理获得水声目标的分类结果及性能分析报告。
可以看出,为了使实施例一中的目标识别方法不受限制,使应用场景及应用需求最大化,本实施例中将边缘计算平台配置有调试模式、重训练模式、推理模式,完成模型调试、模型重训练更新及确定性推理的控制,基于不同场景的应用需求进行特征及模型选择的推理控制。其中,包括声学信号数据采集与调理的增益参数控制、重训练控制的逻辑设置、对传输存储模块的更新控制、模型选择控制、对预处理声学融合特征库计算后的特征提取及索引控制。本实施例中根据训练及推理逻辑控制确定性条件,比如,当数据量规模超过一定阈值范围的临界值并且声学信号数据质量(可以理解为辨识度、密度等物理量,但不限定,可以根据不同场景自适应调整质量需求)满足使用要求时,发送模型重训练使能及参数。在数据量规模较小、缺乏声学信号数据时执行调试控制,在数据增长即数据量规模每增加一定规模时激励模型重新训练,并将重新训练好的模型更新到预先存储的模型存储空间中。本实施例中,在执行重训练及推理需求配置时,可以将训练阶段参数设计分为快速和精细两档,其中,在一种实施例中,推理阶段分为三档,即资源节约型、性能优化型和平衡型。
实施例三
参考附图3所示,本实施例提供了一种水声目标识别系统,其采用实施例一中的水声目标识别方法,该系统包括如下模块。
数据采集模块110,配置为利用数据采集规则配置,控制并接收实时采集水声目标的声学信号数据。
特征提取模块120,配置为利用数据预处理规则配置,对实采的声学信号数据进行信号预处理后,形成满足水声目标识别归一化配置的若干声学信号数据集合,根据不同距离下不同大类目标的探测需求,通过对各声学信号数据集合进行不同场景以及不同维度的特征值提取,形成水声目标识别所需的基于数据量规模动态变化的具备索引及筛选功能的多模式特征库。
模型训练模块130,配置为利用模型训练规则配置,按照不同数据量规模需求进行不同阶段多种场景的动态模型训练;通过将实时的多模式特征库中的特征值输入到预先搭建的多种深度学习神经网络中,分别对多模式特征库中的特征值进行端对端的动态并行模型训练,形成特征关联且适用于边缘计算平台、满足不同应用场景需求的目标识别模型,以此实现利用边缘计算平台中的模型识别规则配置,接收并部署适配于当前所述声学信号数据的数据量规模的多种所述目标识别模型以及映射缓存所述多模式特征库,接收选择确定的所述多模式特征库中的融合特征;利用边缘推理计算规则控制各所述目标识别模型对选择确定的融合特征进行并行识别分析,利用所述水声目标不同维度的识别分析结果,推理获得水声目标当前分类结果及性能分析报告。
实施例四
参考附图4所示,本申请实施例提供了一种水声目标识别系统,采用实施例二中任意一项的方法,系统包括如下模块。
数据实采配置模块210,配置为发送数据采集规则配置,以控制并接收实时采集水声目标的声学信号数据。
预处理配置模块220,配置为发送数据预处理规则配置,以对实采的声学信号数据进行信号预处理后,形成满足水声目标识别归一化配置的若干声学信号数据集合;根据不同距离下不同大类目标的探测需求,通过对各声学信号数据集合进行不同场景以及不同维度的特征值提取,形成水声目标识别所需的基于数据量规模动态变化的具备索引及筛选功能的多模式特征库。
模型训练配置模块230,配置为发送模型训练规则配置,以便按照不同数据量规模需求进行不同阶段多种场景的动态模型训练;通过将实时的所述多模式特征库中的特征值输入到预先搭建的多种深度学习神经网络中,分别对多模式特征库中的特征值进行端对端的动态并行模型训练,形成特征关联且适用于边缘计算平台、满足不同应用场景需求的目标识别模型,以便利用训练形成的多种目标识别模型分别对水声目标进行识别分析,输出不同场景及不同维度的各目标识别模型的识别分析结果。
识别分析模块240,配置为利用边缘计算平台动态更新包括数据采集规则、数据预处理规则、模型训练规则、模型识别规则在内的逻辑控制规则配置,监控声学信号数据的实时数据量;利用边缘计算平台中的模型识别规则配置,接收并部署适配于当前所述声学信号数据的数据量规模的多种所述目标识别模型以及映射缓存所述多模式特征库,接收选择确定的所述多模式特征库中的融合特征;利用边缘推理计算规则控制各所述目标识别模型对选择确定的融合特征进行并行识别分析,利用所述水声目标不同维度的识别分析结果,推理获得当前水声目标的分类结果及性能分析报告。
实施例五
参考附图5-7所示,本实施例提供了一种水声目标识别装置,执行实施例一、实施例二中任意一项的方法。本实施例提供的装置包括:边缘计算终端20、嵌入式控制器10、云服务器30以及数据采集设备40。
其中,云服务器30分别与嵌入式控制器10、数据采集设备40通信连接,边缘计算终端20与嵌入式控制器10通信连接。
本实施例中,通过嵌入式控制器10控制数据采集设备40、云服务器30执行实施例一中任意一项的方法步骤;通过边缘计算终端20控制数据采集设备40、云服务器30、嵌入式控制器10执行实施例二中任意一项所述的方法步骤。
进一步补充说明,水声目标识别装置中的边缘计算终端20、嵌入式控制器10、云服务器30以及数据采集设备40之间可以采用有线连接,也可以采用无线连接,针对实际场景需求具体连接配置。
为了使水声目标识别装置适配不同的应用场景以及不同数据量规模需求,本实施例将边缘计算终端20可以理解为具备数据推理、人工自定义规则配置以及显控功能的管理控制端。
嵌入式控制器10通过边缘计算终端20配置的数据采集规则,控制数据采集设备40实时采集水声目标的声学信号数据;通过边缘计算终端20配置的数据预处理规则,对实采的声学信号数据进行信号预处理,以形成满足水声目标识别归一化配置的若干声学信号数据集合;从附图中可以看出,不管是数据预处理还是模型训练,均执行在云服务器30中,为使云服务器30实现相关步骤的方法,其预存有公开数据集、存储实采的声学信号数据,存储配置的数据预处理规则、模型训练规则,实现通过对各声学信号数据集合进行不同场景以及不同维度的特征值提取,形成水声目标识别所需的具备索引及筛选功能的多模式特征库;通过配置模型训练规则,以便按照不同数据量规模需求进行不同阶段多种场景的动态模型训练;通过将实时的多模式特征库中的特征值输入到预先搭建的多种深度学习神经网络中,分别对多模式特征库中的特征值进行端对端的动态并行模型训练,形成特征关联且适用于边缘计算平台、满足不同应用场景需求的目标识别模型;从而达到利用训练形成的多种目标识别模型分别对水声目标进行识别分析,输出不同场景及不同维度的各目标识别模型的识别分析结果。本实施例中的嵌入式控制器用于传输、存储、预处理、模型重训练的控制,作为低于边缘计算终端20的控制单元,可以将云服务器30中存储的多种目标识别模型传输给边缘计算终端20,以及根据边缘计算终端20中选定的融合特征,将云服务器30中存储的特征值传给边缘计算终端。
进一步基于边缘计算平台动态更新包括数据采集规则、数据预处理规则、模型训练规则、模型识别规则在内的逻辑控制规则配置,监控声学信号数据的实时数据量,接收根据确定性融合特征选择后,获得各目标识别模型的识别结果,推理获得水声目标的当前分类结果及性能分析报告。
本实施例中的边缘计算终端20通过显控设备展示当前水声目标的分类结果及性能分析报告,并且可以接收操作人员实施的自定义配置指令,从而使边缘计算终端20基于人机交互具有推理计算以及显示控制功能。
进一步说明,本实施例中的云服务器30(云服务器可以为工作站或远程云端服务器),其包含一块及以上图形处理单元(GPU),可以同时完成存储和特定条件下的自主模型训练;具有存储公开数据集、实采的声学信号数据、分类结果及性能分析报告的功能;在执行自主训练时,在特定条件下按照模型训练规则进行自主训练多种模型,依据具有嵌入式技术的嵌入式控制器10利用以太网等多种接口发送的控制命令,比如,重训练命令;联合嵌入式控制器10一起实现数据集合形成、模型训练形成及压缩单元、多模式特征库形成及选择单元等所需功能。
嵌入式控制器10,具有传输、存储、预处理、重训练控制等功能,可以进行训练与推理逻辑命令的分发,接收相应的逻辑控制规则控制采集与调理、传输存储更新、重训练控制、预处理等,联合云服务器30一起实现数据集合形成、模型训练形成及压缩单元、多模式特征库形成及选择等所需功能,可以在边缘计算平台已确定逻辑控制规则的基础上,单独实现训练与推理逻辑控制。本实施例中的嵌入式控制器10可以理解为具有若干嵌入式计算板的装置。
边缘计算终端20,主要用于推理计算及显示控制,具有传输存储控制、多种深度学习规则存储、实时特征值缓存统计、边缘推理计算、显示控制,单独实现边缘推理、显控等功能。边缘计算终端20利用Nvidia jetson板进行边缘计算,其具有基于linux的丰富接口及一定量的GPU计算单元。本实施例中的边缘计算终端可以理解为具有若干边缘计算板的装置。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、装置或计算机程序产品。
例如,本实施例提供了一种电子设备,包括:一个或多个处理器;
存储器用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行时,使得一个或多个处理器实现如实施例一或实施例二中任一的方法。
本实施例还提供了一种计算机可读介质,其上存储有计算机程序,,计算机程序被处理器执行时实现如实施例一或实施例二中任一的方法。
从而使得处理器在执行方法过程中,执行实施例一中的方法时,执行如下步骤:
步骤S110,利用数据采集规则配置,控制并接收实时采集水声目标的声学信号数据;步骤S120,利用数据预处理规则配置,对实采的声学信号数据进行信号预处理后,形成满足水声目标识别归一化配置的若干声学信号数据集合;根据不同距离下不同大类目标的探测需求,通过对各声学信号数据集合进行不同场景以及不同维度的特征值提取,形成水声目标识别所需的基于数据量规模动态变化的具备索引及筛选功能的多模式特征库;步骤S130,利用模型训练规则配置,按照不同数据量规模需求进行不同阶段多种场景的动态模型训练;通过将实时的多模式特征库中的特征值输入到预先搭建的多种深度学习神经网络中,分别对多模式特征库中的特征值进行端对端的动态并行模型训练,形成特征关联且适用于边缘计算平台、满足不同应用场景需求的目标识别模型,以此实现利用边缘计算平台中的模型识别规则配置,接收并部署适配于当前所述声学信号数据的数据量规模的多种所述目标识别模型以及映射缓存的所述多模式特征库,在接收选择确定的所述多模式特征库中的融合特征后,利用边缘推理计算规则控制各所述目标识别模型对选择确定的融合特征进行并行识别分析,从而利用所述水声目标不同维度的识别分析结果,推理获得水声目标当前分类结果及性能分析报告。
执行实施例二中的方法时,执行如下步骤:
步骤S210,发送数据采集规则配置,以控制并接收实时采集水声目标的声学信号数据;步骤S220,发送数据预处理规则配置,以对实采的声学信号数据进行信号预处理后,形成满足水声目标识别归一化配置的若干声学信号数据集合;根据不同距离下不同大类目标的探测需求,通过对各声学信号数据集合进行不同场景以及不同维度的特征值提取,形成水声目标识别所需的基于数据量规模动态变化的具备索引及筛选功能的多模式特征库;步骤S230,发送模型训练规则配置,以便按照不同数据量规模需求进行不同阶段多种场景的动态模型训练;通过将实时的多模式特征库中的特征值输入到预先搭建的多种深度学习神经网络中,分别对多模式特征库中的特征值进行端对端的动态并行模型训练,形成特征关联且适用于边缘计算平台、满足不同应用场景需求的目标识别模型;步骤S240:利用边缘计算平台动态更新包括数据采集规则、数据预处理规则、模型训练规则、模型识别规则在内的逻辑控制规则配置,监控声学信号数据的实时数据量;利用边缘计算平台中的模型识别规则配置,接收并部署适配于当前所述声学信号数据的数据量规模的多种所述目标识别模型以及映射缓存所述多模式特征库,接收选择确定的所述多模式特征库中的融合特征;利用边缘推理计算规则控制各所述目标识别模型对选择确定的融合特征进行并行识别分析,利用所述水声目标不同维度的识别分析结果,推理获得当前水声目标的分类结果及性能分析报告。
因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (8)
1.一种水声目标识别方法,其特征在于,所述方法包括:
S110,利用数据采集规则配置,控制并接收实时采集的水声目标的声学信号数据;
S120,利用数据预处理规则配置,对实采的所述声学信号数据进行信号预处理后,形成满足水声目标识别归一化配置的若干声学信号数据集合;根据不同距离下不同大类目标的探测需求,通过对各所述声学信号数据集合进行不同场景以及不同维度的特征值提取,形成所述水声目标识别所需的基于数据量规模动态变化的具备索引及筛选功能的多模式特征库;
S130,利用模型训练规则配置,按照不同数据量规模需求进行不同阶段多种场景的动态模型训练;通过将所述多模式特征库中的特征值输入到预先搭建的多种深度学习神经网络中,分别对所述多模式特征库中的特征值进行端对端的动态并行模型训练,形成特征关联且适用于边缘计算平台、满足不同应用场景需求的目标识别模型,以此实现利用边缘计算平台中的模型识别规则配置,接收并部署适配于当前所述声学信号数据的数据量规模的多种所述目标识别模型以及映射缓存的所述多模式特征库,在接收选择确定的所述多模式特征库中的融合特征后,利用边缘推理计算规则控制各所述目标识别模型对选择确定的融合特征进行并行识别分析,从而利用所述水声目标不同维度的识别分析结果,推理获得水声目标当前分类结果及性能分析报告;
在所述步骤S120中包括:
利用信噪比评估对采集的所述声学信号数据进行包括筛选、过滤、数字束波形成、均衡、归一化、存储在内的信号处理;
统计当前水声目标的所述声学信号数据的实时数据量;
根据不同阶段各模型训练所需数据量规模的阈值范围,将所述实时数据量与各个阶段阈值范围的临界值进行比较;
在实时数据量低于最小数据量规模的阈值范围临界值时,提取预存的水声公开数据集中的部分数据作为存储的所述声学信号数据;利用多源数据融合技术将存储后的所述声学信号数据进行打散及自适应划分,得到满足水声目标识别要求的若干声学信号数据集合;
在所述步骤S120中还包括:
在实时数据量高于最小数据量规模的阈值范围临界值时,直接利用多源数据融合技术将存储后的所述声学信号数据进行打散及自适应划分,得到满足水声目标识别要求的若干声学信号数据集合;
所述步骤S120还包括,预先设置包括波形特征、时频域特征、听觉特征在内的特征库分类;其中,
在所述波形特征库中预设包括直接波形幅度、过零率、能量在内的提取参数,筛选出所述声学信号数据集合中符合所述波形特征的特征值;
在所述时频域特征库中预设包括小波特征、Wigner-Ville分布特征在内的二维时频特征,计算筛选出所述声学信号数据集合中符合所述二维时频特征的特征值;
在所述听觉特征库中预设包括伽马通频率倒谱系数、梅尔倒谱系数、梅尔谱及差分梅尔谱、对数梅尔谱、各类自设的听觉滤波器组在内的二维特征,计算筛选出所述声学信号数据集合中符合所述二维特征的特征值;
通过索引关系关联各特征库分类,形成具备索引及筛选的多模式特征库,以便在使用确定相关特征时,依据不同距离下不同大类目标的探测需求,进行特征索引和筛选;
在所述步骤S130中,利用模型训练规则配置,按照不同数据量规模需求进行不同阶段多种场景的动态模型训练的方法中,还包括:
基于实时数据量与当前各所述目标识别模型所需数据量规模的阈值范围临界值的比较结果,在实时数据量超过当前对应所述目标识别模型所需数据量规模的阈值范围临界值时,控制执行模型重训练,动态更新相应种类的所述目标识别模型;否则直接进入下一步骤基于选择确定的融合特征利用各所述目标识别模型执行识别分析;
在所述步骤S130中,
利用融合特性最优选择以及端对端的复杂深度学习分类器技术对所述多模式特征库中的特征值进行多GPU分布式数据动态并行逻辑训练,形成适用于所述边缘计算平台的至少满足三种不同需求的所述目标识别模型;
以及,利用减少参数计算量的模型压缩算法对各所述目标识别模型进行压缩后,至少形成包括资源节约模型、精度最优模型以及资源精度平衡模型在内的目标识别模型。
2.如权利要求1所述的水声目标识别方法,其特征在于,所述步骤S110中:利用所述数据采集规则中的采集调理参数,控制数据采集设备采集不同增益参数下的声学信号数据。
3.如权利要求1所述的水声目标识别方法,其特征在于,在所述步骤S130中,训练的各所述目标识别模型之间关联有一种确定性融合特征,以便进行确定性融合特征选择后,基于边缘推理计算规则,通过各所述目标识别模型的识别结果,推理获得水声目标当前分类结果及性能分析报告。
4.一种水声目标识别方法,其特征在于,用于权利要求1-3任意一项所述方法步骤的实现,所述方法包括:
S210,发送数据采集规则配置,以控制并接收实时采集水声目标的声学信号数据;
S220,发送数据预处理规则配置,以对实采的所述声学信号数据进行信号预处理后,形成满足水声目标识别归一化配置的若干声学信号数据集合;根据不同距离下不同大类目标的探测需求,通过对各所述声学信号数据集合进行不同场景以及不同维度的特征值提取,形成所述水声目标识别所需的基于数据量规模动态变化的具备索引及筛选功能的多模式特征库;
S230,发送模型训练规则配置,以便按照不同数据量规模需求进行不同阶段多种场景的动态模型训练;通过将实时的所述多模式特征库中的特征值输入到预先搭建的多种深度学习神经网络中,分别对所述多模式特征库中的特征值进行端对端的动态并行模型训练,形成特征关联且适用于边缘计算平台、满足不同应用场景需求的目标识别模型;
S240:利用边缘计算平台动态更新包括数据采集规则、数据预处理规则、模型训练规则、模型识别规则在内的逻辑控制规则配置,监控所述声学信号数据的实时数据量;利用边缘计算平台中的模型识别规则配置,接收并部署适配于当前所述声学信号数据的数据量规模的多种所述目标识别模型以及映射缓存所述多模式特征库,接收选择确定的所述多模式特征库中的融合特征;利用边缘推理计算规则控制各所述目标识别模型对选择确定的融合特征进行并行识别分析,利用所述水声目标不同维度的识别分析结果,推理获得当前水声目标的分类结果及性能分析报告。
5.如权利要求4所述的水声目标识别方法,其特征在于,所述步骤S240中包括:
利用所述边缘计算平台配置的调试模式、重训练模式、推理模式,通过显控设备对所述调试模式、所述重训练模式以及所述推理模式的逻辑控制规则进行自定义配置;
在所述调试模式中,接收所述数据采集规则配置,控制所述声学信号数据采集规模;
在重训练模式中,基于不同阶段训练的数据量规模的阈值范围,将动态变化的实时数据量分别与各阶段阈值范围的临界值进行比较,以确定实时数据量适配于当前阶段的所述目标识别模型,当实时数据量超过当前所述目标识别模型所要求的阈值范围的临界值时,利用实时更新的所述多模式特征库进行对应所述目标识别模型的重训练;
在推理模式中,获取多种所述目标识别模型在确定融合特征对所述水声目标的识别分析结果,推理获得所述水声目标的分类结果及性能分析报告。
6.一种水声目标识别系统,采用权利要求1-3任意一项所述的方法,其特征在于,所述系统包括:
数据采集模块,配置为利用数据采集规则配置,控制并接收实时采集的水声目标的声学信号数据;
特征提取模块,配置为利用数据预处理规则配置,对实采的所述声学信号数据进行信号预处理后,形成满足水声目标识别归一化配置的若干声学信号数据集合;根据不同距离下不同大类目标的探测需求,通过对各所述声学信号数据集合进行不同场景以及不同维度的特征值提取,形成所述水声目标识别所需的基于数据量规模动态变化的具备索引及筛选功能的多模式特征库;
模型训练模块,配置为利用模型训练规则配置,按照不同数据量规模需求进行不同阶段多种场景的动态模型训练;通过将所述多模式特征库中的特征值输入到预先搭建的多种深度学习神经网络中,分别对所述多模式特征库中的特征值进行端对端的动态并行模型训练,形成特征关联且适用于边缘计算平台、满足不同应用场景需求的目标识别模型,以此实现利用边缘计算平台中的模型识别规则配置,接收并部署适配于当前所述声学信号数据的数据量规模的多种所述目标识别模型以及映射缓存所述多模式特征库,接收选择确定的所述多模式特征库中的融合特征;利用边缘推理计算规则控制各所述目标识别模型对选择确定的融合特征进行并行识别分析,利用所述水声目标不同维度的识别分析结果,推理获得水声目标当前分类结果及性能分析报告。
7.一种水声目标识别系统,采用权利要求4-5任意一项所述的方法,其特征在于,所述系统包括:
数据实采配置模块,配置为发送数据采集规则配置,以控制并接收实时采集的水声目标的声学信号数据;
预处理配置模块,配置为发送数据预处理规则配置,以对实采的所述声学信号数据进行信号预处理后,形成满足水声目标识别归一化配置的若干声学信号数据集合;根据不同距离下不同大类目标的探测需求,通过对各所述声学信号数据集合进行不同场景以及不同维度的特征值提取,形成所述水声目标识别所需的基于数据量规模动态变化的具备索引及筛选功能的多模式特征库;
模型训练配置模块,配置为发送模型训练规则配置,以便按照不同数据量规模需求进行不同阶段多种场景的动态模型训练;通过将实时的所述多模式特征库中的特征值输入到预先搭建的多种深度学习神经网络中,分别对所述多模式特征库中的特征值进行端对端的动态并行模型训练,形成特征关联且适用于边缘计算平台、满足不同应用场景需求的目标识别模型;
识别分析模块,配置为利用边缘计算平台动态更新包括数据采集规则、数据预处理规则、模型训练规则、模型识别规则在内的逻辑控制规则配置,监控所述声学信号数据的实时数据量;利用边缘计算平台中的模型识别规则配置,接收并部署适配于当前所述声学信号数据的数据量规模的多种所述目标识别模型以及映射缓存所述多模式特征库,接收选择确定的所述多模式特征库中的融合特征;利用边缘推理计算规则控制各所述目标识别模型对选择确定的融合特征进行并行识别分析,利用所述水声目标不同维度的识别分析结果,推理获得当前水声目标的分类结果及性能分析报告。
8.一种水声目标识别装置,其特征在于,所述装置包括:边缘计算终端、嵌入式控制器、云服务器以及数据采集设备;所述云服务器分别与所述嵌入式控制器、所述数据采集设备通信连接,所述边缘计算终端与所述嵌入式控制器通信连接;
通过所述嵌入式控制器控制所述数据采集设备、所述云服务器执行权利要求1-3中任意一项所述的方法步骤;
通过所述边缘计算终端控制所述数据采集设备、所述云服务器、所述嵌入式控制器执行权利要求4-5中任意一项所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210002761.5A CN114460566B (zh) | 2022-01-04 | 2022-01-04 | 水声目标实时识别方法、系统及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210002761.5A CN114460566B (zh) | 2022-01-04 | 2022-01-04 | 水声目标实时识别方法、系统及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114460566A CN114460566A (zh) | 2022-05-10 |
CN114460566B true CN114460566B (zh) | 2024-04-30 |
Family
ID=81406770
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210002761.5A Active CN114460566B (zh) | 2022-01-04 | 2022-01-04 | 水声目标实时识别方法、系统及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114460566B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106250848A (zh) * | 2016-07-29 | 2016-12-21 | 西北工业大学 | 一种基于多模型融合的单类水声目标识别方法 |
RU2017131018A (ru) * | 2017-09-01 | 2019-03-01 | Федеральное государственное бюджетное учреждение науки Специальное конструкторское бюро средств автоматизации морских исследований Дальневосточного отделения Российской академии наук | Глобальная радиогидроакустическая система мониторинга полей атмосферы, океана и земной коры в морской среде и распознавания источников их формирования |
CN112115830A (zh) * | 2020-09-10 | 2020-12-22 | 同济大学 | 一种基于比特域特征提取的目标分布式融合识别方法 |
CN112364779A (zh) * | 2020-11-12 | 2021-02-12 | 中国电子科技集团公司第五十四研究所 | 信号处理与深-浅网络多模型融合的水声目标识别方法 |
CN113567969A (zh) * | 2021-09-23 | 2021-10-29 | 江苏禹治流域管理技术研究院有限公司 | 一种基于水下声信号的非法采砂船自动监控方法及系统 |
-
2022
- 2022-01-04 CN CN202210002761.5A patent/CN114460566B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106250848A (zh) * | 2016-07-29 | 2016-12-21 | 西北工业大学 | 一种基于多模型融合的单类水声目标识别方法 |
RU2017131018A (ru) * | 2017-09-01 | 2019-03-01 | Федеральное государственное бюджетное учреждение науки Специальное конструкторское бюро средств автоматизации морских исследований Дальневосточного отделения Российской академии наук | Глобальная радиогидроакустическая система мониторинга полей атмосферы, океана и земной коры в морской среде и распознавания источников их формирования |
CN112115830A (zh) * | 2020-09-10 | 2020-12-22 | 同济大学 | 一种基于比特域特征提取的目标分布式融合识别方法 |
CN112364779A (zh) * | 2020-11-12 | 2021-02-12 | 中国电子科技集团公司第五十四研究所 | 信号处理与深-浅网络多模型融合的水声目标识别方法 |
CN113567969A (zh) * | 2021-09-23 | 2021-10-29 | 江苏禹治流域管理技术研究院有限公司 | 一种基于水下声信号的非法采砂船自动监控方法及系统 |
Non-Patent Citations (5)
Title |
---|
ata collection in underwater sensor networks based on mobile edge computing;Cai Shaobin 等;《 IEEE Access 》;20190522(第7期);第65357-65367页 * |
Wang T等.Collaborative Edge Computing for Social Internet of Vehicles to Alleviate Traffic Congestion.《IEEE Transactions on Computational Social Systems》.第9卷(第1期),第1-13页. * |
基于边缘预测的水下传感网数据感知与获取的研究;赵丹;《中国优秀硕士学位论文全文数据库 信息科技辑》;20210115(第1期);第 I136-900页 * |
基于近场声全息的水下声源声场重构技术研究;郝振宇;《中国优秀硕士学位论文全文数据库 基础科学辑》;20210715(第07期);第A005-24页 * |
边缘检测结合高斯平滑的鱼雷声谱图识别方法;海深等;《计算机工程与应用》;20160325;第53卷(第3期);第160-163页 * |
Also Published As
Publication number | Publication date |
---|---|
CN114460566A (zh) | 2022-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2546680B1 (en) | Method and device for automatically detecting marine animals | |
Wang et al. | ia-PNCC: Noise Processing Method for Underwater Target Recognition Convolutional Neural Network. | |
RU2694846C1 (ru) | Способ формирования системы морского мониторинга с программируемым нейросетевым комплексом управления | |
CN107064894A (zh) | 一种基于深度学习的杂波抑制方法 | |
Belghith et al. | Acoustic diversity classifier for automated marine big data analysis | |
CN112859056B (zh) | 一种用于大型海洋生物的远程预警系统及方法 | |
CN110390949A (zh) | 基于大数据的水声目标智能识别方法 | |
CN114460566B (zh) | 水声目标实时识别方法、系统及装置 | |
CN111627030A (zh) | 快速高效的可见光遥感影像海陆精确分割方法 | |
CN115114949A (zh) | 一种基于水声信号的舰船目标智能识别方法及系统 | |
Kristmundsson et al. | Fish monitoring in aquaculture using multibeam echosounders and machine learning. | |
Kong et al. | Automatic detection technology of sonar image target based on the three-dimensional imaging | |
Bach | Improving the classification of propeller ships using lofar and triple loss variational auto encoder | |
Dalton et al. | Simulating elastic targets for sonar algorithm development | |
RU2697719C1 (ru) | Система морского мониторинга с программируемым нейросетевым комплексом управления | |
CN117331125B (zh) | 一种分裂波束数据处理方法、装置、电子设备和介质 | |
US20230417939A1 (en) | Computerised system and method for marine mammal detection | |
EP4297024A1 (en) | Computerised system and method for marine mammal detection | |
CN112926383B (zh) | 一种基于水下激光图像的目标自动识别系统 | |
CN116405127B (zh) | 水声通信前导信号检测模型的压缩方法和装置 | |
Listewnik et al. | Influence of surface object movement parameters on the hydroacoustic RGB classification method | |
Busson et al. | Seismic shot gather noise localization using a multi-scale feature-fusion-based neural network | |
CN113570041B (zh) | 一种神经网络以及利用该神经网络压制海上光纤拖缆地震数据噪声的方法 | |
CN112906458B (zh) | 群智能优化的水下激光多目标端到端自动识别系统 | |
CN117214398B (zh) | 一种深层地下水体污染物检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |