CN111582020A - 信号处理方法、装置、计算机设备及存储介质 - Google Patents

信号处理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN111582020A
CN111582020A CN202010219441.6A CN202010219441A CN111582020A CN 111582020 A CN111582020 A CN 111582020A CN 202010219441 A CN202010219441 A CN 202010219441A CN 111582020 A CN111582020 A CN 111582020A
Authority
CN
China
Prior art keywords
layer
signal
sample data
data
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010219441.6A
Other languages
English (en)
Inventor
陈曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202010219441.6A priority Critical patent/CN111582020A/zh
Priority to PCT/CN2020/093326 priority patent/WO2021189642A1/zh
Publication of CN111582020A publication Critical patent/CN111582020A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Complex Calculations (AREA)

Abstract

本发明公开一种信号处理方法、装置、计算机设备及存储介质，该信号处理方法包括获取携带时间标签的原始信号数据；对所述原始信号数据进行预处理以得到待处理样本数据；对所述待处理样本数据进行频域转换，得到与所述待处理样本数据对应的信号特征；采用改进Transformer模型对所述信号特征进行处理，得到原始分类模型；所述改进Transformer模型包括双向LSTM层、池化层以及融合层；所述双向LSTM层和所述池化层用于提取数据特征；所述融合层用于将所述双向LSTM层和所述池化层提取的数据特征进行融合；采用灰狼优化算法对所述原始分类模型进行优化，得到目标分类模型。该信号处理方法可有效保证模型分类精度和算法并行度。

Description

信号处理方法、装置、计算机设备及存储介质
技术领域
本发明涉及数据处理技术领域，尤其涉及一种信号处理方法、装置、计算机设备及存储介质。
背景技术
随机信号是信息的一种载体，如电信号可以通过幅度、频率、相位的变化来传递不同的信息，在日常生产生活中信号处理和分类有着广泛的应用。
目前，信号分类方法主要包括两大类，第一类方法：基于领域知识人工提取特征，然后使用分类算法(如逻辑回归)，对信号数据进行分类。该类方法主要依赖于工程师对信号的理解和先验知识，人工对信号提取特征，并且独立于后续的分类模型。然而，并不是所有的工程师都可以掌握充足的领域知识，即使具备一定的信号处理知识，人工提取出的特征也不一定有利于分类，很可能遗漏某些具有较好区分度的隐藏特征。第二类方法：通过深度学习模型(如卷积神经网络(CNN)及循环神经网络(RNN))将特征提取与分类算法两部分有机结合；其中，CNN结构虽然并行程度高但是没有考虑信号采样点间的时序关系；RNN中诸如长短时记忆网络(LSTM)和门控循环单元(GRU)虽然可以捕获信号采样点的时间先后关系但网络训练耗时。
发明内容
本发明实施例提供一种信号处理方法、装置、计算机设备及存储介质，以解决目前信号分类方法训练耗时且模型分类精度低的问题。
一种信号处理方法，包括：
获取携带时间标签的原始信号数据；
对所述原始信号数据进行预处理以得到待处理样本数据；
对所述待处理样本数据进行频域转换，得到与所述待处理样本数据对应的信号特征；
采用改进Transformer模型对所述信号特征进行处理，得到原始分类模型；所述改进Transformer模型包括双向LSTM层、池化层以及融合层；所述双向LSTM层和所述池化层用于提取数据特征；所述融合层用于将所述双向LSTM层和所述池化层提取的数据特征进行融合；
采用灰狼优化算法对所述原始分类模型进行优化，得到目标分类模型。
一种信号处理装置，包括：
原始信号数据获取模块，用于获取携带时间标签的原始信号数据；
待处理样本数据获取模块，用于对所述原始信号数据进行预处理以得到待处理样本数据；
信号特征获取模块，用于对所述待处理样本数据进行频域转换，得到与所述待处理样本数据对应的信号特征；
原始分类模型获取模块，用于采用改进Transformer模型对所述信号特征进行处理，得到原始分类模型；所述改进Transformer模型包括双向LSTM层、池化层以及融合层；所述双向LSTM层和所述池化层用于提取数据特征；所述融合层用于将所述双向LSTM层和所述池化层提取的数据特征进行融合；
目标分类模型获取模块，用于采用灰狼优化算法对所述原始分类模型进行优化，得到目标分类模型。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述信号处理方法的步骤。
一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述信号处理方法的步骤。
上述信号处理方法、装置、计算机设备及存储介质中，通过在输入端对原始信号进行频域转换，以将时域信号转换为频域特征，相较于现有的使用原始时序信号或者频谱作为输入，将信号进行时频域变换后获取时序梅尔频谱作为网络输入，既能获得指定数量的频谱特征又能保持一定的时序关系；再将获取到的梅尔频谱输入至改进Transformer模型中提取高层特征表示。然后，通过在原有的Transformer模型中加入双向lstm层、池化层以及融合层，通过将二者提取到的特征在融合层进行特征融合，以充分获取高层特征表示，既提升了模型的分类精度，又提高了算法并行度。最后，采用灰狼优化算法进行全流程联合调优，可以灵活选择每个环节中的待优化参数，联合搜索最优解，相较于各个环节独立调试，有助于进一步优化模型的整体表现。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中信号处理方法的一应用环境示意图；
图2是本发明一实施例中信号处理方法的一流程图；
图3是改进Transformer模型的模型结构示意图；
图4是图2中步骤S20的一具体流程图；
图5是图2中步骤S30的一具体流程图；
图6是图5中步骤S35的一具体流程图；
图7是图2中步骤S40的一具体流程图；
图8是本发明一实施例中信号处理装置的一示意图；
图9是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
该信号处理方法可应用在如图1的应用环境中，其中，计算机设备通过网络与服务器进行通信。计算机设备可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器来实现。
在一实施例中，如图2所示，提供一种信号处理方法，以该方法应用在图1中的服务器为例进行说明，包括如下步骤：
S10：获取携带时间标签的原始信号数据。
其中，原始信号数据可根据信号采集设备例如振动信号采集仪或麦克风等采集到的未经处理的时序性信号数据，该原始信号数据包括但不限于语音信号数据或者机械振动信号数据。
S20：对原始信号数据进行预处理以得到待处理样本数据。
具体地，对原始信号数据进行预处理即对原始信号数据按照预设采样长度进行采样，以将原始信号数据分成一个或多个待处理样本数据，以进行模型训练，可以从全局角度挖掘不同时间段的原始信号数据的特征，保证模型分类准确率。
S30：对待处理样本数据进行频域转换，得到与待处理样本数据对应的信号特征。
由于信号在时域上的变换通常很难看出信号的特性，所以通常将它转换为频域上的能量分布来观察，不同的能量分布，就能代表不同语音的特性。因此在乘上汉明窗后，每帧信号还需进行快速傅里叶变换以得到在频谱上的能量分布。
S40：采用改进Transformer模型对信号特征进行处理，得到原始分类模型；改进Transformer模型包括双向LSTM层、池化层以及融合层；双向LSTM层和池化层用于提取数据特征；融合层用于将双向LSTM层和池化层提取的数据特征进行融合。
其中，Transformer模型广泛应用于NLP(自然语言处理)领域，例如机器翻译，问答系统，文本摘要和语音识别等方向，完全依赖于自我注意而不依赖于RNN或者CNN来计算输入和输出的转换模型。自我注意力机制(内注意力机制)是一种将一个序列不同位置联系起来的机制。
如图3所示的模型结构示意图，其中，改进Transformer模型结构从输入到输出的顺序依次包括输入层(Input layer)位置嵌入层(Position Embedding)、多头注意力层(Multi-Head Attention)、归一化层(Add&Norm)、并行的双向LSTM层(即BidirectionalLSTM)和池化层(Global Max Pooling)、融合层(Merge layer)、归一丢弃层(Norm&Dropout)以及输出层(Softmax)。
其中，位置嵌入层用于获取输入数据即(信号特征)的时序信息；多头注意力层用于将每帧的mfcc(即信号特征)分块处理，可以从多个角度获得帧与帧间的依赖关系。并行的双向LSTM层和池化层用于充分提取数据特征；融合层用于将双向LSTM层和池化层提取的数据特征进行融合，得到高级数据特征。归一丢弃层(Norm&Dropout)用于对融合层提取到的高层特征进行归一化以及按照预设概率将部分神经元隐藏以减少过拟合。输出层使采用Softmax函数实现多分类。
可理解地，当层数加深时，网络的表现越来越差，很大程度上的原因是因为当层数加深时，梯度消散得越来越严重，故本实施例中还会在改Transformer模型中引入残差连接，以解决在模型层数加深时，容易造成梯度消失，导致模型训练准确率大大降低的问题。
S50：采用灰狼优化算法对原始分类模型进行优化，得到目标分类模型。
其中，灰狼优化算法主要模拟自然界中灰狼群体等级机制和捕食行为，通过灰狼群体搜索、包围和追捕攻击猎物等过程实现优化搜索的目的，具有参数少、收敛快等优点。
可以理解地，由于本实施例中的Transformer模型采用端到端的结构，通过采用灰狼优化算法进行优化，能够实现全流程联合调优，相较于各个环节独立调试优化，有助于进一步优化模型的整体表现。
本实施例中，通过在输入端对原始信号进行频域转换，以将时域信号转换为频域特征，相较于现有的使用原始时序信号或者频谱作为输入，将信号进行时频域变换后获取时序梅尔频谱作为网络输入，既能获得指定数量的频谱特征又能保持一定的时序关系；再将获取到的梅尔频谱输入至改进Transformer模型中提取高层特征表示。进一步地，通过在原有的Transformer模型中加入双向lstm层、池化层以及融合层，通过将二者提取到的特征在融合层进行特征融合，以充分获取高层特征表示，既提升了模型的分类精度，又提高了算法并行度。最后，采用灰狼优化算法进行全流程联合调优，可以灵活选择每个环节中的待优化参数，联合搜索最优解，相较于各个环节独立调试，有助于进一步优化模型的整体表现。
在一实施例中，如图4所示，步骤S20中，即对原始信号数据进行预处理以得到待处理样本数据，具体包括如下步骤：
S21：根据预设的采样段长度对所述原始信号数据进行采样，得到至少一个原始样本数据。
其中，采样段长度用于表示采样点的数量。具体地，该预设的采样段长度可由开发人员根据不同的信号特点进行预先设置，此处不做限定。进一步地，根据香农定理，采样频率必须大于被采样信号带宽的两倍，即如果信号的带宽是100Hz，为了避免混叠失真现象，采样频率需大于200Hz。
具体地，由于信号采集设备采集到的连续信号不能直接进行数据分析，需要将其转换为离散的脉冲信号或数字信号，故本实例中根据采样段长度对原始信号数据进行采样，以得到至少一个可处理的原始样本数据，以便后续针对每一原始样本数据进行分析。
S22：对每一原始样本数据进行平滑处理，得到至少一个待处理样本数据。
具体地，由于信号采集设备采集到的原始信号数据可能存在波动较大的情况，故需要对每一所述原始样本数据进行平滑处理，以获待较为平稳的待处理样本数据，排除信号整体漂移的干扰，保证样本数据的质量。
其中，平滑处理包括但不限于零均值处理、语音端点检测去除静音、谱减法、SVD奇异值跨降噪或EEMD分解等方法进行处理。本实施例中，为了保证数据处理效率，采用零均值处理，处理过程简单。
具体地，零均值处理即将每一所述原始样本数据进行去均值处理，例如，原始样本数据为Xi，原始样本数据的均值为
Figure BDA0002425554290000082
零均值处理即将原始样本数据Xi减去均值
Figure BDA0002425554290000081
即可得到待处理样本数据，本实施例中，通过每一原始样本数据进行平滑处理，以减小零频信号幅值，在后续的频谱分析中可以减少零频信号对低中频信号谱分析的影响。
在一实施例中，如图5所示，步骤S30中，即对待处理样本数据进行频域转换，得到与待处理样本数据对应的信号特征，具体包括如下步骤：
S31：对待处理样本数据进行分帧处理，得到至少一帧第一样本数据。
S32：对每一帧第一样本数据进行加窗处理，得到至少一帧第二样本数据。
由于对原始第二样本数据进行分帧处理后获取的至少两帧单帧第二样本数据中，每一帧的起始段和末尾端会出现不连续的地方，分帧越多会导致分帧后的单帧第二样本数据与分帧前的第二样本数据的误差越大。为了使分帧后的单帧第二样本数据变得连续，每一帧都可以表现出周期函数的特征，因此，还需要对分帧后的每一单帧第二样本数据进行加窗处理，以获取质量更好的单帧第二样本数据。
加窗是每一帧乘以汉明窗(即Hamming Window)，由于汉明窗的幅频特性是旁瓣衰减较大，服务器通过对每一帧第二样本数据进行加窗处理，可增加帧左端和帧右端的连续性。即通过对分帧后的单帧第二样本数据进行加窗处理，可将非平稳语音信号转变为短时平稳信号。
设分帧后的信号为S(y),y＝0,1…,N-1,N为帧的大小，乘以汉明窗的信号W(x)，则加窗后的信号为S'(y)＝S(y)×W(y)，其中，
Figure BDA0002425554290000091
不同的a值会产生不同的汉明窗。
S33：对每一帧第二样本数据进行短时傅里叶变换，得到每一帧第二样本数据对应的时序能量谱。
其中，短时傅里叶变换(short-time Fourier transform或short-term Fouriertransform，STFT)是逐帧进行快速傅里叶变换的过程。快速傅里叶变换用于将时域信号转换为频域能量谱。通过对每一帧第二样本数据进行短时傅里叶变换能够反映频率随时间的变化，能够更直观的反映信号瞬时频率的信息，保留时序信息。
具体地，对每一帧所述第二样本数据进行短时傅里叶变换得到变换后的结果，然后再对转换后的结果进行取绝对值运算和取平方运算，以得到每一帧第二样本数据对应的时序能量谱。
S34：将时序能量谱与梅尔滤波器组进行点积运算，得到梅尔滤波器组对应的对数能量。
其中，梅尔滤波器组是指将时序能量谱通过一组Mel(梅尔)尺度的三角滤波器组，定义一个有M个滤波器的滤波器组，以将能量谱转换为更接近人耳机理的梅尔频率，可以突出语音的共振峰特征，降低运算量。然后通过如下公式计算梅尔滤波器组中每个滤波器输出的对数能量即
Figure BDA0002425554290000101
其中，M是滤波器的个数，N为帧的大小，即采样点的数量，k用于标识采样点；m表示第m个滤波器，Hm(k)表示第m个滤波器的频率响应，Xi(k)表示第i帧第二样本数据对应的时序能量谱，s(m)即为对数能量。
S35：对对数能量进行离散余弦变换，得到与待处理样本数据对应的信号特征。
具体地，对步骤S135中得到的对数能量进行离散余弦变换，以获取梅尔倒谱系数(Mel-scale Frequency Cepstral Coefficients，简称MFCC)，即信号特征。
本实施例中，通过将信号进行时频域变换后获取时序性的梅尔倒谱系数作为模型输入，既能获得指定数量的频谱特征又能保持一定的时序关系。
在一实施例中，如图6所示，步骤S35中，即对对数能量进行离散余弦变换，获取信号特征，具体包括如下步骤：
S351：对对数能量进行离散余弦变换，得到第一特征，第一特征对应至少一个特征值。
其中，离散余弦变换公式为
Figure BDA0002425554290000102
参数L为信号特征的阶数，z用于标识信号特征的阶数，m表示第m个滤波器，N为采样点的数量，M是滤波器的个数，s(m)即为对数能量，C(z)表示第一特征。
S352：选取第一特征中前n个特征值作为每一待处理样本数据对应的信号特征；n为大于零的整数。
其中，n值可由用户预先根据经验设定，具体为大于零的整数。具体地，为了改变数据分布，排除冗余数据，本实施例中主要对对数能量进行离散余弦变换，以实现数据压缩的目的。
进一步地，由于离散余弦变换后大部分数据将集中在低频区，因此只需选取变换后的前面一部分数据即可，以减少数据处理量。可以理解地，本实施例中的信号特征即MFCC的维度为[batch,t,n_mfcc],其中，batch为信号批数量即每一轮训练所选取的样本量，t为时间序列个数或帧数，n_mfcc为每帧选取的MFCC数量。
本实施例中，通过对对数能量进行离散余弦变换，得到第一特征，再选取第一特征中前n个特征值作为每一待处理样本数据对应的信号特征，再将该信号特征作为模型输入，既能获得指定数量的频谱特征又能保证信号特征的时序性。
在一实施例中，改进Transformer模型还包括多头注意力层和输出层；如图7所示，步骤S40中，即采用改进Transformer模型对信号特征进行处理，得到原始分类模型，具体包括如下步骤：
S41：对每一帧信号特征进行位置嵌入处理，得到对应的待输入数据。
具体地，采用Position Embedding(位置嵌入层)对每一帧所述信号特征进行位置嵌入处理，得到对应的待输入数据，以获取输入数据(即信号特征)的时序信息。
可以理解地，通过Position Embedding给每个位置编号，每个位置编号对应一个位置向量，在输入信号特征时，每个信号特征会对应该位置向量，以此来定位。示例性地，通过将位置向量和信号特征简单拼接或使其特征维度相同再相加，即可实现位置嵌入的目的，相较于卷积神经网络，可以有效捕获输入数据的时序性信息。
S42：获取多头注意力层对待输入数据进行线性变换，得到多头注意力层输出的第一处理结果。
具体地，以原始信号数据为语音信号数据，则将本实施例中的信号特征如下对应：每一帧样本数据对应一个单词，一段信号即对应由若干个单词组成的句子，即[batch,t,n_mfcc]中，t对应为每一句的最大单词数量，即句长，n_mfcc则对应为每个单词的嵌入向量，使其对应自然语言处理中文本处理的输入即[batch,max_len,features]，以便采用自然语言处理中的transformer模型处理信号特征。其中，多头注意力层即对待输入数据进行多次(可理解为多头)的线性变换，且每次线性变换的权值不同，最后，将每次线性变换得到的变换结果进行拼接，即可得到多头注意力层对应的输出结果即第一处理结果，以从多个角度获得帧与帧间的依赖关系即句子中词与词之间的依赖关系。示例性地，假设输入一个句子，句子中的每个单词都要和该句子中的所有单词进行注意力概率计算，以捕获句子的长距离依赖。其中，注意力概率的计算与现有技术相同，此处不再赘述。
进一步地，在步骤S43之前，还包括：S4211：对第一处理结果进行归一化处理，更新第一处理结果。
具体地，归一化处理即将数据映射到0～1范围之内的处理，能够将有量纲表达式变成无量纲表达式，便于不同单位或量级的指标能够进行比较和加权，便于快速进行数据处理。本实施中，通过对第一处理结果进行归一化处理，以统一数据量纲，便于数据处理。
S43：采用双向LSTM层对第一处理结果进行特征提取，得到双向LSTM层输出层的第二处理结果。
其中，双向LSTM是前向的LSTM与后向的LSTM结合。可以理解地，双向LSTM与单向的LSTM的区别在于双向LSTM可并行按照前向和后向的顺序进行计算，最后将前向和后向计算的结果拼接(即concat)作为下一层的输入。例如对于句子，“我爱中国”，前向的LSTML依次输入“我”，“爱”，“中国”得到三个隐层状态输出值
Figure BDA0002425554290000131
后向的LSTMR依次输入“中国”，“爱”，“我”得到三个隐层状态输出值
Figure BDA0002425554290000132
最后将隐层状态输出值进行拼接作为下一层的输入。
具体地，LSTM的前向计算与后向计算与传统的单向LSTM的计算方法相同，此处不再赘述。本实施例中，通过采用双向LSTM层对输入数据进行并行计算,以获取高层特征表示，既提升了模型的分类精度，又提高了算法并行度。
S44：采用池化层对第一处理结果进行特征提取，得到池化层输出的第三处理结果。
具体地，本实施例中的池化层可采用全局最大池化或者全局平均池化，以对归一化后的第一处理结果进行池化处理，得到第三处理结果。可以理解地，本实施例中的双向LSTM层和池化层的处理过程同步进行，并无前后顺序之分。
S45：采用融合层对第二处理结果和第三处理结果进行融合，得到融合层输出的目标特征。
可以理解地，为了更充分提取特征，并行使用池化层和双向LSTM层，两者结果在Merge Layer(即融合层)融合，此时输出降低到二维包括[batch,feature],其中，feature代表经过前若干层处理后得到的高层特征。
具体地，本实施中通过在改进Transformer模型中设置一融合层，以便通过融合层将双向lstm层提取到的特征即第二处理结果与池化层提取到的特征即第三处理结果进行特征融合，以达到充分提取特征目的。
S46：将目标特征输入到输出层中进行分类处理，得到原始分类模型。
具体地，本实施例中在输出层采用softmax分类函数对目标特征进行分类，以得到原始分类模型。
在一实施例中，改进Transformer模型还包括归一丢弃层；在步骤S46之前，该信号处理方法还包括：对目标特征进行归一化以及单元丢弃处理，以更新目标特征。
其中，归一丢弃层包括对提取到的高层特征进行归一化以及按照预设概率将部分神经元隐藏。具体地，该步骤中归一化处理与步骤S4211相同。其中，单元丢弃处理即按照预设概率将部分神经元隐藏，以减少过拟合，增强模型的鲁棒性。该预设概率可根据经验设置，此处不做限定。
本实施例中，通过采用位置嵌入层对信号特征进行位置嵌入，以使模型获取信号特征的时序信息，无需预先为每一信号特征进行时间标注；然后，采用多头注意力层对待输入数据进行线性变换，以从多个角度获得帧与帧间的依赖关系。接着对层内数据进行归一化处理，以统一数据量纲。再通过并行使用池化层和双向LSTM层，有效提升模型的分类精度和算法并行度，将两者结果在Merge Layer(即融合层)融合，得到高层特征，达到充分提取特征的目的；之后，采用归一丢弃层对提取到的高层特征进行归一化以及丢弃处理，以减少过拟合。最后，在输出层使采用Softmax函数实现多分类。同时，改进的Transformer模型还引入残差连接，以防止网络性能退化，提高模型泛化性。
在一实施例中，步骤S50具体为，采用灰狼优化算法对预设的待优化参数进行优化，得到目标分类模型；预设的待优化参数包括采样段长度、时频转换特征参数和改进Transformer模型对应的模型参数中的至少一个。
其中，预设的待优化参数包括但不限于采样段长度、时频转换特征参数和改进Transformer模型对应的模型参数中的至少一个；
改进Transformer模型对应的模型参数包括但不限于Dropout层中的预设概率、双向LSTM层对应的双向LSTM神经元数量、权值、多头注意力层线性变换次数、以及模型学习率。具体地，可选择上述参数中的一个或多个进行优化，此处不做限定。时频转换特征参数包括但不限于分帧步骤中的帧长、帧移、加窗步骤中的参数“a”、滤波器组中的滤波机器的数量“M”、离散余弦处理中的参数“L”等预设参数，此处不一一列举。
本实施例中，通过确定待优化参数以及对应的参数优化上下界，以便采用灰狼优化算法的搜索策略搜索最优解，得到目标分类模型。由于本实施例中该采用端到端的结构，通过采用灰狼优化算法进行优化，以实现全流程联合调优，可以灵活选择每个环节中的待优化参数，联合搜索最优解，相较于各个环节独立调试优化，有助于进一步优化模型的整体表现。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种信号处理装置，该信号处理装置与上述实施例中信号处理方法一一对应。如图8所示，该信号处理装置包括原始信号数据获取模块10、待处理样本数据获取模块20、信号特征获取模块30、原始分类模型获取模块40和目标分类模型获取模块50。各功能模块详细说明如下：
原始信号数据获取模块10，用于获取携带时间标签的原始信号数据。
待处理样本数据获取模块20，用于对原始信号数据进行预处理以得到待处理样本数据。
信号特征获取模块30，用于对待处理样本数据进行频域转换，得到与待处理样本数据对应的信号特征。
原始分类模型获取模块40，用于采用改进Transformer模型对信号特征进行处理，得到原始分类模型；改进Transformer模型包括双向LSTM层、池化层以及融合层；双向LSTM层和池化层用于提取数据特征；融合层用于将双向LSTM层和池化层提取的数据特征进行融合。
目标分类模型获取模块50，用于采用灰狼优化算法对原始分类模型进行优化，得到目标分类模型。
具体地，待处理样本数据获取模块包括原始样本数据获取单元和待处理样本数据获取单元。
原始样本数据获取单元，用于根据采样段长度对原始信号数据进行采样，得到至少一个原始样本数据。
待处理样本数据获取单元，用于对每一原始样本数据进行平滑处理，得到至少一个待处理样本数据。
具体地，信号特征获取模块包括第一样本数据获取单元、第二样本数据获取单元、时序能量谱获取单元、对数能量获取单元和信号特征获取单元。
第一样本数据获取单元，用于对待处理样本数据进行分帧处理，得到至少一帧第一样本数据。
第二样本数据获取单元，用于对每一帧第一样本数据进行加窗处理，得到至少一帧第二样本数据。
时序能量谱获取单元，用于对每一帧第二样本数据进行短时傅里叶变换，得到每一帧第二样本数据对应的时序能量谱。
对数能量获取单元，用于将时序能量谱与梅尔滤波器组进行点积运算，得到梅尔滤波器组对应的对数能量。
信号特征获取单元，用于对对数能量进行离散余弦变换，得到与待处理样本数据对应的信号特征。
具体地，信号特征获取单元包括第一特征获取子单元和信号特征获取子单元。
第一特征获取子单元，用于对对数能量进行离散余弦变换，得到第一特征，第一特征对应至少一个特征值。
信号特征获取子单元，用于选取第一特征中前n个特征值作为每一待处理样本数据对应的信号特征。
改进Transformer模型还包括多头注意力层和输出层；具体地，原始分类模型获取模块包括待输入数据获取单元、第一处理结果获取单元、第二处理结果获取单元、第三处理结果获取单元、目标特征获取单元、和原始分类模型获取单元。
待输入数据获取单元，用于对每一帧信号特征进行位置嵌入处理，得到对应的待输入数据。
第一处理结果获取单元，用于获取多头注意力层对待输入数据进行线性变换，得到多头注意力层输出的第一处理结果。
第二处理结果获取单元，用于采用双向LSTM层对第一处理结果进行特征提取，得到双向LSTM层输出的第二处理结果。
第三处理结果获取单元，用于采用池化层对第一处理结果进行特征提取，得到池化层输出的第三处理结果。
目标特征获取单元，用于采用融合层对第二处理结果和第三处理结果进行融合，得到融合层输出的目标特征。
原始分类模型获取单元，用于将目标特征输入到输出层中进行分类处理，得到原始分类模型。
具体地，该信号处理装置还包括目标特征更新单元，用于采用归一丢弃层对目标特征进行归一化以及单元丢弃处理，以更新目标特征。
具体地，目标分类模型获取模块具体为，用于采用灰狼优化算法对预设的待优化参数进行优化，得到目标分类模型；预设的待优化参数包括采样段长度、时频转换特征参数和改进Transformer模型对应的模型参数中的至少一个。
关于信号处理装置的具体限定可以参见上文中对于信号处理方法的限定，在此不再赘述。上述信号处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括计算机存储介质、内存储器。该计算机存储介质存储有操作系统、计算机程序和数据库。该内存储器为计算机存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储执行信号处理方法过程中生成或获取的数据，如原始信号数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种信号处理方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中的信号处理方法的步骤，例如图2所示的步骤S10-S50。或者，处理器执行计算机程序时实现信号处理装置这一实施例中的各模块/单元的功能，例如图8所示的各模块/单元的功能，为避免重复，这里不再赘述。
在一实施例中，提供一计算机存储介质，该计算机存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中用户帐号解锁方法的步骤，例如图2所示的步骤S10-S50，为避免重复，这里不再赘述。或者，该计算机程序被处理器执行时实现上述信号处理装置这一实施例中的各模块/单元的功能，例如图8所示的各模块/单元的功能，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种信号处理方法，其特征在于，包括：
获取携带时间标签的原始信号数据；
对所述原始信号数据进行预处理以得到待处理样本数据；
对所述待处理样本数据进行频域转换，得到与所述待处理样本数据对应的信号特征；
采用改进Transformer模型对所述信号特征进行处理，得到原始分类模型；所述改进Transformer模型包括双向LSTM层、池化层以及融合层；所述双向LSTM层和所述池化层用于提取数据特征；所述融合层用于将所述双向LSTM层和所述池化层提取的数据特征进行融合；
采用灰狼优化算法对所述原始分类模型进行优化，得到目标分类模型。
2.如权利要求1所述信号处理方法，其特征在于，所述对所述原始信号数据进行预处理以得到待处理样本数据，包括：
根据预设的采样段长度对所述原始信号数据进行采样，得到至少一个原始样本数据；
对每一所述原始样本数据进行平滑处理，得到至少一个所述待处理样本数据。
3.如权利要求1所述信号处理方法，其特征在于，所述对所述待处理样本数据进行频域转换，得到与所述待处理样本数据对应的信号特征，包括；
对所述待处理样本数据进行分帧处理，得到至少一帧第一样本数据；
对每一帧所述第一样本数据进行加窗处理，得到至少一帧第二样本数据；
对每一帧所述第二样本数据进行短时傅里叶变换，得到每一帧第二样本数据对应的时序能量谱；
将所述时序能量谱与梅尔滤波器组进行点积运算，得到所述梅尔滤波器组对应的对数能量；
对所述对数能量进行离散余弦变换，得到与所述待处理样本数据对应的信号特征。
4.如权利要求3所述信号处理方法，其特征在于，所述对所述对数能量进行离散余弦变换，得到与所述待处理样本数据对应的信号特征，包括：
对所述对数能量进行离散余弦变换，得到第一特征，所述第一特征对应至少一个特征值；
选取所述第一特征中前n个特征值作为每一所述待处理样本数据对应的所述信号特征；所述n为大于零的整数。
5.如权利要求1所述信号处理方法，其特征在于，所述改进Transformer模型还包括多头注意力层和输出层；
所述采用改进Transformer模型对所述信号特征进行处理，得到原始分类模型，包括：
对每一帧所述信号特征进行位置嵌入处理，得到对应的待输入数据；
获取多头注意力层对所述待输入数据进行线性变换，得到所述多头注意力层输出的第一处理结果；
采用所述双向LSTM层对所述第一处理结果进行特征提取，得到所述双向LSTM层输出的第二处理结果；
采用所述池化层对所述第一处理结果进行特征提取，得到所述池化层输出的第三处理结果；
采用所述融合层对所述第二处理结果和所述第三处理结果进行融合，得到所述融合层输出的所述目标特征；
将所述目标特征输入到所述输出层中进行分类处理，得到所述原始分类模型。
6.如权利要求5所述信号处理方法，其特征在于，所述改进Transformer模型还包括归一丢弃层；
在所述将所述目标特征输入到所述输出层中进行分类处理，得到原始分类模型之前，所述信号处理方法还包括：
采用所述归一丢弃层对所述目标特征进行归一化以及单元丢弃处理，以更新所述目标特征。
7.如权利要求1所述信号处理方法，其特征在于，所述采用灰狼优化算法对所述原始分类模型进行优化，得到目标分类模型，包括：
采用灰狼优化算法对预设的待优化参数进行优化，得到所述目标分类模型；所述预设的待优化参数包括采样段长度、时频转换特征参数和所述改进Transformer模型对应的模型参数中的至少一个。
8.一种信号处理装置，其特征在于，包括：
原始信号数据获取模块，用于获取携带时间标签的原始信号数据；
待处理样本数据获取模块，用于对所述原始信号数据进行预处理以得到待处理样本数据；
信号特征获取模块，用于对所述待处理样本数据进行频域转换，得到与所述待处理样本数据对应的信号特征；
原始分类模型获取模块，用于采用改进Transformer模型对所述信号特征进行处理，得到原始分类模型；所述改进Transformer模型包括双向LSTM层、池化层以及融合层；所述双向LSTM层和所述池化层用于提取数据特征；所述融合层用于将所述双向LSTM层和所述池化层提取的数据特征进行融合；
目标分类模型获取模块，用于采用灰狼优化算法对所述原始分类模型进行优化，得到目标分类模型。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述信号处理方法的步骤。
10.一种计算机存储介质，所述计算机存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述信号处理方法的步骤。
CN202010219441.6A 2020-03-25 2020-03-25 信号处理方法、装置、计算机设备及存储介质 Pending CN111582020A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010219441.6A CN111582020A (zh) 2020-03-25 2020-03-25 信号处理方法、装置、计算机设备及存储介质
PCT/CN2020/093326 WO2021189642A1 (zh) 2020-03-25 2020-05-29 信号处理方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010219441.6A CN111582020A (zh) 2020-03-25 2020-03-25 信号处理方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN111582020A true CN111582020A (zh) 2020-08-25

Family

ID=72122556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010219441.6A Pending CN111582020A (zh) 2020-03-25 2020-03-25 信号处理方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN111582020A (zh)
WO (1) WO2021189642A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114679232A (zh) * 2022-04-06 2022-06-28 西南交通大学 一种基于数据驱动的光载无线传输链路建模方法
CN115002921A (zh) * 2022-08-08 2022-09-02 南京源兴智达信息科技有限公司 一种基于Mimo技术的无线通讯智能接入方法及系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114360005B (zh) * 2021-12-14 2024-03-22 武汉烽火信息集成技术有限公司 一种基于AU区域和多层级Transformer融合模块的微表情分类方法
CN114501672B (zh) * 2021-12-29 2023-03-24 煤炭科学技术研究院有限公司 Prach信号处理方法、装置、电子设备及存储介质
CN114676645B (zh) * 2022-05-30 2022-08-12 湖南大学 一种非平稳时间序列预测方法及系统
CN115222665B (zh) * 2022-06-13 2023-04-07 北京医准智能科技有限公司 一种斑块检测方法、装置、电子设备及可读存储介质
CN115840875A (zh) * 2022-11-10 2023-03-24 北京擎天信安科技有限公司 一种基于Anomaly Transformer的毫米波雷达异常信号检测方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108877775A (zh) * 2018-06-04 2018-11-23 平安科技（深圳）有限公司 语音数据处理方法、装置、计算机设备及存储介质
CN109472194A (zh) * 2018-09-26 2019-03-15 重庆邮电大学 一种基于cblstm算法模型的运动想象脑电信号特征识别方法
CN110010133A (zh) * 2019-03-06 2019-07-12 平安科技（深圳）有限公司 基于短文本的声纹检测方法、装置、设备及存储介质
CN110141218A (zh) * 2019-06-17 2019-08-20 东软集团股份有限公司 一种心电信号分类方法、装置及程序产品、存储介质
CN110490071A (zh) * 2019-07-12 2019-11-22 国网上海市电力公司 一种基于mfcc的变电站声信号特征提取方法
WO2019232833A1 (zh) * 2018-06-04 2019-12-12 平安科技（深圳）有限公司 语音区分方法、装置、计算机设备及存储介质
CN110795996A (zh) * 2019-09-18 2020-02-14 平安科技（深圳）有限公司 心音信号的分类方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3568852B1 (en) * 2017-12-15 2020-06-03 Google LLC Training and/or using an encoder model to determine responsive action(s) for natural language input
US11501076B2 (en) * 2018-02-09 2022-11-15 Salesforce.Com, Inc. Multitask learning as question answering
CN110188351B (zh) * 2019-05-23 2023-08-25 鼎富智能科技有限公司 语句通顺度及句法评分模型的训练方法及装置
CN110866098B (zh) * 2019-10-29 2022-10-28 平安科技（深圳）有限公司 基于transformer和lstm的机器阅读方法、装置及可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108877775A (zh) * 2018-06-04 2018-11-23 平安科技（深圳）有限公司 语音数据处理方法、装置、计算机设备及存储介质
WO2019232833A1 (zh) * 2018-06-04 2019-12-12 平安科技（深圳）有限公司 语音区分方法、装置、计算机设备及存储介质
CN109472194A (zh) * 2018-09-26 2019-03-15 重庆邮电大学 一种基于cblstm算法模型的运动想象脑电信号特征识别方法
CN110010133A (zh) * 2019-03-06 2019-07-12 平安科技（深圳）有限公司 基于短文本的声纹检测方法、装置、设备及存储介质
CN110141218A (zh) * 2019-06-17 2019-08-20 东软集团股份有限公司 一种心电信号分类方法、装置及程序产品、存储介质
CN110490071A (zh) * 2019-07-12 2019-11-22 国网上海市电力公司 一种基于mfcc的变电站声信号特征提取方法
CN110795996A (zh) * 2019-09-18 2020-02-14 平安科技（深圳）有限公司 心音信号的分类方法、装置、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AHMED ELSHEIKH ET AL: "Bidirectional handshaking LSTM for remaining useful life prediction", 《ELSEVIER》, 31 December 2019 (2019-12-31), pages 148 - 156 *
ZHIHENG HUANG ET AL: "TRANS-BLSTM: Transformer with Bidirectional LSTM for Language Understanding", 《ARXIV》, 16 March 2020 (2020-03-16), pages 1 - 9 *
陈曦 等: "颈动脉多普勒信号自回归滑动平均模型极点特征及分类应用", 《声学学报》, vol. 27, no. 6, 30 November 2002 (2002-11-30), pages 549 - 553 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114679232A (zh) * 2022-04-06 2022-06-28 西南交通大学 一种基于数据驱动的光载无线传输链路建模方法
CN115002921A (zh) * 2022-08-08 2022-09-02 南京源兴智达信息科技有限公司 一种基于Mimo技术的无线通讯智能接入方法及系统

Also Published As

Publication number Publication date
WO2021189642A1 (zh) 2021-09-30

Similar Documents

Publication Publication Date Title
CN111582020A (zh) 信号处理方法、装置、计算机设备及存储介质
CN110491416B (zh) 一种基于lstm和sae的电话语音情感分析与识别方法
CN108597496B (zh) 一种基于生成式对抗网络的语音生成方法及装置
WO2021139294A1 (zh) 语音分离模型训练方法、装置、存储介质和计算机设备
CN111276131B (zh) 一种基于深度神经网络的多类声学特征整合方法和系统
WO2019232829A1 (zh) 声纹识别方法、装置、计算机设备及存储介质
TW201935464A (zh) 基於記憶性瓶頸特徵的聲紋識別的方法及裝置
CN111444382B (zh) 一种音频处理方法、装置、计算机设备以及存储介质
CN109036470B (zh) 语音区分方法、装置、计算机设备及存储介质
CN113205820B (zh) 一种用于声音事件检测的声音编码器的生成方法
Zerari et al. Bi-directional recurrent end-to-end neural network classifier for spoken Arab digit recognition
CN112183107A (zh) 音频的处理方法和装置
CN112767927A (zh) 一种提取语音特征的方法、装置、终端及存储介质
CN111179910A (zh) 语速识别方法和装置、服务器、计算机可读存储介质
CN113129900A (zh) 一种声纹提取模型构建方法、声纹识别方法及其相关设备
Sunny et al. Recognition of speech signals: an experimental comparison of linear predictive coding and discrete wavelet transforms
KR20170088165A (ko) 심층 신경망 기반 음성인식 방법 및 그 장치
CN112329819A (zh) 基于多网络融合的水下目标识别方法
CN112116921A (zh) 一种基于整合优化器的单声道语音分离方法
US20230186943A1 (en) Voice activity detection method and apparatus, and storage medium
CN113160823B (zh) 基于脉冲神经网络的语音唤醒方法、装置及电子设备
CN113869212A (zh) 多模态活体检测方法、装置、计算机设备及存储介质
CN117041430B (zh) 一种提高智能协调外呼系统的外呼质量及鲁棒方法和装置
CN117690421B (zh) 降噪识别联合网络的语音识别方法、装置、设备及介质
CN116631379B (zh) 语音识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination