CN113222113A - 一种基于反缩放卷积层的信号生成方法及装置 - Google Patents

一种基于反缩放卷积层的信号生成方法及装置 Download PDF

Info

Publication number
CN113222113A
CN113222113A CN202110417190.7A CN202110417190A CN113222113A CN 113222113 A CN113222113 A CN 113222113A CN 202110417190 A CN202110417190 A CN 202110417190A CN 113222113 A CN113222113 A CN 113222113A
Authority
CN
China
Prior art keywords
convolution
kernel
scaling
temporary
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110417190.7A
Other languages
English (en)
Other versions
CN113222113B (zh
Inventor
胡景钊
贾巧妹
王晨
张效齐
冯筠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern University
Original Assignee
Northwestern University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern University filed Critical Northwestern University
Priority to CN202110417190.7A priority Critical patent/CN113222113B/zh
Publication of CN113222113A publication Critical patent/CN113222113A/zh
Application granted granted Critical
Publication of CN113222113B publication Critical patent/CN113222113B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/082Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了一种基于反缩放卷积层的信号生成方法及装置,该方法首先初始化反缩放卷积层,并将待处理的类频谱特征图输入反缩放卷积层;对初始化反缩放卷积层的卷积核与类频谱特征图的首层系数进行移位乘加操作,然后不断对卷积核进行下采样并与类频谱特征图的后续层系数继续进行移位乘加操作,直至遍历完类频谱特征图的所有层,最后将各移位乘加操作的计算结果逐采样点进行平均,并通过激活函数,得到平均一维激活值,作为反缩放卷积层的最终信号生成结果。本发明能充分考虑目标信号本身时频特性、能充分综合类频谱特征图中不同类时频分量能量、无需信号对齐、可处理变长信号、兼容现有深度学习框架。

Description

一种基于反缩放卷积层的信号生成方法及装置
技术领域
本发明属于深度学习技术领域,具体涉及一种基于反缩放卷积层的信号生成方法及装置。
背景技术
从特征空间解码生成信号在以信号作为输出的应用中有着广泛的需求,包括但不限于信号处理,例如对话筒录制的语音信号进行降噪以得到纯净的人声、对包含肌电等伪迹的脑电波信号进行降噪以得到纯净的脑电信号。随着深度学习的发展,以深度神经网络提取的自动特征作为输入解码生成信号的概念得到了进一步的扩增,例如学习某人的发音特征从给定的文本编码中生成语音、根据给定的视频的上下文信息生成符合场景意境的音乐。
在典型的信号处理中,算法对信号施加某种有意义的变化,可以将其抽象为输入、输出都为信号的编解码模型。进一步的,常见的编码模型有短时傅里叶变换(STFT)、小波变换(WT)、经验模态分解(EMD)等。在编码空间中进行某些操作后需要重构出信号,对应的解码模型大多由其编码模型本身定义。可见,基于重构的典型信号生成方法大多只能应用于单一信号模态编码出的特征。
随着深度学习技术的出现,基于大量数据的自动特征思路,允许深度神经网络自动学习出具有任务相关特性的编解码器,进而允许能从非单一信号模态的编码特征中生成信号的解码器。深度神经网络中常见可用于信号生成的结构有多层感知机(MLP)、循环神经网络(RNN)、长短期记忆神经网络(LSTM)、时间卷积网络(TCN)等。但这些方法部分或全部的难以应对生成信号长度的变化、难以生成持续时间长或采样率高的信号、难以反映信号在较远视野的特性等问题。
缩放卷积层是一种专门设计为从信号中自动提取特征的深度神经网络层,在以信号作为输入的神经网络中有着较好的应用。在从缩放卷积神经网络编码类频谱特征图中解码生成信号,除了上面提到的问题,现有方法还存在未考虑类频谱特征图本身语义特性、未充分考虑待生成信号本身时频特性、难以充分综合类频谱特征图中不同类时频分量能量等问题。
因此急需一种能应对信号长度变化、对信号持续时长和采样率不敏感、具有较大特征感受野、能充分考虑目标信号本身时频特性、能充分综合类频谱特征图中不同类时频分量能量、且兼容现有深度学习框架的适用于从特征空间解码生成信号的神经网络层。
发明内容
针对现有技术中的缺陷和不足,本发明提供了一种基于反缩放卷积层的信号生成方法及装置,该方法能有效地解决现有从深度神经网络特征空间解码生成信号技术存在难以应对生成信号长度的变化、难以生成持续时间长或采样率高的信号、难以反映信号在较远视野的特性、未考虑类频谱特征图本身语义特性、未充分考虑待生成信号本身时频特性、难以充分综合类频谱特征图中不同类时频分量能量等问题。
为达到上述目的,本发明采取如下的技术方案:
一种基于反缩放卷积层的信号生成方法,该方法首先初始化反缩放卷积层,并将待处理的类频谱特征图输入反缩放卷积层;对初始化反缩放卷积层的卷积核与类频谱特征图的首层系数进行移位乘加操作,然后不断对卷积核进行下采样并与类频谱特征图的后续层系数继续进行移位乘加操作,直至遍历完类频谱特征图的所有层,最后将各移位乘加操作的计算结果逐采样点进行平均,并通过激活函数,得到平均一维激活值,作为反缩放卷积层的最终信号生成结果。
本发明还包括如下技术特征:
具体的,该方法包括以下步骤:
步骤一,初始化设定:
设定反缩放卷积层的卷积核大小的上界,并以上界作为大小初始化反缩放卷积层的卷积核;
步骤二,类频谱特征图输入:
将待处理的类频谱特征图输入反缩放卷积层,作为输入类频谱特征图;
步骤三,移位乘加操作:
对卷积核与输入类频谱特征图的对应层系数进行移位乘加操作并加上偏置,得到一维激活值;
步骤四,对卷积核进行缩放处理:
对卷积核进行下采样操作,并转步骤三,直到下采样缩放层级达到输入频谱特征图的总层数后转步骤五;
步骤五,结果输出:
将步骤三得到的多个一维激活值逐采样点进行平均,并通过激活函数,得到平均一维激活值,作为反缩放卷积层的最终信号生成结果输出。
具体的,所述步骤三包括:
步骤3.1,取类频谱特征图的对应层系数表示为列向量,记作系数向量;取卷积核表示为行向量,记作核向量;计算系数向量与核向量的矩阵乘,记作临时矩阵一;
步骤3.2,在临时矩阵一右侧补系数向量长度列0,记作临时矩阵二;
步骤3.3,将临时矩阵二沿行方向展平为向量,记作临时向量;删除临时向量的后系数向量长度个0,并沿行方向堆叠为大小为(系数向量长度,系数向量长度+核向量长度-1)的矩阵,记作临时矩阵三;
步骤3.4,将临时矩阵三的左右各裁剪核向量长度除以二向下取整列,记作临时矩阵四;
步骤3.5,将临时矩阵四沿列方向进行平均,将归约得到的向量加上偏置作为该次移位乘加操作结果返回。
具体的,所述步骤四包括:
步骤4.1,判断当前卷积核的缩放层级是否达到输入频谱特征图的总层数,若没有达到则转入步骤4.2,否则转入步骤五;
步骤4.2,若当对卷积核进行下采样后的卷积核的大小为奇数,转入步骤4.3;若当对卷积核进行下采样后的卷积核的大小为偶数,则对卷积核进行大小为1的填充,后转入步骤4.3;
步骤4.3,对卷积核进行下采样处理,然后转入步骤三。
一种基于反缩放卷积层的信号生成装置,包括:
初始化模块,用于设定反缩放卷积层的卷积核大小的上界,并以上界作为大小初始化反缩放卷积层的卷积核;
类频谱特征图输入模块,用于将待处理的类频谱特征图输入反缩放卷积层,作为输入类频谱特征图;
移位乘加操作模块,用于计算指定缩放层级卷积核与指定层类频谱特征图系数之间的移位乘加操作;
卷积核缩放模块,用于对卷积核大小进行缩放处理;
结果输出模块,用于多个一维激活值逐采样点进行平均,并通过激活函数,得到平均一维激活值,作为反缩放卷积层的最终信号生成结果输出。
具体的,所述移位乘加操作模块,具体用于:
对指定缩放层级的卷积核和输入类频谱特征图的指定层系数进行移位乘加操作:
取类频谱特征图的对应层系数表示为列向量,记作系数向量;取卷积核表示为行向量,记作核向量;计算系数向量与核向量的矩阵乘,记作临时矩阵一;
在临时矩阵一右侧补系数向量长度列0,记作临时矩阵二;
将临时矩阵二沿行方向展平为向量,记作临时向量;删除临时向量的后系数向量长度个0,并沿行方向堆叠为大小为(系数向量长度,系数向量长度+核向量长度-1)的矩阵,记作临时矩阵三;
将临时矩阵三的左右各裁剪核向量长度除以二向下取整列,记作临时矩阵四;
将临时矩阵四沿列方向进行平均,将归约得到的向量加上偏置作为该次移位乘加操作结果返回。
本发明与现有技术相比,有益的技术效果是:
(Ⅰ)本发明所提出的反缩放卷积层,内部采用或定义的一系列操作均对张量尺寸不敏感,相较现有信号生成技术,无需对信号进行对齐、能适应信号长度变化、对信号持续时长和采样率不敏感、具有较大特征感受野,能实时生成高质量的信号。
(Ⅱ)本发明所提出的反缩放卷积层,采用可缩放的卷积核设计,相较于现有的信号生成技术,能充分考虑目标信号本身时频特性、能充分综合类频谱特征图中不同类时频分量能量。
(Ⅲ)本发明所提出的反缩放卷积层,应用于从缩放卷积层提取或变换的类频谱特征空间解码生成信号时,相较于现有的信号生成技术,能充分考虑类频谱特征图本身语义特性,无需对特征空间进行特殊映射,具有架构上的一致性,可有效降低特征空间变换带来的额外信息损失和误差。
(Ⅳ)本发明所提出的反缩放卷积层,能够兼容现有的大部分主流的深度学习神经网络框架,从现有编码方案中解码生成高质量信号。例如,从深度神经网络编码的文本的特征中生成语音信号、从原始脑电信号编码中生成有意义的纯净脑电。
附图说明
图1为本发明所提出的移位乘加操作流程图;
图2为本发明所提出的反缩放卷积神经网络层流程图;
图3为实施例1从类频谱特征图生成信号的类频谱特征图和生成的一维脑电信号。
具体实施方式
以下对本发明的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明,并不用于限制本发明。
如图1和图2所示,本发明提供一种基于反缩放卷积层的信号生成方法,该方法首先初始化反缩放卷积层,并将待处理的类频谱特征图输入反缩放卷积层;对初始化反缩放卷积层的卷积核与类频谱特征图的首层系数进行移位乘加操作,然后不断对卷积核进行下采样并与类频谱特征图的后续层系数继续进行移位乘加操作,直至遍历完类频谱特征图的所有层,最后将各移位乘加操作的计算结果逐采样点进行平均,并通过激活函数,得到平均一维激活值,作为反缩放卷积层的最终信号生成结果。
该方法包括以下步骤:
步骤一,初始化设定:
设定反缩放卷积层的卷积核大小的上界,并以上界作为大小初始化反缩放卷积层的卷积核;
步骤二,类频谱特征图输入:
将待处理的类频谱特征图输入反缩放卷积层,作为输入类频谱特征图;
步骤三,移位乘加操作:
对卷积核与输入类频谱特征图的对应层系数进行移位乘加操作并加上偏置,得到一维激活值;
步骤四,对卷积核进行缩放处理:
对卷积核进行下采样操作,并转步骤三,直到下采样缩放层级达到输入频谱特征图的总层数后转步骤五;
步骤五,结果输出:
将步骤三得到的多个一维激活值逐采样点进行平均,并通过激活函数,得到平均一维激活值,作为反缩放卷积层的最终信号生成结果输出。
本发明还提供一种基于反缩放卷积层的信号生成装置,包括:
初始化模块,用于设定反缩放卷积层的卷积核大小的上界,并以上界作为大小初始化反缩放卷积层的卷积核;
类频谱特征图输入模块,用于将待处理的类频谱特征图输入反缩放卷积层,作为输入类频谱特征图;
移位乘加操作模块,用于计算指定缩放层级卷积核与指定层类频谱特征图系数之间的移位乘加操作;
卷积核缩放模块,用于对卷积核大小进行缩放处理;
结果输出模块,用于多个一维激活值逐采样点进行平均,并通过激活函数,得到平均一维激活值,作为反缩放卷积层的最终信号生成结果输出。
移位乘加操作模块,具体用于:
对指定缩放层级的卷积核和输入类频谱特征图的指定层系数进行移位乘加操作:
取类频谱特征图的对应层系数表示为列向量,记作系数向量;取卷积核表示为行向量,记作核向量;计算系数向量与核向量的矩阵乘,记作临时矩阵一;
在临时矩阵一右侧补系数向量长度列0,记作临时矩阵二;
将临时矩阵二沿行方向展平为向量,记作临时向量;删除临时向量的后系数向量长度个0,并沿行方向堆叠为大小为(系数向量长度,系数向量长度+核向量长度-1)的矩阵,记作临时矩阵三;
将临时矩阵三的左右各裁剪核向量长度除以二向下取整列,记作临时矩阵四;
将临时矩阵四沿列方向进行平均,将归约得到的向量加上偏置作为该次移位乘加操作结果返回。
本发明还提供一种基于反缩放卷积层的信号生成装置,包括:
初始化模块,用于设定反缩放卷积层的卷积核大小的上界,并以上界作为大小初始化反缩放卷积层的卷积核;
类频谱特征图输入模块,用于将待处理的类频谱特征图输入反缩放卷积层,作为输入类频谱特征图;
移位乘加操作模块,用于计算指定缩放层级卷积核与指定层类频谱特征图系数之间的移位乘加操作;移位乘加操作模块,具体用于:
对指定缩放层级的卷积核和输入类频谱特征图的指定层系数进行移位乘加操作:
取类频谱特征图的对应层系数表示为列向量,记作系数向量;取卷积核表示为行向量,记作核向量;计算系数向量与核向量的矩阵乘,记作临时矩阵一;
在临时矩阵一右侧补系数向量长度列0,记作临时矩阵二;
将临时矩阵二沿行方向展平为向量,记作临时向量;删除临时向量的后系数向量长度个0,并沿行方向堆叠为大小为(系数向量长度,系数向量长度+核向量长度-1)的矩阵,记作临时矩阵三;
将临时矩阵三的左右各裁剪核向量长度除以二向下取整列,记作临时矩阵四;
将临时矩阵四沿列方向进行平均,将归约得到的向量加上偏置作为该次移位乘加操作结果返回。
卷积核缩放模块,用于对卷积核大小进行缩放处理;
结果输出模块,用于多个一维激活值逐采样点进行平均,并通过激活函数,得到平均一维激活值,作为反缩放卷积层的最终信号生成结果输出。
实施例1:
本实施例以直接从缩放卷机深度神经网络自动提取的类时频特征图中自动解码生成一维脑电信号为例,包括如下步骤:
步骤一,初始化设定:
设定反缩放卷积层(Descaling Convolutional Layer)的卷积核大小的上界为33;
步骤二,类频谱特征图输入:
将如图3(a)所示的待处理的类频谱特征图输入该层,作为输入类频谱特征图;
步骤三,移位乘加操作:
对卷积核与输入类频谱特征图的对应层系数进行移位乘加操作并加上偏置,得到一维激活值;
步骤四,对卷积核进行缩放处理:
对卷积核进行下采样操作,并转步骤三,直到下采样缩放层级达到输入频谱特征图的总层数后转步骤五;
步骤五,结果输出:
将步骤三得到的多个一维激活值逐采样点进行平均,并通过激活函数,得到平均一维激活值,作为反缩放卷积层的最终信号生成结果,如图3(b)所示的信号输出。

Claims (6)

1.一种基于反缩放卷积层的信号生成方法,其特征在于,该方法首先初始化反缩放卷积层,并将待处理的类频谱特征图输入反缩放卷积层;对初始化反缩放卷积层的卷积核与类频谱特征图的首层系数进行移位乘加操作,然后不断对卷积核进行下采样并与类频谱特征图的后续层系数继续进行移位乘加操作,直至遍历完类频谱特征图的所有层,最后将各移位乘加操作的计算结果逐采样点进行平均,并通过激活函数,得到平均一维激活值,作为反缩放卷积层的最终信号生成结果。
2.如权利要求1所述的基于反缩放卷积层的信号生成方法,其特征在于,该方法包括以下步骤:
步骤一,初始化设定:
设定反缩放卷积层的卷积核大小的上界,并以上界作为大小初始化反缩放卷积层的卷积核;
步骤二,类频谱特征图输入:
将待处理的类频谱特征图输入反缩放卷积层,作为输入类频谱特征图;
步骤三,移位乘加操作:
对卷积核与输入类频谱特征图的对应层系数进行移位乘加操作并加上偏置,得到一维激活值;
步骤四,对卷积核进行缩放处理:
对卷积核进行下采样操作,并转步骤三,直到下采样缩放层级达到输入频谱特征图的总层数后转步骤五;
步骤五,结果输出:
将步骤三得到的多个一维激活值逐采样点进行平均,并通过激活函数,得到平均一维激活值,作为反缩放卷积层的最终信号生成结果输出。
3.如权利要求2所述的基于反缩放卷积层的信号生成方法,其特征在于,所述步骤三包括:
步骤3.1,取类频谱特征图的对应层系数表示为列向量,记作系数向量;取卷积核表示为行向量,记作核向量;计算系数向量与核向量的矩阵乘,记作临时矩阵一;
步骤3.2,在临时矩阵一右侧补系数向量长度列0,记作临时矩阵二;
步骤3.3,将临时矩阵二沿行方向展平为向量,记作临时向量;删除临时向量的后系数向量长度个0,并沿行方向堆叠为大小为(系数向量长度,系数向量长度+核向量长度-1)的矩阵,记作临时矩阵三;
步骤3.4,将临时矩阵三的左右各裁剪核向量长度除以二向下取整列,记作临时矩阵四;
步骤3.5,将临时矩阵四沿列方向进行平均,将归约得到的向量加上偏置作为该次移位乘加操作结果返回。
4.如权利要求2所述的基于反缩放卷积层的信号生成方法,其特征在于,所述步骤四包括:
步骤4.1,判断当前卷积核的缩放层级是否达到输入频谱特征图的总层数,若没有达到则转入步骤4.2,否则转入步骤五;
步骤4.2,若当对卷积核进行下采样后的卷积核的大小为奇数,转入步骤4.3;若当对卷积核进行下采样后的卷积核的大小为偶数,则对卷积核进行大小为1的填充,后转入步骤4.3;
步骤4.3,对卷积核进行下采样处理,然后转入步骤三。
5.一种基于反缩放卷积层的信号生成装置,其特征在于,包括:
初始化模块,用于设定反缩放卷积层的卷积核大小的上界,并以上界作为大小初始化反缩放卷积层的卷积核;
类频谱特征图输入模块,用于将待处理的类频谱特征图输入反缩放卷积层,作为输入类频谱特征图;
移位乘加操作模块,用于计算指定缩放层级卷积核与指定层类频谱特征图系数之间的移位乘加操作;
卷积核缩放模块,用于对卷积核大小进行缩放处理;
结果输出模块,用于多个一维激活值逐采样点进行平均,并通过激活函数,得到平均一维激活值,作为反缩放卷积层的最终信号生成结果输出。
6.如权利要求5所述的基于反缩放卷积层的信号生成装置,其特征在于,所述移位乘加操作模块,具体用于:
对指定缩放层级的卷积核和输入类频谱特征图的指定层系数进行移位乘加操作:
取类频谱特征图的对应层系数表示为列向量,记作系数向量;取卷积核表示为行向量,记作核向量;计算系数向量与核向量的矩阵乘,记作临时矩阵一;
在临时矩阵一右侧补系数向量长度列0,记作临时矩阵二;
将临时矩阵二沿行方向展平为向量,记作临时向量;删除临时向量的后系数向量长度个0,并沿行方向堆叠为大小为(系数向量长度,系数向量长度+核向量长度-1)的矩阵,记作临时矩阵三;
将临时矩阵三的左右各裁剪核向量长度除以二向下取整列,记作临时矩阵四;
将临时矩阵四沿列方向进行平均,将归约得到的向量加上偏置作为该次移位乘加操作结果返回。
CN202110417190.7A 2021-04-19 2021-04-19 一种基于反缩放卷积层的信号生成方法及装置 Active CN113222113B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110417190.7A CN113222113B (zh) 2021-04-19 2021-04-19 一种基于反缩放卷积层的信号生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110417190.7A CN113222113B (zh) 2021-04-19 2021-04-19 一种基于反缩放卷积层的信号生成方法及装置

Publications (2)

Publication Number Publication Date
CN113222113A true CN113222113A (zh) 2021-08-06
CN113222113B CN113222113B (zh) 2023-10-31

Family

ID=77087895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110417190.7A Active CN113222113B (zh) 2021-04-19 2021-04-19 一种基于反缩放卷积层的信号生成方法及装置

Country Status (1)

Country Link
CN (1) CN113222113B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160371817A1 (en) * 2015-06-19 2016-12-22 Casio Computer Co., Ltd. Image processing apparatus for image processing based on accurate fundamental matrix
US20200342301A1 (en) * 2018-09-11 2020-10-29 Huazhong University Of Science And Technology Convolutional neural network on-chip learning system based on non-volatile memory
CN111898469A (zh) * 2020-07-09 2020-11-06 西北大学 一种基于缩放卷积层的信号时频特征提取方法及装置
CN112001306A (zh) * 2020-08-21 2020-11-27 西安交通大学 基于深度卷积对抗生成神经网络的脑电信号解码方法
CN112215345A (zh) * 2020-10-15 2021-01-12 苏州浪潮智能科技有限公司 一种基于Tensorcore的卷积神经网络运转方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160371817A1 (en) * 2015-06-19 2016-12-22 Casio Computer Co., Ltd. Image processing apparatus for image processing based on accurate fundamental matrix
US20200342301A1 (en) * 2018-09-11 2020-10-29 Huazhong University Of Science And Technology Convolutional neural network on-chip learning system based on non-volatile memory
CN111898469A (zh) * 2020-07-09 2020-11-06 西北大学 一种基于缩放卷积层的信号时频特征提取方法及装置
CN112001306A (zh) * 2020-08-21 2020-11-27 西安交通大学 基于深度卷积对抗生成神经网络的脑电信号解码方法
CN112215345A (zh) * 2020-10-15 2021-01-12 苏州浪潮智能科技有限公司 一种基于Tensorcore的卷积神经网络运转方法和装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
AUDREY HA 等: "Automatic Extraction of Skeletal Maturity from Whole Body Pediatric Scoliosis X-rays Using Regional Proposal and Compound Scaling Convolutional Neural Networks", IEEE, pages 996 - 1000 *
张斌等: "基于时频分析的深度学习调制识别算法", 《工业控制计算机》 *
张斌等: "基于时频分析的深度学习调制识别算法", 《工业控制计算机》, no. 05, 25 May 2020 (2020-05-25), pages 69 - 71 *
耿旭等: "基于字典学习的卷积神经网络压缩方法", 《计算机工程与设计》 *
耿旭等: "基于字典学习的卷积神经网络压缩方法", 《计算机工程与设计》, no. 04, 16 April 2020 (2020-04-16), pages 132 - 136 *

Also Published As

Publication number Publication date
CN113222113B (zh) 2023-10-31

Similar Documents

Publication Publication Date Title
CN110739003B (zh) 基于多头自注意力机制的语音增强方法
Deng et al. Exploiting time-frequency patterns with LSTM-RNNs for low-bitrate audio restoration
CN112309411B (zh) 相位敏感的门控多尺度空洞卷积网络语音增强方法与系统
Latif et al. Deep architecture enhancing robustness to noise, adversarial attacks, and cross-corpus setting for speech emotion recognition
CN112767959B (zh) 语音增强方法、装置、设备及介质
CN113287167B (zh) 用于混合语音合成的方法、设备及系统
CN114509731B (zh) 一种基于双阶段深度网络的雷达主瓣抗干扰方法
Gu et al. Waveform Modeling Using Stacked Dilated Convolutional Neural Networks for Speech Bandwidth Extension.
Li et al. Deeplabv3+ vision transformer for visual bird sound denoising
Xu et al. U-former: Improving monaural speech enhancement with multi-head self and cross attention
Yechuri et al. A nested U-net with efficient channel attention and D3Net for speech enhancement
CN115019785A (zh) 流式语音识别方法、装置、电子设备及存储介质
CN117351983B (zh) 一种基于Transformer的语音降噪方法及系统
Park et al. Unsupervised speech domain adaptation based on disentangled representation learning for robust speech recognition
Raj et al. Multilayered convolutional neural network-based auto-CODEC for audio signal denoising using mel-frequency cepstral coefficients
CN114360571A (zh) 基于参考的语音增强方法
CN116391191A (zh) 用于处理滤波器组域中的音频样本的生成神经网络模型
Jaitly et al. A new way to learn acoustic events
CN113222113A (zh) 一种基于反缩放卷积层的信号生成方法及装置
Skariah et al. Review of speech enhancement methods using generative adversarial networks
CN113936680B (zh) 基于多尺度信息感知卷积神经网络的单通道语音增强方法
Kashani et al. Speech enhancement via deep spectrum image translation network
Raj et al. Audio signal quality enhancement using multi-layered convolutional neural network based auto encoder–decoder
CN115273882A (zh) 一种时域上同时建模语音和噪声的语音增强方法
Rai et al. Recalling-Enhanced Recurrent Neural Network optimized with Chimp Optimization Algorithm based speech enhancement for hearing aids

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant