CN107863111A - 面向交互的语音语料处理方法及装置 - Google Patents
面向交互的语音语料处理方法及装置 Download PDFInfo
- Publication number
- CN107863111A CN107863111A CN201711145982.3A CN201711145982A CN107863111A CN 107863111 A CN107863111 A CN 107863111A CN 201711145982 A CN201711145982 A CN 201711145982A CN 107863111 A CN107863111 A CN 107863111A
- Authority
- CN
- China
- Prior art keywords
- frequency
- time
- sound bite
- matrix
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
Abstract
本发明实施例提供了一种面向交互的语音语料处理方法及装置，该方法中先将语音片段转换为时频图，再利用两个卷积层学习该时频图的特征得到特征图矩阵，接着利用最大池化层对该特征图矩阵进行压缩，将压缩之后的矩阵转换为向量，利用两个LSTM层对该向量进行生成学习，将学习之后的特征向量作为SVM的输入语料，从而能够增加有效语料的数量，有利于语音情感识别模型的训练，提高语音情感识别模型的识别能力。
Description
技术领域
本发明涉及软件技术领域，具体涉及一种面向交互的语音语料处理方法及装置。
背景技术
语音情感识别和文本及图像的识别有相同的特点，在学习方法中分有监督学习、半监督学习和无监督学习三种。现阶段大部分语音情感识别方法：首先用传统的方法提取包括语速、韵律强度、梅尔频率倒谱系数等特征；然后用分类器进行分类，包括支持向量机、高斯模型和隐马尔可夫模型等分类方法。
类似的情感识别方法已经取得了许多成果，但仍有一些不足之处。在目前的语音情感识别中，具体是哪些特征对于情感倾向的分类影响较大还尚不明确，对于复杂的语音语调识别方面也仍然尚有许多不明之处，适合语料的缺少也是模型训练的一大难题。
近年来，利用网络模型来学习语音情感倾向成为了热点研究问题。现有的基于网络模型的语音情感识别方法主要包括CNN、LSTM等，更有将传统的CNN和LSTM相结合的方法，在语音情感识别上取得了很好的效果。
然而，在实施本发明实施例的过程中发明人发现，对于现有的语音情感识别模型，由于用于进行训练的语料数量有限、适当语料的收集难度较大，导致语音情感识别模型的识别能力有限。
发明内容
本发明实施例的目的在于提供一种面向交互的语音语料处理方法及装置。
第一方面，本发明实施例提供了一种面向交互的语音语料处理方法，包括：
对语音片段进行短时傅立叶变换，依据预设的窗口函数在所述的频谱上移动，得到所述语音片段的时频图；
利用两个卷积层学习所述时频图的特征，得到所述时频图对应的特征图矩阵，所述特征图矩阵包含若干个经过两个卷积层学习之后获得的特征单元矩阵；
利用最大池化层对所述特征图矩阵进行压缩得到压缩矩阵，所述压缩矩阵仅包含各个所述特征单元矩阵中的最大值；
将所述压缩矩阵转换为对应长度的向量，利用两个长短期记忆网络LSTM层学习所述向量的深层特征得到特征向量，将所述特征向量作为支持向量机的输入语料。
可选地，在所述利用两个卷积层学习所述语音片段的时频图的特征步骤之前，所述方法还包括：
对所述语音片段的时频图进行翻转处理。
可选地，在所述利用两个卷积层学习所述语音片段的时频图的特征步骤之前，所述方法还包括：
对于属于指定分类的语音片段，截取该语音片段的时频图中亮度高于预设阈值的片段，得到片段时频图；
将所述片段时频图与属于同一分类的语音片段的时频图进行交叉拼接；
对拼接后的时频图进行平移，得到若干个平移后的时频图。
可选地，在所述利用两个卷积层学习所述语音片段的时频图的特征步骤之前，所述方法还包括：
将所述时频图转换为灰度图，通过加减值调节所述灰度图的灰度值；
调节所述灰度图的饱和度、亮度以及色相形成伪彩色图像，所述伪彩色图像用于映射加噪后的时频图。
第二方面，本发明实施例又提供了一种面向交互的语音语料处理装置，包括：
时频图获取单元，用于对语音片段进行短时傅立叶变换，依据预设的窗口函数在所述的频谱上移动，得到所述语音片段的时频图；
特征学习单元，用于利用两个卷积层学习所述时频图的特征，得到所述时频图对应的特征图矩阵，所述特征图矩阵包含若干个经过两个卷积层学习之后获得的特征单元矩阵；
压缩单元，用于利用最大池化层对所述特征图矩阵进行压缩得到压缩矩阵，所述压缩矩阵仅包含各个所述特征单元矩阵中的最大值；
深层学习单元，用于将所述压缩矩阵转换为对应长度的向量，利用两个长短期记忆网络LSTM层学习所述向量的深层特征得到特征向量，将所述特征向量作为支持向量机的输入语料。
可选地，在特征学习单元所述利用两个卷积层学习所述语音片段的时频图的特征步骤之前，所述装置还包括：
数据增强单元，用于对所述语音片段的时频图进行翻转处理。
可选地，在特征学习单元利用两个卷积层学习所述语音片段的时频图的特征步骤之前，所述装置还包括数据增强单元，用于：
对于属于指定分类的语音片段，截取该语音片段的时频图中亮度高于预设阈值的片段，得到片段时频图；
将所述片段时频图与属于同一分类的语音片段的时频图进行交叉拼接；
对拼接后的时频图进行平移，得到若干个平移后的时频图。
可选地，在特征学习单元所述利用两个卷积层学习所述语音片段的时频图的特征步骤之前，所述装置还包括数据增强单元，用于：
将所述时频图转换为灰度图，通过加减值调节所述灰度图的灰度值；
调节所述灰度图的饱和度、亮度以及色相形成伪彩色图像，所述伪彩色图像用于映射加噪后的时频图。
第三方面，本发明的又一实施例提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述方法的步骤。
第四方面，本发明的又一实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述方法的步骤。
本发明实施例提供的方法中，先将语音片段转换为时频图，再利用两个卷积层学习该时频图的特征得到特征图矩阵，接着利用最大池化层对该特征图矩阵进行压缩，将压缩之后的矩阵转换为向量，利用两个LSTM层对该向量进行生成学习，将学习之后的特征向量作为SVM的输入语料，从而能够增加有效语料的数量，有利于语音情感识别模型的训练，提高语音情感识别模型的识别能力。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是本发明提供的一种面向交互的语音语料处理方法实施例流程图；
图2是本发明提供的一种面向交互的语音语料处理装置实施例结构示意图；
图3是本发明提供的一种计算机设备实施例结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
第一方面，本发明实施例提供了一种面向交互的语音语料处理方法，如图1所示，包括：
S101、对语音片段进行短时傅立叶变换，依据预设的窗口函数在所述的频谱上移动，得到所述语音片段的时频图；
也即，首先对语音片段进行短时傅立叶变换(STFT)，通过傅立叶变换,依据预设的窗口函数在所述的频谱上移动最终获得时频表示，由此可以将语音信息转化为时频图进行研究。
S102、利用两个卷积层学习所述时频图的特征，得到所述时频图对应的特征图矩阵，所述特征图矩阵包含若干个经过两个卷积层学习之后获得的特征单元矩阵；
具体来说，设该时频图为128*128的图像，对该时频图利用两个卷积层(也即卷积神经网络ConvolutionalNeuralNetwork，CNN)进行学习，得到对应的特征图矩阵，该特征图矩阵包含若干个学习之后获得的特征单元矩阵，例如包含若干个2*2或3*3的特征单元矩阵。
S103、利用最大池化层对所述特征图矩阵进行压缩得到压缩矩阵，所述压缩矩阵仅包含各个所述特征单元矩阵中的最大值；
以步骤S102的例子来说，步骤S103就是将各个2*2或3*3的特征单元矩阵中的数值最大的值作为该特征单元矩阵的特征值，将各个特征单元矩阵的特征值组合在一起形成压缩矩阵，该压缩矩阵的大小可以为32*32，该压缩矩阵可以认为包含了语音片段的特征信息。
S104、将所述压缩矩阵转换为对应长度的向量，利用两个长短期记忆网络LSTM层学习所述向量的深层特征得到特征向量，将所述特征向量作为支持向量机的输入语料。
具体来说，将32*32的压缩矩阵转换为1024个点组成的向量，再利用两个LSTM层学习该向量的深层特征从而得到特征向量，将该特征向量就作为处理后里语料输入到支持向量机中进行分类，从而进行模型的训练。
本发明实施例提供的方法中，先将语音片段转换为时频图，再利用两个卷积层学习该时频图的特征得到特征图矩阵，接着利用最大池化层对该特征图矩阵进行压缩，将压缩之后的矩阵转换为向量，利用两个LSTM层对该向量进行生成学习，将学习之后的特征向量作为SVM的输入语料，从而能够增加有效语料的数量，有利于语音情感识别模型的训练，提高语音情感识别模型的识别能力。
不难理解的是，本发明实施例提供的方法虽然将语音信息转化为时频图来处理可以有效的借鉴图像增强的方法来进行数据增强，但是毕竟语音与图像数据类型有本质上的区别，因此数据增强方式应该也要有所不同，下面列举了几种可以对语音时频图进行增强处理的可选的实施方式。
1、翻转
也即将每个分类的语音时频图整体进行翻转，从语音的角度来讲是将原始语音信息进行倒置，并不会很大程度的影响语音表达的情感，但可以有效的将语料数据量增加一倍。
2、平移拼接
也即随机在一些单一分类(如高兴、悲伤、惊讶等)的语音片段中截取信息较密集(即时频图中亮度在较高的区域)的一段语音片段，将该片段的时频图与该分类中的其他语音片段时频图进行交叉拼接(即将截取到的图片信息拼接到原有的时频图上)，再通过平移的方法可以得到大量该分类的有效数据。随着截取片段的数量增加，获得的语料数据量就越大。
3、加噪
先将图片转换为灰度图，通过加减值调节灰度值，最后转化为HSV色彩空间，其中，HSV(Hue,Saturation,Value)是根据颜色的直观特性创建的一种颜色空间,也称六角锥体模型(HexconeModel)。这个模型中颜色的参数分别是：色调(H)，饱和度(S)，明度(V)。
具体来说，可以将饱和度和亮度设为1.0，色相使用灰度0到255映射到0°到270°，形成伪彩色图像，该伪色彩图像可以映射出所需要的加噪后时频图，同时将原始图像也均用此HSV空间设置生成语料数据集。
需要说明的是，上述三种对语音时频图进行增强处理为相互独立的三种方式，在具体实施时，可以单独使用其中的任何一种方式，也可以使用其中的两种或三种方式的组合，从而通过这样的方式能够大大增加有效语料的数据量，为模型的训练提供便利。
第二方面，本发明实施例还提供了一种面向交互的语音语料处理装置，如图2所示，包括：
时频图获取单元201，用于对语音片段进行短时傅立叶变换，依据预设的窗口函数在所述的频谱上移动，得到所述语音片段的时频图；
特征学习单元202，用于利用两个卷积层学习所述时频图的特征，得到所述时频图对应的特征图矩阵，所述特征图矩阵包含若干个经过两个卷积层学习之后获得的特征单元矩阵；
压缩单元203，用于利用最大池化层对所述特征图矩阵进行压缩得到压缩矩阵，所述压缩矩阵仅包含各个所述特征单元矩阵中的最大值；
深层学习单元204，用于将所述压缩矩阵转换为对应长度的向量，利用两个长短期记忆网络LSTM层学习所述向量的深层特征得到特征向量，将所述特征向量作为支持向量机的输入语料。
可选地，在特征学习单元202所述利用两个卷积层学习所述语音片段的时频图的特征步骤之前，所述装置还包括：
数据增强单元205，用于对所述语音片段的时频图进行翻转处理。
可选地，在特征学习单元202利用两个卷积层学习所述语音片段的时频图的特征步骤之前，所述装置还包括数据增强单元205，用于：
对于属于指定分类的语音片段，截取该语音片段的时频图中亮度高于预设阈值的片段，得到片段时频图；
将所述片段时频图与属于同一分类的语音片段的时频图进行交叉拼接；
对拼接后的时频图进行平移，得到若干个平移后的时频图。
可选地，在特征学习单元202所述利用两个卷积层学习所述语音片段的时频图的特征步骤之前，所述装置还包括数据增强单元205，用于：
将所述时频图转换为灰度图，通过加减值调节所述灰度图的灰度值；
调节所述灰度图的饱和度、亮度以及色相形成伪彩色图像，所述伪彩色图像用于映射加噪后的时频图。
由于本实施例所介绍的面向交互的语音语料处理装置为可以执行本发明实施例中的面向交互的语音语料处理方法的装置，故而基于本发明实施例中所介绍的面向交互的语音语料处理的方法，本领域所属技术人员能够了解本实施例的面向交互的语音语料处理装置的具体实施方式以及其各种变化形式，所以在此对于该面向交互的语音语料处理装置如何实现本发明实施例中的面向交互的语音语料处理方法不再详细介绍。只要本领域所属技术人员实施本发明实施例中面向交互的语音语料处理方法所采用的装置，都属于本申请所欲保护的范围。
此外，图3示出本发明实施例提供的计算机设备的结构框图。
参照图3，该计算机设备，包括：处理器(processor)301、存储器(memory)302、以及总线303；
其中，所述处理器301以及存储器302通过所述总线303完成相互间的通信；
所述处理器301用于调用所述存储器302中的程序指令，以执行上述各方法实施例所提供的方法。
本发明实施例还公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法。
本发明实施例还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的某些部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的网关、代理服务器、系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (10)
1.一种面向交互的语音语料处理方法，其特征在于，包括：
对语音片段进行短时傅立叶变换，依据预设的窗口函数在所述的频谱上移动，得到所述语音片段的时频图；
利用两个卷积层学习所述时频图的特征，得到所述时频图对应的特征图矩阵，所述特征图矩阵包含若干个经过两个卷积层学习之后获得的特征单元矩阵；
利用最大池化层对所述特征图矩阵进行压缩得到压缩矩阵，所述压缩矩阵仅包含各个所述特征单元矩阵中的最大值；
将所述压缩矩阵转换为对应长度的向量，利用两个长短期记忆网络LSTM层学习所述向量的深层特征得到特征向量，将所述特征向量作为支持向量机的输入语料。
2.根据权利要求1所述的方法，其特征在于，在所述利用两个卷积层学习所述语音片段的时频图的特征步骤之前，所述方法还包括：
对所述语音片段的时频图进行翻转处理。
3.根据权利要求1所述的方法，其特征在于，在所述利用两个卷积层学习所述语音片段的时频图的特征步骤之前，所述方法还包括：
对于属于指定分类的语音片段，截取该语音片段的时频图中亮度高于预设阈值的片段，得到片段时频图；
将所述片段时频图与属于同一分类的语音片段的时频图进行交叉拼接；
对拼接后的时频图进行平移，得到若干个平移后的时频图。
4.根据权利要求1所述的方法，其特征在于，在所述利用两个卷积层学习所述语音片段的时频图的特征步骤之前，所述方法还包括：
将所述时频图转换为灰度图，通过加减值调节所述灰度图的灰度值；
调节所述灰度图的饱和度、亮度以及色相形成伪彩色图像，所述伪彩色图像用于映射加噪后的时频图。
5.一种面向交互的语音语料处理装置，其特征在于，包括：
时频图获取单元，用于对语音片段进行短时傅立叶变换，依据预设的窗口函数在所述的频谱上移动，得到所述语音片段的时频图；
特征学习单元，用于利用两个卷积层学习所述时频图的特征，得到所述时频图对应的特征图矩阵，所述特征图矩阵包含若干个经过两个卷积层学习之后获得的特征单元矩阵；
压缩单元，用于利用最大池化层对所述特征图矩阵进行压缩得到压缩矩阵，所述压缩矩阵仅包含各个所述特征单元矩阵中的最大值；
深层学习单元，用于将所述压缩矩阵转换为对应长度的向量，利用两个长短期记忆网络LSTM层学习所述向量的深层特征得到特征向量，将所述特征向量作为支持向量机的输入语料。
6.根据权利要求5所述的装置，其特征在于，在特征学习单元所述利用两个卷积层学习所述语音片段的时频图的特征步骤之前，所述装置还包括：
数据增强单元，用于对所述语音片段的时频图进行翻转处理。
7.根据权利要求5所述的装置，其特征在于，在特征学习单元利用两个卷积层学习所述语音片段的时频图的特征步骤之前，所述装置还包括数据增强单元，用于：
对于属于指定分类的语音片段，截取该语音片段的时频图中亮度高于预设阈值的片段，得到片段时频图；
将所述片段时频图与属于同一分类的语音片段的时频图进行交叉拼接；
对拼接后的时频图进行平移，得到若干个平移后的时频图。
8.根据权利要求5所述的装置，其特征在于，在特征学习单元所述利用两个卷积层学习所述语音片段的时频图的特征步骤之前，所述装置还包括数据增强单元，用于：
将所述时频图转换为灰度图，通过加减值调节所述灰度图的灰度值；
调节所述灰度图的饱和度、亮度以及色相形成伪彩色图像，所述伪彩色图像用于映射加噪后的时频图。
9.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至4任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711145982.3A CN107863111A (zh) | 2017-11-17 | 2017-11-17 | 面向交互的语音语料处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711145982.3A CN107863111A (zh) | 2017-11-17 | 2017-11-17 | 面向交互的语音语料处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107863111A true CN107863111A (zh) | 2018-03-30 |
Family
ID=61703170
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711145982.3A Pending CN107863111A (zh) | 2017-11-17 | 2017-11-17 | 面向交互的语音语料处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107863111A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109036467A (zh) * | 2018-10-26 | 2018-12-18 | 南京邮电大学 | 基于tf-lstm的cffd提取方法、语音情感识别方法及系统 |
| CN109346063A (zh) * | 2018-10-12 | 2019-02-15 | 电子科技大学 | 一种语音数据增强方法 |
| CN109448749A (zh) * | 2018-12-19 | 2019-03-08 | 中国科学院自动化研究所 | 基于有监督学习听觉注意的语音提取方法、系统、装置 |
| CN110189749A (zh) * | 2019-06-06 | 2019-08-30 | 四川大学 | 语音关键词自动识别方法 |
| CN110322900A (zh) * | 2019-06-25 | 2019-10-11 | 深圳市壹鸽科技有限公司 | 一种语音信号特征融合的方法 |
| CN110689902A (zh) * | 2019-12-11 | 2020-01-14 | 北京影谱科技股份有限公司 | 基于神经网络的音频信号时序处理方法、装置及系统及计算机可读存储介质 |
| CN111449644A (zh) * | 2020-03-19 | 2020-07-28 | 复旦大学 | 一种基于时频变换和数据增强技术的生物电信号分类方法 |
| CN111768799A (zh) * | 2019-03-14 | 2020-10-13 | 富泰华工业（深圳）有限公司 | 声音识别方法、装置、计算机装置及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8873813B2 (en) * | 2012-09-17 | 2014-10-28 | Z Advanced Computing, Inc. | Application of Z-webs and Z-factors to analytics, search engine, learning, recognition, natural language, and other utilities |
| CN106898350A (zh) * | 2017-01-16 | 2017-06-27 | 华南理工大学 | 一种基于深度学习的智能工业机器人语音交互与控制方法 |
-
2017
- 2017-11-17 CN CN201711145982.3A patent/CN107863111A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8873813B2 (en) * | 2012-09-17 | 2014-10-28 | Z Advanced Computing, Inc. | Application of Z-webs and Z-factors to analytics, search engine, learning, recognition, natural language, and other utilities |
| CN106898350A (zh) * | 2017-01-16 | 2017-06-27 | 华南理工大学 | 一种基于深度学习的智能工业机器人语音交互与控制方法 |
Non-Patent Citations (3)
| Title |
|---|
| JIA SHIJIE.ET AL: ""Research on Data Augmentation for Image Classification Based on Convolution Neural Network"", 《2017 CHINESE AUTOMATION CONGRESS(CAC)》 * |
| WOOTAEK LIM.ET AL: ""Speech Emotion Recognition using Convolutional and Recurrent Neural Networks"", 《2016 ASIA-PACIFIC SIGNAL AND INFORMATION PROCESSING ASSOCIATION ANNUAL SUMMIT AND CONFERENCE(APSIPA)》 * |
| ZHENGWEI HUANG.ET AL: ""Speech Emotion Recognition Using CNN"", 《THE ACM INTERNATIONAL CONFERENCE》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109346063A (zh) * | 2018-10-12 | 2019-02-15 | 电子科技大学 | 一种语音数据增强方法 |
| CN109346063B (zh) * | 2018-10-12 | 2022-10-14 | 电子科技大学 | 一种语音数据增强方法 |
| CN109036467A (zh) * | 2018-10-26 | 2018-12-18 | 南京邮电大学 | 基于tf-lstm的cffd提取方法、语音情感识别方法及系统 |
| CN109448749A (zh) * | 2018-12-19 | 2019-03-08 | 中国科学院自动化研究所 | 基于有监督学习听觉注意的语音提取方法、系统、装置 |
| CN109448749B (zh) * | 2018-12-19 | 2022-02-15 | 中国科学院自动化研究所 | 基于有监督学习听觉注意的语音提取方法、系统、装置 |
| CN111768799A (zh) * | 2019-03-14 | 2020-10-13 | 富泰华工业（深圳）有限公司 | 声音识别方法、装置、计算机装置及存储介质 |
| CN110189749A (zh) * | 2019-06-06 | 2019-08-30 | 四川大学 | 语音关键词自动识别方法 |
| CN110322900A (zh) * | 2019-06-25 | 2019-10-11 | 深圳市壹鸽科技有限公司 | 一种语音信号特征融合的方法 |
| CN110689902A (zh) * | 2019-12-11 | 2020-01-14 | 北京影谱科技股份有限公司 | 基于神经网络的音频信号时序处理方法、装置及系统及计算机可读存储介质 |
| CN111449644A (zh) * | 2020-03-19 | 2020-07-28 | 复旦大学 | 一种基于时频变换和数据增强技术的生物电信号分类方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107863111A (zh) | 面向交互的语音语料处理方法及装置 | |
| US10621971B2 (en) | Method and device for extracting speech feature based on artificial intelligence | |
| CN111260740B (zh) | 一种基于生成对抗网络的文本到图像生成方法 | |
| CN108205803B (zh) | 图像处理方法、神经网络模型的训练方法及装置 | |
| CN107516096A (zh) | 一种字符识别方法及装置 | |
| CN108959246A (zh) | 基于改进的注意力机制的答案选择方法、装置和电子设备 | |
| CN113822209B (zh) | 高光谱图像识别方法、装置、电子设备及可读存储介质 | |
| CN108351984A (zh) | 硬件高效的深度卷积神经网络 | |
| CN107220296A (zh) | 问答知识库的生成方法、神经网络的训练方法以及设备 | |
| CN107506828A (zh) | 计算装置和方法 | |
| CN107798243A (zh) | 终端应用的检测方法和装置 | |
| CN107480196B (zh) | 一种基于动态融合机制的多模态词汇表示方法 | |
| CN107609185A (zh) | 用于poi的相似度计算的方法、装置、设备和计算机可读存储介质 | |
| CN110070867B (zh) | 语音指令识别方法、计算机装置及计算机可读存储介质 | |
| CN109448706A (zh) | 神经网络语言模型压缩方法及系统 | |
| US20180137413A1 (en) | Diverse activation functions for deep neural networks | |
| CN108875924A (zh) | 基于神经网络的数据处理方法、装置、系统及存储介质 | |
| Kim et al. | Label-preserving data augmentation for mobile sensor data | |
| CN110502976A (zh) | 文本识别模型的训练方法及相关产品 | |
| CN113065997B (zh) | 一种图像处理方法、神经网络的训练方法以及相关设备 | |
| CN109447897B (zh) | 一种真实场景图像合成方法及系统 | |
| CN115587597B (zh) | 基于子句级关系图的方面词的情感分析方法以及装置 | |
| CN108171328A (zh) | 一种卷积运算方法和基于该方法的神经网络处理器 | |
| CN108170676A (zh) | 故事创作的方法、系统和终端 | |
| CN109359308A (zh) | 机器翻译方法、装置及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180330 |
|
| RJ01 | Rejection of invention patent application after publication |