CN113987258A - 音频的识别方法、装置、可读介质和电子设备 - Google Patents

音频的识别方法、装置、可读介质和电子设备 Download PDF

Info

Publication number
CN113987258A
CN113987258A CN202111327471.XA CN202111327471A CN113987258A CN 113987258 A CN113987258 A CN 113987258A CN 202111327471 A CN202111327471 A CN 202111327471A CN 113987258 A CN113987258 A CN 113987258A
Authority
CN
China
Prior art keywords
audio
statistical
sample
output
recognition model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111327471.XA
Other languages
English (en)
Inventor
何珂鑫
贾少勇
何怡
马泽君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Youzhuju Network Technology Co Ltd
Original Assignee
Beijing Youzhuju Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Youzhuju Network Technology Co Ltd filed Critical Beijing Youzhuju Network Technology Co Ltd
Priority to CN202111327471.XA priority Critical patent/CN113987258A/zh
Publication of CN113987258A publication Critical patent/CN113987258A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/65—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开涉及一种音频的识别方法、装置、可读介质和电子设备，涉及电子信息处理技术领域，该方法包括：获取待识别音频，提取用于表征待识别音频的目标音频特征，目标音频特征的维度与待识别音频的时长正相关，利用预先训练的识别模型，根据目标音频特征确定指定维度的统计特征，并根据统计特征确定待识别音频包括的目标音频事件，识别模型根据预先采集的训练音频集训练得到，训练音频集包括不同时长的训练音频。本公开中识别模型对不同时长的音频进行特征提取，以得到指定维度的统计特征，从而识别音频中包括的音频事件，无需对音频进行截取或补齐操作，能够保留音频中完整的信息，提高识别的准确度。

Description

音频的识别方法、装置、可读介质和电子设备
技术领域
本公开涉及电子信息处理技术领域，具体地，涉及一种音频的识别方法、装置、可读介质和电子设备。
背景技术
随着电子信息处理技术的不断发展，音频作为人们获取信息的重要载体，已经被广泛应用于日常生活和工作中。为了能够对音频进行准确适当的处理，通常需要对音频中包括的音频事件进行识别，例如：说话事件、唱歌事件、音乐事件等。在利用机器学习的方式对音频进行分类时，神经网络的结构往往要求输入的音频的时长是固定的，而真实的音频的时长是长短不一的，因此需要对真实的音频进行截取或补齐操作，会导致音频中信息的丢失，降低了分类的准确度。
发明内容
提供该部分内容以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该部分内容并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
第一方面，本公开提供一种音频的识别方法，所述方法包括：
获取待识别音频；
提取用于表征所述待识别音频的目标音频特征，所述目标音频特征的维度与所述待识别音频的时长正相关；
利用预先训练的识别模型，根据所述目标音频特征确定指定维度的统计特征，并根据所述统计特征确定所述待识别音频包括的目标音频事件，所述识别模型根据预先采集的训练音频集训练得到，所述训练音频集包括不同时长的训练音频。
第二方面，本公开提供一种音频的识别装置，所述装置包括：
获取模块，用于获取待识别音频；
提取模块，用于提取用于表征所述待识别音频的目标音频特征，所述目标音频特征的维度与所述待识别音频的时长正相关；
识别模块，用于利用预先训练的识别模型，根据所述目标音频特征确定指定维度的统计特征，并根据所述统计特征确定所述待识别音频包括的目标音频事件，所述识别模型根据预先采集的训练音频集训练得到，所述训练音频集包括不同时长的训练音频。
第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现本公开第一方面所述方法的步骤。
第四方面，本公开提供一种电子设备，包括：
存储装置，其上存储有计算机程序；
处理装置，用于执行所述存储装置中的所述计算机程序，以实现本公开第一方面所述方法的步骤。
通过上述技术方案，本公开首先获取待识别音频，之后提取用于表征待识别音频的目标音频特征，其中，目标音频特征的维度与待识别音频的时长正相关。最后利用预先训练的识别模型，根据目标音频特征确定指定维度的统计特征，再根据统计特征确定待识别音频包括的目标音频事件。识别模型是利用预先采集的，包括不同时长的训练音频的训练音频集训练得到的。本公开中识别模型对不同时长的音频进行特征提取，以得到指定维度的统计特征，从而识别音频中包括的音频事件，无需对音频进行截取或补齐操作，能够保留音频中完整的信息，提高识别的准确度。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：
图1是根据一示例性实施例示出的一种音频的识别方法的流程图；
图2是根据一示例性实施例示出的另一种音频的识别方法的流程图；
图3是根据一示例性实施例示出的一种识别模型的结构示意图；
图4是根据一示例性实施例示出的一种训练识别模型的流程图；
图5是根据一示例性实施例示出的另一种训练识别模型的流程图；
图6是根据一示例性实施例示出的一种识别模型与时长统计模型的结构示意图；
图7是根据一示例性实施例示出的一种音频的识别装置的框图；
图8是根据一示例性实施例示出的另一种音频的识别装置的框图；
图9是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
图1是根据一示例性实施例示出的一种音频的识别方法的流程图，如图1所示，该方法包括以下步骤：
步骤101，获取待识别音频。
步骤102，提取用于表征待识别音频的目标音频特征，目标音频特征的维度与待识别音频的时长正相关。
举例来说，首先可以获取待识别音频，待识别音频可以是存储在本地的音频，也可以是通过网络从服务器获取的音频，还可以是用户实时录制的音频，本公开对此不做具体限定。待识别音频的时长可以是任意时长。在对待识别音频进行识别之前，可以先对待识别音频进行预处理，例如可以对待识别音频进行降噪处理等。
之后，可以提取能够表征待识别音频的目标音频特征，其中，目标音频特征的维度与待识别音频的时长正相关，也就是说，待识别音频的时长越长，那么目标音频特征的维度越大，待识别音频的时长越短，那么目标音频特征的维度越小。具体的，目标音频特征可以包括时间维度和频率维度，那么目标音频特征的时间维度与待识别音频的时长正相关，频率维度可以保持不变。可以理解为，待识别音频中包括有多个音频帧，相应的，目标音频特征可以包括能够表征每个音频帧的特征，因此，待识别音频的时长越长，音频帧的数量越多，目标音频特征的时间维度越大。
目标音频特征例如可以是梅尔谱特征，那么提取待识别音频的梅尔谱特征的方式可以包括：对待识别音频进行预加重、分帧、加窗、快速傅里叶变换、梅尔滤波、取对数、归一化等处理，以得到梅尔谱特征。梅尔滤波处理，例如可以使用80维的梅尔对数滤波器组来实现，若待识别音频的时长为5s，其中包括400个音频帧，相应的，待识别音频的梅尔谱特征的频率维度即为80，梅尔谱特征的时间维度为400，即梅尔谱特征可以是一个400*80维的向量。
步骤103，利用预先训练的识别模型，根据目标音频特征确定指定维度的统计特征，并根据统计特征确定待识别音频包括的目标音频事件，识别模型根据预先采集的训练音频集训练得到，训练音频集包括不同时长的训练音频。
示例的，可以将目标音频特征作为输入，利用预先训练的识别模型对待识别音频进行识别，以确定待识别音频中包括的目标音频事件。其中，识别模型是通过预先采集的训练音频集训练得到的，训练音频集中包括多个训练音频，且多个训练音频的时长之间可以相同也可以不相同，即训练音频集中的训练音频可以是任意时长。
识别模型可以先根据目标音频特征确定指定维度的统计特征，统计特征能够表征待识别音频中多个音频帧的特征的统计量，并且统计特征的维度是固定的，即指定维度。之后，识别模型可以利用分类器对指定维度的统计特征进行分类，以确定待识别音频包括的目标音频事件，可以理解为识别模型能够对待识别音频进行分类。具体的，分类器可以确定统计特征与多种预先指定的音频事件中每种音频事件的匹配度，即统计特征与该种音频事件的匹配度越高，待识别音频中包括该种音频事件的概率值越高，匹配度越低，待识别音频中包括该种音频事件的概率值越低。识别模型可以将对应匹配度最高的音频事件确定为目标音频事件，也可以将匹配度满足预设条件(例如按照降序排列，排在最前面的预设数量个匹配度)的音频事件确定为目标音频事件，即目标音频事件可以是一个或多个，本公开对此不作具体限定。多种预先指定的音频事件例如可以是：说话事件、唱歌事件、音乐事件、门铃事件等，也可以是：人声事件、背景音事件、动物声事件等。
若利用维度不固定的特征对待识别音频进行分类，那么识别模型中的分类器的输入就不确定，也就是说分类器的结构不确定，因此无法完成分类任务。而本公开中，统计特征的维度是固定的(即均为指定维度)，在对待识别音频进行分类时，识别模型中的分类器的输入是确定的，因此能够对待识别音频进行分类。进一步的，由于识别模型能够对任意时长的待识别音频进行识别，无需对待识别音频进行截取或补齐操作，因此能够使识别模型学习到待识别音频中完整的信息，从而提高识别的准确度。
综上所述，本公开首先获取待识别音频，之后提取用于表征待识别音频的目标音频特征，其中，目标音频特征的维度与待识别音频的时长正相关。最后利用预先训练的识别模型，根据目标音频特征确定指定维度的统计特征，再根据统计特征确定待识别音频包括的目标音频事件。识别模型是利用预先采集的，包括不同时长的训练音频的训练音频集训练得到的。本公开中识别模型对不同时长的音频进行特征提取，以得到指定维度的统计特征，从而识别音频中包括的音频事件，无需对音频进行截取或补齐操作，能够保留音频中完整的信息，提高识别的准确度。
图2是根据一示例性实施例示出的另一种音频的识别方法的流程图，如图2所示，识别模型的结构可以如图3所示，其中包括：依次连接的多个卷积层、统计池化层和分类层。
相应的，步骤103可以通过以下步骤来实现：
步骤1031，将目标音频特征输入第一个卷积层，以得到最后一个卷积层输出的待识别音频的高层特征，高层特征的维度与目标音频特征的维度正相关。
首先可以将目标音频特征输入第一个卷积层，之后的每个卷积层的输入，均为上一个卷积层的输出，直至得到最后一个卷积层的输出，即待识别音频的高层特征，其中，高层特征的维度与目标音频特征的维度正相关，即高层特征的维度与待识别音频的时长正相关。也就是说，高层特征的维度是可变的，待识别音频的时长越长，那么高层特征的维度越大，待识别音频的时长越短，那么高层特征的维度越小。可以理解为，第一卷积层输出的是待识别音频的低层特征，经过之后的多个卷积层，能够提取出待识别音频的高层特征。
卷积层的结构例如可以是CNN(英文：Convolutional Neural Networks，中文：卷积神经网络)，卷积核例如可以是3*3。进一步的，卷积层中还可以包括丢弃层(英文；Dropout)和池化层(英文：Pooling)，其中，丢弃层能够减少卷积神经网络过拟合的问题，池化层能够缩小特征的大小，减少计算量，例如可以选取核大小为2*2的最大池化层。这样，可以将卷积神经网络+丢弃层+池化层组合为一个卷积层。例如，目标音频特征为一个400*80维的向量，经过第一个卷积层中的卷积神经网络的处理，可以输出一个400*80*32维的向量，再经过第一个卷积层中的丢弃层和池化层，输出一个200*40*32维的向量。之后可以将200*40*32维的向量输入下一个卷积层，依次类推，直至最后一个卷积层将向量中的第二个维度降为1，得到T*1*256维的向量，即T*256维的向量，其中，T与待识别音频的时长正相关，即与目标音频特征的维度正相关。
步骤1032，将高层特征输入统计池化层，以得到统计池化层输出的统计特征。
步骤1033，将统计特征输入分类层，以根据分类层的输出确定目标音频事件。
示例的，在得到最后一个卷积层输出的高层特征后，可以将高层特征输入统计池化层，统计池化层可以将高层特征的统计量作为输出，即统计特征。统计量可以是一种或多种，相应的，统计特征可以是一种或多种统计量拼接的结果，也就是说，统计特征的维度，根据统计量的种类来确定。例如，统计量可以是平均值，也可以是平均值和方差，还可以是平均值、方差和中位数等，本公开对此不作具体限定。统计池化层能够在高层特征的基础上，提取更多的统计信息，即识别模型能够学习到更多的信息，同时统计池化层能够接收可变维度的输入(即不同维度的高层特征)，输出维度固定的统计特征。
最后，将统计特征输入分类层，以根据分类层的输出确定目标音频事件。其中，分类层可以由多个依次连接的全连接层组成，将统计特征输入第一个全连接层，将最后一个全连接层的输出通过softmax函数得到与多个预先指定的音频事件中每种音频事件的匹配度，然后将对应匹配度最高的音频事件确定为目标音频事件。
在一种实现方式中，统计池化层包括多个统计模块，每个统计模块对应一种统计处理。步骤1032可以包括：
步骤1)将高层特征分别输入每个统计模块，以得到该统计模块输出的统计结果，统计结果为该统计模块对高层特征进行对应的统计处理的结果。
步骤2)将多个统计模块输出的统计结果进行拼接，以得到统计特征，指定维度根据统计模块的数量确定。
具体的，统计池化层中可以包括多个统计模块，每个统计模块对应一种统计处理，即每个统计模块用于对高层特征执行一种统计处理，计算得到高层特征的一种统计量(即统计结果)。之后可以将每个统计模块输出的统计结果进行拼接，以得到统计特征。其中，指定维度根据统计模块的数量确定。
例如，统计池化层中包括平均值统计模块和方差统计模块，平均值统计模块对应平均值处理，方差统计模块对应方差处理。高层特征为T*256维的向量，那么将高层特征输入平均值统计模块，平均值统计模块可以计算T个1*256维的向量的平均值，得到一个1*256维的平均值向量(即统计结果)。同时，将高层特征输入方差统计模块，方差统计模块可以计算T个1*256维的向量的方差，得到一个1*256维的方差向量(即统计结果)。最后，可以将平均值向量和方差向量通过concat进行拼接，以得到一个2*256维的统计特征，其中2*256即为指定维度。
图4是根据一示例性实施例示出的一种训练识别模型的流程图，如图4所示，识别模型是通过以下方式训练得到的：
步骤A，获取样本输入集和样本输出集，样本输入集包括多个样本输入，样本输入包括训练音频集中的一个训练音频，样本输出集中包括与每个样本输入对应的样本输出，每个样本输出包括对应的训练音频包括的真实音频事件。
步骤B，将样本输入集作为识别模型的输入，将样本输出集作为识别模型的输出，以训练识别模型。
举例来说，在对识别模型进行训练时，需要先获取样本输入集。样本输入集中包括了多个样本输入，样本输入可以为训练音频集中的一个训练音频，每个样本输入的时长之间可以相同也可以不相同，即每个样本输入可以是任意时长。在获得样本输入集后，可以进一步获取样本输出集。样本输出集中包括了与每个样本输入对应的样本输出，每个样本输出包括对应的训练音频包括的真实音频事件，其中，真实音频事件可以是一个或多个，本公开对此不作具体限定。
在对识别模型训练时，可以将样本输入集作为识别模型的输入，将样本输出集作为识别模型的输出，来训练识别模型，使得在输入样本输入集时，识别模型的输出，能够和样本输出集匹配。例如，可以根据识别模型的输出，与样本输出集确定交叉熵损失，以降低交叉熵损失为目标，利用反向传播算法来修正识别模型中的神经元参数，神经元参数例如可以是神经元的权重(英文：Weight)和偏置量(英文：Bias)。重复上述步骤，直至交叉熵损失满足预设条件，例如交叉熵损失小于预设的损失阈值，以达到训练识别模型的目的。具体的，在对识别模型训练的过程中，学习率可以设置为0.0001，优化器可以选择：Adam，Batchsize可以设置为：64，Epoch可以设置为：100。
通常，利用机器学习的方式对音频进行分类时，神经网络的结构往往要求输入的音频的时长是固定的，相应的，在对神经网络进行训练时，也要求训练音频的时长是固定的。测试过程中，通常会通过滑窗操作得到多组分类分数，再将不同窗的分类分数平均得到最终分类结果。滑窗操作和平均处理会造成一些时长较短的音频事件的得分始终偏低，降低了训练得到的神经网络的准确度。而本公开中识别模型的训练过程，训练音频集包括不同时长的训练音频，能够支持不同时长的训练音频进行训练，避免了测试过程中的滑窗操作和平均处理，解决了时长较短的音频事件识别准确度较低的问题，提高了识别模型的准确度。
图5是根据一示例性实施例示出的另一种训练识别模型的流程图，如图5所示，步骤B的实现方式可以包括：
步骤B1，将当前批次中的任一样本输入作为识别模型的输入，以得到识别模型的输出。
步骤B2，通过时长统计模型，确定当前批次中与该样本输入匹配的同类样本输入，并确定全部同类样本输入的统计时长，同类样本输入对应的样本输出，与该样本输入对应的样本输出相同。
步骤B3，根据识别模型的输出、该样本输入对应的样本输出，以及统计时长，确定识别损失。
步骤B4，以降低识别损失为目标，利用反向传播算法训练识别模型。
示例的，音频事件中，经常会存在时长较短的音频事件，例如门铃事件、狗叫事件等。由于这类音频事件的时长较短，在对识别模型进行训练的过程中影响较小，容易降低识别模型识别这类音频事件的准确度。因此，可以在确定识别模型的损失时，设置一个时长统计模型以确定每个样本输入的统计时长，并根据统计时长确定识别模型的损失，以训练识别模型，时长统计模型与识别模型的连接关系如图6所示。
具体的，可以先将当前批次中的任一样本输入作为识别模型的输入，以得到识别模型的输出。然后由时长统计模型，确定当前批次中与该样本输入匹配的同类样本输入，并确定全部同类样本输入的统计时长，其中，同类样本输入对应的样本输出，与该样本输入对应的样本输出相同。统计时长可以理解为当前样本输入对应的真实音频事件，在该批次中的时长。例如，某个样本输入对应的样本输出为门铃事件，当前批次中对应的样本输出为门铃事件的样本输入有5个，对应的时长分别为1s、1.5s、1.2s、0.5s、0.9s，那么统计时长即为1+1.5+1.2+0.5+0.9＝5.1s。
之后，可以根据识别模型的输出、该样本输入对应的样本输出，以及统计时长，确定识别损失。最后以降低识别损失为目标，利用反向传播算法训练识别模型。
在一种实现方式中，步骤B3可以通过以下步骤来实现：
步骤3)根据统计时长和总时长的比值，确定该样本输入对应的时长系数，时长系数与比值负相关，总时长为样本输入集中每个样本输入的时长的总和。
步骤4)根据识别模型的输出、该样本输入对应的样本输出和时长系数的乘积，确定识别损失。
示例的，可以先根据统计时长和总时长的比值，确定该样本输入对应的时长系数，其中，总时长为样本输入集中每个样本输入的时长的总和，即训练音频集的总时长。时长系数与比值负相关，例如，时长系数＝总时长/统计时长。例如，总时长为120s，统计时长为5.1s，那么时长系数＝120/5.1＝24.5。
最后，可以利用识别模型的输出、该样本输入对应的样本输出和时长系数的乘积，确定识别损失。例如，可以通过以下公式来确定识别损失：
Figure BDA0003347723260000121
其中，L表示识别损失，N表示当前批次中样本输入的数量，M表示音频事件的种类数量，tc表示当前批次中对应的样本输出为第c类音频事件的样本输入对应的时长系数，yi,c表示当前批次中第i个样本输入是否包括第c类音频事件，包括则为1，不包括则为0，pi,c表示当前批次中第i个样本输入对应的识别模型的输出。
这样，通过时长系数来调节识别损失，增大了时长较短的音频事件对识别损失的影响，减小了时长较长的音频事件对识别损失的影响，从而降低不同音频事件的时长对识别模型训练过程的影响，提高识别模型识别时长较短的音频事件的准确度。
综上所述，本公开首先获取待识别音频，之后提取用于表征待识别音频的目标音频特征，其中，目标音频特征的维度与待识别音频的时长正相关。最后利用预先训练的识别模型，根据目标音频特征确定指定维度的统计特征，再根据统计特征确定待识别音频包括的目标音频事件。识别模型是利用预先采集的，包括不同时长的训练音频的训练音频集训练得到的。本公开中识别模型对不同时长的音频进行特征提取，以得到指定维度的统计特征，从而识别音频中包括的音频事件，无需对音频进行截取或补齐操作，能够保留音频中完整的信息，提高识别的准确度。
图7是根据一示例性实施例示出的一种音频的识别装置的框图，如图7所示，该装置200可以包括：
获取模块201，用于获取待识别音频。
提取模块202，用于提取用于表征待识别音频的目标音频特征，目标音频特征的维度与待识别音频的时长正相关。
识别模块203，用于利用预先训练的识别模型，根据目标音频特征确定指定维度的统计特征，并根据统计特征确定待识别音频包括的目标音频事件，识别模型根据预先采集的训练音频集训练得到，训练音频集包括不同时长的训练音频。
图8是根据一示例性实施例示出的另一种音频的识别装置的框图，如图8所示，识别模型包括：依次连接的多个卷积层、统计池化层和分类层。
识别模块203可以包括：
卷积子模块2031，用于将目标音频特征输入第一个卷积层，以得到最后一个卷积层输出的待识别音频的高层特征，高层特征的维度与目标音频特征的维度正相关。
统计池化子模块2032，用于将高层特征输入统计池化层，以得到统计池化层输出的统计特征。
分类子模块2033，用于将统计特征输入分类层，以根据分类层的输出确定目标音频事件。
在一种实现方式中，统计池化层包括多个统计模块，每个统计模块对应一种统计处理。
相应的，统计池化子模块2032可以用于执行以下步骤：
步骤1)将高层特征分别输入每个统计模块，以得到该统计模块输出的统计结果，统计结果为该统计模块对高层特征进行对应的统计处理的结果。
步骤2)将多个统计模块输出的统计结果进行拼接，以得到统计特征，指定维度根据统计模块的数量确定。
在另一种实现方式中，识别模型是通过以下方式训练得到的：
步骤A，获取样本输入集和样本输出集，样本输入集包括多个样本输入，样本输入包括训练音频集中的一个训练音频，样本输出集中包括与每个样本输入对应的样本输出，每个样本输出包括对应的训练音频包括的真实音频事件。
步骤B，将样本输入集作为识别模型的输入，将样本输出集作为识别模型的输出，以训练识别模型。
在又一种实现方式中，步骤B的实现方式可以包括：
步骤B1，将当前批次中的任一样本输入作为识别模型的输入，以得到识别模型的输出。
步骤B2，通过时长统计模型，确定当前批次中与该样本输入匹配的同类样本输入，并确定全部同类样本输入的统计时长，同类样本输入对应的样本输出，与该样本输入对应的样本输出相同。
步骤B3，根据识别模型的输出、该样本输入对应的样本输出，以及统计时长，确定识别损失。
步骤B4，以降低识别损失为目标，利用反向传播算法训练识别模型。
具体的，步骤B3可以通过以下步骤来实现：
步骤3)根据统计时长和总时长的比值，确定该样本输入对应的时长系数，时长系数与比值负相关，总时长为样本输入集中每个样本输入的时长的总和。
步骤4)根据识别模型的输出、该样本输入对应的样本输出和时长系数的乘积，确定识别损失。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
综上所述，本公开首先获取待识别音频，之后提取用于表征待识别音频的目标音频特征，其中，目标音频特征的维度与待识别音频的时长正相关。最后利用预先训练的识别模型，根据目标音频特征确定指定维度的统计特征，再根据统计特征确定待识别音频包括的目标音频事件。识别模型是利用预先采集的，包括不同时长的训练音频的训练音频集训练得到的。本公开中识别模型对不同时长的音频进行特征提取，以得到指定维度的统计特征，从而识别音频中包括的音频事件，无需对音频进行截取或补齐操作，能够保留音频中完整的信息，提高识别的准确度。
下面参考图9，其示出了适于用来实现本公开实施例的电子设备(例如可以是本公开实施例的执行主体，可以是终端设备或服务器)300的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图9示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图9所示，电子设备300可以包括处理装置(例如中央处理器、图形处理器等)301，其可以根据存储在只读存储器(ROM)302中的程序或者从存储装置308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中，还存储有电子设备300操作所需的各种程序和数据。处理装置301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。
通常，以下装置可以连接至I/O接口305：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置306；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置307；包括例如磁带、硬盘等的存储装置308；以及通信装置309。通信装置309可以允许电子设备300与其他设备进行无线或有线通信以交换数据。虽然图9示出了具有各种装置的电子设备300，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置309从网络上被下载和安装，或者从存储装置308被安装，或者从ROM 302被安装。在该计算机程序被处理装置301执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，终端设备、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取待识别音频；提取用于表征所述待识别音频的目标音频特征，所述目标音频特征的维度与所述待识别音频的时长正相关；利用预先训练的识别模型，根据所述目标音频特征确定指定维度的统计特征，并根据所述统计特征确定所述待识别音频包括的目标音频事件，所述识别模型根据预先采集的训练音频集训练得到，所述训练音频集包括不同时长的训练音频。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，获取模块还可以被描述为“获取待识别音频的模块”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，示例1提供了一种音频的识别方法，包括：获取待识别音频；提取用于表征所述待识别音频的目标音频特征，所述目标音频特征的维度与所述待识别音频的时长正相关；利用预先训练的识别模型，根据所述目标音频特征确定指定维度的统计特征，并根据所述统计特征确定所述待识别音频包括的目标音频事件，所述识别模型根据预先采集的训练音频集训练得到，所述训练音频集包括不同时长的训练音频。
根据本公开的一个或多个实施例，示例2提供了示例1的方法，所述识别模型包括：依次连接的多个卷积层、统计池化层和分类层；所述利用预先训练的识别模型，根据所述目标音频特征确定指定维度的统计特征，并根据所述统计特征确定所述待识别音频包括的目标音频事件，包括：将所述目标音频特征输入第一个所述卷积层，以得到最后一个所述卷积层输出的所述待识别音频的高层特征，所述高层特征的维度与所述目标音频特征的维度正相关；将所述高层特征输入所述统计池化层，以得到所述统计池化层输出的所述统计特征；将所述统计特征输入所述分类层，以根据所述分类层的输出确定所述目标音频事件。
根据本公开的一个或多个实施例，示例3提供了示例2的方法，所述统计池化层包括多个统计模块，每个统计模块对应一种统计处理；所述将所述高层特征输入所述统计池化层，以得到所述统计池化层输出的所述统计特征，包括：将所述高层特征分别输入每个所述统计模块，以得到该统计模块输出的统计结果，所述统计结果为该统计模块对所述高层特征进行对应的统计处理的结果；将多个所述统计模块输出的所述统计结果进行拼接，以得到所述统计特征，所述指定维度根据所述统计模块的数量确定。
根据本公开的一个或多个实施例，示例4提供了示例1至示例3的方法，所述识别模型是通过以下方式训练得到的：获取样本输入集和所述样本输出集，所述样本输入集包括多个样本输入，所述样本输入包括所述训练音频集中的一个所述训练音频，所述样本输出集中包括与每个所述样本输入对应的样本输出，每个所述样本输出包括对应的所述训练音频包括的真实音频事件；将所述样本输入集作为所述识别模型的输入，将所述样本输出集作为所述识别模型的输出，以训练所述识别模型。
根据本公开的一个或多个实施例，示例5提供了示例4的方法，所述将所述样本输入集作为所述识别模型的输入，将所述样本输出集作为所述识别模型的输出，以训练所述识别模型，包括：将当前批次中的任一所述样本输入作为所述识别模型的输入，以得到所述识别模型的输出；通过时长统计模型，确定当前批次中与该样本输入匹配的同类样本输入，并确定全部所述同类样本输入的统计时长，所述同类样本输入对应的样本输出，与该样本输入对应的样本输出相同；根据所述识别模型的输出、该样本输入对应的样本输出，以及所述统计时长，确定识别损失；以降低所述识别损失为目标，利用反向传播算法训练所述识别模型。
根据本公开的一个或多个实施例，示例6提供了示例5的方法，所述根据所述识别模型的输出、该样本输入对应的样本输出，以及所述统计时长，确定识别损失，包括：根据所述统计时长和总时长的比值，确定该样本输入对应的时长系数，所述时长系数与所述比值负相关，所述总时长为所述样本输入集中每个所述样本输入的时长的总和；根据所述识别模型的输出、该样本输入对应的样本输出和时长系数的乘积，确定所述识别损失。
根据本公开的一个或多个实施例，示例7提供了一种音频的识别装置，包括：获取模块，用于获取待识别音频；提取模块，用于提取用于表征所述待识别音频的目标音频特征，所述目标音频特征的维度与所述待识别音频的时长正相关；识别模块，用于利用预先训练的识别模型，根据所述目标音频特征确定指定维度的统计特征，并根据所述统计特征确定所述待识别音频包括的目标音频事件，所述识别模型根据预先采集的训练音频集训练得到，所述训练音频集包括不同时长的训练音频。
根据本公开的一个或多个实施例，示例8提供了示例7的装置，所述识别模型包括：依次连接的多个卷积层、统计池化层和分类层；所述识别模块包括：卷积子模块，用于将所述目标音频特征输入第一个所述卷积层，以得到最后一个所述卷积层输出的所述待识别音频的高层特征，所述高层特征的维度与所述目标音频特征的维度正相关；统计池化子模块，用于将所述高层特征输入所述统计池化层，以得到所述统计池化层输出的所述统计特征；分类子模块，用于将所述统计特征输入所述分类层，以根据所述分类层的输出确定所述目标音频事件。
根据本公开的一个或多个实施例，示例9提供了示例8的装置，所述统计池化层包括多个统计模块，每个统计模块对应一种统计处理；所述统计池化子模块用于：将所述高层特征分别输入每个所述统计模块，以得到该统计模块输出的统计结果，所述统计结果为该统计模块对所述高层特征进行对应的统计处理的结果；将多个所述统计模块输出的所述统计结果进行拼接，以得到所述统计特征，所述指定维度根据所述统计模块的数量确定。
根据本公开的一个或多个实施例，示例10提供了示例7-9的装置，所述识别模型是通过以下方式训练得到的：获取样本输入集和所述样本输出集，所述样本输入集包括多个样本输入，所述样本输入包括所述训练音频集中的一个所述训练音频，所述样本输出集中包括与每个所述样本输入对应的样本输出，每个所述样本输出包括对应的所述训练音频包括的真实音频事件；将所述样本输入集作为所述识别模型的输入，将所述样本输出集作为所述识别模型的输出，以训练所述识别模型。
根据本公开的一个或多个实施例，示例11提供了示例10的装置，所述将所述样本输入集作为所述识别模型的输入，将所述样本输出集作为所述识别模型的输出，以训练所述识别模型，包括：将当前批次中的任一所述样本输入作为所述识别模型的输入，以得到所述识别模型的输出；通过时长统计模型，确定当前批次中与该样本输入匹配的同类样本输入，并确定全部所述同类样本输入的统计时长，所述同类样本输入对应的样本输出，与该样本输入对应的样本输出相同；根据所述识别模型的输出、该样本输入对应的样本输出，以及所述统计时长，确定识别损失；以降低所述识别损失为目标，利用反向传播算法训练所述识别模型。
根据本公开的一个或多个实施例，示例12提供了示例11的装置，所述根据所述识别模型的输出、该样本输入对应的样本输出，以及所述统计时长，确定识别损失，包括：根据所述统计时长和总时长的比值，确定该样本输入对应的时长系数，所述时长系数与所述比值负相关，所述总时长为所述样本输入集中每个所述样本输入的时长的总和；根据所述识别模型的输出、该样本输入对应的样本输出和时长系数的乘积，确定所述识别损失。
根据本公开的一个或多个实施例，示例13提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现示例1至示例6中所述方法的步骤。
根据本公开的一个或多个实施例，示例14提供了一种电子设备，包括：存储装置，其上存储有计算机程序；处理装置，用于执行所述存储装置中的所述计算机程序，以实现示例1至示例6中所述方法的步骤。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

Claims (10)

1.一种音频的识别方法，其特征在于，所述方法包括：
获取待识别音频；
提取用于表征所述待识别音频的目标音频特征，所述目标音频特征的维度与所述待识别音频的时长正相关；
利用预先训练的识别模型，根据所述目标音频特征确定指定维度的统计特征，并根据所述统计特征确定所述待识别音频包括的目标音频事件，所述识别模型根据预先采集的训练音频集训练得到，所述训练音频集包括不同时长的训练音频。
2.根据权利要求1所述的方法，其特征在于，所述识别模型包括：依次连接的多个卷积层、统计池化层和分类层；所述利用预先训练的识别模型，根据所述目标音频特征确定指定维度的统计特征，并根据所述统计特征确定所述待识别音频包括的目标音频事件，包括：
将所述目标音频特征输入第一个所述卷积层，以得到最后一个所述卷积层输出的所述待识别音频的高层特征，所述高层特征的维度与所述目标音频特征的维度正相关；
将所述高层特征输入所述统计池化层，以得到所述统计池化层输出的所述统计特征；
将所述统计特征输入所述分类层，以根据所述分类层的输出确定所述目标音频事件。
3.根据权利要求2所述的方法，其特征在于，所述统计池化层包括多个统计模块，每个统计模块对应一种统计处理；
所述将所述高层特征输入所述统计池化层，以得到所述统计池化层输出的所述统计特征，包括：
将所述高层特征分别输入每个所述统计模块，以得到该统计模块输出的统计结果，所述统计结果为该统计模块对所述高层特征进行对应的统计处理的结果；
将多个所述统计模块输出的所述统计结果进行拼接，以得到所述统计特征，所述指定维度根据所述统计模块的数量确定。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述识别模型是通过以下方式训练得到的：
获取样本输入集和所述样本输出集，所述样本输入集包括多个样本输入，所述样本输入包括所述训练音频集中的一个所述训练音频，所述样本输出集中包括与每个所述样本输入对应的样本输出，每个所述样本输出包括对应的所述训练音频包括的真实音频事件；
将所述样本输入集作为所述识别模型的输入，将所述样本输出集作为所述识别模型的输出，以训练所述识别模型。
5.根据权利要求4所述的方法，其特征在于，所述将所述样本输入集作为所述识别模型的输入，将所述样本输出集作为所述识别模型的输出，以训练所述识别模型，包括：
将当前批次中的任一所述样本输入作为所述识别模型的输入，以得到所述识别模型的输出；
通过时长统计模型，确定当前批次中与该样本输入匹配的同类样本输入，并确定全部所述同类样本输入的统计时长，所述同类样本输入对应的样本输出，与该样本输入对应的样本输出相同；
根据所述识别模型的输出、该样本输入对应的样本输出，以及所述统计时长，确定识别损失；
以降低所述识别损失为目标，利用反向传播算法训练所述识别模型。
6.根据权利要求5所述的方法，其特征在于，所述根据所述识别模型的输出、该样本输入对应的样本输出，以及所述统计时长，确定识别损失，包括：
根据所述统计时长和总时长的比值，确定该样本输入对应的时长系数，所述时长系数与所述比值负相关，所述总时长为所述样本输入集中每个所述样本输入的时长的总和；
根据所述识别模型的输出、该样本输入对应的样本输出和时长系数的乘积，确定所述识别损失。
7.一种音频的识别装置，其特征在于，所述装置包括：
获取模块，用于获取待识别音频；
提取模块，用于提取用于表征所述待识别音频的目标音频特征，所述目标音频特征的维度与所述待识别音频的时长正相关；
识别模块，用于利用预先训练的识别模型，根据所述目标音频特征确定指定维度的统计特征，并根据所述统计特征确定所述待识别音频包括的目标音频事件，所述识别模型根据预先采集的训练音频集训练得到，所述训练音频集包括不同时长的训练音频。
8.根据权利要求7所述的装置，其特征在于，所述识别模型包括：依次连接的多个卷积层、统计池化层和分类层；
所述识别模块包括：
卷积子模块，用于将所述目标音频特征输入第一个所述卷积层，以得到最后一个所述卷积层输出的所述待识别音频的高层特征，所述高层特征的维度与所述目标音频特征的维度正相关；
统计池化子模块，用于将所述高层特征输入所述统计池化层，以得到所述统计池化层输出的所述统计特征；
分类子模块，用于将所述统计特征输入所述分类层，以根据所述分类层的输出确定所述目标音频事件。
9.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现权利要求1-6中任一项所述方法的步骤。
10.一种电子设备，其特征在于，包括：
存储装置，其上存储有一个或多个计算机程序；
一个或多个处理装置，用于执行所述存储装置中的所述一个或多个计算机程序，以实现权利要求1-6中任一项所述方法的步骤。
CN202111327471.XA 2021-11-10 2021-11-10 音频的识别方法、装置、可读介质和电子设备 Pending CN113987258A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111327471.XA CN113987258A (zh) 2021-11-10 2021-11-10 音频的识别方法、装置、可读介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111327471.XA CN113987258A (zh) 2021-11-10 2021-11-10 音频的识别方法、装置、可读介质和电子设备

Publications (1)

Publication Number Publication Date
CN113987258A true CN113987258A (zh) 2022-01-28

Family

ID=79747734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111327471.XA Pending CN113987258A (zh) 2021-11-10 2021-11-10 音频的识别方法、装置、可读介质和电子设备

Country Status (1)

Country Link
CN (1) CN113987258A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023169258A1 (zh) * 2022-03-08 2023-09-14 北京字跳网络技术有限公司 音频检测方法、装置、存储介质及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023169258A1 (zh) * 2022-03-08 2023-09-14 北京字跳网络技术有限公司 音频检测方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN108197652B (zh) 用于生成信息的方法和装置
CN112364860B (zh) 字符识别模型的训练方法、装置和电子设备
CN110826567B (zh) 光学字符识别方法、装置、设备及存储介质
CN112364829B (zh) 一种人脸识别方法、装置、设备及存储介质
CN112766284B (zh) 图像识别方法和装置、存储介质和电子设备
CN112949708A (zh) 情绪识别方法、装置、计算机设备和存储介质
CN114494709A (zh) 特征提取模型的生成方法、图像特征提取方法和装置
CN111312223A (zh) 语音分割模型的训练方法、装置和电子设备
CN114420135A (zh) 基于注意力机制的声纹识别方法及装置
CN113140012B (zh) 图像处理方法、装置、介质及电子设备
CN113987258A (zh) 音频的识别方法、装置、可读介质和电子设备
CN116913258B (zh) 语音信号识别方法、装置、电子设备和计算机可读介质
CN113902838A (zh) 动画生成方法、装置、存储介质及电子设备
CN111312224B (zh) 语音分割模型的训练方法、装置和电子设备
CN112241761A (zh) 模型训练方法、装置和电子设备
CN116705034A (zh) 声纹特征提取方法、说话人识别方法、模型训练方法及装置
CN111460214B (zh) 分类模型训练方法、音频分类方法、装置、介质及设备
CN115147870A (zh) 行人再识别方法及装置
WO2021147084A1 (en) Systems and methods for emotion recognition in user-generated video(ugv)
CN112926623A (zh) 识别合成视频的方法、装置、介质及电子设备
CN113033682A (zh) 视频分类方法、装置、可读介质、电子设备
CN112070022A (zh) 人脸图像识别方法、装置、电子设备和计算机可读介质
CN111243607A (zh) 用于生成说话人信息的方法、装置、电子设备和介质
CN113763976A (zh) 音频信号的降噪方法、装置、可读介质和电子设备
CN116109989B (zh) 评价信息生成方法、装置、电子设备和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination