CN111506764B - 音频数据筛选方法、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种音频数据筛选方法、计算机设备和存储介质，获取原始音频文件，以及欲得到的目标音频数据的目标属性；对原始音频文件中的各音频数据进行属性分析，得到各音频数据的音频属性；将各音频数据的音频属性与目标属性进行比对，得到音频属性与目标属性不一致的非目标音频数据；从原始音频文件中删除非目标音频数据，确定剩余的音频数据为目标音频数据。本申请不同于现有技术中是通过人工进行音频数据的筛选，而是通过计算机设备从音频文件中筛选目标音频数据，从而可以提高音频数据的筛选效率。通过筛选得到具备指定的目标属性的目标音频数据，可以应用于人工智能领域的机器学习、语音识别技术，例如用于进行语音识别模型的训练等。

Description

音频数据筛选方法、计算机设备和存储介质

技术领域

本申请涉及电子信息技术领域，特别是涉及一种音频数据筛选方法、计算机设备和存储介质。

背景技术

随着人工智能的发展，音频处理技术也在不断发展，其广泛应用于人们的日常生活和工作中，具体例如各种智能终端所使用的语音识别技术等。

构建合理的音频数据库是语音识别技术的基础，音频数据库内的音频数据越丰富，有助于提高语音识别结果的准确性。传统技术中，通常采用人工筛选的方式得到合适的音频数据，然后将得到的音频数据录入数据库中。

然而，人工筛选音频数据的工作模式，普遍存在效率低下的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高音频数据筛选效率的音频数据筛选方法、计算机设备和存储介质。

一种音频数据筛选方法，所述方法包括：

获取待筛选的原始音频文件，以及欲得到的目标音频数据的目标属性；

对所述原始音频文件中的各音频数据进行属性分析，得到各所述音频数据的音频属性；

将各所述音频数据的音频属性与所述目标属性进行比对，得到音频属性与所述目标属性不一致的非目标音频数据；

从所述原始音频文件中删除所述非目标音频数据，确定剩余的音频数据为所述目标音频数据。

一种音频数据筛选装置，所述装置包括：

文件获取模块，用于获取待筛选的原始音频文件，以及欲得到的目标音频数据的目标属性；

属性分析模块，用于对所述原始音频文件中的各音频数据进行属性分析，得到各所述音频数据的音频属性；

属性比对模块，用于将各所述音频数据的音频属性与所述目标属性进行比对，得到音频属性与所述目标属性不一致的非目标音频数据；

数据处理模块，用于从所述原始音频文件中删除所述非目标音频数据，确定剩余的音频数据为所述目标音频数据。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取待筛选的原始音频文件，以及欲得到的目标音频数据的目标属性；

对所述原始音频文件中的各音频数据进行属性分析，得到各所述音频数据的音频属性；

将各所述音频数据的音频属性与所述目标属性进行比对，得到音频属性与所述目标属性不一致的非目标音频数据；

从所述原始音频文件中删除所述非目标音频数据，确定剩余的音频数据为所述目标音频数据。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取待筛选的原始音频文件，以及欲得到的目标音频数据的目标属性；

对所述原始音频文件中的各音频数据进行属性分析，得到各所述音频数据的音频属性；

将各所述音频数据的音频属性与所述目标属性进行比对，得到音频属性与所述目标属性不一致的非目标音频数据；

从所述原始音频文件中删除所述非目标音频数据，确定剩余的音频数据为所述目标音频数据。

上述音频数据筛选方法、计算机设备和存储介质，获取待筛选的原始音频文件，以及欲得到的目标音频数据的目标属性；对原始音频文件中的各音频数据进行属性分析，得到各音频数据的音频属性；将各音频数据的音频属性与目标属性进行比对，得到音频属性与目标属性不一致的非目标音频数据；从原始音频文件中删除非目标音频数据，确定剩余的音频数据为目标音频数据。

在本申请的技术方案中，在得到原始音频文件后，通过对音频数据进行属性分析以及属性比对，可以从原始音频文件中筛选出不符合期望的非目标音频数据，然后，通过删除非目标音频数据即可得到符合期望的目标音频数据。本申请不同于现有技术中是通过人工进行音频数据的筛选，而是通过计算机设备从音频文件中筛选目标音频数据，从而可以提高音频数据的筛选效率。通过筛选得到具备指定的目标属性的目标音频数据，可以应用于人工智能领域的机器学习、语音识别技术，例如用于进行语音识别模型的训练等。

附图说明

图1为一个实施例中音频数据筛选方法的应用环境图；

图2为一个实施例中音频数据筛选方法的流程示意图；

图3为一个实施例中wave文件的具体结构示意图；

图4为另一个实施例中音频数据筛选方法的流程示意图；

图5为一个实施例中用于进行音频分类的神经网络的示意图；

图6为又一个实施例中音频数据筛选方法的流程示意图；

图7为再一个实施例中音频数据筛选方法的流程示意图；

图8为一个实施例中对音频数据进行文字转换的流程示意图；

图9为再一个实施例中音频数据筛选方法的流程示意图；

图10为一个实施例中音频数据筛选方法的应用场景示意图；

图11为一个实施例中通过筛选得到的目标音频数据的示例图；

图12为一个实施例中音频数据筛选装置的结构示意图；

图13为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

语音技术(Speech Technology)的关键技术有自动语音识别技术(AutomaticSpeech Recognition，ASR)和语音合成技术(Text to Speech，TTS)以及声纹识别技术。让计算机能听、能看、能说、能感觉，是未来人机交互的发展方向，其中语音成为未来最被看好的人机交互方式之一。

自然语言处理(Nature Language processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。

机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

本申请实施例提供的方案涉及人工智能的语音技术、自然语言处理、机器学习等技术，具体通过如下实施例进行说明。

本申请提供的音频数据筛选方法，可以应用于如图1所示的应用环境中。其中，终端10通过网络与服务器20进行通信。终端10可以获取待筛选的原始音频文件，并将获取的原始音频文件发送至服务器20；此外，用户还可以通过终端10将欲得到的目标音频数据的目标属性发送至服务器20。服务器20接收终端10发送的原始音频文件，以及欲得到的目标音频数据的目标属性；对原始音频文件中的各音频数据进行属性分析，得到各音频数据的音频属性；将各音频数据的音频属性与目标属性进行比对，得到音频属性与目标属性不一致的非目标音频数据；从原始音频文件中删除非目标音频数据，确定剩余的音频数据为目标音频数据，即通过服务器20进行音频数据的在线筛选。服务器20在得到目标音频数据后，可以是将目标音频数据保存在服务器内，即进行云端保存；也可以是将目标音频数据发送至终端10，由终端10进行本地保存。

其中，终端10可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器20可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

可以理解，在终端10安装有具备本申请的音频数据筛选功能的应用程序/ 软件时，也可以是由终端10执行本申请音频数据筛选方法的处理步骤，即通过终端10进行音频数据的离线筛选。具体地，终端10获取待筛选的原始音频文件，并获取用户欲得到的目标音频数据的目标属性；对原始音频文件中的各音频数据进行属性分析，得到各音频数据的音频属性；将各音频数据的音频属性与目标属性进行比对，得到音频属性与目标属性不一致的非目标音频数据；从原始音频文件中删除非目标音频数据，确定剩余的音频数据为目标音频数据。终端10在得到目标音频数据后，可以是将目标音频数据保存在本地，也可以是将目标音频数据发送至服务器20，由服务器20进行云端保存。

通过本申请的音频数据筛选方法筛选得到具备指定的目标属性的目标音频数据，可以应用于人工智能领域的机器学习、语音识别技术，例如用于进行语音识别模型的训练等。

在一个实施例中，如图2所示，提供一种音频数据筛选方法，以该方法应用于图1中的服务器为例进行解释说明，该方法主要包括以下步骤：

步骤S100,获取待筛选的原始音频文件，以及欲得到的目标音频数据的目标属性。

音频是指人耳可以听到的声音频率在20HZ～20kHz之间的声波，音频数据即数字化的声音数据。音频数据可以以文件的形式进行保存，例如wave文件等， wave文件的扩展名为“.wav”，其采用Microsoft定义的资源互换文件格式(RIFF 格式),wave文件的具体结构如图3所示。

目标音频数据是指用户期望通过数据筛选得到的音频数据，目标属性是目标音频数据对应的音频属性。目标属性可以只包含一种属性，也可以是包含多种属性。通常来说，属性数量越多，音频数据的针对性越强。例如，属性为A 的音频数据，其数据量为a；属性为A+B的音频数据，其数据量为a-b(a-b<a)；属性为A+B+C的音频数据，其数据量为a-b-c(a-b-c<a-b)。

本步骤中，原始音频文件可以是由终端获取、并发送至服务器。终端获取原始音频文件，可以是通过实时音频录取等方式实现，也可以是预先录取并保存在终端中，当需要进行筛选时，终端再将音频文件发送至服务器。此外，终端也可以是从外部获取原始音频文件，例如，外部存储器或者其他服务器等，然后发送至进行数据筛选的服务器。另外，服务器也可以是直接通过其他服务器获取原始音频文件。本实施例对服务器获取原始音频文件的方式不做具体限定。

步骤S200，对原始音频文件中的各音频数据进行属性分析，得到各音频数据的音频属性。

本实施例中，服务器主要是根据音频数据的音频属性来确定该音频数据是否为用户欲得到的音频数据，因此，服务器在获取原始音频文件后，对原始音频文件中的各音频数据进行属性分析，以得到各音频数据的音频属性。

服务器在对音频数据进行属性分析时，可以是通过属性分析算法对音频数据进行处理，得到音频数据的音频属性；服务器也可以是调用属性分析模型，通过将原始音频文件的音频数据输入属性分析模型以得到对应的音频属性分析结果。可以理解，在分析不同类别的音频属性时，服务器所使用的属性分析算法不同，或者，服务器所调用的属性分析模型不同。

步骤S300，将各音频数据的音频属性与目标属性进行比对，得到音频属性与目标属性不一致的非目标音频数据。

在对音频数据进行属性分析得到对应的音频属性后，考虑到属性分析结果可能存在一定的不准确性，服务器并不是直接筛选音频属性与目标属性一致的音频数据作为目标音频数据，而是通过筛选音频属性与目标属性不一致的非目标音频数据、以得到音频属性与目标属性一致的目标音频数据，即采用间接筛选的方式确定目标音频数据。

具体地，服务器将将各音频数据的音频属性与目标属性进行比对，具体可以是进行相似性比对，从而得到音频属性与目标属性不一致的非目标音频数据。其中，当音频数据的至少一条音频属性与对应类别的目标属性不同时，即可认为该音频数据为音频属性与目标属性不一致的非目标音频数据。

例如，参考下表1，当音频属性包括A、B、C三种时，定义目标属性对应分别为A_tar、B_tar、C_tar。

音频数据	A	B	C	比对结果
					V1	其他	其他	其他	非目标音频数据
V2	A_tar	其他	其他	非目标音频数据
					V3	其他	B_tar	其他	非目标音频数据
V4	其他	其他	C_tar	非目标音频数据
					V5	A_tar	B_tar	其他	非目标音频数据
V6	A_tar	其他	C_tar	非目标音频数据
					V7	其他	B_tar	C_tar	非目标音频数据
V8	A_tar	B_tar	C_tar

对于音频数据V1，A、B、C三种音频属性均与对应类别的目标属性不同，因此，音频数据V1可以认为是非目标音频数据；对于音频数据V2、V3、V4，在A、B、C三种音频属性中，都存在两种音频属性与对应类别的目标属性不同，因此，音频数据V2、V3、V4可以认为是非目标音频数据；对于音频数据V5、V6、 V7，在A、B、C三种音频属性中，都存在一种音频属性与对应类别的目标属性不同，因此，音频数据V5、V6、V7可以认为是非目标音频数据；对于音频数据 V8，A、B、C三种音频属性均与对应类别的目标属性相同，因此，音频数据V8 可以认为不是非目标音频数据。基于本步骤中非目标音频数据的确定条件，表1 中的音频数据V1、V2、V3、V4、V5、V6、V7均为音频属性与目标属性不一致的非目标音频数据。

步骤S400，从原始音频文件中删除非目标音频数据，确定剩余的音频数据为目标音频数据。

服务器通过属性比对得到音频属性与目标属性不一致的非目标音频数据后，将原始音频文件中的非目标音频数据删除，由于非目标音频数据为存在至少一条音频属性与对应类别的目标属性不同的音频数据，因此，剩余的音频数据可以认为是音频属性均与对应类别的目标属性相同的音频数据，从而，可以确定剩余的音频数据为目标音频数据。

例如，对于表1中的各音频数据，原始音频文件包括音频数据V1、V2、V3、 V4、V5、V6、V7、V8，其中音频数据V1、V2、V3、V4、V5、V6、V7均为音频属性与目标属性不一致的非目标音频数据，在将非目标音频数据删除后，剩余的音频数据V8即为目标音频数据。

本实施例提供一种音频数据筛选方法，在得到原始音频文件后，通过对音频数据进行属性分析以及属性比对，可以从原始音频文件中筛选出不符合期望的非目标音频数据，然后，通过删除非目标音频数据即可得到符合期望的目标音频数据。本申请不同于现有技术中是通过人工进行音频数据的筛选，而是通过计算机设备从音频文件中筛选目标音频数据，从而可以提高音频数据的筛选效率。通过筛选得到具备指定的目标属性的目标音频数据，可以应用于人工智能领域的机器学习、语音识别技术，例如用于进行语音识别模型的训练等，由于本申请的音频数据筛选方法可以准确筛选出符合期望类型的音频数据，将筛选得到的音频数据作为模型训练的训练数据，可以有效减少前期搜集训练数据的时间，提高模型训练的效率及效果。

在一个实施例中，如图4所示，步骤S200对原始音频文件中的各音频数据进行属性分析，得到各音频数据的音频属性，包括步骤S220：对原始音频文件中的各音频数据进行音频类型分类，得到各音频数据对应的音频类型。

音频数据的类型主要包括语音(speech)、音乐(music)、噪音、静音和环境音(背景音)等，服务器在对音频数据进行音频类型分类时，可以采用音频分类算法实现，常见的音频分类算法例如最小距离法、神经网络、支持向量机等。

其中，最小距离分类法的优点是概念直观，方法简单，有利于建立多维空间分类方法的几何概念。在音频分类中应用的最小距离分类法有k近邻 (k-Nearest Neighbor，K-NN)方法和最近特征线(Nearest Feature Lin，NFL) 方法等。

如图5所示，为用于进行音频分类的神经网络(Neural Network)的示意图，在使用神经网络进行音频分类时,可以令输入层的节点与音频的特征向量相对应,而输出层的节点对应于音频类型。在训练时，通过对训练样本集中的样本进行反复学习来调节网络，使全局误差函数取得最小值，从而得到能够对新输入的待分类音频数据进行音频分类的神经网络。

支持向量机(Support Vector Machine，SVM)的机理是在样本空间中寻找一个将训练集中的正例和反例两类样本点分割开来的分类超平面,并取得最大边缘(正样本与负样本到超平面的最小距离)。该方法根据核空间理论将低维的输入空间数据通过某种非线性函数(即核函数)映射到一个高维空间中,并且线性判决只需要在高维空间中进行内积运算,从而解决了线性不可分的分类问题。

此外，服务器也可以采用决策树方法、隐马尔可夫模型等音频分类方法进行音频数据的音频类型分类。另外，服务器也可以直接调用音频分类模型，通过将原始音频文件的音频数据输入音频分类模型以得到对应的音频类型分类结果。本实施例对服务器进行音频分类的方法不做限定。

对应地，目标属性包括目标音频类型。参考图4，步骤S300将各音频数据的音频属性与目标属性进行比对，得到音频属性与目标属性不一致的非目标音频数据，包括步骤S320：将各音频数据对应的音频类型与目标音频类型进行比对，确定音频类型与目标音频类型不一致的音频数据为非目标音频数据。

例如，当目标音频类型为语音时，与目标音频类型不一致的音频类型包括音乐、噪音、静音和环境音等，此时，可以将音频类型为音乐、噪音、静音和环境音等的音频数据确定为非目标音频数据。在确定音频类型不为语音的非目标音频数据后，将原始音频文件中确定为非目标音频数据的音频数据删除，则剩余的音频数据的音频类型都为语音。

本实施例将音频类型作为音频属性，可以有效对目标音频数据以及非目标音频数据进行区分，从而得到用户期望得到的目标音频数据。

在一个实施例中，如图6所示，步骤S200对原始音频文件中的各音频数据进行属性分析，得到各音频数据的音频属性，包括步骤S240：对原始音频文件中的各音频数据进行语种识别，得到各音频数据对应的语种类型。

服务器在对音频数据进行语种识别时，可以采用语种识别算法实现，语种识别算法具体包括基于音素识别器的语种识别方法以及基于底层声学特征的语种识别方法，其中，基于音素识别器的语种识别方法是利用不同语种之间音素搭配关系的差异作为特征进行语种识别的方法。基于底层声学特征的语种识别方法则是利用底层声学特征所能够描述的声学单元的统计特性差异来对语种进行分类。

例如，对于基于音素识别器的语种识别方法，首先通过音素识别器将语音信号转换为音素序列，然后根据音素序列提取N.gram单元统计量来作为特征，最后根据这些统计特性建立每个语种的N.Gram语言模型(Language Model，LM)，该方法被称为音素识别器结合语言模型(Phone Recognizer followed by Language Model，PRLM)。此外，在语言模型的基础上，还可以采用二叉决策树 (Binary Tree，BT)模型，该模型结合最小熵准则，根据数据的分布情况，动态的进行音素聚类和N.gram阶次的选择，称为音素识别器结合二叉决策树(Phone Recognizer followed by BinaryTree，PRBT)方法。另外，还可以利用支持向量机模型进行建模等。

另外，服务器也可以直接调用语种识别模型，通过将原始音频文件的音频数据输入语种识别模型以得到对应的语种识别结果。本实施例对服务器进行语种识别的方法不做限定。

对应地，目标属性包括目标语种类型。参考图6，步骤S300将各音频数据的音频属性与目标属性进行比对，得到音频属性与目标属性不一致的非目标音频数据，包括步骤S340：将各音频数据对应的语种类型与目标语种类型进行比对，确定语种类型与目标语种类型不一致的音频数据为非目标音频数据。

例如，当目标语种类型为汉语时，与目标语种类型不一致的语种类型包括英语、法语、俄语、阿拉伯语与西班牙语等，此时，可以将语种类型为英语、法语、俄语、阿拉伯语与西班牙语等的音频数据确定为非目标音频数据。在确定语种类型不为汉语的非目标音频数据后，将原始音频文件中确定为非目标音频数据的音频数据删除，则剩余的音频数据的音频类型都为汉语。

本实施例将语种类型作为音频属性，可以有效对目标音频数据以及非目标音频数据进行区分，从而得到用户期望得到的目标音频数据。

在一个实施例中，如图7所示，步骤S200对原始音频文件中的各音频数据进行属性分析，得到各音频数据的音频属性，还包括步骤S260：对原始音频文件中的各音频数据进行文字转换，得到各音频数据对应的文字内容。

对原始音频文件中的各音频数据进行文字转换，即对音频数据进行自动语音识别处理从而得到对应的文字文本，其中，语音识别是以语音为研究对象，通过语音信号处理和模式识别让机器自动识别和理解人类口述的语言。

具体地，如图8所示，为对音频数据进行文字转换的流程示意图。服务器首先对音频数据进行预处理，例如，进行首尾端的静音切除以降低干扰、声音分帧等。然后对音频数据进行特征提取，得到音频数据对应的特征向量，特征提取的主要算法有线性预测倒谱系数(LPCC)和Mel倒谱系数(MFCC)等，特征提取的目的是把每一帧波形变成一个包含声音信息的多维向量。在得到特征向量后，通过语音解码和搜索算法得到对应的文本并输出。其中，解码是指通过声学模型、字典、语言模型对提取的特征向量进行文字输出的处理过程，声学模型具体可以基于语言数据库训练得到，语言模型具体可以基于文本数据库训练得到。

对应地，参考图7，在步骤S260得到各音频数据对应的文字内容之后，在步骤S400从原始音频文件中删除非目标音频数据之前，音频数据筛选方法还包括步骤S362至步骤S364。

步骤S362，确定文字格式与预设格式一致的文字内容为非目标内容；

步骤S364，确定非目标内容对应的音频数据为非目标音频数据。

可选地，预设格式包括：连续出现至少第一预设数量的相同字符，或者，连续出现至少第二预设数量的相同组合结构，组合结构为标点符号与字符的组合。

在进行文字格式检测时，可以使用正则表达式对文字内容的文字格式进行识别检测。其中，连续出现至少第一预设数量的相同字符是指同一个字符连续出现多次的情况，该情况具体例如：“啊啊啊啊啊”、“哒哒哒哒哒哒”等，在目标音频类型为语音时，上述文字内容不属于正常语音内容，可以确定为无效数据，因此，文字格式为连续出现至少第一预设数量的相同字符的文字内容可以确定为非目标音频数据。其中，第一预设数量具体可以定义为三个；当目标语种类型为汉语时，同一个字符具体可以是指中文字符。

另外，连续出现至少第二预设数量的相同组合结构是指同一个标点符号和同一个字符的组合结构连续出现多次的情况，其中标点符号为文字转换过程中添加的符号。该情况具体例如：“。呵。呵。呵。”等，在目标音频类型为语音时，上述文字内容不属于正常语音内容，可以确定为无效数据，因此，文字格式为连续出现至少第二预设数量的相同组合结构的文字内容可以确定为非目标音频数据。其中，第一预设数量具体可以定义为三个；当目标语种类型为汉语时，标点符号可以为全角句号，同一个字符具体可以是指中文字符。

可选地，可以基于字符对应的unicode编码确定该字符是否为中文字符。例如，当unicode编码在[\u4e00-\u9fa5]区间(汉语文字的unicode区间)时，可以确定该字符为中文字符。

在一个实施例中，如图9所示，提供一种音频数据筛选方法，该方法主要包括以下步骤：

(1)获取待筛选的原始音频文件，以及欲得到的目标音频数据的目标属性，目标属性具体包括目标音频类型以及目标语种类型；

(2)对原始音频文件中的各音频数据进行音频类型分类，得到各音频数据对应的音频类型；

将各音频数据对应的音频类型与目标音频类型进行比对，基于音频类型与目标音频类型不一致的音频数据构建第一数据集；

(3)对原始音频文件中的各音频数据进行语种识别，得到各音频数据对应的语种类型；

将各音频数据对应的语种类型与目标语种类型进行比对，基于语种类型与目标语种类型不一致的音频数据构建第二数据集；

(4)对原始音频文件中的各音频数据进行文字转换，得到各音频数据对应的文字内容；

确定文字格式与第一预设格式一致的文字内容为第一非目标内容，第一预设格式为连续出现至少第一预设数量的相同字符，基于第一非目标内容对应的音频数据构建第三数据集；

确定文字格式与第二预设格式一致的文字内容为第二非目标内容，第二预设格式为连续出现至少第二预设数量的相同组合结构，组合结构为标点符号与字符的组合，基于第二非目标内容对应的音频数据构建第四数据集；

(5)对第一数据集、第二数据集、第三数据集、第四数据集求并集，将得到的结果作为非目标音频数据集；

(6)从原始音频文件中删除非目标音频数据集中包含的音频数据，确定剩余的音频数据为目标音频数据。

在本实施例的技术方案中，在得到原始音频文件后，通过对音频数据进行属性分析以及属性比对，可以从原始音频文件中筛选出不符合期望的非目标音频数据，然后，通过删除非目标音频数据即可得到符合期望的目标音频数据。本申请不同于现有技术中是通过人工进行音频数据的筛选，而是通过计算机设备从音频文件中筛选目标音频数据，从而可以提高音频数据的筛选效率。

在一个实施例中，如图10所示，提供一种应用场景，该应用场景应用上述的音频数据筛选方法。具体地，该音频数据筛选方法在该应用场景的应用如下：

首先获取原始音频文件以及欲得到的目标音频数据对应的目标音频类型以及目标语种类型。原始音频文件包括多个音频数据，具体可以使用requests库结合bon协议进行音频数据的接收和发送。其中，requests允许发送HTTP/1.1 请求，无需人工为URL添加查询字串，也不需要对POST数据进行表单编码，基于根植在Requests内部的urllib3，可以自动实现Keep-alive和HTTP连接池的功能。bon协议是根据业务接入应用场景开发的一套基于Key-Value存储方式的通信协议，支持动态字段的扩展和协议的升级。

然后，将音频数据分别输入音频分类模型、语种识别模型以及音转文模型，对应分别得到音频数据对应的音频分类结果、语种识别结果以及音转文结果。在得到上述三个结果后，可以使用脚本对上述三个结果进行解析，返回结果为 excel格式，可以使用pandas库进行excel文件的读取，以及去除重复表头，剔除无效数据如空行、纯数字结果。Pandas的名称来自于面板数据(panel data) 和python数据分析(data analysis)，是一个强大的分析结构化数据的工具集；它的使用基础是Numpy(提供高性能的矩阵运算)；用于数据挖掘和数据分析，同时也提供数据清洗功能。

清洗后的结果形成Dataframe形式的音频分类结果、语种识别结果以及音转文结果。DataFrame是Python中Pandas库中的一种数据结构，它类似excel，是一种二维表。是一个表格型的数据结构，它含有一组有序的列，每列可以是不同的值类型(数值、字符串、布尔值等)。DataFrame既有行索引也有列索引，它可以被看做由series组成的字典(共用同一个索引)DataFrame中面向行和面向列的操作基本是平衡的。DataFrame中的数据是以一个或多个两维块存放的 (而不是列表、字典或别的一维数据结构)。

然后，基于频分类结果、语种识别结果以及音转文结果进行复合策略筛选，具体包括音频分类策略、语种识别策略以及音转文策略，音转文策略包括标点 patten识别以及字符patten识别。具体地，音转文策略包含 re_letter_repeat_detect模式检测以及re_abnormal_full_stop_detect模式检测。

然后，基于三种策略对应的筛选结果可以得到最终策略筛选结果，其中，音频分类策略对应的筛选结果为得到音频类型不属于目标音频类型的音频数据集；语种识别策略对应的筛选结果为得到语种类型不属于目标语种类型的音频数据集；音转文策略对应的筛选结果为得到文字格式为连续出现至少第一预设数量的相同字符或者连续出现至少第二预设数量的相同组合结构的音频数据集。

然后，基于原始音频文件以及最终策略筛选结果，删除最终策略筛选结果对应的音频数据，得到目标音频数据。如图11所示，为通过筛选得到的目标音频数据的示例图，该目标音频数据对应的目标音频类型为语音，目标语种类型为粤语。

最后，使用得到的目标音频数据进行网络模型训练，由于目标音频数据为属于目标音频类型以及目标语种类型的数据，从而使得训练得到的音频筛选网络模型可以从新的音频文件中识别属于目标音频类型以及目标语种类型的音频数据。

在本申请的技术方案中，通过计算机设备从音频文件中筛选目标音频数据，可以提高音频数据的筛选效率，在模型训练过程中，可以提高网络模型训练数据的获取速度，从而可以提高网络模型的训练效率。另外，由于网络模型的训练数据都为指定音频类型以及指定语种类型的数据，可以有助于提高网络模型的训练效果，提高网络模型对于指定类型音频数据的识别结果的准确性。

在合理条件下应当理解，虽然前文各实施例涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图12所示，提供一种音频数据筛选装置，该装置主要包括以下模块：

文件获取模块100，用于获取待筛选的原始音频文件，以及欲得到的目标音频数据的目标属性；

属性分析模块200，用于对原始音频文件中的各音频数据进行属性分析，得到各音频数据的音频属性；

属性比对模块300，用于将各音频数据的音频属性与目标属性进行比对，得到音频属性与目标属性不一致的非目标音频数据；

数据处理模块400，用于从原始音频文件中删除非目标音频数据，确定剩余的音频数据为目标音频数据。

本实施例提供一种音频数据筛选装置，在得到原始音频文件后，通过对音频数据进行属性分析以及属性比对，可以从原始音频文件中筛选出不符合期望的非目标音频数据，然后，通过删除非目标音频数据即可得到符合期望的目标音频数据。本申请不同于现有技术中是通过人工进行音频数据的筛选，而是通过计算机设备从音频文件中筛选目标音频数据，从而可以提高音频数据的筛选效率。

在一个实施例中，属性分析模块还包括：音频类型分类单元，用于对原始音频文件中的各音频数据进行音频类型分类，得到各音频数据对应的音频类型。

在一个实施例中，属性比对模块还包括：音频类型对比单元，用于将各音频数据对应的音频类型与目标音频类型进行比对，确定音频类型与目标音频类型不一致的音频数据为非目标音频数据。

在一个实施例中，属性分析模块还包括：语种识别单元，用于对原始音频文件中的各音频数据进行语种识别，得到各音频数据对应的语种类型。

在一个实施例中，属性比对模块还包括：语种对比单元，用于将各音频数据对应的语种类型与目标语种类型进行比对，确定语种类型与目标语种类型不一致的音频数据为非目标音频数据。

在一个实施例中，属性分析模块还包括：文字转换单元，用于对原始音频文件中的各音频数据进行文字转换，得到各音频数据对应的文字内容。

在一个实施例中，属性比对模块还包括：非目标内容确定单元，用于确定文字格式与预设格式一致的文字内容为非目标内容；确定非目标内容对应的音频数据为非目标音频数据。

关于音频数据筛选装置的具体限定可以参见上文中对于音频数据筛选方法的限定，在此不再赘述。上述音频数据筛选装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储待筛选的原始音频文件以及筛选得到的目标音频数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种音频数据筛选方法。

本领域技术人员可以理解，图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM) 或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (18)

1.一种音频数据筛选方法，其特征在于，所述方法包括：

获取待筛选的原始音频文件，以及欲得到的目标音频数据的目标属性；所述目标属性包括目标音频类型和目标语种类型；

对所述原始音频文件中的各音频数据进行属性分析，得到各所述音频数据的音频属性；

将各所述音频数据的音频属性与所述目标属性进行比对，得到音频属性与所述目标属性不一致的非目标音频数据；所述非目标音频数据为存在至少一条音频属性与对应类别的目标属性不同的音频数据；

从所述原始音频文件中删除所述非目标音频数据，确定剩余的音频数据为所述目标音频数据；所述剩余的音频数据为音频属性均与对应类别的目标属性相同的音频数据。

2.根据权利要求1所述的音频数据筛选方法，其特征在于，对所述原始音频文件中的各音频数据进行属性分析，得到各所述音频数据的音频属性，包括：

对所述原始音频文件中的各音频数据进行音频类型分类，得到各所述音频数据对应的音频类型。

3.根据权利要求2所述的音频数据筛选方法，其特征在于，将各所述音频数据的音频属性与所述目标属性进行比对，得到音频属性与所述目标属性不一致的非目标音频数据，包括：

将各所述音频数据对应的音频类型与所述目标音频类型进行比对，确定音频类型与所述目标音频类型不一致的音频数据为所述非目标音频数据。

4.根据权利要求1所述的音频数据筛选方法，其特征在于，对所述原始音频文件中的各音频数据进行属性分析，得到各所述音频数据的音频属性，包括：

对所述原始音频文件中的各音频数据进行语种识别，得到各所述音频数据对应的语种类型。

5.根据权利要求4所述的音频数据筛选方法，其特征在于，将各所述音频数据的音频属性与所述目标属性进行比对，得到音频属性与所述目标属性不一致的非目标音频数据，包括：

将各所述音频数据对应的语种类型与所述目标语种类型进行比对，确定语种类型与所述目标语种类型不一致的音频数据为所述非目标音频数据。

6.根据权利要求1所述的音频数据筛选方法，其特征在于，对所述原始音频文件中的各音频数据进行属性分析，得到各所述音频数据的音频属性，还包括：

对所述原始音频文件中的各音频数据进行文字转换，得到各所述音频数据对应的文字内容。

7.根据权利要求6所述的音频数据筛选方法，其特征在于，得到各所述音频数据对应的文字内容之后，从所述原始音频文件中删除所述非目标音频数据之前，还包括：

确定文字格式与预设格式一致的文字内容为非目标内容；

确定所述非目标内容对应的音频数据为所述非目标音频数据。

8.根据权利要求7所述的音频数据筛选方法，其特征在于，所述预设格式包括：连续出现至少第一预设数量的相同字符，或者，连续出现至少第二预设数量的相同组合结构，所述组合结构为标点符号与字符的组合。

9.一种音频数据筛选装置，其特征在于，所述装置包括：

文件获取模块，用于获取待筛选的原始音频文件，以及欲得到的目标音频数据的目标属性；所述目标属性包括目标音频类型和目标语种类型；

属性分析模块，用于对所述原始音频文件中的各音频数据进行属性分析，得到各所述音频数据的音频属性；

属性比对模块，用于将各所述音频数据的音频属性与所述目标属性进行比对，得到音频属性与所述目标属性不一致的非目标音频数据；所述非目标音频数据为存在至少一条音频属性与对应类别的目标属性不同的音频数据；

数据处理模块，用于从所述原始音频文件中删除所述非目标音频数据，确定剩余的音频数据为所述目标音频数据；所述剩余的音频数据为音频属性均与对应类别的目标属性相同的音频数据。

10.根据权利要求9所述的音频数据筛选装置，其特征在于，所述属性分析模块还包括：

音频类型分类单元，用于对所述原始音频文件中的各音频数据进行音频类型分类，得到各所述音频数据对应的音频类型。

11.根据权利要求10所述的音频数据筛选装置，其特征在于，所述属性比对模块还包括：

音频类型对比单元，用于将各所述音频数据对应的音频类型与所述目标音频类型进行比对，确定音频类型与所述目标音频类型不一致的音频数据为所述非目标音频数据。

12.根据权利要求9所述的音频数据筛选装置，其特征在于，所述属性分析模块还包括：

语种识别单元，用于对所述原始音频文件中的各音频数据进行语种识别，得到各所述音频数据对应的语种类型。

13.根据权利要求12所述的音频数据筛选装置，其特征在于，所述属性比对模块还包括：

语种对比单元，用于将各所述音频数据对应的语种类型与所述目标语种类型进行比对，确定语种类型与所述目标语种类型不一致的音频数据为所述非目标音频数据。

14.根据权利要求9所述的音频数据筛选装置，其特征在于，所述属性分析模块还包括：

文字转换单元，用于对所述原始音频文件中的各音频数据进行文字转换，得到各所述音频数据对应的文字内容。

15.根据权利要求14所述的音频数据筛选装置，其特征在于，所述属性比对模块还包括：

非目标内容确定单元，用于确定文字格式与预设格式一致的文字内容为非目标内容；确定所述非目标内容对应的音频数据为所述非目标音频数据。

16.根据权利要求15所述的音频数据筛选装置，其特征在于，所述预设格式包括：连续出现至少第一预设数量的相同字符，或者，连续出现至少第二预设数量的相同组合结构，所述组合结构为标点符号与字符的组合。

17.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。

18.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。

Images