CN103581158A - 一种语音数据的处理方法及系统 - Google Patents

Abstract

本发明提供了一种语音数据的处理方法及系统，其中语音数据处理的方法涉及客户端和服务器，包括：所述客户端在采集连续的语音数据时检测所述语音数据的能量；根据所述语音数据的能量对所述语音数据进行分包；将完整的语音数据包发送至所述服务器。通过上述方式，能够解决由分包不当引起的数据处理错误的问题。

Description

一种语音数据的处理方法及系统

【技术领域】

本发明涉及数据处理技术，特别涉及一种语音数据的处理方法及系统。

【背景技术】

通过客户端和服务器的协同工作来处理数据，已经是软件工程领域应用广泛的技术。在这种协同工作模式下，客户端可以进行数据采集的工作，并将采集到的数据发送至服务器，当服务器接收到客户端发送的数据后，完成基于所接收数据的计算工作。在客户端的计算能力有限时，采用上述客户端与服务器的协同工作模式进行数据处理，能够完成很多原本由客户端无法完成的工作。

在上述工作模式中，客户端在将数据发送至服务器前，需要对采集到的数据进行分包，并将数据按照数据包的形式进行发送。如果服务器每接收到一个数据包，就能够对这个数据包进行处理，即服务器对当前数据包的处理不依赖下一数据包，则数据采集、数据传输和数据处理的工作就可以并发执行，从而大大提高上述协同工作模式的数据处理效率。请参考图1，图1为客户端与服务器并发协同工作的示意图。如图1所示，客户端对采集到的数据分包后，将完整的数据包发送至服务器，服务器不需要等到所有的数据包都到达后才开始进行数据处理，而是可以接收到一个数据包便处理与这个数据包相关的数据。这样，对于连续的数据流，即使客户端还没有完成对该数据流的采集，如果服务器已经接收到了先发送的数据包，也可以开始进行数据处理。

随着语音识别技术的发展，上述客户端与服务器的协同工作模式，也被应用到了语音识别领域。例如：移动终端一边接收语音指令数据，一边对接收的数据进行分包发送，服务器在收到数据包后就基于该数据包进行语音识别。但是，在现有技术中，对语音数据进行分包时的切分方式是任意的，例如不对获取的语音数据进行分析就随机对数据进行切分。这种方式，很可能将属于一个字的读音数据切分在不同的数据包中发送。例如，“我”字的读音被切分开，分别在第一数据包和第二数据包中发送，这样，服务器在收到第一数据包后基于不包含完整的“我”的读音数据的第一数据包进行语音识别，就会出现识别错误。可见，现有的语音数据处理方法中，存在由不恰当分包导致的数据处理错误的问题。

【发明内容】

本发明所要解决的技术问题是提供一种语音数据处理的方法及系统，以解决现有的语音处理技术中存在的由分包不当引起的数据处理错误的问题。

本发明为解决技术问题而采用的技术方案是提供一种语音数据的处理方法，涉及客户端和服务器，其特征在于，所述方法包括：所述客户端在采集连续的语音数据时检测所述语音数据的能量；根据所述语音数据的能量对所述语音数据进行分包；将完整的语音数据包发送至所述服务器。

根据本发明之一优选实施例，所述方法进一步包括：所述服务器对所述语音数据包进行语音识别处理。

根据本发明之一优选实施例，根据所述语音数据的能量对所述语音数据进行分包的步骤具体包括：根据所述语音数据的能量形成的曲线确定所述语音中的停顿点；根据所述语音中的停顿点对所述语音数据进行分包。

根据本发明之一优选实施例，根据所述语音数据的能量形成的曲线确定所述语音中的停顿点的步骤具体包括：以所述语音数据的能量形成的曲线中的任意波谷所对应的位置作为所述语音中的停顿点；或者，以所述语音数据的能量形成的曲线中的持续时长超过设定阈值的波谷所对应的位置作为所述语音中的停顿点。

根据本发明之一优选实施例，根据所述语音中的停顿点对所述语音数据进行分包的步骤具体包括：将两个以上连续的停顿点间所包含的任意长度的语音数据作为一个数据包；或者，将两个以上连续的停顿点间所包含的符合设定长度的语音数据作为一个数据包。

根据本发明之一优选实施例，所述设定长度是由所述服务器对所述语音数据包进行语音识别处理所需时间确定的。

本发明还提供了一种语音数据的处理系统，包括客户端和服务器，其特征在于，所述客户端包括：采集单元，用于采集连续的语音数据；检测单元，用于在所述采集单元采集连续的语音数据时检测所述语音数据的能量；切分单元，用于根据所述语音数据的能量对所述语音数据进行分包；客户端通讯单元，用于将完整的语音数据包发送至所述服务器。

根据本发明之一优选实施例，所述服务器包括：语音识别单元，用于对所述语音数据包进行语音识别处理。

根据本发明之一优选实施例，所述切分单元包括：停顿确定单元，用于根据所述语音数据的能量形成的曲线确定所述语音中的停顿点；数据包生成单元，用于根据所述语音中的停顿点对所述语音数据进行分包。

根据本发明之一优选实施例，所述停顿点确定单元根据所述语音数据的能量形成的曲线确定所述语音中的停顿点的方式具体包括：以所述语音数据的能量形成的曲线中的任意波谷所对应的位置作为所述语音中的停顿点；或者，以所述语音数据的能量形成的曲线中的持续时长超过设定阈值的波谷所对应的位置作为所述语音中的停顿点。

根据本发明之一优选实施例，所述数据包生成单元根据所述语音中的停顿点对所述语音数据进行分包的方式具体包括：将两个以上连续的停顿点间所包含的任意长度的语音数据作为一个数据包；或者，将两个以上连续的停顿点间所包含的符合设定长度的语音数据作为一个数据包。

根据本发明之一优选实施例，所述设定长度是由所述服务器对所述语音数据包进行语音识别处理所需时间确定的。

由以上技术方案可以看出，在采集语音数据时检测语音数据的能量，并按照语音数据的能量对语音数据进行分包，能够使得分出的每个语音数据包足够支持服务器基于该数据包进行数据处理的需要，从而避免由于分包不当导致的数据处理错误。

【附图说明】

图1为客户端与服务器并发协同工作的示意图；

图2为本发明中语音数据处理的方法的实施例的流程示意图；

图3为本发明中客户端对语音数据的能量进行检测得到的语音能量示意图；

图4为本发明中根据停顿点对语音数据进行分包的实施例的流程示意图；

图5为本发明中语音数据包的长度示意图；

图6为本发明中语音数据处理的系统的实施例的结构示意框图；

图7为本发明中切分单元的实施例的结构示意框图。

【具体实施方式】

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

请参考图2，图2为本发明中语音数据处理的方法的实施例的流程示意图。如图1所示，该方法包括：

步骤S 101：客户端在采集连续的语音数据时检测语音数据的能量。

步骤S102：根据语音数据的能量对语音数据进行分包。

步骤S103：将完整的语音数据包发送至服务器。

步骤S104：服务器对收到的语音数据包进行语音识别处理。

下面对上述步骤进行详细说明。

本发明中的客户端可以为任意能够进行语音录入的装置，包括手机、平板电脑等。步骤S101中，用户进行连续的语音录入时，在语音终止前，客户端将对语音数据进行持续的采集。在采集过程中，客户端还将对采集到的语音数据进行能量检测。

请参考图3，图3为本发明中客户端对语音数据的能量进行检测得到的语音能量示意图。从图3中可以看出，语音数据的能量形成了具有起伏的曲线，该曲线偏离零轴越多的地方说明该地方对应的语音数据能量越高，反之则说明该地方对应的语音数据能量越低。可以理解，语音数据的能量能够反映出该处的音量等因素。因此步骤S102具体包括：

步骤S1021：根据语音数据的能量形成的曲线确定语音中的停顿点。

步骤S1022：根据语音中的停顿点对语音数据进行分包。

如图3所示，语音数据的能量形成的曲线中包含了多个波谷，波谷代表该处的语音能量较低，可以理解，语音中的停顿点应该出现在波谷对应的位置。图3中的波谷有两种类型，分别如图3中的波谷1和波谷2所示，波谷1的持续时长较长，而波谷2的持续时长较短。可以由此判断，波谷2应为一句话中字与字之间形成的停顿，而波谷1为句子或短语间形成的停顿。

在本发明中，可以以较小的粒度对语音数据进行切分，如将字与字分开，在不同的数据包中发送，也可以以较大的粒度对语音数据进行切分，如将句子与句子分开，在不同的数据包中发送。因此具体地，步骤S 1021可以有下列两种不同的实施方式：

方式一：以语音数据的能量形成的曲线中的任意波谷所对应的位置作为语音中的停顿点。

方式二：以语音数据的能量形成的曲线中的持续时长超过设定阈值的波谷所对应的位置作为语音中的停顿点。

其中，方式一能够保证每个停顿点均处于字的发音完结处，后续根据停顿点进行分包处理时，就不会出现将一个字的语音数据切分到不同数据包的情况了。方式二中的设定阈值，是用以判断语音中的停顿性质的依据，如果波谷持续的时长超过了这一阈值，则认为该处的停顿为句子或短语结束造成的停顿，将该处作为停顿点，就可以在后续分包时，形成包含完整句子或短语的数据包。

步骤S1021确定语音中的停顿点后，步骤S1022即可利用停顿点对语音数据进行分包。具体地，步骤S1022可以有下列两种实施方式：

方式一：将两个以上连续的停顿点间所包含的任意长度的语音数据作为一个数据包。

方式二：将两个以上连续的停顿点间所包含的符合设定长度的语音数据作为一个数据包。

根据方式一，如果已采集到的语音数据中确定出多个停顿点，则只要将两个连续的停顿点间的语音数据切出，就可得到一个最小粒度的数据包，另外，也可以将更多个连续的停顿点间的语音数据切出，如连续的三个或四个停顿点间的语音数据切出作为一个包。在这种方式下，只要保证一个数据包中的语音数据是连续的，且该数据包包含的语音数据的首尾均属于停顿点即可，不限定数据包的长度，优选地，每次发送的数据包的长度可根据发送时网络状况来确定，如果网络较为拥挤则将当次切出的数据包长度确定得相对短一些，如果网络较为畅通，则可将当次切出的数据包长度确定得相对长一些。

但是，考虑到数据包的大小，既可能对网络传输的效率产生影响，也可能对服务器对数据包的处理效率产生影响，在步骤S1022的实施方式二中，对数据包的大小进行了限制，每个数据包的大小需满足设定长度。

每个数据包中的数据不仅有语音数据，还有一些与传输协议相关的数据，因此，就一段固定长度的语音数据而言，并非分成越多的数据包越好，因为数据包越多，当这段语音数据传输完成时，传输的语音数据在所传输数据中的占比就越低，显然，与传输协议相关的数据并非是真正希望传输的，但是却占用了网络资源，从这个角度考虑，数据包大一些从而使得数据包的数量少一些，能够减少网络资源的消耗。但是，数据包如果过大，就有可能降低服务器对数据包进行语音识别处理的效率，因此，在方式二的实施方式中，对数据包的长度进行了限制。

请参考图4和图5，图4为步骤S1022的实施方式二的流程示意图，图5为语音数据包的长度示意图。如图4所示，步骤S1021确定出已采集到的语音数据中的停顿点后，步骤S1022中将两个连续停顿点间的语音数据分作一个数据包，然后判断当前分出的这个数据包的长度是否符合设定长度，如果是，就将当前这个数据包发送出去，否则取下两个连续停顿点间的语音数据与当前数据合并，并再次判断合并后的数据包是否符合设定长度，直到数据包满足设定长度为止，将满足设定长度的数据包发送出去。上述说明中的下两个连续停顿点可参考图5中的示意，应为以上一个切分段的结束点开始的两个连续停顿点。

在步骤S1022的实施方式二中，设定长度是根据服务器对完整的语音数据包进行语音识别处理所需时间确定的，因为根据前面的描述可知，语音数据包的大小会影响服务器处理数据包的效率，因此，在本实施例中，可以预先根据大量数据统计出服务器对一个数据包处理的时间最优情况下的数据包大小，来确定上述设定长度。可以理解，这里的设定长度可以是一区间取值。

分包后，步骤S103中会将完整的语音数据包发送至服务器，服务器一旦收到语音数据包，即可基于该语音数据包进行语音识别处理。进一步地，服务器可在收到所有语音数据包并处理完成后，把所有语音数据包的识别结果连接起来作为完整的识别结果，并返回至客户端。此外，服务器也可以在每处理完一个数据包后，将处理结果返回客户端，当客户端获取到所有数据包的识别结果后，将所有数据包的识别结果连接起来作为完整的识别结果。另外，应该理解，在步骤S104中，服务器对数据包进行语音识别处理得到的结果，也可进一步在服务器用于其他应用，例如确定语音搜索的热点等等，在此不再赘述。

值得注意的是，在图2所示的语音数据处理方法的实施例中，步骤S 104并非本发明的必要技术特征，实际上，以本发明中的技术方案进行语音数据分包并传输数据包，在服务器一端，也可以利用获得的每个数据包进行除语音识别之外的其他任何类型的处理，例如利用收到的语音数据包训练方言特征库等等。图2以一种优选实施方式对本发明的技术方案进行了介绍。

请参考图6，图6为本发明中语音数据处理的系统的实施例的结构示意框图。如图6所示，该系统涉及客户端201和服务器301。本发明中的客户端可以为任意能够进行语音录入的装置，包括手机、平板电脑等。

客户端201包括：采集单元2011、检测单元2012、切分单元2013以及客户端通讯单元2014，服务器202包括语音识别单元3011。

其中采集单元2011，用于采集连续的语音数据。本发明中，用户进行连续的语音录入时，在语音终止前，采集单元2011将对语音数据进行持续的采集。

检测单元2012，用于在采集单元2011采集连续的语音数据时检测语音数据的能量。请参考图3，从图3中可以看出，语音数据的能量形成了具有起伏的曲线，该曲线偏离零轴越多的地方说明该地方对应的语音数据能量越高，反之则说明该地方对应的语音数据能量越低。可以理解，语音数据的能量能够反映出该处的音量等因素。

请继续参考图6。切分单元2013，用于根据语音数据的能量对语音数据进行分包。请参考图7，图7为本发明中切分单元的实施例的结构示意框图。如图7所示，切分单元2013包括：停顿确定单元2013_1和数据包生成单元2013_2。其中停顿确定单元2013_1，用于根据语音数据的能量形成的曲线确定语音中的停顿点。数据包生成单元2013_2，用于根据语音中的停顿点对语音数据进行分包。

请参考图3，如图3所示，语音数据的能量形成的曲线中包含了多个波谷，波谷代表了该处的语音能量较低，可以理解，语音中的停顿点应该出现在波谷对应的位置。图3中的波谷有两种类型，分别如图3中的波谷1和波谷2所示，波谷1的持续时长较长，而波谷2的持续时长较短。可以由此判断，波谷2应为一句话中字与字之间形成的停顿，而波谷1为句子或短语间形成的停顿。

在本发明中，切分单元2013可以以较小的粒度对语音数据进行切分，如将字与字分开，在不同的数据包中发送，也可以以较大的粒度对语音数据进行切分，如将句子与句子分开，在不同的数据包中发送。因此具体地，停顿确定单元2013_1根据语音数据的能量形成的曲线确定语音中的停顿点的方式可以是以下任意一种：

方式一：停顿确定单元2013_1以语音数据的能量形成的曲线中的任意波谷所对应的位置作为语音中的停顿点。

方式二：停顿确定单元2013_1以语音数据的能量形成的曲线中的持续时长超过设定阈值的波谷所对应的位置作为语音中的停顿点。

其中，方式一能够保证每个停顿点均处于字的发音完结处，后续根据停顿点进行分包处理时，就不会出现将一个字的语音数据切分到不同数据包的情况了。方式二中的设定阈值，是用以判断语音中的停顿性质的依据，如果波谷持续的时长超过了这一阈值，则认为该处的停顿为句子或短语结束造成的停顿，将该处作为停顿点，就可以在后续分包时，形成包含完整句子或短语的数据包。

在停顿确定单元2013_1得到语音中的停顿点后，数据包生成单元2013_2就可以利用停顿点对语音数据进行分包。具体地，数据包生成单元2013_2根据语音中的停顿点对语音数据进行分包的方式可以是以下任意一种：

方式一：数据包生成单元2013_2将两个以上连续的停顿点间所包含的任意长度的语音数据作为一个数据包。

方式二：数据包生成单元2013_2将两个以上连续的停顿点间所包含的符合设定长度的语音数据作为一个数据包。

根据方式一，如果停顿点确定单元2013_1在已采集到的语音数据中确定出多个停顿点，则数据包生成单元2013_2只要将两个连续的停顿点间的语音数据切出，就可得到一个最小粒度的数据包，另外，数据包生成单元2013_2也可以将更多个连续的停顿点间的语音数据切出，如连续的三个或四个停顿点间的语音数据切出作为一个包。在这种方式下，只要保证一个数据包中的语音数据是连续的，且该数据包包含的语音数据的首尾均属于停顿点即可，不限定数据包的长度，优选地，每次发送的数据包的长度可根据发送时网络状况来确定，如果网络较为拥挤则数据包生成单元2013_2将当次切出的数据包长度确定得相对短一些，如果网络较为畅通，则数据包生成单元2013_2可将当次切出的数据包长度确定得相对长一些。

但是，考虑到数据包的大小，既可能对网络传输的效率产生影响，也可能对服务器对数据包的处理效率产生影响，在方式二中，数据包生成单元20132对数据包的大小进行了限制，每个数据包的大小需满足设定长度。

每个数据包中的数据不仅有语音数据，还有一些与传输协议相关的数据，因此，就一段固定长度的语音数据而言，并非分成越多的数据包越好，因为数据包越多，当这段语音数据传输完成时，传输的语音数据在所传输数据中的占比就越低，显然，与传输协议相关的数据并非是真正希望传输的，但是却占用了网络资源，从这个角度考虑，数据包大一些从而使得数据包的数量少一些，能够减少网络资源的消耗。但是，数据包如果过大，就有可能降低服务器对数据包进行语音识别处理的效率，因此在方式二中，数据包生成单元20132对数据包的大小进行了限制，其中设定长度是根据服务器对完整的语音数据包进行语音识别处理所需时间确定的，因为根据前面的描述可知，语音数据包的大小会影响服务器处理数据包的效率，因此，在本实施例中，可以预先根据大量数据统计出服务器对一个数据包处理的时间最优情况下的数据包大小，来确定上述设定长度。

请继续参考图6。客户端通讯单元2014，用于将完整的语音数据包发送至服务器。语音识别单元3011，用于对收到的语音数据包进行语音识别处理。

本发明中，语音识别单元3011对语音数据包进行语音识别处理，可以采用任意现有的语音识别算法，在此不再赘述。应该理解，语音识别单元3011是作为优选实施方式出现的，并非本发明系统的必要单元，实际上通过图6中的客户端201得到的语音数据包，服务器301可以进行除语音识别之外的其他任何类型的处理，例如服务器301包含一特征训练单元（图中未示出），用于利用收到的语音数据包训练方言特征库等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (12)

1.一种语音数据的处理方法，涉及客户端和服务器，其特征在于，所述方法包括：

所述客户端在采集连续的语音数据时检测所述语音数据的能量；

根据所述语音数据的能量对所述语音数据进行分包；

将完整的语音数据包发送至所述服务器。

2.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

所述服务器对所述语音数据包进行语音识别处理。

3.根据权利要求1所述的方法，其特征在于，根据所述语音数据的能量对所述语音数据进行分包的步骤具体包括：

根据所述语音数据的能量形成的曲线确定所述语音中的停顿点；

根据所述语音中的停顿点对所述语音数据进行分包。

4.根据权利要求3所述的方法，其特征在于，根据所述语音数据的能量形成的曲线确定所述语音中的停顿点的步骤具体包括：

以所述语音数据的能量形成的曲线中的任意波谷所对应的位置作为所述语音中的停顿点；或者，以所述语音数据的能量形成的曲线中的持续时长超过设定阈值的波谷所对应的位置作为所述语音中的停顿点。

5.根据权利要求3所述的方法，其特征在于，根据所述语音中的停顿点对所述语音数据进行分包的步骤具体包括：

将两个以上连续的停顿点间所包含的任意长度的语音数据作为一个数据包；或者，将两个以上连续的停顿点间所包含的符合设定长度的语音数据作为一个数据包。

6.根据权利要求5所述的方法，其特征在于，所述设定长度是由所述服务器对所述语音数据包进行语音识别处理所需时间确定的。

7.一种语音数据的处理系统，包括客户端和服务器，其特征在于，所述客户端包括：

采集单元，用于采集连续的语音数据；

检测单元，用于在所述采集单元采集连续的语音数据时检测所述语音数据的能量；

切分单元，用于根据所述语音数据的能量对所述语音数据进行分包；

客户端通讯单元，用于将完整的语音数据包发送至所述服务器。

8.根据权利要求7所述的系统，其特征在于，所述服务器包括：

语音识别单元，用于对所述语音数据包进行语音识别处理。

9.根据权利要求7所述的系统，其特征在于，所述切分单元包括：

停顿确定单元，用于根据所述语音数据的能量形成的曲线确定所述语音中的停顿点；

数据包生成单元，用于根据所述语音中的停顿点对所述语音数据进行分包。

10.根据权利要求9所述的系统，其特征在于，所述停顿点确定单元根据所述语音数据的能量形成的曲线确定所述语音中的停顿点的方式具体包括：

以所述语音数据的能量形成的曲线中的任意波谷所对应的位置作为所述语音中的停顿点；或者，以所述语音数据的能量形成的曲线中的持续时长超过设定阈值的波谷所对应的位置作为所述语音中的停顿点。

11.根据权利要求9所述的系统，其特征在于，所述数据包生成单元根据所述语音中的停顿点对所述语音数据进行分包的方式具体包括：

将两个以上连续的停顿点间所包含的任意长度的语音数据作为一个数据包；或者，将两个以上连续的停顿点间所包含的符合设定长度的语音数据作为一个数据包。

12.根据权利要求11所述的系统，其特征在于，所述设定长度是由所述服务器对所述语音数据包进行语音识别处理所需时间确定的。

Images