CN113556292B

CN113556292B - Ip网络的音频播放方法及系统

Info

Publication number: CN113556292B
Application number: CN202110679900.3A
Authority: CN
Inventors: 不公告发明人
Original assignee: Zhuhai Hivi Technology Co ltd
Current assignee: Zhuhai Hivi Technology Co ltd
Priority date: 2021-06-18
Filing date: 2021-06-18
Publication date: 2022-09-13
Anticipated expiration: 2041-06-18
Also published as: CN113556292A

Abstract

本发明公开了IP网络的音频播放方法及系统，该方法包括：发送步骤，IP服务端根据音频类型，处理待发送音频数据，存入相应的数据缓冲区中，并对数据缓冲区中的音频数据进行分割，添加协议头，存入发送缓冲队列，按预设频率进行发送；协议头中包括：音频识别码、音频类型及音频顺序；接收步骤，IP音频终端根据音频类型，对音频数据进行数据处理，存入音频缓冲区的第一级缓冲区，基于音频顺序排序；IP音频终端根据预设频率将音频数据从所在缓冲区移动至高一级的缓冲区中，直至音频数据被移动至最后一级缓冲区，并根据音频采样率对最后一级缓冲区中的音频数据进行定时播放。本发明可以确保IP音频终端在网络不稳定的情况下，实现稳定数据传输。

Description

IP网络的音频播放方法及系统

技术领域

本发明涉及网络音频播放的技术领域，特别涉及一种IP网络的音频播放方法及系统。

背景技术

目前IP网络音频系统中，由一台IP服务器或主机带N个IP音频终端构成。一般情况下IP服务器或主机运行IP管理软件系统，负责提供节目源及播放控制等系统管理；IP音频终端根据角色不同，或执行音频采集或音频播放，从而构成完整的IP网络音频系统，譬如IP网络公共广播系统和IP背景音乐系统。

一般情况下，IP服务器根据需要从自身媒体库或节目源中把MP3文件或PCM音频数据通过TCP/IP网络采用组播或单播方式发送全体IP终端或某个分区的IP终端或单个IP终端，相应的IP终端从网络中获取数据，平稳流畅进行播放。在音频数据发送与接收过程，如何保障在系统网络不稳定、带宽变化情况下，实现稳定数据传输，成为一个重要问题。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种IP网络的音频播放方法，能够在系统网络不稳定、带宽变化情况下，实现音频数据的稳定传输。

本发明还提出一种执行上述IP网络的音频播放方法的IP网络的音频播放系统。

根据本发明的第一方面实施例的IP网络的音频播放方法，包括以下步骤：发送步骤，IP服务端根据音频类型，处理待发送音频数据，存入相应的数据缓冲区中，并对所述数据缓冲区中的音频数据进行分割，添加协议头，存入发送缓冲队列，按预设频率进行发送；所述协议头中包括：音频识别码、所述音频类型及音频顺序；所述音频类型包括：MP3、实时采播PCM及非实时采播PCM；接收步骤，IP音频终端根据所述音频类型，对接收到的音频数据进行数据处理，存入音频缓冲区的第一级缓冲区，并基于所述音频顺序排序，其中，所述音频缓冲区分为若干级；所述IP音频终端根据预设频率将所述音频数据从所在缓冲区移动至高一级的缓冲区中，直至所述音频数据被移动至最后一级缓冲区，并根据音频采样率对最后一级缓冲区中的所述音频数据进行定时播放。

根据本发明实施例的IP网络的音频播放方法，至少具有如下有益效果：音频数据的发送端IP服务器及音频数据的接收端IP音频终端按照固定的协议数据进行数据的传输，该协议数据中包括音频识别码、音频类型及音频顺序和分割后的音频数据，可以确保IP音频终端在网络不稳定的情况下，实现稳定数据传输，可有效防止因丢包所产生的音频数据播放不连续、卡顿、断音等问题。

根据本发明的一些实施例，所述发送步骤包括：若所述音频类型为MP3，则按预设的时间周期逐帧读取预设帧数的所述待发送音频数据，存储至相应的所述数据缓冲区；对所述数据缓冲区的所述音频数据按帧组装所述协议头，使所述音频顺序为帧序号。

根据本发明的一些实施例，若所述音频类型为MP3，则每次读取38～40帧的数据存储到相应的所述数据缓冲区；以及，每23ms从所述发送缓冲队列中取出一帧所述音频数据进行发送。

根据本发明的一些实施例，所述发送步骤包括：若所述音频类型为非实时采播PCM，则按预设的时间周期解压预设大小的所述待发送音频数据，存储至相应的所述数据缓冲区；将所述数据缓冲区的所述音频数据分割为若干块，将每块所述音频数据作为协议包的负载，添加协议头，使所述音频顺序为每块所述音频数据对应的块号。

根据本发明的一些实施例，所述发送步骤包括：若所述音频类型为实时采播PCM，则直接保存至相应的所述数据缓冲区中；将所述数据缓冲区的所述音频数据分割为若干块，将每块所述音频数据作为协议包的负载，添加协议头，使所述音频顺序为每块所述音频数据对应的块号。

根据本发明的一些实施例，若所述音频类型为非实时采播PCM或者实时采播PCM，分割得到的每块所述音频数据的大小为1K；按每3～5ms的预设频率从所述发送缓冲队列中取出一块所述音频数据进行发送。

根据本发明的一些实施例，所述IP音频终端根据音频采样率对最后一级缓冲区中的所述音频数据进行定时播放包括：若最后一级缓冲区中的所述音频数据的数量大于预设数量或者当前正在播放音频，则根据所述音频顺序，在最后一级缓冲区中查找与当前正在播放音频的下一个音频数据；若存在所述下一个音频数据，则播放所述下一个音频数据；否则，播放最后一级缓冲区中所述音频顺序最小的所述音频数据。

根据本发明的第二方面实施例的IP网络的音频播放系统，包括：IP服务端，用于根据音频类型，处理待发送音频数据，存入相应的数据缓冲区中，并对所述数据缓冲区中的音频数据进行分割，添加协议头，存入发送缓冲队列，按预设频率进行发送；所述协议头中包括：音频识别码、所述音频类型及音频顺序；所述音频类型包括：MP3、实时采播PCM及非实时采播PCM；IP音频终端，用于根据所述音频类型，对接收到的音频数据进行数据处理，存入音频缓冲区的第一级缓冲区，并基于所述音频顺序排序，其中，所述音频缓冲区分为若干级；所述IP音频终端根据预设频率将所述音频数据从所在缓冲区移动至高一级的缓冲区中，直至所述音频数据被移动至最后一级缓冲区，并根据音频采样率对最后一级缓冲区中的所述音频数据进行定时播放。

根据本发明实施例的IP网络的音频播放系统，至少具有如下有益效果：音频数据的发送端IP服务器及音频数据的接收端IP音频终端按照固定的协议数据进行数据的传输，该协议数据中包括音频识别码、音频类型及音频顺序和分割后的音频数据，可以确保IP音频终端在网络不稳定的情况下，实现稳定数据传输，可有效降低因丢包所产生的音频数据播放不连续、卡顿、断音等问题。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的方法的主要流程示意图；

图2为本发明实施例的方法中的IP服务器对音频数据的发送处理流程图；

图3为本发明实施例的方法中的IP音频终端对音频数据的接收处理流程图；

图4为本发明实施例的方法中的IP音频终端对音频数据的播放消抖处理流程图；

图5为本发明实施例的系统的模块示意框图。

附图标记：

IP服务器100、IP音频终端200。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个及两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。在本发明的描述中，步骤标号仅是为了描述的方便或者引述的方便所作出的标识，各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

参照图1，本发明的实施例的方法包括：发送步骤和接收步骤。发送步骤包括：IP服务端根据音频类型，处理待发送音频数据，存入相应的数据缓冲区中，并对数据缓冲区中的音频数据进行分割，添加协议头，存入发送缓冲队列，按预设频率进行发送。协议头中的信息包括：音频识别码、音频类型及音频顺序。本实施例中，音频类型包括：MP3、实时采播PCM及非实时采播PCM。其中，音频识别码表示数据包是否为音频数据；音频顺序表示该数据包中的音频数据的播放顺序。本实施例中，音频类型及音频顺序被存放于同一数据——音频ID中，音频ID既用于区分当前音频类型是MP3还是PCM，也用于表示音频数据顺序，代表发送方发送音频数据的先后顺序。例如，音频ID为16位的数，其中，高2位表示音频类型，低14位为音频顺序。显然，本发明的实施例并不限于此，音频ID还可以是其它的格式，音频类型及音频顺序也可以分立进行存放。

接收步骤，IP音频终端根据音频类型，对接收到的音频数据进行数据处理，存入音频缓冲区的第一级缓冲区，并基于音频顺序排序，其中，音频缓冲区分为若干级；IP音频终端根据预设频率将音频数据从所在缓冲区移动至高一级的缓冲区中，直至音频数据被移动至最后一级缓冲区，并根据音频采样率对最后一级缓冲区中的音频数据进行定时播放。

在IP服务器端，音频数据读取传输处理分mp3压缩音频文件和音频数据为PCM格式的其他音频文件、实时PCM音频流3种不同处理策略。参照图2，IP服务端对音频数据的处理过程如下。

对mp3压缩文件的处理，播放器在播放的过程中按照mp3数据格式逐帧读取mp3数据,一般n毫秒读取一次,读取m帧,每帧X字节，遇到文件结尾可能导致帧字节不足，则用静音数据0补齐。开启数据传输线程，监听播放器，获取该播放器读取mp3数据，其中，读取过程由播放器自动完成时间同步。监听线程把播放器读取到的mp3数据另行保存到数据缓冲区A1；本实施例中，将播放器每次读取到的38～40帧数据存入缓冲区A1。在A1中将每帧数据作为C协议的数据负载，添加C协议头尾字段和帧序号后并打包，放入发送缓冲队列排序等待发送。发送线程按照合理预设的M1帧/毫秒(例如，图2中示出的23ms)速度有规律发送数据给终端，该M1帧/毫秒的速度决定了系统中该类型音频文件播放延迟参数，发送根据实际需要采用UDP组播(分区分组)或单播。

若音频数据为PCM格式的其他音频文件，即非实时采播的PCM音频流数据，则由播放器按某个固定时间(例如，如图2所示，150ms；该时间值可进行调节)解压出一段PCM数据，该段PCM数据据大小为若干数量字节，被保存到待处理缓冲区A2中，服务器将A2中的数据以预设大小(例如，如图2所示，1K)分割成若干的数据块，每个数据块作为C协议的数据负载，添加C协议头尾字段和帧序号并打包，放入发送缓冲队列排序等待发送。发送线程按合理预设的M2帧/毫秒(例如，图2中示出的3～5ms)的速度有规律发送数据给终端，该M2帧/毫秒速度决定了系统中该类型音频文件播放延迟参数，发送根据实际需要采用UDP组播或单播。

若音频数据为实时采播PCM音频流数据，则由IP服务器将实时采播PCM数据直接保存到待处理缓冲区A3中，服务器以预设大小对采集到的实时PCM数据分割成若干数据块。例如，如图2中所示，对PCM音频数据，无论该PCM音频数据是否为实时采播，均按1K的大小切割缓冲区A3PCM音频数据。将每个数据块作为C协议的数据负载，添加C协议头尾字段和帧序号并打包，放入发送缓冲队列排序等待发送。发送线程按合理预设的M3帧/毫秒(例如，图2中示出的3～5ms)的速度有规律发送数据给终端，该M3帧/毫秒的速度决定了系统实时采播音频延迟参数，发送根据实际需要采用UDP组播或单播。

本实施例中的发送数据队列所占用的空间，对于MP3数据，只需要40～80帧数据，PCM则根据数据采样率，需要20～60K大小的空间。因此，仅需要较小的资源占用即可在网络不稳定的情况下，实现稳定数据传输实现稳定地音频传输播放。

参见图3，在IP音频终端，接收音频数据处理采用统一的核心处理策略，采用网络音频分级缓存，从而实现音频稳定播放。主要处理过程包括：接收到音频数据，提取出音频类型，得到当前音频数据的总类后，根据音频类型对数据进行相应的处理并存放于音频缓存区，等待音频缓存达到一定数据量后，再进行音频播放。由于接收设备IP音频终端在接收到音频数据后先把音频数据缓存到缓存区，由于数据不一定按顺序到达IP音频终端，可以采用诸如冒泡算法基于音频顺序对缓冲区的音频数据进行排序，以保证顺序播放。本发明的实施例中，音频缓存区分为三部分，分别为第一级缓冲区，第二级缓冲区和第三级缓冲区。第一级缓冲区为单片机内部内存，特点是保存速度快，第一级缓冲区的大小为若干KB。第二级缓冲区为外部内存，特点是与第一级缓冲区相比，保存速度没有第一级缓冲区快，但容量较大。第三级缓冲区为单片机内部缓存，特点与第一缓冲区相同，第三级缓冲区的大小为若干K。IP音频终端每隔固定Y毫秒把若干(如1K)音频数据从第一级缓冲区转移到第二级缓冲区，然后把若干音频数据从第二级缓冲区转移到第三级缓冲区。IP音频终端将第三级缓冲区的音频数据，根据该音频数据的播放采样率进行定时播放，播放完毕后丢弃该音频数据。

为防止音频播放时出现抖动，IP音频终端对第三级缓冲区的音频数据进行了播放消抖处理，参照图4。第三级缓冲区新接收到一个音频数据，则将音频ID(其中包括音频类型及音频顺序)及音频数据一起存放入缓存队列。当检测到缓存队列中的音频数量大于一定值(图4中示出的例子为10)或者当前的播放状态为正在播放时，继续检测当前缓存队列是否为空。若为空，表示第三级缓冲区中无音频数据，设置播放状态为正在缓存，返回，等待接收新的音频数据。若不为空，则设置播放状态为正在播放，并在缓存队列中查找音频ID等于LastID+1的音频数据，其中LastID表示为距离当前时间的最近一次播放的音频ID。若找到该音频数据，则直接播放该音频ID。若未找到音频ID等于LastID+1的音频数据，则在缓存队列中查找音频ID最小的音频数据进行播放。播放完毕后丢弃该音频数据。

本发明实施例的系统，如图5所示，包括：IP服务端100，用于根据音频类型，处理待发送音频数据，存入相应的数据缓冲区中，并对所述数据缓冲区中的音频数据进行分割，添加协议头，存入发送缓冲队列，按预设频率进行发送；所述协议头中包括：音频识别码、所述音频类型及音频顺序；所述音频类型包括：MP3、实时采播PCM及非实时采播PCM；IP音频终端200，用于根据所述音频类型，对接收到的音频数据进行数据处理，存入音频缓冲区的第一级缓冲区，并基于所述音频顺序排序，其中，所述音频缓冲区分为若干级；所述IP音频终端根据预设频率将所述音频数据从所在缓冲区移动至高一级的缓冲区中，直至所述音频数据被移动至最后一级缓冲区，并根据音频采样率对最后一级缓冲区中的所述音频数据进行定时播放。应理解的是，图5中仅示出一个IP音频终端200作为示例，但这并不能理解为对本发明实施例的限制，本发明的实施例的系统中，还可以包括多个IP音频终端200。

尽管本文描述了具体实施方案，但是本领域中的普通技术人员将认识到，许多其它修改或另选的实施方案同样处于本公开的范围内。例如，结合特定设备或组件描述的功能和/或处理能力中的任一项可以由任何其它设备或部件来执行。另外，虽然已根据本公开的实施方案描述了各种例示性具体实施和架构，但是本领域中的普通技术人员将认识到，对本文所述的例示性具体实施和架构的许多其它修改也处于本公开的范围内。

上文参考根据示例性实施方案所述的系统、方法、系统和/或计算机程序产品的框图和流程图描述了本公开的某些方面。应当理解，框图和流程图中的一个或多个块以及框图和流程图中的块的组合可分别通过执行计算机可执行程序指令来实现。同样，根据一些实施方案，框图和流程图中的一些块可能无需按示出的顺序执行，或者可以无需全部执行。另外，超出框图和流程图中的块所示的那些部件和/或操作以外的附加部件和/或操作可存在于某些实施方案中。

因此，框图和流程图中的块支持用于执行指定功能的装置的组合、用于执行指定功能的元件或步骤的组合以及用于执行指定功能的程序指令装置。还应当理解，框图和流程图中的每个块以及框图和流程图中的块的组合可以由执行特定功能、元件或步骤的专用硬件计算机系统或者专用硬件和计算机指令的组合来实现。

本文所述的程序模块、应用程序等可包括一个或多个软件组件，包括例如软件对象、方法、数据结构等。每个此类软件组件可包括计算机可执行指令，所述计算机可执行指令响应于执行而使本文所述的功能的至少一部分(例如，本文所述的例示性方法的一种或多种操作)被执行。

软件组件可以用各种编程语言中的任一种来编码。一种例示性编程语言可以为低级编程语言，诸如与特定硬件体系结构和/或操作系统平台相关联的汇编语言。包括汇编语言指令的软件组件可能需要在由硬件架构和/或平台执行之前由汇编程序转换为可执行的机器代码。另一种示例性编程语言可以为更高级的编程语言，其可以跨多种架构移植。包括更高级编程语言的软件组件在执行之前可能需要由解释器或编译器转换为中间表示。编程语言的其它示例包括但不限于宏语言、外壳或命令语言、作业控制语言、脚本语言、数据库查询或搜索语言、或报告编写语言。在一个或多个示例性实施方案中，包含上述编程语言示例中的一者的指令的软件组件可直接由操作系统或其它软件组件执行，而无需首先转换成另一种形式。

软件组件可存储为文件或其它数据存储构造。具有相似类型或相关功能的软件组件可一起存储在诸如特定的目录、文件夹或库中。软件组件可为静态的(例如，预设的或固定的)或动态的(例如，在执行时创建或修改的)。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims

1.一种IP网络的音频播放方法，其特征在于，包括以下步骤：

发送步骤，IP服务端根据音频类型，处理待发送音频数据，存入相应的数据缓冲区中，并对所述数据缓冲区中的音频数据进行分割，添加协议头，存入发送缓冲队列，按预设频率进行发送；所述协议头中包括：音频识别码、所述音频类型及音频顺序；所述音频类型包括：MP3、实时采播PCM及非实时采播PCM，其中，PCM为脉冲编码调制；

接收步骤，IP音频终端根据所述音频类型，对接收到的音频数据进行数据处理，存入音频缓冲区的第一级缓冲区，并基于所述音频顺序排序，其中，所述音频缓冲区分为若干级；所述IP音频终端根据预设频率将所述音频数据从所在缓冲区移动至高一级的缓冲区中，直至所述音频数据被移动至最后一级缓冲区，并根据音频采样率对最后一级缓冲区中的所述音频数据进行定时播放。

2.根据权利要求1所述的IP网络的音频播放方法，其特征在于，所述发送步骤包括：

若所述音频类型为MP3，则按预设的时间周期逐帧读取预设帧数的所述待发送音频数据，存储至相应的所述数据缓冲区；

对所述数据缓冲区的所述音频数据按帧组装所述协议头，使所述音频顺序为帧序号。

3.根据权利要求2所述的IP网络的音频播放方法，其特征在于，若所述音频类型为MP3，则每次读取38～40帧的数据存储到相应的所述数据缓冲区；以及，每23ms从所述发送缓冲队列中取出一帧所述音频数据进行发送。

4.根据权利要求1所述的IP网络的音频播放方法，其特征在于，所述发送步骤包括：

若所述音频类型为非实时采播PCM，则按预设的时间周期解压预设大小的所述待发送音频数据，存储至相应的所述数据缓冲区；

将所述数据缓冲区的所述音频数据分割为若干块，将每块所述音频数据作为协议包的负载，添加协议头，使所述音频顺序为每块所述音频数据对应的块号。

5.根据权利要求1所述的IP网络的音频播放方法，其特征在于，所述发送步骤包括：

若所述音频类型为实时采播PCM，则直接保存至相应的所述数据缓冲区中；

6.根据权利要求4或5所述的IP网络的音频播放方法，其特征在于，若所述音频类型为非实时采播PCM或者实时采播PCM，分割得到的每块所述音频数据的大小为1K；按每3～5ms的预设频率从所述发送缓冲队列中取出一块所述音频数据进行发送。

7.根据权利要求1所述的IP网络的音频播放方法，其特征在于，所述IP音频终端根据音频采样率对最后一级缓冲区中的所述音频数据进行定时播放包括：

若最后一级缓冲区中的所述音频数据的数量大于预设数量或者当前正在播放音频，则根据所述音频顺序，在最后一级缓冲区中查找当前正在播放音频的下一个音频数据；

若存在所述下一个音频数据，则播放所述下一个音频数据；否则，播放最后一级缓冲区中所述音频顺序最小的所述音频数据。

8.一种IP网络的音频播放系统，用于执行权利要求1至7中任一项的方法，其特征在于，包括：

IP服务端，用于根据音频类型，处理待发送音频数据，存入相应的数据缓冲区中，并对所述数据缓冲区中的音频数据进行分割，添加协议头，存入发送缓冲队列，按预设频率进行发送；所述协议头中包括：音频识别码、所述音频类型及音频顺序；所述音频类型包括：MP3、实时采播PCM及非实时采播PCM，其中，PCM为脉冲编码调制；

IP音频终端，用于根据所述音频类型，对接收到的音频数据进行数据处理，存入音频缓冲区的第一级缓冲区，并基于所述音频顺序排序，其中，所述音频缓冲区分为若干级；所述IP音频终端根据预设频率将所述音频数据从所在缓冲区移动至高一级的缓冲区中，直至所述音频数据被移动至最后一级缓冲区，并根据音频采样率对最后一级缓冲区中的所述音频数据进行定时播放。