CN109040777B

CN109040777B - 一种物联网广播音频传输延迟减小方法

Info

Publication number: CN109040777B
Application number: CN201810938336.0A
Authority: CN
Inventors: 孙荣兴
Original assignee: Jiangsu Huateng Intelligent Technology Co Ltd
Current assignee: Jiangsu Huateng Intelligent Technology Co Ltd
Priority date: 2018-08-17
Filing date: 2018-08-17
Publication date: 2019-07-16
Anticipated expiration: 2038-08-17
Also published as: CN109040777A

Abstract

一种物联网广播音频内容传输延迟减小方法，其由多种算法组成，包括：采用UDP+校验函数、选择合适的传输包大小和缓冲区进行传输、对VBR格式MP3文件进行重编码后再传输、对传输内容分为结构化和非结构化数据，对于结构化数据直接从本地播放。校验函数是自行定义的，用于保证传输数据的完整性和一致性。传输包的大小和缓冲区的大小是可以优先的，也可以由用户自行定义。对VBR格式MP3文件进行重编码后再传输就为了避免了重新传输数据而产生的大量延迟。将传输内容分为结构化内容和非结构化内容，结构化内容在一次传输后即保存，下次播放时则直接从本地直接调取，而无需重新传输。

Description

一种物联网广播音频传输延迟减小方法

技术领域

本发明属于数据传输领域，更具体地涉及一种物联网广播音频内容传输延迟减小方法。

背景技术

广播是常见的传播方式，也是上世纪20年代开始流行的媒体之一。不过，随着技术的演进，广播从最初的模拟广播到数字广播，再到网络广播，已经经历了三代的变革。而随着互联网、移动互联网、云计算、大数据和物联网的发展，物联网广播将会成为第四代广播系统。在物联网广播系统中，会有大量各种类型的数据需要交换，这就对传输提出了较高的要求，要尽量减少延迟时间。广播传输系统，作为物联网广播的重要组成部分，其相关技术的发展，与用户的体验息息相关，因此受到了人们的格外的广泛关注。

延迟问题是数据在传输过程中常见的现象，尤其是远距离传输和大数据传输时更为明显，再加上传输的数据格式各不相同，如果采用相同的处理方法，则延迟问题会比较严重。随着广播物联网化进程的加快，包括内容和控制信号等数据量在不断增长，只有解决好延迟问题，才能够保证广播系统的物联网化和流畅运行。

在物联网广播系统中，主要存在着三种延迟现象：模数转换延迟、数据传输延迟和数模转换延迟。其中模数转换延迟主要是包括了模拟信号的采样、量化、编码、压缩延迟；数据传输延迟主要是传输数据的延迟，而数据主要分为内容和控制信号，内容有多种格式，而且数据量各不相同，为非结构化数据，控制信号一般是结构化数据；数模转换延迟则主要包括了解压、解码、后处理、播放等延迟。而在这三种延迟中，模数与数模转换与硬件及其性能相关，结构化数据组成的控制信号数据量较小，可优化的项目并不多。其中传输内容时，延迟往往更容易发生，一旦发生传输延迟，就会表现出卡、顿现象或者跳动现象（画面显示出马赛克就是跳动现象之一）。

正是基于以上背景，本发明针对物联网广播系统中的内容传输提出一种延迟减小方法，可以满足大数据时代对于大量数据低延时传输的需求。

目前物联网广播系统数据传输存在以下缺点：

采用TCP方式进行数据传输，造成网络开销过大，延迟较大；

采用UDP方式进行数据传输，减小网络开销，但是未作数据校验，不能保证传输数据的完整与一致；

传输包大小难以把握，较大或较小都会使得延迟较大；

针对VBR类型的MP3直接传输，没有做过重编码，容易产生卡、顿现象，影响用户体验，如果重新传输，延迟时间会大大增加；

未将传输内容进行分类处理，而统一进行网络传输，当数据较大时，延迟较大。

发明内容

为了解决上述技术问题，本发明的目的是：提供物联网广播音频内容传输延迟减小方法，该方法由多种算法组成，包括：采用UDP+校验函数、选择合适的传输包大小、对VBR格式MP3文件进行重编码后再传输、对传输内容进行分类，并进行分别处理，从而能够从多方面将内容传输延迟减小。

在互联网上要实现高质量实时数据连接，主要应用到传输层协议。在TCP/IP层结构模型中，传输层的功能是使源端主机和目标端主机上的对等实体可以进行会话。在传输层定义了两种服务质量不同的协议─TCP（transmission control protocol）传输控制协议和UDP（user datagram protocol）用户数据报协议。

TCP协议是一种面向连接的协议，能够提供可靠的、全双工的网络通信服务，具有确认、数据流控制、多路复用和数据同步等功能。但由于TCP协议对数据完整性和正确性的苛刻要求，不得不在协议自身中加入大量控制内容。这些控制内容可以用于检验数据包的时序，完整性，正确性等。由于这些数据的加入，导致发送端和接收端的计算量加大，并且，由于这些控制数据的加入，使得传输数据的体积也加大了很多，加重了对网络的负载。因此，数据的延时较长。而UDP协议是一种无连接的传输层协议，提供面向事务的简单不可靠信息传送服务，但是相对于TCP协议，UDP协议减少了确认、同步等操作，节省了很大的网络开销，它能够提供高传输效率的数据报服务，能够实现数据的实时性传输，在数据的实时传输中应用广泛。

但是UDP 并不提供对IP 协议的可靠机制、流控制以及错误恢复功能等，提供的是无连接的、不可靠的数据传送方式，因此不能保证数据传输的完整性和一致性。为此，加入校验函数来解决这一问题。

UDP的包在传输层不超过4K字节，而在Internet传输里，是不大于1400字节的。在现实场景中进行多次模拟实验，可以得到传输包最优化的大小。

本发明分别试验了64字节、128字节、512字节、1024字节的传输包，并记录下内容传输的延迟时间，单位为：毫秒（ms）。本发明发现，当包较小时，延迟时间较大，因为包较小时，需要传输的内容则会分为多个包，而在将传输内容封装成多个包则会消耗较多的时间，因为它需要进行多次处理，而且内容传输的次数会更多，单片机的处理速度可能跟不上，它也会造成一个负担；而包较大时，延迟时间也较大，这是因为包较大时，传输过程占用的时间不多，但是发送和传输的内容时会占用多种资源，则会占用更多时间，总的计算下来，延迟时间还是比较大的。基于以上原理，最终得到延迟最小的传输包大小。同时要注意的是，这个包的大小在不同的网络环境中是不一样的，在实际运用时也可由用户自行定义，以保证延迟最小。

在传输CBR的MP3文件时，本发明没有发现任何卡、顿、抖动现象，但是在传输VBR的MP3文件时，却发现了上述现象。为了避免重新传输并减小延迟，本发明采用了前端重新编码（recoding）的方法。另外，本发明还进行了另一种解决方案的尝试，即将VBR格式的MP3通过UDP包发送到终端，由终端进行上述解码播放，发现延时较长，与终端的硬件性能和计算能力是相关的。因此，将重新编码的工作放在前端进行，效果较好。

随着物联网广播的发展，其中传输的内容越来越多，也越来越大。除了传输的音频内容外，在网络中还有其他众多内容和信号需要传输，再加上一些电磁干扰，尤其是在通过2.4G WiFi无线传输时，干扰更为激烈，传输速度远达不到标称量，这些都会造成内容传输的延迟。为此，本发明采用了终端CDN+人工智能识别方案来解决这一问题，具体策略为：将传输的内容分为结构化内容和非结构化内容，其中结构化内容即为背景音乐、国歌、体操音乐、眼保键操音乐、英语听力文件等“程序化的内容”，这些内容往往会重复播放，这些内容往往已经形成了文件，而且一般不通过麦克风来输入；非结构化内容则是播放一次就不会再次重复播放的，比如：校领导或班主任的晨会内容、平时的通知内容，这些内容一般通过麦克风来输入。针对结构化内容，将这些内容在终端接收到后，在解压、解码、播放的同时将其保存相应的文件，下次播放时则直接从本地直接调取，而无需重新传输。

本发明通过上述多种算法和方法并行，能够减小物联网广播系统中音频内容的传输延迟，而且这些算法和方法几乎都是在后台运行，用户除了可以自行设置极少数参数外，并不需要任何的学习。就算不是专业技术人员，也可以很快上手并掌握。

附图说明

图1 物联网广播系统中存在的延迟。

图2 网络TCP/IP层结构。

图3 UDP传输包大小与延时。

图4 UDP传输包大小与延时曲线图。

图5 VBR类型MP3文件的结构。

具体实施方式

如图1，是物联网广播系统中存在的延时图。在物联网广播系统中存在着3类4种延迟现象：发生在T1阶段的是模数转换，延时产生于模拟信号的采样、量化、编码和压缩的过程中；发生在T2阶段的是数据传输，其中又分为内容传输和信号传输，产生内容传输延迟的原因是没有做算法优化，不同内容采用相同传输策略；产生信号传输延迟的原因是控制信号较多；发生在T3阶段是数模转换，延时产生于数字信号的解压、解码、后处理、播放过程。在这其中最需要优化的是内容传输延迟，只有减小内容传输的延迟，才能够提升物联网广播系统中的传输体验。

如图2，是网络TCP/IP层结构。本发明采用了UDP协议+校验函数，在减少网络资源占用从而减小传输延时的同时实现数据完整与一致。

具体地，TCP和UDP均属于传输层，在进行内容传输时，可以采用TCP方案也可以采用UDP方案，本发明采用了UDP协议+校验函数，可以减少网络资源占用并保证数据完整与一致。之所以采用这样的解决方案，是因为UDP和TCP相比，UDP具有较好的实时性，工作效率比TCP高，适用于对高速传输和实时性有较高的通信或广播通信。而且，UDP可以实现一对多传输（每一条TCP连接只能是点到点的，UDP支持一对一，一对多，多对一和多对多的交互通信），而且少了三次握手和确认，占用资源资源更少。但是UDP的原则是尽最大努力交付，不保证可靠交付，其可靠性较TCP要差一些，由于UDP可能会出现丢包和传输错误的现象，因此采用校验函数来解决内容传输的丢包和错误问题。

同时，UDP与TCP相比，也容量产生丢包现象，但是由于当下网络环境一般都比较稳定而且网速也非常快，基本上可以达到100Mbps，这一问题几乎可以忽略。针对UDP包容易丢包和出错的问题，采用校对函数来保证传输内容的完整与一致。

设UDP包长度为n字节，则一共有8*n位，从0至8n-1，将这8n位数据采用如下函数进行求值：

只有传播端传输的UDP和终端接收到的UDP包的数据的上述函数值完全相同，才表示内容在传输过程中没有产生丢包和错误的情况产生。

如果传播端和接收端传输数据函数值计算结果不一致，则向传播端发起请求，重新传输并校验。

如图3是 UDP传输包大小与延时表，图4 是UDP传输包大小与延时曲线图。本发明采用了512字节的UDP作为最优方案，为了适应不同网络和环境的需求，可以提供多种大小包供用户选择应用，比如：64字节、128字节、512字节、1024字节等，以保证延迟最小。

同时，尽管UDP协议延时较小，但在不可靠网络条件下，这仍然是影响传输的重要因素。在这种情况下，通常在终端设置一个缓冲区来减小网络的延时。接收到的数据包先存入缓冲区，当缓冲区中达到预定数量的包后，开始解压、解码播放。缓冲区的大小应该随着网络的变化而变化，选定缓冲区的大小至关重要，因为如果缓冲区过小，一些最终能到达甚至马上就到到达的数据包可能会被认为丢包而遗弃，增大的丢包的可能性。相反，如果缓冲区设定过大，将有更大延时，而延时的过大将有可能超过人耳能够感觉的阈值。为了适应不同网络和环境的需求，可以提供多种大小缓存区供用户选择应用，比如：32MB、64MB、128MB、256MB、512MB等，以保证延迟最小。

如图5，是VBR类型MP3文件的结构，在VBR格式的MP3第一个帧里存放了MP3文件的帧的总个数，从而获得播放总时间，同时还有的字节中存放了播放总时间。假设是t秒的MP3歌曲，分为n段，则每两个相邻索引（index）的时间差就是t÷n秒，通过这个相邻索引就可以将所有的帧的数据读取出来并转为PCM。具体地：

其中，i从0开始计算，表示第一帧，一直至n-1，一共是n帧，b_i表示第i帧的比特率，t_i表示第i帧的时长（有的MP3，这一值是恒定的）。

通过在前端进行重新编码，将其实时重新编码为PCM数据，再通过UDP包发送，同时配合校验函数保证数据的完整与一致。本发明发现卡、顿、抖动等现象消失了，很好地解决VBR格式MP3的播放问题，从而避免了重新传输数据而产生的大量延迟。

随着物联网广播的发展，其中传输的内容越来越多，也越来越大。尽管硬件的处理速度和带宽传输速度已经越来越快，但是根据比尔.安迪定理，硬件性能的提升总会被内容或软件消耗。同时，在网络中还有其他众多内容和信号需要传输，再加上一些电磁干扰，尤其是在通过2.4G WiFi无线传输时，干扰更为激烈，传输速度远达不到标称量，这些都会造成内容传输的延迟。

本发明采用了终端CDN+人工智能识别方案来解决这一问题，具体策略为：将传输的内容分为结构化内容和非结构化内容，其中结构化内容即为背景音乐、国歌、体操音乐、眼保键操音乐、英语听力文件等“程序化的内容”，这些内容往往会重复播放，这些内容往往已经形成了文件，而且一般不通过麦克风来输入；非结构化内容则是播放一次就不会再次重复播放的，比如：校领导或班主任的晨会内容、平时的通知内容，这些内容一般通过麦克风来输入。针对结构化内容，将这些内容在终端接收到后，在解压、解码、播放的同时将其保存相应的文件，下次播放时则直接从本地直接调取，而无需重新传输。

具体的方法为：在传输内容前，先将播放文件的大小进行计算，然后在终端的存储设备中寻找与播放文件大小相同的文件，接着对比文件六分之一处8个字节部分、6分之一处8个字节部分、4分之一处8个字节部分、2分之一处8个字节部分。若完全相同，则取得传输端播放时间，并在播放时间到达时，直接播放终端存储设备中的文件，这将会大大减小延迟；如果有多个大小相同的文件，则找到第一个“完全相同”的文件，并播放该文件；如果找不到相同大小文件或找不到“完全相同”文件，则从播放端接受内容传输，并在这些内容在终端接收到后，在解压、解码、播放的同时将其保存相应的文件。

其计算方法为：首先取得文件的长度l，然后将此文件的长度l除以8，若不能整除，则直接舍去余数，取模L1=[l/8]；

接着从L1*7处取得8个字节，记为L1-8，将其转为10进制数，并对其取常用对数lg，记为lg(L1-8)；

从L1*5处取得8个字节，记为L1-6，将其转为10进制数，并对其取常用对数lg，记为lg(L1-6)；

从L1*3处取得8个字节，记为L1-4，将其转为10进制数，并对其取常用对数lg，记为lg(L1-4)；

从L1处取得8个字节，记为L1-2，将其转为10进制数，并对于其常用对数lg，记为lg(L1-2)。

通过上述多种方法，物联网广播中的内容传输的延迟问题得到了很好的解决。

最后要强调的是，本发明所述的具体实施方式是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims

1.一种物联网广播音频传输延迟减小方法，其特征在于，采用了多种方法来减小音频传输延迟，具体地：

对于音频传输采用UDP协议+自定义校验函数进行，包括：

UDP包的长度取512字节；

自定义校验函数用于保证传输音频内容的完整与一致，设UDP包长度为n字节，则一共有8*n位，从0位至8n-1位，将这8n位数据采用如下函数进行求值：其中i表示从0位至8n-1位每一位的值，发送端和接收端计算值完全相同时表示传输正确，如果计算值不相同，则发送端重新发送数据并计算，直至计算值完全相同；

对于VBR格式MP3文件，采用了前端重编码(recoding)的方式进行传输，即将在前端转为PCM，通过UDP包进行传输，以减小延迟，包括：

通过判断MP3第一个有效帧的数据区里有XING或INFO或VBRI标志即为VBR格式MP3；

通过VBR格式MP3第一个帧存放文件帧的总个数获得总播放时间，单位为：秒；

通过VBR格式MP3第一个帧存放文件总帧数，获得相邻帧索引(index)的时间差，计算方法为：总播放时间÷文件总帧数；

通过相邻帧索引就可以将所有帧的数据读取出来并转为PCM，计算方法为：其中，i从0开始计算，表示第1帧，一直至n-1帧，一共是n帧，b_i表示第i帧的比特率，t_i表示第i帧的时长；

采用终端CDN+人工智能识别的方法来减小传输延迟，具体的：将传输的内容分为结构化内容和非结构化内容，其中结构化内容即为背景音乐、国歌、体操音乐、眼保键操音乐和英语听力文件，这些文件均为“程序化的内容”，这些内容往往会被重复播放，而且这些内容往往已经形成了文件，而且不通过麦克风来输入；非结构化内容则是播放一次就不会再次重复播放的，包括：校领导或班主任的晨会内容、平时的通知内容，这些内容通过麦克风来输入，针对结构化内容，将这些内容在终端接收到后，在解压、解码、播放的同时将其保存相应的文件；

在传输内容前，先将播放文件的大小进行计算，然后在终端的存储设备中寻找与播放文件大小相同的文件，接着对比文件8分之一处8个字节部分、6分之一处8个字节部分、4分之一处8个字节部分、2分之一处8个字节部分，若完全相同，则取得传输端播放时间，并在播放时间到达时，直接播放终端存储设备中的文件，这将会大大减小延迟；如果有多个大小相同的文件，则找到第一个“完全相同”的文件，并播放该文件；如果找不到相同大小文件或找不到“完全相同”文件，则从播放端接受内容传输，并在这些内容在终端接收到后，在解压、解码、播放的同时将其保存为相应的文件，以供下次寻找并播放；

其判断“完全相同”文件计算方法为：首先取得文件的长度l，然后将此文件的长度l除以8，若不能整除，则直接舍去余数，取模L1＝[l/8]；

从L1处取得8个字节，记为L1-2，将其转为10进制数，并对于其常用对数lg，记为lg(L1-2)；

只有发送端的文件和终端的文件进行上述计算后所有数值均相等，才能判断为“完全相同”文件。

2.如权利要求1所述的一种物联网广播音频传输延迟减小方法，其特征在于，采用的多种减小音频传输延迟的方法是同步进行的，而不是分步骤进行的。