CN103945282A - 文件读取方法和装置 - Google Patents

Abstract

本发明提供了一种文件读取方法和装置，该方法包括：发送方将需要传送的文件分割成固定大小的数据块，利用序列号和时间戳对每个数据块进行标识，封装到UDT数据包；终端统计数据包的丢失率，并检测当前可用带宽；将包丢失率以预定周期反馈给发送方来调整发送速度；在每个传输周期完成时，终端将丢失的数据块反馈给发送方，由发送方重新发送。本发明在终端处理能力的限制下，尽可能提高文件读取的速度，同时降低系统资源的消耗。

Description

文件读取方法和装置

技术领域

本发明涉及文件读取方法，特别涉及一种嵌入式系统的视频文件读取方法。

背景技术

随着智能交通系统的快速发展，大容量视频监控内容呈几何级数增长，通过嵌入式终端访问网络并获取和查看监控的需求日益增多.相比于边下载边播放的方式，先下载后播放的方式虽然在播放响应时间上更长，但是播放过程中可不受网络因素如带宽、延迟等影响，而且能够更好的支持VCR操作，因此仍是一种不可或缺的播放方式.然而，视频文件大小的增长过快.以MPEG2TS格式压缩后的视频文件为例，10分钟的高清视频大小通常都在1GB以上。如何在最短的时间内将高清视频文件从服务器端传送到嵌入式终端上，成为提高先下载后播放应用服务质量的一个迫切需求。另外，文件下载不能影响视频播放等娱乐业务的正常运行，因此在存在其他业务时文件传输进程必须尽可能地降低系统资源的使用。

为了提高文件传输速度，出现了各种各样的传输协议和方案。但这些方案大多适用于普通计算机间的文件传输，由于嵌入式视频终端资源有限，网络处理能力较弱，因此面向嵌入式终端的文件传输瓶颈不仅仅在于网络带宽等传统因素，较强的发送端发送能力和有限的接收端接收能力的不匹配，也是影响文件传输速度的重要因素。

因此，针对相关技术中所存在的上述问题，目前尚未提出有效的解决方案。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种文件读取方法，用于将视频文件通过网络传送至嵌入式终端，包括：

步骤1、发送方将需要传送的文件分割成固定大小的数据块，利用序列号和时间戳对每个数据块进行标识，将数据块封装到UDT数据包；

步骤2、所述终端统计传输过程中数据包的丢失率，并检测当前可用带宽；

步骤3、将包丢失率以预定周期反馈给发送方，由发送方基于当前包丢失率和所检测的带宽来调整发送速度；

步骤4、在每个传输周期完成时，终端将丢失的数据块的标识信息反馈给发送方，由发送方重新发送。

优选地，在所述步骤2中，记录连续数据包之间的间隔时间，通过中值过滤器进行过滤，使用平均值估计带宽容量，即将数据包的大小与平均间隔的比值估计为当前带宽。

优选地，在所述步骤3中，本发明基于以下过程进行速度控制：

在每一个速度控制的时间点，如果没有来自接收方的否定应答，则发送速度增加δ(x)，δ(x)非增且limx→+∞δ(x)＝0；

对于任一个否定应答，发送速度以一个固定因子θ(0<θ<1)的比例减小；

采用接收方定期应答的方式对发送速度进行反馈，接收方每隔预定时间向发送方发送一个反馈应答信号，发送方根据收到的应答信号调节数据发送速度；

应答信号中包含:该反馈间隔内收到的数据包总数目；该反馈间隔内丢失的数据包总数目；检测得到的网络带宽；该反馈间隔内发生的丢包事件个数；

发送方每次收到应答信号后，计算前一个反馈间隔内的包丢失率:

包丢失率＝丢失的数据包总数目/(收到的数据包总数目+丢失的数据包总数目)

如果包丢失率低于预定阈值，维持原先的速度继续发送数据；

如果包丢失率低于预定阈值，则降低发送速度；

若在一个反馈间隔内存在M个丢包事件，N为服从1到M的均匀分布的随机数，则发送速度下降为x＝(1-θ)N·x。

优选地，在所述步骤4中，接收方记录下丢失的数据包信息，在传输周期结束时一次性反馈给发送方，发送方在下一个传输周期重新发送这些丢失的数据包，整个过程反复进行，直到所有的数据包都被成功接收，

其中，在第一个传输周期，发送方将整个文件通过UDT协议发送给终端，终端通过序列号判断数据包是否有丢失，并记录下丢失数据包的序列号，如果一次丢包事件内连续丢失多个数据包，则记录丢失的第一个和最后一个数据包的序列号，并加上连续丢包的标志位；

在传输周期结束时，发送方通过TFTP向接收方发送传送完成的信号，接收方收到信号后，将丢包链表反馈给发送方，发送方重新发送丢失的数据包。

优选地，终端请求发送方重新发送的过程进一步包括:

步骤4.1，终端向服务器请求文件传输，服务器读取视频文件数据，封装为UDT数据包格式，发送给终端；

步骤4.2，终端接收分组，根据序列号判断是否有数据包丢失，并在丢包列表中记录丢失的数据包，写入磁盘，丢失的数据包以空包代替；

步骤4.3，服务器发送视频文件完毕，向终端发送传输完成信号；

步骤4.4，终端接收到传输完成信号，如果丢包列表不为空，将丢包列表反馈给服务器，请求重新发送，否则向服务器发送结束信号，关闭连接，执行步骤4.6)；

步骤4.5，服务器收到丢包列表，重新发送丢失的数据包，执行步骤4.4；

步骤4.6，服务器收到结束信号，关闭连接，传输完成。

根据本发明的另一方面，提供了一种文件读取装置，用于将视频文件通过网络传送至嵌入式终端，其特征在于，包括：

文件预处理模块，用于将需要传送的文件分割成固定大小的数据块，利用序列号和时间戳对每个数据块进行标识，将数据块封装到UDT数据包；

计算模块，用于统计传输过程中数据包的丢失率，并检测当前可用带宽；

发送速度调整模块，用于将包丢失率以预定周期反馈给发送方，由发送方基于当前包丢失率和所检测的带宽来调整发送速度；

差错控制模块，用于在每个传输周期完成时，将丢失的数据块的标识信息反馈给发送方，由发送方重新发送。

本发明相比现有技术，具有以下优点：

嵌入式终端的资源利用率保持在一个较低的水平，在此基础上，以最合适的速度将较大的视频文件提供到嵌入式终端来读取，保证文件传输的快速性和可靠性。

附图说明

图1是根据本发明实施例的文件读取方法的流程图。

具体实施方式

下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。

本发明的一方面提供了一种基于嵌入式的文件读取方法。图1是根据本发明实施例的文件读取方法流程图。本发明通过应用层控制，实现视频快速读取。如图1所示，实施本发明的具体步骤如下：

步骤1、发送方将需要传送的视频文件分割成固定大小的数据块，利用序列号和时间戳对每个数据块进行标识，将数据块封装到UDT数据包中。

根据本发明优选的实施例，在当前的版本中，封装后的UDT数据包大小统一为1480字节。

步骤2、所述终端统计传输过程中数据包的丢失率，并检测当前可用带宽；

优选地，本发明在检测链路的带宽过程中，记录连续数据包之间的间隔时间，通过中值过滤器过滤掉过大和过小的值后，使用平均值估计带宽容量。设数据包的大小为S，平均间隔时间为T，则带宽可以被估计为S/T。

步骤3、将包丢失率以预定周期反馈给发送方，由发送方基于当前包丢失率和所检测的带宽来调整发送速度；

进一步地，在步骤3的调整发送速度的步骤中，本发明基于以下算法进行速度控制，随着发送速度的增长,速度的增量逐渐变小。

在每一个速度控制的时间点，如果没有来自接收方的否定应答，则发送速度增加δ(x)，δ(x)非增且lim_x→+∞δ(x)＝0。

并且为了保证传输速度较快的达到稳定水平并减少振荡，δ(x)需要在x＝0处较大，并且以较快的速度减小。对于任一个否定应答，发送速度以一个固定因子θ(0<θ<1)的比例减小。

由于在以下步骤4中，差错恢复采用的是传输周期结束后，一次性重新发送的方式，因此在读取过程中不需要使用否定应答报告数据包的丢失并请求重新发送。

为了减轻嵌入式终端的工作，降低接收方的资源开销，本发明采用接收方定期应答的方式对发送速度进行反馈，接收方每隔预定时间向发送方发送一个反馈应答信号，优选为0.01秒，发送方根据收到的应答信号调节数据发送速度。

应答信号中包含如下内容:该反馈间隔内收到的数据包总数目；该反馈间隔内丢失的数据包总数目；检测得到的网络带宽；该反馈间隔内发生的丢包事件个数。

发送方每次收到应答信号后，根据下式计算前一个反馈间隔内的包丢失率:

包丢失率＝丢失的数据包总数目/(收到的数据包总数目+丢失的数据包总数目)

根据包丢失率的大小，分为以下情况:

如果包丢失率<0.05，有少量的丢包情况发生，说明网络可能达到了满载状态，或达到了终端处理能力的上限。对于文件传输来说，最重要的是提高数据的有效吞吐量，可以允许一定量的丢包来获取有效吞吐量的提升，丢失的包可以通过传输周期结束时的差错重新发送机制来恢复。因此，在这个阶段，发送方维持原先的速度继续发送数据。

如果包丢失率>0.05，表示丢包严重，说明网络已经十分拥塞，或者终端已经无法承受目前的发送速度，这时，终端维护丢失数据的成本会大大增加，同时，也会影响网络中其他数据流的正常传输，因此，需要发送方降低发送速度。

根据进一步的实施例，速度控制采用一种随机降速的策略。假设在一个反馈间隔内存在M个丢包事件，N为服从1到M的均匀分布的随机数，则发送速度下降为

x＝(1-θ)N·x

降速增量θ如果过小，在网络发生拥塞的时候，不能及时降低速度，导致拥塞需要较长时间才能恢复；如果过大，则会导致发送速度减小过多，降低了传输性能，并导致发送速度过于振荡，不够稳定。本发明采用经验值0.1。

由于反馈控制信号采用UDT协议，在网络拥塞时存在应答信号丢失的可能性。因此，接收方连续4个反馈周期内没有收到应答信号时，认为发生了一个丢包事件，按照降速方法降低发送速度。

步骤4、在每个传输周期完成时，终端将丢失的数据块的标识信息反馈给发送方，请求重新发送。

在该步骤中，本发明具体采用的策略是接收方记录下丢失的数据包信息，在传输周期结束时一次性反馈给发送方，发送方在下一个传输周期重新发送这些丢失的数据包，整个过程反复进行，直到所有的数据包都被成功接收。

在第一个传输周期，发送方将整个文件通过UDT协议发送给嵌入式终端。由于是不可靠的数据传输，有些数据包可能会由于网络拥塞或者接收方接收能力不足而丢失。接收方通过序列号判断数据包有无丢失，并记录下丢失数据包的序列号，如果一次丢包事件内连续丢失了多个数据包，则记录丢失的第一个和最后一个数据包的序列号，并加上连续丢包的标志位，以降低反馈的数据量。

在传输周期结束时，发送方通过TFTP向接收方发送传送完成的信号，接收方收到信号后，将丢包链表反馈给发送方。发送方重新发送丢失的数据包，整个过程循环进行，直到接收方成功接收到所有的数据包。

该差错恢复的具体流程如下:

步骤4.1终端(接收方)向服务器(发送方)请求文件传输，服务器读取视频文件数据，封装为UDT数据包格式，发送给终端；

步骤4.2终端接收分组，根据序列号判断是否有数据包丢失，并在丢包列表中记录丢失的数据包，当接收一定数量的数据后，写入磁盘，丢失的数据包以空包代替；

步骤4.3服务器发送视频文件完毕，向终端发送传输完成信号；

步骤4.4终端接收到传输完成信号，如果丢包列表不为空，将丢包列表反馈给服务器，请求重新发送，否则向服务器发送结束信号，关闭连接，执行步骤4.6)；

步骤4.5服务器收到丢包列表，重新发送丢失的数据包，执行步骤4.4；

步骤4.6服务器收到结束信号，关闭连接，传输完成。

根据本发明的另一方面，提供了一种文件读取装置，用于将视频文件通过网络传送至嵌入式终端，其特征在于，包括：

文件预处理模块，用于将需要传送的文件分割成固定大小的数据块，利用序列号和时间戳对每个数据块进行标识，将数据块封装到UDT数据包；

计算模块，用于统计传输过程中数据包的丢失率，并检测当前可用带宽；

发送速度调整模块，用于将包丢失率以预定周期反馈给发送方，由发送方基于当前包丢失率和所检测的带宽来调整发送速度；

差错控制模块，用于在每个传输周期完成时，将丢失的数据块的标识信息反馈给发送方，由发送方重新发送。

综上所述，本发明使得嵌入式终端的CPU利用率和内存利用率保持在一个较低的水平，在降低嵌入式终端资源消耗的基础上，以最合适的速度将较大的视频文件提供到嵌入式终端来读取，保证文件传输的快速性和可靠性，适用于交通视频监控等高可用需求的应用领域。

显然，本领域的技术人员应该理解，上述的本发明的各模块或各步骤可以用通用的计算系统来实现，它们可以集中在单个的计算系统上，或者分布在多个计算系统所组成的网络上，可选地，它们可以用计算系统可执行的程序代码来实现，从而，可以将它们存储在存储系统中由计算系统来执行。这样，本发明不限制于任何特定的硬件和软件结合。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (6)

1.一种文件读取方法，用于将视频文件通过网络传送至嵌入式终端，其特征在于，包括：

步骤1、发送方将需要传送的文件分割成固定大小的数据块，利用序列号和时间戳对每个数据块进行标识，将数据块封装到UDT数据包；

步骤2、所述终端统计传输过程中数据包的丢失率，并检测当前可用带宽；

步骤3、将包丢失率以预定周期反馈给发送方，由发送方基于当前包丢失率和所检测的带宽来调整发送速度；

步骤4、在每个传输周期完成时，终端将丢失的数据块的标识信息反馈给发送方，由发送方重新发送。

2.根据权利要求1所述的方法，其特征在于，在所述步骤2中，记录连续数据包之间的间隔时间，通过中值过滤器进行过滤，使用平均值估计带宽容量，即将数据包的大小与平均间隔的比值估计为当前带宽。

3.根据权利要求2所述的方法，其特征在于，在所述步骤3中，本发明基于以下过程进行速度控制：

在每一个速度控制的时间点，如果没有来自接收方的否定应答，则发送速度增加δ(x)，δ(x)非增且lim_x→+∞δ(x)＝0；

对于任一个否定应答，发送速度以一个固定因子θ(0<θ<1)的比例减小；

采用接收方定期应答的方式对发送速度进行反馈，接收方每隔预定时间向发送方发送一个反馈应答信号，发送方根据收到的应答信号调节数据发送速度；

应答信号中包含:该反馈间隔内收到的数据包总数目；该反馈间隔内丢失的数据包总数目；检测得到的网络带宽；该反馈间隔内发生的丢包事件个数；

发送方每次收到应答信号后，计算前一个反馈间隔内的包丢失率:

包丢失率＝丢失的数据包总数目/(收到的数据包总数目+丢失的数据包总数目)

如果包丢失率低于预定阈值，维持原先的速度继续发送数据；

如果包丢失率低于预定阈值，则降低发送速度；

若在一个反馈间隔内存在M个丢包事件，N为服从1到M的均匀分布的随机数，则发送速度下降为x＝(1-θ)N·x。

4.根据权利要求3所述的方法，其特征在于，在所述步骤4中，接收方记录下丢失的数据包信息，在传输周期结束时一次性反馈给发送方，发送方在下一个传输周期重新发送这些丢失的数据包，整个过程反复进行，直到所有的数据包都被成功接收，

其中，在第一个传输周期，发送方将整个文件通过UDT协议发送给终端，终端通过序列号判断数据包是否有丢失，并记录下丢失数据包的序列号，如果一次丢包事件内连续丢失多个数据包，则记录丢失的第一个和最后一个数据包的序列号，并加上连续丢包的标志位；

在传输周期结束时，发送方通过TFTP向接收方发送传送完成的信号，接收方收到信号后，将丢包链表反馈给发送方，发送方重新发送丢失的数据包。

5.根据权利要求4所述的方法，其特征在于，所述终端请求发送方重新发送的过程进一步包括:

步骤4.1，终端向服务器请求文件传输，服务器读取视频文件数据，封装为UDT数据包格式，发送给终端；

步骤4.2，终端接收分组，根据序列号判断是否有数据包丢失，并在丢包列表中记录丢失的数据包，写入磁盘，丢失的数据包以空包代替；

步骤4.3，服务器发送视频文件完毕，向终端发送传输完成信号；

步骤4.4，终端接收到传输完成信号，如果丢包列表不为空，将丢包列表反馈给服务器，请求重新发送，否则向服务器发送结束信号，关闭连接，执行步骤4.6)；

步骤4.5，服务器收到丢包列表，重新发送丢失的数据包，执行步骤4.4；

步骤4.6，服务器收到结束信号，关闭连接，传输完成。

6.一种文件读取装置，用于将视频文件通过网络传送至嵌入式终端，其特征在于，包括：

文件预处理模块，用于将需要传送的文件分割成固定大小的数据块，利用序列号和时间戳对每个数据块进行标识，将数据块封装到UDT数据包；

计算模块，用于统计传输过程中数据包的丢失率，并检测当前可用带宽；

发送速度调整模块，用于将包丢失率以预定周期反馈给发送方，由发送方基于当前包丢失率和所检测的带宽来调整发送速度；

差错控制模块，用于在每个传输周期完成时，将丢失的数据块的标识信息反馈给发送方，由发送方重新发送。