CN106330289A - 一种大数据卫星网络传输系统 - Google Patents

Abstract

一种大数据卫星网络传输系统，发送端对原始大数字文件进行读取、分组、打包，通过卫星链路发送到接收端；接收端接收到数据包后，统计丢包、错包情况，并将错包信息回传到发送端。发送端根据回传的丢包、错包信息向接收端补发丢失或损坏的数据包，直至接收端接收到完整的数据包后，生成完整的大数据文件。本系统可以以广播、组播等方式完成大数据文件的传输，能够实现高效、准确、安全的将数据文件同时传输到多个用户接收端，适用于数字音视频、数据库文件等大数据文件的广播传送。

Description

一种大数据卫星网络传输系统

技术领域

本发明属一种网络数据的传输系统，具体涉及一种大数据的卫星网络传输系统。

背景技术

目前，大数据媒体的的发行方式是将数据文件拷贝到存储量较大的硬盘中，通过邮局(快递)寄送或派人送达，这种方式存在发行速度慢、效率低、安全性差的问题。随着通信网络的快速发展，建机规模化的高效大数据媒体发行网络成为普及数字媒体的一个重要手段，而且也是数据媒体有效运营的重要环节。

大数据媒体的网络传输的模式是发送端将原始大数据文件通过网络传输到多个用户接收端，在这过程中，发送端服务器要读取原始大数据文件，并将其分割成若干编号的数据包进行发送，目前在发送端，存在对原始大数据文件读取、编号、打包、发送的效率和稳定性均较低的问题，影响了数据的传输效率。

此外，为了保证接收数据的完整，网络传输均设有纠错机制：在接收端设有验包程序，根据验包结果对丢失数据进行补充，最终生成完整的大数据文件。目前的纠错方法通常是在发送数据包时，插入若干冗余包，接收端可以利用冗余包来恢复丢失的源数据包，冗余度(兀余包与数据包之比)越高，其纠错能力越强，但同时带来的问题是占用的带宽也越大，降低了带宽的利用率和数据传输的效率。

发明内容

本发明要解决的技术问题是提供一种能提高数据包发送效率和稳定性，并能提高传输网络带宽利用率，提高网络传输效率的大数据卫星网络传输系统。

本发明的进一步方案是提供一种能够提高补包效率的大数据卫星网络传输系统。

本发明包含下述内容：

发送端服务器读取原始大数据文件，并对读取的数据文件进行分组、打包封装，通过发送端通信链路传向卫星链路，进行广播发送，再通过接收端通信链路，发送到接收端服务器；

接收端服务器接收到数据包后，存储接收到的正确的数据包，统计丢失，损坏的数据包情况，并将丢包、错包信息回传到发送端服务器；发送端服务器根据回传的丢包、错包信息向接收端补发丢失或损坏的数据包，如此循环，直至接收端服务器接收到完整的数据包后，再将所有数据包合并，生成完整的大数据，其特征在于：

在所述发送端服务器开辟二级缓存，由容量较大的一级缓存完成所述对原始大数据文件的读取；容量较小的二级缓存从一级缓存里读取数据，服务器对二级缓存读取的数据完成所述的分组、打包封装。这样处理数据的优点是可加快文件的读取的速度，大大提高了发送端服务器在单位时间内发送数据包的效率和稳定性。

接收端对于丢包、错包的编号处理，非采用简单的记录，同时采用多种方式进行记录(差值法、位标识法、连续长度法等)，然后选用数据量最小的方式将信息回传给发送服务器，从而节省了发送服务器端地面Internet网络的带宽需求及发送服务器的处理负荷，使得发送端服务器可以同时监听上千甚至更多的接收端服务器返回的丢包、错包信息，使得系统可以大规模的使用。

差值法：记录在分组中第一个丢包、错包的编号，以及其他编号与其差值；

位标识法：记录分组中第一个丢包、错包的编号，之后的丢包、错包编号按照二进制码表示，1代表该编号正确接收，0表该编号存在丢包、错包；

连续长度法：记录多组连续丢包、错包的第一个丢包、错包编号及连续的长度。

本发明的进一步方案是：所述接收端通信链路通过地面通信链路与发送端通信链路连接，接收端服务器将获得的丢包、错包信息通过地面通信链路回传到发送端。发送端服务器将丢包、错包信息进行统计处理，补包 过程可以根据后续传送任务情况和统计结果进行人工干预，需要给大量接收端补发的数据包由卫星链路发送到接收端服务器，少量接收端需要的补发数据包由地面通信链路发送到接收端服务器。

其优点是可以同时向多个接收端用户发送需要补发的数据包，提高补包效率，例如当多个接收端用户由于同样的原因丢失了同样的数据包时，本发明方法可以将补发的数据包通过卫星通信链路或者(地面Internet网络)同时发送到各个丢包用户端；对于少量用户需要的补发数据包，通过地面网络进行补发，也提高了卫星网络的传输效率。

本发明为大范围(卫星覆盖到的区域)、同时、安全、快速发行大数据媒体提供了可能，使大数据文件拷贝可以在最短的时间内通过卫星通道发送到各个用户接收端，实现一点发送，多点接收，缩短了大数据媒体的发行时间，节约了发行成本，而且本发明可以充分利用传输网络的带宽，提高卫星信道的利用率，进一步降低通过卫星发行的成本。

附图说明

当结合以下附图来考虑以下具体实施方式时，可以理解本发明及其大量目标、特征和获得的优点，在附图中：

图1示出了本发明实施例大数据卫星网络传输系统结构示意图

图2示出了本发明实施例发送端服务器程序流程图

图3示出了本发明实施例接收端服务器程序流程图

图4示出了本发明实施例接收端服务器校验、统计丢包、错包信息过程流程图

图5示出了本发明接收端服务器记录并回传丢包、错包编号的软件流程图

具体实施方式

下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的电路、材料或方法。

在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特 性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和、或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。应当理解，当称“元件”“连接到”或“耦接”到另一元件时，它可以是直接连接或耦接到另一元件或者可以存在中间元件。相反，当称元件“直接连接到”或“直接耦接到”另一元件时，不存在中间元件。相同的附图标记指示相同的元件。这里使用的术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。

附图1是本例大数据卫星网络传输系统硬件结构示意图，设有发送端服务器11和接收端服务器15。

所述发送端服务器11从大数据文件存储介质10读取数据，进行处理后打包推送至卫星调制器12，然后通过卫星链路13传送至接收端；接收端接收到的数据通过卫星解调器14解调后，由接收服务器15进行处理，形成传送过程的丢包、错包信息，通过地面Internet网络17传送至发送端服务器，进行丢包、错包的补发，当接收到完整正确的全部数据包后，由接收端服务器进行合并，存储文件至大数据文件存储介质16。

卫星链路是租用卫星公司提供的通信链路，负责传送发送端服务器发来的数据。同时接收端服务器又通过地面Internet链路与发送端服务器连接，使得各接收端服务器可以和发送端服务器交互信息，构成不对称带宽(高带宽大数据量通信通过卫星链路13广播完成，小数据量交互信息通过地面Internet通信链路17完成)的星形网络。

附图2是发送端服务器工作软件程序流程图，本例发送端服务器用程序开启一大，一小两块内存区域作为缓存，较大缓存作为一级缓存，较小缓存作为二级缓存。

程序开始后，按下述步骤进行工作：

200步骤：开始，添加发行任务，包含允许接收的接收端授权信息，发行的大数据文件的存储信息等等；

210步骤：读取原始文件，按照原始文件大小分配一级缓存区域；

220步骤：存储原始文件至一级缓存区域，并分割成指定的大小如果存储失败，转至290，告警退出，如果存储成功，继续至230；

230步骤：启动监听服务，用于接收从接收端服务器返回的错包、丢包信息，并且进行统计分析；

240步骤：读取授权信息，发送文件的大小等信息，按照指定格式发送，重发发送，当监听服务指示大部分接收端收到授权信息后，转至步骤241，同时对未收到授权信息的接收端转为周期性发送授权信息；

241步骤：二级缓存从一级缓存中读取数据，按照指定格式进行封装；

250步骤：将封装好的数据推送至卫星调制器发送；

260步骤：文件发送数据结束，转至步骤270；

270步骤：查询是否需要补发数据包，如果是，根据统计信息进行补发，重复步骤240-260，如果否，转至步骤280；

280步骤：本轮数据传输结束，等待下次传输任务。

上述发送端服务器一级缓存读取原始文件时，是按字节的位置顺序以定长度方式读取文件的，并同时加入位置信息，以备将来发送端服务器补包时检索用。

附图3是接收端服务器工作软件程序流程图，程序开始后，按下述步骤进行工作：

300步骤：开始；

310步骤：通过指定监听端口接收数据包，收到授权数据包，转至步骤320；

320步骤：授权数据包含本接收服务器的接收授权，则转至步骤330，否则返回步骤310；

330步骤：根据授权数据包里面包含的原始文件大小，指定接收存储区；

340步骤：从指定端口接收数据包；

350步骤：校验在传送接收的过程中是否存在丢包，错包，判断数据包是否完整无损；若否转360步，若是转370步；

360步骤：通过接收端服务器指定端口向发送端回传丢包、错包统计信息；

370步骤：按照编号规则合并数据包。

附图4是上述350步骤校验、统计丢包、错包信息，并进行统计信息回传的流程图：

350步骤：接收端服务器通过指定端口接收到数据包；

351步骤：提取数7据包编号，判断数据包编号是否连续，若不连续，则不连续编号为丢包，转步骤353，否则转至步骤352；

352步骤：判断数据包内容是否正确，如果不正确，转至步骤353，如果正确，转至步骤354；

353步骤：按照一定的规则记录丢包、错包的编号，选用数据量最小的方式进行回传，转至步骤355；

354步骤：存储数据包编号及内容正确的数据包；

355步骤：向发送端回传丢包、错包信息。

接收端服务器按上述工作过程对接收到IP数据包进行校验，统计丢包、错包信息。若有丢包、错包信息回传至发送端，发送端按丢包、错包的信息重新读出并形成需要补发的数据包，发送到接收端服务器，这一过程循环进行，直到接收端完整、无误地接收到所有数据包为止。

当

附图5是接收端服务器记录并回传丢包、错包编号的软件流程图：

3540步骤：得到接收端丢包错包的编号；

3541步骤：计算编号所属的分组，本方法将数据包编号进行分组，每组编号个数为2n(n为整数)，以分组为单元进行错包信息的记录及回传；

3542步骤：判断编号是否属于现有正在记录的分组，如果否，转至步骤

3548，如果是，转至步骤3543、3544、3545进行；

3543步骤：差值法记录方式，记录编号与起始位的差值至缓存区1；

3544步骤：将缓存区2标示该编号位的二进制设为0，中间间隔标示位为1；

3545步骤：判断该编号与前一丢包、错包编号连续，如果连续，转至步骤3546，如果不连续，转至步骤3547；

3546步骤：连续的丢包、错包计数器+1；

3547步骤：将丢包、错包起始位1及连续的丢包、错包计数器存入缓存区3，并且将丢包、错包起始位1重置为该编号；

3548步骤：从缓存区1、2、3中选择数据量最小的，返回给发送端服务器；

3549步骤：重置起始位。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (5)

1.一种大数据卫星网络传输系统，包含下述内容：

发送端服务器读取原始大数据文件，并对读取的大数据文件进行分组、打包，通过发送端通信链路传向卫星链路，进行广播发送，再通过接收端通信链路，发送到接收端服务器，

接收端服务器接收到数据包后，检测丢失，损坏的数据包包情况，并将丢包、错包信息回传到发送端服务器，发送端服务器统计回传的丢包、错包，向接收端补发丢失或损坏的数据包，如此循环，直至接收端服务器接收到完整的数据包后，再将所有数据包合并，生成完整的大数据文件，

其特征在于：

在所述发送端服务器内存里开辟二级缓存，由容量较大的一级缓存完成所述对原始大数据文件的读取；容量较小的二级缓存从一级缓存里读取数据，服务器对二级缓存读取的数据完成所述的分组、打包。

2.根据权利要求1所述的大数据卫星网络传输系统，其特征在于：所述接收端服务器将丢包、错包信息是通过地面Internet通信网络回传到发送端，发送端服务器推送需要补发的数据包，通过卫星通信链路(或者地面Internet网络)补发至接收端服务器，

发送端服务器统计需要补发的数据包，补包过程可以根据后续传送任务情况和统计结果进行人工干预，需要给大量接收端补发的数据包由卫星链路发送到接收端服务器，少量接收端需要的补发数据包由地面通信链路发送到接收端服务器，其优点当多个接收端用户由于同样的原因丢失了同样的数据包时，本系统可以将补发的数据包通过卫星通信链路同时发送到各个丢包用户端；对于少量用户需要的补发数据包，通过地面网络进行补发，也提高了卫星网络的传输效率。

3.根据权利要求1或2所述的大数据卫星网络传输系统，其特征在于：所述发送端服务器的工作过程包含下述内容：

3-1：由发送端服务器读取原始数据文件至一级缓存；

3-2：开启监听端口，开始监听接收端服务器回传的丢包、错包信息；

3-3：由发送端服务器发送接收端授权信息并通过指定的端口发送；

3-4：由发送端服务器从一级缓存里读取数据至二级缓存；

3-5：对二级缓存中的数据进行分组、封装成指定格式的数据包；

3-6：将3-4步处理的数据包通过指定的端口发送出去；

3-7：接收端服务器发回的信息，若需要补包，返回3-4步骤；

3-8：若不需补包，结束本轮数据发送；

所述接收端服务器的工作过程包含下述内容：

3-9：通过指定监听端口接收授权信息；

3-10：判断授权信息，如果有接收授权，若有转至3-11，否则转至3-9；

3-11：接收数据包，丢包、错包信息，通过地面Internet网络回传给发送服务器；

3-12：判断数据包是否完整无损，若否转3-11步，若是转3-13步：

3-13：合并数据包，生成最终的完整数据文件。

4.根据权利要求3所述的大数据卫星网络传输系统，其特征在于：接收端服务器接收到数据包后，所述通过校验统计丢包、错包信息的方法包括下述内容：

4-1：提取数据包编号；

4-2：判断数据包编号是否连续，若否记录丢包信息，若是转4-3步；

4-3：检查数据包内容是否完整、有效，若是存储数据，若否记录错包。

5.根据权利要求4所述的丢包、错包记录方法，其特征在于：将数据包编号进行分组，每组编号个数为2ⁿ(n为整数)，以分组为单元进行错包信息的记录及回传，在一组中进行采用多种方式记录丢包、错包的编号(差值法、位标识法、连续长度法)，回传信息格式依次为分组号、记录形式标识、内容数据，每组编号记录完毕后，选用数据量最小的方式回传信息，从而减少发送服务器的地面Internet网络带宽需求和服务器监听负荷，

5-1：差值法：记录在分组中第一个丢包、错包的编号，以及其他编号与其差值；

5-2：位标识法：记录分组中第一个丢包、错包的编号，之后的丢包、错包编号按照二进制码表示，1代表该编号正确接收，0表该编号存在丢包、错包；

5-3：连续长度法：记录多组连续丢包、错包的第一个丢包、错包编号及连续的长度。