CN112437160A - 一种基于redis实现大文件实时传输处理方法及系统 - Google Patents

Abstract

本发明涉及计算机技术领域，公开了涉及一种基于redis实现大文件实时传输处理方法及系统。本发明中的方法主要包括：发送单元检测本地目录待处理的文件列表，当检测到大文件后，将文件虚拟分页，发送单元分配各个线程单元上传任务，并读取指定页内容发送给redis服务器进行存储；接收单元检测redis服务器中作为大文件名称列表的第一有序集合是否有更新，若有更新，则到作为大文件每页内容的第二有序集合中检测新增页，将新增页内容放入缓存队列；获取缓存队列数据，进行实时处理，直到缓存队列的数据被处理完；监控整个文件传输状态，若存在传输状态不正常，则进行重新传输。本发明提供的方法及系统，既能实现大文件实时传输，又能进行实时处理。

Description

一种基于redis实现大文件实时传输处理方法及系统

技术领域

本发明涉及计算机技术领域，具体涉及一种基于redis实现大文件实时传输处理方法及系统。

背景技术

传统的跨网络文件处理方法主要有两种：一、采用共享网络方式，直接将大文件写入共享目录，收发双方都能通过共享方式访问，但这种方式安全性低；二、采用FTP方式，将大文件通过FTP方式上传至FTP服务器，接收端通过周期性检测FTP目录的方式判断是否有新增文件，并检测文件是否上传完成，只有上传完成才能开始处理。这种方法安全性优于方法一，但处理时效性比较低，特别是当文件很大时(几十上百G甚至更大)，等到整个文件上传完成需要很长时间，这对于实时处理系统显然不能满足需求，而且常规的FTP上传遇到网络中断情况时，无法进行断点续传。

发明内容

本发明所要解决的技术问题是：针对上述存在的问题，提供了一种基于redis实现大文件实时传输处理方法及系统，既能实现大文件实时传输，又能进行实时处理。

本发明采用的技术方案如下：一种基于redis实现大文件实时传输处理方法，包括：大文件上传、检测redis数据更新、数据排序处理和文件传输状态监控；

其中，所述大文件上传包括：发送单元检测本地目录待处理的文件列表，当检测到大文件后，将文件虚拟分页，发送单元分配各个线程单元上传任务，并读取指定页内容发送给redis服务器进行存储；

所述检测redis数据更新包括：接收单元检测redis服务器中作为大文件名称列表的第一有序集合是否有更新，若有更新，则到作为大文件每页内容的第二有序集合中检测新增页，将新增页内容放入缓存队列；

所述数据排序处理包括：获取缓存队列数据，并按照文件分页编号规则进行排序，得到排序后的待处理数据队列进行实时处理，直到缓存队列的数据被处理完；

所述文件传输状态监控包括：监控整个文件传输状态，若存在传输状态不正常，则进行重新传输。

进一步的，所述大文件上传步骤具体包括：

发送单元扫描本地待传输的文件列表获取文件名、文件大小以及文件格式；

对文件虚拟分页，按照负载均衡策略分配各个线程单元上传任务，并通过内存偏移方式读取指定页内容；

各个线程单元通过专门redis访问接口将数据传给redis服务器。

进一步的，所述检测redis数据更新步骤具体包括：

定时检测redis服务器第一有序集合是否有更新，记录当前检测最新时间，每次只检测所记录最新时间之后的数据；

若有更新，则通过“文件名:文件后缀”到第二有序集合中检测新增页并将新增页内容放入缓存队列，否则，继续进行下一节拍检测。

进一步的，所述数据排序处理步骤具体包括：

获取缓存队列数据，并按照文件分页编号规则进行排序，得到排序后的待处理数据队列；

处理单元依次从缓存队列取出数据进行实时处理，采用while-loop方式循环处理，当收到传输完成通知并且缓存队列为空，则处理完成；

存储单元依次从缓存队列取出数据写入本地文件，采用while-loop方式循环处理，当收到传输完成通知并且缓存队列为空，则写入文件完成。

进一步的，所述文件传输状态监控步骤具体包括：

定时检测redis服务器各个文件传输状态，当发现传输状态不正常时，则通知相应的线程单元重新进行传输；

监控各个线程单元是否全部传输完成，若完成则通知接收单元。

本发明还提供一种大文件实时传输处理系统，包括：发送代理、接收代理和redis服务器；

所述发送代理包括发送单元和监控单元；所述发送单元将文件虚拟分页发送给redis服务器存储；所述监控单元监控整个文件传输状态，当出现某一页传输失败通知发送单元重传，并且当整个文件发送完成时通知接收单元；

所述接收代理包括接收单元、处理单元和存储单元；所述接收单元检测redis数据是否有更新，若有更新则将更新内容放入缓存队列；所述处理单元通过接收单元获取缓存队列数据进行实时处理；所述存储单元通过接收单元获取缓存队列数据同步写入本地文件；

所述redis服务器部署采用主从配合方式，其中，主服务器运行若干个负责数据备份的实例。

进一步的，所述接收代理支持多客户端部署方式，只要保证接收代理正确连接redis服务器，就能同步实现大文件实时处理与本地化接收存储。

与现有技术相比，采用上述技术方案的有益效果为：

(1)本发明基于redis不仅能够实现大文件实时传输，而且能进行实时处理；

(2)本发明传输采用并行处理方式，实现传输效率最大化；

(3)本发明支持大文件断点续传；

(4)本发明支持多客户端部署方式，能够同时进行大文件实时处理与存储。

附图说明

图1是本发明实施例提供的一种基于redis实现大文件实时传输处理方法流程示意图。

图2是大文件的上传步骤示意图。

图3是检测redis数据更新的步骤示意图。

图4是实时处理数据步骤示意图。

图5是存储文件步骤示意图。

图6是监控文件传输状态示意图。

图7是本发明实施例提供的一种基于redis实现大文件实时传输处理系统结构框图。

具体实施方式

下面结合附图对本发明做进一步描述。

如图1所示，本发明实施例提供一种基于redis实现大文件实时传输处理方法，包括：大文件上传、检测redis数据更新、数据排序处理和文件传输状态监控几个步骤。具体如下：

步骤1，大文件上传：发送单元检测本地目录待传输处理的文件列表，当检测到文件后，将文件虚拟分页，其中分页大小根据实际网络带宽确定；

所述发送单元通过多线程+多进程以内存偏移方式读取指定页的内容发送给redis服务器进行存储，实现传输效率最大化；

所述发送单元按负载均衡策略分配多线程与多进程之间资源使用；

步骤2，检测redis数据更新：首先，选择有序集合作为大文件名称列表Z1和大文件每页内容Z2的数据存储类型。具体为：大文件名称列表主键(Key)设置为Bigfile，内容(value)为：文件名(包括后缀)，分值为时间；大文件内容主键(Key)设置为：文件名:文件后缀，内容(value)为：每页内容，分值为页数i，其中i＝1、2、……、n；

接收单元先检测redis服务器有序集合Z1是否有更新，若有更新则通过“文件名:文件后缀”到有序集合Z2中检测新增页，将新增页内容放入缓存队列；

步骤3，数据排序处理：获取缓存队列数据，并按照文件分页编号规则进行排序，得到排序后的待处理数据队列；

处理单元依次从缓存队列取出数据进行实时处理，采用while-loop方式循环处理，当收到传输完成通知并且缓存队列为空，则处理完成；

存储单元依次从缓存队列取出数据写入本地文件，采用while-loop方式循环处理，当收到传输完成通知并且缓存队列为空，则写入文件完成。

步骤4，监控单元监控整个文件传输状态，包括当监控到redis服务器有序集合Z2分值不连续，则通知所述发送单元线程重传，并且当整个文件发送完成时通知接收单元。

具体的，在本实施例中，大文件上传步骤如图2所示，具体包括：

S11：扫描本地待传输的文件列表获取文件名、文件大小、文件格式等内容，这里假定为一个文本文件test.dat；

S12：对文件虚拟分页，按照负载均衡策略分配各个线程单元上传任务，并通过内存偏移方式读取指定页内容。假定文件大小为1GB，每页大小1MB，则页数为1000，假定有两个进程，每个进程又有两个线程，每个线程单元有各自连接redis链路编号分别为1_1、1_2、2_1、2_2。轮询策略如下：第1页分配给1_1，第2页分配给1_2，第3页分配给2_1，第4页分配给2_2，第5页分配给1_1，第6页分配给1_2，第7页分配给2_1，第8页分配给2_2，以此类推。这样可以做到线程和进程之间负载均衡，充分发挥多进程+多线程的并行处理优势；

S13：各个线程单元通过专门redis访问接口将数据传给redis服务器。

具体的，在本实施例中，数据检测更新的步骤如图3所示，具体包括：

S21：定时(比如1秒)检测redis服务器有序集合Z1是否有更新，记录当前检测最新时间，每次只检测所记录最新时间之后的数据；

S22：若有更新则通过“文件名:文件后缀”到有序集合Z2中检测新增页并将新增页内容放入缓存队列，否则，继续进行下一节拍检测。

具体的，在本实施例中，数据排序处理步骤包括：步骤31处理单元实时处理数据和步骤32存储单元存储文件两个步骤。

其中，步骤31处理单元实时处理数据步骤如图4所示，具体包括：

S311：获取缓存队列数据，并按照文件分页编号规则进行排序，得到排序后的待处理数据队列；

S312：判断队列第一个数据是否是时序数据，具体为：假定本次取出队列第一个数据页编号为n，当前记录页编号为n-1，则表明数据是时序的，处理单元正常处理输出，并更新当前记录页编号为n，完成后清除第一个队列数据，接着循环取下一个队列数据；

S313：若队列第一个数据不是时序的，则等待接收队列数据。

步骤32存储单元存储文件步骤如图5所示，具体包括：

S321：获取缓存队列数据，并按照文件分页编号规则进行排序，得到排序后的待处理数据队列；

S322：判断队列第一个数据是否是时序数据，具体为：假定本次取出队列第一个数据页编号为n，当前记录页编号为n-1，则表明数据是时序的，存储单元正常写入本地文件，并更新当前记录页编号为n，完成后清除第一个队列数据，接着循环取下一个队列数据；

S323：若队列第一个数据不是时序的，则等待接收队列数据。

具体的，在本实施例中，监控文件传输状态步骤如图5所示，具体包括：

S41：定时(比如1秒)检测redis服务器各个文件传输状态，以一个文件为例，记录各个线程单元最新传输页编号，下一次节拍检测时判断新增页是否与记录页编号保持“连续”，若连续则说明传输状态正常，否则监控单元通知线程单元重传该页内容，因此支持断点续传；

S42：监控各个线程单元是否全部传输完成，若完成则通知接收单元。

本实施例还提供一种大文件实时传输处理系统，如图6所示，本处理系统包括发送代理、接收代理和redis服务器：

其中，所述redis服务器部署采用主从配合方式，主服务器运行若干个负责数据备份的实例。采用主从部署策略能够增加传输可靠性，避免某一个实例所在服务器宕机导致数据不可恢复，同时根据传输文件名和当前传输页编号可以支持断点续传功能；

所述发送代理包括发送单元和监控单元，发送单元将文件虚拟分页发送给redis服务器存储；监控单元监控整个文件传输状态，当出现某一页传输失败通知发送单元重传，并且当整个文件发送完成时通知接收单元；

所述接收代理包括接收单元、处理单元和存储单元，接收单元检测redis数据是否有更新，若有更新则将更新内容放入缓存队列；处理单元通过接收单元获取缓存队列数据进行实时处理；存储单元通过接收单元获取缓存队列数据同步写入本地文件；

所述接收代理支持多客户端部署方式，只要保证接收代理正确连接redis服务器，就能同步实现大文件实时处理与本地化接收存储。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。如果本领域技术人员，在不脱离本发明的精神所做的非实质性改变或改进，都应该属于本发明权利要求保护的范围。

Claims (8)

1.一种基于redis实现大文件实时传输处理方法，其特征在于，包括：大文件上传、检测redis数据更新、数据排序处理和文件传输状态监控；

所述大文件上传包括：发送单元检测本地目录待处理的文件列表，当检测到大文件后，将文件虚拟分页，发送单元分配各个线程单元上传任务，并读取指定页内容发送给redis服务器进行存储；

所述检测redis数据更新包括：接收单元检测redis服务器中作为大文件名称列表的第一有序集合是否有更新，若有更新，则到作为大文件每页内容的第二有序集合中检测新增页，将新增页内容放入缓存队列；

所述数据排序处理包括：获取缓存队列数据，并按照文件分页编号规则进行排序，得到排序后的待处理数据队列进行实时处理，直到缓存队列的数据被处理完；

所述文件传输状态监控包括：监控整个文件传输状态，若存在传输状态不正常，则进行重新传输。

2.根据权利要求1所述的一种基于redis实现大文件实时传输处理方法，其特征在于，所述大文件上传步骤具体包括：

发送单元扫描本地待传输的文件列表获取文件名、文件大小以及文件格式；

对文件虚拟分页，按照负载均衡策略分配各个线程单元上传任务，并通过内存偏移方式读取指定页内容；

各个线程单元通过专门redis访问接口将数据传给redis服务器。

3.根据权利要求2所述的一种基于redis实现大文件实时传输处理方法，其特征在于，所述虚拟分页的大小根据实际网络带宽确定。

4.根据权利要求1-3任一所述的一种基于redis实现大文件实时传输处理方法，其特征在于，所述检测redis数据更新步骤具体包括：

定时检测redis服务器第一有序集合是否有更新，记录当前检测最新时间，每次只检测所记录最新时间之后的数据；

若有更新，则通过“文件名:文件后缀”到第二有序集合中检测新增页并将新增页内容放入缓存队列，否则，继续进行下一节拍检测。

5.根据权利要求1-3任一所述的一种基于redis实现大文件实时传输处理方法，其特征在于，所述数据排序处理步骤具体包括：

获取缓存队列数据，并按照文件分页编号规则进行排序，得到排序后的待处理数据队列；

处理单元依次从缓存队列取出数据进行实时处理，采用while-loop方式循环处理，当收到传输完成通知并且缓存队列为空，则处理完成；

存储单元依次从缓存队列取出数据写入本地文件，采用while-loop方式循环处理，当收到传输完成通知并且缓存队列为空，则写入文件完成。

6.根据权利要求1-3任一所述的一种基于redis实现大文件实时传输处理方法，其特征在于，所述文件传输状态监控步骤具体包括：

定时检测redis服务器各个文件传输状态，当发现传输状态不正常时，则通知相应的线程单元重新进行传输；

监控各个线程单元是否全部传输完成，若完成则通知接收单元。

7.一种大文件实时传输处理系统，其特征在于，包括：发送代理、接收代理和redis服务器；

所述发送代理包括发送单元和监控单元；所述发送单元将文件虚拟分页发送给redis服务器存储；所述监控单元监控整个文件传输状态，当出现某一页传输失败通知发送单元重传，并且当整个文件发送完成时通知接收单元；

所述接收代理包括接收单元、处理单元和存储单元；所述接收单元检测redis数据是否有更新，若有更新则将更新内容放入缓存队列；所述处理单元通过接收单元获取缓存队列数据进行实时处理；所述存储单元通过接收单元获取缓存队列数据同步写入本地文件；

所述redis服务器部署采用主从配合方式，其中，主服务器运行若干个负责数据备份的实例。

8.根据权利要求7所述的一种大文件实时传输处理系统，其特征在于，所述接收代理支持多客户端部署方式。

Images