CN102427474B - 云存储中的数据传输系统 - Google Patents

Abstract

本发明公开了一种云存储中的数据传输系统，包括节点组织与管理模块、数据传输模块和数据缓存服务模块，节点组织与管理模块与数据缓存服务模块互通，数据传输模块和数据缓存服务模块互通，节点组织与管理模块用于管理所有的在线用户节点，并将在线用户节点中的超级节点信息实时发送到数据缓存服务模块，以便数据缓存服务模块选择协同群组节点，数据传输模块用于将冗余存储数据实时发送给数据缓存服务模块，数据缓存服务模块用于根据从节点组织与管理模块接收的超级节点的信息和从数据传输模块接收的冗余存储数据制定冗余存储数据备份策略。本发明可以在不可靠云存储服务基础上提供数据的传输功能。

Description

云存储中的数据传输系统

技术领域

本发明涉及计算机网络与计算机存储领域，更具体地说，本发明涉及一种云存储中的数据传输系统。

背景技术

在广域网的环境中，分布式存储有着其先天的优越性，其主要的优点就是扩展性强，运用边缘服务器提高数据传输速度。在传统的分布式存储系统中，提高系统可用性及可靠性最核心的方法是对数据块进行复制备份，通过数据全局有效的冗余分布来提高存储系统服务的稳定性。

但是，分布式也存在着自身的技术难点，运用网络中的免费存储资源来充当系统的边缘存储服务器，在很大的程度上解决了某些问题。但是，大多数提供给个人使用的存储系统没有提供共享这一功能。而且，广域网内的存储服务是先天性的不可控服务，各种失效或错误时常发生，而该种情况极有可能导致用户数据丢失。在一个大规模的广域网内，用户传输的数据量是相当庞大的，而边缘存储服务运营商是有限的，当某种存储服务同一时刻接受大量任务请求时，会出现很明显的拒绝服务情况。用户上传数据至存储服务器可能不成功，那么系统中连完整的一份数据都不存在，这样的系统是不可用的。用户从服务器下载数据也可能不成功，尽管这些数据仍然存储在存储服务器中，但根本就无法保证数据的可获取性，此时系统是非常不可靠的。

发明内容

本发明的目的在于提供一种云存储中的数据传输系统，其可以在不可靠云存储服务基础上提供数据的传输功能。

本发明是通过以下技术方案实现的：

一种云存储中的数据传输系统，包括节点组织与管理模块、数据传输模块和数据缓存服务模块，节点组织与管理模块与数据缓存服务模块互通，数据传输模块和数据缓存服务模块互通，节点组织与管理模块用于管理所有的在线用户节点，并将在线用户节点中的超级节点信息实时发送到数据缓存服务模块，以便数据缓存服务模块选择协同群组节点，数据传输模块用于将冗余存储数据实时发送给数据缓存服务模块，数据缓存服务模块用于根据从节点组织与管理模块接收的超级节点的信息和从数据传输模块接收的冗余存储数据制定冗余存储数据备份策略。

节点组织与管理模块包括节点性能统计子模块、节点选择子模块、节点转化子模块、节点构建子模块、信息传输子模块和异常处理子模块，节点性能统计子模块用于获取在线用户节点的信息，并将在线用户节点的信息传送给节点选择子模块和节点转化子模块，节点选择子模块用于根据从节点性能统计子模块接收到的在线用户节点的信息选择超级节点，并将选择的超级节点的信息传送给节点构建子模块，节点转化子模块用于根据从节点性能统计子模块接收到的在线用户节点的信息执行普通节点与超级节点之间的转化，并将转化结果传送给节点构建子模块，节点构建子模块用于根据从节点选择子模块接收到的超级节点的信息，利用点对点重叠网络传输协议将超级节点组织起来，将普通节点通过客户端-服务器模式依附在超级节点上，在该过程出错时将错误信息传送给异常处理子模块，根据从节点转化子模块接收到的转化结果对普通节点和超级节点进行相应调整，并将调整后的超级节点的信息传送给信息传输子模块，信息传输子模块用于将普通节点的信息传输给其依附的超级节点，并将从节点构建模块接收到的超级节点的信息传送给数据缓存服务模块，异常处理子模块用于根据从节点构建子模块接收到的错误消息调整网络信息，以保证系统正常运行。

数据传输模块包括传输衔接子模块、传输调度子模块、速度控制子模块、传输策略子模块、容错处理子模块，传输衔接子模块用于针对不同的数据源设定对应的数据传输协议，并将设定结果传送给传输调度子模块和传输策略子模块，传输调度子模块用于根据从传输衔接子模块接收的设定结果，针对用户请求的获取数据方式制定对应的调度策略，并将制定结果传送给传输策略子模块，速度控制子模块用于根据用户的等级制定对应的速度控制策略，并将制定结果传送给传输策略子模块，传输策略子模块用于根据从传输衔接子模块、传输调度子模块和速度控制子模块接收到的结果制定对应的传输策略，将冗余存储数据传送至数据缓存服务模块，并将冗余存储数据的传送结果传送给容错处理子模块，容错处理子模块用于分析从传输策略子模块接收到的冗余存储数据的传送结果，并对冗余存储数据的传送结果进行分析和容错处理，以保证冗余存储数据能被正确稳定的存取。

数据缓存服务模块包括缓存调度子模块、协同节点管理信息子模块、协同节点调度子模块和重传调度子模块，缓存调度子模块用于根据从数据传输模块接收到的冗余存储数据来分配系统需要备份的文件和文件数量，并将文件和文件数量信息传送到协同节点调度子模块，协同节点管理子模块用于接收从节点组织与管理模块传送的超级节点的信息，更新超级节点的在线情况，以保证节点一致性，并将超级节点的信息传送给协同节点调度子模块，协同节点调度子模块用于根据从协同节点管理子模块接收到的超级节点的信息选择合适的超级节点，并利用从缓存调度子模块接收到的文件和文件数量信息制定冗余存储数据备份策略，进行冗余存储数据备份，将冗余存储数据备份结果传送给重传调度子模块，并从重传调度子模块接收反馈信息，重传调度子模块用于分析从协同节点调度子模块接收的冗余存储数据备份结果，在冗余存储数据备份失败时制定冗余存储数据重新备份策略，并将反馈信息传送到协同节点调度子模块。

点对点重叠网络传输协议为Kademlia协议。

获取数据方式包括共享式和私有式。

本发明具有以下的优点：

(1)本发明能解决ppStore系统中，因特网存储服务先天不可控这一问题；

(2)本发明可以进一步降低因特网内存储服务带宽负载和性能负载，从而缩短用户存取数据的时间周期；

(3)本发明充分利用了用户节点的网络资源和硬盘资源；

(4)本发明可以保证数据传输的稳定性；

(5)本发明可保证系统的可扩展性。

附图说明

图1是本发明云存储中的数据传输系统的示意框图。

图2是本发明云存储中的数据传输系统的细化框图。

具体实施方式

下面结合附图对本发明作进一步详细的说明。

如图1所示，本发明云存储中的数据传输系统包括节点组织与管理模块1、数据传输模块2和数据缓存服务模块3。节点组织与管理模块1与数据缓存服务模块3互通，数据传输模块2和数据缓存服务模块3互通。

节点组织与管理模块1用于管理所有的在线用户节点，并将在线用户节点中的超级节点信息实时发送到数据缓存服务模块3，以便数据缓存服务模块3选择协同群组节点。

数据传输模块2用于将冗余存储数据实时发送给数据缓存服务模块3。

数据缓存服务模块3用于根据从节点组织与管理模块1接收的超级节点的信息和从数据传输模块2接收的冗余存储数据制定冗余存储数据备份策略。

如图2所示，节点组织与管理模块1包括节点性能统计子模块11、节点选择子模块12、节点转化子模块13、节点构建子模块14、信息传输子模块15和异常处理子模块16。

节点性能统计子模块11用于获取在线用户节点的信息，并将在线用户节点的信息传送给节点选择子模块12和节点转化子模块13。

节点选择子模块12用于根据从节点性能统计子模块11接收到的在线用户节点的信息选择超级节点，并将选择的超级节点的信息传送给节点构建子模块14。

节点转化子模块13用于根据从节点性能统计子模块11接收到的在线用户节点的信息执行普通节点与超级节点之间的转化，并将转化结果传送给节点构建子模块14。

节点构建子模块14用于根据从节点选择子模块12接收到的超级节点的信息，利用P2P重叠网络传输协议将超级节点组织起来，将普通节点通过客户端-服务器模式依附在超级节点上，并在该过程出错时将错误信息传送给异常处理子模块16。节点构建子模块14还用于根据从节点转化子模块13接收到的转化结果对普通节点和超级节点进行相应调整，并将调整后的超级节点的信息传送给信息传输子模块15。在本实施方式中，P2P重叠网络传输协议为Kademlia协议。

信息传输子模块15用于将普通节点的信息传输给其依附的超级节点，并将从节点构建模块14接收到的超级节点的信息传送给数据缓存服务模块3。

异常处理子模块16用于根据从节点构建子模块14接收到的错误消息调整网络信息，以保证系统正常运行。

数据传输模块2包括传输衔接子模块21、传输调度子模块22、速度控制子模块23、传输策略子模块24、容错处理子模块25。

传输衔接子模块21用于针对不同的数据源设定对应的数据传输协议。并将设定结果传送给传输调度子模块22和传输策略子模块24。

传输调度子模块22用于根据从传输衔接子模块21接收的设定结果，针对用户请求的获取数据方式制定对应的调度策略，并将制定结果传送给传输策略子模块24。在本实施方式中，获取数据方式包括共享式和私有式。

速度控制子模块23用于根据用户的等级制定对应的速度控制策略。并将制定结果传送给传输策略子模块24。

传输策略子模块24用于根据从传输衔接子模块21、传输调度子模块22和速度控制子模块23接收到的结果制定对应的传输策略，将冗余存储数据传送至数据缓存服务模块3，并将冗余存储数据传输的结果传送给容错处理子模块25。

容错处理子模块25用于分析从传输策略子模块24接收到的冗余存储数据传输的结果，并对冗余存储数据传输的结果进行分析和容错处理，以保证冗余存储数据能被正确稳定的存取。

数据缓存服务模块3包括缓存调度子模块31、协同节点管理信息子模块32、协同节点调度子模块33和重传调度子模块34。

缓存调度子模块31用于根据从数据传输模块2接收到的冗余存储数据来分配系统需要备份的文件和文件数量，并将文件和文件数量信息传送到协同节点调度子模块33。

协同节点管理子模块32用于接收从节点组织与管理模块1传送的超级节点的信息，更新超级节点的在线情况，以保证节点一致性，并将超级节点的信息传送给协同节点调度子模块33。

协同节点调度子模块33用于根据从协同节点管理子模块32接收到的超级节点的信息选择合适的超级节点，并利用从缓存调度子模块31接收到的文件和文件数量信息制定冗余存储数据备份策略，进行冗余存储数据备份，并将冗余存储数据备份结果传送给重传调度子模块34，并从重传调度子模块34接收反馈信息。

重传调度子模块34用于分析从协同节点调度子模块33接收的冗余存储数据备份结果，在冗余存储数据备份失败时制定冗余存储数据重新备份策略，并将反馈信息传送到协同节点调度子模块33。

本发明的工作原理如下：

节点性能统计子模块11将获取的在线用户节点的信息发送给节点选取子模块12和节点转化子模块13，节点选取子模块12根据从节点性能统计子模块11接收到的在线用户节点信息从在线用户节点中选择超级节点，并将超级节点信息传送给节点构建子模块14。节点转化子模块13根据节点性能统计子模块11接收到的在线用户节点的信息执行普通节点与超级节点之间的转化，并将转化结果传送给节点构建子模块14。节点构建子模块14根据从节点选择子模块12接收到的超级节点的信息，利用P2P重叠网络传输协议将超级节点组织起来，并将普通节点通过客户端-服务器模式依附在超级节点上。如果该过程出错，则节点构建子模块14将错误信息传送给异常处理子模块16，根据从节点转化子模块13接收到的转化结果对普通节点和超级节点进行相应调整，并将调整后的超级节点的信息传送给信息传输子模块15。信息传输子模块15用于将普通节点的信息传输给其依附的超级节点，并将从节点构建模块14接收到的超级节点的信息传送给数据缓存服务模块3。异常处理子模块16根据从节点构建子模块14接收到的错误消息调整网络信息，以保证系统正常运行。

传输衔接子模块21针对不同的数据源设定对应的数据传输协议，并将设定结果传送给传输调度子模块22和传输策略子模块24。传输调度子模块22根据从传输衔接子模块21接收的设定结果，针对用户请求的获取数据方式制定对应的调度策略，并将制定结果传送给传输策略子模块24。速度控制子模块23根据用户的等级制定对应的速度控制策略。并将制定结果传送给传输策略子模块24。传输策略子模块24根据从传输衔接子模块21、传输调度子模块22和速度控制子模块23接收到的结果制定对应的传输策略，将冗余存储数据传送至数据缓存服务模块3，并将冗余存储数据传输的结果传送给容错处理子模块25。容错处理子模块25分析从传输策略子模块24接收到的冗余存储数据传输的结果，并对冗余存储数据传输的结果进行分析和容错处理，以保证冗余存储数据能被正确稳定的存取。

缓存调度子模块31根据从数据传输模块2接收到的冗余存储数据来分配系统需要备份的文件和文件数量，并将文件和文件数量信息传送到协同节点调度子模块33。协同节点管理子模块32接收从节点组织与管理模块1传送的超级节点的信息，更新超级节点的在线情况，以保证节点一致性，并将超级节点的信息传送给协同节点调度子模块33。协同节点调度子模块33根据从协同节点管理子模块32接收到的超级节点的信息选择合适的超级节点，并利用从缓存调度子模块31接收到的文件和文件数量信息制定冗余存储数据备份策略，进行冗余存储数据备份，并将冗余存储数据备份结果传送给重传调度子模块34，并从重传调度子模块34接收反馈信息。重传调度子模块34分析从协同节点调度子模块33接收的冗余存储数据备份结果，如果发现冗余存储数据备份失败，则制定冗余存储数据重新备份策略，并将反馈信息传送到协同节点调度子模块33。

Claims (6)

1.一种云存储中的数据传输系统，包括节点组织与管理模块、数据传输模块和数据缓存服务模块，所述节点组织与管理模块与所述数据缓存服务模块互通，所述数据传输模块和所述数据缓存服务模块互通，其特征在于：

所述节点组织与管理模块用于管理所有的在线用户节点，并将所述在线用户节点中的超级节点信息实时发送到所述数据缓存服务模块，以便所述数据缓存服务模块选择协同群组节点；

所述数据传输模块用于将冗余存储数据实时发送给所述数据缓存服务模块；

所述数据缓存服务模块用于根据从所述节点组织与管理模块接收的超级节点的信息和从所述数据传输模块接收的所述冗余存储数据制定冗余存储数据备份策略。

2.根据权利要求1所述的数据传输系统，其特征在于：

所述节点组织与管理模块包括节点性能统计子模块、节点选择子模块、节点转化子模块、节点构建子模块、信息传输子模块和异常处理子模块；

所述节点性能统计子模块用于获取所述在线用户节点的信息，并将所述在线用户节点的信息传送给所述节点选择子模块和所述节点转化子模块；

所述节点选择子模块用于根据从所述节点性能统计子模块接收到的所述在线用户节点的信息选择超级节点，并将选择的超级节点的信息传送给所述节点构建子模块；

所述节点转化子模块用于根据从所述节点性能统计子模块接收到的所述在线用户节点的信息执行普通节点与超级节点之间的转化，并将转化结果传送给所述节点构建子模块；

所述节点构建子模块用于根据从所述节点选择子模块接收到的所述超级节点的信息，利用点对点重叠网络传输协议将所述超级节点组织起来，将普通节点通过客户端-服务器模式依附在所述超级节点上，在该过程出错时将错误信息传送给所述异常处理子模块，根据从所述节点转化子模块接收到的所述转化结果对所述普通节点和所述超级节点进行相应调整，并将调整后的超级节点的信息传送给所述信息传输子模块；

信息传输子模块用于将所述普通节点的信息传输给其依附的超级节点，并将从所述节点构建模块接收到的所述超级节点的信息传送给所述数据缓存服务模块；

所述异常处理子模块用于根据从所述节点构建子模块接收到的错误消息调整网络信息，以保证系统正常运行。

3.根据权利要求1所述的数据传输系统，其特征在于：

所述数据传输模块包括传输衔接子模块、传输调度子模块、速度控制子模块、传输策略子模块、容错处理子模块；

所述传输衔接子模块用于针对不同的数据源设定对应的数据传输协议，并将设定结果传送给所述传输调度子模块和所述传输策略子模块；

所述传输调度子模块用于根据从所述传输衔接子模块接收的所述设定结果，针对用户请求的获取数据方式制定对应的调度策略，并将制定结果传送给所述传输策略子模块；

所述速度控制子模块用于根据用户的等级制定对应的速度控制策略，并将制定结果传送给所述传输策略子模块；

所述传输策略子模块用于根据从所述传输衔接子模块、所述传输调度子模块和所述速度控制子模块接收到的结果制定对应的传输策略，将冗余存储数据传送至所述数据缓存服务模块，并将所述冗余存储数据的传送结果传送给所述容错处理子模块；

所述容错处理子模块用于分析从所述传输策略子模块接收到的所述冗余存储数据的传送结果，并对所述冗余存储数据的传送结果进行分析和容错处理，以保证所述冗余存储数据能被正确稳定的存取。

4.根据权利要求1所述的数据传输系统，其特征在于：

所述数据缓存服务模块包括缓存调度子模块、协同节点管理信息子模块、协同节点调度子模块和重传调度子模块；

所述缓存调度子模块用于根据从所述数据传输模块接收到的所述冗余存储数据来分配系统需要备份的文件和文件数量，并将文件和文件数量信息传送到所述协同节点调度子模块；

所述协同节点管理子模块用于接收从所述节点组织与管理模块传送的所述超级节点的信息，更新所述超级节点的在线情况，以保证节点一致性，并将所述超级节点的信息传送给所述协同节点调度子模块；

所述协同节点调度子模块用于根据从所述协同节点管理子模块接收到的所述超级节点的信息选择合适的超级节点，并利用从所述缓存调度子模块接收到的所述文件和文件数量信息制定冗余存储数据备份策略，进行冗余存储数据备份，将所述冗余存储数据备份结果传送给所述重传调度子模块，并从所述重传调度子模块接收反馈信息；

所述重传调度子模块用于分析从所述协同节点调度子模块接收的所述冗余存储数据备份结果，在所述冗余存储数据备份失败时制定冗余存储数据重新备份策略，并将所述反馈信息传送到协同节点调度子模块。

5.根据权利要求2所述的数据传输系统，其特征在于：所述点对点重叠网络传输协议为Kademlia协议。

6.根据权利要求3所述的数据传输系统，其特征在于：所述获取数据方式包括共享式和私有式。

Images