CN107707616A - 一种数据传输方法及系统 - Google Patents

Abstract

本发明公开了一种数据传输方法及系统，此方法包括：在网络中至少一子区区域内设置边缘存储节点；子区区域内设置有边缘存储节点时，通过边缘存储节点接收用户上传的数据文件，将此数据文件存储预设时长并同步至至少一中心存储节点；所述边缘存储节点接收用户的下载请求后，在本地存储有此用户的下载请求对应的数据文件时，所述边缘存储节点将此数据文件传输至此用户，在本地存储未有此用户的下载请求对应的数据文件时访问中心存储节点后转发此数据文件并转发至此用户。本发明通过在网络的子区区域中设置边缘存储节点，有效缓解中心存储节点的处理压力，提高整个系统的处理能力。

Description

一种数据传输方法及系统

技术领域

本发明涉及互联网技术领域，尤其涉及一种数据传输方法及系统。

背景技术

随着网络技术的发展，各种业务中用户需在网络中上传和下载的数据海量增加，在不同地区设置中心存储节点和镜像服务器的方式，在数据访问量快速增加时，中心存储节点和镜像服务器承受较大的处理压力，容易大幅降低服务器的处理能力甚至影响服务器的正常运行。所以需要一种新的数据传输方法。

发明内容

为了解决上述技术问题，本发明提供了一种数据传输方法及系统。

本发明提供了一种数据传输方法，包括：

在网络中至少一子区区域内设置边缘存储节点；

子区区域内设置有边缘存储节点时，通过边缘存储节点接收用户上传的数据文件，将此数据文件存储预设时长并同步至至少一中心存储节点；

所述边缘存储节点接收用户的下载请求后，在本地存储有此用户的下载请求对应的数据文件时，所述边缘存储节点将此数据文件传输至此用户，在本地存储未有此用户的下载请求对应的数据文件时访问中心存储节点后转发此数据文件并转发至此用户。

上述数据传输方法还具有以下特点：

所述在本地存储未有此用户的下载请求对应的数据文件时访问中心存储节点后获取此数据文件并转发至此用户包括：所述边缘存储节点判断本地未存储有此用户的下载请求对应的数据文件时，向所述中心存储节点查询到存储有此用户的下载请求对应的数据文件的其它至少一边缘存储节点时，从所述边缘存储节点中选择一边缘存储节点，从此边缘存储节点获取此用户的下载请求对应的数据文件并转发至此用户。

上述数据传输方法还具有以下特点：

所述方法还包括：所述边缘存储节点向所述中心存储节点查询其它边缘存储节点未存储有此用户的下载请求对应的数据文件时，从所述中心存储节点获取此用户的下载请求对应的数据文件并转发至此用户。

上述数据传输方法还具有以下特点：

所述方法还包括：所述中心存储节点接收到所述数据文件后，保存此数据文件以及此数据文件的元数据，此数据文件的元数据中的文件地址包括存储此用户的此数据文件的边缘存储节点的标识；

所述向所述中心存储节点查询存储有此用户的下载请求对应的数据文件的其它至少一边缘存储节点包括：根据数据文件的标识查询所述中心存储节点的所述数据文件的元数据以获得以此所述数据文件的元数据的文件地址。

上述数据传输方法还具有以下特点：

子区区域内未设置有边缘存储节点时，CDN边缘节点接收用户上传请求并通知至中心存储节点，中心存储节点选择距离用户最近的CDN边缘节点接收用户上传的数据文件，此CDN边缘节点将此数据文件上传至至少一中心存储节点。

本发明还提供了一种数据传输系统，包括：边缘存储节点和中心存储节点；所述边缘存储节点包括：

接收模块，用于接收用户上传的数据文件；还用于接收用户的下载请求；

存储模块，用于将接收模块接收到的用户上传的数据文件存储预设时长；

同步模块，用于将接收模块接收到的用户上传的数据文件同步至中心存储节点；

判断模块，用于在接收模块接收到用户的下载请求后，判断本地是否存储有此用户的下载请求对应的数据文件；

处理模块，用于在判断模块判定本地存储有此用户的下载请求对应的数据文件时将此数据文件传输至此用户，在判断模块判定本地未存储有此用户的下载请求对应的数据文件时，访问中心存储节点后获取此数据文件并转发至此用户。

上述数据传输系统还具有以下特点：

所述处理模块包括解析单元、查询单元、选择单元和发送单元；

所述解析单元，用于解析判断模块的判断结果；

所述查询单元，用于在解析单元的解析结果为本地未存储有此用户的下载请求对应的数据文件时，向所述中心存储节点查询存储有此用户的下载请求对应的数据文件的其它至少一边缘存储节点；

所述选择单元，用于从所述查询单元查询到的边缘存储节点中选择一边缘存储节点；

所述发送单元，用于从选择单元选择出的边缘存储节点获取此用户的下载请求对应的数据文件并转发至此用户。

上述数据传输系统还具有以下特点：

所述发送单元，还用于在所述查询单元在向所述中心存储节点查询其它边缘存储节点未存储有此用户的下载请求对应的数据文件时，从所述中心存储节点获取此用户的下载请求对应的数据文件并转发至此用户。

上述数据传输系统还具有以下特点：

所述查询单元，用于使用以下方法向所述中心存储节点查询到存储有此用户的下载请求对应的数据文件的其它至少一边缘存储节点：根据数据文件的标识查询所述中心存储节点的所述数据文件的元数据以获得以此所述数据文件的元数据的文件地址；

所述中心存储节点包括：

接收模块，用于接收所述数据文件；

存储模块，用于保存此数据文件以及此数据文件的元数据，此数据文件的元数据中的文件地址包括存储此用户的此数据文件的边缘存储节点的标识。

上述数据传输系统还具有以下特点：

所述系统还包括CDN边缘节点，用于在所属子区区域内未设置有边缘存储节点时接收用户上传请求并通知至中心存储节点，还用于在接收到中心存储节点的文件接收指示后接收用户上传的数据文件，并将此数据文件透传至至少一中心存储节点。

本发明通过在网络的子区区域中设置边缘存储节点，有效缓解中心存储节点的处理压力，提高整个系统的处理能力。本发明可以与CDN网络结合使用，在网络中以混合设置的方式设置边缘存储节点和CDN边缘节点，使边缘存储节点的暂存功能和CDN边缘节点的加速上传功能结合，提高整个网络的智能存储传输能力。本发明中存储文件时具有多副本、多IDC(Internet Data Center)、分布式特征，可以保证可靠性和有效性。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是实施例中数据传输方法的流程图；

图2是实施例中数据传输系统的结构图；

图3是实施例中边缘存储节点的结构图；

图4是实施例中数据传输系统中处理模块的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

本发明在网络中除了设置中心存储节点外还设置边缘存储节点，负责前端业务，临时存储用户的数据文件为用户提供数据下载服务，可以有效分担中心存储节点的处理压力。由于边缘存储节点的成本较高，在整个网络的每个子区区域中均设置边缘存储节点不够现实，所以本发明中只在一部分子区区域中设置边缘存储节点。

图1是实施例中数据传输方法的流程图，此方法包括：

步骤101，在网络中至少一子区区域内设置边缘存储节点；

步骤102，子区区域内设置有边缘存储节点时，通过边缘存储节点接收用户上传的数据文件，将此数据文件存储预设时长并同步至至少一中心存储节点；

步骤103，边缘存储节点接收用户的下载请求后，在本地存储有此用户的下载请求对应的数据文件时，所述边缘存储节点将此数据文件传输至此用户，在本地存储未有此用户的下载请求对应的数据文件时访问中心存储节点后获取此数据文件并转发至此用户。

本方法中因为边缘存储节点的存储空间有限，所以对用户上传的数据文件只是进行暂时存储，在存储预设时长(例如一天)之后便删除之前存储的数据以用于接收用户新上传的数据。本方法还包括：边缘存储节点将接收用户上传的数据文件同步至中心存储节点时，可以在每日的固定时间(一般为网络数据传输量较少的时段，例如凌晨时段)将用户上传的数据文件同步至中心存储节点，或者，边缘存储节点在接收用户上传的数据文件后便同步至中心存储节点，或者，边缘存储节点将数据文件存储预设时长后，先将数据文件同步至中心存储节点，再将数据文件从本地删除。边缘存储节点将接收到的用户上传的数据文件同步至至少一个中心存储节点，收到中心存储节点返回的用户元数据写入成功响应后，向用户返回上传成功应答。

子区区域内未设置有边缘存储节点时，CDN边缘节点接收用户上传请求并通知至中心存储节点，中心存储节点选择距离用户最近的CDN边缘节点接收用户上传的数据文件，此CDN边缘节点将此数据文件上传至至少一中心存储节点。在网络中以混合设置的方式设置边缘存储节点和CDN边缘节点，使边缘存储节点的暂存功能和CDN边缘节点的加速上传功能结合，提高整个网络的智能存储传输能力。

步骤103中，在本地存储未有此用户的下载请求对应的数据文件时访问中心存储节点后获取此数据文件并转发至此用户包括：边缘存储节点判断本地未存储有此用户的下载请求对应的数据文件时，向中心存储节点查询到存储有此用户的下载请求对应的数据文件的其它至少一边缘存储节点时，从边缘存储节点中选择一边缘存储节点，从此边缘存储节点获取此用户的下载请求对应的数据文件并转发至此用户；边缘存储节点向所述中心存储节点查询其它边缘存储节点未存储有此用户的下载请求对应的数据文件时，从中心存储节点获取此用户的下载请求对应的数据文件并转发至此用户。其中，从边缘存储节点中选择一边缘存储节点时，优先选择通信链路质量好的边缘存储节点，例如：优先选择与中心存储节点消息交互响应时长最短的一边缘存储节点。

本方法中中心存储节点接收到用户上传的数据文件后，保存此数据文件以及此数据文件的元数据，此数据文件的元数据中的文件地址包括存储此用户的此数据文件的边缘存储节点的标识。例如，同一用户将同一文件上传至两个边缘存储节点上时，此两个边缘存储节点将此文件均同步到中心存储节点后，中心存储节点处记录的此文件的元数据的地址中包括三个地址即此文件在中心存储节点的存储地址、此文件在上述两个边缘存储节点中的存储地址。

本方法中，中心存储节点可以将用户的数据文件存储于指定域名对应的服务器，边缘存储节点上不存在用户请求的数据文件时可以从指定域名拉取此文件。边缘存储节点将此数据文件存储预设时长并同步至中心存储节点后，从相应域名对应的服务器拉取此数据文件。文件的拉取过程是异步的，拉取完成时间和拉取的文件大小正相关。在进行回源文件拉取时，可以将文件拉取的地址设置于回源拉取请求的文件头中，指定域名的服务器对此回源拉取请求进行校验(此校验步骤可选)后，允许进行文件传输。

本方法中可以下载的断点续传功能，并且支持https方式的断点续传。进行回源拉取时的相应域名在配置在网络内之前需要事先申请SSL证书，在申请成功后才能配置至网络中。本方法中用户使用SDK上传接口进行文件上传，在需要下载文件时，使用SDK生成离线下载任务并提供文件下载列表，由中心存储节点的离线下载系统根据文件下载列表进行数据下载。用户可以根据使用需求配置回源拉取规则，根据此回源拉取规则自动到源站拉取数据并同步到存储区。

本方法还支持离线下载方式，中心存储节点上建立离线下载任务后，在用户处于离线状态时进行下载。

图2是实施例中数据传输系统的结构图；在整个网络的一部分子区区域中设置边缘存储节点。边缘存储节点负责前端业务，临时存储用户的数据文件并为用户提供数据下载服务。中心存储节点负责系统中所有业务，具体包括：元数据管理、资源调度、资源分配等。

图3是实施例中边缘存储节点的结构图。

边缘存储节点包括接收模块、存储模块、同步模块、判断模块、处理模块。

接收模块，用于接收用户上传的数据文件；还用于接收用户的下载请求；

存储模块，用于将接收模块接收到的用户上传的数据文件存储预设时长；

同步模块，用于将接收模块接收到的用户上传的数据文件同步至中心存储节点；

判断模块，用于在接收模块接收到用户的下载请求后，判断本地是否存储有此用户的下载请求对应的数据文件；

处理模块，用于在判断模块判定本地存储有此用户的下载请求对应的数据文件时将此数据文件传输至此用户，在判断模块判定本地未存储有此用户的下载请求对应的数据文件时，访问中心存储节点后获取此数据文件并转发至此用户。

其中，

图4是处理模块的结构图，处理模块包括解析单元、查询单元、选择单元和发送单元。

解析单元用于解析判断模块的判断结果；

查询单元用于在解析单元的解析结果为本地未存储有此用户的下载请求对应的数据文件时，向中心存储节点查询存储有此用户的下载请求对应的数据文件的其它至少一边缘存储节点；

选择单元用于从查询单元查询到的边缘存储节点中选择一边缘存储节点；优选的，选择与中心存储节点消息交互响应时长最短的一边缘存储节点。

发送单元用于从选择单元选择出的边缘存储节点获取此用户的下载请求对应的数据文件并转发至此用户；还用于在查询单元在向中心存储节点查询其它边缘存储节点未存储有此用户的下载请求对应的数据文件时，从中心存储节点获取此用户的下载请求对应的数据文件并转发至此用户。

查询模块还用于使用以下方法向中心存储节点查询到存储有此用户的下载请求对应的数据文件的其它至少一边缘存储节点：根据数据文件的标识查询中心存储节点的数据文件的元数据以获得以此数据文件的元数据的文件地址。

中心存储节点包括用于接收所述数据文件的接收模块，用于保存此数据文件以及此数据文件的元数据的存储模块。此数据文件的元数据中的文件地址包括存储此用户的此数据文件的边缘存储节点的标识。

本系统还包括CDN边缘节点，用于在所属子区区域内未设置有边缘存储节点时接收用户上传请求并通知至中心存储节点，还用于在接收到中心存储节点的文件接收指示后接收用户上传的数据文件，并将此数据文件透传至至少一中心存储节点。

本发明通过在网络的子区区域中设置边缘存储节点，有效缓解中心存储节点的处理压力，提高整个系统的处理能力。本发明可以与CDN网络结合使用，在网络中以混合设置的方式设置边缘存储节点和CDN边缘节点，使边缘存储节点的暂存功能和CDN边缘节点的加速上传功能结合，提高整个网络的智能存储传输能力。本发明中存储文件时具有多副本、多IDC(Internet Data Center)、分布式特征，可以保证可靠性和有效性。

上面描述的内容可以单独地或者以各种方式组合起来实施，而这些变型方式都在本发明的保护范围之内。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括要素的物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案而非限制，仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种数据传输方法，其特征在于，包括：

在网络中至少一子区区域内设置边缘存储节点；

子区区域内设置有边缘存储节点时，通过边缘存储节点接收用户上传的数据文件，将此数据文件存储预设时长并同步至至少一中心存储节点；

所述边缘存储节点接收用户的下载请求后，在本地存储有此用户的下载请求对应的数据文件时，所述边缘存储节点将此数据文件传输至此用户，在本地存储未有此用户的下载请求对应的数据文件时访问中心存储节点后转发此数据文件并转发至此用户。

2.如权利要求1所述的数据传输方法，其特征在于，

所述在本地存储未有此用户的下载请求对应的数据文件时访问中心存储节点后获取此数据文件并转发至此用户包括：所述边缘存储节点判断本地未存储有此用户的下载请求对应的数据文件时，向所述中心存储节点查询到存储有此用户的下载请求对应的数据文件的其它至少一边缘存储节点时，从所述边缘存储节点中选择一边缘存储节点，从此边缘存储节点获取此用户的下载请求对应的数据文件并转发至此用户。

3.如权利要求2所述的数据传输方法，其特征在于，

所述方法还包括：所述边缘存储节点向所述中心存储节点查询其它边缘存储节点未存储有此用户的下载请求对应的数据文件时，从所述中心存储节点获取此用户的下载请求对应的数据文件并转发至此用户。

4.如权利要求2所述的数据传输方法，其特征在于，

所述方法还包括：所述中心存储节点接收到所述数据文件后，保存此数据文件以及此数据文件的元数据，此数据文件的元数据中的文件地址包括存储此用户的此数据文件的边缘存储节点的标识；

所述向所述中心存储节点查询存储有此用户的下载请求对应的数据文件的其它至少一边缘存储节点包括：根据数据文件的标识查询所述中心存储节点的所述数据文件的元数据以获得以此所述数据文件的元数据的文件地址。

5.如权利要求1所述的数据传输方法，其特征在于，

子区区域内未设置有边缘存储节点时，CDN边缘节点接收用户上传请求并通知至中心存储节点，中心存储节点选择距离用户最近的CDN边缘节点接收用户上传的数据文件，此CDN边缘节点将此数据文件上传至至少一中心存储节点。

6.一种数据传输系统，其特征在于，包括：边缘存储节点和中心存储节点；所述边缘存储节点包括：

接收模块，用于接收用户上传的数据文件；还用于接收用户的下载请求；

存储模块，用于将接收模块接收到的用户上传的数据文件存储预设时长；

同步模块，用于将接收模块接收到的用户上传的数据文件同步至中心存储节点；

判断模块，用于在接收模块接收到用户的下载请求后，判断本地是否存储有此用户的下载请求对应的数据文件；

处理模块，用于在判断模块判定本地存储有此用户的下载请求对应的数据文件时将此数据文件传输至此用户，在判断模块判定本地未存储有此用户的下载请求对应的数据文件时，访问中心存储节点后获取此数据文件并转发至此用户。

7.如权利要求6所述的数据传输系统，其特征在于，

所述处理模块包括解析单元、查询单元、选择单元和发送单元；

所述解析单元，用于解析判断模块的判断结果；

所述查询单元，用于在解析单元的解析结果为本地未存储有此用户的下载请求对应的数据文件时，向所述中心存储节点查询存储有此用户的下载请求对应的数据文件的其它至少一边缘存储节点；

所述选择单元，用于从所述查询单元查询到的边缘存储节点中选择一边缘存储节点；

所述发送单元，用于从选择单元选择出的边缘存储节点获取此用户的下载请求对应的数据文件并转发至此用户。

8.如权利要求7所述的数据传输系统，其特征在于，

所述发送单元，还用于在所述查询单元在向所述中心存储节点查询其它边缘存储节点未存储有此用户的下载请求对应的数据文件时，从所述中心存储节点获取此用户的下载请求对应的数据文件并转发至此用户。

9.如权利要求7所述的数据传输系统，其特征在于，

所述查询单元，用于使用以下方法向所述中心存储节点查询到存储有此用户的下载请求对应的数据文件的其它至少一边缘存储节点：根据数据文件的标识查询所述中心存储节点的所述数据文件的元数据以获得以此所述数据文件的元数据的文件地址；

所述中心存储节点包括：

接收模块，用于接收所述数据文件；

存储模块，用于保存此数据文件以及此数据文件的元数据，此数据文件的元数据中的文件地址包括存储此用户的此数据文件的边缘存储节点的标识。

10.如权利要求7所述的数据传输系统，其特征在于，

所述系统还包括CDN边缘节点，用于在所属子区区域内未设置有边缘存储节点时接收用户上传请求并通知至中心存储节点，还用于在接收到中心存储节点的文件接收指示后接收用户上传的数据文件，并将此数据文件透传至至少一中心存储节点。