CN115102973A

CN115102973A - 混合云的数据存储系统及数据存储方法

Info

Publication number: CN115102973A
Application number: CN202211033259.7A
Authority: CN
Inventors: 李艳波; 王鑫哲; 贾宏伟; 郭建君
Original assignee: Beijing Weiling Times Technology Co Ltd
Current assignee: Beijing Weiling Times Technology Co Ltd
Priority date: 2022-08-26
Filing date: 2022-08-26
Publication date: 2022-09-23
Anticipated expiration: 2042-08-26
Also published as: CN115102973B

Abstract

本公开实施例涉及一种混合云的数据存储系统及数据存储方法，系统包括：属于公有云的第一数据存储装置；第一数据存储装置用于接收至少一个服务器上传的数据；第一数据存储装置所在机房的地理位置指定范围内设置第二数据存储装置，第二数据存储装置与所述第一数据存储装置之间以内网数据服务方式进行数据传输；第二数据存储装置包括：业务处理结构和内网数据服务结构；内网数据服务结构用于与第一数据存储装置进行内网数据服务的交互，以使第一数据存储装置中暂存的数据传输至第二数据存储装置中；业务处理结构用于与任一终端交互，用于使所述终端读取或写入数据。上述系统的使用解决了现有技术中混合云费用高，且无法实现在费用和混合云使用上的平衡的缺陷。

Description

混合云的数据存储系统及数据存储方法

技术领域

本申请属于数据存储技术领域，具体涉及一种混合云的数据存储系统及数据存储方法。

背景技术

现有技术中，混合云通常包括一个公有云和多个私有云，其综合了公有云和私有云各自的优势，混合云可以将公有云作为私有云数据备份、云端数据处理、远程数据访问的平台，将私有云作为热数据存储的平台。出于安全考虑，企业更愿意将数据存放在私有云中，但是同时又希望可以获得公有云的计算资源，在这种情况下混合云被越来越多的采用，它将公有云和私有云进行混合和匹配，以获得最佳的效果，这种个性化的解决方案，达到了既省钱又安全的目的。

也就是说，私有云的安全性是超越公有云的，而公有云的计算资源又是私有云无法企及的。在这种矛与盾的情况下，混合云解决了这个问题，它既可以利用私有云的安全，将内部重要数据保存在本地数据中心；同时也可以使用公有云的计算资源，更高效快捷地完成工作，相比私有云或是公有云都更完善。

然而，现有使用公有云和私有云建立的网络进行存储时，其费用高，无法普及推广到各个中小企业使用。

为此，如何在费用和混合云的数据存储使用上进行平衡，成为当前亟需解决的问题。

发明内容

（一）要解决的技术问题

鉴于现有技术的上述缺点、不足，本申请提供一种混合云的数据存储系统及数据存储方法，该方法能够有效节省混合云的使用成本。

（二）技术方案

为达到上述目的，本申请采用如下技术方案：

第一方面，本发明实施例提供一种混合云的数据存储系统，其包括：

属于公有云的第一数据存储装置；所述第一数据存储装置用于接收至少一个服务器上传的数据；

第一数据存储装置所在机房的地理位置指定范围内设置第二数据存储装置，所述第二数据存储装置与所述第一数据存储装置之间以内网数据服务方式进行数据传输；

所述第二数据存储装置包括：业务处理结构和内网数据服务结构；

所述内网数据服务结构用于与第一数据存储装置进行内网数据服务的交互，以使第一数据存储装置中暂存的数据传输至第二数据存储装置中；

所述业务处理结构用于与任一终端交互，用于使所述终端读取或写入数据，所述任一终端为互联网中的设备；

所述内网数据服务结构为属于私有云的数据服务结构。

可选地，所述第二数据存储装置为IDC覆盖范围内的数据存储装置；

第二数据存储装置距离所述第一数据存储装置0~5km；或者，第二数据存储装置为企业的私有硬盘。

可选地，所述业务处理结构与终端交互的网络为IDC的网络；所述业务处理结构与终端进行交互的上行带宽和下行带宽相同；

或者，所述第二数据存储装置与所述第一数据存储装置之间数据传输的上行、下行带宽小于第一数据存储装置与客户端之间上行下行带宽。

第二方面，本发明实施例还提供一种混合云的数据存储方法，所述数据存储方法为基于第一方面所述的数据存储系统的数据存储方法，所述方法包括：

第一数据存储装置接收多个服务器上传的数据；

第二数据存储装置与所述第一数据存储装置连接后，基于内网数据服务结构获取第一数据存储装置中的数据并存储；

所述第二数据存储装置中的业务处理结构接收任一终端的请求与该终端交互；

所述第一数据存储装置接收多个服务器上传数据的频率和数据量根据各服务器的使用情况决定，第二数据存储装置接收第一数据存储装置传输的数据的频率和速度均是预先设定的固定值，且第二数据存储装置基于100M的带宽接收与第一数据存储装置发送的数据。

可选地，所述第一数据存储装置接收多个服务器上传的数据，包括：

第一数据存储装置的触发器监测到服务器中日志数据变化时，且在日志数据变化的服务器的CPU使用率低于N%时，第一数据存储装置中的数据收集服务获取服务器中更新的日志数据；

N为30~50之间的自然数。

可选地，服务器对该服务器中待上传第一数据存储装置的日志数据采用非对称加密方式获取第一hash校验值；

第一数据存储装置在获取该服务器中的日志数据后采用非对称加密方式获取第二hash校验值，并判断第二hash校验值和接收的服务器上传的第一hash校验值是否相同；

若相同，将日志数据排列在消息队列中；否则，丢弃当前的日志数据。

可选地，第一数据存储装置的消息队列包括多数据类型的消息队列；每一消息队列为指定长度的队列，在一消息队列达到指定长度时，属于该消息队列的数据可暂存等待区。

可选地，第二数据存储装置部署在私有云机房，所述第二数据存储装置查看获取的数据的IP地址是否位于白名单中，若是，则允许任一终端与第二数据存储装置中的业务处理结构交互以传输或分析所述数据；

或者，第二数据存储装置查看获取的数据的IP地址是否位于白名单中，若是，则对所述数据进行分析或允许外部终端访问。

可选地，所述第二数据存储装置对属于白名单的数据建立索引，以使外部终端快速访问所需的数据。

（三）有益效果

针对现有技术中使用公有云和私有云建立的网络存储时，按月收费，价格非常昂贵的缺陷，本发明的系统借助于私有云的第二数据存储装置可有效节省带宽费用和共有云存储费用。借助于公有云的第一数据存储装置与任一客户端交互，可降低需要接收海量并发的高性能服务器的费用和人力维护。

进一步地，在数据存储方法中，当内网打通的链路因为意外断掉时，不会因为无法写入数据而造成第一数据存储装置和第二数据存储装置的数据中断，此时数据仍然保存在属于公有云的第一数据存储装置的消息队列中并可继续写入，当线路恢复，仍然可以照常传输数据。

附图说明

本申请借助于以下附图进行描述：

图1为本发明一实施例提供的混合云的数据存储系统的架构示意图；

图2为本发明一实施例提供的混合云的数据存储方法的流程示意图。

具体实施方式

为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。可以理解的是，以下所描述的具体的实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合；为了便于描述，附图中仅示出了与发明相关的部分。

现有技术中公有云存储贵，但上传免费，私有云存储便宜，但上传很贵。为此，如何将公有云和私有云进行合理调整，实现费用降低且能够有效利用到公有云的高并发，私有云的安全性成为当前亟需解决的问题。

如图1所示，本发明实施例提供一种混合云的数据存储系统，包括：

属于公有云的第一数据存储装置；所述第一数据存储装置用于接收至少一个服务器上传的数据，如图1所示的PaaS可为第一数据存储装置，且多个服务器可为地理位置不同的服务器，如游戏服务器、业务服务器等。

所述内网数据服务结构为属于私有云的数据服务结构。

本实施例中，所述第二数据存储装置为IDC覆盖范围内的数据存储装置；第二数据存储装置距离所述第一数据存储装置0~5km，例如第一数据存储装置可为企业的私有硬盘，其部署在企业的私有云机房中。

此外，所述业务处理结构与终端交互的网络为IDC的网络；所述业务处理结构与终端进行交互的上行带宽和下行带宽相同。

需要说明的是，所述第二数据存储装置与所述第一数据存储装置之间数据传输的上行、下行带宽小于第一数据存储装置与客户端之间上行下行带宽。

本实施例的数据存储系统借助于私有云的第二数据存储装置可有效节省带宽费用和共有云存储费用。借助于公有云的第一数据存储装置与任一客户端交互，可降低需要接收海量并发的高性能服务器的费用和人力维护。

另一方面，本发明实施例还提供一种混合云的数据存储方法，所述数据存储方法为基于上述实施例的数据存储系统的数据存储方法，如图2所示，数据存储方法包括：

A01、第一数据存储装置接收多个服务器上传的数据。

可理解的是，数据上报时，由N（N大于100,000）个服务器，由服务器上报到公有云的paas即第一数据存储装置（停留时间可控，默认一周，费用较低）。

即，第一数据存储装置接收多个服务器上传的数据后存储且存储时间可控如一周。

在具体实现过程中，第一数据存储装置的触发器监测到服务器中日志数据变化时，且在日志数据变化的服务器的CPU使用率低于N%时，第一数据存储装置中的数据收集服务获取服务器中更新的日志数据；N为30~50之间的自然数。

另外，服务器对该服务器中待上传第一数据存储装置的日志数据采用非对称加密方式获取第一hash校验值；

若相同，将日志数据排列在消息队列中；本实施例的日志数据可包括服务日志、指标日志、游戏日志、业务日志等，其消息队列的数量和日志数据的类型的数量相同。每种日志数据类型的量、传输频率、传输高峰时间不同，第一数据存储装置会根据每种日志数据类型的查看优先级和需要的实时性来分配不同的队列，以实现快速传输且使用的目的。

第二hash校验值和接收的服务器上传的第一hash校验值不同时，即校验失败，则将该数据放弃，并接收后续的日志数据。

当然，第一数据存储装置的消息队列包括多数据类型的消息队列；每一消息队列为指定长度的队列，在一消息队列达到指定长度时，属于该消息队列的数据可暂存等待区。本实施例中等待区的数据量可不设限。

A02、第二数据存储装置与所述第一数据存储装置连接后，基于内网数据服务结构获取第一数据存储装置中的数据并存储。

也就是说，在公有云的机房附近的IDC购买内网数据服务结构，第一数据存储装置中的数据通过100M（可选择）网络同步到同地区的IDC，进而存储在由用户购买的硬盘中。本实施例中的内网数据服务结构可理解为数据消费者。

A03、所述第二数据存储装置中的业务处理结构接收任一终端的请求与该终端交互。

也就是说，在IDC覆盖下的第二数据存储装置中设置对等网络可访问的业务处理结构，实现存储的数据查看能力和安装相应的业务程序。

第二数据存储装置部署在私有云机房，所述第二数据存储装置查看获取的数据的IP地址是否位于白名单中，若是，则允许任一终端与第二数据存储装置中的业务处理结构交互以传输或分析所述数据；

或者说，第二数据存储装置查看获取的数据的IP地址是否位于白名单中，若是，则对所述数据进行分析或允许外部终端访问。

在实际使用中，第二数据存储装置对属于白名单的数据建立索引，以使外部终端快速访问所需的数据。

本实施例的第二数据存储装置可在数据导入或迁移时，使用移动硬盘去第二数据存储装置的机房内进行同步。

举例来说，上述的第二数据存储装置可为部署在私有云机房的ES（ElasticSearch）。通过机房的网络，ES可以直接对数据进行统计分析和搜索查看。鉴于数据的隐私性，只能在公司内部查看，本实施例中将增加白名单限制，只有服务器的IP地址属于白名单内的数据才能允许其他终端进行访问和分析查看。

在ES中，ES对所有的已经分过类的数据建立索引，来更快的在超多数据中查到相对应的数据。例如，ES将一条数据进行分词后，进行搜索时，可以搜索到匹配数据和关联数据。

上述方法节省了高并发上报的带宽：由公有云提供的服务来接收大量数据，节省了接收高并发的服务器的数据：同时采用基于私有云的第二数据存储装置，节省了存储的租赁费用，其数据存储时间越长成本越低，且增加了数据可控性。

本实施例的第二数据存储装置可实现数据下载、数据管理等常规的数据操作。

应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。

尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例做出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。

Claims

1.一种混合云的数据存储系统，其特征在于，包括：

所述内网数据服务结构为属于私有云的数据服务结构。

2.根据权利要求1所述的数据存储系统，其特征在于，

所述第二数据存储装置为IDC覆盖范围内的数据存储装置；

3.根据权利要求1或2所述的数据存储系统，其特征在于，所述业务处理结构与终端交互的网络为IDC的网络；所述业务处理结构与终端进行交互的上行带宽和下行带宽相同；

4.一种混合云的数据存储方法，其特征在于，所述数据存储方法为基于上述权利要求1、2或3所述的数据存储系统的数据存储方法，所述方法包括：

第一数据存储装置接收多个服务器上传的数据；

5.根据权利要求4所述的数据存储方法，其特征在于，所述第一数据存储装置接收多个服务器上传的数据，包括：

N为30~50之间的自然数。

6.根据权利要求5所述的数据存储方法，其特征在于，

服务器对该服务器中待上传第一数据存储装置的日志数据采用非对称加密方式获取第一hash校验值；

若相同，将日志数据排列在消息队列中；否则丢弃当前的日志数据。

7.根据权利要求6所述的数据存储方法，其特征在于，第一数据存储装置的消息队列包括多数据类型的消息队列；每一消息队列为指定长度的队列，在一消息队列达到指定长度时，属于该消息队列的数据可暂存等待区。

8.根据权利要求7所述的数据存储方法，其特征在于，第二数据存储装置部署在私有云机房，所述第二数据存储装置查看获取的数据的IP地址是否位于白名单中，若是，则允许任一终端与第二数据存储装置中的业务处理结构交互以传输或分析所述数据；

9.根据权利要求8所述的数据存储方法，其特征在于，所述第二数据存储装置对属于白名单的数据建立索引，以使外部终端快速访问所需的数据。