CN110445811A - 用于非云存储的数据管理系统、方法、服务器和存储介质 - Google Patents

Abstract

本申请提供一种用于非云存储的数据管理系统、方法、服务器和存储介质，涉及非云存储技术领域。该系统包括：传输服务器、安全管理服务器和存储服务器；传输服务器与所述安全管理服务器连接，安全管理服务器与存储服务器连接；传输服务器用于获取输入输出数据，并将输入输出数据传输至安全管理服务器；安全管理服务器，用于根据至少一个检查项，分别对输入输出数据进行检查，得到数据的检查结果，若数据的检查结果指示每个检查项均通过检查，则将输入输出数据传输至存储服务器；存储服务器用于存储输入输出数据。相对于现有技术，通过对数据的规范管理和安全性检查，保证了数据在传输过程中的安全以及全链路的稳定性。

Description

用于非云存储的数据管理系统、方法、服务器和存储介质

技术领域

本申请涉及非云存储技术领域，具体而言，涉及一种用于非云存储的数据管理系统、方法、服务器和存储介质。

背景技术

在数据快速增长的数字化信息时代，海量的数据存储技术成为了支持数据高速增长的技术基础，在现有技术中，存储技术一般分为云存储和非云存储。

在数据存储中，数据传输又占有非常重要的部分，存储技术中，数据的输入和输出都离不开数据传输，数据传输指的是依照适当的规程，经过一条或多条链路，在数据源和数据宿之间传送数据的过程。若数据传输存在安全隐患或传输不稳定，都会带来很多安全隐患。

在非云存储的数据存储技术中，由于数据传输过程中缺少对数据的规范管理和安全性的检查，无法保证数据传输的安全以及全链路的稳定性。

发明内容

本申请的目的在于，针对上述现有技术中的不足，提供一种用于非云存储的数据管理系统、方法、服务器和存储介质，通过对获取的非云存储的输入输出数据进行检查，保证了数据传输过程中的数据安全和规范。

为实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请一实施例提供了一种用于非云存储的数据管理系统，包括：

传输服务器、安全管理服务器和存储服务器；所述传输服务器与所述安全管理服务器连接，所述安全管理服务器与所述存储服务器连接；

所述传输服务器用于获取输入输出数据，并将所述输入输出数据传输至所述安全管理服务器；

所述安全管理服务器，用于根据至少一个检查项，分别对所述输入输出数据进行检查，得到所述数据的检查结果，若所述数据的检查结果指示每个所述检查项均通过检查，则将所述输入输出数据传输至所述存储服务器；

所述存储服务器用于存储所述输入输出数据。

进一步地，所述安全管理服务器，具体用于根据至少一种处理算法，对所述输入输出数据进行处理，得到处理后的所述输入输出数据，将处理后的所述输入输出数据传输至所述存储服务器中。

进一步地，所述检查项包括下述至少一个检查项目：完整性检查、合法性检查、异常数据检查。

进一步地，所述处理算法包括下述至少一种处理对应的算法：数据脱敏处理、数据过滤处理。

进一步地，所述数据管理系统还包括：数据管理服务器；所述数据管理服务器与所述存储服务器连接；

所述存储服务器，还用于将所述输入输出数据的元信息更新至所述数据管理服务器。

进一步地，所述数据管理服务器还与所述传输服务器连接；

所述传输服务器，还用于从所述数据管理服务器获取用户访问的数据权限，根据所述数据权限对所述数据管理服务器中的数据进行访问，得到访问数据；其中，所述访问数据包括：所述输入输出数据。

进一步地，所述数据管理系统还包括：订阅服务器；所述数据管理服务器与所述订阅服务器连接；

所述数据管理服务器，用于根据更新后的所述输入输出数据的元信息信息，确定更新的输入数据信息，并将所述更新的输入数据信息发布至所述订阅服务器。

进一步地，所述数据管理系统还包括：监控服务器；所述监控服务器分别与所述传输服务器、所述安全管理服务器和所述存储服务器连接；

所述监控服务器用于对所述传输服务器、所述安全管理服务器和所述存储服务器之间的传输链路进行监控。

进一步地，所述数据管理系统还包括：容灾系统，所述容灾系统包括：备用传输服务器、备用安全管理服务器和备用存储服务器；所述容灾系统中各服务器分别与所述监控服务器连接；

所述监控服务器，用于在监控到所述传输服务器、所述安全管理服务器和所述存储服务器中任两个服务器之间的传输链路发生故障，则将其切换至所述容灾系统中所述发生故障的传输链路对应的服务器。

第二方面，本申请另一实施例提供了一种用于非云存储的数据传输方法，包括：获取输入输出数据，并根据至少一个检查项，分别对所述输入输出数据进行检查，得到所述数据的检查结果；

若所述数据的检查结果指示每个所述检查项均检查通过，则将所述输入输出数据存储至非云存储的数据存储系统中。

进一步地，所述将所述输入输出数据存储至非云存储的数据存储系统中，包括：

根据至少一种处理算法，对所述输入输出数据进行合规性处理，得到处理后的所述输入输出数据；

将处理后的所述输入输出数据存储至非云存储的数据存储系统中。

进一步地，所述获取输入输出数据，包括：

根据用户访问的数据权限，进行数据访问，得到访问数据，所述访问数据包括：所述输入输出数据。

本申请的有益效果是：采用本申请提供的用于非云存储的数据管理系统，包括传输服务器、安全管理服务器和存储服务器，通过各服务器之间的配合，实现对非云存储的数据传输服务中的数据进行管理，其中，安全管理服务器对每一个输入输出数据进行至少一项的检查，只有在输入输出数据通过每一项检查的情况下，才会将输入输出数据存储至存储服务器，这就保证了输入输出数据的规范性和安全性，从而保证了数据在传输过程中的安全性以及稳定性，满足非云存储的数据传输需求。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请一实施例提供的用于非云存储的数据管理系统结构示意图；

图2为本申请另一实施例提供的用于非云存储的数据管理系统结构示意图；

图3为本申请另一实施例提供的用于非云存储的数据管理系统结构示意图；

图4为本申请另一实施例提供的用于非云存储的数据管理系统结构示意图；

图5为本申请一实施例提供的用于非云存储的数据管理方法的流程示意图；

图6为本申请一实施例提供的用于飞云存储的设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。

图1为本申请一实施例提供的用于非云存储的数据管理系统的结构示意图，如图1所示，该系统包括：传输服务器101、安全管理服务器102和存储服务器103。

传输服务器101与安全管理服务器102连接，安全管理服务器102与存储服务器103连接。

其中，传输服务器101用于获取输入输出数据，并将输入输出数据传输至安全管理服务器102；安全管理服务器102，用于根据至少一个检查项，分别对输入输出数据进行检查，得到数据的检查结果，若数据的检查结果指示每个检查项均通过检查，则将输入输出数据传输至存储服务器103；存储服务器103用于存储输入输出数据。

需要说明的是，传输服务器101可以为数据传输系统的服务器，其可以由一个独立的服务器实现，也可由多个服务器构成的服务器集群实现。该传输服务器101可为用户提供数据的访问及传输服务，用户可通过传输服务器101访问需要访问的数据。

可选地，该传输服务器101可以基于安全套接层的超文本传输安全协议(HyperText Transfer Protocol over Secure SocketLayer，HTTPS)搭建一个数据传输系统网站。该网站的服务端应用可以包含数据管理、权限管理、用户管理、审计日志等模块。用户登陆该网站后，可通过数据管理模块在该网站输入相关的选择操作，从而实现数据的查看、预览、上传及下载等数据访问操作，同时也可以通过权限管理模块和用户管理模块在该网站上对个人数据进行管理，如删除、更改、分享等。同时，系统管理员也可通过权限管理模块和用户管理模块，对用户进行管理，如根据用户分类对用户进行分组、对违规用户进行冻结等。用户可以通过审计日志模块查看以往的历史操作，对历史操作进行查寻定位，实现了操作行为的可查可定位。

可选地，除了提供万维网(World Wide Web，web)端的服务外，该传输服务器101还可以基于文件传输协议(File Transfer Protocol，FTP)、FTPS协议(一种对常用的文件传输协议FTP添加传输层安全TLS和安全套接层SSL加密协议支持的扩展协议)、安全文件传送协议(SSH File Transfer Protocol，sftp)等任一协议搭建定制化的数据传输服务，例如：该数据传输服务可以实现大文件的稳定上传下载等；或者通过提供相应的软件开发工具包，实现程序自动化方式的数据传输；具体数据传输服务的搭载方式根据用户需要设计，本申请在此不做任何限制。

安全管理服务器102可以为数据安全管理系统的服务器，其可以由一个独立的服务器实现，也可由多个服务器构成的服务器集群实现。该安全管理服务器102可用于对输入输出数据进行检查，并根据检查结果，生成相应的数据安全检查报告，其中，若通过检查，则数据可以正常传输，若未满足检查要求，则可以禁止数据的流入流出。该安全管理服务器102可根据预设的至少一个检查项，对数据传输服务器101所获取的输入输出数据进行依次或同时检查，得到检查结果。其中，至少一个检查项，可均为合规性检查。

存储服务器103可以为非云存储的数据存储系统的服务器，其可以由一个独立的服务器实现，也可由多个服务器构成的服务器集群实现。该安全管理服务器102可用于提供数据的存储服务。可选地，存储服务器103上可以具有关系型数据库、非关系型数据库或文件存储数据库等任一类型的数据库，存储服务器103可将检查通过的输入输出数据存储至预设的数据库中。存储服务器103存储数据的具体数据库的类型可根据用户需要设计，本申请在此不做任何限制。举例说明：关系型数据库可以为：mysql、oracle、db2等；非关系型数据库可以为：hbase、redis、mongoddb等；文件存储数据库可以为：Hadoop分布式文件系统(HDFS)、网络文件系统(Network File System，NFS)等。

本实施例中，提供了一种包括传输服务器、安全管理服务器和存储服务器的用于非云存储的数据管理系统，通过各服务器之间的配合，实现对非云存储的数据传输服务中的数据进行管理，其中，安全管理服务器对每一个输入输出数据进行至少一项的检查，只有在输入输出数据通过每一项检查的情况下，才会将输入输出数据存储至存储服务器，这就保证了输入输出数据的规范性和安全性，从而保证了数据在传输过程中的安全性以及稳定性，满足非云存储的数据传输需求。

可选的，安全管理服务器102，具体用于根据至少一种处理算法，对输入输出数据进行处理，得到处理后的输入输出数据，将处理后的输入输出数据传输至存储服务器103中。

即，安全管理服务器102除了要对输入输出数据进行相关检查，若检查通过，还可对检查通过的输入输出数据进行合规性处理，继而将处理后的输入输出数据传输至存储服务器103，进一步保证存储的输入输出数据的合规性，保证非云存储的数据传输需求；对于检查未通过的输入输出数据可以禁止流入流出，并且可无需执行处理操作，减小了不必要的处理操作，避免防止违规数据造成安全隐患。

可选地，处理算法可以包括下述至少一种处理对应的算法：数据脱敏处理、数据过滤处理。

其中，数据脱敏处理可为对通过检查的输入输出数据中的敏感信息通过脱敏规则进行数据的处理，实现对输入输出中敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况下，在不违反系统规则条件下，对这些敏感信息进行数据脱敏处理。举例说明，脱敏的敏感信息可以包括：身份证号、手机号、卡号、客户号等隐私信息。

数据过滤可以对非法值进行过滤或对数据进行筛选，例如：将空值、非空异常值等进行过滤；或者筛选出属于某一制定客户A的数据。

需要说明的是，通过检查的输入输出数据若为敏感数据，则需要对其进行数据脱敏处理，经过数据脱敏处理的数据，不会展出真实的数据，而是以脱敏后的形式展示，例如：客户手机号为：12345678987，经过数据脱敏处理后，展出的手机号可能为：12********9，但并不以此为限；这样可进一步提高数据的安全性，防止敏感信息的泄露。

可选地，检查项可以包括下述至少一个检查项目：完整性检查、合法性检查、异常数据检查。

其中，完整性检查可用于检查该输入输出数据是否完整：例如，该输入输出数据中二代居民身份证号为18位数，若检查到该输入输出数据中的身份证号不等于18位数，说明该输入输出数据中的数据并不正确，即完整性检测不通过；若获取到的身份证号为18位数，则通过完整性检测。

合法性检查主要检查数据格式是否是符合预设要求的，可以为数据格式检查等，例如：MD5信息摘要算法(英语：MD5Message-Digest Algorithm，md5)加密数据格式为32位大写且由[0-9,A-F]组成，如果检测到当前加密数据不符合预设要求，存在其他字符形式的字符，则判断当前加密数据不合法，未通过合法性检查。

异常数据检查可用于检查该输入输出数据是否存在异常字符，可以包括：空值检查，即某些数据不能为空；某些数据只能是0或1，不能为其他值；某些数据只能为数字，不能为其他字符等；例如：正确的手机号应该有11位数字，若获取的手机号中存在除数字外的其他字符，说明该输入输出数据存在异常，即未通过异常数据检查；若获取的手机号中均为正常数字，则通过异常数据检查。

完整性检查可以保证输入输出数据的完整性，合法性检查，查可以保证数据是符合数据规范要求的，例如：符合数据安全规范，数据对外输入输出规范等；异常数据检查可以保证数据不是异常数据，在检查过程中，只有每一项检查均通过，才视为该输入输出数据通过检查，可以正常的输入输出；若任一项检查没有通过，均视为未通过检查。

图2为本申请另一实施例提供的用于非云存储的数据管理系统的结构示意图，如图2所示，该系统还可包括数据管理服务器104。

数据管理服务器104与存储服务器103连接；存储服务器103还用于将输入输出数据的元信息更新至数据管理服务器104。

数据管理服务器104还与传输服务器101连接；传输服务器101，还用于从数据管理服务器104获取用户访问的数据权限，根据数据权限对数据管理服务器104中的数据进行访问，得到访问数据；其中，访问数据包括：输入输出数据。

需要说明的是，数据管理服务器104主要负责数据的规范化管理，为数据传输系统提供全面、规范的数据元信息，同时控制数据的访问权限，保障数据的安全，防止数据外泄。

即每个用户都有其对应的访问权限，用户只能访问自己权限内的数据，对于没有权限的数据，用户无法访问，这种基于数据权限得到访问数据的设置，可以防止越级访问，进一步保证的数据的安全。

举例说明，用户访问某一数据时，要先从数据管理服务器104中获取用户访问的数据权限，若获取到了数据访问权限，则可以访问该数据；若没有获取到权限，则可以给用户返回“没有访问权限”的警告，具体实施方式根据用户需要设计，本申请在此不做任何限制。

图3为本申请另一实施例提供的用于非云存储的数据管理系统的结构示意图，如图3所示，该系统还包括订阅服务器105；数据管理服务器104与订阅服务器105连接；数据管理服务器104，用于根据更新后的输入输出数据的元信息，确定更新的输入数据信息，并将更新的输入数据信息发布至订阅服务器105，订阅服务器105再将更新后的数据发送给用户，以便用户可以即时获取数据的最新消息。

可选地，订阅服务器在发布更新后的数据时，可以仅发送给对更新后的数据有读取权限的用户，并不是发送给所有用户，具体实施方式根据用户需要设计，本申请在此不做任何限制。

图4为本申请另一实施例提供的用于非云存储的数据管理系统的结构示意图，如图4所示，该系统还包括监控服务器106和容灾系统107，其中，监控服务器106分别与传输服务器101、安全管理服务器102和存储服务器103连接；监控服务器106用于对传输服务器101、安全管理服务器102和存储服务器103之间的传输链路进行监控。

其中，容灾系统107包括：备用传输服务器、备用安全管理服务器和备用存储服务器。容灾系统107中每个模块都采用主备架构，各服务器分别与监控服务器106连接。

监控服务器106可以实时检测每个链路的状况，一旦监控到传输服务器101、安全管理服务器102和存储服务器103中任两个服务器之间的传输链路发生故障，则监控服务器106对当前发生故障的链路进行自动报警，并将其切换至容灾系统107中发生故障的传输链路对应的服务器中，从而保证了数据传输服务全链路的高可用性。

本实施例中，通过增设数据管理服务器，可以通过控制数据的访问权限，规范数据的管理，从而保障数据的安全，放置数据外泄；通过增设监控服务器和容灾系统，可以对全脸路的状况进行监控，一旦发现异常，就发出警报，并将发生异常的链路切换至容灾系统中对应的服务器中，进一步保证了数据传输服务全链路的高可用性。通过这些服务器组成的用于非云存储的数据传输系统，相对于传统的非云存储的数据传输系统，保证了数据传输的安全规范化需求，可以保证数据传输全链路的安全性，以及系统服务的稳定性和高可用性。

图5为本申请一实施例提供的用于非云存储的数据传输方法的流程示意图，该数据传输方法可应用于上述图1-图4中任一所示的数据管理系统。如图5所示，该方法可包括：

S201：获取输入输出数据，并根据至少一个检查项，分别对输入输出数据进行检查，得到数据的检查结果。

其中，获取输入输出数据，包括：根据用户访问的数据权限，进行数据访问，得到访问数据，访问数据包括：输入输出数据。

S202：若数据的检查结果指示每个检查项均检查通过，则将输入输出数据存储至非云存储的数据存储系统中。

该方法可由上述图1-图4中任一所示的数据管理系统中的安全管理服务器执行，数据存储系统可以为上述数据管理系统中的存储服务器上的数据存储系统。

其中，步骤S202包括：根据至少一种处理算法，对输入输出数据进行合规性处理，得到处理后的输入输出数据；将处理后的输入输出数据存储至非云存储的数据存储系统中。

可选地，获取输入输出数据，包括：根据用户访问的数据权限，进行数据访问，得到访问数据，访问数据包括：输入输出数据。

上述方法可应用于前述实施例提供的系统中，其实现原理和技术效果类似，在此不再赘述。

图6为本申请另一实施例提供的服务器的结构示意图，该电子设备可以集成于服务器或者服务器的芯片。该服务器可以为上述数据管理系统中的安全管理服务器。

该服务器包括：处理器501、存储介质502和总线503。

处理器501用于存储程序，处理器501调用存储介质502存储的程序，以执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。

可选地，本申请还提供一种程序产品，例如存储介质，该存储介质上存储有计算机程序，包括程序，该程序在被处理器运行时执行上述方法实施例。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (12)

1.一种用于非云存储的数据管理系统，其特征在于，包括：传输服务器、安全管理服务器和存储服务器；所述传输服务器与所述安全管理服务器连接，所述安全管理服务器与所述存储服务器连接；

所述传输服务器用于获取输入输出数据，并将所述输入输出数据传输至所述安全管理服务器；

所述安全管理服务器，用于根据至少一个检查项，分别对所述输入输出数据进行检查，得到所述数据的检查结果，若所述数据的检查结果指示每个所述检查项均通过检查，则将所述输入输出数据传输至所述存储服务器；

所述存储服务器用于存储所述输入输出数据。

2.根据权利要求1所述的系统，其特征在于，所述安全管理服务器，具体用于根据至少一种处理算法，对所述输入输出数据进行处理，得到处理后的所述输入输出数据，将处理后的所述输入输出数据传输至所述存储服务器中。

3.根据权利要求1所述的系统，其特征在于，所述检查项包括下述至少一个检查项目：完整性检查、合法性检查、异常数据检查。

4.根据权利要求2所述的系统，其特征在于，所述处理算法包括下述至少一种处理对应的算法：数据脱敏处理、数据过滤处理。

5.根据权利要求1-4中任一项所述的系统，其特征在于，所述数据管理系统还包括：数据管理服务器；所述数据管理服务器与所述存储服务器连接；

所述存储服务器，还用于将所述输入输出数据的元信息更新至所述数据管理服务器。

6.根据权利要求5所述的系统，其特征在于，所述数据管理服务器还与所述传输服务器连接；

所述传输服务器，还用于从所述数据管理服务器获取用户访问的数据权限，根据所述数据权限对所述数据管理服务器中的数据进行访问，得到访问数据；其中，所述访问数据包括：所述输入输出数据。

7.根据权利要求5所述的系统，其特征在于，所述数据管理系统还包括：订阅服务器；所述数据管理服务器与所述订阅服务器连接；

所述数据管理服务器，用于根据更新后的所述输入输出数据的元信息信息，确定更新的输入数据信息，并将所述更新的输入数据信息发布至所述订阅服务器。

8.根据权利要求1-4中任一项所述的系统，其特征在于，所述数据管理系统还包括：监控服务器；所述监控服务器分别与所述传输服务器、所述安全管理服务器和所述存储服务器连接；

所述监控服务器用于对所述传输服务器、所述安全管理服务器和所述存储服务器之间的传输链路进行监控。

9.根据权利要求8所述的系统，其特征在于，所述数据管理系统还包括：容灾系统，所述容灾系统包括：备用传输服务器、备用安全管理服务器和备用存储服务器；所述容灾系统中各服务器分别与所述监控服务器连接；

所述监控服务器，用于在监控到所述传输服务器、所述安全管理服务器和所述存储服务器中任两个服务器之间的传输链路发生故障，则将其切换至所述容灾系统中所述发生故障的传输链路对应的服务器。

10.一种用于非云存储的数据传输方法，其特征在于，包括：

获取输入输出数据，并根据至少一个检查项，分别对所述输入输出数据进行检查，得到所述数据的检查结果；

若所述数据的检查结果指示每个所述检查项均检查通过，则将所述输入输出数据存储至非云存储的数据存储系统中。

11.根据权利要求10所述的方法，其特征在于，所述将所述输入输出数据存储至非云存储的数据存储系统中，包括：

根据至少一种处理算法，对所述输入输出数据进行合规性处理，得到处理后的所述输入输出数据；

将处理后的所述输入输出数据存储至非云存储的数据存储系统中。

12.根据权利要求10-11中任一所述的方法，其特征在于，所述获取输入输出数据，包括：

根据用户访问的数据权限，进行数据访问，得到访问数据，所述访问数据包括：所述输入输出数据。