CN111930800B - 一种基于云计算的企业大数据分析处理系统 - Google Patents

Abstract

本发明涉及一种基于云计算的企业大数据分析处理系统，包括示例数据获取模块、数据类型获取模块、企业数据获取模块、企业数据集合构建模块、存储地址分配模块、数据存储模块、存储关系构建模块、可视化指令接收模块、企业数据可视化模块、可视化次数确定模块和第一存储位置变更模块。根据示例数据得到各企业数据集合，根据预设的初始分配机制得到各企业数据集合分配的初始存储地址，获取各企业数据集合在预设时间段内的可视化次数，根据可视化次数与预设高次数阈值的大小关系，对相关企业数据集合的存储地址进行修改。该企业大数据分析处理系统能够对企业数据进行可靠分析处理，满足企业大数据分析处理的智能化需求。

Description

一种基于云计算的企业大数据分析处理系统

技术领域

本发明涉及一种基于云计算的企业大数据分析处理系统。

背景技术

云计算(cloud computing)是分布式计算的一种，指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后，通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。存储云，又称云存储，是在云计算技术上发展起来的一个新的存储技术。云存储是一个以数据存储和管理为核心的云计算系统。用户可以将本地的资源上传至云端上，可以在任何地方连入互联网来获取云上的资源。企业大数据分析处理对于企业的发展至关重要，基于云计算的快速发展，亟需一种基于云计算的企业大数据分析处理系统。

发明内容

有鉴于此，本发明提供一种基于云计算的企业大数据分析处理系统。

本发明采用以下技术方案：

一种基于云计算的企业大数据分析处理系统，包括：

示例数据获取模块，用于获取各企业目标数据库对应的示例数据；

数据类型获取模块，用于根据所述示例数据确定各企业目标数据库存储的数据类型；

企业数据获取模块，用于获取各企业目标数据库中存储的企业数据；

企业数据集合构建模块，用于构建企业数据集合，各企业数据集合与各企业目标数据库一一对应，所述企业数据集合包括对应的企业目标数据库中存储的企业数据，所述企业数据集合以对应的企业目标数据库存储的数据类型作为企业数据集合的名称；

存储地址分配模块，用于根据预设的初始分配机制对各企业数据集合进行分配，得到各企业数据集合分配的初始存储地址，其中，所述初始分配机制包括各数据类型所对应的初始存储地址，所述初始存储地址为云存储地址或者本地存储地址；将分配到云存储地址的企业数据集合定义为第一企业数据集合，将分配到本地存储地址的企业数据集合定义为第二企业数据集合；

数据存储模块，用于根据所述云存储地址将所述第一企业数据集合存储至云端，根据所述本地存储地址将所述第二企业数据集合存储至本地；

存储关系构建模块，用于构建存储关系，所述存储关系包括各企业数据集合对应的数据类型与存储地址的对应关系；

可视化指令接收模块，用于接收可视化指令，所述可视化指令包括需要进行可视化的目标数据类型；

企业数据可视化模块，用于根据所述可视化指令和所述存储关系，确定所述目标数据类型所对应的目标存储地址，从所述目标存储地址中获取与目标数据类型相对应的目标企业数据集合，并进行可视化；

可视化次数确定模块，用于根据各次可视化过程，获取各企业数据集合在预设时间段内的可视化次数；以及

第一存储位置变更模块，用于比较各企业数据集合在预设时间段内的可视化次数与预设高次数阈值，得到可视化次数大于或者等于所述预设高次数阈值的企业数据集合，获取所述可视化次数大于或者等于所述预设高次数阈值的企业数据集合中的第一企业数据集合，将获取到的第一企业数据集合从所述云端转移存储至所述本地，并更新所述存储关系。

可选地，所述企业大数据分析处理系统还包括第二存储位置变更模块，所述第二存储位置变更模块用于比较各企业数据集合在预设时间段内的可视化次数与预设低次数阈值，得到可视化次数小于或者等于所述预设低次数阈值的企业数据集合，获取所述可视化次数小于或者等于所述预设低次数阈值的企业数据集合中的第二企业数据集合，将获取到的第二企业数据集合从所述本地转移存储至所述云端，并更新所述存储关系；其中，所述预设低次数阈值小于所述预设高次数阈值。

可选地，所述企业数据获取模块具体用于：

根据所述各企业目标数据库存储的数据类型生成与所述各企业目标数据库对应的企业数据获取脚本文件；

调用所述企业数据获取脚本文件，获取各企业目标数据库中存储的企业数据。

可选地，所述企业大数据分析处理系统还包括：

企业数据提取指令获取模块，用于获取企业数据提取指令，所述企业数据提取指令包括待提取的企业数据集合的数据类型；

企业数据提取模块，用于根据所述企业数据提取指令和所述存储关系，确定所述待提取的企业数据集合的数据类型所对应的存储地址，从确定得到的存储地址中获取待提取的企业数据集合；

密钥文件请求模块，用于向后台服务器发送密钥文件获取请求，以指示所述后台服务器生成并返回用于加密的密钥文件；

密钥文件接收模块，用于接收所述后台服务器返回的所述密钥文件；

加密模块，用于根据所述密钥文件，对所述待提取的企业数据集合进行加密，并对加密后的待提取的企业数据集合进行压缩打包，得到加密企业数据包；以及

企业数据输出模块，用于输出所述加密企业数据包。

本发明提供的技术方案的有益效果为：由于示例数据是对应企业目标数据库中存储的企业数据的典型数据，能够反映对应企业目标数据库中存储的数据类型，则获取示例数据，并根据示例数据确定各企业目标数据库存储的数据类型，通过这种方式能够有效准确地获取到各个企业目标数据库存储的数据类型；根据各个企业目标数据库中存储的企业数据，以及各企业目标数据库存储的数据类型，构建企业数据集合，各企业数据集合以对应的数据类型为集合名称，包括对应企业目标数据库中存储的企业数据；根据预设的初始分配机制对各企业数据集合进行分配，得到各企业数据集合分配的初始存储地址是云存储地址或者是本地存储地址，并将企业数据集合进行分类，以区分不同的存储地址所对应的企业数据集合，并将各企业数据集合存储在对应的位置；当需要进行企业数据可视化时，根据可视化指令中的需要进行可视化的目标数据类型，确定得到目标企业数据集合，并进行可视化；并且，根据各次可视化过程，获取各企业数据集合在预设时间段内的可视化次数，根据与预设高次数阈值的大小关系，得到可视化次数大于或者等于预设高次数阈值的企业数据集合，这些企业数据集合被可视化的次数比较多，并获取这些企业数据集合中的第一企业数据集合，那么，这些第一企业数据集合的可视化次数比较多，数据使用比较频繁，相对来说这些第一企业数据集合对于企业而言比较重要，由于这些第一企业数据集合存储在云端，则将这些第一企业数据集合从云端转移存储至本地，并更新存储关系。由于只能够通过网络才能从云端获取到这些第一企业数据集合，则数据读取速度完全受限于网络的速度和稳定性，当网络不稳定或者网速比较差时，会严重影响这些第一企业数据集合的获取，更有甚者导致数据获取失败，而且，云存储相较于本地存储而言，安全性没有本地存储的安全性高，而本地由于没有通过网络连接，就不存在上述缺点，因此，为了提升这些第一企业数据集合的获取速度和效率，降低获取失败的可能性，并提升数据安全性，则将这些第一企业数据集合从云端转移存储至本地，能够满足需求，当后续再次需要获取这些企业数据集合以进行可视化时，能够从本地快速安全获取，保证获取速度和效率，降低获取失败的可能性，提升数据安全性。因此，本发明提供的企业大数据分析处理系统，能够对企业数据进行可靠分析处理，满足企业大数据分析处理的智能化需求。

附图说明

图1是基于云计算的企业大数据分析处理系统的结构原理图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施方式。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施方式中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施方式的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

如图1所示，本实施例提供一种基于云计算的企业大数据分析处理系统，包括：示例数据获取模块、数据类型获取模块、企业数据获取模块、企业数据集合构建模块、存储地址分配模块、数据存储模块、存储关系构建模块、可视化指令接收模块、企业数据可视化模块、可视化次数确定模块和第一存储位置变更模块。应当理解，本实施例提供的基于云计算的企业大数据分析处理系统的各个组成模块均可以是硬件模块，也可以是软件模块，若为软件模块，则该企业大数据分析处理系统是一个软件系统，其硬件执行主体可以是任何计算机设备，比如台式电脑、笔记本电脑等等。硬件执行主体的具体实现形式由实际应用场景具体确定。

企业数据由实际企业类型以及规模进行确定，不同的企业类型以及规模所对应的企业数据可能会有不同。企业数据可以包括企业各个方面的数据，比如包括：企业员工数据、企业生产数据、企业销售数据等等，其中，企业员工数据可以包括各个员工的个人基本信息以及合同信息等数据，企业生产数据可以包括企业各个季度的生产数据以及产品抽检合格率等数据，企业销售数据可以包括各个季度的销售数据以及销售额增长率等数据。

初始情况下，不同数据类型的企业数据存储在不同的企业目标数据库中，企业目标数据库包括至少一个企业数据，企业目标数据库中存储的企业数据为同一数据类型的企业数据。比如：按照部门的不同划分数据类型，同一部门的企业数据为一类企业数据，不同部门的企业数据分属于不同的数据类型；或者，按照数据的属性划分数据类型，将产品的相关数据归为一类，将企业员工的相关数据归为一类，将企业管理数据归为一类，将企业后勤数据归为一类，等等。应当理解，数据类型由实际需要进行设置，不局限于上述的两种举例。

各企业目标数据库设置有示例数据，示例数据用于对对应的企业目标数据库中存储的企业数据进行示例，也就是说，示例数据最能够体现对应的企业目标数据库中存储的数据类型，则根据示例数据能够确定所属企业目标数据库存储的数据类型。示例数据可以是专门设置的数据，也可以是对应的企业目标数据库中存储的某一个企业数据。

示例数据获取模块用于获取各企业目标数据库对应的示例数据。

数据类型获取模块用于根据各企业目标数据库所对应的示例数据确定各企业目标数据库存储的数据类型。

企业数据获取模块用于获取各企业目标数据库中存储的企业数据。应当理解，企业数据获取模块可以直接从各企业目标数据库中获取到存储的企业数据。作为一个具体实施方式，企业数据获取模块具体用于：根据各企业目标数据库存储的数据类型生成与各企业目标数据库对应的企业数据获取脚本文件，其中，企业数据获取脚本文件可以包含对应的企业目标数据库的数据类型或者企业目标数据库的原始名称等信息。调用企业数据获取脚本文件，就可以根据企业数据获取脚本文件所包含的信息获取各企业目标数据库中存储的企业数据。其中，若企业数据获取脚本文件包含对应的企业目标数据库的数据类型，则就可以根据数据类型获取到对应企业目标数据库中存储的企业数据，若企业数据获取脚本文件包含对应企业目标数据库的原始名称，则就可以根据原始名称获取到对应企业目标数据库中存储的企业数据。

企业数据集合构建模块用于构建企业数据集合，各企业数据集合与各企业目标数据库一一对应。对于任意一个企业数据集合，该企业数据集合包括对应的企业目标数据库中存储的企业数据，而且，该企业数据集合以对应的企业目标数据库存储的数据类型作为该企业数据集合的名称。比如：若数据类型为企业生产数据，则对应的企业数据集合包括企业生产数据，而该企业数据集合的名称为“企业生产数据”。

存储地址分配模块用于根据预设的初始分配机制对各企业数据集合进行分配，其中，初始分配机制包括各数据类型所对应的初始存储地址，初始存储地址为云存储地址或者本地存储地址。那么，根据上述初始分配机制就能够得到各企业数据集合分配的初始存储地址，是云存储地址还是本地存储地址。将各企业数据集合分配至云存储地址还是本地存储地址的分配原则，由实际情况进行设置，比如：将企业认为相对重要的数据分配至本地存储地址，将企业认为相对不是那么重要的数据分配至云存储地址。应当理解，数据是否重要可能因企业的不同而不同，因为不同的企业由于发展方向不同而会将不同的数据当作重要数据。

根据初始分配机制对各企业数据集合进行分配之后，就能够得到两大类企业数据集合，分别是分配至云存储地址的企业数据集合，以及分配至本地存储地址的企业数据集合。为了便于说明，将分配到云存储地址的企业数据集合定义为第一企业数据集合，将分配到本地存储地址的企业数据集合定义为第二企业数据集合。

应当理解，云存储地址和本地存储地址是预先设置好的，其中，云存储地址是云端的存储地址，用于将对应的企业数据集合存储在云端，在将企业数据集合存储在云端时，需要通过网络进行数据传输；本地存储地址是本地的存储地址，用于将对应的企业数据集合存储在本地，即存储在本地设置的存储设备中。

数据存储模块用于根据云存储地址将第一企业数据集合存储至云端，根据本地存储地址将第二企业数据集合存储至本地。

存储关系构建模块用于构建存储关系，该存储关系包括各企业数据集合对应的数据类型与存储地址的对应关系，包括各第一企业数据集合的数据类型与云存储地址的对应关系，以及各第二企业数据集合的数据类型与本地存储地址的对应关系。表1给出该存储关系的一种具体实施方式。

表1

X1	云存储地址
		X2	云存储地址
X3	云存储地址
		Y1	本地存储地址
Y2	本地存储地址
		Y3	本地存储地址

表1中，X1、X2、X3、Y1、Y2和Y3表示数据类型。那么，X1、X2和X3对应的企业数据集合均为第一企业数据集合，Y1、Y2和Y3对应的企业数据集合均为第二企业数据集合。

当需要进行企业数据可视化时，由相关的工作人员，将其称为可视化工作人员，进行操作。可视化工作人员向该企业大数据分析处理系统所对应的硬件执行主体输出可视化指令，其中，可视化指令包括需要进行可视化的目标数据类型。

可视化指令接收模块用于接收可视化指令。

企业数据可视化模块用于根据可视化指令和存储关系，即根据可视化指令中的需要进行可视化的目标数据类型，以及上文中的存储关系，确定目标数据类型所对应的目标存储地址，即确定目标数据类型所对应的目标存储地址是云存储地址还是本地存储地址；从确定得到的目标存储地址中获取与目标数据类型相对应的目标企业数据集合，即从云存储地址对应的云端或者从本地存储地址对应的本地获取到与目标数据类型相对应的目标企业数据集合；最后将目标企业数据集合进行可视化。应当理解，可视化是利用计算机图形学和图像处理技术，将得到的企业数据集合中的企业数据进行数据转换，转换能够显示的数据，并进行显示。比如：若目标数据类型为X2，结合表1可知，目标数据类型X2对应云存储地址，那么从云端根据目标数据类型X2获取目标企业数据集合。

每一次可视化过程就会对某一个企业数据集合进行可视化。那么，预设一个时间段，该预设时间段由实际需要进行设置，比如一个月。而且，预设时间段可以为各企业数据集合进行存储之后随意设置的一个时间段，比如：从各企业数据集合存储完成开始计时并往后持续的一个时间段。相应地，在各企业数据集合进行存储时，就需要记录存储时刻，并从该存储时刻开始往后持续预设时间段。预设时间段内，各企业数据集合均可以有一定的可视化次数，应当理解，不同的企业数据集合的可视化次数互不影响，可能有的企业数据集合的可视化次数比较多，有的企业数据集合的可视化次数比较少，更有甚者，可能有的企业数据集合的可视化次数为0。那么，可视化次数确定模块用于根据各次可视化过程，获取各企业数据集合在预设时间段内的可视化次数。应当理解，为了获取各企业数据集合在预设时间段内的可视化次数，需要对每次的可视化过程进行记录。记录内容包括各企业数据集合每次的可视化过程。

第一存储位置变更模块预设有一个高次数阈值，该预设高次数阈值由实际需要进行设置。第一存储位置变更模块用于比较各企业数据集合在预设时间段内的可视化次数与预设高次数阈值，相应地，能够得到两种企业数据集合，可视化次数大于或者等于预设高次数阈值的企业数据集合，以及可视化次数小于预设高次数阈值的企业数据集合。可视化次数大于或者等于预设高次数阈值的企业数据集合，表示可视化次数比较多，相对来说，企业对这些企业数据集合的分析处理次数比较多，数据比较重要；可视化次数小于预设高次数阈值的企业数据集合，表示可视化次数没有那么多，相对来说，企业对这些企业数据集合的分析处理次数没有那么多，数据相对来说没有那么重要。得到可视化次数大于或者等于预设高次数阈值的企业数据集合。应当理解，可视化次数大于或者等于预设高次数阈值的企业数据集合中，可能全部都是第一企业数据集合，也可能都是第二企业数据集合，也可能第一企业数据集合和第二企业数据集合均包含。同理，可视化次数小于预设高次数阈值的企业数据集合中，可能全部都是第一企业数据集合，也可能都是第二企业数据集合，也可能第一企业数据集合和第二企业数据集合均包含。

对于可视化次数大于或者等于预设高次数阈值的企业数据集合，第一存储位置变更模块获取可视化次数大于或者等于预设高次数阈值的企业数据集合中的第一企业数据集合，由于第一企业数据集合的存储地址为云存储地址，即存储在云端，则将获取到的第一企业数据集合从云端转移存储至本地，并更新上文中的存储关系。其中，转移存储的方式可以有：将获取到的第一企业数据集合从云端复制到本地，然后将云端的这些第一企业数据集合删去。

由于可视化次数大于或者等于预设高次数阈值的企业数据集合相对来说比较重要，而且，企业数据集合存储在云端没有存储在本地安全，还有，企业数据集合存储在云端时，当提取云端的企业数据集合时，数据提取速率和效率完全受网络的影响，当网络不稳定时，数据提取速率、效率和可靠性大幅度降低，甚至会出现数据提取失败的情况，因此，将这些比较重要的企业数据集合中的第一企业数据集合从转移存储至本地。由于从本地提取数据时，无需考虑网络，速率和效率较高，而且，本地存储更加安全，因此，将这些比较重要的企业数据集合中的第一企业数据集合从转移存储至本地，能够提升数据存储安全性，以及数据提取速率、效率和可靠性。

更新上文中的存储关系能够在后续数据可视化时和数据提取时保证目标企业数据集合从正确的存储地址中提取，举例来说：若可视化次数大于或者等于预设高次数阈值的企业数据集合中的第一企业数据集合的数据类型为X2，那么，将数据类型X2对应的第一企业数据集合从云端转移存储至本地，更新得到的存储关系如表2所示。

表2

X1	云存储地址
		X2	本地存储地址
X3	云存储地址
		Y1	本地存储地址
Y2	本地存储地址
		Y3	本地存储地址

那么，后续在提取数据类型X2对应的企业数据集合时，根据更新后的存储关系确定存储地址，即从本地提取。

进一步地，企业大数据分析处理系统还包括第二存储位置变更模块，第二存储位置变更模块预设有一个预设低次数阈值，该预设低次数阈值由实际需要进行设置。应当理解，预设低次数阈值小于上文中的预设高次数阈值，进一步地，可以设置：预设高次数阈值与预设低次数阈值的差值大于或者等于预设差值，这种逻辑关系表示高次数阈值与预设低次数阈值之间有一定的差距，以使预设高次数阈值是一个较大的数值，而预设低次数阈值是一个较小的数值。

第二存储位置变更模块用于比较各企业数据集合在预设时间段内的可视化次数与预设低次数阈值，能够得到两种企业数据集合，分别是可视化次数小于或者等于预设低次数阈值的企业数据集合，以及可视化次数大于预设低次数阈值的企业数据集合。其中，可视化次数小于或者等于预设低次数阈值的企业数据集合表示被可视化的次数很低，相应地，可视化次数小于或者等于预设低次数阈值的企业数据集合相对来说不重要。可视化次数小于或者等于预设低次数阈值的企业数据集合中，可能全部都是第一企业数据集合，也可能都是第二企业数据集合，也可能第一企业数据集合和第二企业数据集合均包含。

对于可视化次数小于或者等于预设低次数阈值的企业数据集合，第二存储位置变更模块获取可视化次数小于或者等于预设低次数阈值的企业数据集合中的第二企业数据集合。由于第二企业数据集合的存储地址为本地存储地址，即存储在本地，则将获取到的第二企业数据集合从本地转移存储至云端，即将本地存储地址修改为云存储地址，并更新上文中的存储关系。

由于可视化次数小于或者等于预设低次数阈值的企业数据集合相对来说不重要，那么，将这些不重要的企业数据集合从本地转移存储至云端，能够降低本地的数据存储量，提升本地存储设备的处理速度，降低本地存储设备的数据处理负担，进而提升本地存储设备的运行可靠性和安全性。而且，本地存储设备空出来的存储空间能够存储那些比较重要的企业数据集合。

作为一个特殊的实施方式，预设低次数阈值可以为0，那么，将预设时间段内被可视化的次数为0的企业数据集合从本地转移存储至云端，能够释放本地存储设备的存储空间，避免这些几乎没有用的数据长期占用本地存储资源而导致本地存储设备的处理速度变慢的情况。

本实施例中，数据提取人员还可以对所需的企业数据集合进行提取，以满足其他需求。数据提取人员输出企业数据提取指令，企业数据提取指令包括待提取的企业数据集合的数据类型。

企业大数据分析处理系统还包括：

企业数据提取指令获取模块用于获取企业数据提取指令，企业数据提取指令包括待提取的企业数据集合的数据类型。

企业数据提取模块用于根据企业数据提取指令和存储关系，即根据企业数据提取指令中的待提取的企业数据集合的数据类型以及上文中的存储关系，确定待提取的企业数据集合的数据类型所对应的存储地址，然后从确定得到的存储地址中获取待提取的企业数据集合。

密钥文件请求模块用于在获取到待提取的企业数据集合之后，向后台服务器发送密钥文件获取请求，以指示后台服务器生成并返回用于加密的密钥文件。应当理解，密钥文件获取请求可以是一个具有特定位数的字符串。后台服务器接收到密钥文件获取请求之后，根据内部的密钥文件生成机制生成一个密钥文件，供企业数据集合加密使用。该密钥文件包含加密密钥，加密密钥用于对企业数据集合进行加密，进一步地，该密钥文件还可以包括解密密钥，解密密钥与加密密钥相对应，用于对加密后的数据进行解密。

后台服务器生成密钥文件之后，返回该密钥文件。密钥文件接收模块用于接收后台服务器返回的密钥文件。

加密模块用于根据密钥文件，对待提取的企业数据集合进行加密，并对加密后的待提取的企业数据集合进行压缩打包，得到加密企业数据包。应当理解，对待提取的企业数据集合进行加密的加密算法属于现有技术已公开的加密算法，本实施例不做具体限定。以下给出一种加密过程：首先，提取密钥文件中的加密密钥；然后，根据加密密钥，对待提取的企业数据集合进行加密；最后，删除接收到的后台服务器返回的密钥文件。在根据密钥文件中的加密密钥对待提取的企业数据集合进行加密之后，删除接收到的密钥文件，能够保证密钥文件的安全，防止密钥文件被窃取，进而防止待提取的企业数据集合被窃取。

然后，加密模块对加密后的待提取的企业数据集合进行压缩打包，得到加密企业数据包。应当理解，数据压缩方式以及对应的压缩过程可以采用现有技术已存在的压缩过程，比如压缩成zip包或者rar包。

企业数据输出模块用于输出加密企业数据包。应当理解，数据提取人员获取到加密企业数据包之后，可以人工从后台服务器获取到密钥文件，先对加密企业数据包进行解压缩，得到加密后的待提取的企业数据集合，然后根据密钥文件中的解密密钥对加密后的待提取的企业数据集合进行解密，得到待提取的企业数据集合。应当理解，输出加密企业数据包之后的数据处理过程可以不是企业大数据分析处理系统的工作范围。

上述实施例仅以一种具体的实施方式说明本发明的技术方案，任何对本发明进行的等同替换及不脱离本发明精神和范围的修改或局部替换，其均应涵盖在本发明权利要求保护的范围之内。

Claims (1)

1.一种基于云计算的企业大数据分析处理系统，其特征在于，包括：

示例数据获取模块，用于获取各企业目标数据库对应的示例数据；

数据类型获取模块，用于根据所述示例数据确定各企业目标数据库存储的数据类型；

企业数据获取模块，用于获取各企业目标数据库中存储的企业数据；

企业数据集合构建模块，用于构建企业数据集合，各企业数据集合与各企业目标数据库一一对应，所述企业数据集合包括对应的企业目标数据库中存储的企业数据，所述企业数据集合以对应的企业目标数据库存储的数据类型作为企业数据集合的名称；

存储地址分配模块，用于根据预设的初始分配机制对各企业数据集合进行分配，得到各企业数据集合分配的初始存储地址，其中，所述初始分配机制包括各数据类型所对应的初始存储地址，所述初始存储地址为云存储地址或者本地存储地址；将分配到云存储地址的企业数据集合定义为第一企业数据集合，将分配到本地存储地址的企业数据集合定义为第二企业数据集合；

数据存储模块，用于根据所述云存储地址将所述第一企业数据集合存储至云端，根据所述本地存储地址将所述第二企业数据集合存储至本地；

存储关系构建模块，用于构建存储关系，所述存储关系包括各企业数据集合对应的数据类型与存储地址的对应关系；

可视化指令接收模块，用于接收可视化指令，所述可视化指令包括需要进行可视化的目标数据类型；

企业数据可视化模块，用于根据所述可视化指令和所述存储关系，确定所述目标数据类型所对应的目标存储地址，从所述目标存储地址中获取与目标数据类型相对应的目标企业数据集合，并进行可视化；

可视化次数确定模块，用于根据各次可视化过程，获取各企业数据集合在预设时间段内的可视化次数；以及

第一存储位置变更模块，用于比较各企业数据集合在预设时间段内的可视化次数与预设高次数阈值，得到可视化次数大于或者等于所述预设高次数阈值的企业数据集合，获取所述可视化次数大于或者等于所述预设高次数阈值的企业数据集合中的第一企业数据集合，将获取到的第一企业数据集合从所述云端转移存储至所述本地，并更新所述存储关系；

所述企业大数据分析处理系统还包括第二存储位置变更模块，所述第二存储位置变更模块用于比较各企业数据集合在预设时间段内的可视化次数与预设低次数阈值，得到可视化次数小于或者等于所述预设低次数阈值的企业数据集合，获取所述可视化次数小于或者等于所述预设低次数阈值的企业数据集合中的第二企业数据集合，将获取到的第二企业数据集合从所述本地转移存储至所述云端，并更新所述存储关系；其中，所述预设低次数阈值小于所述预设高次数阈值；

所述企业数据获取模块具体用于：

根据所述各企业目标数据库存储的数据类型生成与所述各企业目标数据库对应的企业数据获取脚本文件；

调用所述企业数据获取脚本文件，获取各企业目标数据库中存储的企业数据；

所述企业大数据分析处理系统还包括：

企业数据提取指令获取模块，用于获取企业数据提取指令，所述企业数据提取指令包括待提取的企业数据集合的数据类型；

企业数据提取模块，用于根据所述企业数据提取指令和所述存储关系，确定所述待提取的企业数据集合的数据类型所对应的存储地址，从确定得到的存储地址中获取待提取的企业数据集合；

密钥文件请求模块，用于向后台服务器发送密钥文件获取请求，以指示所述后台服务器生成并返回用于加密的密钥文件；

密钥文件接收模块，用于接收所述后台服务器返回的所述密钥文件；

加密模块，用于根据所述密钥文件，对所述待提取的企业数据集合进行加密，并对加密后的待提取的企业数据集合进行压缩打包，得到加密企业数据包；以及

企业数据输出模块，用于输出所述加密企业数据包；

获取到加密企业数据包之后，从后台服务器获取密钥文件，先对加密企业数据包进行解压缩，得到加密后的待提取的企业数据集合，然后根据密钥文件中的解密密钥对加密后的待提取的企业数据集合进行解密，得到待提取的企业数据集合；

其中加密的过程为：

首先，提取密钥文件中的加密密钥；

然后，根据加密密钥，对待提取的企业数据集合进行加密；

最后，删除接收到的后台服务器返回的密钥文件。

Images