CN114357082A - 一种基于云计算的大数据分析方法及系统 - Google Patents

Abstract

本发明提出了一种基于云计算的大数据分析方法及系统，涉及大数据领域。一种基于云计算的大数据分析方法包括：采集数据并将采集到的结构化、非结构化和半结构化数据通过无线通信的方式输送到分布式存储平台；对分布式存储平台的数据进行初步分析处理，得到多个子数据；根据每个子数据请求分布式存储平台计算资源数据的活动触发事件，确定每个子数据触发事件集的大数据操作信息；接收大数据操作信息进行二次分析后获得的多个校核数据。其能够对数据进行预处理，然后存入分布式存储平台，大大提高了后期数据检索和提取的效率。此外本发明还提出了一种基于云计算的大数据分析系统。

Description

一种基于云计算的大数据分析方法及系统

技术领域

本发明涉及大数据领域，具体而言，涉及一种基于云计算的大数据分析方法及系统。

背景技术

数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程，这一过程也是质量管理体系的支持过程，在实用中，数据分析可以帮助人们做出判断，以便采取适当的行动，数据分析的数学基础在20世纪早期就已确立，但直到计算机的出现才使得实际操作成为现实，并使得数据分析得以推广，数据分析是数学与计算机科学相结合的产物。

随着社会经济的发展和工业化水平的提高，人们对大数据技术的使用越来越多，大数据技术成为社会研究的热点，大数据通常用来形容一个公司创造的大量非结构化数据和半结构化数据。

目前对于大数据处理面临数据容量大，形式多样化，从而造成分析对比的难度较大，而且存储到数据库时容易造成数据存储混乱，导致在调取数据的时候时间消耗较长，数据容易出现丢失错乱的现象。

发明内容

本发明的目的在于提供一种基于云计算的大数据分析方法，其能够对数据进行预处理，然后存入分布式存储平台，大大提高了后期数据检索和提取的效率。

本发明的另一目的在于提供一种基于云计算的大数据分析系统，其能够运行一种基于云计算的大数据分析方法。

本发明的实施例是这样实现的：

第一方面，本申请实施例提供一种基于云计算的大数据分析方法，其包括采集数据并将采集到的结构化、非结构化和半结构化数据通过无线通信的方式输送到分布式存储平台；对分布式存储平台的数据进行初步分析处理，得到多个子数据；根据每个子数据请求分布式存储平台计算资源数据的活动触发事件，确定每个子数据触发事件集的大数据操作信息；接收大数据操作信息进行二次分析后获得的多个校核数据。

在本发明的一些实施例中，上述采集数据并将采集到的结构化、非结构化和半结构化数据通过无线通信的方式输送到分布式存储平台包括：将采集到结构化、非结构化和半结构化数据进行对比和分类，将对比和分类后的数据通过无线通信的方式输送到分布式存储平台。

在本发明的一些实施例中，上述对分布式存储平台的数据进行初步分析处理，得到多个子数据包括：基于云计算将分布式存储平台的数据进行并行数据处理，在高扩展的云计算平台上实现结构化、半结构化和非结构化数据的分布式并行分析处理得到多个子数据。

在本发明的一些实施例中，上述还包括：对多个子数据制定数据分析处理计算的优化分布调度方式，按照分析处理的数据对象所在分布式存储平台中的位置调度数据处理计算。

在本发明的一些实施例中，上述根据每个子数据请求分布式存储平台计算资源数据的活动触发事件，确定每个子数据触发事件集的大数据操作信息包括：每个子数据请求表示活动触发事件集中的资源数据在申请云计算时的大数据意图程度。

在本发明的一些实施例中，上述还包括：对每个子数据的活动触发事件进行特征处理，得到与资源数据对应的活动触发事件特征。

在本发明的一些实施例中，上述接收大数据操作信息进行二次分析后获得的多个校核数据包括：将接收大数据操作信息进行处理和过滤，将多个校核数据通过无线通信方式输送入分布式存储平台。

第二方面，本申请实施例提供一种基于云计算的大数据分析系统，其包括采集模块，用于采集数据并将采集到的结构化、非结构化和半结构化数据通过无线通信的方式输送到分布式存储平台；

分析处理模块，用于对分布式存储平台的数据进行初步分析处理，得到多个子数据；

触发模块，用于根据每个子数据请求分布式存储平台计算资源数据的活动触发事件，确定每个子数据触发事件集的大数据操作信息；

校核数据模块，用于接收大数据操作信息进行二次分析后获得的多个校核数据。

在本发明的一些实施例中，上述包括：用于存储计算机指令的至少一个存储器；与上述存储器通讯的至少一个处理器，其中当上述至少一个处理器执行上述计算机指令时，上述至少一个处理器使上述系统执行：采集模块、分析处理模块、触发模块及校核数据模块。

第三方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如一种基于云计算的大数据分析方法中任一项的方法。

相对于现有技术，本发明的实施例至少具有如下优点或有益效果：

其可以做到结构简化，能够提高系统的效率和稳定性，大数据信息分析通过对比对数据进行预处理，然后存入分布式存储平台，大大提高了后期数据检索和提取的效率；基于活动触发事件的大数据意图特征对大数据操作活动进行分析，通过用户的请求数据信息对大数据操作活动进行分析，能同时结合活动触发事件的大数据意图特征和请求信息，提高关键大数据采集的精准度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的一种基于云计算的大数据分析方法步骤示意图；

图2为本发明实施例提供的一种基于云计算的大数据分析方法详细步骤示意图；

图3为本发明实施例提供的一种基于云计算的大数据分析系统模块示意图；

图4为本发明实施例提供的一种电子设备。

图标：10-采集模块；20-分析处理模块；30-触发模块；40-校核数据模块；101-存储器；102-处理器；103-通信接口。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

需要说明的是，术语“包括”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的各个实施例及实施例中的各个特征可以相互组合。

实施例1

请参阅图1，图1为本发明实施例提供的一种基于云计算的大数据分析方法步骤示意图，其如下所示：

步骤S100，采集数据并将采集到的结构化、非结构化和半结构化数据通过无线通信的方式输送到分布式存储平台；

步骤S110，对分布式存储平台的数据进行初步分析处理，得到多个子数据；

步骤S120，根据每个子数据请求分布式存储平台计算资源数据的活动触发事件，确定每个子数据触发事件集的大数据操作信息；

步骤S130，接收大数据操作信息进行二次分析后获得的多个校核数据。

在一些实施方式中，活动触发事件集可以包括至少两个资源数据的活动触发事件数据，活动触发事件数据包括资源数据每次请求目标云计算数据资源时的活动触发事件和请求数字对象。其中，数据源可以是指存在数据提供或者展示服务的数据源，活动触发事件可以是指用户针对该数据源的页面中的数据读取的触发行为。请求数字对象可以是指具体指代的数字数据，但不限于此。

将当前关键的云计算数据资源作为目标云计算数据资源，将配置有目标云计算数据资源的数据源作为目标数据源，在目标云计算数据资源的配置包内添加活动触发事件爬取脚本，如此，目标数据源每次请求目标云计算数据资源时，活动触发事件爬取脚本就能采集当前目标数据源的活动触发事件和请求数字对象，并将采集的活动触发事件和请求数字对象上报给大数据采集服务系统，同时上报给大数据采集服务系统的还有目标数据源的数据源签名和大数据操作活动签名，其中，数据源签名用于唯一标识目标数据源，大数据操作活动签名用于指示目标数据源中目标云计算数据资源的来源，大数据采集服务系统接收到活动触发事件爬取脚本上报的信息后，根据数据源签名将属于同一目标数据源的活动触发事件、请求数字对象、大数据操作活动签名和数据源签名汇总到对应的目标数据源名下，得到每个目标数据源的活动触发事件数据，这里的活动触发事件数据可以视为一个触发序列，触发序列中的每条数据对应目标数据源对目标云计算数据资源的一次请求动作。例如，目标云计算数据资源在目标数据源A上请求了n(n≥1的整数)次，则目标数据源A的活动触发事件数据包括n条数据。

实施例2

请参阅图2，图2为本发明实施例提供的一种基于云计算的大数据分析方法详细步骤示意图，其如下所示：

步骤S200，将采集到结构化、非结构化和半结构化数据进行对比和分类，将对比和分类后的数据通过无线通信的方式输送到分布式存储平台。

步骤S210，基于云计算将分布式存储平台的数据进行并行数据处理，在高扩展的云计算平台上实现结构化、半结构化和非结构化数据的分布式并行分析处理得到多个子数据。

步骤S220，对多个子数据制定数据分析处理计算的优化分布调度方式，按照分析处理的数据对象所在分布式存储平台中的位置调度数据处理计算。

步骤S230，每个子数据请求表示活动触发事件集中的资源数据在申请云计算时的大数据意图程度。

步骤S240，对每个子数据的活动触发事件进行特征处理，得到与资源数据对应的活动触发事件特征。

步骤S250，将接收大数据操作信息进行处理和过滤，将多个校核数据通过无线通信方式输送入分布式存储平台。

在一些实施方式中，大数据管理中心向分布式存储平台发送基础设置指令，分布式存储平台接收并执行大数据管理中心发送的基础设置指令，完成基础信息设置后，向大数据管理中心发送设置成功信息。其中，基础设置指令至少包括：目标数据基础信息和目标数据计算规则。目标数据基础信息中包括多个获取规则；目标数据计算规则中包括多个计算规则；获取规则和计算规则为一一对应的关系。

其中，获取规则包括：目标数据的名称、目标数据的种类、目标数据的数据类型和目标数据的大小。目标数据为接收到目标数据获取指令后需要获取的资源的大数据。目标数据的名称为需要获取的资源的名称。目标数据的种类为需要获取的资源的种类。目标数据的数据类型为需要获取的资源的大数据的数据类型(例如：文本、图、表等数据类型)。目标数据的大小为需要获取的资源的大数据的最大数据量。

实施例3

请参阅图3，图3为本发明实施例提供的一种基于云计算的大数据分析系统模块示意图，其如下所示：

采集模块10，用于采集数据并将采集到的结构化、非结构化和半结构化数据通过无线通信的方式输送到分布式存储平台；

分析处理模块20，用于对分布式存储平台的数据进行初步分析处理，得到多个子数据；

触发模块30，用于根据每个子数据请求分布式存储平台计算资源数据的活动触发事件，确定每个子数据触发事件集的大数据操作信息；

校核数据模块40，用于接收大数据操作信息进行二次分析后获得的多个校核数据。

如图4所示，本申请实施例提供一种电子设备，其包括存储器101，用于存储一个或多个程序；处理器102。当一个或多个程序被处理器102执行时，实现如上述第一方面中任一项的方法。

还包括通信接口103，该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器101可用于存储软件程序及模块，处理器102通过执行存储在存储器101内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口103可用于与其他节点设备进行信令或数据的通信。

其中，存储器101可以是但不限于，随机存取存储器101(Random Access Memory，RAM)，只读存储器101(Read Only Memory，ROM)，可编程只读存储器101(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器101(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器101(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。

处理器102可以是一种集成电路芯片，具有信号处理能力。该处理器102可以是通用处理器102，包括中央处理器102(Central Processing Unit，CPU)、网络处理器102(Network Processor，NP)等；还可以是数字信号处理器102(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本申请所提供的实施例中，应该理解到，所揭露的方法及系统，也可以通过其它的方式实现。以上所描述的方法及系统实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的方法及系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

另一方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器102执行时实现如上述第一方面中任一项的方法。所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器101(ROM，Read-Only Memory)、随机存取存储器101(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

综上所述，本申请实施例提供的一种基于云计算的大数据分析方法及系统，其可以做到结构简化，能够提高系统的效率和稳定性，大数据信息分析通过对比对数据进行预处理，然后存入分布式存储平台，大大提高了后期数据检索和提取的效率；基于活动触发事件的大数据意图特征对大数据操作活动进行分析，通过用户的请求数据信息对大数据操作活动进行分析，能同时结合活动触发事件的大数据意图特征和请求信息，提高关键大数据采集的精准度。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种基于云计算的大数据分析方法，其特征在于，包括：

采集数据并将采集到的结构化、非结构化和半结构化数据通过无线通信的方式输送到分布式存储平台；

对分布式存储平台的数据进行初步分析处理，得到多个子数据；

根据每个子数据请求分布式存储平台计算资源数据的活动触发事件，确定每个子数据触发事件集的大数据操作信息；

接收大数据操作信息进行二次分析后获得的多个校核数据。

2.如权利要求1所述的一种基于云计算的大数据分析方法，其特征在于，所述采集数据并将采集到的结构化、非结构化和半结构化数据通过无线通信的方式输送到分布式存储平台包括：

将采集到结构化、非结构化和半结构化数据进行对比和分类，将对比和分类后的数据通过无线通信的方式输送到分布式存储平台。

3.如权利要求1所述的一种基于云计算的大数据分析方法，其特征在于，所述对分布式存储平台的数据进行初步分析处理，得到多个子数据包括：

基于云计算将分布式存储平台的数据进行并行数据处理，在高扩展的云计算平台上实现结构化、半结构化和非结构化数据的分布式并行分析处理得到多个子数据。

4.如权利要求3所述的一种基于云计算的大数据分析方法，其特征在于，还包括：

对多个子数据制定数据分析处理计算的优化分布调度方式，按照分析处理的数据对象所在分布式存储平台中的位置调度数据处理计算。

5.如权利要求1所述的一种基于云计算的大数据分析方法，其特征在于，所述根据每个子数据请求分布式存储平台计算资源数据的活动触发事件，确定每个子数据触发事件集的大数据操作信息包括：

每个子数据请求表示活动触发事件集中的资源数据在申请云计算时的大数据意图程度。

6.如权利要求5所述的一种基于云计算的大数据分析方法，其特征在于，还包括：

对每个子数据的活动触发事件进行特征处理，得到与资源数据对应的活动触发事件特征。

7.如权利要求1所述的一种基于云计算的大数据分析方法，其特征在于，所述接收大数据操作信息进行二次分析后获得的多个校核数据包括：

将接收大数据操作信息进行处理和过滤，将多个校核数据通过无线通信方式输送入分布式存储平台。

8.一种基于云计算的大数据分析系统，其特征在于，包括：

采集模块，用于采集数据并将采集到的结构化、非结构化和半结构化数据通过无线通信的方式输送到分布式存储平台；

分析处理模块，用于对分布式存储平台的数据进行初步分析处理，得到多个子数据；

触发模块，用于根据每个子数据请求分布式存储平台计算资源数据的活动触发事件，确定每个子数据触发事件集的大数据操作信息；

校核数据模块，用于接收大数据操作信息进行二次分析后获得的多个校核数据。

9.如权利要求8所述的一种基于云计算的大数据分析系统，其特征在于，包括：

用于存储计算机指令的至少一个存储器；

与所述存储器通讯的至少一个处理器，其中当所述至少一个处理器执行所述计算机指令时，所述至少一个处理器使所述系统执行：采集模块、分析处理模块、触发模块及校核数据模块。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。

Images