CN105868554A - 一种基于大数据复杂运算的接力计算方法 - Google Patents

Abstract

本发明涉及一种基于大数据复杂运算的接力计算方法，其特征在于，所述方法包括计算机系统经过动态分配，将数据提取、规范、简单运算放在数据库访问端完成；之后将半成品结果传递给Web服务器，由Web服务器的专门研制的运算处理模块利用Web服务器的硬件资源进一步处理数据，完成大数据基本的计算任务；之后，将S2中未完成格式化的数据传递给客户端，由客户端采用先进的客户端控件，利用JS客户端程序完成最后简单合并、相加减、截取、过滤的计算，以及对数据进行格式显示、图表展示、排序、着重显示、关联突出处理。该方法避免了一般处理软件会造成的处理瓶颈，也大大减少甚至消除了一处的运算和处理接近满负荷或积压，而另外两处却等待或闲置的状况。

Description

一种基于大数据复杂运算的接力计算方法

技术领域

本发明涉及计算机大数据运算方法技术领域，具体涉及一种基于大数据复杂运算的接力计算方法。

背景技术

随着网络的大规模普及和发展，越来越多的企业、社区、学校等部门都应用了如人力资源数据管理软件。这些软件分布独立运作，保障了人力资源的合理分配，提供了辅助决策信息和追溯管理凭据。因此，自动分析数据异常信息，实时查询上层数据，以提高人力资源管理的智能性，是当前人力资源管理领域备受关注前沿技术，拥有巨大市场需求。

一个微型企事业单位的数据网络，最少也包括数百个数据。这些数据一般通过多通道采集的方式，集中采集到企事业单位的数据网络服务器中，并作为企事业单位管理的最小管理单元，为保障企事业单位的人力资源管理提供了有力保障。而一个地区往往包括数百个这样的企事业单位，一个行政片区又包括多个地区。简单来说，一个中等规模的行政片区拥有数万个最小数据管理单元，以及上百万兆的人力资源管理数据。同时这些最小管理单元相互独立，彼此间信息并不互联，一旦发生异常情况，如何能够快速地从查询目标，是企事业单位人力资源管理网络的一个极具挑战的问题。

在实际应用中，多数智能服务器的管理方法针对位置固定的单一企事业单位，但是企事业单位的管理数据本身具有局限性，当发现异常查询处理。

针对大数据的复杂运算，一般处理软件会造成在数据库端、Web服务器端或客户端之一的处理瓶颈，往往使得一处的运算和处理接近满负荷或积压，而另外两处却等待或闲置，大大影响系统的整体速度和性能

发明内容

本发明的目的在于克服现有技术中的缺陷，提供一种将大数据量的复杂运算过程分解，使每一层负担一部分处理和运算任务，在给用户显示前处理完成的基于大数据复杂运算的接力计算方法。

为实现上述目的，本发明所采用的技术方案是：

一种基于大数据复杂运算的接力计算方法，其特征在于，所述方法包括如下计算步骤：

S1：计算机系统经过动态分配，将数据提取、规范、简单运算放在数据库访问端完成；

S2：之后将半成品结果传递给Web服务器，由Web服务器的专门研制的运算处理模块利用Web服务器的硬件资源进一步处理数据，完成大数据基本的计算任务；

S3：之后，将S2中未完成格式化的数据传递给客户端，由客户端采用先进的客户端控件，利用JS客户端程序完成最后简单合并、相加减、截取、过滤的计算，以及对数据进行格式显示、图表展示、排序、着重显示、关联突出处理。

其中优选的技术方案是，所述S1中的动态分配是将分配器传来的数据访问交由系列计算器完成，计算器将判数据量的大小，根据数据量大小决定进行完整运算还是进行初运算。

优选的技术方案还有，所述计算器将判断数据量的大小的过程包括分配器的数据请求，所述包括有不含运算的请求、复杂运算的请求和简单运算的请求，其中不含运算的请求经由直接快速插叙运算的数据处理输出传送到上层，复杂运算的请求经由进行读取，仅做初步运算，传输到上级的数据处理输出传送到上层，简单运算的请求经由立即计算的数据处理输出传送到上层。

进一步优选的技术方案是，所述S2中的Web服务器中采用分配层和迭代运算层逻辑运算，其算层逻辑运算的过程包括：接收客户端原始运算请求，原始运算请求发往数据库服务器，由数据库服务器完成数据提取和初步运算，然后转交层叠运算器并提交运算，将未完成运算的数据交层叠运算器进一步运算，层叠运算器完成主要运算后，将运算结果输出提交到客户端。

本发明的优点和有益效果在于：所述基于大数据复杂运算的接力计算方法是计针对大数据的复杂运算逻辑与实现步骤，该方法避免了一般处理软件会造成在数据库端、Web服务器端或客户端之一的处理瓶颈，也大大减少甚至消除了一处的运算和处理接近满负荷或积压，而另外两处却等待或闲置的状况，大大影响系统的整体速度和性能。该设计的思路为将大数据量的复杂运算过程分解，使每一层负担一部分处理和运算任务，在给用户显示前处理完成。

所述基于大数据复杂运算的接力计算方法由上面的步骤可知，计算机系统经过动态分配，将数据提取、规范、简单运算放在数据库访问端完成。之后将半成品结果传递给Web服务器，Web服务器的专门研制的运算处理模块利用Web服务器的硬件资源进一步处理数据，完成大数据基本的计算任务。这时的数据已经基本完成计算任务，之后，将这些未完成格式化的数据传递给客户端，客户端采用先进的客户端控件，利用JS客户端程序完成最后的计算(简单合并、相加减、截取、过滤等)以及对数据进行格式显示、图表展示、排序、着重显示、关联突出等的处理。从而完成一整套从大数据的提取、赛选，到最后的为客户展示等整个过程。经实测运行效果理想，成果已经集成到我们开发的应用软件。

附图说明

图1是本发明基于大数据复杂运算的接力计算方法的流程图；

图2是本发明基于大数据复杂运算的接力计算方法中数据库服务层的基本逻辑框图；

图3是本发明基于大数据复杂运算的接力计算方法中Web服务分配层及迭代运算层的总体设计逻辑框图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如附图1所示：本发明是一种基于大数据复杂运算的接力计算方法，其特征在于，所述方法包括如下计算步骤：

S1：计算机系统经过动态分配，将数据提取、规范、简单运算放在数据库访问端完成；

S2：之后将半成品结果传递给Web服务器，由Web服务器的专门研制的运算处理模块利用Web服务器的硬件资源进一步处理数据，完成大数据基本的计算任务；

S3：之后，将S2中未完成格式化的数据传递给客户端，由客户端采用先进的客户端控件，利用JS客户端程序完成最后简单合并、相加减、截取、过滤的计算，以及对数据进行格式显示、图表展示、排序、着重显示、关联突出处理。从而完成一整套从大数据的提取、赛选，到最后的为客户展示等整个过程，经实测运行效果理想。

本发明优选的实施方案是，所述S1中的动态分配是将分配器传来的数据访问交由系列计算器完成，计算器将判数据量的大小，根据数据量大小决定进行完整运算还是进行初运算。

如附图2所示：本发明进一步优选的实施方案是，所述计算器将判数据量的大小的过程包括分配器的数据请求，所述包括有不含运算的请求、复杂运算的请求和简单运算的请求，其中不含运算的请求经由直接快速插叙运算的数据处理输出传送到上层，复杂运算的请求经由进行读取，仅做初步运算，传输到上级的数据处理输出传送到上层，简单运算的请求经由立即计算的数据处理输出传送到上层。

如附图3所示：本发明优选的实施方案还有，所述S2中的Web服务器中采用分配层和迭代运算层逻辑运算，其算层逻辑运算的过程包括：接收客户端原始运算请求，原始运算请求发往数据库服务器，由数据库服务器完成数据提取和初步运算，然后转交层叠运算器并提交运算，将未完成运算的数据交层叠运算器进一步运算，层叠运算器完成主要运算后，将运算结果输出提交到客户端。

该基于大数据复杂运算的接力计算方法是针对大数据的复杂运算逻辑与实现步骤，该方法避免了一般处理软件会造成在数据库端、Web服务器端或客户端之一的处理瓶颈，也大大减少甚至消除了一处的运算和处理接近满负荷或积压，而另外两处却等待或闲置的状况，大大影响系统的整体速度和性能。该设计的思路为将大数据量的复杂运算过程分解，使每一层负担一部分处理和运算任务，在给用户显示前处理完成。

所述基于大数据复杂运算的接力计算方法由上面的步骤可知，计算机系统经过动态分配，将数据提取、规范、简单运算放在数据库访问端完成。之后将半成品结果传递给Web服务器，Web服务器的专门研制的运算处理模块利用Web服务器的硬件资源进一步处理数据，完成大数据基本的计算任务。这时的数据已经基本完成计算任务，之后，将这些未完成格式化的数据传递给客户端，客户端采用先进的客户端控件，利用JS客户端程序完成最后的计算(简单合并、相加减、截取、过滤等)以及对数据进行格式显示、图表展示、排序、着重显示、关联突出等的处理。从而完成一整套从大数据的提取、赛选，到最后的为客户展示等整个过程。经实测运行效果理想，成果已经集成到我们开发的应用软件。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种基于大数据复杂运算的接力计算方法，其特征在于，所述方法包括如下计算步骤：

S1：计算机系统经过动态分配，将数据提取、规范、简单运算放在数据库访问端完成；

S2：之后将半成品结果传递给Web服务器，由Web服务器的专门研制的运算处理模块利用Web服务器的硬件资源进一步处理数据，完成大数据基本的计算任务；

S3：之后，将S2中未完成格式化的数据传递给客户端，由客户端采用先进的客户端控件，利用JS客户端程序完成最后简单合并、相加减、截取、过滤的计算，以及对数据进行格式显示、图表展示、排序、着重显示、关联突出处理。

2.如权利要求1所述的基于大数据复杂运算的接力计算方法，其特征在于，所述S1中的动态分配是将分配器传来的数据访问交由系列计算器完成，计算器将判数据量的大小，根据数据量大小决定进行完整运算还是进行初运算。

3.如权利要求2所述的基于大数据复杂运算的接力计算方法，其特征在于，所述计算器将判数据量的大小的过程包括分配器的数据请求，所述包括有不含运算的请求、复杂运算的请求和简单运算的请求，其中不含运算的请求经由直接快速插叙运算的数据处理输出传送到上层，复杂运算的请求经由进行读取，仅做初步运算，传输到级上的数据处理输出传送到上层，简单运算的请求经由立即计算的数据处理输出传送到上层。

4.如权利要求1所述的基于大数据复杂运算的接力计算方法，其特征在于，所述S2中的Web服务器中采用分配层和迭代运算层逻辑运算，其算层逻辑运算的过程包括：接收客户端原始运算请求，原始运算请求发往数据库服务器，由数据库服务器完成数据提取和初步运算，然后转交层叠运算器并提交运算，将未完成运算的数据交层叠运算器进一步运算，层叠运算器完成主要运算后，将运算结果输出提交到客户端。