CN104731975A - 一种大数据处理方法 - Google Patents

Abstract

本发明提供了一种大数据处理方法，包括：在调度寻优计算中定义负载适应度度量值，选择数据库文件的调度时间序列，以获取最优数据调度顺序。本发明使得调度寻优过程考虑数据库服务器负载等因素，保持方法的多样性，防止数据库负载过大出现，提高了大型数据库数据文件调度的效率，增加了系统的吞吐量。

Description

一种大数据处理方法

技术领域

本发明涉及一种大数据处理，特别涉及一种大数据文件的调度方法。

背景技术

随着智慧医疗的迅速发展和海量医学数据的出现，需要相应的大型数据库作为载体来保存这些数据，但大数据的调度成了一个大问题。由于数据量巨大，要找到自己想要的数据，除了网络传播时的安全性需要考虑外，数据的调度延时也被医务人员关注。大型数据库数据文件对网络带宽要求高，持续时间长，传统C/S模式的服务消耗的带宽资源过多，且系统可扩展差；内容分发网络数据库调度CDN费用太贵而难以推广；IP组播数据调度技术可靠性差、拥塞严重。上述传统技术均在处理医疗海量数据中展现出局限性。

因此，针对相关技术中所存在的上述问题，目前尚未提出有效的解决方案。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种大数据处理方法，包括：

在调度寻优计算中定义负载适应度度量值，选择数据库文件的调度时间序列，以获取最优数据调度顺序。

优选地，所述调度顺序由数字串组成，所述数字串分为两部分，第一部分是一个由大型数据库数据文件数据块序号组成的排列，描述数据块的调度顺序；第二部分为节点子串，描述为每个数据块分配的处理节点。

优选地，所述定义负载适应度度量值进一步包括：

将从所有系统节点中，选择部分节点，使数据库服务器的开销最小数据调度时间最短的调度顺序作为最优调度顺序，节点i的数据块调度时间node_i(time)定义为：node_i(time)＝数据块大小/节点上行带宽；并且一个调度顺序的节点总调度时间total(time)为

$\mathrm{total}\left(\mathrm{time}\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{node}}_i\left(\mathrm{time}\right).$

优选地，所述获取最优数据调度顺序进一步包括：

(1)初始化寻优方法的速度，并采用均匀设计产生初始群；

(2)计算数据库服务器负载适应度值：

$\mathrm{total}\left(\mathrm{time}\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{node}}_i\left(\mathrm{time}\right);$

从中选择最优粒子作为个体最优解(p_best)和群体最优解(g_best)；

(3)对于每个粒子来说，若其f(x_i)优于自身历史最优值f(P_best,i)，则用该粒子位置替代个体历史最优位置；

f(x_i)与群体最优适应度值f(g_best,i)进行比较，若f(x_i)更优，则用该粒子位置替代群体历史最优位置；

(4)利用适应度值的方差和序列表达式更新粒子的速度和位置，并产生新一代群x(t+1)；

(5)计算群的适应度方差(σ²)，若相邻两次的σ²差异小于阈值C时，则表示出现早熟现象，并转步骤(6)，否则转步骤(7)；

(6)对群的最优位置向量p_g＝[p_g1,p_g2,…,p_gd]进行扰动；

(7)若达到最大迭代次数，则返回全局最优的大型数据库数据文件调度顺序，若未达到最大迭代次数，则跳转至步骤3以继续优化。

本发明相比现有技术，具有以下优点：

本发明使得调度寻优过程考虑数据库服务器负载等因素，保持方法的多样性，防止数据库负载过大出现，提高了大型数据库数据文件调度的效率，增加了系统的吞吐量。

附图说明

图1是根据本发明实施例的一种大数据处理方法的流程图。

具体实施方式

下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。

大型数据库数据文件调度方法是数据库调度系统构建的核心技术之一，提出一个合理的数据库数据文件调度方法，为大规模用户提供高质量的数据调度服务，成为大型数据库数据文件研究领域的热点问题之一。

本发明的一方面提供了一种大数据处理方法，一种考虑大型数据库数据文件特性的数据文件调度方法。对大型数据库数据文件进行寻优计算中，使得调度寻优过程考虑数据库服务器负载等因素，以保持方法的多样性。图1是根据本发明实施例的一种大数据处理方法流程图。

大型数据库数据文件的调度时间序列带有明显的均匀遍历特征，利用这种均匀遍历特性和差分进化方法的高效全局搜索能力，以调度时间序列为基础，完成高精度的调度负载控制，数据文件负载调度控制方法的具体过程为：

(1)以采集的大型数据库数据文件调度时间序列为基础，组成可调节稳定控制集合区。

(2)为了反映出调度时序控制场的多样性特征，定义调度时间序列适应度值的方差mf，得

$\mathrm{mf}=\frac{1}{\mathrm{NP}}\underset{i=1}{\overset{\mathrm{NP}}{\mathrm{\Σ}}}{(f\left(x_i\right)-\stackrel{\‾}{f\left(x\right)})}^2$

其中，NP为大型数据库数据文件调度时间序列规模大小，f(x_i)为第i个调度时间序列的适应度值，为平均适应度的值。

(3)在迭代过程中，为了避免方法过早地进入在于局部的极值部分的点，大型数据库数据文件序列的Logistic表达式表示为：

x_n+1＝μx_n(1-x_n)(2)

其中n＝1,2,3,…x∈[0,1]μ∈[0,4]。

经过迭代发现：

当0≤μ≤1时，迭代系统只有x＝0这样一个稳定的周期点；

当1≤μ≤3时，迭代系统有一个不稳定的1周期点x＝0，以及一个稳定的1周期点x＝1-1/μ；

当3≤μ≤3.449时，数据库文件调度系统有两个不稳定的1周期点x＝0和x＝1-1/μ。

由于一个大数据文件被均匀分成N个数据块，且每个数据块只需运行一次，所以，采用数字串表示大型数据库数据文件可能的调度顺序。数字串分为两部分，第一部分是一个由大型数据库数据文件数据块序号组成的排列，描述数据块的调度顺序；第二部分为节点子串，描述为每个数据块分配的处理节点。对于一个拥有15个调度数据块在3个节点上调度的问题，其编码方式可为：

[123456789101112131415|113213321333222]

1.设定数据文件负载适应度函数

大型数据库数据文件调度方法的目标就是从所有系统节点中，选择部分节点，组成一个最优调度顺序，使数据库服务器的开销最小，即数据调度时间最短。节点i的数据块调度时间node(time)定义如下：

node_i(time)＝数据块大小/节点上行带宽

那么一个调度顺序的节点总调度时间total(time)为

$\mathrm{total}\left(\mathrm{time}\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{node}}_i\left(\mathrm{time}\right)$

2.加入数据文件负载适应度函数的调度模型工作步骤

本发明以加入负载适应度进行数据文件调度。过程如下：

(1)初始化寻优方法的速度，并采用均匀设计产生初始群。

(2)根据上述总调度时间total(time)公式来计算数据库服务器负载适应度值，并从中选择最优粒子作为个体最优解(p_best)和群体最优解(g_best)。

(3)对于每个粒子来说，若其f(x_i)优于自身历史最优值f(P_best,i)，则用该粒子位置替代个体历史最优位置。同样，f(x_i)与群体最优适应度值f(g_best,i)进行比较，若更优，则用该粒子位置替代群体历史最优位置。

(4)利用适应度值的方差和序列表达式更新粒子的速度和位置，并产生新一代群x(t+1)。

(5)计算群的适应度方差(σ²)，若相邻两次的σ²差异小于阈值C时，则表示出现早熟现象，并转步骤(6)，否则转步骤(7)。

(6)对群的最优位置向量p_g＝[p_g1,p_g2,…,p_gd]进行扰动。具体为：

①通过下列方程将p_g映射到Logistic的定义域上：

$z_i=\frac{p_{\mathrm{gi}}-a_i}{b_i-a_i}$

其中a_i和b_i分别为粒子位置在Logistic定义域上的最小值和最大值；

②对通过Logistic方程z_i+1＝μz_i(1-z_i)进行多次迭代，得到序列：

③把产生的z_i逆映射回原解空间，从而产生一个变量可解序列：

其中， $p_{\mathrm{gi}}^{\left(m\right)}=\begin{array}{}\begin{array}{cc}\mathrm{ai}+(\mathrm{bi}-\mathrm{ai})& a_i^{\left(m\right)}\end{array}\end{array}$

④计算经历混沌处理可行解的适应值，然后保留最优解对应的解向量p*。

⑤用p*的位置向量代表随机选择粒子的位置向量。

(7)若达到最大迭代次数，那么就返回全局最优的大型数据库数据文件调度顺序，若不满足跳转至步骤3以继续优化。

综上所述，本发明提出的大数据处理方法使得调度寻优过程考虑数据库服务器负载等因素，保持方法的多样性，防止数据库负载过大出现，提高了大型数据库数据文件调度的效率，增加了系统的吞吐量。

显然，本领域的技术人员应该理解，上述的本发明的各模块或各步骤可以用通用的计算系统来实现，它们可以集中在单个的计算系统上，或者分布在多个计算系统所组成的网络上，可选地，它们可以用计算系统可执行的程序代码来实现，从而，可以将它们存储在存储系统中由计算系统来执行。这样，本发明不限制于任何特定的硬件和软件结合。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (4)

1.一种大数据处理方法，其特征在于，包括：

在调度寻优计算中定义负载适应度度量值；

选择数据库文件的调度时间序列，以获取最优数据调度顺序。

2.根据权利要求1所述的方法，其特征在于，所述数据调度顺序由数字串组成，所述数字串分为两部分，第一部分是一个由大型数据库数据文件数据块序号组成的排列，描述数据块的调度顺序；第二部分为节点子串，描述为每个数据块分配的处理节点。

3.根据权利要求1所述的方法，其特征在于，所述定义负载适应度度量值进一步包括：

将节点i的数据块调度时间node_i(time)定义为：

node_i(time)＝节点i的数据块大小/节点i的上行带宽；

调度顺序的节点总调度时间为

$\mathrm{total}\left(\mathrm{time}\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{node}}_i\left(\mathrm{time}\right)$

其中n为节点总数，

从所有系统节点中，选择部分节点，使数据库服务器的开销最小并且数据调度时间total(time)最短的调度顺序作为最优调度顺序。

4.根据权利要求3所述的方法，其特征在于，所述获取最优数据调度顺序进一步包括：

(1)初始化寻优速度，并采用均匀设计产生初始群；

(2)计算数据库服务器负载调度顺序的节点总调度时间total(time)；

从调度时间中选择最优粒子作为个体最优解p_best和群体最优解g_best；

(3)对于每个粒子来说，f(x_i)为第i个调度时间序列的适应度值，若其f(x_i)优于自身历史最优值f(P_best,i)，则用该粒子位置替代个体历史最优位置；

f(x_i)与群体最优适应度值f(g_best,i)进行比较，若f(x_i)更优，则用该粒子位置替代群体历史最优位置，作为当前最优数据调度顺序；

(4)利用适应度值的方差和序列表达式更新粒子的速度和位置，并产生新一代群；

(5)计算群的适应度方差(σ²)，若相邻两次的σ²差异小于阈值C，则转步骤(6)，否则转步骤(7)；

(6)对群的最优位置向量p_g＝[p_g1,p_g2,…,p_gd]进行扰动；

(7)若达到最大迭代次数，则返回全局最优的数据库数据文件调度顺序，若未达到最大迭代次数，则跳转至步骤(3)以继续优化。