CN114201261A - 一种高可靠性分布式数据处理方法 - Google Patents

Abstract

本发明提供了一种高可靠性分布式数据处理方法，所述方法包括：虚拟化云端分布式数据处理系统使用多任务集群执行应用处理，所述多任务集群包括或多个核心，配置以执行一个多任务操作系统和/或配置以使用多任务指令集；将应用的业务分类解析成实时或非实时处理过程；在多任务处理器簇中对所述实时业务组进行处理；执行实时业务组，所述业务组包括多个核心，配置以执行一个实时内核引擎和/或使用实时指令集，其中所述实时指令集包括或多个I/O模块；并将来自实时业务组的实时处理结果提供给多任务集群。本发明提出了一种高可靠性分布式数据处理方法，采用多核架构的解决方案，实现了在虚拟环境中的高可靠性的数据保护，并通过高实时性的应用和服务提高了分布式海量异构数据的分析挖掘处理性能。

Description

一种高可靠性分布式数据处理方法

技术领域

本发明涉及大数据，特别涉及一种高可靠性分布式数据处理方法。

背景技术

海量的个人计算机、智能手机和智能装置的用户数据对云平台的虚拟化服务器的数据流处理性能具有大幅需求。对来自不同移动终端的复杂数据流处理需进行服务内容的差异化和安全化。已有技术采用分层式服务功能，进行各个数据流服务内容的差异化处理。但软件设计持续的发展使开发和整合变得困难，导致阻碍了多核架构解决方案的实施。虚拟化使传统的网络安全措施无法在虚拟环境中提供保护。这是因为在服务器和存储子系统的路径缺乏的保护功能。为在云端增强安全等级，传统方案在隔离的区域中实现运算服务，提供动态和静态默认的数据加密，通过虚拟存储管控数据。但随着云平台的因为高密度的虚拟机和移动终端服务，云平台的架构产生了大幅度改变。新服务造成的网络和宽带I/O瓶颈为服务整合、存储、网络管理的新问题，成为云平台和公共云端运算平台的重大挑战。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种高可靠性分布式数据处理方法，包括：

虚拟化云端分布式数据处理系统使用多任务集群执行应用处理，所述多任务集群包括或多个核心，配置以执行一个多任务操作系统和/或配置以使用多任务指令集；

将应用的业务分类解析成实时或非实时处理过程；在多任务处理器簇中对所述实时业务组进行处理；执行实时业务组，所述业务组包括多个核心，配置以执行一个实时内核引擎和/或使用实时指令集，其中所述实时指令集包括或多个I/O模块；并将来自实时业务组的实时处理结果提供给多任务集群。

优选地，所述多任务集群中的第一集群由虚拟化服务器系统管理，所述多任务集群中的第二集群由多任务VMM或多核的多任务操作系统管理。

优选地，所述虚拟化云端分布式数据处理系统进一步包括应用层服务器代理、在第二处理器簇中执行的中间件代理以及在第一处理器簇中执行相对应的中间件代理。

优选地，所述第二集群进一步包括实时VMM，用于协调第二处理器簇的多个核心，将来自第一处理器簇的服务请求分配给实时VMM所管理第二处理器簇中的多核所执行的虚拟机。

优选地，所述虚拟主机具有通过主机VMM运行和管理的不同的虚拟机，每个虚拟机运行于多核处理器簇和内存中，请求进行数据流和/或安全应用的处理；所述多核处理器簇和内存以及VMM使用网络适配器进行通信；

在部署云端虚拟化分布式数据处理系统时，虚拟化系统中的中间件与云端虚拟化分布式数据处理系统和VMM进行通信；实时系统的中间件将所有的服务请求或来自系统中的API转换成不同的虚拟机；实时VMM还用于处理资源的调度和配置，协调处理器簇的多个核心，将来自其他处理器簇的服务请求分配给实时VMM所管理的处理器簇中的多核所执行的虚拟机；

所述云端虚拟化分布式数据处理系统的硬件卡板还包括具有虚拟机支持的接口和多个安全处理虚拟机和数据流处理虚拟机；VMM使用的中间件与虚拟机支持器接口链接至不同的虚拟机单元和多核处理器簇使用的硬件驱动程序，用于控制云端虚拟化分布式数据处理系统所需的硬件模块。

本发明相比现有技术，具有以下优点：

本发明提出了一种高可靠性分布式数据处理方法，采用多核架构的解决方案，实现了在虚拟环境中的高可靠性的数据保护，并通过高实时性的应用和服务提高了分布式海量异构数据的分析挖掘处理性能。

附图说明

图1是根据本发明实施例的高可靠性分布式数据处理方法的流程图。

具体实施方式

下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。

本发明的一方面提供了一种高可靠性分布式数据处理方法。图1是根据本发明实施例的高可靠性分布式数据处理方法流程图。

本发明的虚拟化云端分布式数据处理系统使用多任务集群执行分布式数据的应用处理，所述多任务集群包括或多个核心，配置以执行多任务操作系统并使用多任务指令集。所述虚拟化云端分布式数据处理系统耦合于第一多核处理器簇，第一多核处理器簇将数据传送至通过接口启动的云端虚拟化分布式数据处理系统。当云端虚拟化分布式数据处理系统相耦合的第二多核处理器簇执行远程指令时，所述第二多核处理器簇由云端虚拟化分布式数据处理系统内的实时内核引擎所控制，可使第二多核处理器簇接收服务的请求，提供所请求的服务，并通过远程指令将完成服务的结果指示反馈至第一多核处理器簇。所述多任务集群中的第一集群由虚拟化服务器系统管理，所述多任务集群中的第二集群由多任务VMM或多核的多任务操作系统管理。

所述虚拟化云端分布式数据处理系统执行实时业务组，所述业务组包括多个核心，配置以执行一个实时内核引擎和/或使用实时指令集，其中所述实时指令集包括或多个I/O模块。

优选地，执行实时业务组之前，需要将应用的业务分类解析成实时或非实时处理过程；在多任务处理器簇中对所述实时业务组进行处理；并将来自实时业务组的实时处理结果提供给多任务集群。

应用服务器进行数据流处理和执行安全逻辑时，云端虚拟化分布式数据处理系统拦截应用服务器的请求并提供服务，所述服务通过中间件和代理传递。在一个实施例中，中间件和代理与云端虚拟化分布式数据处理系统进行通信。根据具体实施例，云端虚拟化分布式数据处理系统包括硬件卡板，所述硬件卡板具有多核处理器簇和堆栈层，堆栈层包括网络接口代理、实时内核引擎和控制/数据层。云端虚拟化分布式数据处理系统进一步包括安全软件支持和应用层服务器代理。中间件和代理与服务请求相关的应用服务器代理进行通信，应用服务器的代理与实时系统、控制/数据层和网络接口代理通信。

根据具体实施例，本发明通过多核多任务处理器簇，提供控制/数据层的快速和慢速路径网络服务。快速路径整合大量的一致性协议。高速处理模块处理快速路径或数据层中的数据。软件堆栈层通过多处理器簇核心处理数据层的任务，其处理模块设计用于处理慢速路径或控制层上的数据流。

多核处理器簇具有数据流处理和服务硬件加速单元。应用层的服务器代理可提供不同的应用，多个应用由中间件进行代理，并传送至应用服务器代理，即代表应用服务器来响应服务的请求。云端虚拟化分布式数据处理系统使用应用层的服务器代理执行未来将可提供的安全逻辑。提出服务请求后，应用服务器通过网络接口或通过中间件代理传送至应用层的服务器代理。一旦新的应用需要服务，新的应用即可传送到应用层服务器的代理中，并通过远程指令将完成服务的指示返回给第一多核处理器簇。

本发明的另一方面将虚拟和实体多核处理器簇系统整合于实体服务器或虚拟服务器的环境中，由此启动虚拟机的监控功能，在不同的虚拟机层或实体系统层中执行安全策略，虚拟软件应用整合所提供的安全数据流处理模块、实体安全软件数据流处理模块。

本发明包括整合于云平台中的分布式实时运算模块，分布式实时运算集群可进行垂直和水平的扩展，相同多核处理器簇进行同构型架构的垂直扩展，不同的多核功能进行异构的水平扩展。

所述数据层是分布式节点的子系统，用于接收和传送来自接口的数据流，通过路由器法定义收到的数据流，在中继表中确定特定的键值和用于确定此键值的路由功能的正确策略。控制层维护的信息可用于变更数据层所使用的数据，控制层包括或多个路由一致性协议，所述一致性协议可进行路由器间的交互，路由器可将此信息转换成中继表的内容。数据层一旦侦测到数据流，则分别转发到控制层，让路由一致性协议计算新的路由，以增加或删除路由。使用新信息进行中继表的更新。

所有的分布式数据处理系统使用相同或不同的多核处理器簇以运行实时内核引擎。所有的系统通过处理器间的通信链接或共享内存进行通信。

应用服务器的虚拟化时涉及多个虚拟化的主机。虚拟主机具有通过主机VMM运行和管理的不同的虚拟机，各个虚拟机的运行包括操作系统和应用。每个虚拟机运行于多核处理器簇和内存中，请求进行数据流和/或安全应用的处理。多核处理器簇和内存、VMM使用网络适配器进行通信。在部署云端虚拟化分布式数据处理系统时，虚拟化系统中的中间件即软件基础设施的一部分，与云端虚拟化分布式数据处理系统和VMM进行通信。实时系统的中间件将所有的服务请求或来自系统中的API转换成不同的虚拟机。实时VMM除管理虚拟机外，还用于处理资源的调度和配置，协调处理器簇的多个核心，将来自其他处理器簇的服务请求分配给实时VMM所管理的处理器簇中的多核所执行的虚拟机。所述云端虚拟化分布式数据处理系统的硬件卡板还包括具有虚拟机支持的接口和多个安全处理虚拟机和数据流处理虚拟机。VMM使用的中间件与虚拟机支持器接口链接至不同的虚拟机单元和多核处理器簇使用的硬件驱动程序，用于控制云端虚拟化分布式数据处理系统所需的任何硬件模块。

多个安全处理虚拟机SV₁、SV₂…SV_n和数据流处理虚拟机单元DST₁、DST₂…DST_n存储于多核处理器簇的内存中，并通过内建VMM启动。在虚拟机请求执行数据流处理和安全逻辑时，传送请求给接口。中间件将服务请求转换成接口用的服务请求，在接口收到请求后，可启动DST₁…DST_n发布网络访问的请求。对于安全虚拟机SV₁…SV_n，若虚拟机请求安全逻辑的服务时，中间件转换成接口的请求，通过接口的中间件启动虚拟机SV₁…SV_n。

所述云端虚拟化分布式数据处理系统进一步包括事务数据恢复模块，所述事务数据包括作为云存储平台的多个存储节点分布的多个分片存储的多个数据对象，其中所述多个分片包括用于所述多个数据对象的冗余数据。事务数据恢复模块确定数据对象，向所述恢复队列添加所述数据对象对应的对象实例。数据恢复操作允许对象实例在所述恢复队列中累加，以便以平均恢复速率R来执行恢复。

其中所述事务数据恢复模块以独立于存储节点失效而调度的速率来使用恢复带宽，所述平均恢复速率R包括平均聚合读取和写入恢复速率。所述云存储平台中存储的所述多个数据对象包括大于或等于1-c/r的值，其中r是所述多个数据对象的所述多个分片的被恢复分片的数量，并且c是非零常数值。

优选地，执行恢复处理进一步包括，基于所述对象实例，相对于所述恢复队列中其他对象实例的优先级，从所述恢复队列中选择所述对象实例；从多个存储节点读取所述多个分片的与所选择的对象实例相对应的多个分片；对读取自多个存储节点的所述多个分片进行处理，以提供用于多个其他分片的数据；向所述云存储平台的存储节点写入所述多个其他分片；从所述恢复队列中删除所述所选择的对象实例。

其中对从所述多个存储节点读取的所述多个分片进行处理的步骤包括，使用具有参数(n；k；r)的EC编码进行解码和编码，其中k是每个数据对象的分片的数量，r是每个数据对象的恢复分片的数量，n是每个数据对象的分片的总数量，n＝k+r。

根据所述恢复策略来执行恢复处理的步骤包括：遍历多个数据对象的每个数据对象，以实现受损分片的恢复。所述平均恢复速率R遍历每个数据对象，以使对于任何数据对象而言，在所述云存储平台中小于k个分片成为可用之前，完成对关联于队列中的对象实例的所述数据对象的处理。

根据所述恢复策略来执行恢复处理，进一步包括按照预先确定的优先级的顺序来处理所述恢复队列中的所述对象实例的数据对象，具有最小数量的可用分片的数据对象具有最高优先级，在具有可用分片的所述数据对象中，越早被添加到所述恢复队列的所述数据对象具有越高的优先级。

此外，针对事务数据的现有区块，确定用于产生并存储所述分片数据的所述EC编码的参数(n；k；r)；对于k个节点，访问与事务数据的所述现有区块相对应的、存储在所述存储节点上的分片数据的现有部分；从分片数据的所访问的现有部分中恢复事务数据的所述现有区块，并且将所述现有区块放置到FIFO缓冲区中；针对事务数据的新区块，确定要为事务数据的所述区块产生的分片数据的新增部分的参数(n’；k’；r’)；从所述FIFO缓冲区中移除新区块；根据事务数据的所述新区块产生分片数据的n’个新增部分，其中所述分片数据的新增部分中的k’个新增部分包括来自事务数据的新区块的数据；对于产生分片数据的新增部分的每个存储节点，将分片数据的所产生的新增部分存储在所述存储节点上。

为了实现异构数据融合分布式分析，本发明通过构建异构存储模型，进行异构数据融合特征分布式检测，数据存储结构采用异构分布式存储，采用区域融合聚类和分块匹配，得到云平台的异构数据的存储模型。

对于所述异构数据存储模型，本发明采用自适应匹配方法进行关联性分析，构建异构数据集合v的融合检测模型U(v)，得到数据分析的关联特征值：

r_k(v)＝U(v)/k

给出流量矩阵k，检测周期j内对异构数据进行分布式检测，采用投影提取异构数据的隶属度函数，得到：

F_k(v+1)＝∑(U(v)_j/k(k+U(v))))

将4个维度矩阵依次按行相接i_jk，在数据存储空间信息p中，得到异构数据的关联规则特征分布满足：

V_k＝∑_pv(v+1)i_jk

该内容块被划分成多个熵矩阵，构建数据分析的投影函数f(Y)，求得子空间的系数向量，进行标准化处理后得到衡量数据存储异构性的似然参数f(X)，满足如下条件||f(X)-f(Y)||≤N||X-Y||

在数据值域内求得全局最优解，得到数据的长度N，将L_x＝a_i转化为2N+1个字符串，使用信息熵作为模糊聚类中心，得到数据分析的融合聚类中心为：

v1＝{>a₁，>a₂…，>a_i-1}

v2＝{≥a₁，≥a₂…，≥a_i}

v3＝{<a_i+1，<a_i+2…，<a_N}

v4＝{≤a_i，≤a_i+1…，≤a_N}

v5＝{＝a_i}。

将上述特征通过并行计算进行模糊重构得到异构数据分布式重构模型，在重构的存储空间内进行融合分析。

然后根据分解参数H₀和H₁进行流量矩阵的特征重构，得到数据分析的二元规划模型：

x(k)＝h_s(k)H₀+k·H₁

h_s(k)为所述特征重构结果。

提取异构数据的融合特征值E，得到异构数据分析的边界条件：

R_βX＝U{E∈U/β}

存在关联映射Φ：X→Y，满足Φ(x·y)＝Φ(x)·Φ(y)

其中，·是点乘运算。对于任意两个数据块m_i和m_j，进行异构数据融合特征分布式检测，提取异构数据相似度信息：

式中，x_i∈Rⁿ代表异构数据的状态向量，u_i∈R^m，若异构融合数据集为m，令D为欧氏距离，A_j(L)作为聚类中心，其中j＝1，2，...，k，设置r个不同的聚类中心中的异构数据融合函数h₁，…，h_r，均满足h_i：{0，1}*→[1，m]。

在数据分析优化阶段，本发明进行异构数据融合特征分布式检测，得到数据的多维尺度信息为

S_C/A(f)＝(T_B/(NT_c)²)/|X(f)|²

上式中，T_B、T_C为异构数据的模糊采样默认值和频率默认值，f为异构数据的频率特征。

综上所述，本发明提出了一种高可靠性分布式数据处理方法，采用多核架构的解决方案，实现了在虚拟环境中的高可靠性的数据保护，并通过高实时性的应用和服务提高了分布式海量异构数据的分析挖掘处理性能。

显然，本领域的技术人员应该理解，上述的本发明的各模块或各步骤可以用通用的计算系统来实现，它们可以集中在单个的计算系统上，或者分布在多个计算系统所组成的网络上，可选地，它们可以用计算系统可执行的程序代码来实现，从而，可以将它们存储在云存储平台中由计算系统来执行。这样，本发明不限制于任何特定的硬件和软件结合。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (5)

1.一种高可靠性分布式数据处理方法，其特征在于，包括：

虚拟化云端分布式数据处理系统使用多任务集群执行应用处理，所述多任务集群包括或多个核心，配置以执行一个多任务操作系统和/或配置以使用多任务指令集；

将应用的业务分类解析成实时或非实时处理过程；在多任务处理器簇中对所述实时业务组进行处理；执行实时业务组，所述业务组包括多个核心，配置以执行一个实时内核引擎和/或使用实时指令集，其中所述实时指令集包括或多个I/O模块；并将来自实时业务组的实时处理结果提供给多任务集群。

2.根据权利要求1所述的方法，其特征在于，所述多任务集群中的第一集群由虚拟化服务器系统管理，所述多任务集群中的第二集群由多任务VMM或多核的多任务操作系统管理。

3.根据权利要求1所述的方法，其特征在于，所述虚拟化云端分布式数据处理系统进一步包括应用层服务器代理、在第二处理器簇中执行的中间件代理以及在第一处理器簇中执行相对应的中间件代理。

4.根据权利要求1所述的方法，其特征在于，所述第二集群进一步包括实时VMM，用于协调第二处理器簇的多个核心，将来自第一处理器簇的服务请求分配给实时VMM所管理第二处理器簇中的多核所执行的虚拟机。

5.根据权利要求1所述的方法，其特征在于，所述虚拟主机具有通过主机VMM运行和管理的不同的虚拟机，每个虚拟机运行于多核处理器簇和内存中，请求进行数据流和/或安全应用的处理；所述多核处理器簇和内存以及VMM使用网络适配器进行通信；

在部署云端虚拟化分布式数据处理系统时，虚拟化系统中的中间件与云端虚拟化分布式数据处理系统和VMM进行通信；实时系统的中间件将所有的服务请求或来自系统中的API转换成不同的虚拟机；实时VMM还用于处理资源的调度和配置，协调处理器簇的多个核心，将来自其他处理器簇的服务请求分配给实时VMM所管理的处理器簇中的多核所执行的虚拟机；

所述云端虚拟化分布式数据处理系统的硬件卡板还包括具有虚拟机支持的接口和多个安全处理虚拟机和数据流处理虚拟机；VMM使用的中间件与虚拟机支持器接口链接至不同的虚拟机单元和多核处理器簇使用的硬件驱动程序，用于控制云端虚拟化分布式数据处理系统所需的硬件模块。

Images