CN115756308A - 一种云数据迁移的优化方法及系统 - Google Patents
一种云数据迁移的优化方法及系统 Download PDFInfo
- Publication number
- CN115756308A CN115756308A CN202211323617.8A CN202211323617A CN115756308A CN 115756308 A CN115756308 A CN 115756308A CN 202211323617 A CN202211323617 A CN 202211323617A CN 115756308 A CN115756308 A CN 115756308A
- Authority
- CN
- China
- Prior art keywords
- data
- cloud
- pool
- mapping
- creating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 230000005012 migration Effects 0.000 title claims abstract description 15
- 238000013508 migration Methods 0.000 title claims abstract description 15
- 238000005457 optimization Methods 0.000 title claims abstract description 14
- 230000008569 process Effects 0.000 claims abstract description 63
- 238000013507 mapping Methods 0.000 claims abstract description 32
- 230000002159 abnormal effect Effects 0.000 claims abstract description 16
- 238000005520 cutting process Methods 0.000 claims abstract description 13
- 230000004069 differentiation Effects 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 17
- 238000004458 analytical method Methods 0.000 claims description 12
- 230000001133 acceleration Effects 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000007704 transition Effects 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 4
- 230000005856 abnormality Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000005553 drilling Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种云数据迁移的优化方法及系统,属于数据处理技术领域。方法包括:将本地私有云资源按照组件类型进行分切和管理,形成独立的私有云,并将所有所述独立的私有云组成多云管理平台;创建数据池,通过开放接口将与所述多云管理平台的私有云相关联的物理设备信息及网络数据、应用运算数据、日志文本数据放入到初始数据池;创建线程池,将各类型数据池中的数据值映射为算子,将整个数据上云过程映射为运算链。本方法将整个数据上云过程映射为运算链,能够预测在上云过程中数据是否异常,解决了海量数据上云花费时间较长,上云过程中因本地设备基础资源耗尽或者网络异常导致上云数据中断问题。
Description
技术领域
本发明属于数据处理技术领域,尤其涉及一种云数据迁移的优化方法及系统。
背景技术
为了响应国家上云的号召,并且随着大数据时代的来临,各行各业每天都在产生数量巨大的数据碎片,数据计量单位已从从Byte、KB、MB、GB、TB发展到PB、EB、ZB、YB甚至BB、NB、DB来衡量。大数据时代数据的采集也不再是技术问题,只是面对如此众多的数据,我们怎样才能找到其内在规律。
数据湖架构面向多数据源的信息存储,包括物联网在内。大数据分析或归档可通过访问数据湖处理或交付数据子集给请求用户。但数据湖架构可不仅仅是一个巨大的磁盘而已。数据湖的数据持久性和安全却是需要优先考虑的因素。
企业上云,是指企业以互联网为基础进行信息化基础设施、管理、业务等方面应用,并通过互联网与云计算手段连接社会化资源、共享服务及能力的过程。当企业转型了平台型组织后,还应该走向“企业上云”,即把自己变成一个“云组织”。业界已经普遍承认“企业整体上云”的趋势不可逆转。
现有技术中,海量数据上云花费时间较长,并存在上云过程中因本地设备基础资源耗尽或者网络异常导致上云数据中断的问题。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足,提供一种云数据迁移的优化方法及系统,将整个数据上云过程映射为运算链,能够预测在上云过程中数据是否异常,解决了海量数据上云花费时间较长,上云过程中因本地设备基础资源耗尽或者网络异常导致上云数据中断问题。
根据本发明的一个方面,本发明提供了一种云数据迁移的优化方法,所述方法包括以下步骤:
S1:将本地私有云资源按照组件类型进行分切和管理,形成独立的私有云,并将所有所述独立的私有云组成多云管理平台;
S2:创建数据池,通过开放接口将与所述多云管理平台的私有云相关联的物理设备信息及网络数据、应用运算数据、日志文本数据放入到初始数据池;
S3:创建线程池,将各类型数据池中的数据值映射为算子,将整个数据上云过程映射为运算链。
优选地,所述步骤S1还包括:
通过fusioncomputer对本地所有私有云资源进行分切和管理,通过开放接口完成所述fusioncomputer与所述多云管理平台的资源同步。
优选地,所述步骤S1还包括:构建数据差异化预警模型,通过所述数据差异化预警模型预测异常数据发生的概率和正常数据发生的概率;所述数据差异化预警模型为:
X(k+1)=X(k)×P
其中,X(k)表示趋势分析与预测对象在k时刻的状态向量,P表示一步转移概率矩阵,X(k+1)表示趋势分析与预测对象在k+1时刻的状态向量。
优选地,所述数据池包括模拟信号数据池、应用程序数据池、文本数据池;所述数据池中的数据包括元数据、元过程数据、虚拟化标识ID、故障概率值;所述数据池中的数据的格式为:数值###元数据ID###元过程数据ID###来自多元平台的虚拟化标识ID###故障概率值;其中,###为数值分隔符号。
优选地,所述创建线程池,将各类型数据池中的数据值映射为算子,将整个数据上云过程映射为运算链包括:
通过Flink创建线程池,将每个运算链映射为一个TaskManager进程,通过故障概率值进行优先级线程分配;
将运算链中各算子的故障概率值小于预设阈值的运算链线程向共享的多个任务时隙按顺序均匀发送;
根据所述虚拟化标识ID将通过进程池处理过的数据上传到对应的公有云中。
根据本发明的另一个方面,本发明还提供了一种云数据迁移的优化系统,所述系统包括:
私有化管理模块,用于将本地私有云资源按照组件类型进行分切和管理,形成独立的私有云,并将所有所述独立的私有云组成多云管理平台;
存储分类模块,用于创建数据池,通过开放接口将与所述多云管理平台的私有云相关联的物理设备信息及网络数据、应用运算数据、日志文本数据放入到初始数据池;
上云加速模块,用于创建线程池,将各类型数据池中的数据值映射为算子,将整个数据上云过程映射为运算链。
优选地,所述私有化管理模块还用于:
通过fusioncomputer对本地所有私有云资源进行分切和管理,通过开放接口完成所述fusioncomputer与所述多云管理平台的资源同步。
优选地,所述私有化管理模块还用于:构建数据差异化预警模型,通过所述数据差异化预警模型预测异常数据发生的概率和正常数据发生的概率;所述数据差异化预警模型为:
X(k+1)=X(k)×P
其中,X(k)表示趋势分析与预测对象在k时刻的状态向量,P表示一步转移概率矩阵,X(k+1)表示趋势分析与预测对象在k+1时刻的状态向量。
优选地,所述存储分类模块创建的数据池包括模拟信号数据池、应用程序数据池、文本数据池;所述数据池中的数据包括元数据、元过程数据、虚拟化标识ID、故障概率值;所述数据池中的数据的格式为:数值###元数据ID###元过程数据ID###来自多元平台的虚拟化标识ID###故障概率值;其中,###为数值分隔符号。
优选地,所述上云加速模块创建线程池,将各类型数据池中的数据值映射为算子,将整个数据上云过程映射为运算链包括:
通过Flink创建线程池,将每个运算链映射为一个TaskManager进程,通过故障概率值进行优先级线程分配;
将运算链中各算子的故障概率值小于预设阈值的运算链线程向共享的多个任务时隙按顺序均匀发送;
根据所述虚拟化标识ID将通过进程池处理过的数据上传到对应的公有云中。
有益效果:本发明采用数据湖技术的数据按类型分类,结合flink的数据算子链加速特点,将整个数据上云过程映射为运算链,能够预测在上云过程中数据是否异常,解决了海量数据上云花费时间较长,上云过程中因本地设备基础资源耗尽或者网络异常导致上云数据中断问题。
通过参照以下附图及对本发明的具体实施方式的详细描述,本发明的特征及优点将会变得清楚。
附图说明
图1是云数据迁移的优化方法流程图;
图2是云数据迁移的优化系统示意图。
具体实施方式
下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
图1是云数据迁移的优化方法流程图。如图1所示,本实施例提供了一种云数据迁移的优化方法,所述方法包括以下步骤:
S1:将本地私有云资源按照组件类型进行分切和管理,形成独立的私有云,并将所有所述独立的私有云组成多云管理平台。
优选地,所述步骤S1还包括:
通过fusioncomputer对本地所有私有云资源进行分切和管理,通过开放接口完成所述fusioncomputer与所述多云管理平台的资源同步。
具体地,通过fusioncomputer技术将本地所有私有云资源按照不同类型(vmware、kvm、openstack等组件)进行分切和管理形成独立的私有云,并将所有私有云组成多云管理平台。并通过openapi完成fusioncomputer与多云管理平台的资源同步。
其中,fusioncomputer是华为的虚拟化产品,是基于开源技术做了相应的特性增强的开发的。
本步骤中,首先,完成了fusioncomputer本地所有私有云资源的切分,并通过openapi完成fusioncomputer与多云管理平台的资源同步。其次,通过openapi与多云管理平台私有云资源之间数据交互的同时,也相应保护了独立私有云隐私数据暴露的问题。
优选地,所述步骤S1还包括:构建数据差异化预警模型,通过所述数据差异化预警模型预测异常数据发生的概率和正常数据发生的概率;所述数据差异化预警模型为:
X(k+1)=X(k)×P
其中,X(k)表示趋势分析与预测对象在k时刻的状态向量,P表示一步转移概率矩阵,X(k+1)表示趋势分析与预测对象在k+1时刻的状态向量。
具体地,举例来说,假设历史数据传输数据总量为1,其中异常数据占比30%(0.3),正常数据占比70%(0.7)。又据历史数据分析得出本次异常数据中有60%可能继续异常,40%可能转成其正常。
而本次占比达70%正常数据中可能70%依然是正常,而30%会变成异常。运算过程如下:
下次异常数据发生概率:0.3x0.6+0.3x0.7=0.39x100=39%;
下次正常数据发生概率:0.3x0.4+0.7x0.7=0.61x100=61%。
S2:创建数据池,通过开放接口将与所述多云管理平台的私有云相关联的物理设备信息及网络数据、应用运算数据、日志文本数据放入到初始数据池。
优选地,所述数据池包括模拟信号数据池、应用程序数据池、文本数据池;所述数据池中的数据包括元数据、元过程数据、虚拟化标识ID、故障概率值;所述数据池中的数据的格式为:数值###元数据ID###元过程数据ID###来自多元平台的虚拟化标识ID###故障概率值;其中,###为数值分隔符号。
具体地,在服务器部署初始数据池,并创建三大类型数据池获取来自初始数据池整理过的数据。
三大类型数据池分别为模拟信号数据池、应用程序数据池、文本数据池,并对存储的数据进行修整。
通过openapi将多云管理平台的私有云关联的物理设备及网络数据、应用运算数据、日志文本数据放入到初始数据池,同时捕捉采集数据对应的元数据。设置初始数据池目的是充当数据的存放单元,并根据数据特征为下一步数据进入不同类型数据池做准备。将该数据关联的元数据、元过程数据、数据与关联的元数据和元过程数据三方关系映射为元数据标识,一起传递给对应类型数据处理池。
虚拟标识格式:数值###元数据ID###元过程数据ID###来自多元平台具体虚拟化标识ID###故障概率值(kvm\vmware\openstack)。其中,
###:为数值分隔符号。
元数据:对数据记录、索引、键值及不同数据属性间关系的描述等。
元过程数据:比采集的数据更据有分析价值,通常包含了更丰富的信息,包括记录,日期、地点、责任人、记录设备,其他附属信息。
S3:创建线程池,将各类型数据池中的数据值映射为算子,将整个数据上云过程映射为运算链。
优选地,所述创建线程池,将各类型数据池中的数据值映射为算子,将整个数据上云过程映射为运算链包括:
通过Flink创建线程池,将每个运算链映射为一个TaskManager进程,通过故障概率值进行优先级线程分配;
将运算链中各算子的故障概率值小于预设阈值的运算链线程向共享的多个任务时隙按顺序均匀发送;
根据所述虚拟化标识ID将通过进程池处理过的数据上传到对应的公有云中。
具体地,创建线程池并将步骤S2的各类型数据池的数据值(元数据、元过程数据、虚拟化标识ID、故障概率值)映射为算子,整个上云过程映射为运算链。
首先、每个运算链映射为一个TaskManager进程。JobManager通过Actor System管理多云管理平台的私有云数据运算(TaskManager),并通过故障概率值进行优先级线程分配,从而达到充分的利用Task Slots(进程插槽)的资源使较大的子任务(SubTask)能够均匀的分布在TaskManager上,并通过Client来管理数据流向JobManagers。
其次、优先将运算链(SubTask)中各算子故障概率值没有大于50%的运算链线程向共享的多个Task Slots按顺序均匀发送。从而达到充分的利用Task Slots(进程插槽)的资源使较大的子任务(SubTask)能够均匀的分布在TaskManager上,并且可以共用同一个JobManager下的其他TaskManager的TCP连接和心跳消息,同时可以共用一些数据集和数据结构,从而减小任务的开销。
然后、通过进程池梳理过的数据根据传递过来的虚拟化标识ID参数将数据上传到对应的公有云中。
例如:从本地私有云数据所属业务重要程度对应不同的公有云。私有云VMware数据对应上传到公有云中的华为云。
本实施例的线程是进程中一个单一顺序的控制流,一个进程中可以并发多个线程,每条线程并行执行不同的任务。一个应用程序中需要多次使用线程,意味着需要多次创建并销毁线程,而线程的创建和销毁势必会消耗内存。线程池可以对线程进行复用,可以尽可能的避免线程的重复创建和销毁,减少内存的消耗。
本实施例采用数据湖技术的数据按类型分类,结合flink的数据算子链加速特点,将整个数据上云过程映射为运算链,能够预测在上云过程中数据是否异常,解决了海量数据上云花费时间较长,上云过程中因本地设备基础资源耗尽或者网络异常导致上云数据中断问题。
Flink是一个框架和分布式处理引擎,用于对无限制和有限制的数据流进行有状态的计算。Flink被设计为可在所有常见的集群环境中运行,以内存速度和任何规模执行计算。Flink的TaskManager负责将每个运算链映射为一个TaskManager进程;JobManager通过Actor System管理分布式灾备演练地方的数据运算及参与中央预警模型运算得到每个算子的故障发生概率值,并通过概率值进行优先级线程分配,从而达到充分的利用TaskSlots的资源使较大的算子能够均匀的分布在TaskManager上;最后通过Client来管理各地方灾备演练数据流向JobManagers。
实施例2
图2是云数据迁移的优化系统示意图。如图2所示,本实施例还提供了一种云数据迁移的优化系统,所述系统包括:
私有化管理模块201,用于将本地私有云资源按照组件类型进行分切和管理,形成独立的私有云,并将所有所述独立的私有云组成多云管理平台;
存储分类模块202,用于创建数据池,通过开放接口将与所述多云管理平台的私有云相关联的物理设备信息及网络数据、应用运算数据、日志文本数据放入到初始数据池;
上云加速模块203,用于创建线程池,将各类型数据池中的数据值映射为算子,将整个数据上云过程映射为运算链。
优选地,所述私有化管理模块201还用于:
通过fusioncomputer对本地所有私有云资源进行分切和管理,通过开放接口完成所述fusioncomputer与所述多云管理平台的资源同步。
优选地,所述私有化管理模块201还用于:构建数据差异化预警模型,通过所述数据差异化预警模型预测异常数据发生的概率和正常数据发生的概率;所述数据差异化预警模型为:
X(k+1)=X(k)×P
其中,X(k)表示趋势分析与预测对象在k时刻的状态向量,P表示一步转移概率矩阵,X(k+1)表示趋势分析与预测对象在k+1时刻的状态向量。
优选地,所述存储分类模块202创建的数据池包括模拟信号数据池、应用程序数据池、文本数据池;所述数据池中的数据包括元数据、元过程数据、虚拟化标识ID、故障概率值;所述数据池中的数据的格式为:数值###元数据ID###元过程数据ID###来自多元平台的虚拟化标识ID###故障概率值。
优选地,所述上云加速模块203创建线程池,将各类型数据池中的数据值映射为算子,将整个数据上云过程映射为运算链包括:
通过Flink创建线程池,将每个运算链映射为一个TaskManager进程,通过故障概率值进行优先级线程分配;
将运算链中各算子的故障概率值小于预设阈值的运算链线程向共享的多个任务时隙按顺序均匀发送;
根据所述虚拟化标识ID将通过进程池处理过的数据上传到对应的公有云中。
本实施例2中各个模块所实现的功能的具体实施过程与实施例1中的实施过程相同,在此不再赘述。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是在本发明的构思下,利用本发明说明书及附图内容所作的等效结构变换,或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。
Claims (10)
1.一种云数据迁移的优化方法,其特征在于,所述方法包括以下步骤:
S1:将本地私有云资源按照组件类型进行分切和管理,形成独立的私有云,并将所有所述独立的私有云组成多云管理平台;
S2:创建数据池,通过开放接口将与所述多云管理平台的私有云相关联的物理设备信息及网络数据、应用运算数据、日志文本数据放入到初始数据池;
S3:创建线程池,将各类型数据池中的数据值映射为算子,将整个数据上云过程映射为运算链。
2.根据权利要求1所述的方法,其特征在于,所述步骤S1还包括:
通过fusioncomputer对本地所有私有云资源进行分切和管理,通过开放接口完成所述fusioncomputer与所述多云管理平台的资源同步。
3.根据权利要求2所述的方法,其特征在于,所述步骤S1还包括:构建数据差异化预警模型,通过所述数据差异化预警模型预测异常数据发生的概率和正常数据发生的概率;所述数据差异化预警模型为:
X(k+1)=X(k)×P
其中,X(k)表示趋势分析与预测对象在k时刻的状态向量,P表示一步转移概率矩阵,X(k+1)表示趋势分析与预测对象在k+1时刻的状态向量。
4.根据权利要求3所述的方法,其特征在于,所述数据池包括模拟信号数据池、应用程序数据池、文本数据池;所述数据池中的数据包括元数据、元过程数据、虚拟化标识ID、故障概率值;所述数据池中的数据的格式为:数值###元数据ID###元过程数据ID###来自多元平台的虚拟化标识ID###故障概率值;其中,###为数值分隔符号。
5.根据权利要求4所述的方法,其特征在于,所述创建线程池,将各类型数据池中的数据值映射为算子,将整个数据上云过程映射为运算链包括:
通过Flink创建线程池,将每个运算链映射为一个TaskManager进程,通过故障概率值进行优先级线程分配;
将运算链中各算子的故障概率值小于预设阈值的运算链线程向共享的多个任务时隙按顺序均匀发送;
根据所述虚拟化标识ID将通过进程池处理过的数据上传到对应的公有云中。
6.一种云数据迁移的优化系统,其特征在于,所述系统包括:
私有化管理模块,用于将本地私有云资源按照组件类型进行分切和管理,形成独立的私有云,并将所有所述独立的私有云组成多云管理平台;
存储分类模块,用于创建数据池,通过开放接口将与所述多云管理平台的私有云相关联的物理设备信息及网络数据、应用运算数据、日志文本数据放入到初始数据池;
上云加速模块,用于创建线程池,将各类型数据池中的数据值映射为算子,将整个数据上云过程映射为运算链。
7.根据权利要求6所述的系统,其特征在于,所述私有化管理模块还用于:
通过fusioncomputer对本地所有私有云资源进行分切和管理,通过开放接口完成所述fusioncomputer与所述多云管理平台的资源同步。
8.根据权利要求7所述的系统,其特征在于,所述私有化管理模块还用于:构建数据差异化预警模型,通过所述数据差异化预警模型预测异常数据发生的概率和正常数据发生的概率;所述数据差异化预警模型为:
X(k+1)=X(k)×P
其中,X(k)表示趋势分析与预测对象在k时刻的状态向量,P表示一步转移概率矩阵,X(k+1)表示趋势分析与预测对象在k+1时刻的状态向量。
9.根据权利要求8所述的系统,其特征在于,所述存储分类模块创建的数据池包括模拟信号数据池、应用程序数据池、文本数据池;所述数据池中的数据包括元数据、元过程数据、虚拟化标识ID、故障概率值;所述数据池中的数据的格式为:数值###元数据ID###元过程数据ID###来自多元平台的虚拟化标识ID###故障概率值;其中,###为数值分隔符号。
10.根据权利要求9所述的系统,其特征在于,所述上云加速模块创建线程池,将各类型数据池中的数据值映射为算子,将整个数据上云过程映射为运算链包括:
通过Flink创建线程池,将每个运算链映射为一个TaskManager进程,通过故障概率值进行优先级线程分配;
将运算链中各算子的故障概率值小于预设阈值的运算链线程向共享的多个任务时隙按顺序均匀发送;
根据所述虚拟化标识ID将通过进程池处理过的数据上传到对应的公有云中。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211323617.8A CN115756308A (zh) | 2022-10-27 | 2022-10-27 | 一种云数据迁移的优化方法及系统 |
PCT/CN2023/123187 WO2024088026A1 (zh) | 2022-10-27 | 2023-10-07 | 一种云数据迁移的优化方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211323617.8A CN115756308A (zh) | 2022-10-27 | 2022-10-27 | 一种云数据迁移的优化方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115756308A true CN115756308A (zh) | 2023-03-07 |
Family
ID=85353532
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211323617.8A Pending CN115756308A (zh) | 2022-10-27 | 2022-10-27 | 一种云数据迁移的优化方法及系统 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN115756308A (zh) |
WO (1) | WO2024088026A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024088026A1 (zh) * | 2022-10-27 | 2024-05-02 | 中电信数智科技有限公司 | 一种云数据迁移的优化方法及系统 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108768688B (zh) * | 2018-04-11 | 2019-08-06 | 无锡华云数据技术服务有限公司 | 可视化的混合云资源编排方法及装置 |
CN110019651A (zh) * | 2019-03-01 | 2019-07-16 | 广州亚美信息科技有限公司 | 一种流式规则引擎及业务数据处理方法 |
CN111786808A (zh) * | 2020-01-10 | 2020-10-16 | 北京京东尚科信息技术有限公司 | 云系统的迁移方法、装置和混合云系统 |
US11218421B1 (en) * | 2021-04-07 | 2022-01-04 | Wanclouds Inc. | Methods and systems for migrating virtual private cloud (VPC) resources across public cloud environments |
CN115756308A (zh) * | 2022-10-27 | 2023-03-07 | 中电信数智科技有限公司 | 一种云数据迁移的优化方法及系统 |
-
2022
- 2022-10-27 CN CN202211323617.8A patent/CN115756308A/zh active Pending
-
2023
- 2023-10-07 WO PCT/CN2023/123187 patent/WO2024088026A1/zh unknown
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024088026A1 (zh) * | 2022-10-27 | 2024-05-02 | 中电信数智科技有限公司 | 一种云数据迁移的优化方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
WO2024088026A1 (zh) | 2024-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107689953B (zh) | 一种面向多租户云计算的容器安全监控方法及系统 | |
US20230004434A1 (en) | Automated reconfiguration of real time data stream processing | |
US20200329091A1 (en) | Methods and systems that use feedback to distribute and manage alerts | |
US9135093B2 (en) | Event-driven approach for collecting monitoring data of messaging systems | |
US11178213B2 (en) | Automated configuration based deployment of stream processing pipeline | |
US10560544B2 (en) | Data caching in a collaborative file sharing system | |
US11256668B2 (en) | Virtual log file that aggregates multiple physical log files | |
CN105631026A (zh) | 一种安全数据分析系统 | |
US11190401B2 (en) | Impartial buffering in stream processing | |
US7502846B2 (en) | Monitoring service with inter-enterprise contextual analysis | |
US11275667B2 (en) | Handling of workload surges in a software application | |
EP3553678A1 (en) | Systems and methods for accessing data items and aggregating data records | |
US10671621B2 (en) | Predictive scaling for cloud applications | |
EP3090329A1 (en) | Event-driven data processing system | |
CN110750592A (zh) | 数据同步的方法、装置和终端设备 | |
CN112256406B (zh) | 作业流程平台化调度方法 | |
WO2024088026A1 (zh) | 一种云数据迁移的优化方法及系统 | |
Racka | Apache Nifi As A Tool For Stream Processing Of Measurement Data | |
CN115514618A (zh) | 告警事件的处理方法、装置、电子设备和介质 | |
CN114816477A (zh) | 服务器升级方法、装置、设备、介质和程序产品 | |
CN115168297A (zh) | 绕行日志审计方法及装置 | |
Vassilakis et al. | Integrating e-government public transactional services into public authority workflows | |
CN110719334B (zh) | 适用于云桌面行为的审计系统及方法 | |
CN117251284A (zh) | 一种资源管理系统、方法、电子设备及存储介质 | |
US11886933B2 (en) | Dynamic load balancing by analyzing performance of volume to quality of service |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |