CN115203161A - 一种基于互联网接入服务的数据迁移管理系统 - Google Patents

一种基于互联网接入服务的数据迁移管理系统 Download PDF

Info

Publication number
CN115203161A
CN115203161A CN202210551630.2A CN202210551630A CN115203161A CN 115203161 A CN115203161 A CN 115203161A CN 202210551630 A CN202210551630 A CN 202210551630A CN 115203161 A CN115203161 A CN 115203161A
Authority
CN
China
Prior art keywords
migration
storage
data
analysis
access
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210551630.2A
Other languages
English (en)
Inventor
徐帆
许瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Dezai Information Technology Co ltd
Original Assignee
Shanghai Dezai Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Dezai Information Technology Co ltd filed Critical Shanghai Dezai Information Technology Co ltd
Priority to CN202210551630.2A priority Critical patent/CN115203161A/zh
Publication of CN115203161A publication Critical patent/CN115203161A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/214Database migration support
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/256Integrating or interfacing systems involving database management systems in federated or virtual databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于互联网接入服务的数据迁移管理系统,涉及数据迁移管理技术领域,解决了现有技术中,数据迁移过程中无法通过数据分析将对应迁移数据进行不同方式储存的技术问,通过分析将迁移对象完成迁移后的储存方式进行确定,储存方式包括在线储存、近线储存以及离线储存;有利于提高了数据迁移的运行效率,增强了数据迁移存储的合理性,防止数据迁移过程中数据存储异常导致数据迁移效率降低,同时使数据迁移的存储成本造成不必要的浪费;将迁移对象的存储设备进行运行分析,判断存储设备在进行迁移对象存储时是否运行正常,防止出现存储设备的资源使用不均衡。

Description

一种基于互联网接入服务的数据迁移管理系统
技术领域
本发明涉及数据迁移管理技术领域,具体为一种基于互联网接入服务的数据迁移管理系统。
背景技术
从信息资源的角度,互联网是一个集各部门、各领域的信息资源为一体的,供网络用户共享的信息资源网。互联网接入是通过特定的信息采集与共享的传输通道,利用以下传输技术完成用户与IP广域网的高带宽、高速度的物理连接;数据迁移又称分级存储管理;是一种将离线存储与在线存储融合的技术。它将高速、高容量的非在线存储设备作为磁盘设备的下一级设备,然后将磁盘中常用的数据按指定的策略自动迁移到磁带库(简称带库)等二级大容量存储设备上。当需要使用这些数据时,分级存储系统会自动将这些数据从下一级存储设备调回到上一级磁盘上。
但是在现有技术中,数据迁移过程中无法通过数据分析将对应迁移数据进行不同方式储存,即无法将对应储存设备设置不同的性能需求;以至于数据迁移存储的合理性降低,无法保证数据迁移的高效性。
针对上述的技术缺陷,现提出一种解决方案。
发明内容
本发明的目的就在于为了解决上述提出的问题,而提出一种基于互联网接入服务的数据迁移管理系统,通过分析将迁移对象完成迁移后的储存方式进行确定,储存方式包括在线储存、近线储存以及离线储存;有利于提高了数据迁移的运行效率,增强了数据迁移存储的合理性,防止数据迁移过程中数据存储异常导致数据迁移效率降低,同时使数据迁移的存储成本造成不必要的浪费。
本发明的目的可以通过以下技术方案实现:
一种基于互联网接入服务的数据迁移管理系统,包括服务器,服务器包括:
服务器将互联网接入服务的运行数据进行采集并将其标记为迁移对象;其中,运行数据表示为互联网接入服务的文字和图片;
数据迁移类别划分单元,用于将迁移对象进行分析,通过分析将迁移对象完成迁移后的储存方式进行确定,储存方式包括在线储存、近线储存以及离线储存;储存方式完成确定后将迁移对象的储存方式和对应存储设备的性能需求发送至服务器;
存储设备分析单元,用于将迁移对象的存储设备进行运行分析,判断存储设备在进行迁移对象存储时是否运行正常;通过存储设备的运行分析生成设备使用分析合格信号和设备使用分析不合格信号,并将其发送至服务器;
稳定性分析单元,用于将迁移对象的迁移过程中数据访问与传输进行分析,判定数据迁移的稳定性是否合格,通过分析生成稳定性异常信号和稳定性正常信号,并将其发送至服务器;
迁移效率分析单元,用于将迁移对象完成数据迁移后的运行状态进行分析,通过分析数据迁移后的影响分析侧面反应出迁移对象进行数据迁移的效果,并通过运行状态分析生成效率分析异常信号和效率分析正常信号,并将其发送至服务器。
作为本发明的一种优选实施方式,数据迁移类别划分单元的运行过程如下:
将迁移对象进行类别分析,通过类别分析后合理匹配储存方式;采集到迁移对象的访问最短需求间隔时长以及迁移对象的访问平均需求速度,并将其分别与时长阈值和需求速度阈值进行比较:
若迁移对象的访问最短需求间隔时长未超过时长阈值,且迁移对象的访问平均需求速度超过需求速度阈值,则判定迁移对象的数据存储方式设置为在线储存,同时将在线储存迁移对象的数据存储设备进行设定,即在线储存的存储设备的性能需求为:存储设备接收访问的间隔时长以及平均传输速度均满足在线储存的迁移对象需求;若迁移对象的访问最短需求间隔时长超过时长阈值,或者迁移对象的访问平均需求速度未超过需求速度阈值,则判定迁移对象的数据存储方式设置为非在线储存;
采集到迁移对象的被访问频率以及迁移对象平均访问数据量,并将其分别与访问频率阈值和访问数据量阈值进行比较:
若迁移对象的被访问频率未超过访问频率阈值,且迁移对象平均访问数据量未超过访问数据量阈值,则将对应迁移对象的储存方式设置为近线储存,即近线储存的存储设备性能需求为:对应寻址速度超过对应寻址速度阈值,且传输率超过对应传输率阈值;若迁移对象的被访问频率超过访问频率阈值,或者迁移对象平均访问数据量超过访问数据量阈值,则将对应迁移对象的储存方式设置为非近线储存;
采集到迁移对象对应授予访问权限用户的数量以及迁移对象出现数据丢失后预计修复时长,并将其分别与用户数量阈值和修复时长阈值进行比较:
若迁移对象对应授予访问权限用户的数量超过用户数量阈值,或者迁移对象出现数据丢失后预计修复时长未超过修复时长阈值,则将对应迁移对象的储存方式设置为离线储存,即在互联网离线状态下进行迁移对象数据备份;离线储存的存储设备性能需求为:存储设备的数据传输速度不超过对应数据传输速度阈值,且平均单次数据传输量为固定值;若迁移对象对应授予访问权限用户的数量未超过用户数量阈值,且迁移对象出现数据丢失后预计修复时长超过修复时长阈值,则将对应迁移对象的储存方式设置为非离线储存。
作为本发明的一种优选实施方式,存储设备分析单元的运行过程如下:
将存储设备设置标号i,i为大于1的自然数,采集到迁移对象存储过程中存储设备的最大数据存储量差值以及存储设备进行数据存储的最大频率差值,并将其分别标记为CLCi和PCZi;采集到迁移对象存储过程中投入使用的存储设备对应利用率,并将其标记为LYLi;
通过分析获取到迁移对象存储过程中存储设备的分析系数Xi,将迁移对象存储过程中存储设备的分析系数Xi与分析系数阈值进行比较:
若迁移对象存储过程中存储设备的分析系数Xi超过分析系数阈值,则判定对应存储设备分析合格,生成设备使用分析合格信号并将设备使用分析合格信号发送至服务器;若迁移对象存储过程中存储设备的分析系数Xi未超过分析系数阈值,则判定对应存储设备分析不合格,生成设备使用分析不合格信号并将设备使用分析不合格信号发送至服务器。
作为本发明的一种优选实施方式,稳定性分析单元的运行过程如下:
采集到数据迁移过程中迁移对象被访问的缓冲时间对应延迟值以及迁移对象进行数据传输时对应传输速率的浮动值,并将其分别标记为缓冲时间延迟值和传输速率浮动值,将缓冲时间延迟值和传输速率浮动值分别与延迟值阈值和浮动值阈值进行比较:
若缓冲时间延迟值超过延迟值阈值,或者传输速率浮动值超过浮动值阈值,则判定对应数据迁移稳定性分析不合格,生成稳定性异常信号并将稳定性异常信号发送至服务器;若缓冲时间延迟值未超过延迟值阈值,且传输速率浮动值未超过浮动值阈值,则判定对应数据迁移稳定性分析合格,生成稳定性正常信号并将稳定性正常信号发送至服务器。
作为本发明的一种优选实施方式,迁移效率分析单元的运行过程如下:
在迁移对象完成数据迁移的时刻为时间起点,根据系统当前时刻点构建效率分析时间段,采集到效率分析时间段内迁移对象数据查询平均耗时以及迁移对象数据缺失的次数,并将其分别与平均耗时阈值和缺失次数阈值进行比较:
若效率分析时间段内迁移对象数据查询平均耗时超过平均耗时阈值,或者迁移对象数据缺失的次数超过缺失次数阈值,则判定迁移对象的数据迁移不合格,生成效率分析异常信号并将效率分析异常信号发送至服务器;
若效率分析时间段内迁移对象数据查询平均耗时未超过平均耗时阈值,且迁移对象数据缺失的次数未超过缺失次数阈值,则判定迁移对象的数据迁移合格,生成效率分析正常信号并将效率分析正常信号发送至服务器。
与现有技术相比,本发明的有益效果是:
1、本发明中,通过分析将迁移对象完成迁移后的储存方式进行确定,储存方式包括在线储存、近线储存以及离线储存;有利于提高了数据迁移的运行效率,增强了数据迁移存储的合理性,防止数据迁移过程中数据存储异常导致数据迁移效率降低,同时使数据迁移的存储成本造成不必要的浪费;将迁移对象的存储设备进行运行分析,判断存储设备在进行迁移对象存储时是否运行正常,防止出现存储设备的资源使用不均衡,导致部分存储设备的寿命降低且部分存储设备的投入成本白白浪费,造成迁移对象数据存储设备的存储效率降低;
2、本发明中,将迁移对象的迁移过程中数据访问与传输进行分析,从而分析出数据迁移的稳定性,从而提高了数据迁移的监测力度,防止数据迁移过程中互联网接入服务的数据访问传输受到影响,导致互联网接入服务效率降低,间接造成数据迁移的工作效率降低;将迁移对象完成数据迁移后的运行状态进行分析,通过分析数据迁移后的影响分析侧面反应出迁移对象进行数据迁移带来的效果,从而能够反映出迁移对象数据迁移的工作效率;此外也有利于提高服务器控制迁移对象进行数据迁移的合格性。
附图说明
为了便于本领域技术人员理解,下面结合附图对本发明作进一步的说明。
图1为本发明一种基于互联网接入服务的数据迁移管理系统的原理框图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1所示,一种基于互联网接入服务的数据迁移管理系统,包括服务器,服务器通讯连接有数据迁移类别划分单元、存储设备分析单元、稳定性分析单元以及迁移效率分析单元,其中,服务器与数据迁移类别划分单元、存储设备分析单元、稳定性分析单元以及迁移效率分析单元均为双向通讯连接;
可以理解的是,服务器在本系统中作为信号传输的枢纽,对系统运行过程中存在的信号进行实时处理,以至于能够满足数据迁移的管理力度;数据迁移是将很少使用或不用的文件移到辅助存储系统(如磁带或光盘)的存档过程。这些文件通常是需在未来任何时间可进行方便访问的图像文档或历史信息。迁移工作与备份策略相结合,并且仍要求定期备份。还包括电脑数据迁移,迁移旧电脑(旧系统)中的数据、应用程序、个性化设置等到新电脑(新系统),在系统升级后很有必要。
互联网接入服务在运行过程中需要进行数据迁移,且进行数据迁移时,服务器将互联网接入服务的运行数据进行采集并将其标记为迁移对象,其中,运行数据表示为文字,图片等相关形式的数据;
服务器生成数据迁移类别划分信号并将数据迁移类别划分信号发送至数据迁移类型划分单元,数据迁移类别划分单元接收到数据迁移类别划分信号后,将迁移对象进行分析,通过分析将迁移对象完成迁移后的储存方式进行确定,储存方式包括在线储存、近线储存以及离线储存;有利于提高了数据迁移的运行效率,增强了数据迁移存储的合理性,防止数据迁移过程中数据存储异常导致数据迁移效率降低,同时使数据迁移的存储成本造成不必要的浪费;
将迁移对象进行类别分析,通过类别分析后合理匹配储存方式;采集到迁移对象的访问最短需求间隔时长以及迁移对象的访问平均需求速度,并将迁移对象的访问最短需求间隔时长以及迁移对象的访问平均需求速度分别与时长阈值和需求速度阈值进行比较:
若迁移对象的访问最短需求间隔时长未超过时长阈值,且迁移对象的访问平均需求速度超过需求速度阈值,则判定迁移对象的数据存储方式设置为在线储存,同时将在线储存迁移对象的数据存储设备进行设定,即在线储存的存储设备的性能需求为:存储设备接收访问的间隔时长以及平均传输速度均满足在线储存的迁移对象需求;即存储设备的访问间隔时长以及平均传输速度均处于对应阈值范围内;
若迁移对象的访问最短需求间隔时长超过时长阈值,或者迁移对象的访问平均需求速度未超过需求速度阈值,则判定迁移对象的数据存储方式设置为非在线储存;
采集到迁移对象的被访问频率以及迁移对象平均访问数据量,并将迁移对象的被访问频率以及迁移对象平均访问数据量分别与访问频率阈值和访问数据量阈值进行比较:
若迁移对象的被访问频率未超过访问频率阈值,且迁移对象平均访问数据量未超过访问数据量阈值,则将对应迁移对象的储存方式设置为近线储存,即近线储存的存储设备性能需求为:对应寻址速度超过对应寻址速度阈值,且传输率超过对应传输率阈值;若迁移对象的被访问频率超过访问频率阈值,或者迁移对象平均访问数据量超过访问数据量阈值,则将对应迁移对象的储存方式设置为非近线储存;可以理解的是,近线储存表示为迁移对象不常用或者访问量小;
采集到迁移对象对应授予访问权限用户的数量以及迁移对象出现数据丢失后预计修复时长,并将迁移对象对应授予访问权限用户的数量以及迁移对象出现数据丢失后预计修复时长分别与用户数量阈值和修复时长阈值进行比较:
若迁移对象对应授予访问权限用户的数量超过用户数量阈值,或者迁移对象出现数据丢失后预计修复时长未超过修复时长阈值,则将对应迁移对象的储存方式设置为离线储存,即在互联网离线状态下进行迁移对象数据备份;离线储存的存储设备性能需求为:存储设备的数据传输速度不超过对应数据传输速度阈值,且平均单次数据传输量为固定值;
存储设备的数据传输速度不超过对应数据传输速度阈值,且平均单次数据传输量为固定值;若迁移对象对应授予访问权限用户的数量未超过用户数量阈值,且迁移对象出现数据丢失后预计修复时长超过修复时长阈值,则将对应迁移对象的储存方式设置为非离线储存;
将迁移对象的储存方式和对应存储设备的性能需求发送至服务器;
服务器接收到迁移对象的储存方式和对应存储设备的性能需求后,将迁移对象在迁移过程中以对应储存方式以及对应存储设备的性能需求进行数据储存;同时在存储设备内存在迁移对象的内存占用量时,服务器生成存储设备分析信号并将存储设备分析信号发送至存储设备分析单元;存储设备分析单元接收到存储设备分析信号后,将迁移对象的存储设备进行运行分析,判断存储设备在进行迁移对象存储时是否运行正常,防止出现存储设备的资源使用不均衡,导致部分存储设备的寿命降低且部分存储设备的投入成本白白浪费,造成迁移对象数据存储设备的存储效率降低;
将存储设备设置标号i,i为大于1的自然数,采集到迁移对象存储过程中存储设备的最大数据存储量差值以及存储设备进行数据存储的最大频率差值,并将迁移对象存储过程中存储设备的最大数据存储量差值以及存储设备进行数据存储的最大频率差值分别标记为CLCi和PCZi;采集到迁移对象存储过程中投入使用的存储设备对应利用率,并将迁移对象存储过程中投入使用的存储设备对应利用率标记为LYLi;
通过公式
Figure BDA0003650220350000091
获取到迁移对象存储过程中存储设备的分析系数Xi,其中,a1、a2以及a3均为预设比例系数,且a1>a2>a3>0,β为误差修正因子,取值为1.02;
将迁移对象存储过程中存储设备的分析系数Xi与分析系数阈值进行比较:
若迁移对象存储过程中存储设备的分析系数Xi超过分析系数阈值,则判定对应存储设备分析合格,生成设备使用分析合格信号并将设备使用分析合格信号发送至服务器;若迁移对象存储过程中存储设备的分析系数Xi未超过分析系数阈值,则判定对应存储设备分析不合格,生成设备使用分析不合格信号并将设备使用分析不合格信号发送至服务器;
服务器接收到设备使用分析不合格信号后,将对应存储设备的使用进行控制,即设置控制时间阈值,在控制时间阈值内存储设备的循环使用未结束时,将单个存储设备的存储运行频率进行限制;若对应类型的存储设备数量无法满足需求,则将对应类型的存储设备数量进行添加,且保证投入使用的存储设备利用率能够到达需求;
服务器接收到设备使用分析合格信号后,生成稳定性分析信号并将稳定性分析信号发送至稳定性分析单元,稳定性分析单元接收到稳定性分析信号后,将迁移对象的迁移过程中数据访问与传输进行分析,从而分析出数据迁移的稳定性,从而提高了数据迁移的监测力度,防止数据迁移过程中互联网接入服务的数据访问传输受到影响,导致互联网接入服务效率降低,间接造成数据迁移的工作效率降低;
采集到数据迁移过程中迁移对象被访问的缓冲时间对应延迟值以及迁移对象进行数据传输时对应传输速率的浮动值,并将数据迁移过程中迁移对象被访问的缓冲时间对应延迟值以及迁移对象进行数据传输时对应传输速率的浮动值分别与延迟值阈值和浮动值阈值进行比较:
若数据迁移过程中迁移对象被访问的缓冲时间对应延迟值超过延迟值阈值,或者迁移对象进行数据传输时对应传输速率的浮动值超过浮动值阈值,则判定对应数据迁移稳定性分析不合格,生成稳定性异常信号并将稳定性异常信号发送至服务器;服务器接收到稳定性异常信号后,在迁移对象进行数据迁移过程中,将迁移对象的访问进行调节;降低数据迁移过程中的访问频率;本申请中迁移对象的访问或者运行均表示为互联网接入服务的运行;
若数据迁移过程中迁移对象被访问的缓冲时间对应延迟值未超过延迟值阈值,且迁移对象进行数据传输时对应传输速率的浮动值未超过浮动值阈值,则判定对应数据迁移稳定性分析合格,生成稳定性正常信号并将稳定性正常信号发送至服务器;
服务器接收到稳定性正常信号后,生成迁移效率分析信号并将迁移效率分析信号发送至迁移效率分析单元,迁移效率分析单元接收到迁移效率分析信号后,将迁移对象完成数据迁移后的运行状态进行分析,通过分析数据迁移后的影响分析侧面反应出迁移对象进行数据迁移带来的效果,从而能够反映出迁移对象数据迁移的工作效率;此外也有利于提高服务器控制迁移对象进行数据迁移的合格性;
在迁移对象完成数据迁移的时刻为时间起点,根据系统当前时刻点构建效率分析时间段,采集到效率分析时间段内迁移对象数据查询平均耗时以及迁移对象数据缺失的次数,并将效率分析时间段内迁移对象数据查询平均耗时以及迁移对象数据缺失的次数分别与平均耗时阈值和缺失次数阈值进行比较:
若效率分析时间段内迁移对象数据查询平均耗时超过平均耗时阈值,或者迁移对象数据缺失的次数超过缺失次数阈值,则判定迁移对象的数据迁移不合格,生成效率分析异常信号并将效率分析异常信号发送至服务器;服务器接收到效率分析异常信号后,将对应迁移对象进行存储数据监测,筛选出存储数据异常的存储设备并将其对应存储数据进行恢复;
若效率分析时间段内迁移对象数据查询平均耗时未超过平均耗时阈值,且迁移对象数据缺失的次数未超过缺失次数阈值,则判定迁移对象的数据迁移合格,生成效率分析正常信号并将效率分析正常信号发送至服务器。
上述公式均是采集大量数据进行软件模拟得出且选取与真实值接近的一个公式,公式中的系数是由本领域技术人员根据实际情况进行设置;
本发明在使用时,服务器将互联网接入服务的运行数据进行采集并将其标记为迁移对象;通过数据迁移类别划分单元将迁移对象进行分析,通过分析将迁移对象完成迁移后的储存方式进行确定,储存方式包括在线储存、近线储存以及离线储存;储存方式完成确定后将迁移对象的储存方式和对应存储设备的性能需求发送至服务器;通过存储设备分析单元将迁移对象的存储设备进行运行分析,判断存储设备在进行迁移对象存储时是否运行正常;通过稳定性分析单元将迁移对象的迁移过程中数据访问与传输进行分析,判定数据迁移的稳定性是否合格;通过迁移效率分析单元将迁移对象完成数据迁移后的运行状态进行分析,通过分析数据迁移后的影响分析侧面反应出迁移对象进行数据迁移的效果。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节,也不限制该发明仅为的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (5)

1.一种基于互联网接入服务的数据迁移管理系统,包括服务器,其特征在于,服务器包括:
服务器将互联网接入服务的运行数据进行采集并将其标记为迁移对象;其中,运行数据表示为互联网接入服务的文字和图片;
数据迁移类别划分单元,用于将迁移对象进行分析,通过分析将迁移对象完成迁移后的储存方式进行确定,储存方式包括在线储存、近线储存以及离线储存;储存方式完成确定后将迁移对象的储存方式和对应存储设备的性能需求发送至服务器;
存储设备分析单元,用于将迁移对象的存储设备进行运行分析,判断存储设备在进行迁移对象存储时是否运行正常;通过存储设备的运行分析生成设备使用分析合格信号和设备使用分析不合格信号,并将其发送至服务器;
稳定性分析单元,用于将迁移对象的迁移过程中数据访问与传输进行分析,判定数据迁移的稳定性是否合格,通过分析生成稳定性异常信号和稳定性正常信号,并将其发送至服务器;
迁移效率分析单元,用于将迁移对象完成数据迁移后的运行状态进行分析,通过分析数据迁移后的影响分析侧面反应出迁移对象进行数据迁移的效果,并通过运行状态分析生成效率分析异常信号和效率分析正常信号,并将其发送至服务器。
2.根据权利要求1所述的一种基于互联网接入服务的数据迁移管理系统,其特征在于,数据迁移类别划分单元的运行过程如下:
将迁移对象进行类别分析,通过类别分析后合理匹配储存方式;采集到迁移对象的访问最短需求间隔时长以及迁移对象的访问平均需求速度,并将其分别与时长阈值和需求速度阈值进行比较:
若迁移对象的访问最短需求间隔时长未超过时长阈值,且迁移对象的访问平均需求速度超过需求速度阈值,则判定迁移对象的数据存储方式设置为在线储存,同时将在线储存迁移对象的数据存储设备进行设定,即在线储存的存储设备的性能需求为:存储设备接收访问的间隔时长以及平均传输速度均满足在线储存的迁移对象需求;若迁移对象的访问最短需求间隔时长超过时长阈值,或者迁移对象的访问平均需求速度未超过需求速度阈值,则判定迁移对象的数据存储方式设置为非在线储存;
采集到迁移对象的被访问频率以及迁移对象平均访问数据量,并将其分别与访问频率阈值和访问数据量阈值进行比较:
若迁移对象的被访问频率未超过访问频率阈值,且迁移对象平均访问数据量未超过访问数据量阈值,则将对应迁移对象的储存方式设置为近线储存,即近线储存的存储设备性能需求为:对应寻址速度超过对应寻址速度阈值,且传输率超过对应传输率阈值;若迁移对象的被访问频率超过访问频率阈值,或者迁移对象平均访问数据量超过访问数据量阈值,则将对应迁移对象的储存方式设置为非近线储存;
采集到迁移对象对应授予访问权限用户的数量以及迁移对象出现数据丢失后预计修复时长,并将其分别与用户数量阈值和修复时长阈值进行比较:
若迁移对象对应授予访问权限用户的数量超过用户数量阈值,或者迁移对象出现数据丢失后预计修复时长未超过修复时长阈值,则将对应迁移对象的储存方式设置为离线储存,即在互联网离线状态下进行迁移对象数据备份;离线储存的存储设备性能需求为:存储设备的数据传输速度不超过对应数据传输速度阈值,且平均单次数据传输量为固定值;若迁移对象对应授予访问权限用户的数量未超过用户数量阈值,且迁移对象出现数据丢失后预计修复时长超过修复时长阈值,则将对应迁移对象的储存方式设置为非离线储存。
3.根据权利要求1所述的一种基于互联网接入服务的数据迁移管理系统,其特征在于,存储设备分析单元的运行过程如下:
将存储设备设置标号i,i为大于1的自然数,采集到迁移对象存储过程中存储设备的最大数据存储量差值以及存储设备进行数据存储的最大频率差值,并将其分别标记为CLCi和PCZi;采集到迁移对象存储过程中投入使用的存储设备对应利用率,并将其标记为LYLi;
通过分析获取到迁移对象存储过程中存储设备的分析系数Xi,将迁移对象存储过程中存储设备的分析系数Xi与分析系数阈值进行比较:
若迁移对象存储过程中存储设备的分析系数Xi超过分析系数阈值,则判定对应存储设备分析合格,生成设备使用分析合格信号并将设备使用分析合格信号发送至服务器;若迁移对象存储过程中存储设备的分析系数Xi未超过分析系数阈值,则判定对应存储设备分析不合格,生成设备使用分析不合格信号并将设备使用分析不合格信号发送至服务器。
4.根据权利要求1所述的一种基于互联网接入服务的数据迁移管理系统,其特征在于,稳定性分析单元的运行过程如下:
采集到数据迁移过程中迁移对象被访问的缓冲时间对应延迟值以及迁移对象进行数据传输时对应传输速率的浮动值,并将其分别标记为缓冲时间延迟值和传输速率浮动值,将缓冲时间延迟值和传输速率浮动值分别与延迟值阈值和浮动值阈值进行比较:
若缓冲时间延迟值超过延迟值阈值,或者传输速率浮动值超过浮动值阈值,则判定对应数据迁移稳定性分析不合格,生成稳定性异常信号并将稳定性异常信号发送至服务器;若缓冲时间延迟值未超过延迟值阈值,且传输速率浮动值未超过浮动值阈值,则判定对应数据迁移稳定性分析合格,生成稳定性正常信号并将稳定性正常信号发送至服务器。
5.根据权利要求1所述的一种基于互联网接入服务的数据迁移管理系统,其特征在于,迁移效率分析单元的运行过程如下:
在迁移对象完成数据迁移的时刻为时间起点,根据系统当前时刻点构建效率分析时间段,采集到效率分析时间段内迁移对象数据查询平均耗时以及迁移对象数据缺失的次数,并将其分别与平均耗时阈值和缺失次数阈值进行比较:
若效率分析时间段内迁移对象数据查询平均耗时超过平均耗时阈值,或者迁移对象数据缺失的次数超过缺失次数阈值,则判定迁移对象的数据迁移不合格,生成效率分析异常信号并将效率分析异常信号发送至服务器;
若效率分析时间段内迁移对象数据查询平均耗时未超过平均耗时阈值,且迁移对象数据缺失的次数未超过缺失次数阈值,则判定迁移对象的数据迁移合格,生成效率分析正常信号并将效率分析正常信号发送至服务器。
CN202210551630.2A 2022-05-18 2022-05-18 一种基于互联网接入服务的数据迁移管理系统 Pending CN115203161A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210551630.2A CN115203161A (zh) 2022-05-18 2022-05-18 一种基于互联网接入服务的数据迁移管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210551630.2A CN115203161A (zh) 2022-05-18 2022-05-18 一种基于互联网接入服务的数据迁移管理系统

Publications (1)

Publication Number Publication Date
CN115203161A true CN115203161A (zh) 2022-10-18

Family

ID=83574556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210551630.2A Pending CN115203161A (zh) 2022-05-18 2022-05-18 一种基于互联网接入服务的数据迁移管理系统

Country Status (1)

Country Link
CN (1) CN115203161A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115357518A (zh) * 2022-10-20 2022-11-18 深圳市国佳高鑫科技有限公司 基于云服务实现软件服务的方法、客户端及云服务器
CN115774845A (zh) * 2022-12-08 2023-03-10 德州易泰数据湖信息技术有限公司 一种互联网数据对比系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115357518A (zh) * 2022-10-20 2022-11-18 深圳市国佳高鑫科技有限公司 基于云服务实现软件服务的方法、客户端及云服务器
CN115774845A (zh) * 2022-12-08 2023-03-10 德州易泰数据湖信息技术有限公司 一种互联网数据对比系统

Similar Documents

Publication Publication Date Title
CN115203161A (zh) 一种基于互联网接入服务的数据迁移管理系统
CN113452145B (zh) 一种低压台区用户的用电情况监测方法及系统
US8880477B2 (en) Latency-aware live migration for multitenant database platforms
US9021200B1 (en) Data storage system with predictive management of physical storage use by virtual disks
CN104462432B (zh) 自适应的分布式计算方法
US20100049934A1 (en) Storage management apparatus, a storage management method and a storage management program
EP2026184B1 (en) Device, method, and program for selecting data storage destination from a plurality of tape recording devices
CN110289994B (zh) 一种集群容量调整方法及装置
CN112085535A (zh) 资源计量计费方法、装置、集群及存储介质
CN115016891A (zh) 热迁移结果预测方法、热迁移方法、电子设备及存储介质
CN110620674B (zh) 一种监控系统的配置方法及计算机设备
CN105183627A (zh) 一种服务器性能预测的方法及系统
US8914417B2 (en) Apparatus, system, and method for maintaining a context stack
CN117370138A (zh) 大容量分布式存储系统
EP2169574B1 (en) A system and method for calculating fees
CN111190790A (zh) 一种基于峰值预测的云计算集群监控方法及系统
CN114912083A (zh) 一种面向对象的软件开发过程的数据管理系统
CN116069618A (zh) 一种面向应用场景的国产化系统评估方法
CN115455045A (zh) 一种数据库查询请求的控制方法及装置、电子设备
US11507427B2 (en) Application program management method and apparatus
CN111399622B (zh) 一种服务器功耗控制方法、系统、电子设备及存储介质
CN108011785A (zh) 一种基于云政务自助终端开机率计算方法
CN114205232A (zh) 一种可自动扩容的接口服务平台
CN117891619B (zh) 基于虚拟化平台的主机资源同步方法及系统
CN102255755B (zh) 一种接入网交换机端口利用率的统计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination