CN114691698B - 一种计算机系统的数据处理系统及方法 - Google Patents

一种计算机系统的数据处理系统及方法 Download PDF

Info

Publication number
CN114691698B
CN114691698B CN202210433038.2A CN202210433038A CN114691698B CN 114691698 B CN114691698 B CN 114691698B CN 202210433038 A CN202210433038 A CN 202210433038A CN 114691698 B CN114691698 B CN 114691698B
Authority
CN
China
Prior art keywords
data
processing
storage
estimation
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210433038.2A
Other languages
English (en)
Other versions
CN114691698A (zh
Inventor
邹水龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanxi Zhonghui Shuzhi Technology Co ltd
Original Assignee
Shanxi Zhonghui Shuzhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanxi Zhonghui Shuzhi Technology Co ltd filed Critical Shanxi Zhonghui Shuzhi Technology Co ltd
Priority to CN202210433038.2A priority Critical patent/CN114691698B/zh
Publication of CN114691698A publication Critical patent/CN114691698A/zh
Application granted granted Critical
Publication of CN114691698B publication Critical patent/CN114691698B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种计算机系统的数据处理系统,属于数据处理技术领域,分别对不同的存储区域和数据包进行数据采集和处理训练得到对应的存估系数和请估系数,基于存估系数和请估系数对不同的存储区域和数据包进行整体评估;通过分总的结构来对不同的存储区域和数据包进行分析以及综合评估,有效提高了存储区域和数据包分析的准确性和多样性;本发明还公开了一种计算机系统的数据处理方法,本发明可以解决现有方案中没有对计算机系统中不同的存储区域和请求处理的数据包进行预处理和分类,并自适应的动态调整存储区域的处理对象,导致不同存储区域和数据包的整体处理效果不佳的技术问题。

Description

一种计算机系统的数据处理系统及方法
技术领域
本发明涉及大数据技术领域,更具体地说,它涉及一种计算机系统的数据处理系统及方法。
背景技术
计算机系统指用于数据库管理的计算机硬软件及网络系统。数据库系统需要大容量的主存以存放和运行操作系统、数据库管理系统程序、应用程序以及数据库、目录、系统缓冲区等,而辅存则需要大容量的直接存取设备。此外,系统应具有较强的网络功能。
现有的计算机系统的数据处理方案存在一定的缺陷:对请求处理的数据包没有进行预处理和分类,进而使得不同请求状态的请求包动态分配给对应处理状态的存储区域,并且也没有根据不同存储区域的外界因素与自身因素进一步进行评估和调整,使得不同存储区域和数据包的整体处理效果不佳。
发明内容
针对现有技术存在的不足,本发明的目的在于提供一种计算机系统的数据处理系统及方法,用于解决现有方案中没有对计算机系统中不同的存储区域和请求处理的数据包进行预处理和分类,并自适应的动态调整存储区域的处理对象,导致不同存储区域和数据包的整体处理效果不佳的技术问题。
本发明的目的可以通过以下技术方案实现:
一种计算机系统的数据处理系统,包括内部数据处理模块、外部数据处理模块和评估调控模块;
内部数据处理模块包含存储采集单元、存储处理单元和存储分析单元;
存储采集单元用于采集计算机系统内不同存储区域的存储信息集;存储信息包含介质数据、已存数据和未存数据;
存储处理单元用于对存储信息集中的介质数据、已存数据和未存数据进行数值化处理并标记,得到包含介质处理数据、已存处理数据和未存处理数据的存储处理集;
存储分析单元用于根据存储处理集获取各个存储区域对应的存估系数,根据存估系数对各个存储区域的存储状态进行匹配评估得到存储分析集;
外部数据处理模块包含运行采集单元、运行处理单元和运行分析单元;
运行采集单元用于采集外部请求处理动作的数据包的数据信息集;数据信息集包含发送数据、类型数据和占用数据;
运行处理单元用于对数据信息集中的发送数据、类型数据和占用数据进行数值字化处理并标记,得到包含发送处理数据、类型处理数据和占用处理数据的数据处理集;
运行分析单元用于根据数据处理集获取各个外部请求处理动作对应的请估系数,根据请估系数对各个外部请求处理动作的请求状态进行匹配评估得到请求分析集;
评估调控模块用于将存储分析集和请求分析集联立动态分配不同外部请求处理动作至不同的存储区域,并对不同存储区域的处理行为进行追踪和调整。
优选地,获取存储处理集的具体步骤包括:
获取存储信息集中的介质数据、已存数据和未存数据;
提取介质数据的存储类型和最大存储速率,将存储类型与预设的存储类型表进行匹配获取对应的存储关联值并标记为CGi,i=1,2,3,...,n;n为正整数,表示为总的数量;其中,存储类型表由若干个不同的存储类型及其对应的存储关联值构成,不同的存储类型预先设置一个不同的存储关联值;
提取最大存储速率的数值并标记为CSi;标记的若干个存储关联值与最大存储速率按时间顺序排列组合得到介质处理数据;
提取已存数据中已存占存的数值并标记为YCi;提取已存数据中预设的监测时间内的已存次数并标记为CCi;标记的若干个已存占存与已存次数按时间顺序排列组合得到已存处理数据;
提取未存数据中的未存占存的数值并标记为WCi;标记的若干个未存占存按时间顺序排列组合得到未存处理数据;
介质处理数据、已存处理数据和未存处理数据按时间顺序排列得到存储处理集。
优选地,获取存储分析集的具体步骤包括:
在预设的监测时间内,将存储处理集中的介质处理数据、已存处理数据和未存处理数据输入至数据处理模型中通过存储评估函数进行训练获取存估系数CGXi;该存储评估函数为CGXi=CGi×[a1×CSi+a2×WCi/(YCi+0.2847)];a1和a2均为不同的比例因子且均大于零,取值范围均为(0,4);
将存估系数与预设的存估阈值进行匹配;
若存估系数小于存估阈值,则判定对应存储区域的存储状态不佳并生成第一存估信号;根据第一存估信号将对应存储区域设定为第一标记区域;
若存估系数不小于存估阈值且不大于存估阈值的p%,则判定对应存储区域的存储状态中等并生成第二存估信号;根据第二存估信号将对应存储区域设定为第二标记区域;p为大于零的实数;第二标记区域的优先级高于第一标记区域的优先级;
若存估系数大于存估阈值的p%,则判定对应存储区域的存储优秀不佳并生成第三存估信号;根据第三存估信号将对应存储区域设定为第三标记区域;第三标记区域的优先级高于第二标记区域的优先级;
存估系数、第一存估信号与第一标记区域、第二存估信号与第二标记区域、第三存估信号与第三标记区域构成存储分析集。
优选地,获取数据处理集的具体步骤包括:
获取数据信息集中的发送数据、类型数据和占用数据;
获取发送数据中的地址IP,根据地址IP获取与所有存储区域之间的距离并取值标记为SJi;
标记的若干个距离按时间顺序排列组合得到发送处理数据;
获取类型数据中的数据包类型,将数据包类型与预设的数据包关联表进行匹配获取对应的类型关联值并标记为LGi;其中,类型关联表包含若干个不同的数据包类型及其对应的类型关联值,不同的数据包类型预先设定一个对应的类型关联值;
标记的若干个类型关联值按时间顺序排列组合得到类型处理数据;
提取占用数据中占用内存的数值并标记为ZNi;标记的若干个占用内存按时间顺序排列组合得到占用处理数据;
发送处理数据、类型处理数据和占用处理数据按时间顺序排列得到数据处理集。
优选地,获取请求分析集的具体步骤包括:
在预设的监测时间内,将数据处理集中的发送处理数据、类型处理数据和占用处理数据输入至数据处理模型中通过请求评估函数进行训练获取请估系数QGXi;请求评估函数为QGXi=(b1×SJi+b2×LGi+b3×ZNi)/(1/b1+1/b2+1/b3+0.9728);b1、b2和b3均为不同的比例因子且均大于零,取值范围均为(0,10);
将请估系数与预设的请估阈值进行匹配;
若请估系数小于请估阈值,则判定请求处理动作对应的数据包的请求状态优秀并生成第一请估信号;根据第一请估信号将对应数据包设定为第一标记数据包;
若请估系数不小于请估阈值且不大于请估阈值的q%,则判定请求处理动作对应的数据包的请求状态一般并生成第二请估信号;根据第二请估信号将对应数据包设定为第二标记数据包;q为大于零的实数;第二标记数据包的优先级高于第一标记标记数据包的优先级;
若请估系数大于存估阈值的q%,则判定请求处理动作对应的数据包的请求状态不佳并生成第三请估信号;根据第三请估信号将对应数据包设定为第三标记数据包;第三标记数据包的优先级高于第二标记数据包的优先级;
请估系数、第一请估信号与第一标记数据包、第二请估信号与第二标记数据包、第三请估信号与第三标记数据包构成请求分析集。
优选地,动态分配不同外部请求处理动作至不同的存储区域的具体步骤包括:
获取存储分析集中的若干个标记区域对应的存估系数以及请求分析集中与标记区域相匹配的若干个请估系数,通过数据处理模型中的匹配评估函数对存估系数和请估系数进行训练获取匹配值PPi=α×QGXi/CGXi;α为补偿系数;
将大于匹配阈值的匹配值对应的标记区域设定为标记数据包的待选区域,将若干个待选区域进行降序排列,得到待选区域集;
将待选区域集中排首位的待选区域分配给对应的数据包进行处理和存储,并将处理的次数加一;
将不大于匹配阈值的匹配值对应的标记区域设定为标记数据包的弃选区域,将若干个弃选区域进行降序排列,得到弃选区域集;待选区域集与弃选区域集构成评估处理结果。
优选地,补偿系数获取的具体步骤包括:
获取存储区域的实时温度、实时湿度以及单位时间内的数据处理总量和数据处理总次数;其中,数据处理总量的单位为TB;数据处理总次数的单位为万次;
分别提取实时温度和实时湿度的数值并标记为SWi和SSi;
分别提取单位时间内的数据处理总量和数据处理总次数的数值并标记为CLi和CCi;
对标记的各项数据进行归一化处理并取值,通过补偿公式α=(c1×SWi+c2×SSi)×(c3×CLi+c4×CCi)计算获取不同存储区域的补偿系数α;其中,c1、c2、c3和c4均为不同的比例因子且均大于零,0<c3<c4<1<c2<c1。
一种计算机系统的数据处理方法,包括:
分别获取计算机系统内不同存储区域的存储信息集以及外部请求处理动作的数据包的数据信息集;
对存储信息集中的介质数据、已存数据和未存数据进行数值化处理并标记,得到包含介质处理数据、已存处理数据和未存处理数据的存储处理集;
根据存储处理集获取各个存储区域对应的存估系数,根据存估系数对各个存储区域的存储状态进行匹配评估得到存储分析集;
对数据信息集中的发送数据、类型数据和占用数据进行数值字化处理并标记,得到包含发送处理数据、类型处理数据和占用处理数据的数据处理集;
根据数据处理集获取各个外部请求处理动作对应的请估系数,根据请估系数对各个外部请求处理动作的请求状态进行匹配评估得到请求分析集;
将存储分析集和请求分析集联立动态分配不同外部请求处理动作至不同的存储区域,并对不同存储区域的处理行为进行追踪和调整。
与现有方案相比,本发明的有益效果:
本发明公开的一方面,分别对不同的存储区域和数据包进行数据采集和处理训练得到对应的存估系数和请估系数,基于存估系数和请估系数对不同的存储区域和数据包进行整体评估;通过分总的结构来对不同的存储区域和数据包进行分析以及综合评估,有效提高了存储区域和数据包分析的准确性和多样性。
本发明公开的另一方面,通过将不同请求状态的数据包动态分配给对应存储状态的存储区域,并将存储区域的外界因素与自身处理因素相结合,进一步对存储区域进行划分和筛选,提高了数据处理的深度和广度,实现了对数据处理的动态追踪和更新。
附图说明
图1为本发明一种计算机系统的数据处理系统的模块框图。
图2为本发明一种计算机系统的数据处理方法的流程框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
参照图1所示,本发明为一种计算机系统的数据处理系统,包括内部数据处理模块、外部数据处理模块和评估调控模块;
内部数据处理模块包含存储采集单元、存储处理单元和存储分析单元;
存储采集单元用于采集计算机系统内不同存储区域的存储信息集;存储信息包含介质数据、已存数据和未存数据;
存储处理单元用于对存储信息集中的介质数据、已存数据和未存数据进行数值化处理并标记,得到包含介质处理数据、已存处理数据和未存处理数据的存储处理集;具体的步骤包括:
获取存储信息集中的介质数据、已存数据和未存数据;
提取介质数据的存储类型和最大存储速率,将存储类型与预设的存储类型表进行匹配获取对应的存储关联值并标记为CGi,i=1,2,3,...,n;n为正整数,表示为总的数量;
其中,存储类型表由若干个不同的存储类型及其对应的存储关联值构成,不同的存储类型预先设置一个不同的存储关联值;存储介质是存储数据的载体;大规模存储系统中主要以SATA硬盘为主、SSD硬盘为辅以及云空间存储;本发明实施例中,存储类型包括但不限于SATA硬盘、SSD硬盘和云空间;
提取最大存储速率的数值并标记为CSi;标记的若干个存储关联值与最大存储速率按时间顺序排列组合得到介质处理数据;
提取已存数据中已存占存的数值并标记为YCi;提取已存数据中预设的监测时间内的已存次数并标记为CCi;标记的若干个已存占存与已存次数按时间顺序排列组合得到已存处理数据;
提取未存数据中的未存占存的数值并标记为WCi;标记的若干个未存占存按时间顺序排列组合得到未存处理数据;
介质处理数据、已存处理数据和未存处理数据按时间顺序排列得到存储处理集。
需要说明的是,对存储信息集中的各项数据进行数值化处理的目的是使得各项数据标准化和规范化,便于将各项数据进行联立来对不同的存储区域进行整体评估。
存储分析单元用于根据存储处理集获取各个存储区域对应的存估系数,包括:
在预设的监测时间内,监测时间可以为一天,将存储处理集中的介质处理数据、已存处理数据和未存处理数据输入至数据处理模型中通过存储评估函数进行训练获取存估系数CGXi;
该存储评估函数为CGXi=CGi×[a1×CSi+a2×WCi/(YCi+0.2847)];a1和a2均为不同的比例因子且均大于零,a1可以取值为1.2754,a2可以取值为3.6843;
这里需要解释的是,存估系数是将不同存储区域的各项数据进行联立来对其存储状态进行整体评估的数值;通过每天从存储介质类型方面、存储速率方面以及存储空间方面来对存储区域进行整体评估,以便将后续评估的数据包进行动态匹配和存储,从而提高不同存储状态的存储区域的整体存储效果;区别于现有方案中的无差别存储方案以及根据数据包等级进行存储的方案,本发明实施例可以使得不同的存储区域均能进行高效的处理和存储。
根据存估系数对各个存储区域的存储状态进行匹配评估得到存储分析集;包括:
将存估系数与预设的存估阈值进行匹配;
若存估系数小于存估阈值,则判定对应存储区域的存储状态不佳并生成第一存估信号;根据第一存估信号将对应存储区域设定为第一标记区域;
这里需要解释的是,存储状态不佳可以理解为该存储区域的数据处理效果差,以及该存储区域的已存占存大于未存占存;因此该存储区域可以存储数据处理效率要求低以及数据占用内存小的数据包,对于数据处理效率要求高以及数据占用内存大的数据包则不适合进行处理;
若存估系数不小于存估阈值且不大于存估阈值的p%,则判定对应存储区域的存储状态中等并生成第二存估信号;根据第二存估信号将对应存储区域设定为第二标记区域;p为大于零的实数,可以取值为140;第二标记区域的优先级高于第一标记区域的优先级;
若存估系数大于存估阈值的p%,则判定对应存储区域的存储优秀不佳并生成第三存估信号;根据第三存估信号将对应存储区域设定为第三标记区域;第三标记区域的优先级高于第二标记区域的优先级;
存估系数、第一存估信号与第一标记区域、第二存估信号与第二标记区域、第三存估信号与第三标记区域构成存储分析集。
需要说明的是,基于存估系数对不同的存储区域进行评估和标记,以便将后续不同请求状态的数据包处理分配至对应状态的存储区域,从而可以提高不同存储区域的存储效果,同时还可以提高不同请求状态数据包的处理效果。
外部数据处理模块包含运行采集单元、运行处理单元和运行分析单元;
运行采集单元用于采集外部请求处理动作的数据包的数据信息集;数据信息集包含发送数据、类型数据和占用数据;
运行处理单元用于对数据信息集中的发送数据、类型数据和占用数据进行数值字化处理并标记,得到包含发送处理数据、类型处理数据和占用处理数据的数据处理集;具体的步骤包括:
获取数据信息集中的发送数据、类型数据和占用数据;
获取发送数据中的地址IP,根据地址IP获取与所有存储区域之间的距离并取值标记为SJi;
标记的若干个距离按时间顺序排列组合得到发送处理数据;
获取类型数据中的数据包类型,将数据包类型与预设的数据包关联表进行匹配获取对应的类型关联值并标记为LGi;
其中,类型关联表包含若干个不同的数据包类型及其对应的类型关联值,不同的数据包类型预先设定一个对应的类型关联值;数据包类型包括但不限于文本数据、图像数据、视频数据以及同时包含各类数据的混合数据;
标记的若干个类型关联值按时间顺序排列组合得到类型处理数据;
提取占用数据中占用内存的数值并标记为ZNi;标记的若干个占用内存按时间顺序排列组合得到占用处理数据;
发送处理数据、类型处理数据和占用处理数据按时间顺序排列得到数据处理集。
需要说明的是,对数据信息集中的各项数据进行数值化处理和标记的目的是对外部请求处理动作的数据包的各方面进行联立来对其整体的请求状态进行评估,从而可以根据不同请求状态的数据包动态分配对应到的存储区域进行处理和存储。
运行分析单元用于根据数据处理集获取各个外部请求处理动作对应的请估系数,在预设的监测时间内,将数据处理集中的发送处理数据、类型处理数据和占用处理数据输入至数据处理模型中通过请求评估函数进行训练获取请估系数QGXi;请求评估函数为QGXi=(b1×SJi+b2×LGi+b3×ZNi)/(1/b1+1/b2+1/b3+0.9728);b1、b2和b3均为不同的比例因子且均大于零,b1可以取值为3.7346,b2可以取值为2.4954,b3可以取值为1.2963;
这里需要解释的是,请估系数是用于将外部请求处理动作的数据包的各方面数据进行联立来对其整体请求状态进行评估的数值,数据包与不同存储区域之间的距离、数据包类型和占用内存均会影响到存储区域的处理效果,因此对数据包的请求状态进行评估以便将其发生至对应级别的存储区域进行处理来提高处理效果。
根据请估系数对各个外部请求处理动作的请求状态进行匹配评估得到请求分析集;包括:
将请估系数与预设的请估阈值进行匹配;
若请估系数小于请估阈值,则判定请求处理动作对应的数据包的请求状态优秀并生成第一请估信号;根据第一请估信号将对应数据包设定为第一标记数据包;
其中,这里的数据包的请求状态优秀表示对应数据包的处理过程相对简单,对存储区域的处理效率的要求低,与第一标记区域相对应;同理,后续中的第二标记数据包与第二标记区域相对应;第三标记数据包与第三标记区域相对应;
若请估系数不小于请估阈值且不大于请估阈值的q%,则判定请求处理动作对应的数据包的请求状态一般并生成第二请估信号;根据第二请估信号将对应数据包设定为第二标记数据包;q为大于零的实数,可以取值为130;第二标记数据包的优先级高于第一标记标记数据包的优先级;
若请估系数大于存估阈值的q%,则判定请求处理动作对应的数据包的请求状态不佳并生成第三请估信号;根据第三请估信号将对应数据包设定为第三标记数据包;第三标记数据包的优先级高于第二标记数据包的优先级;
请估系数、第一请估信号与第一标记数据包、第二请估信号与第二标记数据包、第三请估信号与第三标记数据包构成请求分析集。
需要说明的是,本发明实施例前期通过对不同的存储区域以及不同的数据包分别进行处理和评估分级,实现了对不同存储区域以及不同的数据包的模块化处理,基于分-总的模式以便将不同级别的存储区域与对应的数据包相匹配和处理,从而提高不同的存储区域的整体存储效果以及不同的数据包的处理效果。
评估调控模块用于将存储分析集和请求分析集联立动态分配不同外部请求处理动作至不同的存储区域,并对不同存储区域的处理行为进行追踪和调整;具体的步骤包括:
获取存储分析集中的若干个标记区域对应的存估系数以及请求分析集中与标记区域相匹配的若干个请估系数,通过数据处理模型中的匹配评估函数对存估系数和请估系数进行训练获取匹配值PPi=α×QGXi/CGXi;α为补偿系数;
这里需要解释的是,匹配值是将不同存储状态的存储区域与不同请求状态的数据包结合实时的运行环境因素来进行整体评估的数值;本发明实施例中,对应优先级的存储区域匹配和处理对应优先级的数据包,然后在同一优先级的存储区域处理对应的数据包时可以进一步进行优化和分析,由于存储区域在处理对应优先级的数据包时会受到外界环境的影响以及自身处理的影响,本发明实施例基于补偿系数进一步对同一优先级的存储区域的数据处理进行优化;并且本发明实施例中的公式均是去除量纲取其数值计算,通过采集大量数据进行软件模拟和训练得到最接近真实情况的一个公式,公式中的预设比例因子以及阈值由本领域的技术人员根据实际情况设定或者通过大量数据模拟获取。
其中,补偿系数获取的具体步骤包括:
获取存储区域的实时温度、实时湿度以及单位时间内的数据处理总量和数据处理总次数;其中,数据处理总量的单位为TB;数据处理总次数的单位为万次;
分别提取实时温度和实时湿度的数值并标记为SWi和SSi;
分别提取单位时间内的数据处理总量和数据处理总次数的数值并标记为CLi和CCi;
对标记的各项数据进行归一化处理并取值,通过补偿公式α=(c1×SWi+c2×SSi)×(c3×CLi+c4×CCi)计算获取不同存储区域的补偿系数α;其中,c1、c2、c3和c4均为不同的比例因子且均大于零,0<c3<c4<1<c2<c1,c1可以取值为4.1852,c2可以取值为2.6387,c3可以取值为0.0374,c4可以取值为0.0647;
这里需要说明的是,补偿系数是将存储区域处理数据包时的外部数据与自身处理数据相结合来对其实时处理状态进行整体评估的数值;基于补偿系数可以为不同优先级存储区域对应的数据包进行二次评估和细化分配,从而提高相同优先级中不同存储区域与对应数据包的整体处理效果。
将大于匹配阈值的匹配值对应的标记区域设定为标记数据包的待选区域,将若干个待选区域进行降序排列,得到待选区域集;
将待选区域集中排首位的待选区域分配给对应的数据包进行处理和存储,并将处理的次数加一;
将不大于匹配阈值的匹配值对应的标记区域设定为标记数据包的弃选区域,将若干个弃选区域进行降序排列,得到弃选区域集;待选区域集与弃选区域集构成评估处理结果。
本发明实施例中,对匹配值进行分析获取待选区域的目的是对不同存储区域的处理行为进行追踪和调整,使得被分配给对应优先级的数据包可以获取到处理效果优异的存储区域进行处理,从而提高不同数据包的整体处理效果。
参照图2所示,本发明为一种计算机系统的数据处理方法,具体的步骤包括:
步骤一:分别获取计算机系统内不同存储区域的存储信息集以及外部请求处理动作的数据包的数据信息集;
步骤二:对存储信息集中的介质数据、已存数据和未存数据进行数值化处理并标记,得到包含介质处理数据、已存处理数据和未存处理数据的存储处理集;
步骤三:根据存储处理集获取各个存储区域对应的存估系数,根据存估系数对各个存储区域的存储状态进行匹配评估得到存储分析集;
步骤四:对数据信息集中的发送数据、类型数据和占用数据进行数值字化处理并标记,得到包含发送处理数据、类型处理数据和占用处理数据的数据处理集;
步骤五:根据数据处理集获取各个外部请求处理动作对应的请估系数,根据请估系数对各个外部请求处理动作的请求状态进行匹配评估得到请求分析集;
步骤六:将存储分析集和请求分析集联立动态分配不同外部请求处理动作至不同的存储区域,并对不同存储区域的处理行为进行追踪和调整。
以上所述仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种计算机系统的数据处理系统,包括内部数据处理模块、外部数据处理模块和评估调控模块,其特征在于;
内部数据处理模块:采集计算机系统内不同存储区域的存储信息集;对存储信息集中的介质数据、已存数据和未存数据进行数值化处理并标记,得到包含介质处理数据、已存处理数据和未存处理数据的存储处理集;
根据存储处理集获取各个存储区域对应的存估系数,存估系数是将不同存储区域的各项数据进行联立来对其存储状态进行整体评估的数值;根据存估系数对各个存储区域的存储状态进行匹配评估得到存储分析集;
外部数据处理模块:采集外部请求处理动作的数据包的数据信息集;对数据信息集中的发送数据、类型数据和占用数据进行数值化处理并标记,得到包含发送处理数据、类型处理数据和占用处理数据的数据处理集;
根据数据处理集获取各个外部请求处理动作对应的请估系数,请估系数是用于将外部请求处理动作的数据包的各方面数据进行联立来对其整体请求状态进行评估的数值;根据请估系数对各个外部请求处理动作的请求状态进行匹配评估得到请求分析集;
评估调控模块:将存储分析集和请求分析集联立动态分配不同外部请求处理动作至不同的存储区域,并对不同存储区域的处理行为进行追踪和调整。
2.根据权利要求1所述的一种计算机系统的数据处理系统,其特征在于,获取存储处理集的具体步骤包括:
获取存储信息集中的介质数据、已存数据和未存数据;
获取介质数据中的存储类型及其对应的存储关联值至并标记;提取介质数据中的最大存储速率的数值并标记;
分别提取已存数据中的已存占存和预设的监测时间内的已存次数的数值并标记;提取未存数据中的未存占存的数值并标记;标记的各项数据按时间顺序排列得到存储处理集。
3.根据权利要求1所述的一种计算机系统的数据处理系统,其特征在于,获取存储分析集的具体步骤包括:
在预设的监测时间内,将存储处理集中标记的各项数据输入至数据处理模型中进行训练获取存估系数;将存估系数与预设的存估阈值进行匹配得到包含第一存估信号与第一标记区域、第二存估信号与第二标记区域、第三存估信号与第三标记区域的存储分析集。
4.根据权利要求1所述的一种计算机系统的数据处理系统,其特征在于,获取数据处理集的具体步骤包括:
获取数据信息集中的发送数据、类型数据和占用数据;获取发送数据中地址IP与所有存储区域之间的距离并取值标记;获取类型数据中的数据包类型及其对应的类型关联值并标记;提取占用数据中占用内存的数值并标记;标记的各项数据按时间顺序排列得到数据处理集。
5.根据权利要求1所述的一种计算机系统的数据处理系统,其特征在于,获取请求分析集的具体步骤包括:
在预设的监测时间内,将数据处理集中标记的各项数据输入至数据处理模型中进行训练获取请估系数;将请估系数与预设的请估阈值进行匹配得到包含第一请估信号与第一标记数据包、第二请估信号与第二标记数据包、第三请估信号与第三标记数据包的请求分析集。
6.根据权利要求1所述的一种计算机系统的数据处理系统,其特征在于,动态分配不同外部请求处理动作至不同的存储区域的具体步骤包括:
获取存储分析集中的若干个标记区域对应的存估系数以及请求分析集中与标记区域相匹配的若干个请估系数,通过数据处理模型训练获取匹配值;对匹配值进行分析得到评估处理结果。
7.根据权利要求6所述的一种计算机系统的数据处理系统,其特征在于,补偿系数获取的具体步骤包括:
获取存储区域的实时温度、实时湿度以及单位时间内的数据处理总量和数据处理总次数;分别提取实时温度和实时湿度的数值并标记;分别提取单位时间内的数据处理总量和数据处理总次数的数值并标记;对标记的各项数据进行归一化处理并取值联立训练获取不同存储区域的补偿系数。
8.根据权利要求6所述的一种计算机系统的数据处理系统,其特征在于,对匹配值进行分析得到评估处理结果的具体步骤包括:
将大于匹配阈值的匹配值对应的标记区域设定为标记数据包的待选区域,将若干个待选区域进行降序排列,得到待选区域集;将待选区域集中排首位的待选区域分配给对应的数据包进行处理和存储,并将处理的次数加一;
将不大于匹配阈值的匹配值对应的标记区域设定为标记数据包的弃选区域,将若干个弃选区域进行降序排列,得到弃选区域集;待选区域集与弃选区域集构成评估处理结果。
9.一种计算机系统的数据处理方法,应用于如权利要求1-8任一项所述的一种计算机系统的数据处理系统,其特征在于,包括:
分别获取计算机系统内不同存储区域的存储信息集以及外部请求处理动作的数据包的数据信息集;
对存储信息集中的介质数据、已存数据和未存数据进行数值化处理并标记,得到包含介质处理数据、已存处理数据和未存处理数据的存储处理集;
根据存储处理集获取各个存储区域对应的存估系数,根据存估系数对各个存储区域的存储状态进行匹配评估得到存储分析集;
对数据信息集中的发送数据、类型数据和占用数据进行数值化处理并标记,得到包含发送处理数据、类型处理数据和占用处理数据的数据处理集;
根据数据处理集获取各个外部请求处理动作对应的请估系数,根据请估系数对各个外部请求处理动作的请求状态进行匹配评估得到请求分析集;
将存储分析集和请求分析集联立动态分配不同外部请求处理动作至不同的存储区域,并对不同存储区域的处理行为进行追踪和调整。
CN202210433038.2A 2022-04-24 2022-04-24 一种计算机系统的数据处理系统及方法 Active CN114691698B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210433038.2A CN114691698B (zh) 2022-04-24 2022-04-24 一种计算机系统的数据处理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210433038.2A CN114691698B (zh) 2022-04-24 2022-04-24 一种计算机系统的数据处理系统及方法

Publications (2)

Publication Number Publication Date
CN114691698A CN114691698A (zh) 2022-07-01
CN114691698B true CN114691698B (zh) 2022-11-08

Family

ID=82145377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210433038.2A Active CN114691698B (zh) 2022-04-24 2022-04-24 一种计算机系统的数据处理系统及方法

Country Status (1)

Country Link
CN (1) CN114691698B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116707934B (zh) * 2023-06-20 2023-10-24 甘肃省地震局(中国地震局兰州地震研究所) 一种基于无线传感网络的数据加密传送方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2342214B (en) * 1998-09-28 2003-02-26 Dascom Software Dev Services L A tape system storage and retrieval process
EP1798934A1 (en) * 2005-12-13 2007-06-20 Deutsche Thomson-Brandt Gmbh Method and apparatus for organizing nodes in a network
US7523271B2 (en) * 2006-01-03 2009-04-21 International Business Machines Corporation Apparatus, system, and method for regulating the number of write requests in a fixed-size cache
CN101501623B (zh) * 2006-05-03 2013-03-06 数据机器人技术公司 感知文件系统的块存储系统、装置和方法
US8291131B2 (en) * 2009-07-06 2012-10-16 Micron Technology, Inc. Data transfer management
WO2016202393A1 (en) * 2015-06-18 2016-12-22 Huawei Technologies Co., Ltd. Systems and methods for directory based cache coherence
US10031681B2 (en) * 2016-07-11 2018-07-24 International Business Machines Corporation Validating virtual host bus adapter fabric zoning in a storage area network
US20180203839A1 (en) * 2017-01-13 2018-07-19 Microsoft Technology Licensing, Llc Fast page loading in hybrid applications
CN108667874A (zh) * 2017-03-31 2018-10-16 微软技术许可有限责任公司 使用高速缓存和采样的有效云服务实例
JP6668309B2 (ja) * 2017-11-30 2020-03-18 株式会社日立製作所 記憶システム及びその制御方法
CN110209350B (zh) * 2019-05-10 2020-07-10 华中科技大学 一种混合存储架构hpc系统中应用i/o请求的动态调度方法
CN111459677A (zh) * 2020-04-01 2020-07-28 北京顺达同行科技有限公司 请求分配方法、装置、计算机设备和存储介质
CN112486423A (zh) * 2021-02-05 2021-03-12 南京群顶科技有限公司 一种分布式存储方法及装置

Also Published As

Publication number Publication date
CN114691698A (zh) 2022-07-01

Similar Documents

Publication Publication Date Title
Machin et al. Unions and the financial performance of British private sector establishments
CN102081625B (zh) 一种数据查询的方法及查询服务器
CN103853766B (zh) 一种面向流式数据的在线处理方法及系统
CN102857560B (zh) 一种面向多业务应用的云存储数据分布方法
CN103559300B (zh) 数据的查询方法和查询装置
CN114691698B (zh) 一种计算机系统的数据处理系统及方法
CN106649828A (zh) 一种数据查询方法及系统
CN109165096B (zh) web集群的缓存利用系统及方法
CN109993506A (zh) 智慧矿山工业物联网操作系统平台性能测试方法
CN110990777B (zh) 数据关联性分析方法及系统、可读存储介质
CN109635104A (zh) 数据分类标识方法、装置、计算机设备及可读存储介质
CN109446167A (zh) 一种日志数据存储、提取方法及装置
CN110058942B (zh) 基于层次分析法的资源分配系统及方法
CN110909085A (zh) 数据处理方法、装置、设备及存储介质
CN114722295B (zh) 一种基于互联网的技术推广系统及方法
CN113779116A (zh) 对象排序方法、相关设备及介质
CN109684367B (zh) 一种动态调整多数据源数据集成处理方法与装置
CN115858715B (zh) 一种预警数据管理系统
CN117350607B (zh) 改进型knn算法模型的国际物流运输路径规划系统
CN108776707B (zh) 针对探索性查询的抽样方法
CN116011758B (zh) 一种多数据分析智能整合排程系统及方法
CN118282846A (zh) 业务资源调整信息生成方法、装置、设备、介质和产品
CN116432205A (zh) 碳资产数据的安全存储方法
Karpińska et al. Changes in the level of development of urban and rural communes in the Świętokrzyskie Province
CN115757273A (zh) 基于云平台的养老政策资料管理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20221014

Address after: 030032 Room 5, Floor 21, Block D, Qingkong Innovation Base, No. 529, South Zhonghuan Street, Taiyuan Xuefu Park, Comprehensive Reform Demonstration Zone, Taiyuan City, Shanxi Province

Applicant after: Shanxi Zhonghui Shuzhi Technology Co.,Ltd.

Address before: 100000 406, floor 4, block C, No. 8, malianwa North Road, Haidian District, Beijing

Applicant before: Beijing menglanshan Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant