CN114969039B - 一种计算机大数据分类存储系统及方法 - Google Patents
一种计算机大数据分类存储系统及方法 Download PDFInfo
- Publication number
- CN114969039B CN114969039B CN202210584728.8A CN202210584728A CN114969039B CN 114969039 B CN114969039 B CN 114969039B CN 202210584728 A CN202210584728 A CN 202210584728A CN 114969039 B CN114969039 B CN 114969039B
- Authority
- CN
- China
- Prior art keywords
- data
- call
- range
- data range
- operation instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000008859 change Effects 0.000 claims abstract description 61
- 238000012544 monitoring process Methods 0.000 claims abstract description 17
- 238000012216 screening Methods 0.000 claims description 42
- 238000007405 data analysis Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 7
- 238000011022 operating instruction Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 abstract 2
- 230000008569 process Effects 0.000 description 14
- 238000013500 data storage Methods 0.000 description 9
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2291—User-Defined Types; Storage management thereof
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Storage Device Security (AREA)
Abstract
本发明公开了一种计算机大数据分类存储系统及方法，包括步骤S100：对计算机设备内的各部分数据进行调用路径监测，分别基于各部分数据对应的调用路径提取各部分数据对应的调用条信息；步骤S200：进行信息整合，筛选出在计算机设备内本身与权限范围变化之间存在关联关系的数据范围，设数据范围为第一特征数据范围；步骤S300：进行信息整合，筛选出在计算机设备内本身与权限范围变化之间存在关联关系的数据范围，设数据范围为第二特征数据范围；步骤S400：将计算机设备内数据分别进行最佳存储介质或者最佳存储地址的选择，对数据进行分类存储；对计算机设备内其他数据的调用路径持续进行实时监测。
Description
技术领域
本发明涉及计算机数据处理技术领域，具体为一种计算机大数据分类存储系统及方法。
背景技术
计算机数据是个非常庞大的数据库，现阶段对计算机录入数据或者计算机内部数据存储时大多是根据数据的结构形式选择对应地址直接进行存储；且在存储过程中对于存储地址的选择通常也是较为随机的，这种存储方式会使得数据变得杂乱，且对计算机设备内的数据不能依据其本身的特点进行分类存储，实现数据存储的高效性。
发明内容
本发明的目的在于提供一种计算机大数据分类存储系统及方法，以解决上述背景技术中提出的问题。
为了解决上述技术问题，本发明提供如下技术方案：一种计算机大数据分类存储方法，其特征在于，分类存储方法包括：
步骤S100：对计算机设备内的各部分数据进行调用路径监测，分别基于各部分数据对应的调用路径提取各部分数据对应的调用条信息；调用条信息包括：访问数据范围信息、操作指令信息、操作权限信息；获取由计算机设备内所有调用条组成的总调用条集合；将总调用条集合内各调用条按照分属计算机设备内各应用程序的不同进行分类汇集，得到计算机设备内各应用程序对应的子调用条集合；
步骤S200：将所有的子调用条集合进行信息整合筛选出在计算机设备内本身与权限范围变化之间存在关联关系的数据范围，设数据范围为第一特征数据范围；
步骤S300：将所有的子调用条集合进行信息整合筛选出在所述计算机设备内受操作指令变化影响的的数据范围，设所述数据范围为第二特征数据范围；
步骤S400：将计算机设备内属于第一特征数据范围、第二特征数据范围、其他数据范围的数据分别进行最佳存储介质或者最佳存储地址的选择，对数据进行分类存储；对计算机设备内其他数据的调用路径持续进行实时监测，并根据其调用条信息将其完成第一特征数据范围或第二特征数据范围或其他数据范围的归类存储。
进一步的，步骤S100提取各部分数据对应的调用条信息的过程包括：
步骤S101：捕捉计算机设备上各应用程序存在的向若干终端设备的数据发起的若干不同调用请求；其中，一个应用程序包括一种或多种调用请求；分别溯及每一次调用请求对应的调用路径，分别在调用路径中获取每一次调用请求对应的访问数据范围、操作指令，以及在操作指令下对访问数据范围进行数据调用操作时所需的权限范围信息；
步骤S102：对每一次调用请求提取调用条Y：[s]→[op]→[permission]；其中，[s]表示对应调用条Y的调用请求所对应的访问数据范围；[op]表示对应调用条Y的调用请求所对应的操作指令；[permission]表示在[op]下对[s]进行数据调用操作时所需的权限范围；分别将计算机设备上各应用程序内存在的全部调用请求进行对应调用条的提取得到计算机设备的调用条集合；
上述步骤相当于是通过观察计算机设备内各应用程序对各数据的调用情况实现对计算机设备内各数据的特征规律捕捉；将一条调用请求提取为访问数据范围、操作指令、权限范围三部分，是想要挖掘出计算机设备内各数据本身与权限范围或者操作指令之间的相互影响关系，为后续将计算机设备内数据进一步划分第一特征数据范围、第二特征数据范围、其他数据范围进行并要的技术铺垫，提高计算机数据分类的科学性。
进一步的，步骤S200在对应某种访问数据范围[s]的第一区别调用条集内找寻与权限范围变化之间存在关联关系的第一特征数据范围的过程包括：
步骤S201：分别在每个应用程序对应的调用条集合内将操作指令[op]相同的区别调用条筛选出来分别作为对应该应用程序的第一区别调用条集；一个第一区别调用条集对应一种相同的操作指令[op]；得到每个应用程序内对应不同种操作指令[op]的不同第一区别调用条集；
步骤S202：记对应某种操作指令[op]的第一区别调用条集内存在的所有访问数据范围包括{[s]1,[s]2,…,[s]n}；其中，[s]1、[s]2、...、[s]n分别表示第一区别调用条集内第1、2、…、n个区别调用条对应的访问数据范围；记对应某种操作指令[op]的第一区别调用条集内存在的所有权限范围包括{[permission]1,[permission]2,…,[permission]n}；其中，[permission]1、[permission]2、…、[permission]n分别表示第一区别调用条集内第1、2、…、n个区别调用条对应的权限范围；分别在对应某种操作指令[op]的第一区别调用条集内找寻与权限范围变化之间存在关联关系的第一目标数据范围，得到对应所有操作指令[op]的所有第一目标数据范围；一个第一目标数据范围对应一种操作指令[op]；
步骤S203：将所有的第一目标数据范围进行整合，提取第一特征数据范围R1∩R2∩…∩Rv；其中，R1、R2、…、Rv分别表示与权限范围变化之间存在关联关系的第1、2、…、v个第一目标数据范围；
上述第一目标数据范围内的数据在数据调用的时候与操作权限变化之间存在强规律性，这部分数据不管与其对应的操作指令怎么变化，都会引起数据调用权限的波动，根据数据保护经验，涉及权限管理的数据通常而言都是较为重要的数据，这部分数据往往对计算机设备的正常运行存在重要影响，这部分数据是由于其范围的改变直接引起操作权限的改变。
进一步的，在步骤S200对应某种操作指令[op]的第一区别调用条集内判定与权限范围变化之间存在关联关系的第一目标数据范围的过程包括：
步骤S211：若对应某种操作指令[op]的第一区别调用条集内存在[permission]a→[permission]b随着[s]a→[s]b出现数据范围变大或缩小而权限范围也对应变大或缩小的两个区别调用条时，将两个区别调用条作为目标区别调用条对；其中，a、b∈(1,2,…,n)，且a≠b；在对应某种操作指令[op]的第一区别调用条集内获取所有目标区别调用条对；
步骤S212：记在对应某种操作指令[op]的所有目标区别调用条对中存在的访问数据范围包括{[s]1,[s]2,…,[s]m}；其中，m≤n；m表示所有目标区别调用条对中存在的访问数据范围的数量；若判定R与对应的某种操作指令[op]之间存在关联关系，R为第一目标数据范围；
上述目标区别调用条中具备调用条访问数据范围变化趋势同对应的权限范围变化趋势一致，即访问数据的扩大带来操作权限的直接升级。
进一步的，步骤S300对应某种访问数据范围[s]的第二区别调用条集内找寻受操作指令变化影响的第二特征数据范围的过程包括：
步骤S301：分别在每个应用程序对应的调用条集合内将访问数据范围[s]相同的区别调用条筛选出来分别作为对应该应用程序的第二区别调用条集；一个第二区别调用条集对应一种访问数据范围[s]；得到每个应用程序内对应不同访问数据范围[s]的不同第二区别调用条集；
步骤S302：记对应某种访问数据范围[s]的第二区别调用条集内存在的所有操作指令范围包括{[op]1,[op]2,…,[op]z}；其中，[op]1、[op]2、...、[op]z分别表示第二区别调用条集内第1、2、…、z个区别调用条对应的操作指令范围；记对应某种访问数据范围[s]的第二区别调用条集内存在的所有权限范围包括{[permission]1,[permission]2,…,[permission]z}；其中，[permission]1、[permission]2、…、[permission]z分别表示第二区别调用条集内第1、2、…、z个区别调用条对应的权限范围；分别在对应某种访问数据范围[s]的第二区别调用条集内找寻受操作指令变化影响的的第二目标操作指令范围，得到所有受操作指令变化影响的第二目标数据范围；
步骤S303：将所有的第二目标数据范围进行整合，将所有的第二目标数据范围进行整合，提取第二特征数据范围j1∪j2∪…∪jv；其中，j1、j2、…、jg分别表示受操作指令变化影响的第1、2、…、g个第二目标数据范围；
上述第二目标数据范围内的数据在数据调用的时候与操作指令变化之间存在强规律性，这部分数据是否会引起数据调用权限的波动，取决于附加在他们身上的操作指令是怎样的，也就是说对比第一目标数据范围内的数据而言，这部分数据的重要性程度次于第一目标数据范围内的数据，只有当这部分数据同一些特殊的操作指令一起时才会引起数据保护上的权限需要，也就是说这部分数据同一些普通的操作指令一起时对计算机设备的正常运行不会产生重要影响；将这部分数据筛选出来一来可以在重要性程度上同第一目标数据范围和其他数据范围内的数据区别开来，且这部分数据在数据保护层面上来说，也是具备重要性，它们的重要性是附操作条件的，在数据存储层面可以选择数据存储安全性高于其他数据范围低于第一特征数据范围内数据的存储条件或者存储形式进行存储。
进一步的，在步骤S300对应某种访问数据范围[s]的第二区别调用条集内判定受操作指令变化影响的第二目标数据范围的过程包括：
步骤S311：若对应某种访问数据范围[s]的第二区别调用条集内任意两个区别调用条之间存在的区别操控指令[op]x-[op]y和区别权限范围[permission]x-[permission]y，且任意两个区别调用条之间均满足SIGN([op]x-[op]y)＝SIGN([permission]x-[permission]y)；其中，x、y∈(1,2,…,z)，且x≠y；
步骤S312：判定对应的某种访问数据范围[s]为受操作指令变化影响的数据范围；将所有的数据范围作为第二目标数据范围；
上述SIGN([op]x-[op]y)＝SIGN([permission]x-[permission]y)表示分别对[op]x-[op]y和[permission]x-[permission]y的运算符号进行判断，只有相等才满足条件，说明权限的变化直接是由于对相同数据范围内的数据操作指令的变化引起的，也证实了，这部分数据的重要性程度是具备操作指令条件的。
为更好的实现上述方法还提出了一种计算机大数据分类存储系统，分类存储系统包括调用路径监测处理模块、数据分析判断模块、第一特征数据范围筛选模块、第二特征数据范围筛选模块、分类存储模块；
调用路径监测处理模块，用于对计算机设备内的各部分数据进行调用路径监测，分别基于各部分数据对应的调用路径提取各部分数据对应的调用条信息；
数据分析判断模块，用于判断与权限范围变化之间存在关联关系的第一目标数据范围，用于判断受操作指令变化影响的第二目标数据范围；
第一特征数据范围筛选模块，用于接收数据分析判断模块中的数据，筛选得到第一特征数据范围；
第二特征数据范围筛选模块，用于接收数据分析判断模块中的数据，筛选得到第二特征数据范围；
分类存储模块，用于接收数据分析判断模块、第一特征数据范围筛选模块、第二特征数据范围筛选模块中的数据，将计算机设备内属于第一特征数据范围、第二特征数据范围、其他数据范围的数据分别进行最佳存储介质或者最佳存储地址的选择，对数据进行分类存储。
进一步的，数据分析判断模块包括第一关联关系判断单元、第二关联关系判断单元；
第一关联关系判断单元，用于判断与权限范围变化之间存在关联关系的第一目标数据范围；
第二关联关系判断单元，用于判断受操作指令变化影响的第二目标数据范围。
进一步的，分类存储模块包括数据分类单元、存储介质选择单元；
数据分类单元，用于接收数据分析判断模块、第一特征数据范围筛选模块、第二特征数据范围筛选模块中的数据，对计算机设备内产生的数据进行分类；
存储介质选择单元，用于接收数据分类单元中的数据，将计算机设备内属于第一特征数据范围、第二特征数据范围、其他数据范围的数据分别进行最佳存储介质或者最佳存储地址的选择，对数据实现分类存储。
与现有技术相比，本发明所达到的有益效果是：本发明可以对计算机设备内各数据基于其被各应用程序的调用情况判断其数据的重要性程度；其重要性程度的划分是基于计算机设备内各数据与操作权限范围变化之间存在的关联关系或者与操作指令变化之间存在的关联关系进行划分的；且基于上述划分实现对计算机设备内各数据基于数据的重要性程度进行分类存储，并为数据的存储方式或者存储介质提供参考，实现对计算机大数据的科学管理；对计算机内大数据进行重要性分析和分类的目的都是为了可以给实际适用该系统的用户带来更多的便利以及帮助用户从数据存储的源头上尽量规避或者减少风险带来的损失，提高数据存储质量，提高数据存储的规律性；且通过不断地监测计算机设备内应用程序对计算机大数据的调用情况，也是一个不断地对计算机设备内数据特征进行变相开发和了解的过程，对计算机内数据实现不断地优化分类，达到科学监管计算机设备内数据的效果，从一定程度上实现将计算机设备的存储功能发挥最大化最优化。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是一种计算机大数据分类存储方法的流程示意图；
图2是一种计算机大数据分类存储系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-图2，本发明提供技术方案：一种计算机大数据分类存储方法，其特征在于，分类存储方法包括：
步骤S100：对计算机设备内的各部分数据进行调用路径监测，分别基于各部分数据对应的调用路径提取各部分数据对应的调用条信息；调用条信息包括：访问数据范围信息、操作指令信息、操作权限信息；获取由计算机设备内所有调用条组成的总调用条集合；将总调用条集合内各调用条按照分属计算机设备内各应用程序的不同进行分类汇集，得到计算机设备内各应用程序对应的子调用条集合；
其中，步骤S100提取各部分数据对应的调用条信息的过程包括：
步骤S101：捕捉计算机设备上各应用程序存在的向若干终端设备的数据发起的若干不同调用请求；其中，一个应用程序包括一种或多种调用请求；分别溯及每一次调用请求对应的调用路径，分别在调用路径中获取每一次调用请求对应的访问数据范围、操作指令，以及在操作指令下对访问数据范围进行数据调用操作时所需的权限范围信息；
步骤S102：对每一次调用请求提取调用条Y：[s]→[op]→[permission]；其中，[s]表示对应调用条Y的调用请求所对应的访问数据范围；[op]表示对应调用条Y的调用请求所对应的操作指令；[permission]表示在[op]下对[s]进行数据调用操作时所需的权限范围；分别将计算机设备上各应用程序内存在的全部调用请求进行对应调用条的提取得到计算机设备的调用条集合；
步骤S200：将所有的子调用条集合进行信息整合筛选出在计算机设备内本身与权限范围变化之间存在关联关系的数据范围，设数据范围为第一特征数据范围；
其中，步骤S200在对应某种访问数据范围[s]的第一区别调用条集内找寻与权限范围变化之间存在关联关系的第一特征数据范围的过程包括：
步骤S201：分别在每个应用程序对应的调用条集合内将操作指令[op]相同的区别调用条筛选出来分别作为对应该应用程序的第一区别调用条集；一个第一区别调用条集对应一种相同的操作指令[op]；得到每个应用程序内对应不同种操作指令[op]的不同第一区别调用条集；
例如说，应用程序A中存在调用指令a和调用指令b；在调用指令a下存在调用条a1、a2、a3；调用条a1、a2、a3的调用指令不同，但是访问数据范围不同，且对应的权限范围也不同；则a1、a2、a3组成调用指令为a的第一区别调用条集；
步骤S202：记对应某种操作指令[op]的第一区别调用条集内存在的所有访问数据范围包括{[s]1,[s]2,…,[s]n}；其中，[s]1、[s]2、…、[s]n分别表示第一区别调用条集内第1、2、…、n个区别调用条对应的访问数据范围；记对应某种操作指令[op]的第一区别调用条集内存在的所有权限范围包括{[permission]1,[permission]2,…,[permission]n}；其中，[permission]1、[permission]2、…、[permission]n分别表示第一区别调用条集内第1、2、…、n个区别调用条对应的权限范围；分别在对应某种操作指令[op]的第一区别调用条集内找寻与权限范围变化之间存在关联关系的第一目标数据范围，得到对应所有操作指令[op]的所有第一目标数据范围；一个第一目标数据范围对应一种操作指令[op]；
步骤S203：将所有的第一目标数据范围进行整合，提取第一特征数据范围R1∩R2∩…∩Rv；其中，R1、R2、…、Rv分别表示与权限范围变化之间存在关联关系的第1、2、…、v个第一目标数据范围；
其中，在步骤S200对应某种操作指令[op]的第一区别调用条集内判定与权限范围变化之间存在关联关系的第一目标数据范围的过程包括：
步骤S211：若对应某种操作指令[op]的第一区别调用条集内存在[permission]a→[permission]b随着[s]a→[s]b出现数据范围变大或缩小而权限范围也对应变大或缩小的两个区别调用条时，将两个区别调用条作为目标区别调用条对；其中，a、b∈(1,2,…,n)，且a≠b；在对应某种操作指令[op]的第一区别调用条集内获取所有目标区别调用条对；
步骤S212：记在对应某种操作指令[op]的所有目标区别调用条对中存在的访问数据范围包括{[s]1,[s]2,…,[s]m}；其中，m≤n；m表示所有目标区别调用条对中存在的访问数据范围的数量；若判定R与对应的某种操作指令[op]之间存在关联关系，R为第一目标数据范围。
步骤S300：将所有的子调用条集合进行信息整合筛选出在所述计算机设备内受操作指令变化影响的的数据范围，设所述数据范围为第二特征数据范围；
其中，步骤S300对应某种访问数据范围[s]的第二区别调用条集内找寻受操作指令变化影响的第二特征数据范围的过程包括：
步骤S301：分别在每个应用程序对应的调用条集合内将访问数据范围[s]相同的区别调用条筛选出来分别作为对应该应用程序的第二区别调用条集；一个第二区别调用条集对应一种访问数据范围[s]；得到每个应用程序内对应不同访问数据范围[s]的不同第二区别调用条集；
步骤S302：记对应某种访问数据范围[s]的第二区别调用条集内存在的所有操作指令范围包括{[op]1,[op]2,…,[op]z}；其中，[op]1、[op]2、...、[op]z分别表示第二区别调用条集内第1、2、…、z个区别调用条对应的操作指令范围；记对应某种访问数据范围[s]的第二区别调用条集内存在的所有权限范围包括([permission]1,[permission]2,…,[permission]z}；其中，[permission]1、[permission]2、…、[permission]z分别表示第二区别调用条集内第1、2、…、z个区别调用条对应的权限范围；分别在对应某种访问数据范围[s]的第二区别调用条集内找寻受操作指令变化影响的的第二目标操作指令范围，得到所有受操作指令变化影响的第二目标数据范围；
步骤S303：将所有的第二目标数据范围进行整合，将所有的第二目标数据范围进行整合，提取第二特征数据范围j1∪j2∪…∪jv；其中，j1、j2、…、jg分别表示受操作指令变化影响的第1、2、…、g个第二目标数据范围；
其中，在步骤S300对应某种访问数据范围[s]的第二区别调用条集内判定受操作指令变化影响的第二目标数据范围的过程包括：
步骤S311：若对应某种访问数据范围[s]的第二区别调用条集内任意两个区别调用条之间存在的区别操控指令[op]x-[op]y和区别权限范围[permission]x-[permission]y，且任意两个区别调用条之间均满足SIGN([op]x-[op]y)＝SIGN([permission]x-[permission]y)；其中，x、y∈(1,2,…,z)，且x≠y；
步骤S312：判定对应的某种访问数据范围[s]为受操作指令变化影响的数据范围；将所有的数据范围作为第二目标数据范围；
步骤S400：将计算机设备内属于第一特征数据范围、第二特征数据范围、其他数据范围的数据分别进行最佳存储介质或者最佳存储地址的选择，对数据进行分类存储；对计算机设备内其他数据的调用路径持续进行实时监测，并根据其调用条信息将其完成第一特征数据范围或第二特征数据范围或其他数据范围的归类存储；
例如说，第一特征数据范围内的数据因为经常在调用时会引起数据操作权限的改变，侧面反应出该范围内数据在重要程度上比较高，所以在这部分数据存储时，可以选择安全存储性能较高的存储介质或者存储形式进行数据存储；
第二特征数据范围内的数据因为经常在调用时同数据操作指令的变化相关，侧面反应出该范围内数据在重要程度上低于第一特征数据范围内的数据，他们只有在遇到一些特殊的操作指令时才会对计算机的运行造成影响，触发操作权限的访问，所以在这部分数据存储时，可以选择安全存储性能较低于存储第一特征数据范围内数据的存储介质或者存储形式进行数据存储。
为更好的实现上述方法还提出了一种计算机大数据分类存储系统，分类存储系统包括调用路径监测处理模块、数据分析判断模块、第一特征数据范围筛选模块、第二特征数据范围筛选模块、分类存储模块；
调用路径监测处理模块，用于对计算机设备内的各部分数据进行调用路径监测，分别基于各部分数据对应的调用路径提取各部分数据对应的调用条信息；
数据分析判断模块，用于判断与权限范围变化之间存在关联关系的第一目标数据范围，用于判断受操作指令变化影响的第二目标数据范围；
其中，数据分析判断模块包括第一关联关系判断单元、第二关联关系判断单元；
第一关联关系判断单元，用于判断与权限范围变化之间存在关联关系的第一目标数据范围；
第二关联关系判断单元，用于判断受操作指令变化影响的第二目标数据范围；
第一特征数据范围筛选模块，用于接收数据分析判断模块中的数据，筛选得到第一特征数据范围；
第二特征数据范围筛选模块，用于接收数据分析判断模块中的数据，筛选得到第二特征数据范围；
分类存储模块，用于接收数据分析判断模块、第一特征数据范围筛选模块、第二特征数据范围筛选模块中的数据，将计算机设备内属于第一特征数据范围、第二特征数据范围、其他数据范围的数据分别进行最佳存储介质或者最佳存储地址的选择，对数据进行分类存储；
其中，分类存储模块包括数据分类单元、存储介质选择单元；
数据分类单元，用于接收数据分析判断模块、第一特征数据范围筛选模块、第二特征数据范围筛选模块中的数据，对计算机设备内产生的数据进行分类；
存储介质选择单元，用于接收数据分类单元中的数据，将计算机设备内属于第一特征数据范围、第二特征数据范围、其他数据范围的数据分别进行最佳存储介质或者最佳存储地址的选择，对数据实现分类存储。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种计算机大数据分类存储方法，其特征在于，所述分类存储方法包括：
步骤S100：对计算机设备内的各部分数据进行调用路径监测，分别基于各部分数据对应的调用路径提取各部分数据对应的调用条信息；所述调用条信息包括：访问数据范围信息、操作指令信息、操作权限信息；获取由计算机设备内所有调用条组成的总调用条集合；将所述总调用条集合内各调用条按照分属计算机设备内各应用程序的不同进行分类汇集，得到计算机设备内各应用程序对应的子调用条集合；
步骤S200：将所有的子调用条集合进行信息整合，筛选出在所述计算机设备内本身与权限范围变化之间存在关联关系的数据范围，设所述数据范围为第一特征数据范围；
步骤S300：将所有的子调用条集合进行信息整合，筛选出在所述计算机设备内受操作指令变化影响的的数据范围，设所述数据范围为第二特征数据范围；
步骤S400：将计算机设备内属于第一特征数据范围、第二特征数据范围、其他数据范围的数据分别进行最佳存储介质或者最佳存储地址的选择，对数据进行分类存储；对计算机设备内其他数据的调用路径持续进行实时监测，并根据其调用条信息将其完成第一特征数据范围或第二特征数据范围或其他数据范围的归类存储。
2.根据权利要求1所述的一种计算机大数据分类存储方法，其特征在于，所述步骤S100提取各部分数据对应的调用条信息的过程包括：
步骤S101：捕捉计算机设备上各应用程序存在的向若干终端设备的数据发起的若干不同调用请求；其中，一个应用程序包括一种或多种调用请求；分别溯及每一次调用请求对应的调用路径，分别在所述调用路径中获取每一次调用请求对应的访问数据范围、操作指令，以及在所述操作指令下对所述访问数据范围进行数据调用操作时所需的权限范围信息；
步骤S102：对每一次调用请求提取调用条Y：[s]→[op]→[permission]；其中，[s]表示对应所述调用条Y的调用请求所对应的访问数据范围；[op]表示对应所述调用条Y的调用请求所对应的操作指令；[permission]表示在所述[op]下对所述[s]进行数据调用操作时所需的权限范围；分别将计算机设备上各应用程序内存在的全部调用请求进行对应调用条的提取得到所述计算机设备的调用条集合。
3.根据权利要求1所述一种计算机大数据分类存储方法，其特征在于，所述步骤S200在对应某种访问数据范围[s]的第一区别调用条集内找寻与权限范围变化之间存在关联关系的第一特征数据范围的过程包括：
步骤S201：分别在每个应用程序对应的所述调用条集合内将操作指令[op]相同的区别调用条筛选出来分别作为对应该应用程序的第一区别调用条集；一个第一区别调用条集对应一种相同的操作指令[op]；得到每个应用程序内对应不同种操作指令[op]的不同第一区别调用条集；
步骤S202：记对应某种操作指令[op]的第一区别调用条集内存在的所有访问数据范围包括{[s]1,[s]2,…,[s]n}；其中，[s]1、[s]2、...、[s]n分别表示所述第一区别调用条集内第1、2、…、n个区别调用条对应的访问数据范围；记对应某种操作指令[op]的第一区别调用条集内存在的所有权限范围包括{[permission]1,[permission]2,…,[permission]n}；其中，[permission]1、[permission]2、…、[permission]n分别表示所述第一区别调用条集内第1、2、…、n个区别调用条对应的权限范围；分别在对应某种操作指令[op]的第一区别调用条集内找寻与权限范围变化之间存在关联关系的第一目标数据范围，得到对应所有操作指令[op]的所有第一目标数据范围；一个第一目标数据范围对应一种操作指令[op]；
步骤S203：将所有的第一目标数据范围进行整合，提取第一特征数据范围R1∩R2∩…∩Rv；其中，R1、R2、…、Rv分别表示与权限范围变化之间存在关联关系的第1、2、…、v个第一目标数据范围。
4.根据权利要求3所述一种计算机大数据分类存储方法，其特征在于，在所述步骤S200对应某种操作指令[op]的第一区别调用条集内判定与权限范围变化之间存在关联关系的第一目标数据范围的过程包括：
步骤S211：若对应某种操作指令[op]的第一区别调用条集内存在[permission]a→[permission]b随着[s]a→[s]b出现数据范围变大或缩小而权限范围也对应变大或缩小的两个区别调用条时，将所述两个区别调用条作为目标区别调用条对；其中，a、b∈(1,2,…,n)，且a≠b；在所述对应某种操作指令[op]的第一区别调用条集内获取所有目标区别调用条对；
步骤S212：记在对应某种操作指令[op]的所有目标区别调用条对中存在的访问数据范围包括{[s]1,[s]2,…,[s]m}；其中，m≤n；m表示所有目标区别调用条对中存在的访问数据范围的数量；若判定R与对应的某种操作指令[op]之间存在关联关系，R为第一目标数据范围。
5.根据权利要求1所述一种计算机大数据分类存储方法，其特征在于，所述步骤S300对应某种访问数据范围[s]的第二区别调用条集内找寻受操作指令变化影响的第二特征数据范围的过程包括：
步骤S301：分别在每个应用程序对应的所述调用条集合内将访问数据范围[s]相同的区别调用条筛选出来分别作为对应该应用程序的第二区别调用条集；一个第二区别调用条集对应一种访问数据范围[s]；得到每个应用程序内对应不同访问数据范围[s]的不同第二区别调用条集；
步骤S302：记对应某种访问数据范围[s]的第二区别调用条集内存在的所有操作指令范围包括{[op]1,[op]2,...,[op]z}；其中，[op]1、[op]2、...、[op]z分别表示所述第二区别调用条集内第1、2、...、z个区别调用条对应的操作指令范围；记对应某种访问数据范围[s]的第二区别调用条集内存在的所有权限范围包括{[permission]1,[permission]2,…,[permission]z}；其中，[permission]1、[permission]2、…、[permission]z分别表示所述第二区别调用条集内第1、2、…、z个区别调用条对应的权限范围；分别在对应某种访问数据范围[s]的第二区别调用条集内找寻受操作指令变化影响的的第二目标操作指令范围，得到所有受操作指令变化影响的第二目标数据范围；
步骤S303：将所有的第二目标数据范围进行整合，将所有的第二目标数据范围进行整合，提取第二特征数据范围j1∪j2∪…∪jv；其中，j1、j2、…、jg分别表示受操作指令变化影响的第1、2、…、g个第二目标数据范围。
6.根据权利要求5所述一种计算机大数据分类存储方法，其特征在于，在所述步骤S300对应某种访问数据范围[s]的第二区别调用条集内判定受操作指令变化影响的第二目标数据范围的过程包括：
步骤S311：若对应某种访问数据范围[s]的第二区别调用条集内任意两个区别调用条之间存在的区别操控指令[op]x-[op]y和区别权限范围[permission]x-[permission]y，且所述任意两个区别调用条之间均满足SIGN([op]x-[op]y)＝SIGN([permission]x-[permission]y)；其中，x、y∈(1,2,…,z)，且x≠y；
步骤S312：判定对应的所述某种访问数据范围[s]为受操作指令变化影响的数据范围；将所有的所述数据范围作为第二目标数据范围。
7.一种应用于权利要求1-6中任一项的计算机大数据分类存储方法的计算机大数据分类存储系统，其特征在于，所述分类存储系统包括调用路径监测处理模块、数据分析判断模块、第一特征数据范围筛选模块、第二特征数据范围筛选模块、分类存储模块；
所述调用路径监测处理模块，用于对计算机设备内的各部分数据进行调用路径监测，分别基于各部分数据对应的调用路径提取各部分数据对应的调用条信息；
所述数据分析判断模块，用于判断与权限范围变化之间存在关联关系的第一目标数据范围，用于判断受操作指令变化影响的第二目标数据范围；
所述第一特征数据范围筛选模块，用于接收所述数据分析判断模块中的数据，筛选得到第一特征数据范围；
所述第二特征数据范围筛选模块，用于接收所述数据分析判断模块中的数据，筛选得到第二特征数据范围；
所述分类存储模块，用于接收所述数据分析判断模块、第一特征数据范围筛选模块、第二特征数据范围筛选模块中的数据，将计算机设备内属于第一特征数据范围、第二特征数据范围、其他数据范围的数据分别进行最佳存储介质或者最佳存储地址的选择，对数据进行分类存储。
8.根据权利要求7所述的一种计算机大数据分类存储系统，其特征在于，所述数据分析判断模块包括第一关联关系判断单元、第二关联关系判断单元；
所述第一关联关系判断单元，用于判断与权限范围变化之间存在关联关系的第一目标数据范围；
所述第二关联关系判断单元，用于判断受操作指令变化影响的第二目标数据范围。
9.根据权利要求7所述的一种计算机大数据分类存储系统，其特征在于，所述分类存储模块包括数据分类单元、存储介质选择单元；
所述数据分类单元，用于接收所述数据分析判断模块、第一特征数据范围筛选模块、第二特征数据范围筛选模块中的数据，对计算机设备内产生的数据进行分类；
所述存储介质选择单元，用于接收所述数据分类单元中的数据，将计算机设备内属于第一特征数据范围、第二特征数据范围、其他数据范围的数据分别进行最佳存储介质或者最佳存储地址的选择，对数据实现分类存储。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210584728.8A CN114969039B (zh) | 2022-05-27 | 2022-05-27 | 一种计算机大数据分类存储系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210584728.8A CN114969039B (zh) | 2022-05-27 | 2022-05-27 | 一种计算机大数据分类存储系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114969039A CN114969039A (zh) | 2022-08-30 |
| CN114969039B true CN114969039B (zh) | 2024-01-23 |
Family
ID=82956413
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210584728.8A Active CN114969039B (zh) | 2022-05-27 | 2022-05-27 | 一种计算机大数据分类存储系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114969039B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106776783A (zh) * | 2016-11-24 | 2017-05-31 | 福建亿榕信息技术有限公司 | 非结构化数据存储管理方法、服务器和系统 |
| CN112380563A (zh) * | 2020-11-17 | 2021-02-19 | 深圳壹账通智能科技有限公司 | 节点访问方法、装置、设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112948279A (zh) * | 2019-11-26 | 2021-06-11 | 伊姆西Ip控股有限责任公司 | 管理存储系统中的访问请求的方法、设备和程序产品 |
-
2022
- 2022-05-27 CN CN202210584728.8A patent/CN114969039B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106776783A (zh) * | 2016-11-24 | 2017-05-31 | 福建亿榕信息技术有限公司 | 非结构化数据存储管理方法、服务器和系统 |
| CN112380563A (zh) * | 2020-11-17 | 2021-02-19 | 深圳壹账通智能科技有限公司 | 节点访问方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 一种基于预警信息的漏洞自动化快速防护方法;徐其望;陈震杭;彭国军;张焕国;;信息安全学报(01);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114969039A (zh) | 2022-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10943186B2 (en) | Machine learning model training method and device, and electronic device | |
| US11757938B2 (en) | Method, apparatus, and computer-readable medium for data protection simulation and optimization in a computer network | |
| KR101064807B1 (ko) | 웹 서비스를 위한 평판 시스템 및 방법 | |
| US20100100468A1 (en) | System and method for multi layer rule processing background | |
| US20180157851A1 (en) | Systems and methods for authentication of access based on multi-data source information | |
| CA3230500A1 (en) | Method and system for querying abnormal financial data on basis of knowledge map | |
| CN109409849A (zh) | 一种mes系统的审计追踪方法及系统 | |
| CN110348238A (zh) | 一种面向应用的隐私保护分级方法及装置 | |
| CN107733902A (zh) | 一种目标数据扩散过程的监控方法及装置 | |
| CN110728301A (zh) | 一种个人用户的信用评分方法、装置、终端及存储介质 | |
| JP4889618B2 (ja) | データ処理装置及びデータ処理方法及びプログラム | |
| CN113553583A (zh) | 信息系统资产安全风险评估方法与装置 | |
| CN104077128B (zh) | 一种数据处理方法及装置 | |
| CN108009444A (zh) | 全文搜索的权限控制方法、装置与计算机可读存储介质 | |
| US20080010237A1 (en) | System and Method for Managing Multi-Dimensional Data | |
| CN114969039B (zh) | 一种计算机大数据分类存储系统及方法 | |
| CN117235731B (zh) | 一种保密装备大数据监控预警系统 | |
| CN110908858B (zh) | 基于双漏斗结构的日志类样本抽样方法及相关装置 | |
| CN112184238A (zh) | 金融租赁行业的反洗钱监控方法、装置、电子设备及介质 | |
| CN107563639B (zh) | 基于故障树的信息系统风险评估装置及方法 | |
| US7314168B1 (en) | Account monitoring system | |
| CN111800392B (zh) | 动态最小化特权访问控制方法及装置 | |
| JP2007183807A (ja) | 業務プロセス評価システム | |
| CN109213979A (zh) | 对电子表格进行筛选的方法、装置、电子设备及存储介质 | |
| JP7361997B1 (ja) | 配置場所選定装置、配置場所選定方法、及び配置場所選定プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20231220 Address after: No. 709, Block B, Baifuqi Commercial Plaza, No. 183 Wujing Road, Guandu District, Kunming, Yunnan Province, China (Yunnan) Pilot Free Trade Zone, 650000 Applicant after: Zhongde Gaolu Consulting (Yunnan) Co.,Ltd. Address before: No. 815, geguan Road, Jiangbei new district, Nanjing, Jiangsu 210048 Applicant before: NANJING SHUOMAO ELECTRONIC TECHNOLOGY CO.,LTD. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |