CN115525235B - 一种基于存储结构的数据运算方法及系统 - Google Patents
一种基于存储结构的数据运算方法及系统 Download PDFInfo
- Publication number
- CN115525235B CN115525235B CN202211378101.3A CN202211378101A CN115525235B CN 115525235 B CN115525235 B CN 115525235B CN 202211378101 A CN202211378101 A CN 202211378101A CN 115525235 B CN115525235 B CN 115525235B
- Authority
- CN
- China
- Prior art keywords
- data
- information
- storage
- sub
- data information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2246—Trees, e.g. B+trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0643—Management of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于存储结构的数据运算方法及系统,涉及数据运算技术领域。为了解决现有技术中,由于数据的增多,运算规则和运算规模增大,导致整体运算时间长,使得整个系统运行卡顿的情况,影响整体系统的使用的问题。一种基于存储结构的数据运算方法,包括以下步骤:S1:获取数据;S2:存储结构识别;S3:数据处理;S4:数据运算;通过将用户输入内容转换为运算表达式,可以确保本申请实施例准确地识别对输入内容,避免了出现识别误差导致计算错误的情况,提高了运算效率,通过将CPU中缓存的源数据删除,降低了CPU的占有率,提高了系统的整体性能。
Description
技术领域
本发明涉及数据运算技术领域,特别涉及一种基于存储结构的数据运算方法及系统。
背景技术
数据运算是对数据依某种模式而建立起来的关系进行处理的过程,对于数据运算的运算方法,已有相关专利,比如申请号:CN201410680275.4公开了一种数据运算方法、数据运算装置及缺陷检查装置,通过对每个运行数据执行数据展开操作,而使多个运行数据展开并存储在运行展开存储器的地址空间;重叠信息取得步骤,对地址空间的各地址执行扫描操作而取得表示多个运行数据的重叠状态的重叠信息,所述扫描操作是对地址空间的第m个地址写入在完成运行展开步骤的时点分别存储在地址空间的第0个地址至第m个地址的值的总和;及逻辑运算步骤,基于重叠信息,对多个运行数据族群进行逻辑运算。
该发明的数据运算方法能用短时间进行多个运行数据族群的逻辑运算,然而在实际运行过程中仍存在以下几点问题:
1、现有技术中在进行逻辑运算时,往往无法对数据进行区域的划分,造成数据在运算过程中的大量运行,往往需要高性能的硬件支撑,大大提高了系统运行成本;
2、由于数据储存结构的不同,目前的算式计算,大部分按照预定规则进行运算符号优先级拆解,存入相应的符号栈与数字栈,按照优先级表进行依次计算,并给出最终结果,无法进行更加简单的计算步骤;
3、现有技术中,由于数据的增多,运算规则和运算规模增大,导致整体运算时间长,使得整个系统运行卡顿的情况,影响整体系统的使用。
发明内容
本发明的目的在于提供一种基于存储结构的数据运算方法及系统,通过将CPU中缓存的源数据删除,降低了CPU的占有率,提高了系统的整体性能,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
一种基于存储结构的数据运算方法,包括应用于数据储存的数据运算系统和基于所述系统的运算方法,所述方法包括以下步骤:
S1:获取数据:接收并解析CPU发送的数据信息,同时获取所述数据信息所携带的子信息;其中,所述子信息包括源数据子信息、时间序列子信息和反馈路径子信息;
S2:存储结构识别:获取储存结构的储存方法与储存逻辑,依据储存逻辑将所述数据信息储存在各个存储节点上,并依据所述数据信息的储存特性进行分级储存;
S3:数据处理:在所述各个存储节点上的数据信息进行预处理,剔除冗余数据,获取处理后的目标数据,确定所述目标数据的运算类型,将所述运算类型与运算表达式进行一一匹配,得出匹配结果;
S4:数据运算:将所述目标数据输入至所述匹配结果中的运算表达式,将所述运算表达式进行解析得到结构化表达式,并基于对应的运算逻辑对所述结构化表达式进行运算,输出最终的运算结果;其中,所述运算逻辑储存在运算逻辑数据库中。
进一步的,针对S1中接收并解析CPU发送的数据信息后,还包括:
基于所述CPU发送的数据信息获取所述数据信息的数据标识;
将所述数据信息的数据标识输入至预设数据类型数据库中进行匹配,并基于匹配结果得到所述数据信息的基本数据类型;
其中,所述数据类型数据库中包括图像数据、文字数据、运行数据、源数据、时间序列以及学反馈路径的基本数据类型;
依据所述基本数据类型对所述数据信息分类分级,将所述数据信息依据分类分级将所述数据信息输入至存储树。
进一步的,对所述数据信息分类分级,还包括:
将所述数据信息与所述基本数据类型进行一一匹配,并基于匹配结果将所述数据信息生成第一分类,生成第一目标数据信息段与第二目标数据信息段;
其中,所述第一目标数据信息段为所述数据信息中与所述基本数据类型不一致的数据,所述第二目标数据信息段为所述数据信息中与所述基本数据类型一致的数据;
将所述第一目标数据信息段中数据信息所携带的子信息所述基本数据类型进行一一匹配,并基于匹配结果将所述数据信息生成第一子信息层和第二子信息层;
其中,所述第一子信息层为与所述源数据子信息不一致的数据,所述第二子信息层为与所述源数据子信息一致的数据。
进一步的,针对S2中获取储存结构的储存方法与储存逻辑,还包括:
对数据信息储存结构进行分析,将所述储存结构分割为多层的主题树,每一层包括多个聚类区域;
对每一层对应的聚类区域进行聚类标签,将所述储存逻辑与所述聚类标签一一对应,得到若干个聚类集合;
根据所述数据信息的基本数据类型与所述聚类标签一一匹配,将每个所述聚类集合分配给对应的所述数据信息。
进一步的,针对S2中依据储存逻辑将所述数据信息储存在各个存储节点上,还包括:
对所述数据信息进行完整度检测,根据预设相似度算法对存在遗漏的数据进行补充,并基于补充结果生成完整目标数据文件;
获取所述完整目标数据文件,对所述完整目标数据文件进行数据项分离处理,获取处理结果;
对所述处理结果中的每项数据进行特征点提取,根据特征点确定在每项数据中出现的目标特征点;
根据所述目标特征点计算出完整目标数据文件中的当前数据的逻辑关系;
根据所述数据逻辑关系确定当前数据信息对应的储存特性。
进一步的,针对S3中在所述各个存储节点上的数据信息进行预处理,剔除冗余数据,具体为:
将所述数据信息依据所述聚类集合划分为多个数据;
对每个数据依据其所携带的时序子信息进行数据标准化,得到标准时间数据、标准运行数据和标准反馈数据;
将标准化数据代入数据处理库中相对应的冗余数据计算公式中进行计算,得出冗余系数;
对标准化数据进行节点提取验证,根据验证结果确定数据节点的时间变化值、运行标准系数和反馈系数;将所述时间变化值、运行标准系数和反馈系数代入数据处理库中相对应的冗余数据计算公式中进行计算,得出冗余系数目标值;
确定每个数据的冗余系数目标值,若所述冗余系数大于目标值,则该数据不为冗余数据,进行运算;若所述冗余系数小于目标值,则该数据为冗余数据,进行删除,得到目标数据。
进一步的,针对S5中对所述结构化表达式进行运算,输出最终的运算结果,还包括:
依据所述数据信息的所携带的反馈子信息将所述运算结果通过反馈路径存入所述反馈子信息中;
反馈子信息同时将所述运算结果输出至各个存储节点和CPU;
所述存储节点获取到所述运算结果后建立反馈文件,并与对应所述数据信息关联;
所述CPU获取到所述运算结果后与所述指令数据库进行匹配,得到匹配结果,输出指令,将所述CPU中缓存的源数据删除。
本发明提供另一种技术方案,一种基于存储结构的数据运算系统,包括数据接收单元、处理存储单元和运算反馈单元;
所述数据接收单元用于获取CPU发送的数据信息,并进行分类统计;
所述数据接收单元还用于获取每个数据接收终端的网络层在传输数据时的流量变动情况;
所述处理存储单元用于依据所述数据信息的分类将所述数据进行数值化处理,并根据分类数值基于存储逻辑进行对应的分区储存;
所述处理存储单元还用于对储存目标区域进行分割处理,对分割处理后的目标区域内的数据信息进行识别,建立排队队列并进行显示;
所述运算反馈单元用于将不同区域内的数据信息依据储存逻辑输入至相对应的结构储存式中进行运算,并将运算结果进行传输。
进一步的,所述处理存储单元包括:
存储模块,用于将解析得到的源数据和运算类型存入高速缓存中;
提取模块,用于从所述高速缓存中提取所述源数据和所述运算类型。
进一步的,所述将运算结果进行传输,具体包括:
运算创建模块,用于获取所述目标数据,同时获取所述区域的储存逻辑,基于所述储存逻辑,确定待运算项目的创建指令;
依据所述创建指令将所述目标数据输入至对应的结构化运算式中进行运算,得到运算结果;
基于运算结果确定对所述数据信息的数据删除规则,并基于所述不同的数据删除规则建立源数据删除指令;
反馈传输模块,用于获取所述数据信息携带的反馈子信息中的反馈链路,同时获取所述数据信息携带的源数据子信息中的IP地址,并基于所述IP地址构建与反馈链路的传输链路;
基于运算结果确定在所述传输链路中对所述数据信息和CPU的数据同步,基于源数据删除指令对所述CPU的源数据进行删除。
与现有技术相比,本发明的有益效果是:
1.通过将接收到的数据进行基本数据类型的区分,接收多源化数据,为数据分类分层提供有效的数据支撑,将接收到的数据依据不同的储存结构分别进行分类分层,从而得到数据的细化,将数据依据不同的类型进行运算的匹配,大大减轻了后期运算的压力,提高系统运行速度,降低对系统硬件的需求,降低系统运行成本。
2.通过根据数据信息的特征实现对数据信息的分类标准进行有效获取,并根据分类标准对数据信息进行准确分类,最后对分类后的数据信息的完整度进行有效核验,实现在数据缺失时及时对数据进行补充,实现了对数据进行准确有效的运算,提高了运算结果的准确性。
3.通过将用户输入内容转换为运算表达式,可以确保本申请实施例准确地识别对输入内容,避免了出现识别误差导致计算错误的情况,同时简化了运算方法,提高了运算效率,通过将CPU中缓存的源数据删除,降低了CPU的占有率,提高了系统的整体性能。
附图说明
图1为本发明的系统的运算方法流程图;
图2为本发明的数据运算系统模块图;
图3为本发明的处理存储单元模块图;
图4为本发明的运算反馈单元模块图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了解决现有技术中无法根据储存结构进行对应的数据运算,运算步骤复杂的技术问题,请参阅图1,本实施例提供以下技术方案:
一种基于存储结构的数据运算方法,包括应用于数据储存的数据运算系统和基于所述系统的运算方法,所述方法包括以下步骤:
S1:获取数据:接收并解析CPU发送的数据信息,同时获取所述数据信息所携带的子信息;其中,所述子信息包括源数据子信息、时间序列子信息和反馈路径子信息;
S2:存储结构识别:获取储存结构的储存方法与储存逻辑,依据储存逻辑将所述数据信息储存在各个存储节点上,并依据所述数据信息的储存特性进行分级储存;
S3:数据处理:在所述各个存储节点上的数据信息进行预处理,剔除冗余数据,获取处理后的目标数据,确定所述目标数据的运算类型,将所述运算类型与运算表达式进行一一匹配,得出匹配结果;
S4:数据运算:将所述目标数据输入至所述匹配结果中的运算表达式,将所述运算表达式进行解析得到结构化表达式,并基于对应的运算逻辑对所述结构化表达式进行运算,输出最终的运算结果;其中,所述运算逻辑储存在运算逻辑数据库中。
具体的,通过接收并解析CPU发送的数据信息,将数据根据储存结构进行分类,基于对应的储存逻辑确定运算类型,代入正确的表达式中进行运算,整体步骤简单,运行速度快,CPU占用率低,大大降低了系统硬件要求低,适用范围更广,为企业带来了良好的经济效益。
为了解决现有技术中在进行逻辑运算时,往往无法对数据进行区域的划分,造成数据在运算过程中的大量运行,往往需要高性能的硬件支撑,大大提高了系统运行成本的技术问题,请参阅图1,本实施例提供以下技术方案:
针对S1中接收并解析CPU发送的数据信息后,还包括:基于所述CPU发送的数据信息获取所述数据信息的数据标识;将所述数据信息的数据标识输入至预设数据类型数据库中进行匹配,并基于匹配结果得到所述数据信息的基本数据类型;其中,所述数据类型数据库中包括图像数据、文字数据、运行数据、源数据、时间序列以及学反馈路径的基本数据类型;依据所述基本数据类型对所述数据信息分类分级,将所述数据信息依据分类分级将所述数据信息输入至存储树;
对所述数据信息分类分级,还包括:将所述数据信息与所述基本数据类型进行一一匹配,并基于匹配结果将所述数据信息生成第一分类,生成第一目标数据信息段与第二目标数据信息段;其中,所述第一目标数据信息段为所述数据信息中与所述基本数据类型不一致的数据,所述第二目标数据信息段为所述数据信息中与所述基本数据类型一致的数据;将所述第一目标数据信息段中数据信息所携带的子信息所述基本数据类型进行一一匹配,并基于匹配结果将所述数据信息生成第一子信息层和第二子信息层;其中,所述第一子信息层为与所述源数据子信息不一致的数据,所述第二子信息层为与所述源数据子信息一致的数据。
具体的,通过将接收到的数据进行基本数据类型的区分,接收多源化数据,为数据分类分层提供有效的数据支撑,将接收到的数据依据不同的储存结构分别进行分类分层,从而得到数据的细化,将数据依据不同的类型进行运算的匹配,大大减轻了后期运算的压力,提高系统运行速度,降低对系统硬件的需求,降低系统运行成本。
为了解决由于数据储存结构的不同,无法灵活调整对应的运算类型和运算逻辑,导致运算时间长的技术问题,请参阅图1,本实施例提供以下技术方案:
针对S2还包括:对数据信息储存结构进行分析,将所述储存结构分割为多层的主题树,每一层包括多个聚类区域;对每一层对应的聚类区域进行聚类标签,将所述储存逻辑与所述聚类标签一一对应,得到若干个聚类集合;根据所述数据信息的基本数据类型与所述聚类标签一一匹配,将每个所述聚类集合分配给对应的所述数据信息;
对所述数据信息进行完整度检测,根据预设相似度算法对存在遗漏的数据进行补充,并基于补充结果生成完整目标数据文件;获取所述完整目标数据文件,对所述完整目标数据文件进行数据项分离处理,获取处理结果;对所述处理结果中的每项数据进行特征点提取,根据特征点确定在每项数据中出现的目标特征点;根据所述目标特征点计算出完整目标数据文件中的当前数据的逻辑关系;根据所述数据逻辑关系确定当前数据信息对应的储存特性。
具体的,通过根据数据信息的特征实现对数据信息的分类标准进行有效获取,并根据分类标准对数据信息进行准确分类,最后对分类后的数据信息的完整度进行有效核验,实现在数据缺失时及时对数据进行补充,实现了对数据进行准确有效的运算,提高了运算结果的准确性。
为了解决由于数据的增多,运算规则和运算规模增大,导致整体运算时间长,使得整个系统运行卡顿的情况的技术问题,请参阅图1,本实施例提供以下技术方案:
针对S3中在所述各个存储节点上的数据信息进行预处理,剔除冗余数据,具体为:将所述数据信息依据所述聚类集合划分为多个数据;对每个数据依据其所携带的时序子信息进行数据标准化,得到标准时间数据、标准运行数据和标准反馈数据;将标准化数据代入数据处理库中相对应的冗余数据计算公式中进行计算,得出冗余系数;对标准化数据进行节点提取验证,根据验证结果确定数据节点的时间变化值、运行标准系数和反馈系数;将所述时间变化值、运行标准系数和反馈系数代入数据处理库中相对应的冗余数据计算公式中进行计算,得出冗余系数目标值;确定每个数据的冗余系数目标值,若所述冗余系数大于目标值,则该数据不为冗余数据,进行运算;若所述冗余系数小于目标值,则该数据为冗余数据,进行删除,得到目标数据。
针对S5中对所述结构化表达式进行运算,输出最终的运算结果,还包括:依据所述数据信息的所携带的反馈子信息将所述运算结果通过反馈路径存入所述反馈子信息中;反馈子信息同时将所述运算结果输出至各个存储节点和CPU;所述存储节点获取到所述运算结果后建立反馈文件,并与对应所述数据信息关联;所述CPU获取到所述运算结果后与所述指令数据库进行匹配,得到匹配结果,输出指令,将所述CPU中缓存的源数据删除。
具体的,通过将用户输入内容转换为运算表达式,可以确保本申请实施例准确地识别对输入内容,避免了出现识别误差导致计算错误的情况,同时简化了运算方法,提高了运算效率,通过将CPU中缓存的源数据删除,降低了CPU的占有率,提高了系统的整体性能。
为了解决整个系统运行卡顿的情况,影响整体系统的使用的技术问题,请参阅图2-4,本实施例提供以下技术方案:
一种基于存储结构的数据运算系统,包括数据接收单元、处理存储单元和运算反馈单元;所述数据接收单元用于获取CPU发送的数据信息,并进行分类统计;所述数据接收单元还用于获取每个数据接收终端的网络层在传输数据时的流量变动情况;所述处理存储单元用于依据所述数据信息的分类将所述数据进行数值化处理,并根据分类数值基于存储逻辑进行对应的分区储存;所述处理存储单元还用于对储存目标区域进行分割处理,对分割处理后的目标区域内的数据信息进行识别,建立排队队列并进行显示;处理存储单元包括:存储模块,用于将解析得到的源数据和运算类型存入高速缓存中;提取模块,用于从所述高速缓存中提取所述源数据和所述运算类型,所述运算反馈单元用于将不同区域内的数据信息依据储存逻辑输入至相对应的结构储存式中进行运算,并将运算结果进行传输。
将运算结果进行传输,具体包括:运算创建模块,用于获取所述目标数据,同时获取所述区域的储存逻辑,基于所述储存逻辑,确定待运算项目的创建指令;依据所述创建指令将所述目标数据输入至对应的结构化运算式中进行运算,得到运算结果;基于运算结果确定对所述数据信息的数据删除规则,并基于所述不同的数据删除规则建立源数据删除指令;反馈传输模块,用于获取所述数据信息携带的反馈子信息中的反馈链路,同时获取所述数据信息携带的源数据子信息中的IP地址,并基于所述IP地址构建与反馈链路的传输链路;基于运算结果确定在所述传输链路中对所述数据信息和CPU的数据同步,基于源数据删除指令对所述CPU的源数据进行删除。
具体的,通过数据接收单元获取CPU发送的数据信息,并进行分类统计,根据分类数值基于存储逻辑进行对应的分区储存,将不同区域内的数据信息依据储存逻辑输入至相对应的结构储存式中进行运算,并将运算结果进行传输,确定数据运算结果,并根据运算结果将CPU的源数据进行删除,提高了系统运行空间,提高系统的运算速度,减少系统卡顿的情况,提高了用户实用舒适度。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (6)
1.一种基于存储结构的数据运算方法,其特征在于:包括以下步骤:
S1:获取数据:接收并解析CPU发送的数据信息,同时获取所述数据信息所携带的子信息;其中,所述子信息包括源数据子信息、时间序列子信息和反馈路径子信息;
S2:存储结构识别:获取储存结构的储存方法与储存逻辑,依据储存逻辑将所述数据信息储存在各个存储节点上,并依据所述数据信息的储存特性进行分级储存;
S3:数据处理:在所述各个存储节点上的数据信息进行预处理,剔除冗余数据,获取处理后的目标数据,确定所述目标数据的运算类型,将所述运算类型与运算表达式进行一一匹配,得出匹配结果;
S4:数据运算:将所述目标数据输入至所述匹配结果中的运算表达式,将所述运算表达式进行解析得到结构化表达式,并基于对应的运算逻辑对所述结构化表达式进行运算,输出最终的运算结果;其中,所述运算逻辑储存在运算逻辑数据库中;
基于所述CPU发送的数据信息获取所述数据信息的数据标识;
将所述数据信息的数据标识输入至预设数据类型数据库中进行匹配,并基于匹配结果得到所述数据信息的基本数据类型;
其中,所述数据类型数据库中包括图像数据、文字数据、运行数据、源数据、时间序列以及反馈路径的基本数据类型;
依据所述基本数据类型对所述数据信息分类分级,将所述数据信息依据分类分级将所述数据信息输入至存储树;
对所述数据信息分类分级,还包括:
将所述数据信息与所述基本数据类型进行一一匹配,并基于匹配结果将所述数据信息生成第一分类,生成第一目标数据信息段与第二目标数据信息段;
其中,所述第一目标数据信息段为所述数据信息中与所述基本数据类型不一致的数据,所述第二目标数据信息段为所述数据信息中与所述基本数据类型一致的数据;
将所述第一目标数据信息段中数据信息所携带的子信息所述基本数据类型进行一一匹配,并基于匹配结果将所述数据信息生成第一子信息层和第二子信息层;
其中,所述第一子信息层为与所述源数据子信息不一致的数据,所述第二子信息层为与所述源数据子信息一致的数据;
针对S2中获取储存结构的储存方法与储存逻辑,还包括:
对数据信息储存结构进行分析,将所述储存结构分割为多层的主题树,每一层包括多个聚类区域;
对每一层对应的聚类区域进行聚类标签,将所述储存逻辑与所述聚类标签一一对应,得到若干个聚类集合;
根据所述数据信息的基本数据类型与所述聚类标签一一匹配,将每个所述聚类集合分配给对应的所述数据信息;
对所述数据信息进行完整度检测,根据预设相似度算法对存在遗漏的数据进行补充,并基于补充结果生成完整目标数据文件;
获取所述完整目标数据文件,对所述完整目标数据文件进行数据项分离处理,获取处理结果;
对所述处理结果中的每项数据进行特征点提取,根据特征点确定在每项数据中出现的目标特征点;
根据所述目标特征点计算出完整目标数据文件中的当前数据的逻辑关系;
根据所述数据逻辑关系确定当前数据信息对应的储存特性。
2.如权利要求1所述的一种基于存储结构的数据运算方法,其特征在于:针对S3中在所述各个存储节点上的数据信息进行预处理,剔除冗余数据,具体为:
将所述数据信息依据所述聚类集合划分为多个数据;
对每个数据依据其所携带的时序子信息进行数据标准化,得到标准时间数据、标准运行数据和标准反馈数据;
将标准化数据代入数据处理库中相对应的冗余数据计算公式中进行计算,得出冗余系数;
对标准化数据进行节点提取验证,根据验证结果确定数据节点的时间变化值、运行标准系数和反馈系数;将所述时间变化值、运行标准系数和反馈系数代入数据处理库中相对应的冗余数据计算公式中进行计算,得出冗余系数目标值;
确定每个数据的冗余系数目标值,若所述冗余系数大于目标值,则该数据不为冗余数据,进行运算;若所述冗余系数小于目标值,则该数据为冗余数据,进行删除,得到目标数据。
3.如权利要求2所述的一种基于存储结构的数据运算方法,其特征在于:针对S5中对所述结构化表达式进行运算,输出最终的运算结果,还包括:
依据所述数据信息的所携带的反馈子信息将所述运算结果通过反馈路径存入所述反馈子信息中;
反馈子信息同时将所述运算结果输出至各个存储节点和CPU;
所述存储节点获取到所述运算结果后建立反馈文件,并与对应所述数据信息关联;
所述CPU获取到所述运算结果后与指令数据库进行匹配,得到匹配结果,输出指令,将所述CPU中缓存的源数据删除。
4.一种基于存储结构的数据运算系统,在权利要求1-3任一项所述的基于存储结构的数据运算方法中应用,其特征在于:包括数据接收单元、处理存储单元和运算反馈单元;
所述数据接收单元用于获取CPU发送的数据信息,并进行分类统计;
所述数据接收单元还用于获取每个数据接收终端的网络层在传输数据时的流量变动情况;
所述处理存储单元用于依据所述数据信息的分类将所述数据进行数值化处理,并根据分类数值基于存储逻辑进行对应的分区储存;
所述处理存储单元还用于对储存目标区域进行分割处理,对分割处理后的目标区域内的数据信息进行识别,建立排队队列并进行显示;
所述运算反馈单元用于将不同区域内的数据信息依据储存逻辑输入至相对应的结构储存式中进行运算,并将运算结果进行传输。
5.如权利要求4所述的一种基于存储结构的数据运算系统,其特征在于:所述处理存储单元包括:
存储模块,用于将解析得到的源数据和运算类型存入高速缓存中;
提取模块,用于从所述高速缓存中提取所述源数据和所述运算类型。
6.如权利要求5所述的一种基于存储结构的数据运算系统,其特征在于:所述将运算结果进行传输,具体包括:
运算创建模块,用于获取所述目标数据,同时获取所述区域的储存逻辑,基于所述储存逻辑,确定待运算项目的创建指令;
依据所述创建指令将所述目标数据输入至对应的结构化运算式中进行运算,得到运算结果;
基于运算结果确定对所述数据信息的数据删除规则,并基于所述不同的数据删除规则建立源数据删除指令;
反馈传输模块,用于获取所述数据信息携带的反馈子信息中的反馈链路,同时获取所述数据信息携带的源数据子信息中的IP地址,并基于所述IP地址构建与反馈链路的传输链路;
基于运算结果确定在所述传输链路中对所述数据信息和CPU的数据同步,基于源数据删除指令对所述CPU的源数据进行删除。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211378101.3A CN115525235B (zh) | 2022-11-04 | 2022-11-04 | 一种基于存储结构的数据运算方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211378101.3A CN115525235B (zh) | 2022-11-04 | 2022-11-04 | 一种基于存储结构的数据运算方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115525235A CN115525235A (zh) | 2022-12-27 |
CN115525235B true CN115525235B (zh) | 2023-09-08 |
Family
ID=84704944
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211378101.3A Active CN115525235B (zh) | 2022-11-04 | 2022-11-04 | 一种基于存储结构的数据运算方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115525235B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116501531B (zh) * | 2023-06-19 | 2023-09-08 | 成都移信通科技有限公司 | 用于监测软件运行数据安全的软件插件配置方法和系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016197924A1 (zh) * | 2015-12-29 | 2016-12-15 | 中兴通讯股份有限公司 | 数据预处理方法及装置 |
CN107391402A (zh) * | 2017-07-21 | 2017-11-24 | 郑州云海信息技术有限公司 | 一种数据运算方法、装置及一种数据运算卡 |
CN111104475A (zh) * | 2019-11-15 | 2020-05-05 | 广东数果科技有限公司 | 知识图谱的数据存储方法、智能构建方法及实现系统 |
CN111767024A (zh) * | 2020-07-09 | 2020-10-13 | 北京猿力未来科技有限公司 | 一种面向简便运算的解答方法与装置 |
CN112948640A (zh) * | 2021-03-10 | 2021-06-11 | 成都工贸职业技术学院 | 一种基于云计算平台的大数据聚类方法及系统 |
CN113946294A (zh) * | 2021-10-29 | 2022-01-18 | 蜂巢科技(南通)有限公司 | 一种分布式储存系统及其数据处理方法 |
-
2022
- 2022-11-04 CN CN202211378101.3A patent/CN115525235B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016197924A1 (zh) * | 2015-12-29 | 2016-12-15 | 中兴通讯股份有限公司 | 数据预处理方法及装置 |
CN107391402A (zh) * | 2017-07-21 | 2017-11-24 | 郑州云海信息技术有限公司 | 一种数据运算方法、装置及一种数据运算卡 |
CN111104475A (zh) * | 2019-11-15 | 2020-05-05 | 广东数果科技有限公司 | 知识图谱的数据存储方法、智能构建方法及实现系统 |
CN111767024A (zh) * | 2020-07-09 | 2020-10-13 | 北京猿力未来科技有限公司 | 一种面向简便运算的解答方法与装置 |
CN112948640A (zh) * | 2021-03-10 | 2021-06-11 | 成都工贸职业技术学院 | 一种基于云计算平台的大数据聚类方法及系统 |
CN113946294A (zh) * | 2021-10-29 | 2022-01-18 | 蜂巢科技(南通)有限公司 | 一种分布式储存系统及其数据处理方法 |
Non-Patent Citations (1)
Title |
---|
内容感知存储系统中自动分级存储模型研究;聂雪军;秦磊华;周敬利;刘科;朱建峰;王宇;;小型微型计算机系统(第06期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN115525235A (zh) | 2022-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112883190A (zh) | 文本分类方法、装置、电子设备及存储介质 | |
CN115525235B (zh) | 一种基于存储结构的数据运算方法及系统 | |
CN112948429B (zh) | 一种数据报送方法、装置和设备 | |
CN116415206B (zh) | 运营商多数据融合方法、系统、电子设备及计算机存储介质 | |
CN112613569A (zh) | 图像识别方法、图像分类模型的训练方法及装置 | |
CN114780370A (zh) | 基于日志的数据修正方法、装置、电子设备及存储介质 | |
CN112528616A (zh) | 业务表单生成方法、装置、电子设备及计算机存储介质 | |
CN110688434B (zh) | 一种兴趣点处理方法、装置、设备和介质 | |
CN112579621A (zh) | 数据展示方法、装置、电子设备及计算机存储介质 | |
CN117221087A (zh) | 告警根因定位方法、装置及介质 | |
CN113268665A (zh) | 基于随机森林的信息推荐方法、装置、设备及存储介质 | |
CN116841779A (zh) | 异常日志检测方法、装置、电子设备和可读存储介质 | |
CN117155771B (zh) | 一种基于工业物联网的设备集群故障溯源方法及装置 | |
CN113806492A (zh) | 基于语义识别的记录生成方法、装置、设备及存储介质 | |
CN113138906A (zh) | 一种调用链数据采集方法、装置、设备及存储介质 | |
CN113627160A (zh) | 文本纠错方法、装置、电子设备及存储介质 | |
CN111738290B (zh) | 图像检测方法、模型构建和训练方法、装置、设备和介质 | |
CN114116811B (zh) | 日志处理方法、装置、设备及存储介质 | |
CN115114297A (zh) | 数据轻量存储及查找方法、装置、电子设备及存储介质 | |
CN115658360A (zh) | 一种基于日志数据的云系统故障诊断方法 | |
CN113419951A (zh) | 人工智能模型优化方法、装置、电子设备及存储介质 | |
CN113706207A (zh) | 基于语义解析的订单成交率分析方法、装置、设备及介质 | |
CN113656586A (zh) | 情感分类方法、装置、电子设备及可读存储介质 | |
CN111859985A (zh) | Ai客服模型测试方法、装置、电子设备及存储介质 | |
CN118314574B (zh) | 故障信息标注方法及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |