CN114817231B - 一种冗余数据识别过滤方法及系统 - Google Patents
一种冗余数据识别过滤方法及系统 Download PDFInfo
- Publication number
- CN114817231B CN114817231B CN202210754103.1A CN202210754103A CN114817231B CN 114817231 B CN114817231 B CN 114817231B CN 202210754103 A CN202210754103 A CN 202210754103A CN 114817231 B CN114817231 B CN 114817231B
- Authority
- CN
- China
- Prior art keywords
- data
- hierarchical
- redundant
- classified
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2379—Updates performed during online database operations; commit processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Fuzzy Systems (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及冗余数据处理技术领域,具体公开了一种冗余数据识别过滤方法及系统。本发明通过获取用户的身份信息,对传输数据分类处理;与多个其他设备进行交互更新调整;进行冗余分级预处理;周期性记录调用信息,进行分级优化处理;进行反馈更新优化,生成多个冗余分级优化标签。能够根据用户的身份信息进行数据分类处理和冗余分级处理标签生成更新,进而通过多个冗余分级调整标签进行冗余分级预处理,再根据周期性的调用信息进行数据的分级优化处理和标签的反馈更新优化,从而能够根据用户的实际需求,进行数据分类、冗余分级预处理和分级优化处理,避免重要数据出现数据完全缺失和数据部分破坏,从而便于用户获取完整、有效的重要数据。
Description
技术领域
本发明属于冗余数据处理技术领域,尤其涉及一种冗余数据识别过滤方法及系统。
背景技术
数据冗余发生在数据库系统中,指的是一个字段在多个表里重复出现。数据冗余会导致数据异常和损坏,一般来说设计上应该被避免。数据库规范化防止了冗余而且不浪费存储容量,适当的使用外键可以使得数据冗余和异常降到最低。但是,如果考虑效率和便利,有时候也会设计冗余数据,而不考虑数据被破坏的风险。
现有的对于冗余数据的处理中,通常都是对传输数据进行冗余数据的识别,并将识别的冗余数据进行全部过滤清理,从而释放更多的存储空间。然而,这种粗暴的冗余数据识别过滤方法,不能够根据用户的实际需求进行分级过滤,导致有的数据完全缺失、有的数据部分破坏,从而不便于用户获取完整、有效的目标数据。
发明内容
本发明实施例的目的在于提供一种冗余数据识别过滤方法及系统,旨在解决背景技术中提出的问题。
为实现上述目的,本发明实施例提供如下技术方案:
一种冗余数据识别过滤方法,所述方法具体包括以下步骤:
获取当前设备的用户的身份信息,实时接收传输数据,根据所述身份信息,对所述传输数据进行分类处理,生成多个分类数据;
根据所述身份信息,生成多个冗余分级处理标签,并构建与多个其他设备的连接,进行交互更新调整,生成多个冗余分级调整标签;
按照多个所述冗余分级调整标签,对多个所述分类数据进行冗余分级预处理,生成多个分类预处理数据;
周期性记录多个所述分类预处理数据的调用信息,根据多个所述调用信息,对多个所述分类预处理数据进行分级优化处理,生成多个分类分级优化数据;
根据多个所述分类分级优化数据,对多个所述冗余分级调整标签进行反馈更新优化,生成多个冗余分级优化标签。
作为本发明实施例技术方案进一步的限定,所述获取当前设备的用户的身份信息,实时接收传输数据,根据所述身份信息,对所述传输数据进行分类处理,生成多个分类数据具体包括以下步骤:
获取当前设备的用户的身份信息;
根据所述身份信息,匹配对应的标准分类需求;
实时接收传输数据;
根据所述标准分类需求,对所述传输数据进行分类处理,生成多个分类数据。
作为本发明实施例技术方案进一步的限定,所述根据所述身份信息,生成多个冗余分级处理标签,并构建与多个其他设备的连接,进行交互更新调整,生成多个冗余分级调整标签具体包括以下步骤:
根据所述身份信息进行冗余分级分析,生成多个冗余分级处理标签;
进行连接构建情景分析,根据所述身份信息,进行设备连接构建筛选,生成构建筛选结果;
根据所述构建筛选结果,构建与多个其他设备的连接;
基于所述冗余分级处理标签,与多个所述其他设备进行交互更新调整,生成多个冗余分级调整标签。
作为本发明实施例技术方案进一步的限定,所述按照多个所述冗余分级调整标签,对多个所述分类数据进行冗余分级预处理,生成多个分类预处理数据具体包括以下步骤:
按照多个所述冗余分级调整标签,对多个所述分类数据进行冗余分级识别,得到多个分类分级冗余数据;
对多个所述分类分级冗余数据进行冗余分级预处理,生成多个分类预处理数据。
作为本发明实施例技术方案进一步的限定,所述周期性记录多个所述分类预处理数据的调用信息,根据多个所述调用信息,对多个所述分类预处理数据进行分级优化处理,生成多个分类分级优化数据具体包括以下步骤:
周期性记录多个所述分类预处理数据的调用信息;
根据多个所述调用信息,对多个所述分类预处理数据进行分级优化标记,生成优化标记信息;
根据所述优化标记信息,对多个所述分类预处理数据进行分级优化处理,生成多个分类分级优化数据。
作为本发明实施例技术方案进一步的限定,所述根据多个所述分类分级优化数据,对多个所述冗余分级调整标签进行反馈更新优化,生成多个冗余分级优化标签具体包括以下步骤:
将多个所述分类分级优化数据与多个所述分类预处理数据进行优化比较,生成优化比较结果;
按照所述优化比较结果,对多个所述冗余分级调整标签进行反馈更新优化,生成多个冗余分级优化标签。
一种冗余数据识别过滤系统,所述系统包括数据分类处理单元、标签生成调整单元、冗余分级预处理单元、分级优化处理单元和标签反馈优化单元,其中:
数据分类处理单元,用于获取当前设备的用户的身份信息,实时接收传输数据,根据所述身份信息,对所述传输数据进行分类处理,生成多个分类数据;
标签生成调整单元,用于根据所述身份信息,生成多个冗余分级处理标签,并构建与多个其他设备的连接,进行交互更新调整,生成多个冗余分级调整标签;
冗余分级预处理单元,用于按照多个所述冗余分级调整标签,对多个所述分类数据进行冗余分级预处理,生成多个分类预处理数据;
分级优化处理单元,用于周期性记录多个所述分类预处理数据的调用信息,根据多个所述调用信息,对多个所述分类预处理数据进行分级优化处理,生成多个分类分级优化数据;
标签反馈优化单元,用于根据多个所述分类分级优化数据,对多个所述冗余分级调整标签进行反馈更新优化,生成多个冗余分级优化标签。
作为本发明实施例技术方案进一步的限定,所述数据分类处理单元具体包括:
身份信息获取模块,用于获取当前设备的用户的身份信息;
分类需求匹配模块,用于根据所述身份信息,匹配对应的标准分类需求;
传输数据接收模块,用于实时接收传输数据;
数据分类处理模块,用于根据所述标准分类需求,对所述传输数据进行分类处理,生成多个分类数据。
作为本发明实施例技术方案进一步的限定,所述标签生成调整单元具体包括:
冗余分级分析模块,用于根据所述身份信息进行冗余分级分析,生成多个冗余分级处理标签;
连接构建筛选模块,用于进行连接构建情景分析,根据所述身份信息,进行设备连接构建筛选,生成构建筛选结果;
设备连接构建模块,用于根据所述构建筛选结果,构建与多个其他设备的连接;
交互更新调整模块,用于基于所述冗余分级处理标签,与多个所述其他设备进行交互更新调整,生成多个冗余分级调整标签。
作为本发明实施例技术方案进一步的限定,所述冗余分级预处理单元具体包括:
冗余分级识别模块,用于按照多个所述冗余分级调整标签,对多个所述分类数据进行冗余分级识别,得到多个分类分级冗余数据;
冗余分级预处理模块,用于对多个所述分类分级冗余数据进行冗余分级预处理,生成多个分类预处理数据。
与现有技术相比,本发明的有益效果是:
本发明实施例通过获取用户的身份信息,对传输数据分类处理;与多个其他设备进行交互更新调整;进行冗余分级预处理;周期性记录调用信息,进行分级优化处理;进行反馈更新优化,生成多个冗余分级优化标签。能够根据用户的身份信息进行数据分类处理和冗余分级处理标签生成更新,进而通过多个冗余分级调整标签进行冗余分级预处理,再根据周期性的调用信息进行数据的分级优化处理和标签的反馈更新优化,从而能够根据用户的实际需求,进行数据分类、冗余分级预处理和分级优化处理,避免重要数据出现数据完全缺失和数据部分破坏,从而便于用户获取完整、有效的重要数据。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例。
图1示出了本发明实施例提供的方法的流程图。
图2示出了本发明实施例提供的方法中传输数据分类处理的流程图。
图3示出了本发明实施例提供的方法中冗余标签生成更新的流程图。
图4示出了本发明实施例提供的方法中冗余分级预处理的流程图。
图5示出了本发明实施例提供的方法中分级优化处理的流程图。
图6示出了本发明实施例提供的方法中标签反馈更新优化的流程图。
图7示出了本发明实施例提供的系统的应用架构图。
图8示出了本发明实施例提供的系统中数据分类处理单元的结构框图。
图9示出了本发明实施例提供的系统中标签生成调整单元的结构框图。
图10示出了本发明实施例提供的系统中冗余分级预处理单元的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
可以理解的是,现有技术中,对于冗余数据的处理,通常都是对传输数据进行冗余数据的识别,并将识别的冗余数据进行全部过滤清理,从而释放更多的存储空间。然而,这种粗暴的冗余数据识别过滤方法,不能够根据用户的实际需求进行分级过滤,导致有的数据完全缺失、有的数据部分破坏,从而不便于用户获取完整、有效的目标数据。
为解决上述问题,本发明实施例通过获取用户的身份信息,对传输数据分类处理;与多个其他设备进行交互更新调整;进行冗余分级预处理;周期性记录调用信息,进行分级优化处理;进行反馈更新优化,生成多个冗余分级优化标签。能够根据用户的身份信息进行数据分类处理和冗余分级处理标签生成更新,进而通过多个冗余分级调整标签进行冗余分级预处理,再根据周期性的调用信息进行数据的分级优化处理和标签的反馈更新优化,从而能够根据用户的实际需求,进行数据分类、冗余分级预处理和分级优化处理,避免重要数据出现数据完全缺失和数据部分破坏,从而便于用户获取完整、有效的重要数据。
图1示出了本发明实施例提供的方法的流程图。
具体的,一种冗余数据识别过滤方法,所述方法具体包括以下步骤:
步骤S101,获取当前设备的用户的身份信息,实时接收传输数据,根据所述身份信息,对所述传输数据进行分类处理,生成多个分类数据。
在本发明实施例中,用户在使用当前设备时,需要登入用户的账号,在进行账号的注册和登入时,可以获取用户的身份信息,并且在当前设备的使用过程中,能够实时接收传输数据,通过分析用户的身份信息,进行标准分类需求的匹配,进而按照标准分类需求,对传输数据进行自动分类处理,从而生成多个分类数据。
可以理解的是,按照用户的身份信息,对传输数据进行分类处理的过程,是按照用户的身份信息,对传输数据中的数据进行重要性分析,根据数据的重要性进行分类匹配的过程;用户的身份信息可以包括用户的性别、年龄、职业等,通过对用户的性别、年龄、职业等身份信息进行综合分析,匹配对应的标准分类需求,进而可以按照对应的标准分类需求,对传输数据进行数据的自动分类处理。
具体的,图2示出了本发明实施例提供的方法中传输数据分类处理的流程图。
其中,在本发明提供的优选实施方式中,所述获取当前设备的用户的身份信息,实时接收传输数据,根据所述身份信息,对所述传输数据进行分类处理,生成多个分类数据具体包括以下步骤:
步骤S1011,获取当前设备的用户的身份信息。
步骤S1012,根据所述身份信息,匹配对应的标准分类需求。
步骤S1013,实时接收传输数据。
步骤S1014,根据所述标准分类需求,对所述传输数据进行分类处理,生成多个分类数据。
进一步的,所述冗余数据识别过滤方法还包括以下步骤:
步骤S102,根据所述身份信息,生成多个冗余分级处理标签,并构建与多个其他设备的连接,进行交互更新调整,生成多个冗余分级调整标签。
在本发明实施例中,根据身份信息对应的标准分类需求,进行冗余分级分析,生成多个冗余分级处理标签,并且在能够进行交互更新调整的场景中,进行连接构建情景分析,根据身份信息,进行设备连接构建筛选,生成构建筛选结果,按照构建筛选结果,与多个其他设备之间构建交互更新调整的连接通信通道,进而基于冗余分级处理标签,补充多个其他设备传输至当前设备的其他冗余处理标签,进行交互更新调整,生成多个冗余分级调整标签。
可以理解的是,在构建与多个其他设备的连接过程中,需要根据当前设备的用户的身份信息,对多个待连接设备进行筛选,使得与当前设备建立连接通信通道的多个其他设备的使用者的身份相似,例如:当前设备的用户是初中学生,则其他设备的使用者也需要是初中学生,能够进行交互更新调整的场景可以是教室、图书馆、书店等。
具体的,图3示出了本发明实施例提供的方法中冗余标签生成更新的流程图。
其中,在本发明提供的优选实施方式中,所述根据所述身份信息,生成多个冗余分级处理标签,并构建与多个其他设备的连接,进行交互更新调整,生成多个冗余分级调整标签具体包括以下步骤:
步骤S1021,根据所述身份信息进行冗余分级分析,生成多个冗余分级处理标签。
步骤S1022,进行连接构建情景分析,根据所述身份信息,进行设备连接构建筛选,生成构建筛选结果。
步骤S1023,根据所述构建筛选结果,构建与多个其他设备的连接。
步骤S1024,基于所述冗余分级处理标签,与多个所述其他设备进行交互更新调整,生成多个冗余分级调整标签。
进一步的,所述冗余数据识别过滤方法还包括以下步骤:
步骤S103,按照多个所述冗余分级调整标签,对多个所述分类数据进行冗余分级预处理,生成多个分类预处理数据。
在本发明实施例中,按照多个冗余分级调整标签,对多个分类数据分别进行冗余分级识别,提取多个分类数据中对应的多个分类分级冗余数据,按照多个分类分级冗余数进行对应的冗余分级预处理,将多个分类数据转化成多个分类预处理数据。
可以理解的是,冗余分级处理能够将分类数据进行不同的三级处理,具体包括:第一级、将分类数据分类云上传,保存部分展示的本地简略数据,并建立分类数据与本地简略数据之间的传输链接;第二级、将分类数据分类云上传,删除本地的分类数据;第三级、直接将分类数据删除。冗余分级预处理,则是按照冗余分级处理的形式,对多个分类数据进行不同级的分类,再进行本地的不同级的分类存储。
具体的,图4示出了本发明实施例提供的方法中冗余分级预处理的流程图。
其中,在本发明提供的优选实施方式中,所述按照多个所述冗余分级调整标签,对多个所述分类数据进行冗余分级预处理,生成多个分类预处理数据具体包括以下步骤:
步骤S1031,按照多个所述冗余分级调整标签,对多个所述分类数据进行冗余分级识别,得到多个分类分级冗余数据。
步骤S1032,对多个所述分类分级冗余数据进行冗余分级预处理,生成多个分类预处理数据。
进一步的,所述冗余数据识别过滤方法还包括以下步骤:
步骤S104,周期性记录多个所述分类预处理数据的调用信息,根据多个所述调用信息,对多个所述分类预处理数据进行分级优化处理,生成多个分类分级优化数据。
在本发明实施例中,对多个分类预处理数据的调用情况进行周期性的记录,生成与每个分类预处理数据相对应的调用信息,根据调用信息,对多个分类预处理数据进行分级优化分析,并按照分析的结果,进行分级优化标记,生成优化标记信息,进而按照优化标记信息,对多个分类预处理数据进行周期性的分级优化处理,生成多个分类分级优化数据。例如:根据调用信息,第三级的分类预处理数据的调用频繁,则将第三级的分类预处理数据转化为第一级,进而在对应的周期结束之后,将该分类预处理数据进行分类云上传,保存部分展示的本地简略数据,并建立分类数据与本地简略数据之间的传输链接。
具体的,图5示出了本发明实施例提供的方法中分级优化处理的流程图。
其中,在本发明提供的优选实施方式中,所述周期性记录多个所述分类预处理数据的调用信息,根据多个所述调用信息,对多个所述分类预处理数据进行分级优化处理,生成多个分类分级优化数据具体包括以下步骤:
步骤S1041,周期性记录多个所述分类预处理数据的调用信息。
步骤S1042,根据多个所述调用信息,对多个所述分类预处理数据进行分级优化标记,生成优化标记信息。
步骤S1043,根据所述优化标记信息,对多个所述分类预处理数据进行分级优化处理,生成多个分类分级优化数据。
进一步的,所述冗余数据识别过滤方法还包括以下步骤:
步骤S105,根据多个所述分类分级优化数据,对多个所述冗余分级调整标签进行反馈更新优化,生成多个冗余分级优化标签。
在本发明实施例中,通过将多个分类分级优化数据与多个分类预处理数据进行优化比较,标记有优化变化的数据,生成优化比较结果,进而按照优化比较结果,对多个冗余分级调整标签进行反馈更新优化,更换有变化的标签对应的冗余等级,生成多个冗余分级优化标签。
可以理解的是,对多个分类数据进行冗余分级预处理,之后进行分级优化处理,分别得到多个分类预处理数据和多个分类分级优化数据,多个分类预处理数据和多个分类分级优化数据分别对应的冗余分级调整标签不同,通过按照多个分类分级优化数据对应的多个冗余分级调整标签,对多个分类预处理数据对应的多个冗余分级调整标签进行反馈更新优化,从而生成多个冗余分级优化标签。
具体的,图6示出了本发明实施例提供的方法中标签反馈更新优化的流程图。
其中,在本发明提供的优选实施方式中,所述根据多个所述分类分级优化数据,对多个所述冗余分级调整标签进行反馈更新优化,生成多个冗余分级优化标签具体包括以下步骤:
步骤S1051,将多个所述分类分级优化数据与多个所述分类预处理数据进行优化比较,生成优化比较结果。
步骤S1052,按照所述优化比较结果,对多个所述冗余分级调整标签进行反馈更新优化,生成多个冗余分级优化标签。
进一步的,图7示出了本发明实施例提供的系统的应用架构图。
其中,在本发明提供的又一个优选实施方式中,一种冗余数据识别过滤系统,包括:
数据分类处理单元101,用于获取当前设备的用户的身份信息,实时接收传输数据,根据所述身份信息,对所述传输数据进行分类处理,生成多个分类数据。
在本发明实施例中,用户在使用当前设备时,需要登入用户的账号,在进行账号的注册和登入时,数据分类处理单元101可以获取用户的身份信息,并且在当前设备的使用过程中,能够实时接收传输数据,通过分析用户的身份信息,进行标准分类需求的匹配,进而按照标准分类需求,对传输数据进行自动分类处理,从而生成多个分类数据。
具体的,图8示出了本发明实施例提供的系统中数据分类处理单元101的结构框图。
其中,在本发明提供的优选实施方式中,所述数据分类处理单元101具体包括:
身份信息获取模块1011,用于获取当前设备的用户的身份信息。
分类需求匹配模块1012,用于根据所述身份信息,匹配对应的标准分类需求。
传输数据接收模块1013,用于实时接收传输数据。
数据分类处理模块1014,用于根据所述标准分类需求,对所述传输数据进行分类处理,生成多个分类数据。
进一步的,所述冗余数据识别过滤系统还包括:
标签生成调整单元102,用于根据所述身份信息,生成多个冗余分级处理标签,并构建与多个其他设备的连接,进行交互更新调整,生成多个冗余分级调整标签。
在本发明实施例中,标签生成调整单元102根据身份信息对应的标准分类需求,进行冗余分级分析,生成多个冗余分级处理标签,并且在能够进行交互更新调整的场景中,进行连接构建情景分析,根据身份信息,进行设备连接构建筛选,生成构建筛选结果,按照构建筛选结果,与多个其他设备之间构建交互更新调整的连接通信通道,进而基于冗余分级处理标签,补充多个其他设备传输至当前设备的其他冗余处理标签,进行交互更新调整,生成多个冗余分级调整标签。
具体的,图9示出了本发明实施例提供的系统中标签生成调整单元102的结构框图。
其中,在本发明提供的优选实施方式中,所述标签生成调整单元102具体包括:
冗余分级分析模块1021,用于根据所述身份信息进行冗余分级分析,生成多个冗余分级处理标签。
连接构建筛选模块1022,用于进行连接构建情景分析,根据所述身份信息,进行设备连接构建筛选,生成构建筛选结果。
设备连接构建模块1023,用于根据所述构建筛选结果,构建与多个其他设备的连接。
交互更新调整模块1024,用于基于所述冗余分级处理标签,与多个所述其他设备进行交互更新调整,生成多个冗余分级调整标签。
进一步的,所述冗余数据识别过滤系统还包括:
冗余分级预处理单元103,用于按照多个所述冗余分级调整标签,对多个所述分类数据进行冗余分级预处理,生成多个分类预处理数据。
在本发明实施例中,冗余分级预处理单元103按照多个冗余分级调整标签,对多个分类数据分别进行冗余分级识别,提取多个分类数据中对应的多个分类分级冗余数据,按照多个分类分级冗余数进行对应的冗余分级预处理,将多个分类数据转化成多个分类预处理数据。
具体的,图10示出了本发明实施例提供的系统中冗余分级预处理单元103的结构框图。
其中,在本发明提供的优选实施方式中,所述冗余分级预处理单元103具体包括:
冗余分级识别模块1031,用于按照多个所述冗余分级调整标签,对多个所述分类数据进行冗余分级识别,得到多个分类分级冗余数据。
冗余分级预处理模块1032,用于对多个所述分类分级冗余数据进行冗余分级预处理,生成多个分类预处理数据。
进一步的,所述冗余数据识别过滤系统还包括:
分级优化处理单元104,用于周期性记录多个所述分类预处理数据的调用信息,根据多个所述调用信息,对多个所述分类预处理数据进行分级优化处理,生成多个分类分级优化数据。
在本发明实施例中,分级优化处理单元104对多个分类预处理数据的调用情况进行周期性的记录,生成与每个分类预处理数据相对应的调用信息,根据调用信息,对多个分类预处理数据进行分级优化分析,并按照分析的结果,进行分级优化标记,生成优化标记信息,进而按照优化标记信息,对多个分类预处理数据进行周期性的分级优化处理,生成多个分类分级优化数据。
标签反馈优化单元105,用于根据多个所述分类分级优化数据,对多个所述冗余分级调整标签进行反馈更新优化,生成多个冗余分级优化标签。
在本发明实施例中,标签反馈优化单元105通过将多个分类分级优化数据与多个分类预处理数据进行优化比较,标记有优化变化的数据,生成优化比较结果,进而按照优化比较结果,对多个冗余分级调整标签进行反馈更新优化,更换有变化的标签对应的冗余等级,生成多个冗余分级优化标签。
综上所述,本发明实施例能够根据用户的身份信息进行数据分类处理和冗余分级处理标签生成更新,进而通过多个冗余分级调整标签进行冗余分级预处理,再根据周期性的调用信息进行数据的分级优化处理和标签的反馈更新优化,从而能够根据用户的实际需求,进行数据分类、冗余分级预处理和分级优化处理,避免重要数据出现数据完全缺失和数据部分破坏,从而便于用户获取完整、有效的重要数据。
应该理解的是,虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种冗余数据识别过滤方法,其特征在于,所述方法具体包括以下步骤:
获取当前设备的用户的身份信息,实时接收传输数据,根据所述身份信息,对所述传输数据进行分类处理,生成多个分类数据;
具体的,用户在使用当前设备时,需要登入用户的账号,在进行账号的注册和登入时,获取用户的身份信息,并且在当前设备的使用过程中,实时接收传输数据,通过分析用户的身份信息,进行标准分类需求的匹配,进而按照标准分类需求,对传输数据进行自动分类处理,从而生成多个分类数据,按照用户的身份信息,对传输数据进行分类处理的过程,是按照用户的身份信息,对传输数据中的数据进行重要性分析,根据数据的重要性进行分类匹配的过程;匹配对应的标准分类需求,进而按照对应的标准分类需求,对传输数据进行数据的自动分类处理;
根据所述身份信息,生成多个冗余分级处理标签,并构建与多个其他设备的连接,进行交互更新调整,生成多个冗余分级调整标签;
按照多个所述冗余分级调整标签,对多个所述分类数据进行冗余分级预处理,生成多个分类预处理数据;
周期性记录多个所述分类预处理数据的调用信息,根据多个所述调用信息,对多个所述分类预处理数据进行分级优化处理,生成多个分类分级优化数据;
根据多个所述分类分级优化数据,对多个所述冗余分级调整标签进行反馈更新优化,生成多个冗余分级优化标签。
2.根据权利要求1所述的冗余数据识别过滤方法,其特征在于,所述获取当前设备的用户的身份信息,实时接收传输数据,根据所述身份信息,对所述传输数据进行分类处理,生成多个分类数据具体包括以下步骤:
获取当前设备的用户的身份信息;
根据所述身份信息,匹配对应的标准分类需求;
实时接收传输数据;
根据所述标准分类需求,对所述传输数据进行分类处理,生成多个分类数据。
3.根据权利要求1所述的冗余数据识别过滤方法,其特征在于,所述根据所述身份信息,生成多个冗余分级处理标签,并构建与多个其他设备的连接,进行交互更新调整,生成多个冗余分级调整标签具体包括以下步骤:
根据所述身份信息进行冗余分级分析,生成多个冗余分级处理标签;
进行连接构建情景分析,根据所述身份信息,进行设备连接构建筛选,生成构建筛选结果;
根据所述构建筛选结果,构建与多个其他设备的连接;
基于所述冗余分级处理标签,与多个所述其他设备进行交互更新调整,生成多个冗余分级调整标签。
4.根据权利要求1所述的冗余数据识别过滤方法,其特征在于,所述按照多个所述冗余分级调整标签,对多个所述分类数据进行冗余分级预处理,生成多个分类预处理数据具体包括以下步骤:
按照多个所述冗余分级调整标签,对多个所述分类数据进行冗余分级识别,得到多个分类分级冗余数据;
对多个所述分类分级冗余数据进行冗余分级预处理,生成多个分类预处理数据。
5.根据权利要求1所述的冗余数据识别过滤方法,其特征在于,所述周期性记录多个所述分类预处理数据的调用信息,根据多个所述调用信息,对多个所述分类预处理数据进行分级优化处理,生成多个分类分级优化数据具体包括以下步骤:
周期性记录多个所述分类预处理数据的调用信息;
根据多个所述调用信息,对多个所述分类预处理数据进行分级优化标记,生成优化标记信息;
根据所述优化标记信息,对多个所述分类预处理数据进行分级优化处理,生成多个分类分级优化数据。
6.根据权利要求1所述的冗余数据识别过滤方法,其特征在于,所述根据多个所述分类分级优化数据,对多个所述冗余分级调整标签进行反馈更新优化,生成多个冗余分级优化标签具体包括以下步骤:
将多个所述分类分级优化数据与多个所述分类预处理数据进行优化比较,生成优化比较结果;
按照所述优化比较结果,对多个所述冗余分级调整标签进行反馈更新优化,生成多个冗余分级优化标签。
7.一种冗余数据识别过滤系统,其特征在于,所述系统包括数据分类处理单元、标签生成调整单元、冗余分级预处理单元、分级优化处理单元和标签反馈优化单元,其中:
数据分类处理单元,用于获取当前设备的用户的身份信息,实时接收传输数据,根据所述身份信息,对所述传输数据进行分类处理,生成多个分类数据;
具体的,用户在使用当前设备时,需要登入用户的账号,在进行账号的注册和登入时,获取用户的身份信息,并且在当前设备的使用过程中,实时接收传输数据,通过分析用户的身份信息,进行标准分类需求的匹配,进而按照标准分类需求,对传输数据进行自动分类处理,从而生成多个分类数据,按照用户的身份信息,对传输数据进行分类处理的过程,是按照用户的身份信息,对传输数据中的数据进行重要性分析,根据数据的重要性进行分类匹配的过程;匹配对应的标准分类需求,进而按照对应的标准分类需求,对传输数据进行数据的自动分类处理;
标签生成调整单元,用于根据所述身份信息,生成多个冗余分级处理标签,并构建与多个其他设备的连接,进行交互更新调整,生成多个冗余分级调整标签;
冗余分级预处理单元,用于按照多个所述冗余分级调整标签,对多个所述分类数据进行冗余分级预处理,生成多个分类预处理数据;
分级优化处理单元,用于周期性记录多个所述分类预处理数据的调用信息,根据多个所述调用信息,对多个所述分类预处理数据进行分级优化处理,生成多个分类分级优化数据;
标签反馈优化单元,用于根据多个所述分类分级优化数据,对多个所述冗余分级调整标签进行反馈更新优化,生成多个冗余分级优化标签。
8.根据权利要求7所述的冗余数据识别过滤系统,其特征在于,所述数据分类处理单元具体包括:
身份信息获取模块,用于获取当前设备的用户的身份信息;
分类需求匹配模块,用于根据所述身份信息,匹配对应的标准分类需求;
传输数据接收模块,用于实时接收传输数据;
数据分类处理模块,用于根据所述标准分类需求,对所述传输数据进行分类处理,生成多个分类数据。
9.根据权利要求7所述的冗余数据识别过滤系统,其特征在于,所述标签生成调整单元具体包括:
冗余分级分析模块,用于根据所述身份信息进行冗余分级分析,生成多个冗余分级处理标签;
连接构建筛选模块,用于进行连接构建情景分析,根据所述身份信息,进行设备连接构建筛选,生成构建筛选结果;
设备连接构建模块,用于根据所述构建筛选结果,构建与多个其他设备的连接;
交互更新调整模块,用于基于所述冗余分级处理标签,与多个所述其他设备进行交互更新调整,生成多个冗余分级调整标签。
10.根据权利要求7所述的冗余数据识别过滤系统,其特征在于,所述冗余分级预处理单元具体包括:
冗余分级识别模块,用于按照多个所述冗余分级调整标签,对多个所述分类数据进行冗余分级识别,得到多个分类分级冗余数据;
冗余分级预处理模块,用于对多个所述分类分级冗余数据进行冗余分级预处理,生成多个分类预处理数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210754103.1A CN114817231B (zh) | 2022-06-30 | 2022-06-30 | 一种冗余数据识别过滤方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210754103.1A CN114817231B (zh) | 2022-06-30 | 2022-06-30 | 一种冗余数据识别过滤方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114817231A CN114817231A (zh) | 2022-07-29 |
CN114817231B true CN114817231B (zh) | 2022-09-30 |
Family
ID=82523132
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210754103.1A Active CN114817231B (zh) | 2022-06-30 | 2022-06-30 | 一种冗余数据识别过滤方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114817231B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112859788A (zh) * | 2020-08-14 | 2021-05-28 | 薛东 | 基于工业互联网和智能制造的数据处理方法及系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8856431B2 (en) * | 2012-08-02 | 2014-10-07 | Lsi Corporation | Mixed granularity higher-level redundancy for non-volatile memory |
GB2529669B8 (en) * | 2014-08-28 | 2017-03-15 | Ibm | Storage system |
CN105335100B (zh) * | 2015-09-29 | 2018-09-21 | 华为技术有限公司 | 一种数据处理方法、装置及闪存设备 |
CN107491360B (zh) * | 2017-07-21 | 2019-07-30 | 山东九州信泰信息科技股份有限公司 | 对数据表中记录进行分级别冗余存储的方法 |
CN111210879B (zh) * | 2020-01-06 | 2021-03-26 | 中国海洋大学 | 一种用于超大规模药物数据的分级存储优化方法 |
CN114609892A (zh) * | 2021-12-31 | 2022-06-10 | 浙江中控技术股份有限公司 | 一种多任务控制系统快速冗余方法 |
-
2022
- 2022-06-30 CN CN202210754103.1A patent/CN114817231B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112859788A (zh) * | 2020-08-14 | 2021-05-28 | 薛东 | 基于工业互联网和智能制造的数据处理方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114817231A (zh) | 2022-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109829629B (zh) | 风险分析报告的生成方法、装置、计算机设备和存储介质 | |
CN106874134B (zh) | 工单类型的处理方法、装置及系统 | |
US10713306B2 (en) | Content pattern based automatic document classification | |
CN110310127B (zh) | 录音获取方法、装置、计算机设备及存储介质 | |
CN113342942B (zh) | 语料自动化获取方法、装置、计算机设备及存储介质 | |
CN114817231B (zh) | 一种冗余数据识别过滤方法及系统 | |
CN112200465B (zh) | 基于多媒体信息智能分析的电力ai方法及系统 | |
CN117592450A (zh) | 基于员工信息整合的全景档案生成方法及系统 | |
CN114385808A (zh) | 文本分类模型构建方法与文本分类方法 | |
CN111784402A (zh) | 基于多通路的下单率预测方法、设备及可读存储介质 | |
CN111667278A (zh) | 一种基于用户画像的ict系统故障分析推荐方法及系统 | |
CN111460268B (zh) | 数据库查询请求的确定方法、装置和计算机设备 | |
CN113033536A (zh) | 工作笔记生成方法及装置 | |
CN115114353B (zh) | 一种大数据的筛选方法和系统 | |
CN111027296A (zh) | 基于知识库的报表生成方法及系统 | |
Azeemi et al. | RevDet: Robust and Memory Efficient Event Detection and Tracking in Large News Feeds | |
CN115952325B (zh) | 一种基于大数据平台的数据汇集方法及装置 | |
CN116974943A (zh) | 测试用例的生成方法、装置、存储介质及计算机设备 | |
CN114266550A (zh) | 数据分析方法、装置、计算机设备和存储介质 | |
CN115033798A (zh) | 基于大数据的活动推荐方法及系统 | |
CN117808614A (zh) | 一种企业分析系统 | |
CN113901052A (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
CN115359402A (zh) | 视频标注方法及其装置、设备、介质、产品 | |
CN117786190A (zh) | 检测检验行业知识库的构建方法、装置、设备及介质 | |
CN117194817A (zh) | 基于网络大数据的经济信息咨询系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |