CN115114353B - 一种大数据的筛选方法和系统 - Google Patents
一种大数据的筛选方法和系统 Download PDFInfo
- Publication number
- CN115114353B CN115114353B CN202211040592.0A CN202211040592A CN115114353B CN 115114353 B CN115114353 B CN 115114353B CN 202211040592 A CN202211040592 A CN 202211040592A CN 115114353 B CN115114353 B CN 115114353B
- Authority
- CN
- China
- Prior art keywords
- screening
- big data
- information
- data
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
Abstract
本发明涉及大数据技术领域,具体公开了一种大数据的筛选方法和系统。本发明在协同终端进行数据使用时,接收数据分析信息;进行实时记录和使用被动筛选,得到第一被动筛选结果;进行大数据的分析被动筛选,得到第二被动筛选结果;进行大数据分类存储;接收大数据的主动筛选信息,进行递进主动筛选。能够在数据使用时,通过相应的协同终端进行协同分析,并对数据的使用进行记录整理,进行分析被动筛选和使用被动筛选,进而进行大数据分类存储,按照主动筛选信息和分类存储信息,进行大数据的递进主动筛选,实现大数据分类分析的使用协同分析,避免增长的数据不能在一定的时间内分类处理,而影响按照分类进行快速筛选的大数据筛选效果。
Description
技术领域
本发明属于大数据技术领域,尤其涉及一种大数据的筛选方法和系统。
背景技术
大数据环境下,随着数据量的快速积累,要想分析出大数据中所蕴含的价值,筛选出有价值的数据十分重要。而数据筛选在整个数据处理流程中处于至关重要的地位。数据筛选的目的是为了提高之前收集和存储的相关数据的可用性,更利于后期数据分析。
大数据环境下的数据筛选与传统数据筛选最大区别在于巨大的数据量及复杂的数据结构,需要对数据进行分析与分类,便于根据筛选需求,匹配不同的分类,便于进行快速筛选,然而随着数据增长的速率越来越快,很难进行单方面的大数据分类分析,导致增长的数据不能在一定的时间内分类处理,影响按照分类进行快速筛选的大数据筛选效果。
发明内容
本发明实施例的目的在于提供一种大数据的筛选方法和系统,旨在解决背景技术中提出的问题。
为实现上述目的,本发明实施例提供如下技术方案:
一种大数据的筛选方法,所述方法具体包括以下步骤:
对系统中的大数据进行使用监测,若存在协同终端使用系统中的数据时,向所述协同终端发送数据分析信号,接收所述协同终端反馈发送的数据分析信息;
系统对协同终端使用目标数据进行实时记录,生成与多个不同目标数据相关的使用记录信息,根据所述使用记录信息进行大数据的使用被动筛选,得到第一被动筛选结果;
综合多个所述数据分析信息进行大数据的分析被动筛选,得到第二被动筛选结果;
按照所述第一被动筛选结果和所述第二被动筛选结果,进行大数据分类存储,生成分类存储信息;
接收大数据的主动筛选信息,按照所述主动筛选信息和所述分类存储信息,进行大数据的递进主动筛选,生成主动筛选结果。
作为本发明实施例技术方案进一步的限定,所述对系统中的大数据进行使用监测,若存在协同终端使用系统中的数据时,向所述协同终端发送数据分析信号,接收所述协同终端反馈发送的数据分析信息具体包括以下步骤:
进行数据使用监测,标记进行数据使用的目标数据;
向使用所述目标数据的协同终端发送数据分析信号;
接收所述协同终端根据所述数据分析信号反馈发送的数据分析信息。
作为本发明实施例技术方案进一步的限定,所述系统对协同终端使用目标数据进行实时记录,生成与多个不同目标数据相关的使用记录信息,根据所述使用记录信息进行大数据的使用被动筛选,得到第一被动筛选结果具体包括以下步骤:
进行多个目标数据的实时记录,生成多个使用记录信息;
对多个所述使用记录信息进行综合整理,生成频率记录信息;
根据所述频率记录信息进行大数据的使用被动筛选,得到第一被动筛选结果。
作为本发明实施例技术方案进一步的限定,所述综合多个所述数据分析信息进行大数据的分析被动筛选,得到第二被动筛选结果具体包括以下步骤:
综合多个所述数据分析信息进行分类规划,生成分类规划信息;
按照所述分类规划信息进行大数据的分析被动筛选,得到第二被动筛选结果。
作为本发明实施例技术方案进一步的限定,所述按照所述第一被动筛选结果和所述第二被动筛选结果,进行大数据分类存储,生成分类存储信息具体包括以下步骤:
按照所述第二被动筛选结果,进行大数据基础分类分析,生成基础分类分析结果;
按照所述第一被动筛选结果,进行大数据细化分类分析,生成细化分类分析结果;
综合所述基础分类分析结果和所述细化分类分析结果,进行分类存储规划,生成分类存储规划结果;
按照所述分类存储规划结果,进行实时大数据分类存储,实时更新生成的分类存储信息。
作为本发明实施例技术方案进一步的限定,所述接收大数据的主动筛选信息,按照所述主动筛选信息和所述分类存储信息,进行大数据的递进主动筛选,生成主动筛选结果具体包括以下步骤:
接收大数据的主动筛选信息;
对所述主动筛选信息进行分析,提取多个筛选特征;
按照所述分类存储信息和多个所述筛选特征,进行递进筛选规划,生成递进筛选规划信息;
按照所述递进筛选规划信息,进行大数据的递进主动筛选,生成主动筛选结果。
一种大数据的筛选系统,所述系统包括协同终端通信单元、使用被动筛选单元、分析被动筛选单元、数据分类存储单元和递进主动筛选单元,其中:
协同终端通信单元,用于对系统中的大数据进行使用监测,若存在协同终端使用系统中的数据时,向所述协同终端发送数据分析信号,接收所述协同终端反馈发送的数据分析信息;
使用被动筛选单元,用于系统对协同终端使用目标数据进行实时记录,生成与多个不同目标数据相关的使用记录信息,根据所述使用记录信息进行大数据的使用被动筛选,得到第一被动筛选结果;
分析被动筛选单元,用于综合多个所述数据分析信息进行大数据的分析被动筛选,得到第二被动筛选结果;
数据分类存储单元,用于按照所述第一被动筛选结果和所述第二被动筛选结果,进行大数据分类存储,生成分类存储信息;
递进主动筛选单元,用于接收大数据的主动筛选信息,按照所述主动筛选信息和所述分类存储信息,进行大数据的递进主动筛选,生成主动筛选结果。
作为本发明实施例技术方案进一步的限定,所述分析被动筛选单元具体包括:
分类规划模块,用于综合多个所述数据分析信息进行分类规划,生成分类规划信息;
被动筛选模块,用于按照所述分类规划信息进行大数据的分析被动筛选,得到第二被动筛选结果。
作为本发明实施例技术方案进一步的限定,所述数据分类存储单元具体包括:
基础分类分析模块,用于按照所述第二被动筛选结果,进行大数据基础分类分析,生成基础分类分析结果;
细化分类分析模块,用于按照所述第一被动筛选结果,进行大数据细化分类分析,生成细化分类分析结果;
分类存储规划模块,用于综合所述基础分类分析结果和所述细化分类分析结果,进行分类存储规划,生成分类存储规划结果;
实时分类存储模块,用于按照所述分类存储规划结果,进行实时大数据分类存储,实时更新生成的分类存储信息。
作为本发明实施例技术方案进一步的限定,所述递进主动筛选单元具体包括:
信息接收模块,用于接收大数据的主动筛选信息;
特征提取模块,用于对所述主动筛选信息进行分析,提取多个筛选特征;
筛选规划模块,用于按照所述分类存储信息和多个所述筛选特征,进行递进筛选规划,生成递进筛选规划信息;
主动筛选模块,用于按照所述递进筛选规划信息,进行大数据的递进主动筛选,生成主动筛选结果。
与现有技术相比,本发明的有益效果是:
本发明实施例在协同终端进行数据使用时,接收数据分析信息;进行实时记录和使用被动筛选,得到第一被动筛选结果;进行大数据的分析被动筛选,得到第二被动筛选结果;进行大数据分类存储;接收大数据的主动筛选信息,进行递进主动筛选。能够在数据使用时,通过相应的协同终端进行协同分析,并对数据的使用进行记录整理,进行分析被动筛选和使用被动筛选,进而进行大数据分类存储,按照主动筛选信息和分类存储信息,进行大数据的递进主动筛选,实现大数据分类分析的使用协同分析,避免增长的数据不能在一定的时间内分类处理,而影响按照分类进行快速筛选的大数据筛选效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例。
图1示出了本发明实施例提供的方法的流程图。
图2示出了本发明实施例提供的方法中协同终端数据通信的流程图。
图3示出了本发明实施例提供的方法中使用被动筛选的流程图。
图4示出了本发明实施例提供的方法中分析被动筛选的流程图。
图5示出了本发明实施例提供的方法中大数据分类存储的流程图。
图6示出了本发明实施例提供的方法中大数据递进主动筛选的流程图。
图7示出了本发明实施例提供的系统的应用架构图。
图8示出了本发明实施例提供的系统中分析被动筛选单元的结构框图。
图9示出了本发明实施例提供的系统中数据分类存储单元的结构框图。
图10示出了本发明实施例提供的系统中递进主动筛选单元的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
可以理解的是,在现有技术中,大数据环境下的数据筛选与传统数据筛选最大区别在于巨大的数据量及复杂的数据结构,需要对数据进行分析与分类,便于根据筛选需求,匹配不同的分类,便于进行快速筛选,然而随着数据增长的速率越来越快,很难进行单方面的大数据分类分析,导致增长的数据不能在一定的时间内分类处理,影响按照分类进行快速筛选的大数据筛选效果。
为解决上述问题,本发明实施例在协同终端进行数据使用时,接收数据分析信息;进行实时记录和使用被动筛选,得到第一被动筛选结果;进行大数据的分析被动筛选,得到第二被动筛选结果;进行大数据分类存储;接收大数据的主动筛选信息,进行递进主动筛选。能够在数据使用时,通过相应的协同终端进行协同分析,并对数据的使用进行记录整理,进行分析被动筛选和使用被动筛选,进而进行大数据分类存储,按照主动筛选信息和分类存储信息,进行大数据的递进主动筛选,实现大数据分类分析的使用协同分析,避免增长的数据不能在一定的时间内分类处理,而影响按照分类进行快速筛选的大数据筛选效果。
图1示出了本发明实施例提供的方法的流程图。
具体的,一种大数据的筛选方法,所述方法具体包括以下步骤:
步骤S101,对系统中的大数据进行使用监测,若存在协同终端使用系统中的数据时,向所述协同终端发送数据分析信号,接收所述协同终端反馈发送的数据分析信息。
在本发明实施例中,对系统中的大数据进行使用监测,若存在协同终端使用系统中的数据时,接收协同终端发送的数据使用申请,按照数据使用申请,将对应的数据标记为目标数据,且获取协同终端的通信地址,按照通信地址,向协同终端发送数据分析信号,使得协同终端在使用目标数据的过程中,对目标数据进行标签分类分析,得到数据分析信息,并将数据分析信息进行反馈发送,从而接收协同终端反馈发送的数据分析信息。
可以理解的是,随着系统中的数据增长的速率越来越快,很难进行单方面的大数据分类分析,导致增长的数据不能在一定的时间内分类处理,而系统中的大数据可能会被协同终端进行使用,因此可以在协同终端使用数据时,对使用的目标数据进行相应的标签分类分析,从而为系统的分类处理进行一部分的协同分担,并将协同分析的数据进行标记,系统再对没有标记的数据进行单方面的大数据分类分析,其中,标签分类分析具体是对目标数据的类型、产生地址等信息进行分析。
具体的,图2示出了本发明实施例提供的方法中协同终端数据通信的流程图。
其中,在本发明提供的优选实施方式中,所述对系统中的大数据进行使用监测,若存在协同终端使用系统中的数据时,向所述协同终端发送数据分析信号,接收所述协同终端反馈发送的数据分析信息具体包括以下步骤:
步骤S1011,进行数据使用监测,标记进行数据使用的目标数据。
步骤S1012,向使用所述目标数据的协同终端发送数据分析信号。
步骤S1013,接收所述协同终端根据所述数据分析信号反馈发送的数据分析信息。
进一步的,所述大数据的筛选方法还包括以下步骤:
步骤S102,系统对协同终端使用目标数据进行实时记录,生成与多个不同目标数据相关的使用记录信息,根据所述使用记录信息进行大数据的使用被动筛选,得到第一被动筛选结果。
在本发明实施例中,对协同终端使用目标数据进行实时记录,生成与多个不同目标数据相关的使用记录信息,通过对多个使用记录信息进行综合整理,实时更新系统中不同数据的使用频率,生成频率记录信息,进而按照频率记录信息,将系统中的大数据进行使用被动筛选,得到第一被动筛选结果。
可以理解的是,使用被动筛选,是按照系统中数据的使用频率,进行大数据分类筛选的过程,具体可以分为三种不同使用频率区间的筛选标准进行分类筛选。
具体的,图3示出了本发明实施例提供的方法中使用被动筛选的流程图。
其中,在本发明提供的优选实施方式中,所述系统对协同终端使用目标数据进行实时记录,生成与多个不同目标数据相关的使用记录信息,根据所述使用记录信息进行大数据的使用被动筛选,得到第一被动筛选结果具体包括以下步骤:
步骤S1021,进行多个目标数据的实时记录,生成多个使用记录信息。
步骤S1022,对多个所述使用记录信息进行综合整理,生成频率记录信息。
步骤S1023,根据所述频率记录信息进行大数据的使用被动筛选,得到第一被动筛选结果。
进一步的,所述大数据的筛选方法还包括以下步骤:
步骤S103,综合多个所述数据分析信息进行大数据的分析被动筛选,得到第二被动筛选结果。
在本发明实施例中,通过综合多个协同分析和单方面分析的数据分析信息,进行系统中大数据的分类规划,生成分类规划信息,进而按照分类规划信息,对系统中的大数据进行分析被动筛选,得到第二被动筛选结果。
可以理解的是,分析被动筛选,是按照分类规划信息中多个聚类划分的分类标签,将数据进行分类筛选的过程。
具体的,图4示出了本发明实施例提供的方法中分析被动筛选的流程图。
其中,在本发明提供的优选实施方式中,所述综合多个所述数据分析信息进行大数据的分析被动筛选,得到第二被动筛选结果具体包括以下步骤:
步骤S1031,综合多个所述数据分析信息进行分类规划,生成分类规划信息。
步骤S1032,按照所述分类规划信息进行大数据的分析被动筛选,得到第二被动筛选结果。
进一步的,所述大数据的筛选方法还包括以下步骤:
步骤S104,按照所述第一被动筛选结果和所述第二被动筛选结果,进行大数据分类存储,生成分类存储信息。
在本发明实施例中,以第二被动筛选结果为基础分类标准,进行大数据基础分类分析,生成基础分类分析结果,进而以第一被动筛选结果为细化分类标准,在基础分类分析结果的基础上,进行大数据细化分类分析,生成细化分类分析结果,进而综合基础分类分析结果和细化分类分析结果,进行分类存储规划,生成分类存储规划结果,按照分类存储规划结果对系统中的大数据进行相应的分类存储,实时更新生成的分类存储信息。
具体的,图5示出了本发明实施例提供的方法中大数据分类存储的流程图。
其中,在本发明提供的优选实施方式中,所述按照所述第一被动筛选结果和所述第二被动筛选结果,进行大数据分类存储,生成分类存储信息具体包括以下步骤:
步骤S1041,按照所述第二被动筛选结果,进行大数据基础分类分析,生成基础分类分析结果。
步骤S1042,按照所述第一被动筛选结果,进行大数据细化分类分析,生成细化分类分析结果。
步骤S1043,综合所述基础分类分析结果和所述细化分类分析结果,进行分类存储规划,生成分类存储规划结果。
步骤S1044,按照所述分类存储规划结果,进行实时大数据分类存储,实时更新生成的分类存储信息。
进一步的,所述大数据的筛选方法还包括以下步骤:
步骤S105,接收大数据的主动筛选信息,按照所述主动筛选信息和所述分类存储信息,进行大数据的递进主动筛选,生成主动筛选结果。
在本发明实施例中,通过接收主动筛选信息,通过对主动筛选信息进行筛选需求分析,生成筛选需求分析结果,按照筛选需求分析结果,提取筛选需求对应的多个筛选特征,进而按照筛选特征和分类存储信息,对多个分类存储的大数据进行递进筛选的流程进行规划,生成递进筛选规划信息,按照递进筛选规划信息,对系统中相关类型的大数据进行使用频率逐渐降低的递进主动筛选,生成主动筛选结果。
具体的,图6示出了本发明实施例提供的方法中大数据递进主动筛选的流程图。
其中,在本发明提供的优选实施方式中,所述接收大数据的主动筛选信息,按照所述主动筛选信息和所述分类存储信息,进行大数据的递进主动筛选,生成主动筛选结果具体包括以下步骤:
步骤S1051,接收大数据的主动筛选信息。
步骤S1052,对所述主动筛选信息进行分析,提取多个筛选特征。
步骤S1053,按照所述分类存储信息和多个所述筛选特征,进行递进筛选规划,生成递进筛选规划信息。
步骤S1054,按照所述递进筛选规划信息,进行大数据的递进主动筛选,生成主动筛选结果。
进一步的,图7示出了本发明实施例提供的系统的应用架构图。
其中,在本发明提供的又一个优选实施方式中,一种大数据的筛选系统,包括:
协同终端通信单元101,用于对系统中的大数据进行使用监测,若存在协同终端使用系统中的数据时,向所述协同终端发送数据分析信号,接收所述协同终端反馈发送的数据分析信息。
在本发明实施例中,协同终端通信单元101对系统中的大数据进行使用监测,若存在协同终端使用系统中的数据时,接收协同终端发送的数据使用申请,按照数据使用申请,将对应的数据标记为目标数据,且获取协同终端的通信地址,按照通信地址,向协同终端发送数据分析信号,使得协同终端在使用目标数据的过程中,对目标数据进行标签分类分析,得到数据分析信息,并将数据分析信息进行反馈发送,从而接收协同终端反馈发送的数据分析信息。
使用被动筛选单元102,用于系统对协同终端使用目标数据进行实时记录,生成与多个不同目标数据相关的使用记录信息,根据所述使用记录信息进行大数据的使用被动筛选,得到第一被动筛选结果。
在本发明实施例中,使用被动筛选单元102对协同终端使用目标数据进行实时记录,生成与多个不同目标数据相关的使用记录信息,通过对多个使用记录信息进行综合整理,实时更新系统中不同数据的使用频率,生成频率记录信息,进而按照频率记录信息,将系统中的大数据进行使用被动筛选,得到第一被动筛选结果。
分析被动筛选单元103,用于综合多个所述数据分析信息进行大数据的分析被动筛选,得到第二被动筛选结果。
在本发明实施例中,分析被动筛选单元103通过综合多个协同分析和单方面分析的数据分析信息,进行系统中大数据的分类规划,生成分类规划信息,进而按照分类规划信息,对系统中的大数据进行分析被动筛选,得到第二被动筛选结果。
具体的,图8示出了本发明实施例提供的系统中分析被动筛选单元103的结构框图。
其中,在本发明提供的优选实施方式中,所述分析被动筛选单元103具体包括:
分类规划模块1031,用于综合多个所述数据分析信息进行分类规划,生成分类规划信息。
被动筛选模块1032,用于按照所述分类规划信息进行大数据的分析被动筛选,得到第二被动筛选结果。
进一步的,所述大数据的筛选系统还包括:
数据分类存储单元104,用于按照所述第一被动筛选结果和所述第二被动筛选结果,进行大数据分类存储,生成分类存储信息。
在本发明实施例中,数据分类存储单元104以第二被动筛选结果为基础分类标准,进行大数据基础分类分析,生成基础分类分析结果,进而以第一被动筛选结果为细化分类标准,在基础分类分析结果的基础上,进行大数据细化分类分析,生成细化分类分析结果,进而综合基础分类分析结果和细化分类分析结果,进行分类存储规划,生成分类存储规划结果,按照分类存储规划结果对系统中的大数据进行相应的分类存储,实时更新生成的分类存储信息。
具体的,图9示出了本发明实施例提供的系统中数据分类存储单元104的结构框图。
其中,在本发明提供的优选实施方式中,所述数据分类存储单元104具体包括:
基础分类分析模块1041,用于按照所述第二被动筛选结果,进行大数据基础分类分析,生成基础分类分析结果。
细化分类分析模块1042,用于按照所述第一被动筛选结果,进行大数据细化分类分析,生成细化分类分析结果。
分类存储规划模块1043,用于综合所述基础分类分析结果和所述细化分类分析结果,进行分类存储规划,生成分类存储规划结果。
实时分类存储模块1044,用于按照所述分类存储规划结果,进行实时大数据分类存储,实时更新生成的分类存储信息。
进一步的,所述大数据的筛选系统还包括:
递进主动筛选单元105,用于接收大数据的主动筛选信息,按照所述主动筛选信息和所述分类存储信息,进行大数据的递进主动筛选,生成主动筛选结果。
在本发明实施例中,递进主动筛选单元105通过接收主动筛选信息,通过对主动筛选信息进行筛选需求分析,生成筛选需求分析结果,按照筛选需求分析结果,提取筛选需求对应的多个筛选特征,进而按照筛选特征和分类存储信息,对多个分类存储的大数据进行递进筛选的流程进行规划,生成递进筛选规划信息,按照递进筛选规划信息,对系统中相关类型的大数据进行使用频率逐渐降低的递进主动筛选,生成主动筛选结果。
具体的,图10示出了本发明实施例提供的系统中递进主动筛选单元105的结构框图。
其中,在本发明提供的优选实施方式中,所述递进主动筛选单元105具体包括:
信息接收模块1051,用于接收大数据的主动筛选信息。
特征提取模块1052,用于对所述主动筛选信息进行分析,提取多个筛选特征。
筛选规划模块1053,用于按照所述分类存储信息和多个所述筛选特征,进行递进筛选规划,生成递进筛选规划信息。
主动筛选模块1054,用于按照所述递进筛选规划信息,进行大数据的递进主动筛选,生成主动筛选结果。
综上所述,本发明实施例能够在数据使用时,通过相应的协同终端进行协同分析,并对数据的使用进行记录整理,进行分析被动筛选和使用被动筛选,进而进行大数据分类存储,按照主动筛选信息和分类存储信息,进行大数据的递进主动筛选,实现大数据分类分析的使用协同分析,避免增长的数据不能在一定的时间内分类处理,而影响按照分类进行快速筛选的大数据筛选效果。
应该理解的是,虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种大数据的筛选方法,其特征在于,所述方法具体包括以下步骤:
对系统中的大数据进行使用监测,若存在协同终端使用系统中的数据时,向所述协同终端发送数据分析信号,接收所述协同终端反馈发送的数据分析信息;
系统对协同终端使用目标数据进行实时记录,生成与多个不同目标数据相关的使用记录信息,根据所述使用记录信息进行大数据的使用被动筛选,得到第一被动筛选结果;
综合多个所述数据分析信息进行大数据的分析被动筛选,得到第二被动筛选结果;
按照所述第一被动筛选结果和所述第二被动筛选结果,进行大数据分类存储,生成分类存储信息;
接收大数据的主动筛选信息,按照所述主动筛选信息和所述分类存储信息,进行大数据的递进主动筛选,生成主动筛选结果。
2.根据权利要求1所述的大数据的筛选方法,其特征在于,所述对系统中的大数据进行使用监测,若存在协同终端使用系统中的数据时,向所述协同终端发送数据分析信号,接收所述协同终端反馈发送的数据分析信息具体包括以下步骤:
进行数据使用监测,标记进行数据使用的目标数据;
向使用所述目标数据的协同终端发送数据分析信号;
接收所述协同终端根据所述数据分析信号反馈发送的数据分析信息。
3.根据权利要求2所述的大数据的筛选方法,其特征在于,所述系统对协同终端使用目标数据进行实时记录,生成与多个不同目标数据相关的使用记录信息,根据所述使用记录信息进行大数据的使用被动筛选,得到第一被动筛选结果具体包括以下步骤:
进行多个目标数据的实时记录,生成多个使用记录信息;
对多个所述使用记录信息进行综合整理,生成频率记录信息;
根据所述频率记录信息进行大数据的使用被动筛选,得到第一被动筛选结果。
4.根据权利要求1所述的大数据的筛选方法,其特征在于,所述综合多个所述数据分析信息进行大数据的分析被动筛选,得到第二被动筛选结果具体包括以下步骤:
综合多个所述数据分析信息进行分类规划,生成分类规划信息;
按照所述分类规划信息进行大数据的分析被动筛选,得到第二被动筛选结果。
5.根据权利要求1所述的大数据的筛选方法,其特征在于,所述按照所述第一被动筛选结果和所述第二被动筛选结果,进行大数据分类存储,生成分类存储信息具体包括以下步骤:
按照所述第二被动筛选结果,进行大数据基础分类分析,生成基础分类分析结果;
按照所述第一被动筛选结果,进行大数据细化分类分析,生成细化分类分析结果;
综合所述基础分类分析结果和所述细化分类分析结果,进行分类存储规划,生成分类存储规划结果;
按照所述分类存储规划结果,进行实时大数据分类存储,实时更新生成的分类存储信息。
6.根据权利要求1所述的大数据的筛选方法,其特征在于,所述接收大数据的主动筛选信息,按照所述主动筛选信息和所述分类存储信息,进行大数据的递进主动筛选,生成主动筛选结果具体包括以下步骤:
接收大数据的主动筛选信息;
对所述主动筛选信息进行分析,提取多个筛选特征;
按照所述分类存储信息和多个所述筛选特征,进行递进筛选规划,生成递进筛选规划信息;
按照所述递进筛选规划信息,进行大数据的递进主动筛选,生成主动筛选结果。
7.一种大数据的筛选系统,其特征在于,所述系统包括协同终端通信单元、使用被动筛选单元、分析被动筛选单元、数据分类存储单元和递进主动筛选单元,其中:
协同终端通信单元,用于对系统中的大数据进行使用监测,若存在协同终端使用系统中的数据时,向所述协同终端发送数据分析信号,接收所述协同终端反馈发送的数据分析信息;
使用被动筛选单元,用于系统对协同终端使用目标数据进行实时记录,生成与多个不同目标数据相关的使用记录信息,根据所述使用记录信息进行大数据的使用被动筛选,得到第一被动筛选结果;
分析被动筛选单元,用于综合多个所述数据分析信息进行大数据的分析被动筛选,得到第二被动筛选结果;
数据分类存储单元,用于按照所述第一被动筛选结果和所述第二被动筛选结果,进行大数据分类存储,生成分类存储信息;
递进主动筛选单元,用于接收大数据的主动筛选信息,按照所述主动筛选信息和所述分类存储信息,进行大数据的递进主动筛选,生成主动筛选结果。
8.根据权利要求7所述的大数据的筛选系统,其特征在于,所述分析被动筛选单元具体包括:
分类规划模块,用于综合多个所述数据分析信息进行分类规划,生成分类规划信息;
被动筛选模块,用于按照所述分类规划信息进行大数据的分析被动筛选,得到第二被动筛选结果。
9.根据权利要求7所述的大数据的筛选系统,其特征在于,所述数据分类存储单元具体包括:
基础分类分析模块,用于按照所述第二被动筛选结果,进行大数据基础分类分析,生成基础分类分析结果;
细化分类分析模块,用于按照所述第一被动筛选结果,进行大数据细化分类分析,生成细化分类分析结果;
分类存储规划模块,用于综合所述基础分类分析结果和所述细化分类分析结果,进行分类存储规划,生成分类存储规划结果;
实时分类存储模块,用于按照所述分类存储规划结果,进行实时大数据分类存储,实时更新生成的分类存储信息。
10.根据权利要求7所述的大数据的筛选系统,其特征在于,所述递进主动筛选单元具体包括:
信息接收模块,用于接收大数据的主动筛选信息;
特征提取模块,用于对所述主动筛选信息进行分析,提取多个筛选特征;
筛选规划模块,用于按照所述分类存储信息和多个所述筛选特征,进行递进筛选规划,生成递进筛选规划信息;
主动筛选模块,用于按照所述递进筛选规划信息,进行大数据的递进主动筛选,生成主动筛选结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211040592.0A CN115114353B (zh) | 2022-08-29 | 2022-08-29 | 一种大数据的筛选方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211040592.0A CN115114353B (zh) | 2022-08-29 | 2022-08-29 | 一种大数据的筛选方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115114353A CN115114353A (zh) | 2022-09-27 |
CN115114353B true CN115114353B (zh) | 2022-12-13 |
Family
ID=83335260
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211040592.0A Active CN115114353B (zh) | 2022-08-29 | 2022-08-29 | 一种大数据的筛选方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115114353B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9031992B1 (en) * | 2011-09-30 | 2015-05-12 | Emc Corporation | Analyzing big data |
CN104731852A (zh) * | 2014-12-16 | 2015-06-24 | 芜湖乐锐思信息咨询有限公司 | 一种大数据系统 |
CN105608144A (zh) * | 2015-12-17 | 2016-05-25 | 山东鲁能软件技术有限公司 | 一种基于多层模型迭代的大数据分析平台装置及方法 |
CN106649773A (zh) * | 2016-12-27 | 2017-05-10 | 北京大数有容科技有限公司 | 一种大数据协同分析工具平台 |
CN108399203A (zh) * | 2018-01-31 | 2018-08-14 | 合肥和钧正策信息技术有限公司 | 基于大数据平台的数据筛选系统 |
-
2022
- 2022-08-29 CN CN202211040592.0A patent/CN115114353B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9031992B1 (en) * | 2011-09-30 | 2015-05-12 | Emc Corporation | Analyzing big data |
CN104731852A (zh) * | 2014-12-16 | 2015-06-24 | 芜湖乐锐思信息咨询有限公司 | 一种大数据系统 |
CN105608144A (zh) * | 2015-12-17 | 2016-05-25 | 山东鲁能软件技术有限公司 | 一种基于多层模型迭代的大数据分析平台装置及方法 |
CN106649773A (zh) * | 2016-12-27 | 2017-05-10 | 北京大数有容科技有限公司 | 一种大数据协同分析工具平台 |
CN108399203A (zh) * | 2018-01-31 | 2018-08-14 | 合肥和钧正策信息技术有限公司 | 基于大数据平台的数据筛选系统 |
Also Published As
Publication number | Publication date |
---|---|
CN115114353A (zh) | 2022-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109032829B (zh) | 数据异常检测方法、装置、计算机设备及存储介质 | |
CN111897861A (zh) | 一种内容推荐方法、装置、计算机设备及存储介质 | |
CN109471853B (zh) | 数据降噪方法、装置、计算机设备和存储介质 | |
Giannakis et al. | Signal processing for big data [from the guest editors] | |
CN115114353B (zh) | 一种大数据的筛选方法和系统 | |
CN115587898B (zh) | 一种基于云服务的财务数据安全共享方法及系统 | |
CN113423113A (zh) | 无线参数优化处理方法、装置及服务器 | |
CN113223532A (zh) | 客服通话的质检方法、装置、计算机设备及存储介质 | |
CN115357689B (zh) | 分布式日志的数据处理方法、装置、介质及计算机设备 | |
CN115827770A (zh) | 数据的可视化方法和装置 | |
CN115062201A (zh) | 一种数字化材料信息分类库存管理系统及其管理方法 | |
CN108108444B (zh) | 一种企业业务单元自适应系统及其实现方法 | |
CN108986786B (zh) | 语音交互设备评级方法、系统、计算机设备和存储介质 | |
CN114050978B (zh) | 一种通信负载大数据调节方法和系统 | |
CN115952325B (zh) | 一种基于大数据平台的数据汇集方法及装置 | |
CN114817231B (zh) | 一种冗余数据识别过滤方法及系统 | |
CN114372536A (zh) | 未知网络流量数据识别方法、装置、计算机设备和存储介质 | |
CN114884843B (zh) | 一种基于网络视听新媒体的流量监测系统 | |
CN115098538B (zh) | 一种数据库查询优化方法及系统 | |
CN114707942A (zh) | 一种物流数据批量处理方法及系统 | |
CN115633303B (zh) | 计算机网络管理方法和系统 | |
CN115268511B (zh) | 一种工业智能终端显示器调节方法及系统 | |
CN116347482B (zh) | 一种网络自动调优方法及系统 | |
CN114217876A (zh) | 一种高效的客户数据处理系统及方法 | |
CN115051955B (zh) | 一种基于三重特征选择和增量学习的在线流分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |