CN111414395B - 数据处理方法、系统和计算机设备 - Google Patents
数据处理方法、系统和计算机设备 Download PDFInfo
- Publication number
- CN111414395B CN111414395B CN202010226478.1A CN202010226478A CN111414395B CN 111414395 B CN111414395 B CN 111414395B CN 202010226478 A CN202010226478 A CN 202010226478A CN 111414395 B CN111414395 B CN 111414395B
- Authority
- CN
- China
- Prior art keywords
- data
- target
- memory
- filter
- data processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 84
- 238000012216 screening Methods 0.000 claims abstract description 10
- 238000012800 visualization Methods 0.000 claims abstract description 9
- 238000001914 filtration Methods 0.000 claims description 34
- 238000004590 computer program Methods 0.000 claims description 10
- 238000000034 method Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供了一种数据处理方法，所述方法包括：接收数据处理请求，所述数据处理请求用于请求统计目标数据表中的目标数据；根据所述数据处理请求，从所述目标数据表中获取多个待处理数据；将所述多个待处理数据输入到数据过滤器中；通过所述数据过滤器并根据所述数据处理请求，筛选出所述多个待处理数据中的所述目标数据；通过数据过滤器利用目标误差参数对所述目标数据分析得到所述目标数据对应的元数据信息，其中，所述目标误差参数用于调整数据的精度；及将所述目标数据的元数据信息进行可视化处理，以显示到显示屏的目标显示区域。本发明实施例不仅在计算机性能和数据处理效率之间取得了平衡且提高了数据处理效率。
Description
技术领域
本发明实施例涉及数据处理领域，尤其涉及一种数据处理方法、系统、计算机设备及计算机可读存储介质。
背景技术
由于在数据仓库系统中，经常需要进行数据仓库的数据分布变化的监控，得到的监控数据可以用于数据仓库的元数据展示，在表数量比较多的时候，或者表中类型比较多的时候，计算机在处理这类数据时会消耗过多的计算机性能或者在计算机性能不足时数据处理速度缓慢，严重时可能会造成计算机的系统崩溃。
因此，如何在计算机性能和数据处理效率之间取得平衡及提高数据处理效率，是当前要解决的技术问题之一。
发明内容
有鉴于此，有必要提供一种数据处理方法、系统、计算机设备及计算机可读存储介质，以解决在计算机性能不足时导致数据处理速度缓慢以及数据处理效率低等技术问题。
为实现上述目的，本发明实施例提供了一种数据处理方法，所述方法步骤包括：
接收数据处理请求，所述数据处理请求用于请求统计目标数据表中的目标数据；
根据所述数据处理请求，从所述目标数据表中获取多个待处理数据；
将所述多个待处理数据输入到数据过滤器中；
通过所述数据过滤器并根据所述数据处理请求，筛选出所述多个待处理数据中的所述目标数据；
通过数据过滤器利用目标误差参数对所述目标数据分析得到所述目标数据对应的元数据信息，其中，所述元数据信息可以用于描述所述目标数据的属性，所述目标数据的属性包括目标数据的数据量，所述目标误差参数用于调整数据的精度；及
将所述目标数据的元数据信息进行可视化处理，以显示到显示屏的目标显示区域。
示例性的，通过数据过滤器利用目标误差参数对所述目标数据分析得到所述目标数据对应的元数据信息的步骤，包括：
根据所述多个待处理数据确定当前运行内存的剩余内存大小；
根据所述剩余内存大小配置目标误差参数；及
基于所述目标误差参数对所述目标数据进行数据处理，以得到所述目标数据的元数据信息。
示例性的，根据所述剩余内存大小配置目标误差参数的步骤，包括：
判断当前运行内存的所述剩余内存大小是否小于预设阈值，所述预设阈值为预先设定的内存大小；
若所述剩余内存大小小于所述预设阈值，则将预配误差参数作为所述目标误差参数；
若所述剩余内存大小不小于所述预设阈值，则根据所述当前运行内存的最大内存大小m与所述当前运行内存的已用内存大小n确定所述目标误差参数p：
示例性的，所述方法还包括，配置所述数据过滤器，所述数据过滤器的配置步骤，包括：
从数据源中获取多个原始数据；
对所述多个原始数据进行分类，以得到多个数据集，其中，每个数据集对应一个类别；
根据每个数据集对应的类别，对各个数据集中的每个原始数据进行类别标注，以得到多个类别数据；
提取每个类别数据的类别关键词，以得到多个类别关键词；
将所述多个类别数据和所述多个类别关键词存储到预先获取的布隆过滤器所关联的过滤数据库中，以得到初始数据过滤器；
根据所述初始数据过滤器的当前运行内存的最大值，确定所述初始数据过滤器的预配误差参数；
将所述初始数据过滤器的预配误差参数存储所述初始数据过滤器所关联的过滤数据库中，以生成所述数据过滤库。
示例性的，从数据源中获取原始数据的步骤，包括：已预定频率从数据源中获取原始数据，其中，所述预订频率的操作可以是在业务较少时进行或是在有新数据存储到所述布隆过滤器所关联的过滤数据库时。
为实现上述目的，本发明实施例还提供了一种数据处理系统，包括：
接收模块，用于接收数据处理请求，所述数据处理请求用于请求统计目标数据表中的目标数据；
获取模块，用于根据所述数据处理请求，从所述目标数据表中获取多个待处理数据；
输入模块，用于将所述多个待处理数据输入到数据过滤器中；
筛选模块，用于通过所述数据过滤器并根据所述数据处理请求，筛选出所述多个待处理数据中的所述目标数据
分析模块，用于通过数据过滤器利用目标误差参数对所述目标数据分析得到所述目标数据对应的元数据信息，其中，所述元数据信息可以用于描述所述目标数据的属性，所述目标数据的属性包括目标数据的数据量，所述目标误差参数用于调整数据的精度；及
显示模块，用于将所述目标数据的元数据信息进行可视化处理，以显示到显示屏的目标显示区域。
示例性的，所述过滤模块还用于：
根据所述多个待处理数据确定当前运行内存的剩余内存大小；
根据所述剩余内存大小配置目标误差参数；及
基于所述目标误差参数对所述目标数据进行数据处理，以得到所述目标数据的元数据信息。
示例性的，所述过滤模块还用于：
判断当前运行内存的所述剩余内存大小是否小于预设阈值，所述预设阈值为预先设定的内存大小；
若所述剩余内存大小小于所述预设阈值，则将预配误差参数作为所述目标误差参数；
若所述剩余内存大小不小于所述预设阈值，则根据所述当前运行内存的最大内存大小m与所述当前运行内存的已用内存大小n确定所述目标误差参数p：
为实现上述目的，本发明实施例还提供了一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被处理器执行时实现如上述的数据处理方法的步骤。
为实现上述目的，本发明实施例还提供了一种计算机可读存储介质所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如上述的数据处理方法的步骤。
本发明实施例提供的数据处理方法、系统、计算机设备及计算机可读存储介质，为数据表中的提供了有效的数据处理方法，本发明实施例不仅在计算机性能和数据处理效率之间取得了平衡且提高了数据处理效率。
附图说明
图1为本发明实施例数据处理方法的流程示意图。
图2为本发明数据处理系统实施例二的程序模块示意图。
图3为本发明计算机设备实施例三的硬件结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
以下实施例中，将以计算机设备2为执行主体进行示例性描述。
实施例一
参阅图1，示出了本发明实施例之数据处理方法的步骤流程图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备2为执行主体进行示例性描述。具体如下。
步骤S100，接收数据处理请求，所述数据处理请求用于请求统计目标数据表中的目标数据。
所述处理请求可以是用户通过用户客户终端发送给数据过滤系统，所述用户客户端可以是用户客户终端可以是移动电话、平板个人计算机(tablet personal computer)、膝上型计算机(laptop computer)等设备。所述数据过滤系统可以应用于计算机设备2，所述计算机设备2根据所述数据处理请求对所述目标数据表中的目标数据进数据处理。所述用户可以通过用户终端向计算机设备2发送所述对目标数据表的中目标数据的数据处理请求。
步骤S102，根据所述数据处理请求，从所述目标数据表中获取多个待处理数据。
所述目标数据表中包括有多个待处理数据，计算机设备2可根据所述数据处理请求，从所述目标数据表中获取所述多个待处理数据，其中，所述目标数据表可以通过HiveSQL从存储数据库中获取。
步骤S104，将所述多个待处理数据输入到数据过滤器中。
计算机设备2得到所述多个待处理数据后，会将所述多个待处理数据输入到预先配置好的所述数据过滤器中；其中，所述数据过滤器可以基于布隆过滤器得到。
步骤S106，通过所述数据过滤器并根据所述数据处理请求，筛选出所述多个待处理数据中的所述目标数据。
所述多个待处理数据中包括多个目标数据，所述述数据过滤器可以根据所述数据处理请求从所述多个待处理数据中筛选出多个目标数据。
步骤S108，通过数据过滤器利用目标误差参数对所述目标数据分析得到所述目标数据对应的元数据信息，其中，所述元数据信息可以用于描述所述目标数据的属性，所述目标数据的属性包括目标数据的数据量，所述目标误差参数用于调整数据的精度。
所述过滤处理包括对所述多个待处理数据的筛选和统计。例如，对所述多个待处理数据的筛选，可以通过所述数据过滤器并根据所述数据处理请求，筛选出所述多个待处理数据中的所述目标数据。对所述目标数据的数量进行统计，并将该统计结果作为所述目标数据的元数据信息。在一些实施中，用户需要从目标数据表中获取以“现有客户”的数量信息，那么，可以先从目标数据表中获取多个客户，然后根据数据过滤器从所述多个用户中筛选出多个现有用户出来，然后根据所述数据过滤器对目标客户数量进行统计以得到现有用户的数量信息。
示例性的，所述步骤S108还可以进一步包括：
步骤S108a，根据所述多个待处理数据确定当前运行内存的剩余内存大小。
所述当前运行内存的剩余内存大小为所述计算机设备2的当前可运行内存的剩余内存大小。所述可用运行内存大小对所述数据过滤器的过滤速度会有影响，不难理解，可用运行内存越大所述数据过滤器对待处理数据的过滤速度会相对较快。根据所述计算机设备2的最大内存运行内存、所述多个待处理数据以及其他程序确定。
步骤S108b，根据所述剩余内存大小配置目标误差参数。
由于待处理数据的数量会不断变化，而计算机设备2运行内存是固定的，所以随着所述待处理数据的数量不断变化，所述计算机设备2运行内存的剩余内存大小也会跟着变化。当所述待处理数据过多，就会导致所述剩余内存大小就会过小，从而会影响所述数据过滤器对待处理数据的过滤速度。其中，所述数据过滤器对所述目标数据的元数据信息的过滤精度越大，所述计算机设备2的运行内存占用也越大。所以为了保证所述数据过滤器对待处理数据的过滤速度，所述计算机设备2可以所述剩余内存大小配置目标误差参数，即，当所述剩余内存大小变小，则将降低所述目标数据的元数据信息的数据信息精度。
步骤S108c，基于所述目标误差参数对所述目标数据进行数据处理，以得到所述目标数据的元数据信息。
所述数据过滤器会根据所述目标误差参数，对所述目标数据进行的数据处理，所述数据过滤器根据不同的目标误差参数，对相同的目标数据处理得到的所述目标数据对应的元数据信息也会不同。
示例性的，所述步骤S108b还可以进一步包括：
判断当前运行内存的所述剩余内存大小是否小于预设阈值，所述预设阈值为预先设定的内存大小；若所述剩余内存大小小于所述预设阈值，则将预配误差参数作为所述目标误差参数；若所述剩余内存大小不小于所述预设阈值，则根据所述当前运行内存的最大内存大小m与所述当前运行内存的已用内存大小n确定所述目标误差参数p：
所述数据过滤器会基于所述目标误差参数对所述目标数据进行数据处理，为了在当前运行内存的所述剩余内存较小时，也可以保证所述数据过滤器的对目标数据的过滤速度，所述计算机设备2会预先配置一个预设阈值，当所述剩余内存大小小于所述预设阈值，说明此时在保证目标数据的过滤精度的同时不会影响过滤速度，这时可以将预配误差参数作为所述目标误差参数，所述预配误差参数为预先计算好的；当所述剩余内存大小不小于所述预设阈值，此时在保证目标数据的过滤精度的情况下会影响过滤速度，所以需要根据所述当前运行内存的最大内存大小m与所述当前运行内存的已用内存大小n确定所述目标误差参数p：
示例性的，所述计算计设备2可以以预定的时间频率判断当前运行内存的所述剩余内存大小是否小于预设阈值。
步骤S110，将所述目标数据的元数据信息进行可视化处理，以显示到显示屏的目标显示区域。
示例性的，通过计算机设备2对所述目标数据的元数据信息进行可视化处理，将所述可视化处理后的元数据信息发送到送到目标设备，以通过所述目标设备的目标显示区域显示所述可视化处理后的元数据信息。在一些实施例中，也可将所述元数据信息进行数据文本化，并实现文本导出，其中，还可根据用户需求将所述元数据信息导出成不同格式的文本，以方便用户对所述目标数据的元数据信息的查询使用。
示例性的，所述方法还可以进一步包括，从数据源中获取多个原始数据；对所述多个原始数据进行分类，以得到多个数据集，其中，每个数据集对应一个类别；根据每个数据集对应的类别，对各个数据集中的每个原始数据进行类别标注，以得到多个类别数据；提取每个类别数据的类别关键词，以得到多个类别关键词；将所述多个类别数据和所述多个类别关键词存储到预先获取的布隆过滤器所关联的过滤数据库中，以得到初始数据过滤器；根据所述初始数据过滤器的当前运行内存的最大值，确定所述初始数据过滤器的预配误差参数；将所述初始数据过滤器的预配误差参数存储所述初始数据过滤器所关联的过滤数据库中，以生成所述数据过滤库。
示例性的，所述方法还可以进一步包括：以预订频率从数据源中获取原始数据，其中，所述预订频率的操作可以是在业务较少时进行或是在有新数据存储到所述布隆过滤器所关联的过滤数据库时。
实施例二
图2为本发明数据处理系统实施例二的程序模块示意图。数据处理系统20可以包括或被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本发明，并可实现上述数据处理方法。本发明实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序本身更适合于描述数据处理系统20在存储介质中的执行过程。以下描述将具体介绍本实施例各程序模块的功能：
接收模块200，用于接收数据处理请求，所述数据处理请求用于请求统计目标数据表中的目标数据。
获取模块202，用于根据所述数据处理请求，从所述目标数据表中获取多个待处理数据。
输入模块204，用于将所述多个待处理数据输入到数据过滤器中。
筛选模块206，用于通过所述数据过滤器并根据所述数据处理请求，筛选出所述多个待处理数据中的所述目标数据
分析模块208，通过数据过滤器利用目标误差参数对所述目标数据分析得到所述目标数据对应的元数据信息，其中，所述元数据信息可以用于描述所述目标数据的属性，所述目标数据的属性包括目标数据的数据量，所述目标误差参数用于调整数据的精度。
过滤模块，用于通过所述数据过滤器对所述多个待处理数据进行过滤处理，以得到所述目标数据的元数据信息。
示例性的，所述过滤模块208还用于：根据所述多个待处理数据确定当前运行内存的剩余内存大小；根据所述剩余内存大小配置目标误差参数；及基于所述目标误差参数对所述目标数据进行数据处理，以得到所述目标数据的元数据信息。
示例性的，所述过滤模块208还用于：判断当前运行内存的所述剩余内存大小是否小于预设阈值，所述预设阈值为预先设定的内存大小；若所述剩余内存大小小于所述预设阈值，则将预配误差参数作为所述目标误差参数；若所述剩余内存大小不小于所述预设阈值，则根据所述当前运行内存的最大内存大小m与所述当前运行内存的已用内存大小n确定所述目标误差参数p：
显示模块210，用于将所述目标数据的元数据信息进行可视化处理，以显示到显示屏的目标显示区域。
示例性的，所述系统还可以进一步包括：从数据源中获取多个原始数据；对所述多个原始数据进行分类，以得到多个数据集，其中，每个数据集对应一个类别；根据每个数据集对应的类别，对各个数据集中的每个原始数据进行类别标注，以得到多个类别数据；提取每个类别数据的类别关键词，以得到多个类别关键词；将所述多个类别数据和所述多个类别关键词存储到预先获取的布隆过滤器所关联的过滤数据库中，以得到初始数据过滤器；根据所述初始数据过滤器的当前运行内存的最大值，确定所述初始数据过滤器的预配误差参数；将所述初始数据过滤器的预配误差参数存储所述初始数据过滤器所关联的过滤数据库中，以生成所述数据过滤库。。
示例性的，所述系统还可以进一步包括：已预定频率从数据源中获取原始数据，其中，所述预订频率的操作可以是在业务较少时进行或是在有新数据存储到所述布隆过滤器所关联的过滤数据库时。
实施例三
参阅图3，是本发明实施例三之计算机设备的硬件架构示意图。本实施例中，所述计算机设备2是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。该计算机设备2可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图所示，所述计算机设备2至少包括，但不限于，可通过系统总线相互通信连接存储器21、处理器22、网络接口23、以及数据处理系统20。
本实施例中，存储器21至少包括一种类型的计算机可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器21可以是计算机设备2的内部存储单元，例如该计算机设备2的硬盘或内存。在另一些实施例中，存储器21也可以是计算机设备2的外部存储设备，例如该计算机设备2上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。当然，存储器21还可以既包括计算机设备2的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算机设备2的操作系统和各类应用软件，例如实施例二的数据处理系统20的程序代码等。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备2的总体操作。本实施例中，处理器22用于运行存储器21中存储的程序代码或者处理数据，例如运行数据处理系统20，以实现实施例一的数据处理方法。
所述网络接口23可包括无线网络接口或有线网络接口，该网络接口23通常用于在所述计算机设备2与其他电子装置之间建立通信连接。例如，所述网络接口23用于通过网络将所述计算机设备2与外部终端相连，在所述计算机设备2与外部终端之间的建立数据传输通道和通信连接等。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communication，GSM)、宽带码分多址(WidebandCode Division Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是，图3仅示出了具有部件20-23的计算机设备2，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。
在本实施例中，存储于存储器21中的数据处理系统20还可以被分割为一个或者多个程序模块，所述一个或者多个程序模块被存储于存储器21中，并由一个或多个处理器(本实施例为处理器22)所执行，以完成本发明。
例如，图2示出了本发明实施例二之所述实现数据处理系统20的程序模块示意图，该实施例中，所述数据处理系统20可以被划分为接收模块200、获取模块202、输入模块204、筛选模块206、分析模块208和显示模块210。其中，本发明所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述所述数据处理系统20在所述计算机设备2中的执行过程。所述程序模块200-210的具体功能在实施例二中已有详细描述，在此不再赘述。
实施例四
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于数据处理系统20，被处理器执行时实现实施例一的数据处理方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (6)
1.一种数据处理方法，其特征在于，所述方法包括：
接收数据处理请求，所述数据处理请求用于请求统计目标数据表中的目标数据；
根据所述数据处理请求，从所述目标数据表中获取多个待处理数据；
将所述多个待处理数据输入到数据过滤器中；
通过所述数据过滤器并根据所述数据处理请求，筛选出所述多个待处理数据中的所述目标数据；
通过数据过滤器利用目标误差参数对所述目标数据分析得到所述目标数据对应的元数据信息，其中，所述元数据信息可以用于描述所述目标数据的属性，所述目标数据的属性包括目标数据的数据量，所述目标误差参数用于调整数据的精度；及
将所述目标数据的元数据信息进行可视化处理，以显示到显示屏的目标显示区域；
其中，通过数据过滤器利用目标误差参数对所述目标数据分析得到所述目标数据对应的元数据信息的步骤，包括：
根据所述多个待处理数据确定当前运行内存的剩余内存大小；
根据所述剩余内存大小配置目标误差参数；及
基于所述目标误差参数对所述目标数据进行数据处理，以得到所述目标数据的元数据信息；
其中，根据所述剩余内存大小配置目标误差参数的步骤，包括：
判断当前运行内存的所述剩余内存大小是否小于预设阈值，所述预设阈值为预先设定的内存大小；
若所述剩余内存大小小于所述预设阈值，则将预配误差参数作为所述目标误差参数；
若所述剩余内存大小不小于所述预设阈值，则根据所述当前运行内存的最大内存大小m与所述当前运行内存的已用内存大小n确定所述目标误差参数p：
2.如权利要求1所述的数据处理方法，其特征在于，所述方法还包括，配置所述数据过滤器，所述数据过滤器的配置步骤，包括：
从数据源中获取多个原始数据；
对所述多个原始数据进行分类，以得到多个数据集，其中，每个数据集对应一个类别；
根据每个数据集对应的类别，对各个数据集中的每个原始数据进行类别标注，以得到多个类别数据；
提取每个类别数据的类别关键词，以得到多个类别关键词；
将所述多个类别数据和所述多个类别关键词存储到预先获取的布隆过滤器所关联的过滤数据库中，以得到初始数据过滤器；
根据所述初始数据过滤器的当前运行内存的最大值，确定所述初始数据过滤器的预配误差参数；
将所述初始数据过滤器的预配误差参数存储所述初始数据过滤器所关联的过滤数据库中，以生成所述数据过滤库。
3.如权利要求2所述的数据处理方法，其特征在于，从数据源中获取原始数据的步骤，包括：以预定频率从数据源中获取原始数据，其中，所述预定频率的操作可以是在业务较少时进行或是在有新数据存储到所述布隆过滤器所关联的过滤数据库时。
4.一种数据处理系统，其特征在于，包括：
接收模块，用于接收数据处理请求，所述数据处理请求用于请求统计目标数据表中的目标数据；
获取模块，用于根据所述数据处理请求，从所述目标数据表中获取多个待处理数据；
输入模块，用于将所述多个待处理数据输入到数据过滤器中；
筛选模块，用于通过所述数据过滤器并根据所述数据处理请求，筛选出所述多个待处理数据中的所述目标数据
分析模块，用于通过数据过滤器利用目标误差参数对所述目标数据分析得到所述目标数据对应的元数据信息，其中，所述元数据信息可以用于描述所述目标数据的属性，所述目标数据的属性包括目标数据的数据量，所述目标误差参数用于调整数据的精度；及
显示模块，用于将所述目标数据的元数据信息进行可视化处理，以显示到显示屏的目标显示区域；
其中，所述分析模块还用于：
根据所述多个待处理数据确定当前运行内存的剩余内存大小；
根据所述剩余内存大小配置目标误差参数；及
基于所述目标误差参数对所述目标数据进行数据处理，以得到所述目标数据的元数据信息；
其中，所述过滤模块还用于：
判断当前运行内存的所述剩余内存大小是否小于预设阈值，所述预设阈值为预先设定的内存大小；
若所述剩余内存大小小于所述预设阈值，则将预配误差参数作为所述目标误差参数；
若所述剩余内存大小不小于所述预设阈值，则根据所述当前运行内存的最大内存大小m与所述当前运行内存的已用内存大小n确定所述目标误差参数p：
5.一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3中任一项所述的数据处理方法的步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如权利要求1至3中任一项所述的数据处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010226478.1A CN111414395B (zh) | 2020-03-27 | 2020-03-27 | 数据处理方法、系统和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010226478.1A CN111414395B (zh) | 2020-03-27 | 2020-03-27 | 数据处理方法、系统和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111414395A CN111414395A (zh) | 2020-07-14 |
| CN111414395B true CN111414395B (zh) | 2024-04-30 |
Family
ID=71493398
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010226478.1A Active CN111414395B (zh) | 2020-03-27 | 2020-03-27 | 数据处理方法、系统和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111414395B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112035551A (zh) * | 2020-09-01 | 2020-12-04 | 平安资产管理有限责任公司 | 时间序列数据转换方法、系统、计算机设备和存储介质 |
| CN112069162B (zh) * | 2020-11-10 | 2021-02-26 | 太平金融科技服务（上海）有限公司 | 流计算的数据处理方法、装置、计算机设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006106173A1 (en) * | 2005-04-06 | 2006-10-12 | Nokia Corporation | A method and a device for visual management of metadata |
| CN104657412A (zh) * | 2013-11-21 | 2015-05-27 | 商业对象软件有限公司 | 用于指定和实现目标的推荐系统 |
| CN109145027A (zh) * | 2017-06-19 | 2019-01-04 | 中兴通讯股份有限公司 | 数据统计方法、装置、设备及计算机可读存储介质 |
| CN110471954A (zh) * | 2019-07-29 | 2019-11-19 | 北京百分点信息科技有限公司 | 一种数据挖掘方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110119100A1 (en) * | 2009-10-20 | 2011-05-19 | Jan Matthias Ruhl | Method and System for Displaying Anomalies in Time Series Data |
-
2020
- 2020-03-27 CN CN202010226478.1A patent/CN111414395B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006106173A1 (en) * | 2005-04-06 | 2006-10-12 | Nokia Corporation | A method and a device for visual management of metadata |
| CN104657412A (zh) * | 2013-11-21 | 2015-05-27 | 商业对象软件有限公司 | 用于指定和实现目标的推荐系统 |
| CN109145027A (zh) * | 2017-06-19 | 2019-01-04 | 中兴通讯股份有限公司 | 数据统计方法、装置、设备及计算机可读存储介质 |
| CN110471954A (zh) * | 2019-07-29 | 2019-11-19 | 北京百分点信息科技有限公司 | 一种数据挖掘方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111414395A (zh) | 2020-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107844634B (zh) | 多元通用模型平台建模方法、电子设备及计算机可读存储介质 | |
| CN111447150A (zh) | 访问请求限流方法、服务器及存储介质 | |
| CN109672888B (zh) | 图片压缩方法、设备及计算机可读存储介质 | |
| CN111414395B (zh) | 数据处理方法、系统和计算机设备 | |
| CN111756644B (zh) | 热点限流方法、系统、设备及存储介质 | |
| CN110175157B (zh) | 一种列存储文件的查询方法及查询装置 | |
| CN110162540B (zh) | 区块链账本数据的查询方法、电子装置及存储介质 | |
| CN109033165A (zh) | 一种数据展示方法、计算机可读存储介质及终端设备 | |
| CN110191097B (zh) | 登录页面安全性的检测方法、系统、设备及存储介质 | |
| CN111476375A (zh) | 一种确定识别模型的方法、装置、电子设备及存储介质 | |
| CN108805725B (zh) | 风险事件确认方法、服务器及计算机可读存储介质 | |
| CN112367384B (zh) | 基于Kafka集群的动态限速方法、装置以及计算机设备 | |
| CN112035551A (zh) | 时间序列数据转换方法、系统、计算机设备和存储介质 | |
| CN111767262A (zh) | 日志展示方法、装置、设备及存储介质 | |
| CN111552712A (zh) | 报表数据提取方法、装置及计算机设备 | |
| CN108519984B (zh) | 天气数据处理方法、服务器及计算机可读存储介质 | |
| CN106681894B (zh) | 智能设备的监控方法和监控装置 | |
| CN108429632B (zh) | 一种业务监控方法和装置 | |
| CN114817152A (zh) | 切片文件的查询方法与系统 | |
| CN112333040B (zh) | 一种流量分离方法、装置、存储介质和计算机设备 | |
| CN109885710B (zh) | 基于差分演化算法的用户画像刻画方法及服务器 | |
| CN112115175B (zh) | 云服务产品处理方法和装置、电子设备及存储介质 | |
| CN113392131A (zh) | 数据处理方法、装置及计算机设备 | |
| CN111131393A (zh) | 用户活跃度数据统计方法、电子装置及存储介质 | |
| CN112948370B (zh) | 数据分类方法、装置以及计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |