CN111966720A - 一种数据处理方法及相关设备 - Google Patents
一种数据处理方法及相关设备 Download PDFInfo
- Publication number
- CN111966720A CN111966720A CN202010748141.7A CN202010748141A CN111966720A CN 111966720 A CN111966720 A CN 111966720A CN 202010748141 A CN202010748141 A CN 202010748141A CN 111966720 A CN111966720 A CN 111966720A
- Authority
- CN
- China
- Prior art keywords
- target
- statistical
- database
- data processing
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 76
- 238000004458 analytical method Methods 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000001914 filtration Methods 0.000 claims abstract description 31
- 238000003860 storage Methods 0.000 claims description 21
- 238000011022 operating instruction Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 12
- 238000007405 data analysis Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000008878 coupling Effects 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
- G06F16/2445—Data retrieval commands; View definitions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种数据处理方法及相关设备，在进行数据处理时，无需自行编写SQL语句，提高数据处理的效率。该方法包括：确定目标统计报表数据集，所述目标统计报表数据集为待分析的统计报表数据集；确定统计维度、统计指标以及过滤条件；基于所述统计维度、所述统计指标以及所述过滤条件构建目标结构化查询语言SQL语句；根据所述目标SQL语句对所述目标统计报表数据集进行运算处理，得到分析结果。
Description
技术领域
本申请涉及通信领域，尤其涉及一种数据处理方法及相关设备。
背景技术
随着互联网与各个行业的结合，各个行业都有使用软件及服务(Service as aService，saas)平台的需求。
在数据分析领域，传统的方式是使用数据库联机分析处理(Online AnalyticalProcessing，OLAP)。但是，基于mySQL以及Oracle等传统数据库的OLAP，支持的数据量小，需要用户编写SQL，导致数据库联机分析的效率过低。
发明内容
本申请提供了一种数据处理方法及相关设备，在进行数据分析处理时，无自行编写SQL语句，提高数据分析处理的效率。
本申请第一方面提供了一种数据处理方法，包括：
确定目标统计报表数据集，所述目标统计报表数据集为待分析的统计报表数据集；
确定统计维度、统计指标以及过滤条件；
基于所述统计维度、所述统计指标以及所述过滤条件构建目标结构化查询语言SQL语句；
根据所述目标SQL语句对所述目标统计报表数据集进行运算处理，得到分析结果。
可选地，所述根据所述目标SQL语句对所述目标统计报表数据进行进行运算处理，得到分析结果包括：
基于数据库中的多个实例节点，通过所述目标SQL语句对所述目标统计报表数据集进行并行数据处理，所述数据库中的数据分布式存储在多个PostgreSQL数据库实例节点中；
通过目标主节点对数据处理后的结果进行汇总，得到所述分析结果，所述目标主节点为所述数据库中的单独的主节点。
可选地，所述方法还包括：
接收用户的配置指令；
根据所述用户的配置指令对所述数据库中的数据进行同步更新。
可选地，所述方法还包括：
接收用户的操作指令；
根据所述用户的操作指令对所述数据库中的PostgreSQL数据库实例节点以及所述数据库的计算资源进行横向扩展。
可选地，所述方法还包括：
展示所述分析结果。
本申请第二方面提供了一种数据处理装置，包括：
第一确定单元，用于确定目标统计报表数据集，所述目标统计报表数据集为待分析的统计报表数据集；
第二确定单元，用于确定统计维度、统计指标以及过滤条件；
构建单元，用于基于所述统计维度、所述统计指标以及所述过滤条件构建目标结构化查询语言SQL语句；
分析处理单元，用于根据所述目标SQL语句对所述目标统计报表数据集进行运算处理，得到分析结果。
可选地，所述分析处理单元具体用于：
基于数据库中的多个实例节点，通过所述目标SQL语句对所述目标统计报表数据集进行并行数据处理，所述数据库中的数据分布式存储在多个PostgreSQL数据库实例节点中；
通过目标主节点对数据处理后的结果进行汇总，得到所述分析结果，所述目标主节点为所述数据库中的单独的主节点。
可选地，所述分析处理单元还用于：
接收用户的配置指令；
根据所述用户的配置指令对所述数据库中的数据进行同步更新。
可选地，所述分析处理单元还用于：
接收用户的操作指令；
根据所述用户的操作指令对所述数据库中的PostgreSQL数据库实例节点以及所述数据库的计算资源进行横向扩展。
可选地，所述装置还包括：
展示单元，用于展示所述分析结果。
本申请第三方面提供了一种计算机装置，包括：至少一个连接的处理器、存储器和收发器；所述存储器用于存储程序代码，所述程序代码由所述处理器加载并执行以实现上述第一方面所述的数据处理方法的步骤。
本申请第四方面提供了一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使得计算机执行上述第一方面所述的数据处理方法的步骤。
综上所述，可以看出，本申请提供的实施例中，数据处理装置确定目标统计报表数据集，目标统计报表数据集为待分析的统计报表数据集；确定统计维度、统计指标以及过滤条件；基于统计维度、统计指标以及过滤条件构建目标结构化查询语言SQL语句；根据目标SQL语句对目标统计报表数据集进行运算处理，得到分析结果。本申请中，在进行数据分析处理时，无需自行编写SQL语句，提高数据分析处理的效率。
附图说明
图1为本申请实施例提供的数据处理方法的的网络架构图；
图2为本申请年实施例提供的数据处理方法的流程示意图；
图3为本申请实施例提供的数据处理装置的虚拟结构示意图；
图4为本申请实施例提供的服务器的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征向量可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本申请中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请方案的目的。
请参阅图1，图1为本申请实施例提供的数据处理方法的系统架构图，包括：
报表搭建服务101、报表解析服务102以及大规模并行处理(Massively ParallelProcessing，MPP)数据库103，其中，该报表搭建服务101用于根据用户的指令搭建相应的报表，报表解析服务102用于对用户给出的统计维度、统计指标以及过滤条件进行解析，得到SQL语句，MPP数据库103用于根据SQL语句对报表搭建服务101搭建的报表进行分析处理，得到分析结果，并展示该分析结果。其中，该MPP数据库103还包括一个Master节点(也即独立的主节点)以及多个PG实例节点(也即多个postgreSQL据库实例节点)，其中，MPP数据库将所有数据分布式存放到多个PG实例节点，在进行数据分析时，多个PG实例节点会并行的进行数据处理，然后由独立的Master节点进行汇总合计，得到分析结果。另外，MPP数据库103还包括数据同步服务，即可以接收用户的简单的配置接入数据同步服务，以对MPP数据库103中的数据进行更新同步。
下面从数据处理装置的角度对本申请的方法数据处理方法进行说明，该数据处理装置可以是服务器，还可以是服务器中的服务单元，具体不做限定。
请参阅图2，图2为本申请实施例提供的数据处理方法的流程示意图，包括：
201、确定目标统计报表数据集。
本实施例中，数据处理装置可以确定目标统计报表数据集，该目标统计报表数据集为待分析的统计报表数据集，此处具体不限定确定目标统计报表数据集的方式，例如可以接收用户的指令，并根据用户的指令构建目标统计报表数据集。
202、确定统计维度、统计指标以及过滤条件。
本实施例中，数据处理装置可以确定该目标统计报表数据集对应的统计维度、统计指标以及过滤条件，其中，该统计维度例如可以是访问渠道类型，包括直接访问、搜索引擎访问以及外部链接访问；该统计指标例如可以为浏览的次数、浏览的人数以及浏览的注册用户数，该过滤条件例如可以为过滤掉浏览次数少于预设值的数据。可以理解的是上述对统计维度、统计指标以及过滤条件的说明仅为举例说明，当然还可以根据实际条件设置其他的统计维度、统计指标以及过滤条件。另外，在确定统计维度、统计指标以及过滤条件时，可以根据用户的指令配置目标统计报表数据集对应的统计维度与统计指标，并及时变更数据过滤条件等，实现灵活快速的数据分析。
需要说明的是，通过步骤201可以确定目标统计报表数据集，通过步骤202可以确定统计维度、统计指标以及过滤条件，然而这两个步骤之间并没有先后执行顺序的限制，可以先执行步骤201，也可以先执行步骤202，或者同时执行，具体不做限定。
203、基于统计维度、统计指标以及过滤条件构建目标结构化查询语言SQL语句。
本实施例中，数据处理装置在确定统计维度、统计指标以及过滤条件之后，可以基于统计维度、统计指标以及过滤条件构建目标结构化查询语言SQL语句，也就是说，数据处理装置会解析用户配置的统计维度/统计指标以及搜索条件，动态组装用于数据分析的目标SQL语句。
204、根据目标SQL语句对目标统计报表数据集进行运算处理，得到分析结果。
本实施例中，数据处理装置可以基于数据库中的多个实例节点，通过目标结构化查询语言(Structured Query Language，SQL)语句对目标统计报表数据集进行并行数据处理，数据库中的数据分布式存储在多个PostgreSQL数据库实例节点中，该数据库为MMP类型的数据库，其中包括一个独立的Master节点和多个PostgreSQL数据库实例节点；通过目标主节点对数据处理后的结果进行汇总，得到分析结果，目标主节点为所述数据库中的单独的主节点。可以理解的是，在得到分析结果之后，可以对分析结果进行数据格式化处理。
需要说明你的事，数据处理装置在得到分析结果之后，可以展示该分析结果给用户查看，或者将该分析结果通过邮件或即时通信的方式发送至用户的终端。
一个实施例中，数据处理装置可以接收用户的配置指令；并根据用户的配置指令对数据库中的数据进行同步更新。
本实施例中，客户数据可能存放在其他的文件、数据库、网络等，用户在确定该客户数据需要更新时，数据处理装置接收用户的配置指令，并根据用户的配置指令对数据库中的数据进行同步更新。也就是说，数据处理装置可以根据用户的配置指令同步客户数据到saas平台的MPP数据库中。具体的，可以通过binlog(数据库的日志文件)解析等方式实时将最新的客户数据更新至MPP数据库，保障了数据的及时更新。另外，在进行更新同步时，用户仅仅需要做简单的配置即可接入数据同步。
一个实施例中，生成用户的配置指令的操作至少包括手势操作、滑动操作、点击操作以及声控操作中的一种，例如当用户进行点击操作时，数据处理装置可以接收到该点击操作，此时，该点击操作即生成用户的配置指令，也就是说，可以提前定义操作指令，例如提前定义滑动操作为生成用户的配置指令操作(如左滑操作、右滑操作、上滑操作以及下滑操作等等)，或者定义点击操作为生成用户的配置指令的操作(如单击操作或双击操作等等)，或者定义手势操作为生成用户的配置指令的操作(如向左摆动手腕或手臂，向右摆动手腕或手臂，如四根手指收缩操作或者三根手指上滑操作等等)，或者定义声控操作为生成用户的配置指令的操作(如收到同步更新以及需要同步更新的数据的声音)，上述仅为举例说明，并不代表对生成用户的配置指令的操作进行限定。
一个实施例中，数据处理装置可以接收用户的操作指令；并根据用户的操作指令对数据库中的PostgreSQL数据库实例节点以及数据库的计算资源进行横向扩展。
本实施例中，数据处理装置可以根据用户的操作指令，通过横向扩展PostgreSQL数据库实例节点(即增加处理的服务器或数据库实例)和服务器计算资源，可以实现可处理的数据量的线性增长。
需要说明的是，此处生成用户的操作指令的方式与上述生成用户的配置指令的方式类似，上述已经对生成用户的配置指令进行详细说明，具体此处不再赘述。
综上所述，可以看出，本申请提供的实施例中，数据处理装置确定目标统计报表数据集，目标统计报表数据集为待分析的统计报表数据集；确定统计维度、统计指标以及过滤条件；基于统计维度、统计指标以及过滤条件构建目标结构化查询语言SQL语句；根据目标SQL语句对目标统计报表数据集进行运算处理，得到分析结果。相对于目前支持的数据量小，需要用户编写SQL来说，本申请能够并行分析处理gb/tb级数据，支持海量数据处理，同时无需自行编写SQL语句，提高数据分析处理的效率。
上面从数据处理方法的角度对本申请进行说明，下面从数据处理装置的角度对本申请进行说明。
请参阅图3，图3为本申请实施例提供的数据处理装置的虚拟结构示意图，包括：
第一确定单元301，用于确定目标统计报表数据集，所述目标统计报表数据集为待分析的统计报表数据集；
第二确定单元302，用于确定统计维度、统计指标以及过滤条件；
构建单元303，用于基于所述统计维度、所述统计指标以及所述过滤条件构建目标结构化查询语言SQL语句；
分析处理单元304，用于根据所述目标SQL语句对所述目标统计报表数据集进行运算处理，得到分析结果。
可选地，所述分析处理单元304具体用于：
基于数据库中的多个实例节点，通过所述目标SQL语句对所述目标统计报表数据集进行并行数据处理，所述数据库中的数据分布式存储在多个PostgreSQL数据库实例节点中；
通过目标主节点对数据处理后的结果进行汇总，得到所述分析结果，所述目标主节点为所述数据库中的单独的主节点。
可选地，所述分析处理单元304还用于：
接收用户的配置指令；
根据所述用户的配置指令对所述数据库中的数据进行同步更新。
可选地，所述分析处理单元还用于：
接收用户的操作指令；
根据所述用户的操作指令对所述数据库中的PostgreSQL数据库实例节点以及所述数据库的计算资源进行横向扩展。
可选地，所述装置还包括：
展示单元305，用于展示所述分析结果。
综上所述，可以看出，本申请提供的实施例中，数据处理装置确定目标统计报表数据集，目标统计报表数据集为待分析的统计报表数据集；确定统计维度、统计指标以及过滤条件；基于统计维度、统计指标以及过滤条件构建目标结构化查询语言SQL语句；根据目标SQL语句对目标统计报表数据集进行运算处理，得到分析结果。本申请中，在进行数据分析处理时，无需自行编写SQL语句，提高数据分析处理的效率。
图4是本申请实施例提供的一种服务器结构示意图，该服务器400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processingunits，CPU)422(例如，一个或一个以上处理器)和存储器432，一个或一个以上存储应用程序442或数据444的存储介质430(例如一个或一个以上海量存储设备)。其中，存储器432和存储介质430可以是短暂存储或持久存储。存储在存储介质430的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器422可以设置为与存储介质430通信，在服务器400上执行存储介质430中的一系列指令操作。
服务器400还可以包括一个或一个以上电源426，一个或一个以上有线或无线网络接口450，一个或一个以上输入输出接口458，和/或，一个或一个以上操作系统441，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。
上述实施例中由数据处理装置所执行的步骤可以基于该图4所示的服务器结构。
本申请实施例还提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现上述所述数据处理方法的步骤。
本申请实施例还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述所述数据处理方法的步骤。
本申请实施例还提供了一种终端设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，所述程序代码由所述处理器加载并执行以实现上述所述数据处理方法的步骤。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行上述所述数据处理方法的步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种数据处理方法，其特征在于，包括：
确定目标统计报表数据集，所述目标统计报表数据集为待分析的统计报表数据集；
确定统计维度、统计指标以及过滤条件；
基于所述统计维度、所述统计指标以及所述过滤条件构建目标结构化查询语言SQL语句；
根据所述目标SQL语句对所述目标统计报表数据集进行运算处理，得到分析结果。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标SQL语句对所述目标统计报表数据进行进行运算处理，得到分析结果包括：
基于数据库中的多个实例节点，通过所述目标SQL语句对所述目标统计报表数据集进行并行数据处理，所述数据库中的数据分布式存储在多个PostgreSQL数据库实例节点中；
通过目标主节点对数据处理后的结果进行汇总，得到所述分析结果，所述目标主节点为所述数据库中的单独的主节点。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
接收用户的配置指令；
根据所述用户的配置指令对所述数据库中的数据进行同步更新。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
接收用户的操作指令；
根据所述用户的操作指令对所述数据库中的PostgreSQL数据库实例节点以及所述数据库的计算资源进行横向扩展。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：
展示所述分析结果。
6.一种数据处理装置，其特征在于，包括：
第一确定单元，用于确定目标统计报表数据集，所述目标统计报表数据集为待分析的统计报表数据集；
第二确定单元，用于确定统计维度、统计指标以及过滤条件；
构建单元，用于基于所述统计维度、所述统计指标以及所述过滤条件构建目标结构化查询语言SQL语句；
分析处理单元，用于根据所述目标SQL语句对所述目标统计报表数据集进行运算处理，得到分析结果。
7.根据权利要求6所述的装置，其特征在于，所述分析处理单元具体用于：
基于数据库中的多个实例节点，通过所述目标SQL语句对所述目标统计报表数据集进行并行数据处理，所述数据库中的数据分布式存储在多个PostgreSQL数据库实例节点中；
通过目标主节点对数据处理后的结果进行汇总，得到所述分析结果，所述目标主节点为所述数据库中的单独的主节点。
8.根据权利要求7所述的装置，其特征在于，所述分析处理单元还用于：
接收用户的配置指令；
根据所述用户的配置指令对所述数据库中的数据进行同步更新。
9.一种计算机装置，其特征在于，包括：
至少一个连接的处理器、存储器和收发器；
所述存储器用于存储程序代码，所述程序代码由所述处理器加载并执行以实现上述权利要求1至5中任一项所述的数据处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，包括指令，当所述指令在计算机上运行时，使得计算机执行上述权利要求1至5中任一项所述的数据处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010748141.7A CN111966720A (zh) | 2020-07-30 | 2020-07-30 | 一种数据处理方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010748141.7A CN111966720A (zh) | 2020-07-30 | 2020-07-30 | 一种数据处理方法及相关设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111966720A true CN111966720A (zh) | 2020-11-20 |
Family
ID=73363010
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010748141.7A Pending CN111966720A (zh) | 2020-07-30 | 2020-07-30 | 一种数据处理方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111966720A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114116747A (zh) * | 2021-11-25 | 2022-03-01 | 北京力控元通科技有限公司 | 一种生产执行系统数据分析方法及装置 |
| CN114817267A (zh) * | 2022-05-16 | 2022-07-29 | 通联支付网络服务股份有限公司 | 用于生成数据报表的方法、设备和介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107066499A (zh) * | 2016-12-30 | 2017-08-18 | 江苏瑞中数据股份有限公司 | 面向异构存储多源数据管理及可视化系统的数据查询方法 |
| CN108959538A (zh) * | 2018-06-29 | 2018-12-07 | 新华三大数据技术有限公司 | 全文检索系统及方法 |
| CN110618983A (zh) * | 2019-08-15 | 2019-12-27 | 复旦大学 | 基于json文档结构的工业大数据多维分析与可视化方法 |
-
2020
- 2020-07-30 CN CN202010748141.7A patent/CN111966720A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107066499A (zh) * | 2016-12-30 | 2017-08-18 | 江苏瑞中数据股份有限公司 | 面向异构存储多源数据管理及可视化系统的数据查询方法 |
| CN108959538A (zh) * | 2018-06-29 | 2018-12-07 | 新华三大数据技术有限公司 | 全文检索系统及方法 |
| CN110618983A (zh) * | 2019-08-15 | 2019-12-27 | 复旦大学 | 基于json文档结构的工业大数据多维分析与可视化方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114116747A (zh) * | 2021-11-25 | 2022-03-01 | 北京力控元通科技有限公司 | 一种生产执行系统数据分析方法及装置 |
| CN114116747B (zh) * | 2021-11-25 | 2023-03-24 | 北京力控元通科技有限公司 | 一种生产执行系统数据分析方法及装置 |
| CN114817267A (zh) * | 2022-05-16 | 2022-07-29 | 通联支付网络服务股份有限公司 | 用于生成数据报表的方法、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110019397B (zh) | 用于进行数据处理的方法及装置 | |
| JP5950285B2 (ja) | 予め決められた複数のビット幅のデータに対して操作を行う命令を使用してツリーの検索を行うための方法、並びに、当該命令を使用してツリーの検索を行うためのコンピュータ及びそのコンピュータ・プログラム | |
| US10915532B2 (en) | Supporting a join operation against multiple NoSQL databases | |
| Vyawahare et al. | A hybrid database approach using graph and relational database | |
| CN106557486A (zh) | 一种数据的存储方法和装置 | |
| Trivedi et al. | Sharing and caring of data at the edge | |
| JP2018506775A (ja) | トランザクションアクセスパターンに基づいた結合関係の識別 | |
| US11526475B2 (en) | Code generator platform for data transformation | |
| CN111966720A (zh) | 一种数据处理方法及相关设备 | |
| US20180357278A1 (en) | Processing aggregate queries in a graph database | |
| James et al. | Hybrid database system for big data storage and management | |
| CN112528067A (zh) | 图数据库的存储方法、读取方法、装置及设备 | |
| WO2015168988A1 (zh) | 一种数据索引创建方法、装置及计算机存储介质 | |
| US10885468B2 (en) | Dynamic search system for real-time dynamic search and reporting | |
| CN112506887A (zh) | 车辆终端can总线数据处理方法及装置 | |
| CN112214978A (zh) | 一种数据处理方法及相关设备 | |
| CN112541001A (zh) | 数据查询方法、装置、存储介质及设备 | |
| CN116361522A (zh) | 一种数据的展示方法和装置 | |
| CN107562533B (zh) | 一种数据加载处理方法及装置 | |
| CN112506800B (zh) | 测试代码的方法、装置、设备、介质和程序产品 | |
| CN108780452B (zh) | 一种存储过程处理方法及装置 | |
| Qi et al. | The consistency analysis of secondary index on distributed ordered tables | |
| CN113127660A (zh) | 一种时序图形数据库存储方法及装置 | |
| US11163781B2 (en) | Extended storage of text analysis source tables | |
| Topcu | Evaluating Riak Key Value Cluster for Big Data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |