CN109471893B - 网络数据的查询方法、设备及计算机可读存储介质 - Google Patents
网络数据的查询方法、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN109471893B CN109471893B CN201811241512.1A CN201811241512A CN109471893B CN 109471893 B CN109471893 B CN 109471893B CN 201811241512 A CN201811241512 A CN 201811241512A CN 109471893 B CN109471893 B CN 109471893B
- Authority
- CN
- China
- Prior art keywords
- data
- query
- distributed system
- multidimensional
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003860 storage Methods 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 35
- 230000002776 aggregation Effects 0.000 claims description 32
- 238000004220 aggregation Methods 0.000 claims description 32
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 5
- 238000011068 loading method Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims 1
- 230000006870 function Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种网络数据的查询方法、设备及计算机可读存储介质。本发明实施例通过获取初始MapReduce分布式系统数据，进而根据所述初始MapReduce分布式系统数据，生成至少一个维度的多维MapReduce分布式系统数据，使得能够将所述多维MapReduce分布式系统数据导入到列式储存数据库中，以获得多维列式储存数据，以供进行基于所述多维列式储存数据的网络数据查询处理，由于可以直接获得列式储存数据库中的多维MapReduce分布式系统数据，而无需每次都基于网络数据进行计算处理，使得查询处理的操作简单，且正确率高，从而提高了网络数据查询的效率和可靠性。
Description
【技术领域】
本发明涉及互联网技术，尤其涉及一种网络数据的查询方法、设备及计算机可读存储介质。
【背景技术】
随着通信技术的发展，终端集成了越来越多的功能，从而使得终端的系统功能列表中包含了越来越多相应的应用(Application，APP)，这些应用每天都会产生大量的网络数据。
通常，针对每个网络数据的查询需求，均基于这些网络数据进行实时计算处理，以获得查询结果，这样，会使得查询处理的操作复杂，且容易出错，从而导致了网络数据查询的效率和可靠性的降低。
【发明内容】
本发明的多个方面提供一种网络数据的查询方法、设备及计算机可读存储介质，用以提高网络数据查询的效率和可靠性。
本发明的一方面，提供一种网络数据的查询方法，包括：
获取初始MapReduce分布式系统数据；
根据所述初始MapReduce分布式系统数据，生成至少一个维度的多维MapReduce分布式系统数据；
将所述多维MapReduce分布式系统数据导入到列式储存数据库中，以获得多维列式储存数据，以供进行基于所述多维列式储存数据的网络数据查询处理。
本发明的另一方面，提供一种设备，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述一方面所提供的一种网络数据的查询方法。
本发明的另一方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述一方面所提供的一种网络数据的查询方法。
由上述技术方案可知，本发明实施例通过获取初始MapReduce分布式系统数据，进而根据所述初始MapReduce分布式系统数据，生成至少一个维度的多维MapReduce分布式系统数据，使得能够将所述多维MapReduce分布式系统数据导入到列式储存数据库中，以获得多维列式储存数据，以供进行基于所述多维列式储存数据的网络数据查询处理，由于可以直接获得列式储存数据库中的多维MapReduce分布式系统数据，而无需每次都基于网络数据进行计算处理，使得查询处理的操作简单，且正确率高，从而提高了网络数据查询的效率和可靠性。
另外，采用本发明所提供的技术方案，由于可以直接获得列式储存数据库中的多维MapReduce分布式系统数据，而无需每次都基于网络数据进行计算处理，能够避免数据重复计算的情况，从而节省了处理资源，同时降低了处理负担。
另外，采用本发明所提供的技术方案，充分利用了Hive工具做提取、转换和加载(Extraction-Transformation-Loading，ETL)的强大能力，以及聚合(grouping sets)函数和数据立方体等函数的有力支持，同时还利用了ClickHouse数据库这种列式存储数据库在分析和即席(Ad-Hoc)查询等方面的强大优势作为补充，从而有效提高了网络数据查询的性能。
另外，采用本发明所提供的技术方案，能够有效提升用户体验。
【附图说明】
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的网络数据的查询方法的流程示意图；
图2为适于用来实现本发明实施方式的示例性计算机系统/服务器12的框图。
【具体实施方式】
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例中所涉及的终端可以包括但不限于手机、个人数字助理(Personal Digital Assistant，PDA)、无线手持设备、平板电脑(Tablet Computer)、个人电脑(Personal Computer，PC)、MP3播放器、MP4播放器、可穿戴设备(例如，智能眼镜、智能手表、智能手环等)等。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
图1为本发明一实施例提供的网络数据的查询方法的流程示意图，如图1所示。
101、获取初始MapReduce分布式系统数据。
102、根据所述初始MapReduce分布式系统数据，生成至少一个维度的多维MapReduce分布式系统数据。
103、将所述多维MapReduce分布式系统数据导入到列式储存数据库中，以获得多维列式储存数据，以供进行基于所述多维列式储存数据的网络数据查询处理。
需要说明的是，101～103的执行主体的部分或全部可以为位于本地终端的应用，或者可以为设置在位于本地终端的应用中的插件或软件开发工具包(SoftwareDevelopment Kit，SDK)等功能单元，或者还可以为位于网络侧服务器中的分区平台，或者还可以为位于网络侧的分布式系统，本实施例对此不进行特别限定。
可以理解的是，所述本地终端的应用可以是安装在终端上的本地程序(nativeApp)，或者还可以是终端上的浏览器的一个网页程序(webApp)，本实施例对此不进行限定。
这样，通过获取初始MapReduce分布式系统数据，进而根据所述初始MapReduce分布式系统数据，生成至少一个维度的多维MapReduce分布式系统数据，使得能够将所述多维MapReduce分布式系统数据导入到列式储存数据库中，以获得多维列式储存数据，以供进行基于所述多维列式储存数据的网络数据查询处理，由于可以直接获得列式储存数据库中的多维MapReduce分布式系统数据，而无需每次都基于网络数据进行计算处理，使得查询处理的操作简单，且正确率高，从而提高了网络数据查询的效率和可靠性。
本发明中，所涉及的MapReduce分布式系统，也可以成为MapReduce分布式集群，在MapReduce分布式系统中，一个数据处理过程称为一个作业(Job)，Job提交之后，将待处理数据分为N份，每份待处理数据由一个映射(Map)任务进行处理，Map任务运行在该MapReduce分布式系统中的一个节点设备上，一个节点设备上可以运行一个或多个Map任务；所有Map任务的输出结果由汇总(Reduce)任务进行汇总，输出对应的结果。由MapReduce分布式系统所输出的结果，可以称为MapReduce分布式系统数据。
可选地，在本实施例的一个可能的实现方式中，所述MapReduce分布式系统可以为Hadoop系统，或者还可以为其他能够执行分布式任务的系统，本实施例对此不进行特别限定。
相应地，初始MapReduce分布式系统数据则可以为初始Hadoop系统数据，多维MapReduce分布式系统数据则可以为多维Hadoop系统数据。
本发明中，所涉及的列式储存数据库，还可以称为列式数据库，是以列相关存储架构进行数据存储的数据库。
可选地，在本实施例的一个可能的实现方式中，所述列式储存数据库可以为ClickHouse数据库，或者其他能够以列相关存储架构进行数据存储的数据库，本实施例对此不进行特别限定。
ClickHouse数据库，是一种分布式列式数据库，可以让数据按需求分布在不同机器上，根据需求添加更多的机器以达到性能不断提高的目的。它可以支持结构化查询语言(Structured Query Language，SQL)以及多种函数，包括对近似计算函数，采用列压缩技术、索引技术、内存计算、矢量化计算、充分利用并发等多种技术，能够充分发挥现代计算机设备的能力，能够快速的进行数据查询与计算。
可选地，在本实施例的一个可能的实现方式中，在101中，具体可以获得原始网络数据，进而，则可以利用Hive工具，对所述原始网络数据进行提取、转换和加载处理，以获得所述初始MapReduce分布式系统数据。
其中，所述原始网络数据的获取，可以包括但不限于线上多业务线日志数据采集、线上交易性数据库存储数据的获取、网络相关数据的抓取以及线下多业务多类型文档的获取中的至少一项，本实施例对此不进行特别限定。
Hive工具，是基于Hadoop系统的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表即初始MapReduce分布式系统数据例如，表项内容可以如下所示：
可选地，在本实施例的一个可能的实现方式中，在101中，在102中，具体可以获取预先设置的统计聚合逻辑，进而，则可以利用Hive工具，根据所述初始MapReduce分布式系统数据，生成满足预先设置的统计聚合逻辑的所述多维MapReduce分布式系统数据。
在一个具体的实现过程中，具体可以根据操作人员预先设置的统计需求，例如，按照月份进行统计、按照日期进行统计等统计需求，获得对应的统计聚合逻辑。
在另一个具体的实现过程中，具体可以利用Hive工具，采用结构化查询语言(Structured Query Language，SQL)，利用预先设置的统计聚合逻辑，根据所述初始MapReduce分布式系统数据进行匹配与计算处理，生成满足预先设置的统计聚合逻辑的所述多维MapReduce分布式系统数据。
Hive工具，还能够提供完整的结构化查询语言(Structured Query Language，SQL)的查询功能，可以将SQL语句转换为MapReduce任务进行运行例如，MapReduce任务运行结果即满足预先设置的统计聚合逻辑的所述多维MapReduce分布式系统数据例如，表项内容可以如下所示：
其中，不同维度组合的多维MapReduce分布式系统数据，可以通过聚合逻辑标识即GROUPING__ID列里的值进行区分。聚合逻辑标识(GROUPING__ID)是统计聚合逻辑按照二进制生成的数字，例如，month为1(即二进制01)，day为2(即二进制10)，而3(即二进制11)则可以代表(month，day)组合，操作人员在此可以假设该组合不常用，不想占用太多空间，而没有预先设置这个组合作为聚合逻辑。
可选地，在本实施例的一个可能的实现方式中，在103之后，还可以进一步进行基于所述多维列式储存数据的网络数据查询处理。
具体来说，具体可以获取网络数据的查询维度参数，进而则可以根据所述查询维度参数，在所述多维列式储存数据中进行匹配处理。若获得所述查询维度参数所匹配的查询结果数据，则可以输出所述查询维度参数所匹配的查询结果数据。
其中，查询维度参数是指用于查询网络数据的各项查询指标，例如，维度指标、过滤指标等查询指标，本实施例对此不进行特别限定。
在一个具体的实现过程中，在101之后，还可以进一步将所述初始MapReduce分布式系统数据导入到所述列式储存数据库中，以获得初始列式储存数据。这样，则可以进行基于所述初始列式储存数据的网络数据查询处理。具体来说，根据所述查询维度参数，在所述多维列式储存数据中进行匹配处理之后，若没有获得所述查询维度参数所匹配的查询结果数据，则可以根据所述查询维度参数，获得本次查询的统计聚合逻辑，进而，则可以根据所述初始列式储存数据，利用本次查询的统计聚合逻辑，生成满足本次查询的统计聚合逻辑的查询结果数据，并输出满足本次查询的统计聚合逻辑的查询结果数据。
在该实现方式中，在获取网络数据的查询维度参数之后，具体可以根据查询维度参数，生成GROUPING__ID列对应的值的条件，并组织结构化查询语言(SQL)在所述多维列式储存数据中进行匹配处理。判断是否包含GROUPING__ID列对应的值的存在。
如果存在，则可以将该值所对应的查询结果，作为所述查询维度参数所匹配的查询结果数据。
如果不存在，则可以进一步根据所述查询维度参数，获得本次查询的统计聚合逻辑。然后，则可以采用结构化查询语言(Structured Query Language，SQL)，利用本次查询的统计聚合逻辑，根据所述初始列式储存数据进行匹配与计算处理，以生成满足本次查询的统计聚合逻辑的查询结果数据。
本实施例所采用的ClickHouse数据库同时存储多维列式储存数据和初始列式储存数据的方式，其目的在于：
对于一些数据量上升到一定规模而需要频繁查询需求的情况下，可以采用多维列式储存数据直接进行匹配处理，即可满足查询分析需求；
对于一些数据量没有上升到一定规模而没有频繁查询需求的情况下，可以采用初始列式储存数据进行匹配与计算处理，即可满足查询分析需求；特别地，存在一些简单的查询需求，也可以采用多维列式储存数据直接进行简单的匹配与计算处理，也可以满足查询分析需求。
本实施例中，通过获取初始MapReduce分布式系统数据，进而根据所述初始MapReduce分布式系统数据，生成至少一个维度的多维MapReduce分布式系统数据，使得能够将所述多维MapReduce分布式系统数据导入到列式储存数据库中，以获得多维列式储存数据，以供进行基于所述多维列式储存数据的网络数据查询处理，由于可以直接获得列式储存数据库中的多维MapReduce分布式系统数据，而无需每次都基于网络数据进行计算处理，使得查询处理的操作简单，且正确率高，从而提高了网络数据查询的效率和可靠性。
另外，采用本发明所提供的技术方案，由于可以直接获得列式储存数据库中的多维MapReduce分布式系统数据，而无需每次都基于网络数据进行计算处理，能够避免数据重复计算的情况，从而节省了处理资源，同时降低了处理负担。
另外，采用本发明所提供的技术方案，充分利用了Hive工具做提取、转换和加载(Extraction-Transformation-Loading，ETL)的强大能力，以及聚合(grouping sets)函数和数据立方体等函数的有力支持，同时还利用了ClickHouse数据库这种列式存储数据库在分析和即席(Ad-Hoc)查询等方面的强大优势作为补充，从而有效提高了网络数据查询的性能。
另外，采用本发明所提供的技术方案，能够有效提升用户体验。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
图2示出了适于用来实现本发明实施方式的示例性计算机系统/服务器12的框图。图2显示的计算机系统/服务器12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图2所示，计算机系统/服务器12以通用计算设备的形式表现。计算机系统/服务器12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，存储装置或者系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机系统/服务器12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机系统/服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图2未显示，通常称为“硬盘驱动器”)。尽管图2中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机系统/服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口44进行。并且，计算机系统/服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机系统/服务器12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机系统/服务器12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现图1～图2所对应的实施例任一实施例所提供的网络数据的查询方法。
本发明另一实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现图1所对应的实施例所提供的网络数据的查询方法。
具体来说，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或页面组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一个计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.一种网络数据的查询方法，其特征在于，包括：
获取初始MapReduce分布式系统数据，将所述初始MapReduce分布式系统数据导入到列式储存数据库中，以获得初始列式储存数据，以供进行基于所述初始列式储存数据的网络数据查询处理；
根据所述初始MapReduce分布式系统数据，生成至少一个维度的多维MapReduce分布式系统数据；
将所述多维MapReduce分布式系统数据导入到列式储存数据库中，以获得多维列式储存数据，以供进行基于所述多维列式储存数据的网络数据查询处理；其中，
所述获取初始MapReduce分布式系统数据，包括：
获得原始网络数据；
利用Hive工具，对所述原始网络数据进行提取、转换和加载ELT处理，以获得所述初始MapReduce分布式系统数据；
所述将所述多维MapReduce分布式系统数据导入到列式储存数据库中，以获得多维列式储存数据之后，还包括：
获取网络数据的查询维度参数；
根据所述查询维度参数，在所述多维列式储存数据中进行匹配处理；
若获得所述查询维度参数所匹配的查询结果数据，输出所述查询维度参数所匹配的查询结果数据；
所述根据所述查询维度参数，在所述多维列式储存数据中进行匹配处理之后，还包括：
若没有获得所述查询维度参数所匹配的查询结果数据，根据所述查询维度参数，获得本次查询的统计聚合逻辑；
根据所述初始列式储存数据，利用本次查询的统计聚合逻辑，生成满足本次查询的统计聚合逻辑的查询结果数据；
输出满足本次查询的统计聚合逻辑的查询结果数据；
所述根据所述初始列式储存数据，利用本次查询的统计聚合逻辑，生成满足本次查询的统计聚合逻辑的查询结果数据，包括：
采用结构化查询语言，利用本次查询的统计聚合逻辑，根据所述初始列式储存数据进行匹配与计算处理，以生成满足本次查询的统计聚合逻辑的查询结果数据。
2.根据权利要求1所述的方法，其特征在于，所述根据所述初始MapReduce分布式系统数据，生成至少一个维度的多维MapReduce分布式系统数据，包括：
获取预先设置的统计聚合逻辑；
利用Hive工具，根据所述初始MapReduce分布式系统数据，生成满足预先设置的统计聚合逻辑的所述多维MapReduce分布式系统数据。
3.根据权利要求2所述的方法，其特征在于，所述根据所述初始MapReduce分布式系统数据，生成满足预先设置的统计聚合逻辑的所述多维MapReduce分布式系统数据，包括：
采用结构化查询语言，利用预先设置的统计聚合逻辑，根据所述初始MapReduce分布式系统数据进行匹配与计算处理，生成满足预先设置的统计聚合逻辑的所述多维MapReduce分布式系统数据。
4.根据权利要求1～3任一权利要求所述的方法，其特征在于，所述MapReduce分布式系统包括Hadoop系统。
5.根据权利要求1～3任一权利要求所述的方法，其特征在于，列式储存数据库包括ClickHouse数据库。
6.一种网络数据的查询设备，其特征在于，所述查询设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1～5任一所述的方法。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1～5任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811241512.1A CN109471893B (zh) | 2018-10-24 | 2018-10-24 | 网络数据的查询方法、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811241512.1A CN109471893B (zh) | 2018-10-24 | 2018-10-24 | 网络数据的查询方法、设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109471893A CN109471893A (zh) | 2019-03-15 |
| CN109471893B true CN109471893B (zh) | 2022-05-20 |
Family
ID=65664072
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811241512.1A Active CN109471893B (zh) | 2018-10-24 | 2018-10-24 | 网络数据的查询方法、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109471893B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110347698A (zh) * | 2019-07-16 | 2019-10-18 | 中国工商银行股份有限公司 | 报表数据处理方法及装置 |
| CN111768850B (zh) * | 2020-06-05 | 2021-08-27 | 上海森亿医疗科技有限公司 | 医院数据分析方法、医院数据分析平台、设备和介质 |
| CN112182031B (zh) * | 2020-10-12 | 2023-06-13 | 浙江大华技术股份有限公司 | 数据查询方法及装置、存储介质、电子装置 |
| CN115905236B (zh) * | 2022-11-30 | 2023-08-22 | 深圳计算科学研究院 | 一种数据处理方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103605651A (zh) * | 2013-08-28 | 2014-02-26 | 杭州顺网科技股份有限公司 | 一种基于olap多维分析的数据处理展现方法 |
| CN103678556A (zh) * | 2013-12-06 | 2014-03-26 | 华为技术有限公司 | 列式数据库处理的方法和处理设备 |
| CN103916293A (zh) * | 2014-04-15 | 2014-07-09 | 浪潮软件股份有限公司 | 一种监控分析网站用户行为的方法 |
| CN107341235A (zh) * | 2017-07-04 | 2017-11-10 | 北京京东尚科信息技术有限公司 | 报表查询方法、装置、介质和电子设备 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130205028A1 (en) * | 2012-02-07 | 2013-08-08 | Rackspace Us, Inc. | Elastic, Massively Parallel Processing Data Warehouse |
| US9405811B2 (en) * | 2013-03-08 | 2016-08-02 | Platfora, Inc. | Systems and methods for interest-driven distributed data server systems |
| CN103281376B (zh) * | 2013-05-31 | 2015-11-11 | 武汉大学 | 一种云环境下海量时序遥感影像的自动缓存构建方法 |
| CN103425772B (zh) * | 2013-08-13 | 2016-08-10 | 东北大学 | 一种具有多维信息的海量数据查询方法 |
| US11487771B2 (en) * | 2014-06-25 | 2022-11-01 | Microsoft Technology Licensing, Llc | Per-node custom code engine for distributed query processing |
| CN105824957B (zh) * | 2016-03-30 | 2019-09-03 | 电子科技大学 | 分布式内存列式数据库的查询引擎系统及查询方法 |
| CN106708917B (zh) * | 2016-06-30 | 2019-03-15 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置以及olap系统 |
| US10719188B2 (en) * | 2016-07-21 | 2020-07-21 | Palantir Technologies Inc. | Cached database and synchronization system for providing dynamic linked panels in user interface |
| CN106326429A (zh) * | 2016-08-25 | 2017-01-11 | 武汉光谷信息技术股份有限公司 | 一种基于solr的Hbase秒级查询方案 |
| CN108268524A (zh) * | 2016-12-30 | 2018-07-10 | 北京国双科技有限公司 | 数据库聚合处理方法及装置 |
| CN107247799A (zh) * | 2017-06-27 | 2017-10-13 | 北京天机数测数据科技有限公司 | 兼容多种大数据存储的数据处理方法、系统及其建模方法 |
-
2018
- 2018-10-24 CN CN201811241512.1A patent/CN109471893B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103605651A (zh) * | 2013-08-28 | 2014-02-26 | 杭州顺网科技股份有限公司 | 一种基于olap多维分析的数据处理展现方法 |
| CN103678556A (zh) * | 2013-12-06 | 2014-03-26 | 华为技术有限公司 | 列式数据库处理的方法和处理设备 |
| CN103916293A (zh) * | 2014-04-15 | 2014-07-09 | 浪潮软件股份有限公司 | 一种监控分析网站用户行为的方法 |
| CN107341235A (zh) * | 2017-07-04 | 2017-11-10 | 北京京东尚科信息技术有限公司 | 报表查询方法、装置、介质和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109471893A (zh) | 2019-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109471893B (zh) | 网络数据的查询方法、设备及计算机可读存储介质 | |
| CN109241159B (zh) | 一种数据立方体的分区查询方法、系统及终端设备 | |
| CN111400392B (zh) | 多源异构数据处理方法及装置 | |
| CN108334609B (zh) | Oracle中实现JSON格式数据存取的方法、装置、设备及存储介质 | |
| CN114417408B (zh) | 数据处理方法、装置、设备以及存储介质 | |
| CN110688544A (zh) | 一种查询数据库的方法、设备及存储介质 | |
| EP3279816A1 (en) | Data analysis processing method, apparatus, computer device, and storage medium | |
| US20140052727A1 (en) | Data processing for database aggregation operation | |
| CN107590248B (zh) | 搜索方法、装置、终端和计算机可读存储介质 | |
| CN113010542B (zh) | 业务数据处理方法、装置、计算机设备及存储介质 | |
| CN110222046B (zh) | 列表数据的处理方法、装置、服务器和存储介质 | |
| CN114816578A (zh) | 基于配置表的程序配置文件生成方法、装置及设备 | |
| CN110647577A (zh) | 数据立方体的分区方法、装置、计算机设备及存储介质 | |
| CN110704404A (zh) | 一种数据质量校验方法、装置、系统 | |
| CN111143461B (zh) | 映射关系处理系统、方法和电子设备 | |
| CN112508720A (zh) | 保险客户身份属性的筛选方法、筛选装置及电子设备 | |
| CN110377891B (zh) | 事件分析文章的生成方法、装置、设备及计算机可读存储介质 | |
| CN109740130B (zh) | 用于生成文件的方法和装置 | |
| CN116775599A (zh) | 数据迁移方法、装置、电子设备、存储介质 | |
| CN107515916B (zh) | 数据查询的性能优化方法及装置 | |
| CN111159213A (zh) | 一种数据查询方法、装置、系统和存储介质 | |
| CN113722296A (zh) | 一种农业信息处理方法、装置、电子设备及存储介质 | |
| CN110674224B (zh) | 实体数据的处理方法、装置、设备及计算机可读存储介质 | |
| CN113609128A (zh) | 生成数据库实体类的方法、装置、终端设备及存储介质 | |
| CN111611056A (zh) | 数据处理方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231106 Address after: 312500 Wangjiangshan Village, Nanming Street, Xinchang County, Shaoxing City, Zhejiang Province Patentee after: Shaoxing Jilian Technology Co.,Ltd. Address before: 200120 2, building 979, Yun Han Road, mud town, Pudong New Area, Shanghai Patentee before: SHANGHAI LIANSHANG NETWORK TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right |