CN113760900A - 数据的实时汇总以及区间汇总的方法和装置 - Google Patents

数据的实时汇总以及区间汇总的方法和装置 Download PDF

Info

Publication number
CN113760900A
CN113760900A CN202110188972.8A CN202110188972A CN113760900A CN 113760900 A CN113760900 A CN 113760900A CN 202110188972 A CN202110188972 A CN 202110188972A CN 113760900 A CN113760900 A CN 113760900A
Authority
CN
China
Prior art keywords
data
summarization
real
hbase
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110188972.8A
Other languages
English (en)
Other versions
CN113760900B (zh
Inventor
许奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Jingxundi Supply Chain Technology Co ltd
Original Assignee
Xi'an Jingxundi Supply Chain Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Jingxundi Supply Chain Technology Co ltd filed Critical Xi'an Jingxundi Supply Chain Technology Co ltd
Priority to CN202110188972.8A priority Critical patent/CN113760900B/zh
Publication of CN113760900A publication Critical patent/CN113760900A/zh
Application granted granted Critical
Publication of CN113760900B publication Critical patent/CN113760900B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了数据的实时汇总以及区间汇总的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：经由HDFS部署基于HBase的预定数目的RegionServer；RegionServer各自按预定字段并行地进行数据汇总，以及将RegionServer的各自的汇总后的数据发送至客户端，用于进行数据的二次汇总。该实施方式降低了完全实时处理和存储；使存储和计算资源放在同一台机器上，最小化数据网络传输从而降低汇总时间；实现对程序无感知的资源扩展；提供对SQL的支持，使可读性更好；以及提供实时汇总和区间汇总两种方式来解决不同数据量场景。

Description

数据的实时汇总以及区间汇总的方法和装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种数据的实时汇总以及区间汇总的方法和装置。
背景技术
当前大量业务数据背景下，对海量实时数据的关联汇总一直是领域内的难题。目前采用的解决方案主要步骤为：将每个业务表实时产生的数据汇总至Kafka的Topic中；采用一个消费应用程序组，将关联字段通过缓存或者回读ElasticSearch方式，将两个业务表程序关联后存入ElasticSearch创建的宽表中去；周期性启动汇总应用程序组读取要汇总时段的宽表数据进行汇总加工并存储到缓存或者关系数据库中。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
-ElasticSearch只是准实时存储导致阶段汇总时会丢失数据写入到磁盘的时间间隔内少量数据；
-消费应该程序组和汇总应用程序组独立部署占用大量的机器资源，使整个系统复杂度和风险点剧增；
-计算和数据在不同的机器上，由于数据量巨大导致大量的网络传输，从而导致阶段汇总阶段占用大量网络资源，同时也增加了汇总耗时；
-无论计算资源还是存储资源扩展性都较差；以及
-ElasticSearch API编码可读性差且入门难度高。
发明内容
有鉴于此，本发明实施例提供一种数据的实时汇总方法和区间汇总方法及其装置，能够实现：
-完全实时处理和存储；
-使存储和计算资源放在同一台机器上，最小化数据网络传输从而降低汇总时间；
-实现对程序无感知的资源扩展；
-提供对SQL的支持，使可读性更好；以及
-提供实时汇总和区间汇总两种方式来解决不同数据量场景。
为实现上述目的，根据本发明实施例的第一方面，提供了一种数据的实时汇总方法，包括：
经由HDFS部署基于HBase的预定数目的RegionServer；
RegionServer各自按预定字段并行进行数据汇总，以及
将RegionServer的各自的汇总后的数据发送至客户端，用于进行数据的二次汇总。
优选地，根据第一方面的数据的实时汇总方法，其中，RegionSer ver各自按预定字段进行数据汇总包括如下步骤：
HBase服务器端接收由客户端发送的SQL查询语句；
HBase服务器端的所述预定数目的RegionServer按照预定字段解析所接收到的SQL查询语句，以将该SQL查询语句转换为API；以及
通过API对预先存储的数据表中的数据进行插入或读取处理，将处理操作之后的所述数据表中的数据在各RegionServer进行数据汇总。
优选地，根据第一方面的数据的实时汇总方法，还包括：所述Reg ionServer的协处理器中预先嵌入有协处理器程序，该协处理器程序根据预先维护好的元数据中的表数据类型将对应的字段数据转为字符流存入到HBase的表中。
优选地，根据第一方面的数据的实时汇总方法，所述协处理器程序还将所述字段的数据类型和HBase表的主键形成规则记录到所述元数据中存储。
优选地，根据第一方面的数据的实时汇总方法，其中，在HDFS中进行通过API对预先存储的数据表中的数据进行插入或读取处理，并且返回至所述协处理器。
优选地，根据第一方面的数据的实时汇总方法，其中，在所述插入或读取处理时，进行对应的所述数据类型和主键转换并返回给客户端。
优选地，根据第一方面的数据的实时汇总方法，其中，明细数据并通过大规模并行处理进行一次汇总，并且该一次汇总的结果集被返回至客户端。
根据本发明实施例的第二方面，提供了一种数据的区间汇总方法，包括：预先设定调度表达式；以及
在满足所述调度表达式的状态下，通过调用接口，循环执行根据第一方面所述的数据的实时汇总方法，以得到数据的区间阶段结果。
优选地，在所述第二方面的数据的区间汇总方法中，还包括：将所述区间阶段结果保存到关系型数据库或者缓存中。
根据本发明实施例的第三方面，提供了一种数据的实时汇总装置，包括：
扩展模块，该扩展模块经由HDFS部署基于HBase的预定数目的Re gionServer；
并行汇总模块，该并行汇总模块使RegionServer各自按预定字段并行进行数据汇总；以及
发送模块，该发送模块将RegionServer的各自的汇总后的数据发送至客户端，用于进行数据的二次汇总。
根据本发明实施例的第四方面，提供了一种数据的区间汇总装置，包括：
扩展模块，该扩展模块经由HDFS部署基于HBase的预定数目的Re gionServer；
并行汇总模块，该并行汇总模块使RegionServer各自按预定字段并行进行数据汇总；
发送模块，该发送模块将RegionServer的各自的汇总后的数据发送至客户端，用于进行数据的二次汇总；以及
调用模块，在满足预先设定的调度表达式的状态下，该调用模块通过调用接口循环调用所述扩展模块、所述并行汇总模块和所述发送模块，以得到数据的区间阶段结果。
本实施例的第四方面还提供了一种数据的实时汇总电子设备，其包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面和第二方面所述的方法。
本实施例第五方面提供了一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现第一方面和第二方面所述的方法。
上述发明中的一个实施例具有如下优点或有益效果：因为采用HD FS(分布式文件系统)保证存储的扩展性，基于数据节点上的计算程序保证了计算能力随着存储资源线性扩展；另外由于数据在HBase的预定数目的RegionServer处并行地进行一次汇总，能够实现完全实时处理和存储，使存储和计算资源放在同一台机器(服务器端)上，最小化数据网络传输从而降低汇总时间，实现对程序无感知的资源扩展。更近一步地，由于本实施例的方法将SQL转换为API，因此在后续操作中，不需要另外进行ElasticSearch API编码，提供对SQL的支持，使可读性更好。另外，通过按照调度表达式进行调用，提供了实时汇总和区间汇总两种方式来解决不同数据量场景。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明实施例的数据的实时汇总方法的主要流程的示意图；
图2是根据本发明实施例的数据的实时汇总装置的主要模块的示意图；
图3是根据本发明实施例的数据的实时汇总方法的一个实例的具体流程的示意图；
图4是应用了根据本发明实施例的数据的实时汇总方法的数据的区间汇总方法的主要流程的示意图；
图5是根据本发明实施例的宽表创建的流程示意图；
图6是本发明实施例可以应用于其中的示例性系统架构图；
图7是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本发明实施例的数据的实时汇总方法的主要流程的示意图，如图1所示，该数据的实时汇总方法主要通过步骤S101至步骤S103实现。
在步骤S101中，经由HDFS部署基于HBase的预定数目的RegionSe rver。在本实施例中，RegionServer数量可以是如图3所述的5个，但是这不是限制性的，可以根据数据量的而判定RegionServer的部署数目。
上面提到的HDFS是Hadoop分布式文件系统(HDFS)，其被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统，可以进行方便的扩展。
上面提到的HBase是一个基于HDFS的、分布式的、面向列的开源数据库。另外，上面提到的RegionServer是HBase中最主要的组件，负责table数据的实际读写，管理Region。在分布式集群中，RegionServer一般跟DataNode在同一个节点上，目的是实现数据的本地性，提高读写效率。
在步骤S102中，RegionServer各自按预定字段并行地进行数据汇总。在该步骤S102中，如图3所示，其可以具体包括：HBase服务器端接收由客户端发送的SQL查询语句；HBase服务器端的所述预定数目的RegionServer按照预定字段解析所接收到的SQL查询语句，以将该SQ L查询语句转换为API；以及通过API对预先存储的数据表中的数据进行插入或读取处理，将处理操作之后的所述数据表中的数据在各RegionS erver进行数据汇总。
在步骤S103中，将RegionServer的各自的汇总后的数据发送至客户端，用于进行数据的二次汇总。据此，客户端可以收到RegionServer的各自的汇总数据，从而客户端程序可以将RegionServer的各自的汇总数据进行二次汇总，从而得到完整的汇总数据。
根据上述的包括步骤S101至步骤S103的数据的实时汇总方法，因为采用HDFS(分布式文件系统)保证存储的扩展性，基于数据节点上的计算程序保证了计算能力随着存储资源线性扩展；另外由于数据在H Base的预定数目的RegionServer处并行地进行一次汇总，能够实现完全实时处理和存储，使存储和计算资源放在同一台机器(服务器端)上，最小化数据网络传输从而降低汇总时间，实现对程序无感知的资源扩展。更近一步地，由于本实施例的方法将SQL转换为API，因此在后续操作中，不需要另外进行ElasticSearch API编码，提供对SQL的支持，使可读性更好。
以下，将参考附图3所述的流程图，更加清楚地描述根据本发明实施例的数据的实时汇总方法的一个实例。
由于实时业务数据处理中数据到达的时间顺序无法确定，故采用分布式缓存储先到的数据，后到的数据从缓存中读到关联数据形成完整数据发送到本发明的客户端模块，RegionServer中嵌入的协处理器程序根据提前维护好的元数据中的表数据类型将对应的字段数据转为字符流存入到HBase的表中。当阶段汇总数据时，RegionServer的协处理器的协处理器程序收到相应的SQL语句，将其解析为相应HBase API代码，将查询到本机的符合预定条件的数据在本机汇总好返回到查询机器。查询机器即客户端收到各个HBase汇总后的数据之后再进行二次汇总即可。
如图3所示，HDFS布设有5个基于HBase的RegionServer。对于每一个RegionServer的协处理器中，嵌入有协处理器程序，其能够对SQL语句进行解析将其转换为API。
更具体地，在图3中，首先，客户端发送SQL语句到HBase；然后，嵌入在HBaseRegionServer上的协处理器的协处理器程序解析SQL语句将其转换为API；之后，在HDFS中，通过API插入/读取对应的表数据并返回协处理器；然后，协处理器程序在RegionServer进行本地数据汇总(一次汇总)，并将汇总结果返回客户端；最后，客户端对多个H BaseRegionServer返回的数据进行二次汇总。
图3中的数据的实时汇总方法的一个具体实例适用于数据量在存储的计算能力之内(约单数据节点百万级的汇总)，其中使用分布式文件系统(HDFS)保证存储的扩展性，基于数据节点上的计算程序保证了计算能力随着存储资源线性扩展。RegionServer嵌入的协处理器程序对SQL进行解析和数据类型转换，在每个数据节点(每个HBase Reg ionServer)并行地汇总本机上的数据并返回，从而保证了数据在网络节点最小传输，无论多大的数据量汇总，在网络上传输的只有n×汇总结果键值对字节(n为HBase RegionServer节点数量)。客户端程序收到返回数据之后会根据键值进行二次汇总后返回调用者。
如上，能够清楚地看出，根据本发明的数据的实时汇总方法，采用HDFS(分布式文件系统)保证了存储的扩展性，基于数据节点上的计算程序保证了计算能力随着存储资源线性扩展，能够实现完全实时处理和存储，使存储和计算资源放在同一台机器(服务器端)上，最小化数据网络传输从而降低汇总时间，实现对程序无感知的资源扩展。更近一步地，由于本实施例的方法将SQL转换为API，因此在后续操作中，不需要另外进行ElasticSearchAPI编码，提供对SQL的支持，使可读性更好。
图4示出了应用根据本发明实施例的数据的实时汇总方法的数据的区间汇总方法的主要流程的示意图。
与数据的实时汇总相比，数据的区间汇总的数据量更大，相应地，存储量和计算量也更大。然而，对于这种数据量巨大的区间汇总，利用如图1、3所描述的根据本发明实施例的数据的实时汇总方法，其能够灵活且简便地处理数据的区间汇总。
更具体地，对于数据的区间汇总，只需要在上述的数据的实时汇总的方法上增加调度框架即可。如图4所示，根据提前配置的调度表达式，通过在满足该调度表达式的情况下，循环调用数据的实时汇总结果(图4中显示为客户端程序，或者说，客户端程序实现的数据的实时汇总中的二次汇总的结果)，并将区间阶段结果保存到相应的关系型数据库或者缓存中，从而能够实现数据的区间汇总。
根据本发明实施例的这种数据的区间汇总方法，由于其采用了数据的实时汇总结果，因此，相应地能够实现上面提到的数据的实时汇总的技术效果。
根据本发明实施例，无论采用数据的实时汇总方式还是数据的区间汇总方式，都不需要再独立申请汇总应用程序组，因为数据处理的工作被转移到了分布式的数据节点机器上，既杜绝了大数据量的网络传输又精简了整个系统的架构，能够灵活的处理各种数据量的需求。
图5是根据本发明实施例的宽表创建的流程示意图。
在图3中的从客户端程序向HBase表发送SQL语句的步骤中，对于宽表的建立，因为HBase中只能存储字节类型且查询性能和HBase表主键密切相关，因此如图5所示，在创建宽表时需要将字段数据类型和主键形成规则记录到元数据中存储。在之后插入和读取数据时，进行对应的数据类型和行键转换返回给客户端程序。
实例
以下，简单地描述了本发明的数据的实时汇总的使用场景的一个实例。在本实施例中，需要将业务表的数据进行实时汇总。
业务表：在本实例中，业务表以运单表为例，因为运单相关的数据量巨大，涉及字段多，所以拆分为三个mysql表waybill_m、waybill_c、waybill_e并以分库分表形式来支撑。
三个表主要字段信息如下秒的表waybill_m、表waybill_c、表waybi ll_e所示。
Waybill_m:
Figure BDA0002944510190000101
Waybill_c:
字段 备注
WAYBILL_CODE 运单号
VENDOR_ID 订单号
ARRIVE_AREA 目的区域名称
PROVINCE_NAME 省名称
其余三十余列….
Waybill_e
Figure BDA0002944510190000102
Figure BDA0002944510190000111
需求和场景：在本实例中，例如，需要实时汇总统计当天0点开始七大区已签收的正常运单的实收金额、按合同计价的运费、按合同计价的服务费、包装总费用。如果不考虑数据量等因素，需求实现SQL如下：
SELECT
c.ARRIVE_AREA,
SUM(m.ACTUAL_COLLECTION)AS‘实收金额’,
SUM(e.FREIGHT)AS‘按合同计价的运费’,
SUM(e.SERVICE_CHARGE)AS‘按合同计价的服务费’，
SUM(e.PACKING_CHARGES)AS‘包装总费用’
FROM waybill_m m
JOIN waybill_c c
ON m.WAYBILL_CODE＝c.WAYBILL_CODE
JOIN waybill_e e
ON m.WAYBILL_CODE＝e.WAYBILL_CODE
WHERE
m.SIGN_STATE＝1AND DATE(SIGN_DATE)＝TODAY()AND m.WAYBILL_TYPE＝0
GROUP BY
c.ARRIVE_AREA
由于该三张表存量数据均有数十亿且均分库分表，mysql无法实现三大表关联汇总查询更无法在秒级返回结果。
建表和写入：根据本发明的数据的实时汇总发放，使用客户端创建宽表创建语句，建表语句和对应的字段类型将存入到元数据中，用于HBase列的Bytes转成对应数据类型。建表语句如下：
Figure BDA0002944510190000121
配置中选择分组字段、过滤表达式、汇总字段、汇总类型，汇总字段。分组字段选DATE(SIGN_DATE)、ARRIVE_AREA；过滤表达式SIGN_STATE＝1、WAYBILL_TYPE＝0；汇总类型SUM；汇总字段ACTUAL_COLLECTION、FREIGHT、SERVICE_CHARGE、PACKING_CHARGES。
以上配置信息会存入到根据本发明实施例的元数据中去，按照本发明的数据的实时汇总方法，其根据分组字段创建以DATE(SIGN_DATE)、ARRIVE_AREA为行键的汇总HBase表`waybill_mce_sum`。当流处理应用程序使用本发明客户端插入语句时,如：
INSERT INTO waybill_mce VALUES(`JDX08808`,50,0,1,0,1,`2020-06-28 21:05:56`,`华北`,21.5,43.2,9.4)；嵌入在Region Server中的服务端程序(发明)解析SQL并从元数据回去该表的字段信息以及配置的预汇总信息，读取汇总表`waybill_mce_sum`里行键为`2020-06-28+华北`的记录行，分别对4个汇总列进行累加后覆写该行。
实现无感知查询和汇总：利用本发明的数据的实时汇总方法，在客户端试图实时查询汇总指标时，发送SQL如：
SELECT
SUM(ACTUAL_COLLECTION)AS‘实收金额’,
SUM(FREIGHT)AS‘按合同计价的运费’,
SUM(SERVICE_CHARGE)AS‘按合同计价的服务费’，
SUM(PACKING_CHARGES)AS‘包装总费用’
FROM waybill_mce
WHERE SIGN_STATE＝1AND DATE(SIGN_DATE)＝TODAY()AND WAYBILL_TYPE＝0
GROUP BY ARRIVE_AREA。
由此，嵌入在Region Server的服务端程序(发明)解析收到的SQL语句，根据元数据中配置的汇总条件组匹配到对应的HBase汇总表`waybill_mce_sum`，然后将行键前缀为2020-06-28的记录Scan出来的结果集返回客户端，该结果集即是七大区最终的汇总指标值。如果是明细查询则直接查询原HBase表`waybill_mce`返回明细结果集。
至此，在该实例中，无感知地实现了对于上面提到的“需求和场景”中的数据的实时汇总。
另外，还可以考虑无汇总配置。在用户未对该表进行汇总配置情况下，借助HBase分布式多RegionServer的特性(HBase可以配置表生成RegionServer的个数)，协处理服务程序会通过RegionServer获取到所有符合条件的明细数据并进行一次MPP汇总后将结果集返回客户端程序，客户端收到的记录条数为7(大区数)*RegionServer数，客户端根据服务端返回的二次汇总标识位，对该数据集进行二次汇总获得最终的汇总结果。RegionServer数合理设置情况下，未进行汇总配置也可以到达秒级甚至毫秒级响应。
上面提到的MPP(Massively Parallel Processing)，即大规模并行处理，在数据库非共享集群中，每个节点都有独立的磁盘存储系统和内存系统，业务数据根据数据库模型和应用特点划分到各个节点上，每台数据节点通过专用网络或者商业通用网络互相连接，彼此协同计算，作为整体提供数据库服务。
本发明实施例还提供了一种数据的实时汇总装置200。如图2所示，该数据的实时汇总装置200包括：扩展模块201，其经由HDFS部署基于HBase的预定数目的RegionServer；并行汇总模块202，其使RegionServer各自按预定字段并行地进行数据汇总；以及发送模块203，其将RegionServer的各自的汇总后的数据发送至客户端，用于进行数据的二次汇总。
扩展模块201的预定数目的RegionServer中的每一个RegionServer的协处理器中嵌入有协处理器程序，其能够对SQL语句进行解析将其转换为API。
并行汇总模块202使RegionServer各自按预定字段并行地进行数据汇总可以具体地包括在该并行汇总模块202中进行如下步骤：HBase服务器端接收由客户端发送的SQL查询语句；HBase服务器端的所述预定数目的RegionServer按照预定字段解析所接收到的SQL查询语句，以将该SQL查询语句转换为API；以及通过API对预先存储的数据表中的数据进行插入或读取处理，将处理操作之后的所述数据表中的数据在各RegionServer进行数据汇总。
根据本发明实施例还提供了一种数据的区间汇总装置。其是在如图2所示的数据的实时汇总装置200的基础上，增加了调用模块，使得在满足预先设定的调度表达式的状态下，该调用模块通过调用接口循环调用所述扩展模块、所述并行汇总模块和所述发送模块，以得到数据的区间阶段结果。
图6示出了可以应用本发明实施例的数据的实时汇总或数据的区间汇总的方法或者数据的实时汇总或数据的区间汇总的装置(的示例性系统架构600。
如图6所示，系统架构600可以包括终端设备601、602、603，网络604和服务器605。网络604用以在终端设备601、602、603和服务器605之间提供通信链路的介质。网络604可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备601、602、603通过网络604与服务器605交互，以接收或发送消息等。终端设备601、602、603上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备601、602、603可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器605可以是提供各种服务的服务器，例如对用户利用终端设备601、602、603所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。
需要说明的是，本发明实施例所提供的数据的实时汇总或数据的区间汇总的方法一般由服务器605执行，相应地，数据的实时汇总或数据的区间汇总的装置一般设置于服务器605中。
应该理解，图6中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图7，其示出了适于用来实现本发明实施例的终端设备的计算机系统700的结构示意图。图7示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的“模块”可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的“模块”也可以设置在处理器中，例如，可以描述为：一种处理器包括发送模块、获取模块、确定模块和第一处理模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，发送模块还可以被描述为“向所连接的服务端发送图片获取请求的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：经由HDFS部署基于HBase的预定数目的RegionServer；RegionSe rver各自按预定字段并行地进行数据汇总，以及将RegionServer的各自的汇总后的数据发送至客户端，用于进行数据的二次汇总；或者使得该设备包括：预先设定调度表达式；以及在满足所述调度表达式的状态下，通过调用接口，循环执行数据的实时汇总并且进行区间汇总，以得到数据的区间阶段结果。
根据本发明实施例的技术方案，采用HDFS(分布式文件系统)保证了存储的扩展性，基于数据节点上的计算程序保证了计算能力随着存储资源线性扩展，能够实现完全实时处理和存储，使存储和计算资源放在同一台机器(服务器端)上，最小化数据网络传输从而降低汇总时间，实现对程序无感知的资源扩展。更近一步地，由于本实施例的方法将SQL转换为API，因此在后续操作中，不需要另外进行Elastic Search API编码，提供对SQL的支持，使可读性更好。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (13)

1.一种数据的实时汇总方法，其特征在于，包括：
经由HDFS部署基于HBase的预定数目的RegionServer；
RegionServer各自按预定字段并行地进行数据汇总，以及
将RegionServer的各自的汇总后的数据发送至客户端，用于进行数据的二次汇总。
2.根据权利要求1所述的数据的实时汇总方法，其特征在于，
RegionServer各自按预定字段进行数据汇总包括如下步骤：
HBase服务器端接收由客户端发送的SQL查询语句；
HBase服务器端的所述预定数目的RegionServer按照预定字段解析所接收到的SQL查询语句，以将该SQL查询语句转换为API；以及
通过API对预先存储的数据表中的数据进行插入或读取处理，将处理操作之后的所述数据表中的数据在各RegionServer进行数据汇总。
3.根据权利要求2所述的数据的实时汇总方法，其特征在于，还包括：
所述RegionServer的协处理器中预先嵌入有协处理器程序，该协处理器程序根据预先维护好的元数据中的表数据类型将对应的字段数据转为字符流存入到HBase的表中。
4.根据权利要求3所述的数据的实时汇总方法，其特征在于，
所述协处理器程序还将所述字段的数据类型和HBase表的主键形成规则记录到所述元数据中。
5.根据权利要求4所述的数据的实时汇总方法，其特征在于，
在HDFS中进行通过API对预先存储的数据表中的数据进行插入或读取处理，并且返回至所述协处理器。
6.根据权利要求5所述的数据的实时汇总方法，其特征在于，
在所述插入或读取处理时，进行对应的所述数据类型和主键转换并返回给客户端。
7.根据权利要求3所述的数据的实时汇总方法，其特征在于，
所述协处理服务程序通过RegionServer获取所有符合预定条件的明细数据并通过大规模并行处理进行一次汇总，并且该一次汇总的结果集被返回至客户端。
8.一种数据的区间汇总方法，其特征在于，
预先设定调度表达式；以及
在满足所述调度表达式的状态下，通过调用接口，循环执行根据权利要求1-7的任意一项所述的数据的实时汇总方法，以得到数据的区间阶段结果。
9.根据权利要求8所述的数据的区间汇总方法，其特征在于，还包括：将所述区间阶段结果保存到关系型数据库或者缓存中。
10.一种数据的实时汇总装置，其特征在于，包括：
扩展模块，该扩展模块经由HDFS部署基于HBase的预定数目的RegionServer；
并行汇总模块，该并行汇总模块使RegionServer各自按预定字段并行地进行数据汇总；以及
发送模块，该发送模块将RegionServer的各自的汇总后的数据发送至客户端，用于进行数据的二次汇总。
11.一种数据的区间汇总装置，其特征在于，包括：
扩展模块，该扩展模块经由HDFS部署基于HBase的预定数目的RegionServer；
并行汇总模块，该并行汇总模块使RegionServer各自按预定字段并行地进行数据汇总；
发送模块，该发送模块将RegionServer的各自的汇总后的数据发送至客户端，用于进行数据的二次汇总；以及
调用模块，在满足预先设定的调度表达式的状态下，该调用模块通过调用接口循环调用所述扩展模块、所述并行汇总模块和所述发送模块，以得到数据的区间阶段结果。
12.一种数据的实时汇总电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
13.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN202110188972.8A 2021-02-19 2021-02-19 数据的实时汇总以及区间汇总的方法和装置 Active CN113760900B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110188972.8A CN113760900B (zh) 2021-02-19 2021-02-19 数据的实时汇总以及区间汇总的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110188972.8A CN113760900B (zh) 2021-02-19 2021-02-19 数据的实时汇总以及区间汇总的方法和装置

Publications (2)

Publication Number Publication Date
CN113760900A true CN113760900A (zh) 2021-12-07
CN113760900B CN113760900B (zh) 2024-10-18

Family

ID=78786691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110188972.8A Active CN113760900B (zh) 2021-02-19 2021-02-19 数据的实时汇总以及区间汇总的方法和装置

Country Status (1)

Country Link
CN (1) CN113760900B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107451220A (zh) * 2016-09-21 2017-12-08 广州特道信息科技有限公司 一种分布式NewSQL数据库系统
CN109145051A (zh) * 2018-07-03 2019-01-04 阿里巴巴集团控股有限公司 分布式数据库的数据汇总方法及装置和电子设备
CN109271358A (zh) * 2018-11-15 2019-01-25 深圳乐信软件技术有限公司 数据汇总方法、查询方法、装置、设备及存储介质
CN110457333A (zh) * 2019-07-29 2019-11-15 招商局金融科技有限公司 数据实时更新方法、装置及计算机可读存储介质
CN110515938A (zh) * 2019-05-09 2019-11-29 北京科东电力控制系统有限责任公司 基于kafka消息总线的数据汇聚存储方法、设备和存储介质
CN111782733A (zh) * 2020-07-22 2020-10-16 支付宝(杭州)信息技术有限公司 多级数据汇总的方法、分布式数据管理系统及汇总数据管理系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107451220A (zh) * 2016-09-21 2017-12-08 广州特道信息科技有限公司 一种分布式NewSQL数据库系统
CN109145051A (zh) * 2018-07-03 2019-01-04 阿里巴巴集团控股有限公司 分布式数据库的数据汇总方法及装置和电子设备
CN109271358A (zh) * 2018-11-15 2019-01-25 深圳乐信软件技术有限公司 数据汇总方法、查询方法、装置、设备及存储介质
CN110515938A (zh) * 2019-05-09 2019-11-29 北京科东电力控制系统有限责任公司 基于kafka消息总线的数据汇聚存储方法、设备和存储介质
CN110457333A (zh) * 2019-07-29 2019-11-15 招商局金融科技有限公司 数据实时更新方法、装置及计算机可读存储介质
CN111782733A (zh) * 2020-07-22 2020-10-16 支付宝(杭州)信息技术有限公司 多级数据汇总的方法、分布式数据管理系统及汇总数据管理系统

Also Published As

Publication number Publication date
CN113760900B (zh) 2024-10-18

Similar Documents

Publication Publication Date Title
CN110019240B (zh) 一种业务数据交互方法、装置及系统
CN109947668B (zh) 存储数据的方法和装置
CN111258978B (zh) 一种数据存储的方法
US9268716B2 (en) Writing data from hadoop to off grid storage
CN113515545B (zh) 数据查询方法、装置、系统、电子设备以及存储介质
CN110837409B (zh) 一种定时执行任务的方法和系统
US11188443B2 (en) Method, apparatus and system for processing log data
US9396448B2 (en) Distributed and open schema interactions management system and method
CN109918425A (zh) 一种实现数据导入非关系型数据库的方法和系统
WO2013106595A2 (en) Processing store visiting data
CN109614402A (zh) 多维数据查询方法和装置
CN107888666A (zh) 一种跨地域数据存储系统以及数据同步方法和装置
CN110019539A (zh) 一种数据仓库的数据同步的方法和装置
CN102724290B (zh) 一种获取目标客户群的方法、设备及系统
CN117950850A (zh) 一种数据传输方法、装置、电子设备及计算机可读介质
CN113190558A (zh) 一种数据加工方法和系统
CN110705935B (zh) 一种物流单据的处理方法和装置
CN113760966A (zh) 基于异构数据库系统的数据处理方法和装置
CN105095224A (zh) 一种在移动通信网络中进行olap分析的方法、装置和系统
CN113254480A (zh) 一种数据查询方法及装置
CN107665241B (zh) 一种实时数据多维度去重方法和装置
CN113779412B (zh) 一种基于区块链网络的消息触达方法、节点和系统
CN113760900B (zh) 数据的实时汇总以及区间汇总的方法和装置
CN112115206A (zh) 一种处理对象存储元数据的方法和装置
CN110569456B (zh) Web端数据离线缓存方法及装置、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant