CN107239548A - 基于SQL Server和HIVE的报表处理方法 - Google Patents

基于SQL Server和HIVE的报表处理方法 Download PDF

Info

Publication number
CN107239548A
CN107239548A CN201710415130.5A CN201710415130A CN107239548A CN 107239548 A CN107239548 A CN 107239548A CN 201710415130 A CN201710415130 A CN 201710415130A CN 107239548 A CN107239548 A CN 107239548A
Authority
CN
China
Prior art keywords
data
sql server
hive
order
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710415130.5A
Other languages
English (en)
Other versions
CN107239548B (zh
Inventor
王文龙
金丽丽
王春晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ctrip Travel Network Technology Shanghai Co Ltd
Original Assignee
Ctrip Travel Network Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ctrip Travel Network Technology Shanghai Co Ltd filed Critical Ctrip Travel Network Technology Shanghai Co Ltd
Priority to CN201710415130.5A priority Critical patent/CN107239548B/zh
Publication of CN107239548A publication Critical patent/CN107239548A/zh
Application granted granted Critical
Publication of CN107239548B publication Critical patent/CN107239548B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G06F16/24532—Query optimisation of parallel queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于SQL Server和HIVE的报表处理方法，包括：SQL Server获取财务报表的订单数据，并将订单数据同步到HIVE中，每个订单数据均包括第一类数据和第二类数据；SQL Server处理每个订单的第一类数据生成第一处理结果，同时，HIVE处理每个订单的第二类数据生成第二处理结果，再将第二处理结果同步到SQL Server中；SQL Server根据第一处理结果和第二处理结果生成结果列表。本发明将财务报表中的订单数据按照数据的特性分给SQL Server和HIVE同时处理，充分发挥HIVE处理大数据与SQL Server索引查询数据快的优点，缩短结果生成的总时长。

Description

基于SQL Server和HIVE的报表处理方法
技术领域
本发明涉及一种基于SQL Server(关系型数据库管理系统)和HIVE(数据仓库工具)的报表处理方法。
背景技术
当前财务报表使用SQL Server处理，采用的是顺序模式处理数据，后续处理必须等前面处理完成才执行，串行生成最终报表所需的数据。目前亿以上级别的数据处理使用现有的串行处理的方式已无法满足快速处理的性能需求。
发明内容
本发明要解决的技术问题是为了克服现有技术中SQL Server处理财务报表数据采用顺序模式，串行生成最终报表结果数据，导致结果生成时间过长的缺陷，提供了一种基于SQL Server和HIVE的报表处理方法。
本发明是通过下述技术方案来解决上述技术问题：
一种基于SQL Server和HIVE的报表处理方法，包括：
S1、SQL Server获取财务报表的订单数据，并将所述订单数据同步到HIVE中，每个订单数据均包括第一类数据和第二类数据；
S2、SQL Server处理每个订单的第一类数据生成第一处理结果，同时，HIVE处理每个订单的第二类数据生成第二处理结果，再将所述第二处理结果同步到SQL Server中；
S3、SQL Server根据所述第一处理结果和所述第二处理结果生成结果列表。
本方案中，财务报表中的订单数据按照数据的特性分别用SQL Server和HIVE同时处理，充分发挥HIVE处理大数据与SQL Server索引查询数据快的优点，从而达到缩短财务报表结果生成的总时长。
较佳地，步骤S1之前还包括：
将历史订单数据更新到数据库中，所述历史订单数据更新完成后生成一信号量；
SQL Server根据所述信号量从所述数据库中获取所述历史订单数据生成财务报表。
较佳地，所述订单为机票订单。
较佳地，所述第一类数据包括已出票应收款数据、已退票应收款数据、已出票实收款数据、已退票实收款数据、已出票应退款数据、已出票实退款数据、已退票实退款数据和应收款调整数据，所述第一处理结果包括第一应收金额数据、实收金额数据、第一应退金额数据和实退金额数据。
较佳地，SQL Server还用于将所述第一应收金额数据同步到HIVE中。
较佳地，所述第二类数据包括已出票未收款数据、已退票未收款数据、未退票已退款数据、已退票应退款数据、应退保险数据和应收保险数据，所述第二处理结果包括第二应收金额数据和第二应退金额数据。
较佳地，步骤S2中SQL Server并行处理相互独立的所述第一类数据。
本方案中，处理对象为机票订单，每天会将今天之前的机票订单的收款退款流水记录更新到数据库中，更新完成后生成一信号量，这里的信号量用于确保更新到数据库中的订单数据的完整性，防止某个订单出现数据缺失的情况，再按照数据的特性将机票订单数据分类分别给SQL Server和HIVE处理，其中，SQL Server中相互独立的第一类数据并行处理，进一步提升处理速度，另外，SQL Server处理生成的第一应收金额数据需同步到HIVE中进一步处理。
本发明的积极进步效果在于：利用HIVE与SQL Server的特性，充分发挥HIVE处理大数据与SQL Server索引查询数据快的优点，将原有的串行处理根据数据的特性分给HIVE和SQL Server共同处理，且SQL Server中将相互独立的数据并行处理，不需相互等待运行，此种处理方式大幅度缩短财务报表结果生成的总时长。
附图说明
图1为本发明实施例1基于SQL Server和HIVE的报表处理方法的流程图。
图2为本发明实施例2基于SQL Server和HIVE的报表处理方法的流程图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
一种基于SQL Server和HIVE的报表处理方法，具体如图1所示，包括：
步骤101、SQL Server获取财务报表的订单数据，并将所述订单数据同步到HIVE中，每个订单数据均包括第一类数据和第二类数据；
步骤102、SQL Server处理每个订单的第一类数据生成第一处理结果，同时，HIVE处理每个订单的第二类数据生成第二处理结果，再将所述第二处理结果同步到SQL Server中；
步骤103、SQL Server根据所述第一处理结果和所述第二处理结果生成结果列表。
本实施例中，财务报表中的订单数据按照数据的特性分别用SQL Server和HIVE同时处理，充分发挥HIVE处理大数据与SQL Server索引查询数据快的优点，从而达到缩短财务报表结果生成的总时长。
实施例2
本实施例的报表处理方法是在实施例1的基础上进一步改进，具体如图2所示，所述订单为机票订单，步骤101之前还包括：
步骤100、将历史订单数据更新到数据库中，所述历史订单数据更新完成后生成一信号量；SQL Server根据所述信号量从所述数据库中获取所述历史订单数据生成财务报表。
其中，第一类数据包括已出票应收款数据、已退票应收款数据、已出票实收款数据、已退票实收款数据、已出票应退款数据、已出票实退款数据、已退票实退款数据和应收款调整数据，第二类数据包括已出票未收款数据、已退票未收款数据、未退票已退款数据、已退票应退款数据、应退保险数据和应收保险数据；其中，SQL Server并行处理相互独立的所述第一类数据。
所述第一处理结果包括第一应收金额数据、实收金额数据、第一应退金额数据和实退金额数据，第二处理结果包括第二应收金额数据和第二应退金额数据，SQL Server还用于将所属第一处理结果中的所述第一应收金额数据同步到HIVE中，以进一步计算得出HIVE中处理得到的所述第二应收金额数据。
本实施例中，以机票订单为处理对象，每天会将今天之前的机票订单的收款退款流水记录更新到数据库中，再按照订单数据的特性将机票订单数据分类分给SQL Server和HIVE处理，其中，SQL Server中相互独立的第一类数据并行处理，进一步提升处理速度。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (7)

1.一种基于SQL Server和HIVE的报表处理方法，其特征在于，包括：
S1、SQL Server获取财务报表的订单数据，并将所述订单数据同步到HIVE中，每个订单数据均包括第一类数据和第二类数据；
S2、SQL Server处理每个订单的第一类数据生成第一处理结果，同时，HIVE处理每个订单的第二类数据生成第二处理结果，再将所述第二处理结果同步到SQL Server中；
S3、SQL Server根据所述第一处理结果和所述第二处理结果生成结果列表。
2.如权利要求1所述的报表处理方法，其特征在于，步骤S1之前还包括：
将历史订单数据更新到数据库中，所述历史订单数据更新完成后生成一信号量；
SQL Server根据所述信号量从所述数据库中获取所述历史订单数据生成财务报表。
3.如权利要求1所述的报表处理方法，其特征在于，所述订单为机票订单。
4.如权利要求1所述的报表处理方法，其特征在于，所述第一类数据包括已出票应收款数据、已退票应收款数据、已出票实收款数据、已退票实收款数据、已出票应退款数据、已出票实退款数据、已退票实退款数据和应收款调整数据，所述第一处理结果包括第一应收金额数据、实收金额数据、第一应退金额数据和实退金额数据。
5.如权利要求4所述的报表处理方法，其特征在于，SQL Server还用于将所述第一应收金额数据同步到HIVE中。
6.如权利要求1所述的报表处理方法，其特征在于，所述第二类数据包括已出票未收款数据、已退票未收款数据、未退票已退款数据、已退票应退款数据、应退保险数据和应收保险数据，所述第二处理结果包括第二应收金额数据和第二应退金额数据。
7.如权利要求1所述的报表处理方法，其特征在于，步骤S2中SQL Server并行处理相互独立的所述第一类数据。
CN201710415130.5A 2017-06-05 2017-06-05 基于SQL Server和HIVE的报表处理方法 Active CN107239548B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710415130.5A CN107239548B (zh) 2017-06-05 2017-06-05 基于SQL Server和HIVE的报表处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710415130.5A CN107239548B (zh) 2017-06-05 2017-06-05 基于SQL Server和HIVE的报表处理方法

Publications (2)

Publication Number Publication Date
CN107239548A true CN107239548A (zh) 2017-10-10
CN107239548B CN107239548B (zh) 2020-04-07

Family

ID=59984937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710415130.5A Active CN107239548B (zh) 2017-06-05 2017-06-05 基于SQL Server和HIVE的报表处理方法

Country Status (1)

Country Link
CN (1) CN107239548B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109947828A (zh) * 2019-03-15 2019-06-28 优信拍（北京）信息科技有限公司 一种处理报表数据的方法和装置
CN110119426A (zh) * 2019-03-27 2019-08-13 携程计算机技术（上海）有限公司 酒店订单报表数据同步的方法及系统
CN111107137A (zh) * 2019-12-06 2020-05-05 携程旅游信息技术（上海）有限公司 通信数据同步及处理方法和系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040181522A1 (en) * 2003-01-16 2004-09-16 Jardin Cary A. Shared memory router system and method for node communication in a distributed system
CN103123652A (zh) * 2013-03-14 2013-05-29 曙光信息产业(北京)有限公司 数据查询方法和集群数据库系统
CN105373563A (zh) * 2014-08-28 2016-03-02 北京奇虎科技有限公司 数据库切换方法及装置
US9411845B2 (en) * 2013-06-13 2016-08-09 Sap Se Integration flow database runtime
CN105989150A (zh) * 2015-03-02 2016-10-05 中国移动通信集团四川有限公司 一种基于大数据环境的数据查询方法及装置
CN106504076A (zh) * 2016-11-23 2017-03-15 杭州先手科技有限公司 分布式订单处理方法、装置及订单处理系统
CN106528853A (zh) * 2016-11-28 2017-03-22 中国工商银行股份有限公司 数据交互管理装置、跨库数据交互处理装置及方法
CN106649503A (zh) * 2016-10-11 2017-05-10 北京集奥聚合科技有限公司 一种基于sql的查询方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040181522A1 (en) * 2003-01-16 2004-09-16 Jardin Cary A. Shared memory router system and method for node communication in a distributed system
CN103123652A (zh) * 2013-03-14 2013-05-29 曙光信息产业(北京)有限公司 数据查询方法和集群数据库系统
US9411845B2 (en) * 2013-06-13 2016-08-09 Sap Se Integration flow database runtime
CN105373563A (zh) * 2014-08-28 2016-03-02 北京奇虎科技有限公司 数据库切换方法及装置
CN105989150A (zh) * 2015-03-02 2016-10-05 中国移动通信集团四川有限公司 一种基于大数据环境的数据查询方法及装置
CN106649503A (zh) * 2016-10-11 2017-05-10 北京集奥聚合科技有限公司 一种基于sql的查询方法及系统
CN106504076A (zh) * 2016-11-23 2017-03-15 杭州先手科技有限公司 分布式订单处理方法、装置及订单处理系统
CN106528853A (zh) * 2016-11-28 2017-03-22 中国工商银行股份有限公司 数据交互管理装置、跨库数据交互处理装置及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109947828A (zh) * 2019-03-15 2019-06-28 优信拍（北京）信息科技有限公司 一种处理报表数据的方法和装置
CN110119426A (zh) * 2019-03-27 2019-08-13 携程计算机技术（上海）有限公司 酒店订单报表数据同步的方法及系统
CN111107137A (zh) * 2019-12-06 2020-05-05 携程旅游信息技术（上海）有限公司 通信数据同步及处理方法和系统

Also Published As

Publication number Publication date
CN107239548B (zh) 2020-04-07

Similar Documents

Publication Publication Date Title
CN104462362B (zh) 一种数据存储、查询、加载方法及装置
US20230169078A1 (en) Systems and methods for dynamic query prediction and optimization
CN107016018B (zh) 数据库索引创建方法及装置
CN113590698B (zh) 基于人工智能技术的数据资产分类建模与分级保护方法
CN107239548A (zh) 基于SQL Server和HIVE的报表处理方法
CN110310114A (zh) 对象分类方法、装置、服务器及存储介质
CN110992365A (zh) 一种基于图像语义分割的损失函数及其设计方法
CN108563793B (zh) 一种多显示级别地图的制图方法
CN111026870A (zh) 一种综合文本分类和图像识别的ict系统故障分析方法
CN105046270A (zh) 应用分类模型构建方法、应用分类方法及系统
CN111367951A (zh) 一种流数据处理的方法及装置
CN107248023B (zh) 一种对标企业名单的筛选方法和装置
CN111767277A (zh) 数据处理方法和装置
CN114140013A (zh) 一种基于xgboost的评分卡生成方法、装置及设备
CN112214557B (zh) 数据匹配分类方法及装置
CN106991116B (zh) 数据库执行计划的优化方法和装置
CN105589896B (zh) 数据挖掘方法及装置
CN115423600B (zh) 数据筛选方法、装置、介质及电子设备
KR101030250B1 (ko) 데이터 처리방법 및 데이터 처리 프로그램
CN111143356B (zh) 报表检索方法及装置
CN114170634A (zh) 基于DenseNet网络改进的手势图像特征提取方法
CN103810256B (zh) 基于分区技术在大数据网优平台中快速分发数据的方法
CN110414845A (zh) 针对目标交易的风险评估方法及装置
CN110766037B (zh) 用于储备项目关联性集群的处理方法
CN113742495B (zh) 基于预测模型的评级特征权重确定方法及装置、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant