CN107239548A - 基于SQL Server和HIVE的报表处理方法 - Google Patents
基于SQL Server和HIVE的报表处理方法 Download PDFInfo
- Publication number
- CN107239548A CN107239548A CN201710415130.5A CN201710415130A CN107239548A CN 107239548 A CN107239548 A CN 107239548A CN 201710415130 A CN201710415130 A CN 201710415130A CN 107239548 A CN107239548 A CN 107239548A
- Authority
- CN
- China
- Prior art keywords
- data
- sql server
- hive
- order
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
- G06F16/24532—Query optimisation of parallel queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Abstract
本发明公开了一种基于SQL Server和HIVE的报表处理方法,包括:SQL Server获取财务报表的订单数据,并将订单数据同步到HIVE中,每个订单数据均包括第一类数据和第二类数据;SQL Server处理每个订单的第一类数据生成第一处理结果,同时,HIVE处理每个订单的第二类数据生成第二处理结果,再将第二处理结果同步到SQL Server中;SQL Server根据第一处理结果和第二处理结果生成结果列表。本发明将财务报表中的订单数据按照数据的特性分给SQL Server和HIVE同时处理,充分发挥HIVE处理大数据与SQL Server索引查询数据快的优点,缩短结果生成的总时长。
Description
技术领域
本发明涉及一种基于SQL Server(关系型数据库管理系统)和HIVE(数据仓库工具)的报表处理方法。
背景技术
当前财务报表使用SQL Server处理,采用的是顺序模式处理数据,后续处理必须等前面处理完成才执行,串行生成最终报表所需的数据。目前亿以上级别的数据处理使用现有的串行处理的方式已无法满足快速处理的性能需求。
发明内容
本发明要解决的技术问题是为了克服现有技术中SQL Server处理财务报表数据采用顺序模式,串行生成最终报表结果数据,导致结果生成时间过长的缺陷,提供了一种基于SQL Server和HIVE的报表处理方法。
本发明是通过下述技术方案来解决上述技术问题:
一种基于SQL Server和HIVE的报表处理方法,包括:
S1、SQL Server获取财务报表的订单数据,并将所述订单数据同步到HIVE中,每个订单数据均包括第一类数据和第二类数据;
S2、SQL Server处理每个订单的第一类数据生成第一处理结果,同时,HIVE处理每个订单的第二类数据生成第二处理结果,再将所述第二处理结果同步到SQL Server中;
S3、SQL Server根据所述第一处理结果和所述第二处理结果生成结果列表。
本方案中,财务报表中的订单数据按照数据的特性分别用SQL Server和HIVE同时处理,充分发挥HIVE处理大数据与SQL Server索引查询数据快的优点,从而达到缩短财务报表结果生成的总时长。
较佳地,步骤S1之前还包括:
将历史订单数据更新到数据库中,所述历史订单数据更新完成后生成一信号量;
SQL Server根据所述信号量从所述数据库中获取所述历史订单数据生成财务报表。
较佳地,所述订单为机票订单。
较佳地,所述第一类数据包括已出票应收款数据、已退票应收款数据、已出票实收款数据、已退票实收款数据、已出票应退款数据、已出票实退款数据、已退票实退款数据和应收款调整数据,所述第一处理结果包括第一应收金额数据、实收金额数据、第一应退金额数据和实退金额数据。
较佳地,SQL Server还用于将所述第一应收金额数据同步到HIVE中。
较佳地,所述第二类数据包括已出票未收款数据、已退票未收款数据、未退票已退款数据、已退票应退款数据、应退保险数据和应收保险数据,所述第二处理结果包括第二应收金额数据和第二应退金额数据。
较佳地,步骤S2中SQL Server并行处理相互独立的所述第一类数据。
本方案中,处理对象为机票订单,每天会将今天之前的机票订单的收款退款流水记录更新到数据库中,更新完成后生成一信号量,这里的信号量用于确保更新到数据库中的订单数据的完整性,防止某个订单出现数据缺失的情况,再按照数据的特性将机票订单数据分类分别给SQL Server和HIVE处理,其中,SQL Server中相互独立的第一类数据并行处理,进一步提升处理速度,另外,SQL Server处理生成的第一应收金额数据需同步到HIVE中进一步处理。
本发明的积极进步效果在于:利用HIVE与SQL Server的特性,充分发挥HIVE处理大数据与SQL Server索引查询数据快的优点,将原有的串行处理根据数据的特性分给HIVE和SQL Server共同处理,且SQL Server中将相互独立的数据并行处理,不需相互等待运行,此种处理方式大幅度缩短财务报表结果生成的总时长。
附图说明
图1为本发明实施例1基于SQL Server和HIVE的报表处理方法的流程图。
图2为本发明实施例2基于SQL Server和HIVE的报表处理方法的流程图。
具体实施方式
下面通过实施例的方式进一步说明本发明,但并不因此将本发明限制在所述的实施例范围之中。
实施例1
一种基于SQL Server和HIVE的报表处理方法,具体如图1所示,包括:
步骤101、SQL Server获取财务报表的订单数据,并将所述订单数据同步到HIVE中,每个订单数据均包括第一类数据和第二类数据;
步骤102、SQL Server处理每个订单的第一类数据生成第一处理结果,同时,HIVE处理每个订单的第二类数据生成第二处理结果,再将所述第二处理结果同步到SQL Server中;
步骤103、SQL Server根据所述第一处理结果和所述第二处理结果生成结果列表。
本实施例中,财务报表中的订单数据按照数据的特性分别用SQL Server和HIVE同时处理,充分发挥HIVE处理大数据与SQL Server索引查询数据快的优点,从而达到缩短财务报表结果生成的总时长。
实施例2
本实施例的报表处理方法是在实施例1的基础上进一步改进,具体如图2所示,所述订单为机票订单,步骤101之前还包括:
步骤100、将历史订单数据更新到数据库中,所述历史订单数据更新完成后生成一信号量;SQL Server根据所述信号量从所述数据库中获取所述历史订单数据生成财务报表。
其中,第一类数据包括已出票应收款数据、已退票应收款数据、已出票实收款数据、已退票实收款数据、已出票应退款数据、已出票实退款数据、已退票实退款数据和应收款调整数据,第二类数据包括已出票未收款数据、已退票未收款数据、未退票已退款数据、已退票应退款数据、应退保险数据和应收保险数据;其中,SQL Server并行处理相互独立的所述第一类数据。
所述第一处理结果包括第一应收金额数据、实收金额数据、第一应退金额数据和实退金额数据,第二处理结果包括第二应收金额数据和第二应退金额数据,SQL Server还用于将所属第一处理结果中的所述第一应收金额数据同步到HIVE中,以进一步计算得出HIVE中处理得到的所述第二应收金额数据。
本实施例中,以机票订单为处理对象,每天会将今天之前的机票订单的收款退款流水记录更新到数据库中,再按照订单数据的特性将机票订单数据分类分给SQL Server和HIVE处理,其中,SQL Server中相互独立的第一类数据并行处理,进一步提升处理速度。
虽然以上描述了本发明的具体实施方式,但是本领域的技术人员应当理解,这些仅是举例说明,本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下,可以对这些实施方式做出多种变更或修改,但这些变更和修改均落入本发明的保护范围。
Claims (7)
1.一种基于SQL Server和HIVE的报表处理方法,其特征在于,包括:
S1、SQL Server获取财务报表的订单数据,并将所述订单数据同步到HIVE中,每个订单数据均包括第一类数据和第二类数据;
S2、SQL Server处理每个订单的第一类数据生成第一处理结果,同时,HIVE处理每个订单的第二类数据生成第二处理结果,再将所述第二处理结果同步到SQL Server中;
S3、SQL Server根据所述第一处理结果和所述第二处理结果生成结果列表。
2.如权利要求1所述的报表处理方法,其特征在于,步骤S1之前还包括:
将历史订单数据更新到数据库中,所述历史订单数据更新完成后生成一信号量;
SQL Server根据所述信号量从所述数据库中获取所述历史订单数据生成财务报表。
3.如权利要求1所述的报表处理方法,其特征在于,所述订单为机票订单。
4.如权利要求1所述的报表处理方法,其特征在于,所述第一类数据包括已出票应收款数据、已退票应收款数据、已出票实收款数据、已退票实收款数据、已出票应退款数据、已出票实退款数据、已退票实退款数据和应收款调整数据,所述第一处理结果包括第一应收金额数据、实收金额数据、第一应退金额数据和实退金额数据。
5.如权利要求4所述的报表处理方法,其特征在于,SQL Server还用于将所述第一应收金额数据同步到HIVE中。
6.如权利要求1所述的报表处理方法,其特征在于,所述第二类数据包括已出票未收款数据、已退票未收款数据、未退票已退款数据、已退票应退款数据、应退保险数据和应收保险数据,所述第二处理结果包括第二应收金额数据和第二应退金额数据。
7.如权利要求1所述的报表处理方法,其特征在于,步骤S2中SQL Server并行处理相互独立的所述第一类数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710415130.5A CN107239548B (zh) | 2017-06-05 | 2017-06-05 | 基于SQL Server和HIVE的报表处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710415130.5A CN107239548B (zh) | 2017-06-05 | 2017-06-05 | 基于SQL Server和HIVE的报表处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107239548A true CN107239548A (zh) | 2017-10-10 |
CN107239548B CN107239548B (zh) | 2020-04-07 |
Family
ID=59984937
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710415130.5A Active CN107239548B (zh) | 2017-06-05 | 2017-06-05 | 基于SQL Server和HIVE的报表处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107239548B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109947828A (zh) * | 2019-03-15 | 2019-06-28 | 优信拍(北京)信息科技有限公司 | 一种处理报表数据的方法和装置 |
CN110119426A (zh) * | 2019-03-27 | 2019-08-13 | 携程计算机技术(上海)有限公司 | 酒店订单报表数据同步的方法及系统 |
CN111107137A (zh) * | 2019-12-06 | 2020-05-05 | 携程旅游信息技术(上海)有限公司 | 通信数据同步及处理方法和系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040181522A1 (en) * | 2003-01-16 | 2004-09-16 | Jardin Cary A. | Shared memory router system and method for node communication in a distributed system |
CN103123652A (zh) * | 2013-03-14 | 2013-05-29 | 曙光信息产业(北京)有限公司 | 数据查询方法和集群数据库系统 |
CN105373563A (zh) * | 2014-08-28 | 2016-03-02 | 北京奇虎科技有限公司 | 数据库切换方法及装置 |
US9411845B2 (en) * | 2013-06-13 | 2016-08-09 | Sap Se | Integration flow database runtime |
CN105989150A (zh) * | 2015-03-02 | 2016-10-05 | 中国移动通信集团四川有限公司 | 一种基于大数据环境的数据查询方法及装置 |
CN106504076A (zh) * | 2016-11-23 | 2017-03-15 | 杭州先手科技有限公司 | 分布式订单处理方法、装置及订单处理系统 |
CN106528853A (zh) * | 2016-11-28 | 2017-03-22 | 中国工商银行股份有限公司 | 数据交互管理装置、跨库数据交互处理装置及方法 |
CN106649503A (zh) * | 2016-10-11 | 2017-05-10 | 北京集奥聚合科技有限公司 | 一种基于sql的查询方法及系统 |
-
2017
- 2017-06-05 CN CN201710415130.5A patent/CN107239548B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040181522A1 (en) * | 2003-01-16 | 2004-09-16 | Jardin Cary A. | Shared memory router system and method for node communication in a distributed system |
CN103123652A (zh) * | 2013-03-14 | 2013-05-29 | 曙光信息产业(北京)有限公司 | 数据查询方法和集群数据库系统 |
US9411845B2 (en) * | 2013-06-13 | 2016-08-09 | Sap Se | Integration flow database runtime |
CN105373563A (zh) * | 2014-08-28 | 2016-03-02 | 北京奇虎科技有限公司 | 数据库切换方法及装置 |
CN105989150A (zh) * | 2015-03-02 | 2016-10-05 | 中国移动通信集团四川有限公司 | 一种基于大数据环境的数据查询方法及装置 |
CN106649503A (zh) * | 2016-10-11 | 2017-05-10 | 北京集奥聚合科技有限公司 | 一种基于sql的查询方法及系统 |
CN106504076A (zh) * | 2016-11-23 | 2017-03-15 | 杭州先手科技有限公司 | 分布式订单处理方法、装置及订单处理系统 |
CN106528853A (zh) * | 2016-11-28 | 2017-03-22 | 中国工商银行股份有限公司 | 数据交互管理装置、跨库数据交互处理装置及方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109947828A (zh) * | 2019-03-15 | 2019-06-28 | 优信拍(北京)信息科技有限公司 | 一种处理报表数据的方法和装置 |
CN110119426A (zh) * | 2019-03-27 | 2019-08-13 | 携程计算机技术(上海)有限公司 | 酒店订单报表数据同步的方法及系统 |
CN111107137A (zh) * | 2019-12-06 | 2020-05-05 | 携程旅游信息技术(上海)有限公司 | 通信数据同步及处理方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN107239548B (zh) | 2020-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104462362B (zh) | 一种数据存储、查询、加载方法及装置 | |
US20230169078A1 (en) | Systems and methods for dynamic query prediction and optimization | |
TW201835789A (zh) | 評分模型的建立、用戶信用的評估方法及裝置 | |
CN107016018B (zh) | 数据库索引创建方法及装置 | |
CN113590698B (zh) | 基于人工智能技术的数据资产分类建模与分级保护方法 | |
CN102880612B (zh) | 图像标注方法及其装置 | |
CN107239548A (zh) | 基于SQL Server和HIVE的报表处理方法 | |
CN110310114A (zh) | 对象分类方法、装置、服务器及存储介质 | |
CN107248023B (zh) | 一种对标企业名单的筛选方法和装置 | |
CN110992365A (zh) | 一种基于图像语义分割的损失函数及其设计方法 | |
CN105046270A (zh) | 应用分类模型构建方法、应用分类方法及系统 | |
CN114140013A (zh) | 一种基于xgboost的评分卡生成方法、装置及设备 | |
CN114511330B (zh) | 一种基于改进的cnn-rf的以太坊庞氏骗局检测方法及系统 | |
CN106326462A (zh) | 一种视频索引分级方法及装置 | |
CN111767277A (zh) | 数据处理方法和装置 | |
CN112214557B (zh) | 数据匹配分类方法及装置 | |
CN106991116B (zh) | 数据库执行计划的优化方法和装置 | |
CN111143356B (zh) | 报表检索方法及装置 | |
CN110084498B (zh) | 一种服务端的派工方法、装置、计算机设备及存储介质 | |
CN110084376B (zh) | 对数据自动分箱的方法及装置 | |
CN105589896B (zh) | 数据挖掘方法及装置 | |
CN115423600B (zh) | 数据筛选方法、装置、介质及电子设备 | |
CN116028873A (zh) | 一种基于支持向量机的多类服务器故障预测方法 | |
CN113742495B (zh) | 基于预测模型的评级特征权重确定方法及装置、电子设备 | |
CN110941952A (zh) | 一种完善审计分析模型的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |