CN104834694A - 基于ota的快速智能报表处理方法 - Google Patents
基于ota的快速智能报表处理方法 Download PDFInfo
- Publication number
- CN104834694A CN104834694A CN201510200802.1A CN201510200802A CN104834694A CN 104834694 A CN104834694 A CN 104834694A CN 201510200802 A CN201510200802 A CN 201510200802A CN 104834694 A CN104834694 A CN 104834694A
- Authority
- CN
- China
- Prior art keywords
- data
- ota
- processing method
- quick
- method based
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 10
- 238000004140 cleaning Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 3
- 230000008676 import Effects 0.000 claims description 2
- 238000011161 development Methods 0.000 abstract description 6
- 238000007405 data analysis Methods 0.000 abstract description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种基于OTA的快速智能报表处理方法，其特点是：采用的OTA系统划分为分前台与后台，采用后台记录使用者每次使用OTA系统的数据保存在数据库中。之后，数据经过分发到达分发服务器且经过CDC捕获后传入ODS数据库中。最终，数据到达报表数据仓库中，作为数据源提供给报表系统使用。由此，能够对数据有效的捕获与清洗，进行最佳的汇总，能够使得智能报表能做到相对实时的数据处理，决策者通过大量的数据分析来制定对应的营销、推广的方案来迎合企业发展的需要，为企业的发展提供数据上的支持。
Description
技术领域
本发明涉及一种报表实现方法，尤其涉及一种基于OTA的快速智能报表处理方法。
背景技术
随着OTA（Open Travel Alliance）的网站兴起，对日趋庞大的客户操作数据以及业务员操作数据的分析越来越显得必要和有价值，对于海量的数据分析能力已经慢慢成为每个公司技术实力的标准，提升对于数据的处理能力已经变得十分迫切，因此，快速智能报表实现框架变应运而生。
DW，即数据仓库（Data Warehouse），是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。此定义由数据仓库之父Bill Inmon在1991年出版的《Building the Data Warehouse》一书中提出。
ODS（Operational Data Store）是数据仓库体系结构中的一个可选部分，ODS具备数据仓库的部分特征和OLTP系统的部分特征，它是“面向主题的、集成的、当前或接近当前的、不断变化的”数据。
CDC ( Change Data Capture),是oracle在数据库级别实现的增量抽取解决方案。在一般的ETL过程中，对于增量抽取，无非是在数据上加时间截，全记录比对，关键字段比对，日志分析抽取等几种方法，要么需要修改原表结构，要么需要大量的算法，要么借助第三方的工具实现。
发明内容
本发明的目的就是为了解决现有技术中存在的上述问题，提供一种基于OTA的快速智能报表处理方法。
本发明的目的通过以下技术方案来实现：
基于OTA的快速智能报表处理方法，其中：采用的OTA系统划分为分前台与后台，所述的前台能够调取后台的处理内容，包括以下步骤：步骤①，后台记录使用者每次使用OTA系统的数据保存在数据库中。步骤②，数据经过分发到达分发服务器。步骤③，数据经过CDC捕获后传入ODS数据库中。步骤④，数据到达报表数据仓库中，作为数据源提供给报表系统使用。
上述的基于OTA的快速智能报表处理方法，其中：根据权利要求1所述的基于OTA的快速智能报表处理方法，其特征在于：所述的前台提供客户能够选择购买的产品，所述后台供客服使用。
进一步地，上述的基于OTA的快速智能报表处理方法，其中：所述的数据包括订单操作数据、订单状态数据、供应商关系维护数据。
更进一步地，上述的基于OTA的快速智能报表处理方法，其中：所述的报表系统，采用缓存方式，以使用者的操作数据为分析对象，进行实时处理。
更进一步地，上述的基于OTA的快速智能报表处理方法，其中：所述的使用者为客户，或是业务员，或是客服，或是后台业务本身。
更进一步地，上述的基于OTA的快速智能报表处理方法，其中：所述的步骤②中，数据通过分发数据库的订阅服务到达分发服务器，并通过发布服务器的订阅，对发布服务器使用本地发布，将数据分发到分发服务器上，然后由分发服务器将变动的数据推送到相应的订阅服务器上。
更进一步地，上述的基于OTA的快速智能报表处理方法，其中：所述的分发过程为，采用SQServer自带的复制方法，通过事务日志发布将数据从发布服务器推送到订阅服务器。
更进一步地，上述的基于OTA的快速智能报表处理方法，其中：所述的步骤③中，在分发服务器上开启变更捕获的服务，并对数据库以及报表开启CDC，数据一旦发生变更，即可通过脚本来获取，数据经过CDC捕获后传入ODS数据库中。
更进一步地，上述的基于OTA的快速智能报表处理方法，其中：所述的步骤③中，CDC定时捕获到数据的变更，所述的定时区间为每间隔2小时。
再进一步地，上述的基于OTA的快速智能报表处理方法，其中：所述的步骤④中，数据结果清洗后，再到达报表数据仓库中,所述的清洗为通过SQL脚本中的语句判断来将测试、不符合逻辑的数据排除在数据仓库中。
本发明技术方案的优点主要体现在：通过对数据有效的捕获与清洗，进行最佳的汇总，能够使得智能报表能做到相对实时的数据处理，决策者通过大量的数据分析来制定对应的营销、推广的方案来迎合企业发展的需要，为企业的发展提供数据上的支持。
附图说明
图1是基于OTA的快速智能报表处理方法的构架示意图。
图中各附图标记的含义如下：
| 1 | 分发服务器 | 2 | 发布服务器 |
| 3 | 订阅服务器 | 4 | ODS服务器 |
具体实施方式
如图1所示的基于OTA的快速智能报表处理方法，其与众不同之处在于：本发明将涉及到的OTA系统划分为分前台与后台，前台能够调取后台的处理内容，这个实施过程包括以下步骤：
首先，通过后台记录使用者每次使用OTA系统的数据保存在数据库中。在实际实施时，使用者每次使用都会产生大量可供分析的数据。
之后，数据经过分发到达分发服务器1（亦可以设置多组用于备份的分发服务器1）。在此期间，数据通过分发数据库的订阅服务到达分发服务器1，并通过发布服务器2的订阅。同时，对发布服务器2使用本地发布，将数据分发到分发服务器1上，然后由分发服务器1将变动的数据推送到相应的订阅服务器3上（亦可以设置多组用于备份的订阅服务器3）。具体来说，本发明采用的分发过程为，采用SQ Server自带的复制方法，通过事务日志发布将数据从发布服务器2推送到订阅服务器3。
之后，数据经过CDC捕获后传入ODS数据库中，该ODS数据库拥有独立的ODS服务器4。具体来说，为了有效实施捕获，在分发服务器1上开启变更捕获的服务，并对数据库以及报表开启CDC。这样，数据一旦发生变更，即可通过脚本来获取。最终，数据经过CDC捕获后传入ODS数据库中。并且，考虑到与后续其他系统的处理配合，ODS数据库中已被处理的业务数据在一定程度上已经比较规整，且可以供其他系统使用。并且，为了有效收集数据，CDC每间隔2小时定时捕获到数据的变更。
最终，数据结果清洗后，再到达报表数据仓库中。换句话说，清洗为通过SQL脚本中的语句判断来将测试、不符合逻辑的数据排除在数据仓库中。由此，作为数据源提供给报表系统使用。这样，决策者需要分析数据时，直接通过报表系统提取数据仓库中的数据进行决策分析即可。
就本发明一较佳的实施方式来看，为了不至于影响OTA系统的数据处理，防止出现数据拥堵，前台提供客户能够选择购买的产品，二后台供客服使用。同时，为了尽可能扩展数据类别，涉及到的数据包括订单操作数据、订单状态数据、供应商关系维护数据。并且，上述数据类别可以根据实际使用需要进行扩展。
进一步来看，为了满足快速智能报表的需要，本发明采用报表系统，采用缓存方式，以使用者的操作数据为分析对象，进行实时处理。同时，为了便于使用管理，使用者为客户，或是业务员，或是客服，或是后台业务本身。
通过上述的文字表述可以看出，采用本发明后，通过对数据有效的捕获与清洗，进行最佳的汇总，能够使得智能报表能做到相对实时的数据处理，决策者通过大量的数据分析来制定对应的营销、推广的方案来迎合企业发展的需要，为企业的发展提供数据上的支持。
这些实施例仅是应用本发明技术方案的典型范例，凡采取等同替换或者等效变换而形成的技术方案，均落在本发明要求保护的范围之内。
Claims (10)
1.基于OTA的快速智能报表处理方法，其特征在于：采用的OTA系统划分为分前台与后台，所述的前台能够调取后台的处理内容，包括以下步骤：
步骤①，后台记录使用者每次使用OTA系统的数据保存在数据库中；
步骤②，数据经过分发到达分发服务器；
步骤③，数据经过CDC捕获后传入ODS数据库中；
步骤④，数据到达报表数据仓库中，作为数据源提供给报表系统使用。
2.根据权利要求1所述的基于OTA的快速智能报表处理方法，其特征在于：所述的前台提供客户能够选择购买的产品，所述后台供客服使用。
3.根据权利要求1所述的基于OTA的快速智能报表处理方法，其特征在于：所述的数据包括订单操作数据、订单状态数据、供应商关系维护数据。
4.根据权利要求1所述的基于OTA的快速智能报表处理方法，其特征在于：所述的报表系统，采用缓存方式，以使用者的操作数据为分析对象，进行实时处理。
5.根据权利要求1所述的基于OTA的快速智能报表处理方法，其特征在于：所述的使用者为客户，或是业务员，或是客服，或是后台业务本身。
6.根据权利要求1所述的基于OTA的快速智能报表处理方法，其特征在于：所述的步骤②中，数据通过分发数据库的订阅服务到达分发服务器，并通过发布服务器的订阅，对发布服务器使用本地发布，将数据分发到分发服务器上，然后由分发服务器将变动的数据推送到相应的订阅服务器上。
7.根据权利要求6所述的基于OTA的快速智能报表处理方法，其特征在于：所述的分发过程为，采用SQServer自带的复制方法，通过事务日志发布将数据从发布服务器推送到订阅服务器。
8.根据权利要求1所述的基于OTA的快速智能报表处理方法，其特征在于：所述的步骤③中，在分发服务器上开启变更捕获的服务，并对数据库以及报表开启CDC，数据一旦发生变更，即可通过脚本来获取，数据经过CDC捕获后传入ODS数据库中。
9.根据权利要求1所述的基于OTA的快速智能报表处理方法，其特征在于：所述的步骤③中，CDC定时捕获到数据的变更，所述的定时区间为每间隔2小时。
10.根据权利要求1所述的基于OTA的快速智能报表处理方法，其特征在于：所述的步骤④中，数据结果清洗后，再到达报表数据仓库中,所述的清洗为通过SQL脚本中的语句判断来将测试、不符合逻辑的数据排除在数据仓库中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510200802.1A CN104834694A (zh) | 2015-04-24 | 2015-04-24 | 基于ota的快速智能报表处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510200802.1A CN104834694A (zh) | 2015-04-24 | 2015-04-24 | 基于ota的快速智能报表处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104834694A true CN104834694A (zh) | 2015-08-12 |
Family
ID=53812581
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510200802.1A Pending CN104834694A (zh) | 2015-04-24 | 2015-04-24 | 基于ota的快速智能报表处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104834694A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109542975A (zh) * | 2018-10-23 | 2019-03-29 | 佛山欧神诺云商科技有限公司 | 一种智能报表查询系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002063055A (ja) * | 2000-08-23 | 2002-02-28 | Ricoh Co Ltd | 書き込み遅延データベース管理方式及びシステム |
| CN101038591A (zh) * | 2007-04-11 | 2007-09-19 | 华为技术有限公司 | 数据库同步方法及系统 |
| CN101551822A (zh) * | 2009-05-27 | 2009-10-07 | 北京星网锐捷网络技术有限公司 | 一种数据库复制方法和装置 |
| CN104184629A (zh) * | 2013-05-27 | 2014-12-03 | 同程网络科技股份有限公司 | 基于ota酒店系统的性能监控方法 |
-
2015
- 2015-04-24 CN CN201510200802.1A patent/CN104834694A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002063055A (ja) * | 2000-08-23 | 2002-02-28 | Ricoh Co Ltd | 書き込み遅延データベース管理方式及びシステム |
| CN101038591A (zh) * | 2007-04-11 | 2007-09-19 | 华为技术有限公司 | 数据库同步方法及系统 |
| CN101551822A (zh) * | 2009-05-27 | 2009-10-07 | 北京星网锐捷网络技术有限公司 | 一种数据库复制方法和装置 |
| CN104184629A (zh) * | 2013-05-27 | 2014-12-03 | 同程网络科技股份有限公司 | 基于ota酒店系统的性能监控方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109542975A (zh) * | 2018-10-23 | 2019-03-29 | 佛山欧神诺云商科技有限公司 | 一种智能报表查询系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105447184B (zh) | 信息抓取方法及装置 | |
| CN102902752B (zh) | 一种日志监控方法及系统 | |
| CN105243169B (zh) | 一种数据查询方法及系统 | |
| CN105528367A (zh) | 基于开源大数据对时间敏感数据的存储和近实时查询方法 | |
| US8903803B1 (en) | Horizontal interval-based data partitioning and indexing for large clusters | |
| CN105323601A (zh) | 基于多屏用户行为数据的人员属性标识方法 | |
| CN103246549B (zh) | 一种数据转存的方法及系统 | |
| CN105426478A (zh) | 用户行为分析的方法 | |
| CN105930511A (zh) | 一种answer大数据订阅平台 | |
| CN105243499A (zh) | 订单分配方法及系统 | |
| CN108287889B (zh) | 一种基于弹性表模型的多源异构数据存储方法和系统 | |
| CN112749863A (zh) | 关键词的调价方法及装置、电子设备 | |
| CN103530395A (zh) | 数据追踪方法及装置 | |
| CN112328708A (zh) | 一种多数据源实时聚合的混合数据仓库技术 | |
| CN106777265B (zh) | 一种业务数据的处理方法及装置 | |
| US10447749B2 (en) | Method and system for delivering data to a batch consumer and a streaming consumer | |
| Murakami | iFarm: development of web-based system of cultivation and cost management for agriculture | |
| CN110704442A (zh) | 一种大数据的实时获取方法及装置 | |
| CN104834694A (zh) | 基于ota的快速智能报表处理方法 | |
| CN106130929A (zh) | 基于图论算法的互联网保险领域的业务报文自动处理方法和系统 | |
| CN109522934A (zh) | 一种基于聚类算法的电力用户聚类方法 | |
| CN104615778A (zh) | 一种避免数据重抽的方法和装置及系统 | |
| CN104199850A (zh) | 基础数据的处理方法和装置 | |
| CN105630997A (zh) | 一种数据并行处理方法、装置及设备 | |
| CN114860780A (zh) | 一种数据仓库、数据处理系统及计算机装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150812 |
|
| RJ01 | Rejection of invention patent application after publication |