CN110119426A - 酒店订单报表数据同步的方法及系统 - Google Patents
酒店订单报表数据同步的方法及系统 Download PDFInfo
- Publication number
- CN110119426A CN110119426A CN201910238683.7A CN201910238683A CN110119426A CN 110119426 A CN110119426 A CN 110119426A CN 201910238683 A CN201910238683 A CN 201910238683A CN 110119426 A CN110119426 A CN 110119426A
- Authority
- CN
- China
- Prior art keywords
- order
- data
- report
- hotel
- order report
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000001360 synchronised effect Effects 0.000 title claims abstract description 25
- 238000012544 monitoring process Methods 0.000 claims abstract description 22
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims description 13
- 238000013524 data verification Methods 0.000 claims description 10
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 7
- 230000015572 biosynthetic process Effects 0.000 abstract description 5
- 230000002159 abnormal effect Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000009412 basement excavation Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000002203 pretreatment Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了酒店订单报表数据的同步方法及系统，所述同步方法包括：实时获取所述酒店订单的原始数据；设置宽表、将所述原始数据写入宽表并以所述宽表的形式储存至报表数据库中；所述宽表包括订单基础信息表及订单流水表；所述订单基础信息表包括应收金额的字段；所述订单流水表包括订单类型的字段；根据所述宽表生成第一订单报表，所述第一订单报表包括收入表及收入支出表；所述收入表包括本月总收入的字段；所述收入支出表包括本月总收入、本月总支出及本月不平衡金额的字段。本发明不仅大大降低了原始数据的计算、处理及组装时间，也大大节省了系统资源也提高了酒店订单报表的生成效率、准确度，使得数据监控、预警、验证及修复更方便有效。
Description
技术领域
本发明涉及计算机信息技术领域，特别涉及一种酒店订单报表数据同步 的方法及系统。
背景技术
随着互联网及大数据平台技术的发展，越来越多的应用需要在不同的系 统之间同步数据。根据具体业务目的和应用场景的不同，各种数据同步服务 框架的功能侧重点往往不尽相同，由于系统构架或业务安全方面的原因，我 们通常不能直接对线上业务系统所存储或生成的数据进行各种运算或检索 处理，所以，我们就需要把数据采集各种存储计算组件中来进行加工处理， 由于各个系统的架构方案，读写方式，业务需求的不同，也可能存在数据的 传输同步需求也不同。在处理酒店订单数据时，现有技术在同步数据库中的 数据时，一般是将未经处理的数据直接存入目标库中，形成镜像数据，这不 仅造成后续报表系统计算在数据查询、计算、组装阶段消耗大量时间，而且 给数据监控及验证造成了很大的困难。
发明内容
本发明要解决的技术问题是为了克服现有技术中酒店订单表表数据同 步慢及对酒店订单报表数据的监控与验证不便的缺陷，提供一种酒店订单报 表数据同步的方法及系统。
本发明是通过下述技术方案来解决上述技术问题：
本发明提供了一种酒店订单报表数据的同步方法，所述同步方法包括：
实时获取所述酒店订单的原始数据；
设置宽表、将所述原始数据写入宽表并以所述宽表的形式储存至报表数 据库中；所述宽表包括订单基础信息表及订单流水表；所述订单基础信息表 包括应收金额、实收金额、退款金额及订单类型的字段；所述订单流水表包 括应收金额、应付金额、实收金额、实付金额及订单类型的字段；
根据所述宽表生成第一订单报表，所述第一订单报表包括收入表及收入 支出表；所述收入表包括本月总收入、上月总收入及增长率的字段；所述收 入支出表包括本月总收入、本月总支出及本月不平衡金额的字段。
较佳地，所述同步方法还包括：
每隔第一时间间隔随机抽取所述原始数据；
根据随机抽取的所述原始数据生成第二订单报表；
判断所述第二订单报表中的数据是否包含于所述第一订单报表中，若否， 则产生报警。
较佳地，所述同步方法还包括：
将所述原始数据复制至大数据平台以得到镜像数据；
每隔第二时间间隔根据所述镜像数据生成第三订单报表；
判断所述第三订单报表中的数据是否包含于所述第一订单报表中，若否， 则检索数据的镜像数据并将所述镜像数据替换所述原始数据。
较佳地，通过Job(一种用于在某些指定条件下执行后台任务的接口) 服务将所述原始数据以所述宽表的形式储存至报表数据库中。
较佳地，通过Canal(一款基于数据库的开源项目)中间件在MySQL(一 种数据库管理系统)数据库中获取订单的原始数据的更新信息；
通过QMQ(一种消息中间件)中间件将Canal中间件获得的更新信息 传递给Job服务。
本发明还提供了一种酒店订单报表数据的同步系统，所述同步系统包括： 获取模块、预处理模块以及报表生成模块；
所述获取模块用于实时获取所述酒店订单的原始数据；
所述预处理模块用于设置宽表、将所述原始数据写入宽表并以所述宽表 的形式储存至报表数据库中；所述宽表包括订单基础信息表及订单流水表； 所述订单基础信息表包括应收金额、实收金额、退款金额及订单类型的字段； 所述订单流水表包括应收金额、应付金额、实收金额、实付金额及订单类型 的字段；
所述报表生成模块用于根据所述宽表生成第一订单报表，所述第一订单 报表包括收入表及收入支出表；所述收入表包括本月总收入、上月总收入及 增长率的字段；所述收入支出表包括本月总收入、本月总支出及本月不平衡 金额的字段。
较佳地，所述同步系统还包括：数据监控模块，用于监控所述第一订单 报表的正确性；
所述数据监控模块包括有随机抽取单元、第二订单报表生成单元以及第 一判断单元；
所述随机抽取单元用于每隔第一时间间隔随机抽取所述原始数据；
所述第二订单报表生成单元用于根据随机抽取的所述原始数据生成第 二订单报表；
所述第一判断单元用于判断所述第二订单报表中的数据是否包含于所 述第一订单报表中，若否，则产生报警。
较佳地，所述同步系统还包括：数据验证模块，用于在大数据平台验证 并修复所述第一订单报表；
所述数据验证模块包括有：复制单元、第三订单报表生成单元以及第二 判断单元；
所述复制单元用于将所述原始数据复制至大数据平台以得到镜像数据；
所述第三订单报表生成单元用于每隔第二时间间隔根据所述镜像数据 生成第三订单报表；
所述第二判断单元用于判断所述第三订单报表中的数据是否包含于所 述第一订单报表中，若否，则检索数据的镜像数据并将所述镜像数据替换所 述原始数据。
较佳地，所述预处理模块通过Job服务将所述原始数据以所述宽表的形 式储存至报表数据库中。
较佳地，所述预处理模块通过Canal中间件在MySQL数据库中获取订 单的原始数据的更新信息并通过QMQ中间件将Canal中间件获得的更新信 息传递给Job服务。
本发明的积极进步效果在于：通过宽表直接生成最终的订单报表，从而 大大提高了酒店订单报表数据的同步效率，通过对订单报表的监控和验证， 当订单数据有错误使能及时通知相关人员或自动进行数据校验更新，从而使 最终的生成的订单报表数据更加准确，用户体验更好。
附图说明
图1为本发明实施例1的酒店订单报表数据的同步方法的流程图。
图2为本发明实施例1的酒店订单报表数据的同步方法的部分流程图。
图3为本发明实施例1的酒店订单报表数据的同步方法的部分流程图。
图4为本发明实施例2的酒店订单报表数据的同步系统的模块示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在 所述的实施例范围之中。
实施例1
如图1所示，本实施例提供了一种酒店订单报表数据的同步方法，包括：
步骤11、实时获取所述酒店订单的原始数据；
步骤12、设置宽表、将所述原始数据写入宽表并以所述宽表的形式储存 至报表数据库中；
步骤13、根据所述宽表生成第一订单报表，所述第一订单报表包括收入 表及收入支出表。
其中，至少包括一张宽表，本实施例中，宽表包括订单基础信息表及订 单流水表，但实际中的宽表的个数及宽表的类型需要根据实际需求进行设置 与选择；订单基础信息表包括应收金额、实收金额、退款金额及订单类型等 字段；所述订单流水表包括应收金额、应付金额、实收金额、实付金额及订 单类型的字段；本实施例中，所述第一订单报表包括收入表及收入支出表， 但实际中述第一订单报表的个数及述第一订单报表的类型需要根据实际需 求进行设置与选择；所述收入表包括本月总收入、上月总收入及增长率的字 段；所述收入支出表包括本月总收入、本月总支出及本月不平衡金额等字段。
本实施例中，通过将原始数据写入宽表的预处理步骤，使最终的订单表 报可以通过预处理后的数据直接计算得出，因此大大提高了报表的生成速度， 从而提高了整体运行的效率。
为了验证步骤13中生成的第一订单报表中数据的准确性，如图2所示， 本实施例还可以包括：
步骤14、每隔第一时间间隔随机抽取所述原始数据；
步骤15、根据随机抽取的所述原始数据生成第二订单报表；
步骤16、判断所述第二订单报表中的数据是否包含于所述第一订单报表 中，若否，则执行步骤17、产生报警；若是，则不产生报警。
其中，随机抽取的原始数据为与第二订单报表生成相关联的数据，步骤 15无需经过生成宽表这一步骤，而是通过随机抽取的原始数据直接生成第二 订单报表，所述第一时间间隔可以根据实际需要去进行选择，比如说，如果 随机抽取365天的数据量太大会给数据库造成压力，则可以在365天中任意 一天内每隔1分钟随机抽取原始数据以进行验证。
其中，如果检测出第二订单报表中的数据没有包含于第一订单报表中， 则可以通过发送报警邮件、发送报警短信等方式产生报警。
本实施例中，通过对第二订单报表中数据的验证，可以校验第一订单报 表中数据的正确性，当数据不准确时可以及时通知相关人员进行处理，从而 使酒店订单报表数据的同步过程更精确。
为了自动修复异常的订单数据，如图3所示，本实施例中，还可以包括：
步骤18、将所述原始数据复制至大数据平台以得到镜像数据；
步骤19、每隔第二时间间隔根据所述镜像数据生成第三订单报表；
步骤20、判断所述第三订单报表中的数据是否包含于所述第一订单报表 中，若否，则执行步骤21、检索数据的镜像数据并将所述镜像数据替换所述 原始数据；若是，则第三订单报表中的数据没有异常。
其中，由于现今社会每时每刻都在产生数据，企业内部的经营交易信息、 物联网世界中的商品物流信息，互联网世界中的人与人交互信息、位置信息 等，我们身边处处都有大数据。而大数据服务平台则是一个集数据接入、数 据处理、数据存储、查询检索、分析挖掘等、应用接口等为一体的平台，通 过在线的方式来提供数据资源、数据能力等来驱动业务发展的服务，一般来 说，根据不同企业的需求会有不同的大数据平台，通过在特定企业的大数据 平台下可以对互联网大数据进行集中的分析处理，同时能够对数据进行标签分类，便于企业管理。
本实施例中，将原始数据全部复制至特定企业的大数据平台下可以得到 镜像数据，通过每隔第二时间间隔对该镜像数据进行处理可以得到第三订单 报表，其中，由于大数据平台下的数据量太多，变化很快，没必要将第二时 间间隔设置的太短，因此，在本实施例中，将第二时间间隔设置为一天，实 践中的第二时间间隔需要根据不同的需求进行设置。本实施例中，每隔一天 进行一次回归校验，即若第三订单报表中的数据没有包含于第一订单报表中， 则说明数据有异常或计算不准确，则将有问题的数据拿出来，将对应的镜像 数据替换原始数据，重新进行同步的过程。
本实施例中，通过在大数据平台进行全量数据验证，可以起到自动修复 异常订单的作用，从而使同步过程更准确高效。
为了使同步过程更快、系统更具有灵活性，本市实施例通过Job服务将 原始数据以宽表的形式储存至报表数据库中。
本实施例中，在酒店订单原始数据库中实时获取酒店订单的原始数据； 该数据库包括MySQL、SQLSever；
若该数据库为MySQL，则通过Canal中间件在MySQL数据库中获取订 单的原始数据的更新信息并且通过QMQ中间件将Canal中间件获得的更新 信息传递给Job服务。
其中，当原始数据发生变化时，系统会自动生成一条日志，Canal模拟 MySQLslave(一种数据库协议)的交互协议向MySQLmaster(一种数据库协 议)发送dump(一种数据库协议)协议，MySQLmaster收到dump请求，开始 推送binary log(二进制日志)给Canal，Canal将对binlog日志进行抓取、 解析，并且将解析后的数据广播出去。
本实施例中，通过使用Canal中间件来更新订单宽表中的数据，使得系 统仅更新变化的数据，而无需通过传统的方式即时间戳去更新全部数据，从 而避免系统资源的浪费，使资源利用效率更高。另外，本实施例还可以通过 监控Canal心跳防止增量数据的丢失。
应当理解，当第一次同步数据时，在本实施例中，为了防止数据提取错 误或者对系统造成太大的负担，需要分批将原始数据拿出。
为了更好的理解本发明，下面基于系统构架对本实施例的原理作进一步 的解释：在第一次同步数据时，分批从数据库中拿出数据并写入宽表中，当 原始数据有变化需要进行新的同步时，如在数据库中新增加、修改或者删除 了数据，若原始数据储存在MySQL数据库中，则会通过Canal中间件使用 QMQ中间件将该数据告诉Job服务哪个订单报表有变化及有什么变化，Job 服务会将该变化告知报表数据库，报表数据库中有根据需求自定义的宽表， 该报表数据库将会根据该变化更新宽表；如果原始数据储存在SQLSever数 据库中，则会根据时间戳的变化通知Job服务更新数据，如一分钟之内数据 的更新变化，Job服务再将更新变化相应的将新的数据写入报表数据库的宽 表中，最后再通过该宽表生成用户所需要的第一订单报表。
为了使用户体验更佳，本实施例中，还可以设置向用户定时发送第一订 单报表以使用户可监控报表中的数据，及时做出反馈。
为了更好的理解本发明，下面将举一个具体实例对实施例1进行说明： 如在某一天内，有5条订单流水，分别为进账10元、退款20元、进账50 元、进账20元、退款5元，如果按照传统的方式，这五条数据会分别直接 储存至目标数据库中，但本实施例中，通过预处理设置宽表，如可以在宽表 中定义字段实收金额，则该5条数据会预先处理存入宽表，本实施例中，宽 表中实收金额为55元，因此在算总的第一订单报表时，无需根据每一条数 据再次一一算出报表，而可以直接通过宽表中预先生成的实收金额进行运算， 因此大大节约了最终报表的生成时间。
本实施例提供一套同步、监控、报警的方法，克服了现有技术中对原始 数据未经处理便存入目标库中，形成镜像数据，造成后续报表系统计算在数 据查询、计算、组装阶段消耗大量时间，使监控、验证困难的缺陷，大大降 低了原始数据的计算、处理及组装时间，使订单报表生成的时间从原有的30- 120分钟缩短至4-6分钟，大大节省了系统资源、提高了酒店订单报表的生 成效率及准确度，也使得数据监控、预警、验证及修复更方便有效。
实施例2
如图4所示，本实施例提供了一种酒店订单报表数据的同步系统，包括： 获取模块31、预处理模块32、报表生成模块33、数据监控模块34及数据验 证模块35。
获取模块31用于实时获取所述酒店订单的原始数据；
预处理模块32用于设置宽表、将所述原始数据写入宽表并以所述宽表 的形式储存至报表数据库中；
报表生成模块33用于根据所述宽表生成第一订单报表，所述第一订单 报表包括收入表及收入支出表。
数据监控模块34用于监控所述第一订单报表的正确性；
数据验证模块35用于在大数据平台验证并修复所述第一订单报表。
其中，至少包括一张宽表，本实施例中，宽表包括订单基础信息表及订 单流水表，但实际中的宽表的个数及宽表的类型需要根据实际需求进行设置 与选择；订单基础信息表包括应收金额、实收金额、退款金额及订单类型等 字段；所述订单流水表包括应收金额、应付金额、实收金额、实付金额及订 单类型的字段；本实施例中，所述第一订单报表包括收入表及收入支出表， 但实际中述第一订单报表的个数及述第一订单报表的类型需要根据实际需 求进行设置与选择；所述收入表包括本月总收入、上月总收入及增长率的字 段；所述收入支出表包括本月总收入、本月总支出及本月不平衡金额等字段。
本实施例中，通过将原始数据写入宽表的预处理步骤，使最终的订单表 报可以通过预处理后的数据直接计算得出，因此大大提高了报表的生成速度， 从而提高了整体运行的效率。
为了报表生成模块33中生成的第一订单报表中数据的准确性，本实施 例的数据监控模块34还可以包括：随机抽取单元341、第二订单报表生成单 元342及第一判断单元343；：
其中，随机抽取单元341用于每隔第一时间间隔随机抽取所述原始数据；
第二订单报表生成单元342用于根据随机抽取的所述原始数据生成第二 订单报表；
第一判断单元343用于判断所述第二订单报表中的数据是否包含于所述 第一订单报表中，若否，则产生报警；若是，则不产生报警。
其中，随机抽取的原始数据为与第二订单报表生成相关联的数据，第二 报表生成单元342无需经过生成宽表这一步骤，而是通过随机抽取的原始数 据直接生成第二订单报表，所述第一时间间隔可以根据实际需要去进行选择， 比如说，如果随机抽取365天的数据量太大会给数据库造成压力，则可以在 365天中任意一天内每隔1分钟随机抽取原始数据以进行验证。
其中，如果检测出第二订单报表中的数据没有包含于第一订单报表中， 则可以通过发送报警邮件、发送报警短信等方式产生报警。
本实施例中，通过数据监控模块34对第二订单报表中数据的验证，可 以校验第一订单报表中数据的正确性，当数据不准确时可以及时通知相关人 员进行处理，从而使酒店订单报表数据的同步过程更精确。
为了自动修复异常的订单数据，本实施例中的数据验证模块35还可以 包括：
复制单元351，用于将所述原始数据复制至大数据平台以得到镜像数据；
第三订单报表生成单元352、每隔第二时间间隔根据所述镜像数据生成 第三订单报表；
第二判断单元353用于判断所述第三订单报表中的数据是否包含于所述 第一订单报表中，若否，则检索数据的镜像数据并将所述镜像数据替换所述 原始数据；若是，则第三订单报表中的数据没有异常。
其中，由于现今社会每时每刻都在产生数据，企业内部的经营交易信息、 物联网世界中的商品物流信息，互联网世界中的人与人交互信息、位置信息 等，我们身边处处都有大数据。而大数据服务平台则是一个集数据接入、数 据处理、数据存储、查询检索、分析挖掘等、应用接口等为一体的平台，通 过在线的方式来提供数据资源、数据能力等来驱动业务发展的服务，一般来 说，根据不同企业的需求会有不同的大数据平台，通过在特定企业的大数据 平台下可以对互联网大数据进行集中的分析处理，同时能够对数据进行标签分类，便于企业管理。
本实施例中，将原始数据全部复制至特定企业的大数据平台下可以得到 镜像数据，通过每隔第二时间间隔对该镜像数据进行处理可以得到第三订单 报表，其中，由于大数据平台下的数据量太多，变化很快，没必要将第二时 间间隔设置的太短，因此，在本实施例中，将第二时间间隔设置为一天，实 践中的第二时间间隔需要根据不同的需求进行设置。本实施例中，每隔一天 进行一次回归校验，即若第三订单报表中的数据没有含述第一订单报表中， 则说明数据有异常或计算不准确，则将有问题的数据拿出来，将对应的镜像数据替换原始数据，重新进行同步的过程。
本实施例中，通过数据验证模块35在大数据平台进行全量数据验证， 可以起到自动修复异常订单的作用，从而使同步过程更准确高效。
为了使同步过程更快、系统更具有灵活性，本市实施例的预处理模块32 通过Job服务将原始数据以宽表的形式储存至报表数据库中。
本实施例中，在酒店订单原始数据库中实时获取酒店订单的原始数据； 该数据库包括MySQL、SQLSever；
若该数据库为MySQL，则通过Canal中间件在MySQL数据库中获取订 单的原始数据的更新信息并且通过QMQ中间件将Canal中间件获得的更新 信息传递给Job服务。
其中，当原始数据发生变化时，系统会自动生成一条日志，Canal模拟 MySQLslave的交互协议向MySQLmaster发送dump协议，MySQLmaster收 到dump请求，开始推送binarylog给Canal，Canal将对binlog日志进行抓 取、解析，并且将解析后的数据广播出去。
本实施例中，预处理模块32通过使用Canal中间件来更新订单宽表中 的数据，使得系统仅更新变化的数据，而无需通过传统的方式即时间戳去更 新全部数据，从而避免系统资源的浪费，使资源利用效率更高。另外，本实 施例中预处理模块32还可以通过监控Canal心跳防止增量数据的丢失。
应当理解，当第一次同步数据时，在本实施例中，为了防止数据提取错 误或者对系统造成太大的负担，需要分批将原始数据拿出。
为了更好的理解本发明，下面基于整体的系统构架对本实施例的原理作 进一步的解释：本系统包括有不同的数据库，原始数据储存在数据库中，当 在数据库中增加、修改或者删除了数据，则会通过Canal中间件使用QMQ 中间件将该数据告诉Job服务那个订单报表有变化及有什么变化，Job服务 将会将该变化告知报表数据库，报表数据库中包括至少一张宽表，该宽表的 名称及字段都可以根据实际需求进行定义，如本实施例中某张数据库名称为 HtlFinanceDW DB，该报表数据库中HtlFinanceDW DB宽表中的数据，最后， 每隔一段时间，报表逻辑处理服务将会根据报表数据库中的宽表直接生成第 一报表数据，从而大大节约了报表的生成时间；如果原始数据储存在 SQLSever数据库中，则会根据时间戳的变化通知Job服务更新数据，如一分 钟之内数据的更新变化，Job服务再将更新变化相应的将新的数据写入报表 数据库的宽表中，当需要生成第一订单报表时,QMQ中间件将会通知报表逻 辑处理服务对该报表进行生成。为了使本系统更完善，本系统构架还可以扩 展其它同步数据的方式，如Ftp(文件传输协议)。
为了使用户体验更佳，本实施例中，还可以设置向用户定时发送第一订 单报表以使用户可监控报表中的数据，及时做出反馈。
本实施例提供一套同步、监控、报警的方法，克服了现有技术中对原始 数据未经处理便存入目标库中，形成镜像数据，造成后续报表系统计算在数 据查询、计算、组装阶段消耗大量时间，使监控、验证困难的缺陷，大大降 低了原始数据的计算、处理及组装时间，使订单报表生成的时间从原有的30- 120分钟缩短至4-6分钟，大大节省了系统资源、提高了酒店订单报表的生 成效率及准确度，也使得数据监控、预警、验证及修复更方便有效。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理 解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领 域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式 做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。
Claims (10)
1.一种酒店订单报表数据的同步方法，其特征在于，所述同步方法包括：
实时获取所述酒店订单的原始数据；
设置宽表、将所述原始数据写入宽表并以所述宽表的形式储存至报表数据库中；所述宽表包括订单基础信息表及订单流水表；所述订单基础信息表包括应收金额、实收金额、退款金额及订单类型的字段；所述订单流水表包括应收金额、应付金额、实收金额、实付金额及订单类型的字段；
根据所述宽表生成第一订单报表，所述第一订单报表包括收入表及收入支出表；所述收入表包括本月总收入、上月总收入及增长率的字段；所述收入支出表包括本月总收入、本月总支出及本月不平衡金额的字段。
2.如权利要求1所述的酒店订单报表数据的同步方法，其特征在于，所述同步方法还包括：
每隔第一时间间隔随机抽取所述原始数据；
根据随机抽取的所述原始数据生成第二订单报表；
判断所述第二订单报表中的数据是否包含于所述第一订单报表中，若否，则产生报警。
3.如权利要求1所述的酒店订单报表数据的同步方法，其特征在于，所述同步方法还包括：
将所述原始数据复制至大数据平台以得到镜像数据；
每隔第二时间间隔根据所述镜像数据生成第三订单报表；
判断所述第三订单报表中的数据是否包含于所述第一订单报表中，若否，则检索数据的镜像数据并将所述镜像数据替换所述原始数据。
4.如权利要求1所述的酒店订单报表数据的同步方法，其特征在于，
通过Job服务将所述原始数据以所述宽表的形式储存至报表数据库中。
5.如权利要求4所述的酒店订单报表数据的同步方法，其特征在于，
通过Canal中间件在MySQL数据库中获取订单的原始数据的更新信息；
通过QMQ中间件将Canal中间件获得的更新信息传递给Job服务。
6.一种酒店订单报表数据的同步系统，其特征在于，所述同步系统包括：获取模块、预处理模块以及报表生成模块；
所述获取模块用于实时获取所述酒店订单的原始数据；
所述预处理模块用于设置宽表、将所述原始数据写入宽表并以所述宽表的形式储存至报表数据库中；所述宽表包括订单基础信息表及订单流水表；所述订单基础信息表包括应收金额、实收金额、退款金额及订单类型的字段；所述订单流水表包括应收金额、应付金额、实收金额、实付金额及订单类型的字段；
所述报表生成模块用于根据所述宽表生成第一订单报表，所述第一订单报表包括收入表及收入支出表；所述收入表包括本月总收入、上月总收入及增长率的字段；所述收入支出表包括本月总收入、本月总支出及本月不平衡金额的字段。
7.如权利要求6所述的酒店订单报表数据的同步系统，其特征在于，所述同步系统还包括：数据监控模块，用于监控所述第一订单报表的正确性；
所述数据监控模块包括有随机抽取单元、第二订单报表生成单元以及第一判断单元；
所述随机抽取单元用于每隔第一时间间隔随机抽取所述原始数据；
所述第二订单报表生成单元用于根据随机抽取的所述原始数据生成第二订单报表；
所述第一判断单元用于判断所述第二订单报表中的数据是否包含于所述第一订单报表中，若否，则产生报警。
8.如权利要求6所述的酒店订单报表数据的同步系统，其特征在于，所述同步系统还包括：数据验证模块，用于在大数据平台验证并修复所述第一订单报表；
所述数据验证模块包括有：复制单元、第三订单报表生成单元以及第二判断单元；
所述复制单元用于将所述原始数据复制至大数据平台以得到镜像数据；
所述第三订单报表生成单元用于每隔第二时间间隔根据所述镜像数据生成第三订单报表；
所述第二判断单元用于判断所述第三订单报表中的数据是否包含于所述第一订单报表中，若否，则检索数据的镜像数据并将所述镜像数据替换所述原始数据。
9.如权利要求6所述的酒店订单报表数据的同步系统，其特征在于，
所述预处理模块通过Job服务将所述原始数据以所述宽表的形式储存至报表数据库中。
10.如权利要求9所述的酒店订单报表数据的同步系统，其特征在于，
所述预处理模块通过Canal中间件在MySQL数据库中获取订单的原始数据的更新信息并通过QMQ中间件将Canal中间件获得的更新信息传递给Job服务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910238683.7A CN110119426A (zh) | 2019-03-27 | 2019-03-27 | 酒店订单报表数据同步的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910238683.7A CN110119426A (zh) | 2019-03-27 | 2019-03-27 | 酒店订单报表数据同步的方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110119426A true CN110119426A (zh) | 2019-08-13 |
Family
ID=67520654
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910238683.7A Pending CN110119426A (zh) | 2019-03-27 | 2019-03-27 | 酒店订单报表数据同步的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110119426A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111639984A (zh) * | 2020-05-11 | 2020-09-08 | 紫光云技术有限公司 | 一种针对数据库产品实时退费的方法 |
| CN114266616A (zh) * | 2021-12-01 | 2022-04-01 | 携程商旅信息服务（上海）有限公司 | 数据一致性方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103034636A (zh) * | 2011-09-29 | 2013-04-10 | 盛乐信息技术（上海）有限公司 | 一种非关系型数据库的回滚方法、装置及系统 |
| CN105405069A (zh) * | 2015-12-02 | 2016-03-16 | 国家电网公司 | 一种购电经营决策分析与数据处理方法 |
| CN105426394A (zh) * | 2015-10-18 | 2016-03-23 | 广州赛意信息科技股份有限公司 | 基于跨平台的移动报表生成方法和系统 |
| CN105653653A (zh) * | 2015-12-28 | 2016-06-08 | 上海瀚之友信息技术服务有限公司 | 一种订单数据同步方法及系统 |
| CN107239548A (zh) * | 2017-06-05 | 2017-10-10 | 携程旅游网络技术（上海）有限公司 | 基于SQL Server和HIVE的报表处理方法 |
| CN107463538A (zh) * | 2017-07-20 | 2017-12-12 | 上海银骏科技有限公司 | 一种银联文件数据比对方法和系统 |
| CN107644353A (zh) * | 2017-09-15 | 2018-01-30 | 浪潮软件股份有限公司 | 基于电商平台的统计系统及方法、服务端、店铺管理端 |
| CN107908672A (zh) * | 2017-10-24 | 2018-04-13 | 深圳前海微众银行股份有限公司 | 基于Hadoop平台的应用报表实现方法、设备及存储介质 |
| CN108614742A (zh) * | 2016-12-12 | 2018-10-02 | 北京京东尚科信息技术有限公司 | 报表数据的校验方法、系统和装置 |
-
2019
- 2019-03-27 CN CN201910238683.7A patent/CN110119426A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103034636A (zh) * | 2011-09-29 | 2013-04-10 | 盛乐信息技术（上海）有限公司 | 一种非关系型数据库的回滚方法、装置及系统 |
| CN105426394A (zh) * | 2015-10-18 | 2016-03-23 | 广州赛意信息科技股份有限公司 | 基于跨平台的移动报表生成方法和系统 |
| CN105405069A (zh) * | 2015-12-02 | 2016-03-16 | 国家电网公司 | 一种购电经营决策分析与数据处理方法 |
| CN105653653A (zh) * | 2015-12-28 | 2016-06-08 | 上海瀚之友信息技术服务有限公司 | 一种订单数据同步方法及系统 |
| CN108614742A (zh) * | 2016-12-12 | 2018-10-02 | 北京京东尚科信息技术有限公司 | 报表数据的校验方法、系统和装置 |
| CN107239548A (zh) * | 2017-06-05 | 2017-10-10 | 携程旅游网络技术（上海）有限公司 | 基于SQL Server和HIVE的报表处理方法 |
| CN107463538A (zh) * | 2017-07-20 | 2017-12-12 | 上海银骏科技有限公司 | 一种银联文件数据比对方法和系统 |
| CN107644353A (zh) * | 2017-09-15 | 2018-01-30 | 浪潮软件股份有限公司 | 基于电商平台的统计系统及方法、服务端、店铺管理端 |
| CN107908672A (zh) * | 2017-10-24 | 2018-04-13 | 深圳前海微众银行股份有限公司 | 基于Hadoop平台的应用报表实现方法、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 周豪: "大数据量下的实时数据报表系统的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111639984A (zh) * | 2020-05-11 | 2020-09-08 | 紫光云技术有限公司 | 一种针对数据库产品实时退费的方法 |
| CN114266616A (zh) * | 2021-12-01 | 2022-04-01 | 携程商旅信息服务（上海）有限公司 | 数据一致性方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Van Der Aalst | Business process management demystified: A tutorial on models, systems and standards for workflow management | |
| CN112668968B (zh) | 一种基于领域驱动设计的仓储管理建模方法及系统 | |
| Fujimoto | Distributed simulation systems | |
| CN106952158A (zh) | 解决热点账户问题的记账方法及设备 | |
| US20090171733A1 (en) | Dynamic selection of actions in an information technology environment | |
| CN110619580B (zh) | 一种基于智能数据处理平台的全市场多品种金融资管系统 | |
| CN111400011B (zh) | 一种实时任务调度方法、系统、设备及可读存储介质 | |
| CN110580614B (zh) | 一种基于海量策略智能处理平台的全市场多品种金融资管系统 | |
| CN105426419B (zh) | 异构系统间数据升迁系统和方法 | |
| CN110610422B (zh) | 一种基于智能有效策略判定平台的全市场多品种金融资管系统 | |
| CN111125719B (zh) | 一种提升代码安全检测效率的方法、装置、计算机设备、和可读存储介质 | |
| CN110119426A (zh) | 酒店订单报表数据同步的方法及系统 | |
| CN109598486A (zh) | 一种排查异常订单的方法和装置 | |
| CN107577748A (zh) | 基于大数据的建筑行业信息采集系统及其方法 | |
| CN111597104A (zh) | 一种多协议适配的接口回归测试方法、系统、设备和介质 | |
| CN112581099A (zh) | 一种投产方案的获取方法、装置及电子设备 | |
| CN112052033A (zh) | 一种基于流程及区块链的配电自动化主站版本管理方法及系统 | |
| CN112559511B (zh) | 一种存款系统历史数据清理方法和系统 | |
| CN105335266B (zh) | 用于确定被检测设备的故障的方法 | |
| CN110570307B (zh) | 一种基于智能策略平台的全市场多品种金融资管系统 | |
| CN112990708A (zh) | 一种政务服务的评价处理方法及系统 | |
| CN110619581B (zh) | 一种基于自动量化微服务子系统的全市场多品种智能金融资管系统 | |
| CN108062662A (zh) | 一种文娱类项目管理系统 | |
| CN110245862A (zh) | 电力系统项目管理系统 | |
| CN115775188A (zh) | 一种资产财务一体化系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190813 |