CN113377872A - 在线系统数据在大数据中心的离线同步方法、装置及设备 - Google Patents
在线系统数据在大数据中心的离线同步方法、装置及设备 Download PDFInfo
- Publication number
- CN113377872A CN113377872A CN202110711557.6A CN202110711557A CN113377872A CN 113377872 A CN113377872 A CN 113377872A CN 202110711557 A CN202110711557 A CN 202110711557A CN 113377872 A CN113377872 A CN 113377872A
- Authority
- CN
- China
- Prior art keywords
- data
- target data
- type
- target
- big
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000004519 manufacturing process Methods 0.000 claims abstract description 51
- 230000001360 synchronised effect Effects 0.000 claims abstract description 27
- 238000007619 statistical method Methods 0.000 claims abstract description 19
- 238000003860 storage Methods 0.000 claims description 36
- 238000005192 partition Methods 0.000 claims description 9
- 238000013500 data storage Methods 0.000 claims description 6
- 239000000463 material Substances 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 abstract description 15
- 238000012423 maintenance Methods 0.000 abstract description 4
- 239000002609 medium Substances 0.000 description 17
- 230000003203 everyday effect Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000002354 daily effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000012120 mounting media Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2372—Updates performed during offline database operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例公开了一种在线系统数据在大数据中心的离线同步方法、装置及设备。该方法包括：根据在线生产系统中原始数据的数据类型对原始数据进行分类，以得到至少一类目标数据；针对每一类目标数据，按照目标数据对应的预设周期将在线生产系统中目标数据对应的预设时段内的目标数据同步至大数据中心。通过向大数据中心同步一定时间段内的历史数据，而非仅同步最新数据，使得用户在在线生产系统中对历史数据的更改可以在大数据中心得到同步，从而使得大数据中心可以利用最新的数据进行统计分析，同时，还可以在不更改用户现有的系统架构的基础上，利用原有的离线批量处理系统来实现，具备低成本、高稳定性以及易于维护等优势。
Description
技术领域
本发明实施例涉及数据同步技术领域，尤其涉及一种在线系统数据在大数据中心的离线同步方法、装置及设备。
背景技术
当要对一个公司的海量数据进行统计分析计算时，一般都是对接在线生产系统的数据库，将实时生产的数据定时离线批量下载至大数据中心，通过spark等大数据组件进行离线分析计算，把最终计算的结果数据同步到关系型数据库中，通过大屏等设备以WEB图表的方式展示出来。但由于大数据中心是针对海量历史数据进行分析计算的，当在线系统对历史数据进行更改时，其统计结果无法同步修改，这样就导致统计分析数据与在线系统数据脱节，无法同步更新。
现有技术中通常是通过幂等写入的方式来解决，即将生产系统和大数据中心之间的数据进行幂等实时同步，然后大数据中心对数据进行实时计算，保证统计分析的数据与生产系统的数据实时一致。但是这样必须要求整个系统能够支持数据实时接入，支持实时计算。一但生产数据频繁变更，也会导致大数据中心的统计分析任务计算频繁。而在实际统计分析应用场景中，实时性并非重要敏感指标，一般能做到小时粒度的更新即可满足用户需求。反而整个系统的稳定性以及系统搭建成本是用户的重要考核指标，实时系统必然比离线系统成本更高、维护更难且稳定性不足。
发明内容
本发明实施例提供一种在线系统数据在大数据中心的离线同步方法、装置及设备，以不更改用户现有的系统架构，利用原有的离线批量处理系统，低成本的实现统计分析数据随在线数据更改而同步更改。
第一方面，本发明实施例提供了一种在线系统数据在大数据中心的离线同步方法，该方法包括：
根据在线生产系统中原始数据的数据类型对所述原始数据进行分类，以得到至少一类目标数据；
针对每一类所述目标数据，按照所述目标数据对应的预设周期将所述在线生产系统中所述目标数据对应的预设时段内的所述目标数据同步至大数据中心。
第二方面，本发明实施例还提供了一种在线系统数据在大数据中心的离线同步装置，该装置包括：
数据分类模块，用于根据在线生产系统中原始数据的数据类型对所述原始数据进行分类，以得到至少一类目标数据；
数据同步模块，用于针对每一类所述目标数据，按照所述目标数据对应的预设周期将所述在线生产系统中所述目标数据对应的预设时段内的所述目标数据同步至大数据中心。
第三方面，本发明实施例还提供了一种计算机设备，该计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所提供的在线系统数据在大数据中心的离线同步方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所提供的在线系统数据在大数据中心的离线同步方法。
本发明实施例提供了一种在线系统数据在大数据中心的离线同步方法，首先根据在线生产系统中原始数据的数据类型对原始数据进行分类，以得到至少一类目标数据，然后针对每一类目标数据，分别按照对应的预设周期将在线生产系统中对应的预设时段内的目标数据同步至大数据中心。本发明实施例所提供的在线系统数据在大数据中心的离线同步方法，通过向大数据中心同步一定时间段内的历史数据，而非仅同步最新数据，使得用户在在线生产系统中对历史数据的更改可以在大数据中心得到同步，从而使得大数据中心可以利用最新的数据进行统计分析，同时，还可以在不更改用户现有的系统架构的基础上，利用原有的离线批量处理系统来实现，具备低成本、高稳定性以及易于维护等优势。
附图说明
图1为本发明实施例一提供的在线系统数据在大数据中心的离线同步方法的流程图；
图2为本发明实施例二提供的在线系统数据在大数据中心的离线同步装置的结构示意图；
图3为本发明实施例三提供的计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1为本发明实施例一提供的在线系统数据在大数据中心的离线同步方法的流程图。本实施例可适用于大数据中心利用在线生产系统数据进行统计分析的情况，该方法可以由本发明实施例所提供的在线系统数据在大数据中心的离线同步装置来执行，该装置可以由硬件和/或软件的方式来实现，一般可集成于计算机设备中。如图1所示，具体包括如下步骤：
S11、根据在线生产系统中原始数据的数据类型对所述原始数据进行分类，以得到至少一类目标数据。
S12、针对每一类所述目标数据，按照所述目标数据对应的预设周期将所述在线生产系统中所述目标数据对应的预设时段内的所述目标数据同步至大数据中心。
其中，示例性的，在线生产系统中所使用到的原始数据可以包括营业利润表、资产负债表、利润表、现金流量表、人员列表、任职情况表、工资表、客户档案表、发货单、到货单、库存单、产成品入库单以及物资出库单等十三种数据类型。可选的，所述目标数据包括第一类目标数据、第二类目标数据、第三类目标数据和第四类目标数据；其中，所述第一类目标数据、所述第二类目标数据、所述第三类目标数据和所述第四类目标数据分别采用全量入库方式、天粒度入库方式、月粒度入库方式和小时粒度入库方式。具体的，每种数据类型可以对应一种数据特征，从而可以将具有相同数据特征的数据类型进行归类，并得到四类目标数据。其中，第一类目标数据可以采用全量入库方式，此类目标数据需要满足的条件可以是：整体数据量相对较少，每日新增数据量相对较少，数据较为稳定且更新频次较少等，全量入库方式即对第一类目标数据进行全量同步更新。第二类目标数据可以采用天粒度入库方式，此类目标数据需要满足的条件可以是：数据量相对较大，且每天均有新的数据产生，具体可以每天对一定量的第二类目标数据进行同步更新。第三类目标数据可以采用月粒度入库方式，此类目标数据可以是按月产生新数据，且数据量也相对较少，具体可以每月对一定量的第三类目标数据进行同步更新，也可以每天对一定量的第三类目标数据进行同步更新，以尽快同步用户对历史数据的更改。第四类目标数据可以采用小时粒度入库方式，此类目标数据可以是较短周期产生新数据，且数据量相对较大，因此可以通过采用小时粒度入库方式来提高此类目标数据的实时性，具体可以每小时对一定量的第四类目标数据进行同步更新。进一步可选的，所述第一类目标数据包括人员列表、任职情况表、客户档案表以及库存单中的至少一种，所述第二类目标数据包括发货单、到货单、产成品入库单以及物资出库单中的至少一种，所述第三类目标数据包括营业利润表、资产负债表、利润表、现金流量表以及工资表中的至少一种，所述第四类目标数据包括发货单小时表以及到货单小时表中的至少一种。
在完成原始数据的分类过程之后，针对所得到的每一类目标数据，可以按照目标数据对应的预设周期将在线生产系统中目标数据对应的预设时段内的目标数据同步至大数据中心。如上示例性的，第一类目标数据对应的预设周期即可以是每天，对应的预设时段可以是前一天，如针对人员列表，可以每天固定时间(如凌晨两点)将在线生产系统中前一天最终在职工作人员的全量数据推送到大数据集群(如Hadoop集群)中，以使大数据中心每天可以获取到最新的数据。同时可选的，在所述按照所述目标数据对应的预设周期将所述在线生产系统中所述目标数据对应的预设时段内的所述目标数据同步至大数据中心之后，还包括：保存预设历史期间内每次同步的所述第一类目标数据。具体的，针对第一类目标数据，用户通常不需要查看历史数据，只需要知晓当前最新数据即可，如人员列表，通常仅需要同步当前在职工作人员的数据进行分析，但进一步的，可以向用户提供历史人员列表数据，从而用户可以获知曾经在职的工作人员数据，以为用户提供更多的便利，具体可以在大数据中心保留预设历史期间(如近31天)内每次同步得到的第一类目标数据，最近一次同步得到的数据可以反映最新的数据状态，同时用户也可查看历史同步数据，即可查看数据的整个更新变化过程。
如上示例性的，第二类目标数据对应的预设周期即可以是每天，对应的预设时段可以是近31天(前一天及再之前的30天)，如针对物资出库单，可以每天固定时间(如凌晨两点)将在线生产系统中近31天每天最终的出库物资统计数据推送至大数据集群中，以使大数据中心每天可以获取最新的近31天的统计数据。第三类目标数据对应的预设周期可以是每天(如凌晨两点)或每月(如每月一日凌晨两点)等，对应的预设时段可以是近12个月(上个月及再之前的11个月)，如针对工资表，可以每天或每月固定时间将在线生产系统中近12个月每月的工资发放数据推送至大数据集群中，以使大数据中心每天或每月可以获取最新的近12个月的统计数据。第四类目标数据对应的预设周期可以是每小时，对应的预设时段可以是当天，如针对发货单小时表，可以每小时将在线生产系统中当天最新的发货统计数据推送至大数据集群中，通过每小时推送一次，可以提高获取数据的实时性，并且可以及时的同步得到当天的数据，以便进行后续的统计分析。
当用户对历史数据进行更改时，第一类目标数据由于采用全量入库方式，则大数据中心每天可以获取到最新的全量数据，从而可以及时的进行同步更改。而针对第二类目标数据和第三类目标数据，大数据中心每天可以获取到预设时段内的数据，其中预设时段的值可以与具体的业务相关，具体可以取决于用户更改历史数据的最远时间，具体的，一般生产数据不会更改上一个月的数据，因为业务每个月底会进行财务计算，因此没有更改上月之前数据的需求，而财务数据的更改也一般不会涉及上季度之前的数据。因此，可以通过每次向大数据中心更新近31天的第二类目标数据以及近12个月的第三类目标数据来使得大数据中心可以及时的进行同步更改。进一步的，通过每小时向大数据中心更新当天的第四类目标数据，可以进一步提高第四类目标数据同步更改的实时性。
在上述技术方案的基础上，可选的，所述按照所述目标数据对应的预设周期将所述在线生产系统中所述目标数据对应的预设时段内的所述目标数据同步至大数据中心，包括：通过接口服务器从所述在线生产系统中拉取所述目标数据并进行备份；通过所述接口服务器将拉取到的所述目标数据实时同步至所述大数据中心。具体的，可以根据每一类目标数据对应的预设周期定时启动相应的脚本，从在线生产系统(具体可以是emrp报表系统服务器内的在线生产数据库)中定时下载拉取目标数据文件(如csv文件)，并通过ftp服务将拉取的目标数据推送至接口服务器。然后接口服务器可以按照文件类型和日期生成文件路径目录，并将各个目标数据文件存入对应的目录中进行备份。与此同时，可以通过hdfs接口将拉取到的目标数据实时同步至大数据中心。通过在接口服务器中进行备份，可以在大数据中心内数据丢失时及时的进行恢复。
在上述技术方案的基础上，可选的，所述目标数据的表结构中包括系统时间字段；相应的，所述按照所述目标数据对应的预设周期将所述在线生产系统中所述目标数据对应的预设时段内的所述目标数据同步至大数据中心，包括：基于所述目标数据的系统时间字段对所述目标数据进行操作型数据存储数据库的加分区入库。具体的，操作型数据存储(operational data store，ODS)表有日期作为分区，在数据入库后，可以进行msck repairtable tablename操作来对原始表中的文件进行加分区，从而避免表中路径有文件，但无分区而无法查询数据的问题。其中，系统时间字段可以作为数据的入库时间或者文件的更新日期，当对目标数据进行入库时，即可基于系统时间字段进行加分区入库，将目标数据推送到集群hdfs对应的日期分区目录下。如上示例性的，第一类目标数据、第二类目标数据和第三类目标数据的系统时间字段可以是推送程序执行日期的前一天，第四类目标数据的系统时间字段可以是推送程序执行日期的当天。
在上述技术方案的基础上，可选的，所述目标数据的表结构中还包括业务时间字段；相应的，在所述按照所述目标数据对应的预设周期将所述在线生产系统中所述目标数据对应的预设时段内的所述目标数据同步至大数据中心之后，还包括：使用系统时间最新的所述目标数据按照业务时间更新业务日期数据，以使用更新后的所述业务日期数据进行统计分析。具体的，每条目标数据的表结构中还可以包括业务时间字段，代表该条目标数据的业务时间。进而每天可以启动清洗任务，在系统日期分区表之上建立以业务时间为分区的上层表，并将系统时间最新的目标数据按照业务时间更新对应的业务日期数据，即更新基于业务时间的每天对应的数据，从而使用更新后的业务日期数据进行统计分析，以此来保证统计分析的过程所使用的数据均是最新更改的数据。
本发明实施例所提供的技术方案，首先根据在线生产系统中原始数据的数据类型对原始数据进行分类，以得到至少一类目标数据，然后针对每一类目标数据，分别按照对应的预设周期将在线生产系统中对应的预设时段内的目标数据同步至大数据中心。通过向大数据中心同步一定时间段内的历史数据，而非仅同步最新数据，使得用户在在线生产系统中对历史数据的更改可以在大数据中心得到同步，从而使得大数据中心可以利用最新的数据进行统计分析，同时，还可以在不更改用户现有的系统架构的基础上，利用原有的离线批量处理系统来实现，具备低成本、高稳定性以及易于维护等优势。
实施例二
图2为本发明实施例二提供的在线系统数据在大数据中心的离线同步装置的结构示意图，该装置可以由硬件和/或软件的方式来实现，一般可集成于计算机设备中，用于执行本发明任意实施例所提供的在线系统数据在大数据中心的离线同步方法。如图2所示，该装置包括：
数据分类模块21，用于根据在线生产系统中原始数据的数据类型对所述原始数据进行分类，以得到至少一类目标数据；
数据同步模块22，用于针对每一类所述目标数据，按照所述目标数据对应的预设周期将所述在线生产系统中所述目标数据对应的预设时段内的所述目标数据同步至大数据中心。
本发明实施例所提供的技术方案，首先根据在线生产系统中原始数据的数据类型对原始数据进行分类，以得到至少一类目标数据，然后针对每一类目标数据，分别按照对应的预设周期将在线生产系统中对应的预设时段内的目标数据同步至大数据中心。通过向大数据中心同步一定时间段内的历史数据，而非仅同步最新数据，使得用户在在线生产系统中对历史数据的更改可以在大数据中心得到同步，从而使得大数据中心可以利用最新的数据进行统计分析，同时，还可以在不更改用户现有的系统架构的基础上，利用原有的离线批量处理系统来实现，具备低成本、高稳定性以及易于维护等优势。
在上述技术方案的基础上，可选的，数据同步模块22，包括：
备份单元，用于通过接口服务器从所述在线生产系统中拉取所述目标数据并进行备份；
同步单元，用于通过所述接口服务器将拉取到的所述目标数据实时同步至所述大数据中心。
在上述技术方案的基础上，可选的，所述目标数据的表结构中包括系统时间字段；
相应的，数据同步模块22具体用于：
基于所述目标数据的系统时间字段对所述目标数据进行操作型数据存储数据库的加分区入库。
在上述技术方案的基础上，可选的，所述目标数据的表结构中还包括业务时间字段；
相应的，该在线系统数据在大数据中心的离线同步装置，还包括：
统计分析模块，用于在所述按照所述目标数据对应的预设周期将所述在线生产系统中所述目标数据对应的预设时段内的所述目标数据同步至大数据中心之后，使用系统时间最新的所述目标数据按照业务时间更新业务日期数据，以使用更新后的所述业务日期数据进行统计分析。
在上述技术方案的基础上，可选的，所述目标数据包括第一类目标数据、第二类目标数据、第三类目标数据和第四类目标数据；其中，所述第一类目标数据、所述第二类目标数据、所述第三类目标数据和所述第四类目标数据分别采用全量入库方式、天粒度入库方式、月粒度入库方式和小时粒度入库方式。
在上述技术方案的基础上，可选的，该在线系统数据在大数据中心的离线同步装置，还包括：
数据保存模块，用于在所述按照所述目标数据对应的预设周期将所述在线生产系统中所述目标数据对应的预设时段内的所述目标数据同步至大数据中心之后，保存预设历史期间内每次同步的所述第一类目标数据。
在上述技术方案的基础上，可选的，所述第一类目标数据包括人员列表、任职情况表、客户档案表以及库存单中的至少一种，所述第二类目标数据包括发货单、到货单、产成品入库单以及物资出库单中的至少一种，所述第三类目标数据包括营业利润表、资产负债表、利润表、现金流量表以及工资表中的至少一种，所述第四类目标数据包括发货单小时表以及到货单小时表中的至少一种。
本发明实施例所提供的在线系统数据在大数据中心的离线同步装置可执行本发明任意实施例所提供的在线系统数据在大数据中心的离线同步方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，在上述在线系统数据在大数据中心的离线同步装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
实施例三
图3为本发明实施例三提供的计算机设备的结构示意图，示出了适于用来实现本发明实施方式的示例性计算机设备的框图。图3显示的计算机设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。如图3所示，该计算机设备包括处理器31、存储器32、输入装置33及输出装置34；计算机设备中处理器31的数量可以是一个或多个，图3中以一个处理器31为例，计算机设备中的处理器31、存储器32、输入装置33及输出装置34可以通过总线或其他方式连接，图3中以通过总线连接为例。
存储器32作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的在线系统数据在大数据中心的离线同步方法对应的程序指令/模块(例如，在线系统数据在大数据中心的离线同步装置中的数据分类模块21及数据同步模块22)。处理器31通过运行存储在存储器32中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的在线系统数据在大数据中心的离线同步方法。
存储器32可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器32可进一步包括相对于处理器31远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置33可用于同步获取所需的目标数据，以及产生与计算机设备的用户设置和功能控制有关的键信号输入等。输出装置34包括显示屏等设备，可用于向用户展示最终的统计分析结果。
实施例四
本发明实施例四还提供一种包含计算机可执行指令的存储介质，该计算机可执行指令在由计算机处理器执行时用于执行一种在线系统数据在大数据中心的离线同步方法，该方法包括：
根据在线生产系统中原始数据的数据类型对所述原始数据进行分类，以得到至少一类目标数据；
针对每一类所述目标数据，按照所述目标数据对应的预设周期将所述在线生产系统中所述目标数据对应的预设时段内的所述目标数据同步至大数据中心。
存储介质可以是任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM、兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的在线系统数据在大数据中心的离线同步方法中的相关操作。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种在线系统数据在大数据中心的离线同步方法，其特征在于，包括：
根据在线生产系统中原始数据的数据类型对所述原始数据进行分类，以得到至少一类目标数据；
针对每一类所述目标数据，按照所述目标数据对应的预设周期将所述在线生产系统中所述目标数据对应的预设时段内的所述目标数据同步至大数据中心。
2.根据权利要求1所述的在线系统数据在大数据中心的离线同步方法，其特征在于，所述按照所述目标数据对应的预设周期将所述在线生产系统中所述目标数据对应的预设时段内的所述目标数据同步至大数据中心，包括：
通过接口服务器从所述在线生产系统中拉取所述目标数据并进行备份；
通过所述接口服务器将拉取到的所述目标数据实时同步至所述大数据中心。
3.根据权利要求1所述的在线系统数据在大数据中心的离线同步方法，其特征在于，所述目标数据的表结构中包括系统时间字段；
相应的，所述按照所述目标数据对应的预设周期将所述在线生产系统中所述目标数据对应的预设时段内的所述目标数据同步至大数据中心，包括：
基于所述目标数据的系统时间字段对所述目标数据进行操作型数据存储数据库的加分区入库。
4.根据权利要求3所述的在线系统数据在大数据中心的离线同步方法，其特征在于，所述目标数据的表结构中还包括业务时间字段；
相应的，在所述按照所述目标数据对应的预设周期将所述在线生产系统中所述目标数据对应的预设时段内的所述目标数据同步至大数据中心之后，还包括：
使用系统时间最新的所述目标数据按照业务时间更新业务日期数据，以使用更新后的所述业务日期数据进行统计分析。
5.根据权利要求1所述的在线系统数据在大数据中心的离线同步方法，其特征在于，所述目标数据包括第一类目标数据、第二类目标数据、第三类目标数据和第四类目标数据；其中，所述第一类目标数据、所述第二类目标数据、所述第三类目标数据和所述第四类目标数据分别采用全量入库方式、天粒度入库方式、月粒度入库方式和小时粒度入库方式。
6.根据权利要求5所述的在线系统数据在大数据中心的离线同步方法，其特征在于，在所述按照所述目标数据对应的预设周期将所述在线生产系统中所述目标数据对应的预设时段内的所述目标数据同步至大数据中心之后，还包括：
保存预设历史期间内每次同步的所述第一类目标数据。
7.根据权利要求5所述的在线系统数据在大数据中心的离线同步方法，其特征在于，所述第一类目标数据包括人员列表、任职情况表、客户档案表以及库存单中的至少一种，所述第二类目标数据包括发货单、到货单、产成品入库单以及物资出库单中的至少一种，所述第三类目标数据包括营业利润表、资产负债表、利润表、现金流量表以及工资表中的至少一种，所述第四类目标数据包括发货单小时表以及到货单小时表中的至少一种。
8.一种在线系统数据在大数据中心的离线同步装置，其特征在于，包括：
数据分类模块，用于根据在线生产系统中原始数据的数据类型对所述原始数据进行分类，以得到至少一类目标数据；
数据同步模块，用于针对每一类所述目标数据，按照所述目标数据对应的预设周期将所述在线生产系统中所述目标数据对应的预设时段内的所述目标数据同步至大数据中心。
9.一种计算机设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的在线系统数据在大数据中心的离线同步方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的在线系统数据在大数据中心的离线同步方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110711557.6A CN113377872B (zh) | 2021-06-25 | 2021-06-25 | 在线系统数据在大数据中心的离线同步方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110711557.6A CN113377872B (zh) | 2021-06-25 | 2021-06-25 | 在线系统数据在大数据中心的离线同步方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113377872A true CN113377872A (zh) | 2021-09-10 |
| CN113377872B CN113377872B (zh) | 2024-02-27 |
Family
ID=77579097
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110711557.6A Active CN113377872B (zh) | 2021-06-25 | 2021-06-25 | 在线系统数据在大数据中心的离线同步方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113377872B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113821517A (zh) * | 2021-11-23 | 2021-12-21 | 太平金融科技服务(上海)有限公司深圳分公司 | 数据同步方法、装置、设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101008957A (zh) * | 2006-01-24 | 2007-08-01 | 国际商业机器公司 | 用于从备份数据映像建立数据库的方法和系统 |
| CN102202072A (zh) * | 2010-03-23 | 2011-09-28 | 盛霆信息技术(上海)有限公司 | 互联网站数据的单向同步方法 |
| US20140269877A1 (en) * | 2013-03-15 | 2014-09-18 | DGS Global Systems, Inc. | Systems, methods, and devices for electronic spectrum management |
| CN106445738A (zh) * | 2016-09-13 | 2017-02-22 | 郑州云海信息技术有限公司 | 一种数据库备份方法及装置 |
| CN107657049A (zh) * | 2017-09-30 | 2018-02-02 | 深圳市华傲数据技术有限公司 | 一种基于数据仓库的数据处理方法 |
| CN107704590A (zh) * | 2017-09-30 | 2018-02-16 | 深圳市华傲数据技术有限公司 | 一种基于数据仓库的数据处理方法及系统 |
| CN107729448A (zh) * | 2017-09-30 | 2018-02-23 | 深圳市华傲数据技术有限公司 | 一种基于数据仓库的数据处理系统 |
| CN107798127A (zh) * | 2017-11-14 | 2018-03-13 | 中国银行股份有限公司 | 一种银行大型主机与个人计算机的数据同步方法及装置 |
| CN110674214A (zh) * | 2019-09-06 | 2020-01-10 | 中国平安财产保险股份有限公司 | 大数据同步方法、装置、计算机设备及存储介质 |
| CN111552719A (zh) * | 2020-04-23 | 2020-08-18 | 深圳前海微众银行股份有限公司 | 数据管理方法、装置、系统、大数据平台及可读存储介质 |
-
2021
- 2021-06-25 CN CN202110711557.6A patent/CN113377872B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101008957A (zh) * | 2006-01-24 | 2007-08-01 | 国际商业机器公司 | 用于从备份数据映像建立数据库的方法和系统 |
| CN102202072A (zh) * | 2010-03-23 | 2011-09-28 | 盛霆信息技术(上海)有限公司 | 互联网站数据的单向同步方法 |
| US20140269877A1 (en) * | 2013-03-15 | 2014-09-18 | DGS Global Systems, Inc. | Systems, methods, and devices for electronic spectrum management |
| CN106445738A (zh) * | 2016-09-13 | 2017-02-22 | 郑州云海信息技术有限公司 | 一种数据库备份方法及装置 |
| CN107657049A (zh) * | 2017-09-30 | 2018-02-02 | 深圳市华傲数据技术有限公司 | 一种基于数据仓库的数据处理方法 |
| CN107704590A (zh) * | 2017-09-30 | 2018-02-16 | 深圳市华傲数据技术有限公司 | 一种基于数据仓库的数据处理方法及系统 |
| CN107729448A (zh) * | 2017-09-30 | 2018-02-23 | 深圳市华傲数据技术有限公司 | 一种基于数据仓库的数据处理系统 |
| CN107798127A (zh) * | 2017-11-14 | 2018-03-13 | 中国银行股份有限公司 | 一种银行大型主机与个人计算机的数据同步方法及装置 |
| CN110674214A (zh) * | 2019-09-06 | 2020-01-10 | 中国平安财产保险股份有限公司 | 大数据同步方法、装置、计算机设备及存储介质 |
| CN111552719A (zh) * | 2020-04-23 | 2020-08-18 | 深圳前海微众银行股份有限公司 | 数据管理方法、装置、系统、大数据平台及可读存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| K.MAES ET AL.: "Offline synchronization of data acquisition systems using system identification", 《JOURNAL OF SOUND AND VIBRATION》, vol. 381, 27 October 2016 (2016-10-27), pages 264 - 272, XP029663293, DOI: 10.1016/j.jsv.2016.06.015 * |
| 于耳;: "高校数据中心的全方位数据保护架构", 《中国教育网络》, no. 10, 5 October 2015 (2015-10-05), pages 79 - 81 * |
| 王玮 等: "电力大数据环境下大数据中心架构体系设计", 《电力信息与通信技术》, no. 01, 15 January 2016 (2016-01-15), pages 7 - 12 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113821517A (zh) * | 2021-11-23 | 2021-12-21 | 太平金融科技服务(上海)有限公司深圳分公司 | 数据同步方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113377872B (zh) | 2024-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109189835B (zh) | 实时生成数据宽表的方法和装置 | |
| US10713594B2 (en) | Systems, methods, and apparatuses for implementing machine learning model training and deployment with a rollback mechanism | |
| US10956422B2 (en) | Integrating event processing with map-reduce | |
| CN106294486B (zh) | 金融行情数据的处理方法及系统 | |
| US9959330B2 (en) | Mechanism for updating OLAP system structure and OLTP system structure | |
| US9691105B2 (en) | Analyzing calendar to generate financial information | |
| CN110321339B (zh) | 一种数据迁移方法、装置、设备和存储介质 | |
| US8577959B2 (en) | Managing recurring appointments | |
| CN112559475B (zh) | 数据实时捕获和传输方法及系统 | |
| EP3751427A1 (en) | Rules-based dataset cleaning | |
| CN106375360B (zh) | 一种图数据更新方法、装置及系统 | |
| CN107748752A (zh) | 一种数据处理方法及装置 | |
| CN111666144A (zh) | 批处理任务执行方法、系统以及机房部署系统 | |
| CN103235811A (zh) | 一种数据存储方法及装置 | |
| CN114416868B (zh) | 一种数据同步方法、装置、设备及存储介质 | |
| CN113377872B (zh) | 在线系统数据在大数据中心的离线同步方法、装置及设备 | |
| WO2016019729A1 (zh) | 一种动态调度方法、系统及计算机存储介质 | |
| CN110704442A (zh) | 一种大数据的实时获取方法及装置 | |
| CN115525721A (zh) | 一种数据同步方法、装置、设备以及存储介质 | |
| CN109783217B (zh) | 停机时段的确定方法、装置、电子设备及存储介质 | |
| CN111797166A (zh) | 准实时简历数据同步方法和装置、电子设备及介质 | |
| CN114936915B (zh) | 数据处理方法、装置、电子设备和存储介质 | |
| CN112966849B (zh) | 件量预测模型的建立方法、装置以及设备 | |
| US12008006B1 (en) | Assessments based on data that changes retroactively | |
| CN116594976A (zh) | 一种保证分布式文件系统数据同步一致性的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |