CN101226527A - 双核库数据同步方法 - Google Patents
双核库数据同步方法 Download PDFInfo
- Publication number
- CN101226527A CN101226527A CNA2007100510610A CN200710051061A CN101226527A CN 101226527 A CN101226527 A CN 101226527A CN A2007100510610 A CNA2007100510610 A CN A2007100510610A CN 200710051061 A CN200710051061 A CN 200710051061A CN 101226527 A CN101226527 A CN 101226527A
- Authority
- CN
- China
- Prior art keywords
- data
- synchronization
- double
- foreground application
- synchronous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种双核库数据同步方法，其特征在于：双核库包括数据仓库和前台应用库；所述双核库将经营分析系统用户访问的数据存储在数据仓库中，同时存储了同样一份存在前台应用库中，当经营分析系统用户访问时采用多层机制；所述多层机制为：当先访问前台应用库失败时，经营分析系统自动切换访问数据仓库，数据仓库和前台应用库两库之间的数据按照数据本身的周期性通过同步系统进行实时同步；本发明实现了同步操作的多种周期性，可以定时同步、循环同步，也可按条件触发同步，能方便按任务进行管理，管理需要同步的数据；避免了数据库自身同步机制带来的较大系统资源消耗；方便监控同步操作；每次同步操作可重复进行，不影响结果的准确性；除了系统自动同步外，还可以手工启动某一次同步操作。
Description
技术领域
本发明涉及计算机数据库技术领域，特别是一种双核库数据同步方法。
背景技术
目前通信行业，特别是运营商所使用的经营分析系统(面向企业运营的统一数据信息平台，为全网业务、客户服务、市场营销、经营决策、业务实施等工作提供了有效的支撑的系统)的仓库数据和大部分前台展示数据都存放在数据仓库中，但是这种方式存在如下问题：
1、仓库主机发生故障，将导致前台应用系统不可访问，影响前台系统的可用性；
2、仓库主机一旦运行较大的后台程序，则前台应用系统访问缓慢，影响前台访问效率；
3、何前台数据的处理程序运行时，都将更新前台数据表，如果调度不适当，这些处理程序将会导致用户对前台访问失败，直观感觉则是系统不稳定；
4、访问前台数据时一旦出错，直接在前台展示出来，而且往往是系统层面的，用户体验不好。
为改善以上所存在的问题，需要在数据库方面做出相应的技术改进。
发明内容
本发明为解决上述问题通过双核库数据同步方法构建一个独立的前台应用库，将前台访问的数据从物理上独立出来，单独存放在一个前台应用库中，并于按照数据本身的周期特性进行准实时的同步访问数据仓库，使得前台数据在整个系统中存在两份。
本发明的技术方案如下：
双核库数据同步方法，其特征在于：双核库包括数据仓库和前台应用库；所述双核库将经营分析系统用户访问的数据存储在数据仓库中，同时存储了同样一份存在前台应用库中，当经营分析系统用户访问时采用多层机制；所述多层机制为：当先访问前台应用库失败时，经营分析系统自动切换访问数据仓库，数据仓库和前台应用库两库之间的数据按照数据本身的周期性通过同步系统进行实时同步。
所述前台应用库指经营分析系统用户直接访问的数据库。
所述同步系统是在仓库和前台应用库之间根据数据项的周期特性进行数据同步。
所述同步系统包含对同步数据项的配置策略、配置策略解释程序，所述配置策略解释程序包括调度主进程、内部时钟进程、日志管理进程、同步任务执行程序、数据导入程序、数据导出程序。
所述调度主进程指完成所有同步任务进程的调度和控制；所述同步任务进程完成具体同步任务中各数据项的同步；所述配置策略指记录同步数据项的数据所在位置、数据筛选条件、同步方法(追加同步、覆盖同步)、周期策略等；所述日志管理进程指同步过程中各系统信息的输出和日志内容的定期删除。
所述实时同步的流程如下：
A、首先读取要同步数据项的周期策略，轮询判断该数据项是否已满足其周期策略；
B、当该数据项满足其周期策略时，触发同步任务，所述同步任务分别包含数据导出和数据导入两个任务；
C、步骤B中所述的数据导出任务首先判断要同步的是源数据库中的哪些数据表、哪些纪录；同时在目标数据库中创建该源数据表的模板表，当目标数据库中不存在目标数据表时，则通过模板表创建目标数据表，最后将源数据表的数据导出到数据文件；
D、步骤B中所述的数据导入任务首先判断同步到的目标表、目标表的位置，然后导入数据到目标数据表，最后通过数据校验进程进行同步校验。
所述同步数据项的周期策略指每隔n秒触发一次(n＞10s)，或者每隔n秒强制触发一次(n＞10s)，或者每天hh点mm分触发一次，或者每周周w的hh点mm分触发一次，或者每月dd日hh点mm分触发一次，或者某/每日hh点mm分后每隔n秒触发一次等等。
所述数据校验进程指将目标数据表的内容与数据文件的内容进行比较。
所述数据导入任务和数据导出任务是通过数据导入程序、数据导出程序执行的，当数据导入程序、数据导出程序执行时，程序中的同步状态控制模块记录同步任务执行的状态；所述状态包括成功、失败、进行中、执行完成但存在警告四种状态；所述同步状态和同步周期策略共同决定同步任务的重复执行方式。
本发明的有益效果如下：
本发明实现了同步操作的多种周期性，可以按日、周、月定时同步、循环同步，也可以按条件触发同步，能够方便地按任务进行管理，管理需要同步的数据；
避免了数据库自身同步机制带来的较大的系统资源消耗；
能够方便地监控同步操作，并有详细的日志记录；
每次同步操作可重复进行，不影响结果的准确性；
除了系统自动同步外，还可以手工启动某一次同步操作；
可以在不同主机上的不同数据库之间实现同步；
同步具有事务性，每次同步要么完全成功要么完全失败，每次未成功的同步对下次同步没有数据上的影响；
同步操作尽量小地影响前台系统的正常运行，不存在因同步导致前台系统不能访问的情况；
同步操作不能无限制占用主机资源，应当控制同时进行的同步操作数量。
附图说明
图1为本发明的同步流程图
图2为本发明的系统结构图
图3为本发明的原理图
具体实施方式
双核库数据同步方法，双核库包括数据仓库和前台应用库；所述双核库将经营分析系统用户访问的数据存储在数据仓库中，同时存储了同样一份存在前台应用库中，当经营分析系统用户访问时采用多层机制；所述多层机制为：当先访问前台应用库失败时，经营分析系统自动切换访问数据仓库，数据仓库和前台应用库两库之间的数据按照数据本身的周期性通过同步系统进行实时同步。
所述前台应用库指经营分析系统用户直接访问的数据库。
所述同步系统是在仓库和前台应用库之间根据数据项的周期特性进行数据同步。
所述同步系统包含对同步数据项的配置策略、配置策略解释程序，所述配置策略解释程序包括调度主进程、内部时钟进程、日志管理进程、同步任务执行程序、数据导入程序、数据导出程序。
所述调度主进程指完成所有同步任务进程的调度和控制；所述同步任务进程完成具体同步任务中各数据项的同步；所述配置策略指记录同步数据项的数据所在位置、数据筛选条件、同步方法(追加同步、覆盖同步)、周期策略等；所述日志管理进程指同步过程中各系统信息的输出和日志内容的定期删除。
所述实时同步的流程如下：
A、首先读取要同步数据项的周期策略，轮询判断该数据项是否已满足其周期策略；
B、当该数据项满足其周期策略时，触发同步任务，所述同步任务分别包含数据导出和数据导入两个任务；
C、步骤B中所述的数据导出任务首先判断要同步的是源数据库中的哪些数据表、哪些纪录；同时在目标数据库中创建该源数据表的模板表，当目标数据库中不存在目标数据表时，则通过模板表创建目标数据表，最后将源数据表的数据导出到数据文件；
D、步骤B中所述的数据导入任务首先判断同步到的目标表、目标表的位置，然后导入数据到目标数据表，最后通过数据校验进程进行同步校验。
所述同步数据项的周期策略指每隔n秒触发一次(n＞10s)，或者每隔n秒强制触发一次(n＞10s)，或者每天hh点mm分触发一次，或者每周周w的hh点mm分触发一次，或者每月dd日hh点mm分触发一次，或者某/每日hh点mm分后每隔n秒触发一次等等，如下表周期策略的规则说明：
| 周期策略 | 格式 | 说明 |
| 按天执行 | Sche_type＝DaySche_dt＝*:hh:mm | 每天hh:mm开始执行 |
| 按周执行 | Sche_type＝weekSche_dt＝w1，w2...w3:hh:mm | 每周的周w1，周w2的hh:mm开始执行 |
| 按月执行 | Sche_type＝monthSche_dt＝m1:hh:mm | 每月m1日的hh:mm开始执行 |
| 按周期执行 | Sche_type＝cycSche_dt＝ss | 按n秒的间隔周期性执行 |
| 按周期强制执行 | Sche_type＝cyc-forceSche_dt＝n | 和cys方式不同在于：按n秒的间隔周期性执行，执行成功后还会继续重复执行，而cyc方式在执行成功后，就不再重 |
| 复执行了。 | ||
| 按某个时间点后再进行周期性执行 | Sche_type＝day-cycSche_dt＝*:hh:mm:n | 每天hh:mm以后按n秒的间隔周期性执行 |
| Sche_type＝month-cycSche_dt＝dd:hh:mm:n | 每月dd日的hh:mm以后按n秒的间隔周期性执行 |
所述数据校验进程指将目标数据表的内容与数据文件的内容进行比较，比如对目标数据表和数据文件的记录数进行比较。
所述数据导入任务和数据导出任务是通过数据导入程序、数据导出程序执行的，当数据导入程序、数据导出程序执行时，程序中的同步状态控制模块记录同步任务执行的状态；所述状态包括成功、失败、进行中、执行完成但存在警告四种状态；所述同步状态和同步周期策略共同决定同步任务的重复执行方式。
Claims (8)
1.双核库数据同步方法，其特征在于：双核库包括数据仓库和前台应用库；所述双核库将经营分析系统用户访问的数据存储在数据仓库中，同时存储了同样一份存在前台应用库中，当经营分析系统用户访问时采用多层机制；所述多层机制为：当先访问前台应用库失败时，经营分析系统自动切换访问数据仓库，数据仓库和前台应用库两库之间的数据按照数据本身的周期性通过同步系统进行实时同步。
2.根据权利要求1所述双核库数据同步方法，其特征在于：所述前台应用库指经营分析系统用户直接访问的数据库。
3.根据权利要求1所述双核库数据同步方法，其特征在于：所述同步系统是在仓库和前台应用库之间根据数据项的周期特性进行数据同步。
4.根据权利要求1所述双核库数据同步方法，其特征在于：所述同步系统包含对同步数据项的配置策略、配置策略解释程序，所述配置策略解释程序包括调度主进程、内部时钟进程、日志管理进程、同步任务执行程序、数据导入程序、数据导出程序。
5.根据权利要求1所述双核库数据同步方法，其特征在于：所述实时同步的流程如下：
A、首先读取要同步数据项的周期策略，轮询判断该数据项是否已满足其周期策略；
B、当该数据项满足其周期策略时，触发同步任务，所述同步任务分别包含数据导出和数据导入两个任务；
C、步骤B中所述的数据导出任务首先判断要同步的是源数据库中的哪些数据表、哪些纪录；同时在目标数据库中创建该源数据表的模板表，当目标数据库中不存在目标数据表时，则通过模板表创建目标数据表，最后将源数据表的数据导出到数据文件；
D、步骤B中所述的数据导入任务首先判断同步到的目标表、目标表的位置，然后导入数据到目标数据表，最后通过数据校验进程进行同步校验。
6.根据权利要求5所述双核库数据同步方法，其特征在于：所述同步数据项的周期策略指每隔n秒触发一次(n＞10s)，或者每隔n秒强制触发一次(n＞10s)，或者每天hh点mm分触发一次，或者每周周w的hh点mm分触发一次，或者每月dd日hh点mm分触发一次，或者某/每日hh点mm分后每隔n秒触发一次等等。
7.根据权利要求5所述双核库数据同步方法，其特征在于：所述数据校验进程指将目标数据表的内容与数据文件的内容进行比较。
8.根据权利要求5所述双核库数据同步方法，其特征在于：所述数据导入任务和数据导出任务是通过数据导入程序、数据导出程序执行的，当数据导入程序、数据导出程序执行时，程序中的同步状态控制模块记录同步任务执行的状态；所述状态包括成功、失败、进行中、执行完成但存在警告四种状态；所述同步状态和同步周期策略共同决定同步任务的重复执行方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2007100510610A CN101226527B (zh) | 2007-12-28 | 2007-12-28 | 双核库数据同步方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2007100510610A CN101226527B (zh) | 2007-12-28 | 2007-12-28 | 双核库数据同步方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101226527A true CN101226527A (zh) | 2008-07-23 |
| CN101226527B CN101226527B (zh) | 2011-06-08 |
Family
ID=39858529
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2007100510610A Active CN101226527B (zh) | 2007-12-28 | 2007-12-28 | 双核库数据同步方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101226527B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102184192A (zh) * | 2011-04-19 | 2011-09-14 | 中兴通讯股份有限公司 | 数据定时同步方法及系统 |
| CN103297329A (zh) * | 2013-06-26 | 2013-09-11 | 北京金和软件股份有限公司 | 一种异构系统间消息的准实时双向同步方法 |
| CN107741950A (zh) * | 2017-09-05 | 2018-02-27 | 北京趣拿软件科技有限公司 | 数据同步任务的处理方法、装置、处理器及服务端 |
| CN105338051B (zh) * | 2014-08-15 | 2018-09-18 | 阿里巴巴集团控股有限公司 | 一种数据同步方法及设备 |
| CN109597687A (zh) * | 2018-10-31 | 2019-04-09 | 东软集团股份有限公司 | 数据同步的资源分配方法、装置、存储介质和电子设备 |
| CN111061798A (zh) * | 2019-12-23 | 2020-04-24 | 杭州雷数科技有限公司 | 可配置化数据传输及监控方法、设备及介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7254640B2 (en) * | 2002-04-09 | 2007-08-07 | Vigilos, Inc. | System for providing fault tolerant data warehousing environment by temporary transmitting data to alternate data warehouse during an interval of primary data warehouse failure |
| GB0308264D0 (en) * | 2003-04-10 | 2003-05-14 | Ibm | Recovery from failures within data processing systems |
| CN101075304A (zh) * | 2006-05-18 | 2007-11-21 | 河北全通通信有限公司 | 电信行业基于数据仓库的决策支持系统的构造方法 |
-
2007
- 2007-12-28 CN CN2007100510610A patent/CN101226527B/zh active Active
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102184192A (zh) * | 2011-04-19 | 2011-09-14 | 中兴通讯股份有限公司 | 数据定时同步方法及系统 |
| CN103297329A (zh) * | 2013-06-26 | 2013-09-11 | 北京金和软件股份有限公司 | 一种异构系统间消息的准实时双向同步方法 |
| CN105338051B (zh) * | 2014-08-15 | 2018-09-18 | 阿里巴巴集团控股有限公司 | 一种数据同步方法及设备 |
| CN107741950A (zh) * | 2017-09-05 | 2018-02-27 | 北京趣拿软件科技有限公司 | 数据同步任务的处理方法、装置、处理器及服务端 |
| CN109597687A (zh) * | 2018-10-31 | 2019-04-09 | 东软集团股份有限公司 | 数据同步的资源分配方法、装置、存储介质和电子设备 |
| CN111061798A (zh) * | 2019-12-23 | 2020-04-24 | 杭州雷数科技有限公司 | 可配置化数据传输及监控方法、设备及介质 |
| CN111061798B (zh) * | 2019-12-23 | 2024-03-08 | 杭州雷数科技有限公司 | 可配置化数据传输及监控方法、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101226527B (zh) | 2011-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101226527B (zh) | 双核库数据同步方法 | |
| US20190317944A1 (en) | Methods and apparatus for integrated management of structured data from various sources and having various formats | |
| EP2474919B1 (en) | System and method for data replication between heterogeneous databases | |
| CN102323945B (zh) | 一种基于sql的数据库管理方法和装置 | |
| US9996593B1 (en) | Parallel processing framework | |
| CN100487700C (zh) | 数据仓库中的数据处理方法及系统 | |
| CN105701190A (zh) | 一种数据同步的方法和装置 | |
| CN108009258B (zh) | 一种可在线配置的数据采集与分析平台 | |
| KR20100070968A (ko) | 클러스터 데이터 관리 시스템 및 클러스터 데이터 관리 시스템에서 병렬 처리를 이용한 데이터 복구 방법 | |
| JP2008524715A (ja) | データ・ウェアハウジングのための装置および方法 | |
| CN109597846B (zh) | 大数据平台数据仓库数据处理方法、装置和计算机设备 | |
| JP2007169069A (ja) | 視覚補助を提供するシステム及び方法 | |
| CN105760520A (zh) | 一种数据管控平台及架构 | |
| CN101093454A (zh) | 一种在分布式系统中执行sql脚本文件的方法和装置 | |
| CN108959616A (zh) | 基于大数据技术的生产域数据质量准实时监控系统及方法 | |
| CN102779138A (zh) | 实时数据的硬盘存取方法 | |
| CN109857649B (zh) | 一种资源测试方法及系统 | |
| CN110569142A (zh) | 一种oracle数据增量同步系统及方法 | |
| CN111125719A (zh) | 一种提升代码安全检测效率的方法、装置、计算机设备、和可读存储介质 | |
| AU2015265595B2 (en) | System and method for dynamic collection of system management data in a mainframe computing environment | |
| CN116540942A (zh) | 数据存储对象的迁移方法、系统、电子设备及存储介质 | |
| CN108900497B (zh) | 一种异构系统间的数据同步方法及系统 | |
| CN116089518A (zh) | 一种数据模型抽取方法及系统、终端、介质 | |
| CN103455575A (zh) | 数据统计分析方法和装置 | |
| US8164342B2 (en) | System and method for cascade information handling system manufacture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |