CN112347189A - 基于云计算的财务数据一致性失效的发现与恢复方法 - Google Patents

基于云计算的财务数据一致性失效的发现与恢复方法 Download PDF

Info

Publication number
CN112347189A
CN112347189A CN202011221854.4A CN202011221854A CN112347189A CN 112347189 A CN112347189 A CN 112347189A CN 202011221854 A CN202011221854 A CN 202011221854A CN 112347189 A CN112347189 A CN 112347189A
Authority
CN
China
Prior art keywords
data
consistency
recovery
unsynchronized
failure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011221854.4A
Other languages
English (en)
Inventor
王纪军
王婷
张震宇
赵琳
陈刚
任腾云
夏媛媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Jiangsu Electric Power Co Ltd
Jiangsu Electric Power Information Technology Co Ltd
Original Assignee
State Grid Jiangsu Electric Power Co Ltd
Jiangsu Electric Power Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Jiangsu Electric Power Co Ltd, Jiangsu Electric Power Information Technology Co Ltd filed Critical State Grid Jiangsu Electric Power Co Ltd
Priority to CN202011221854.4A priority Critical patent/CN112347189A/zh
Publication of CN112347189A publication Critical patent/CN112347189A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1415Saving, restoring, recovering or retrying at system level
    • G06F11/1435Saving, restoring, recovering or retrying at system level using file system or storage system metadata
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2365Ensuring data consistency and integrity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/254Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/12Accounting
    • G06Q40/125Finance or payroll

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Computing Systems (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Computer Security & Cryptography (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了电力系统财务中台中一种基于云计算的财务数据一致性失效的发现与恢复方法,其步骤为:首先对存在数据一致性失效的可疑时间段进行检测,抽取数据中台HANA系统中需要同步的数据,记录数据的特征信息;其次在目标数据库Oracle系统中,根据上述数据进行一致性检测,记录Oracle系统中缺失的数据条目;最终利用重试机制同步缺失数据,确保财务中台与数据中台的一致性。该检测方法提供了物理节点失效导致的不同数据库系统间一致性失效问题的发现与恢复方法。

Description

基于云计算的财务数据一致性失效的发现与恢复方法
技术领域
本发明涉及到电力系统财务中台中一种基于云计算的财务数据一致性失效的发现与恢复方法。
背景技术
近年来,随着数字化时代的到来以及互联网技术的迅速发展,云计算、大数据等技术带给IT行业大量发展机遇的同时,也带给传统企业进行技术变革的契机。随着电力系统企业竞争力的不断增大,企业需要不断拓展业务及扩大规模,而传统的财务管理系统通常将本部门的相关数据存储在本地服务器的数据库上,跨部门协作时,数据交互需要的时间成本和传输成本昂贵,存在“信息孤岛”、资源浪费、重复建设现象。同时,系统对于用户的需求响应时间长,无法适应客户服务需求和企业发展需求。因此业界提出,将管理模式成熟、业务逻辑相对稳定、可复用的核心能力,如预算编制、预算执行等,进行合并管控,建立共享上述服务的财务中台,使之成为业务活动与财务管理的“桥梁”,通过业务与数据的结合和复用,能够简化跨部门合作业务流程,支撑各业务系统需求的快速迭代,提升前台应用快速响应,灵活调整的能力,深入促进业务与财务管理融合。
然而,财务数据海量庞大、计算任务繁多,财务中台与数据中台进行数据同步时,常出现数据一致性失效现象。数据同步失败原因较多,包括物理节点失效以及数据结构问题,其中超过90%的一致性失效发生在SAP系统HANA内存数据库与全面预算管理平台Oracle数据库间。因此,发现SAP系统HANA数据库与全面预算管理平台Oracle数据库间数据同步失败问题,并建立数据同步失败的恢复机制,解决大部分数据一致性失效问题,保证财务中台数据一致性,对业务活动的正常进行与财务信息的管理具有重要的现实意义。
当前,关于数据一致性失效的检测技术主要针对数据同步过程中发生的系统运行错误进行发现和恢复,对于物理节点失效或者数据格式问题导致的数据同步错误则难以检测,只能通过重新同步全部数据进行恢复。如果能确定数据一致性失效的范围,则可以以较小的代价实现恢复与问题的排查。
发明内容
本发明目的是提供一种基于云计算的财务数据一致性失效的发现与恢复方法,用于电力系统财务中,可以根据源数据表与目标数据表间的一致性检测,发现未同步数据集合,有效检测不一致数据位置;通过多次恢复重试机制,保证恢复的完整性,提升恢复性能。
为解决上述技术问题,本发明采用的技术方案为:
一种基于云计算的财务数据一致性失效的发现与恢复方法,利用源系统与目标系统间数据一致性检测发现未同步数据并恢复,包括如下步骤:
1)根据需要检测的时间段,从数据中台HANA数据库源表中获取需要同步的全部数据,记录数据的主键信息作为数据特征。
2)将步骤1)得到的数据特征集合在财务中台Oracle数据库中目标表数据进行一致性检测,通过匹配同一时间段数据特征与目标表对应主键判断数据是否一致,并记录不一致数据条目特征信息。
3)对步骤2)得到的不一致数据进行恢复。设置恢复次数上限,根据记录的数据特征定位HANA系统源表中的数据,抽取该数据,通过转换规则将数据重新同步到Oracle系统目标表中。
4)检测步骤3)结束后未同步数据是否成功同步,对仍未同步数据重复步骤3)直到数据同步成功或者恢复次数到达上限。
进一步,所述步骤1)中获取数据特征的具体方法为:通过数据库接口连接HANA系统数据库,将时间段作为查询条件,查询相应数据的主键信息,构造待检测数据特征集。
所述步骤2)中数据一致性检测的具体方法为:在Oracle系统目标表中相应时间段,将待检测数据集中的主键信息作为条件,查询是否存在相应的数据条目。对于查询不到的数据,将数据条目的主键信息存入未同步数据集中等待恢复。
所述步骤3)中数据恢复的具体方法为,根据未同步数据集中主键信息,在HANA系统源表中查询到对应的数据条目,通过规则转换为目标表格式并存入Oracle数据库。
所述步骤4)中数据恢复的重试步骤具体方法为,使用步骤2)方法对未同步数据集中数据进行一致性检验,将恢复成功的数据从未同步数据集中去除,然后再次对剩余数据进行步骤3)所述的恢复工作。重复上述操作直到重试次数到达上限,此时输出仍未成功同步的数据,待人工排查原因。
本发明的有益效果为:本发明根据源数据表与目标数据表间的一致性检测,发现未同步数据集合,有效检测不一致数据位置;通过多次恢复重试机制,保证恢复的完整性,提升恢复性能。具体地讲,本发明具有如下优点:
1、利用源数据表与目标数据表间的一致性检测,能够发现由于中间同步过程的多种原因导致的未同步数据集合,能够有效提高数据一致性失效发现的效率;
2、在发现未同步数据集的基础上进行数据恢复,能够减少恢复时需要处理的数据量,有效提升恢复效率;
3、数据恢复时加入重试机制并设置重试次数,能够确保数据恢复的完备性。对于超过重试次数仍无法恢复的数据可以通知人工排查。
附图说明
图1为本发明的数据一致性失效发现流程图。
图2为本发明的数据一致性失效恢复流程图。
图3为本发明的整体系统框架图。
具体实施方式
下面结合具体实施例,进一步阐明本发明,应理解这些实施例仅用于说明本发明而不用于限制本发明的范围,在阅读了本发明之后,本领域技术人员对本发明的各种等同变换均落于本申请所附权利要求所限定的范围。
参见图1、图2和图3所示,本发明所述的电力系统财务中台中一种基于云计算的财务数据一致性失效的发现与恢复方法,包括如下步骤:
步骤1:连接HANA内存数据库,查询0点到6点时间段内,财务预算年度值表A与财务预算累计值表B中的数据条目,取两张表中共同的主键字段FISCYEAR,FISCVARNT,PROJECT,FISCPER3作为数据特征构建待检测数据集T。
步骤2:连接Oracle数据库,将待检测数据集T中数据主键信息作为条件,在目标表年度预算发生值表C中逐条查询待数据是否存在,将查询不到的数据视为未同步数据,构建为未同步数据集E。
步骤3:根据未同步数据集E中的数据主键信息,在HANA数据库表A与表B中定位对应的数据条目,使用ETL对两表数据进行合并与格式转换,重新同步到目标表C中。
步骤4:在目标表C中查询未同步数据集E中数据是否存在。若存在,表明数据恢复成功,将该数据移出未同步数据集E,不存在数据则继续留存在E中。
步骤5:重复步骤3,4直到重试次数到达预设上限,将此时未同步数据集E中的剩余数据条目输出到日志文件中,待人工检测同步失败的原因。
本发明根据源数据表与目标数据表间的一致性检测,发现未同步数据集合,有效检测不一致数据位置;通过多次恢复重试机制,保证恢复的完整性,提升恢复性能。

Claims (5)

1.一种基于云计算的财务数据一致性失效的发现与恢复方法,其特征在于,利用数据的特征信息对两个数据系统进行一致性检测与恢复,包括如下步骤:
1)根据需要检测的时间段,从数据中台HANA数据库源表中获取需要同步的全部数据,记录数据的主键信息作为数据特征;
2)将步骤1)得到的数据特征集合作为源数据,将财务中台Oracle数据库中目标表数据作为目标数据,对两者进行一致性检测,通过匹配同一时间段数据特征与目标表对应主键来判断数据是否一致,并记录不一致数据条目特征信息;
3)对步骤2)得到的不一致数据进行恢复;设置恢复次数上限,根据记录的数据特征定位HANA系统源表中的数据,抽取该数据,通过转换规则将数据重新同步到Oracle系统目标表中;
4)检测步骤3)结束后未同步数据是否成功同步,对仍未同步数据重复步骤3)直到数据同步成功或者恢复次数到达上限。
2.根据权利要求1所述的基于云计算的财务数据一致性失效的发现与恢复方法,其特征在于,所述步骤1)中获取数据特征的具体方法为:通过数据库接口连接HANA系统数据库,将时间段作为查询条件,查询相应数据的主键信息,构造待检测数据特征集。
3.根据权利要求1所述的基于云计算的财务数据一致性失效的发现与恢复方法,其特征在于,所述步骤2)中数据一致性检测的具体方法为:在Oracle系统目标表中相应时间段,将待检测数据集中的主键信息作为条件,查询是否存在相应的数据条目;对于查询不到的数据,将数据条目的主键信息存入未同步数据集中等待恢复。
4.根据权利要求1所述的基于云计算的财务数据一致性失效的发现与恢复方法,其特征在于,所述步骤3)中数据恢复的具体方法为,根据未同步数据集中主键信息,在HANA系统源表中查询到对应的数据条目,通过规则转换为目标表格式并存入Oracle数据库。
5.根据权利要求1所述的基于云计算的财务数据一致性失效的发现与恢复方法,其特征在于,所述步骤4)中数据恢复的重试步骤具体方法为,使用步骤2)方法对未同步数据集中数据进行一致性检验,将恢复成功的数据从未同步数据集中去除,然后再次对剩余数据进行步骤3)所述的恢复工作;重复上述操作直到重试次数到达上限,此时输出仍未成功同步的数据,待人工排查原因。
CN202011221854.4A 2020-11-05 2020-11-05 基于云计算的财务数据一致性失效的发现与恢复方法 Pending CN112347189A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011221854.4A CN112347189A (zh) 2020-11-05 2020-11-05 基于云计算的财务数据一致性失效的发现与恢复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011221854.4A CN112347189A (zh) 2020-11-05 2020-11-05 基于云计算的财务数据一致性失效的发现与恢复方法

Publications (1)

Publication Number Publication Date
CN112347189A true CN112347189A (zh) 2021-02-09

Family

ID=74429415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011221854.4A Pending CN112347189A (zh) 2020-11-05 2020-11-05 基于云计算的财务数据一致性失效的发现与恢复方法

Country Status (1)

Country Link
CN (1) CN112347189A (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102354292A (zh) * 2011-09-21 2012-02-15 国家计算机网络与信息安全管理中心 主、备数据库记录一致性校验方法及系统
CN104424283A (zh) * 2013-08-30 2015-03-18 阿里巴巴集团控股有限公司 一种数据迁移的系统和数据迁移的方法
CN104615759A (zh) * 2015-02-13 2015-05-13 厦门雅迅网络股份有限公司 一种不同业务系统平台间的数据同步方法
CN104899333A (zh) * 2015-06-24 2015-09-09 浪潮(北京)电子信息产业有限公司 一种Oracle数据库跨平台迁移方法和系统
CN105989044A (zh) * 2015-02-04 2016-10-05 阿里巴巴集团控股有限公司 一种数据库校验方法及系统
CN106649814A (zh) * 2016-12-29 2017-05-10 国网江苏省电力公司南京供电公司 一种配电自动化跨区数据库一致性校验方法
CN107391306A (zh) * 2017-07-27 2017-11-24 国家电网公司 一种异构数据库备份文件恢复方法
US20170351585A1 (en) * 2016-06-03 2017-12-07 International Business Machines Corporation Transaction consistency query support for replicated data from recovery log to external data stores
CN108153619A (zh) * 2017-12-25 2018-06-12 杭州恩牛网络技术有限公司 一种数据校对方法和装置
CN108984337A (zh) * 2018-05-29 2018-12-11 杭州网易再顾科技有限公司 一种数据同步异常的修复方法、修复装置、介质和计算设备
CN109885581A (zh) * 2019-03-14 2019-06-14 苏州达家迎信息技术有限公司 数据库的同步方法、装置、设备及存储介质
CN110457284A (zh) * 2019-06-05 2019-11-15 黄疆 基于SQLServer数据库的多时间点数据恢复方法及系统
CN110555150A (zh) * 2019-09-09 2019-12-10 江苏满运软件科技有限公司 一种数据监控方法、装置、设备和存储介质
CN111240891A (zh) * 2018-11-29 2020-06-05 中国移动通信集团内蒙古有限公司 基于数据库多表间数据一致性的数据恢复方法及装置
CN111400104A (zh) * 2020-03-24 2020-07-10 杭州数梦工场科技有限公司 数据同步方法及装置、电子设备、存储介质

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102354292A (zh) * 2011-09-21 2012-02-15 国家计算机网络与信息安全管理中心 主、备数据库记录一致性校验方法及系统
CN104424283A (zh) * 2013-08-30 2015-03-18 阿里巴巴集团控股有限公司 一种数据迁移的系统和数据迁移的方法
CN105989044A (zh) * 2015-02-04 2016-10-05 阿里巴巴集团控股有限公司 一种数据库校验方法及系统
CN104615759A (zh) * 2015-02-13 2015-05-13 厦门雅迅网络股份有限公司 一种不同业务系统平台间的数据同步方法
CN104899333A (zh) * 2015-06-24 2015-09-09 浪潮(北京)电子信息产业有限公司 一种Oracle数据库跨平台迁移方法和系统
US20170351585A1 (en) * 2016-06-03 2017-12-07 International Business Machines Corporation Transaction consistency query support for replicated data from recovery log to external data stores
CN106649814A (zh) * 2016-12-29 2017-05-10 国网江苏省电力公司南京供电公司 一种配电自动化跨区数据库一致性校验方法
CN107391306A (zh) * 2017-07-27 2017-11-24 国家电网公司 一种异构数据库备份文件恢复方法
CN108153619A (zh) * 2017-12-25 2018-06-12 杭州恩牛网络技术有限公司 一种数据校对方法和装置
CN108984337A (zh) * 2018-05-29 2018-12-11 杭州网易再顾科技有限公司 一种数据同步异常的修复方法、修复装置、介质和计算设备
CN111240891A (zh) * 2018-11-29 2020-06-05 中国移动通信集团内蒙古有限公司 基于数据库多表间数据一致性的数据恢复方法及装置
CN109885581A (zh) * 2019-03-14 2019-06-14 苏州达家迎信息技术有限公司 数据库的同步方法、装置、设备及存储介质
CN110457284A (zh) * 2019-06-05 2019-11-15 黄疆 基于SQLServer数据库的多时间点数据恢复方法及系统
CN110555150A (zh) * 2019-09-09 2019-12-10 江苏满运软件科技有限公司 一种数据监控方法、装置、设备和存储介质
CN111400104A (zh) * 2020-03-24 2020-07-10 杭州数梦工场科技有限公司 数据同步方法及装置、电子设备、存储介质

Similar Documents

Publication Publication Date Title
WO2016180160A1 (zh) 数据快照的恢复方法和装置
US9130971B2 (en) Site-based search affinity
US8108343B2 (en) De-duplication and completeness in multi-log based replication
CN106776121B (zh) 一种数据灾备装置、系统及方法
CN111078667B (zh) 一种数据迁移的方法以及相关装置
CN109325016B (zh) 数据迁移方法、装置、介质及电子设备
US8380663B2 (en) Data integrity in a database environment through background synchronization
US20120191655A1 (en) Method for Backing up Terminal Data and System Thereof
CN110287251B (zh) MongoDB到HBase的分布式高容错数据实时同步方法
US20210286799A1 (en) Automated transaction engine
EP3026574B1 (en) Affair processing method and device
US20180121531A1 (en) Data Updating Method, Device, and Related System
WO2012171349A1 (zh) 一种分布式自增计数的实现方法、装置及系统
CN103678051A (zh) 一种集群数据处理系统中的在线故障容错方法
US10298656B2 (en) Extending representational state transfer application program interface (REST API) functionality
WO2012171345A1 (zh) 临时故障时的数据修复方法及分布式缓存系统
CN114116717A (zh) 一种数据库信息查询方法、装置、设备及可读存储介质
WO2021082925A1 (zh) 一种交易处理的方法及装置
WO2018019310A1 (zh) 一种大数据系统中数据备份方法、恢复方法和装置和计算机存储介质
CN112347189A (zh) 基于云计算的财务数据一致性失效的发现与恢复方法
CN116737829A (zh) 一种数据同步方法、装置、存储介质及电子设备
CN115934742A (zh) 一种故障处理方法、装置、设备及存储介质
CN114218158A (zh) 一种数据管理系统、数据故障修复方法及装置
CN112416655A (zh) 一种基于企业服务门户的存储灾备系统及数据复制方法
CN118503298B (zh) 基于双缓存的数据处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination