CN107291818B - 一种内置数据确认和对账的交换系统 - Google Patents

一种内置数据确认和对账的交换系统 Download PDF

Info

Publication number
CN107291818B
CN107291818B CN201710369622.5A CN201710369622A CN107291818B CN 107291818 B CN107291818 B CN 107291818B CN 201710369622 A CN201710369622 A CN 201710369622A CN 107291818 B CN107291818 B CN 107291818B
Authority
CN
China
Prior art keywords
data
exchange
node
supervision center
confirmation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710369622.5A
Other languages
English (en)
Other versions
CN107291818A (zh
Inventor
彭家彦
张亮亮
张宝玉
王坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Wanwei Information Technology Co Ltd
Original Assignee
China Telecom Wanwei Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Wanwei Information Technology Co Ltd filed Critical China Telecom Wanwei Information Technology Co Ltd
Priority to CN201710369622.5A priority Critical patent/CN107291818B/zh
Publication of CN107291818A publication Critical patent/CN107291818A/zh
Application granted granted Critical
Publication of CN107291818B publication Critical patent/CN107291818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3414—Workload generation, e.g. scripts, playback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/12—Accounting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Databases & Information Systems (AREA)
  • Marketing (AREA)
  • Computing Systems (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一种内置数据确认和对账的交换系统，该系统包含采集节点、交换监管中心与下发节点三个核心模块；采集节点负责从源数据库采集数据；交换监管中心负责数据分发，源数据库与目标数据库采集数据的分析比对，实现数据确认及对账功能；下发节点负责数据入库、采集目标数据库入库及数据使用的情况。交换监管中心分析比对源数据库与目标数据库的交换数据，实现数据交换及使用的全过程管理、数据确认、对账和溯源等功能。本发明能够保障数据交换过程完整准确，实现数据交换的全过程溯源。

Description

一种内置数据确认和对账的交换系统
技术领域
本发明涉及数据交换的闭环领域，具体指一种内置数据确认和对账的交换系统。
技术背景
随着计算机信息技术与互联网技术的应用和发展，行业、政府部门及企业间数据交换的需求越来越多。前置数据库作为最常见的交换形式，简单实用，但在时效性和数据核对方面存在不足，尤其是送达数据的使用情况是交换的一个盲区，交换数据对账需要第三方系统支持。如何提高交换速度，在交换过程中实现数据的对账和数据使用情况的确认，已经成为数据交换的主要问题。
传统情况下，实现源数据库A向目标数据库B交换的基本过程是交换系统读取库A的数据，向库B插入或更新数据，采集操作记录的成功状态，完成数据交换过程，形成简单的闭环。这种数据交换方式简单有效，可以满足一般数据交换的要求，但由于没有数据送达确认及数据使用两个关键环节，缺失交换的明细依据，不能实现目标库数据变更的全方位监控，在交换发生数据异常或非预期操作后，进行问题核查与数据比对难度大。
发明内容
本发明提供一种内置数据确认和对账的交换系统，通过采集目标数据库日志数据，增加数据确认和对账环节，保障数据的准确送达，实现数据的可追溯性。
为实现发明目的，本发明所采用的技术方案为：
一种内置数据确认和对账的交换系统，该系统包含采集节点、交换监管中心与下发节点三个核心模块；采集节点负责从源数据库采集数据；交换监管中心负责数据分发及源数据库及目标数据库采集数据的分析比对，实现数据确认及对账功能；下发节点进行数据入库、监控目标数据库的变化情况，为监管中心提供分析比对的依据。交换监管中心分析比对源数据库与目标数据库的日志数据，在实现交换的同时，实现数据交换及使用情况的确认；通过分析比较目标数据库与源数据库数据，实现交换数据的确认、对账和溯源。
本发明为数据交换的可靠送达提供了确认机制与数据对账功能，在交换过程中，按采集数据、下发数据、入库数据及其他修改数据明细构成所有环节，通过分析比生成验证结果，对验证结果进行分析确认，实现交换数据全生命周期的跟踪，数据对账功能的实现提高了业务系统之间数据交换的完整性，促进了业务系统之间的互联互通，而且能够自主发现和处理业务系统的数据异常情况，为数据的完整交换提供了更多可靠保证。
本发明为数据交换的过程提供可靠保障，利用采集数据，使用数据比对算法降低了数据丢失率，通过对数据送达使用情况的分析，在不用对接系统参与的情况下，自主实现与外部系统数据使用情况的核对，提升了交换在业务应用的功能范畴。
附图说明
图1为本发明的流程框图。
具体实施方式
下面结合附图对本发明进一步说明。
一种内置数据确认和对账的交换系统，在交换过程中利用对目标数据库日志分析实现数据的采集和比对，实现数据交换结果及使用情况的确认，从而提高了数据交换的质量，扩展了数据交换的环节。具体步骤如下：
步骤1：采集节点对源数据库进行数据采集，生成本次交换数据的批次、主键索引、数据包及行数据的摘要等信息；将所有数据组包后通过数据总线发送至交换监管中心。
步骤2：交换监管中心通过数据总线读取组包数据，验证数据的完整性，按照交换的订阅关系进行数据分发。
步骤3：下发节点收到入库的数据，完成验证，按新增、修改和删除等方式对目标数据库进行操作，同时将入库摘要信息通过数据总线反馈至交换监管中心；
步骤4：下发节点分析目标数据库日志信息，形成最终入库及数据使用的变更记录，将变更数据的明细及数据行摘要内容打包，以数据送达、数据使用的形式通过数据总线反馈至交换监管中心。
步骤5：交换监管中心接收入库组包数据，完成交换的初步验证和登记，确保数据被准确下发入库。
步骤6：交换监管中心接受确认及使用的组包数据，对采集、入库及数据使用进行综合比较分析，实现交换数据的确认与对账，实现完整闭环的数据交换。
本发明主要通过对目标数据库日志分析采集新增和变化的数据，区分入库及第三方对数据的使用情况，分析比较源数据库采集数据和目标数据库变化数据，实现数据送达与使用情况确认，实现交换数据对账。同时支持明细对账，保证交换过程的闭环更加完整。

Claims (1)

1.一种内置数据确认和对账的交换系统，其特征在于：该系统包含采集节点、交换监管中心与下发节点三个核心；三个核心之间的具体工作步骤如下：
步骤1：采集节点对源数据库进行数据采集，生成本次交换数据的批次、主键索引、数据包及行数据的摘要信息；将所有数据组包后通过数据总线发送至交换监管中心；
步骤2：交换监管中心通过数据总线读取组包数据，验证数据的完整性，按照交换的订阅关系进行数据分发；
步骤3：下发节点收到入库的数据，完成验证，按新增、修改和删除方式对目标数据库进行操作，同时将入库摘要信息通过数据总线反馈至交换监管中心；
步骤4：下发节点分析目标数据库日志信息，形成最终入库及数据使用的变更记录，将变更数据的明细及数据行摘要内容打包，以数据送达、数据使用的形式通过数据总线反馈至交换监管中心；
步骤5：交换监管中心接收入库组包数据，完成交换的初步验证和登记，确保数据被准确下发入库；
步骤6：交换监管中心接受确认及使用的组包数据，对采集、入库及数据使用进行综合比较分析，实现交换数据的确认与对账，实现完整闭环的数据交换。
CN201710369622.5A 2017-05-23 2017-05-23 一种内置数据确认和对账的交换系统 Active CN107291818B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710369622.5A CN107291818B (zh) 2017-05-23 2017-05-23 一种内置数据确认和对账的交换系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710369622.5A CN107291818B (zh) 2017-05-23 2017-05-23 一种内置数据确认和对账的交换系统

Publications (2)

Publication Number Publication Date
CN107291818A CN107291818A (zh) 2017-10-24
CN107291818B true CN107291818B (zh) 2021-02-19

Family

ID=60094549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710369622.5A Active CN107291818B (zh) 2017-05-23 2017-05-23 一种内置数据确认和对账的交换系统

Country Status (1)

Country Link
CN (1) CN107291818B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108763358A (zh) * 2018-05-16 2018-11-06 阿里巴巴集团控股有限公司 一种数据校验方法及装置
CN112835969A (zh) * 2021-02-09 2021-05-25 浪潮云信息技术股份公司 一种对etl流转数据进行统计分析的方法
CN114390067B (zh) * 2021-12-20 2023-03-24 北明软件有限公司 一种数据交换的方法、系统、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101699482A (zh) * 2009-11-11 2010-04-28 南京联创科技集团股份有限公司 应用仓储物流中心模型实现业务系统间数据交换的方法
CN103279510A (zh) * 2013-05-17 2013-09-04 上海市计量测试技术研究院 多数据库非连续性在线同步的方法
CN105989059A (zh) * 2015-02-09 2016-10-05 阿里巴巴集团控股有限公司 数据记录核对方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5691246B2 (ja) * 2010-05-27 2015-04-01 富士通株式会社 データベース二重化システム、情報処理装置及びデータベース二重化方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101699482A (zh) * 2009-11-11 2010-04-28 南京联创科技集团股份有限公司 应用仓储物流中心模型实现业务系统间数据交换的方法
CN103279510A (zh) * 2013-05-17 2013-09-04 上海市计量测试技术研究院 多数据库非连续性在线同步的方法
CN105989059A (zh) * 2015-02-09 2016-10-05 阿里巴巴集团控股有限公司 数据记录核对方法及装置

Also Published As

Publication number Publication date
CN107291818A (zh) 2017-10-24

Similar Documents

Publication Publication Date Title
CN105427193B (zh) 一种基于分布式时序数据服务的大数据分析装置及方法
CN111461668A (zh) 一种基于流程自动化技术的数字化审计系统及方法
CN105608144B (zh) 一种基于多层模型迭代的大数据分析平台装置及方法
CN107291818B (zh) 一种内置数据确认和对账的交换系统
CN107220892B (zh) 一种应用于海量p2p网贷金融数据智能预处理工具及方法
CN108763957A (zh) 一种数据库的安全审计系统、方法及服务器
CN107193266A (zh) 一种大数据的平台监控系统
CN102750350B (zh) 监控系统及方法
CN103336491A (zh) 一种基于以太网的分布式自动化生产线系统和通信方法
US20160328808A1 (en) Data aggregation and analytics for digital manufacturing
CN114328688A (zh) 一种针对电力能源大数据的管控平台
CN112883001A (zh) 一种基于营配贯通数据可视化平台的数据处理方法、装置及介质
CN113762735A (zh) 一种基于规则库的数据质量治理系统及方法
CN111459116A (zh) 一种高效的管子智能生产线数字化管理系统
CN111538720B (zh) 电力行业基础数据清理的方法及系统
CN112100227A (zh) 一种基于多级异构数据存储的大数据处理方法
CN104881730A (zh) 一种基于工作流的锅炉虚拟样机协同设计系统及方法
EP2664052A1 (en) Field response system
CN108415355A (zh) 一种大数据的高效识别系统
CN117827462A (zh) 基于云计算的财务报告分析整合方法及系统
CN112800064A (zh) 一种基于Confluent社区开源版的实时大数据应用开发方法及系统
CN115016902B (zh) 工业流程数字化管理系统及方法
CN115344633A (zh) 数据处理方法、装置、设备和存储介质
CN107436947B (zh) 一种大数据储存及并行处理方法
CN116108030A (zh) 基于联盟链的企业平台数据关联方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 730000 Zhangsutan 553, Chengguan District, Lanzhou City, Gansu Province

Applicant after: China Power World Wide Information Technology Co.,Ltd.

Address before: 730000 Zhangsutan 553, Lanzhou City, Gansu Province

Applicant before: GANSU WANWEI Co.

GR01 Patent grant
GR01 Patent grant