CN113946623A - 一种主备系统数据实时同步系统及方法 - Google Patents

一种主备系统数据实时同步系统及方法 Download PDF

Info

Publication number
CN113946623A
CN113946623A CN202111141290.8A CN202111141290A CN113946623A CN 113946623 A CN113946623 A CN 113946623A CN 202111141290 A CN202111141290 A CN 202111141290A CN 113946623 A CN113946623 A CN 113946623A
Authority
CN
China
Prior art keywords
data
synchronization
main
standby
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111141290.8A
Other languages
English (en)
Other versions
CN113946623B (zh
Inventor
张翰文
周禄华
席玉华
王蓓蓓
苏祖辉
章昆
王匀
沈德仁
胥宝新
张倩
赵嘉旭
黄烽校
徐华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing LES Information Technology Co. Ltd
Original Assignee
Nanjing LES Information Technology Co. Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing LES Information Technology Co. Ltd filed Critical Nanjing LES Information Technology Co. Ltd
Priority to CN202111141290.8A priority Critical patent/CN113946623B/zh
Publication of CN113946623A publication Critical patent/CN113946623A/zh
Application granted granted Critical
Publication of CN113946623B publication Critical patent/CN113946623B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/219—Managing data history or versioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Quality & Reliability (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Operations Research (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Hardware Redundancy (AREA)

Abstract

本发明公开了一种主备系统数据实时同步系统及方法，包括：参数存储配置单元，数据同步单元，数据检验单元，系统状态中控单元及数据分发服务单元；本发明实现了主、备系统数据库同步，通过各单元的协同工作达到系统间的数据双向同步，各模块分工明确，流程清晰，且未依赖第三方开源或商业软件，自主可控。

Description

一种主备系统数据实时同步系统及方法
技术领域
本发明属于民航空管数据通信领域，具体涉及一种主备系统数据实时同步系统及方法。
背景技术
根据民航行业的安全要求，空中交通管理的核心流量管理系统采用主/备用两套系统冗余模式运行。当一套系统为主用运行模式时，另一套系统应具备可实时接管运行业务的能力。这要求主/备系统之间应具备业务数据实时同步的能力。
传统的信息系统同步方式是在系统数据接入部分采用相同数据源的输入，如：综合航迹信息，飞行计划数据，航空情报数据，飞行计划同步数据等；在主备系统之间通过实现数据同步协议如空管自动化系统使用的MH/T4029.3标准进行基于数据流的信息交互。在国家民航管理系统中，外部信息输入源需经过系统内部复杂的融合计算，才能呈现一个全国统一的态势感知。为达到这个目标，系统内部署了大量的实时计算模块，相同的数据源在人工数据(如人工发布流控限制数据，人工相关计划等操作)介入下，因系统间各模块的处理时机无法保证完全一致，在主备系统中的实时计算结果，如航班放行时间等会存在细微差异。
当主备系统进行切换时，若关键核心航班数据存在差异，需要人工处理核对，影响运行管制的效能，也会存在安全隐患。因此在主备系统切换时，应提高主备系统数据一致性能力，健全两套系统间数据交互的机制，从而保障系统间的无缝平稳切换，进一步提升民航管理工作的实际运行效率和安全性。
发明内容
针对于上述现有技术的不足，本发明的目的在于提供一种主备系统数据实时同步系统及方法，以解决现有的空中交通流量管理系统中，因飞行数据种类格式无统一的交换标准协议，无法通过组装标准消息方式来实时数据交换的问题。本发明能够有效提高大型民航流量管理系统中主备系统的数据一致性，高可用性。
为达到上述目的，本发明采用的技术方案如下：
本发明的一种主备系统数据实时同步系统，包括：参数存储配置单元，数据同步单元，数据检验单元，系统状态中控单元及数据分发服务单元；
参数存储配置单元，用于定义并存储主、备系统中需同步的数据范围与数据类别，定义外部接入数据的类别及系统状态信息的存储；
数据分发服务单元，用于接收外部空管运行数据流，根据信息类型过滤并分路发送数据至主、备系统；
系统状态中控单元，用于设置主、备系统的使用状态，即主用状态和备用状态；并根据主、备系统当前的工作状态(即是否为主用)，控制主用状态的系统；
数据检验单元，用于判断当前主用状态的系统中外部人工操作数据项是否与备用状态的系统中外部人工操作数据项一致，若二者中的数据不一致，则将发生变化的数据项名称发送至数据同步单元；
数据同步单元，用于根据系统状态中控单元发布的主、备系统的使用状态信息，确定数据同步的方向，即由当前主用状态的系统向当前备用状态的系统数据库同步；其采用全量或增量方式将发生变化的数据发送至当前备用状态的系统，通过动态组装报文的方式传输数据表至备用状态的系统的数据库。
进一步地，所述参数存储配置单元具体包括：
根据地域、源系统、数据类别及数据传输格式四个属性定义外部接入的空管数据，由上述四个属性的组合生成信息标签，用于唯一标识一路输入数据并进行存储；
定义外部数据源的系统传输数据流向，即定义信息标签与数据分发目的地的对应关系；分发目的地为向主系统分发、向备系统分发或向主系统和备系统均分发，所述对应关系以配置文件形式进行存储；
定义同步数据元信息，即定义需要同步的数据范围、数据内容，包含数据项名称，数据字段存储类型，数据项长度，以配置文件方式进行存储；
对主、备系统的状态及设备信息进行存储；
对参数数据提供基于配置文件形式/共享内存的发布，供其它各单元获取，修改配置。
进一步地，所述数据分发服务单元具体包括：
根据参数存储配置单元定义的信息标签，对外部输入的空管数据(飞行器监视信息综合航迹，飞行计划数据，气象信息，航行情报数据)进行筛选分类，分类后的各类数据源的消息数据帧内设置信息标签，以标识不同来源的数据；
根据参数存储配置单元定义的外部数据源的系统传输数据流向，确定输入数据的分发方向；
根据所述确定的消息标签与数据流向，通过消息中间件将外部数据传输至需分发的系统中。
进一步地，所述系统状态中控单元具体包括：
实时获取主系统、备系统的应用可用性及业务网络连通性，发送至参数存储配置单元存储，并进行显示；
定时将设置后的主、备系统当前的工作状态发送给主、备系统；
定时采集主、备系统的运行告警信息及故障信息，并进行显示。
进一步地，所述数据检验单元具体包括：
获取系统状态中控单元设置的主、备系统当前的工作状态，以确定数据同步的方向；
通过获取参数存储配置单元定义的同步数据范围与数据类别，以多线程方式进行数据校验作业，对生成的各操作系统线程进行连续编号。
进一步地，所述数据校验作业内容包括：
根据线程号，匹配同步配置文件中定义的待校验数据范围，各线程负责不同的数据类别的校验工作；
确定线程的数据校验范围后，根据参数存储配置单元定义的同步数据元信息获取线程负责校验的数据项；
根据数据表版本序列号变化，数据更新时间戳检索主用状态的系统中的数据变动项，将发生变动的数据项名称发送至数据同步单元。
进一步地，所述数据同步单元具体包括：
数据同步模块，用于分配数据同步作业，读取参数存储配置单元中存储的主、备系统的状态信息，以确定数据同步的方向；将数据检验单元发送的数据项变动传输至源数据库同步代理模块，并接收源数据库同步代理模块抽取的数据信息、动态组装成报文，并转发至目的数据库同步代理模块；
源数据库同步代理模块，用于连接当前为主用状态的系统数据库，并根据数据同步模块分配的同步作业，进行数据抽取作业；
目的数据库同步代理模块，用于连接当前为备用状态的系统数据库，并根据数据同步模块发送的数据，进行数据存储。
进一步地，所述数据同步作业具体包括：
根据线程号，匹配同步配置文件中定义的同步数据范围，各线程负责不同的数据类别的同步工作；
接收数据检验单元发送的发生变动的数据项名称信息；
根据参数存储配置单元定义的同步数据元信息，将源数据库同步代理模块抽取的原始数据动态组装为数据报文，通过增量或全量方式传输至备用状态的系统，由目的数据库同步代理模块对数据报文解析，进行数据存储。
本发明还提供一种主备系统数据实时同步方法，基于上述系统，步骤如下：
1)对外部的网络输入数据分类，对各类数据源设置消息标签，通过参数存储配置单元存储并发布；
2)对接入的外部数据预处理，在网络正文消息组装时附加消息头，并在消息头内部设置一段数据帧，用于标识不同来源的数据；该数据帧内容与步骤1)中定义的消息标签内容一致；
3)数据分发单元从源头接收网络数据，参照步骤2)中设置的数据帧，解析网络数据的消息头数据，根据步骤1)中的消息标签进行过滤，对满足配置条件的消息，通过消息中间件分发至主，备系统中；
4)重复步骤3)，使外部数据分路传输至主、备系统；
5)实时获取主系统及备系统的应用可用性、业务网络连通性，并通过人机界面显示；
6)判断主、备系统的状态并周期性将主用状态数据发布至主/备系统；
7)主、备系统对接收到的所述步骤6)发布的主用状态消息进行存储；
8)定期采集主、备系统的运行告警信息及故障信息发送至系统状态中控单元，重复步骤5)、6)确定主、备系统的状态。
进一步地，所述同步方法具体还包括：当发生主备用状态切换时，进行如下步骤；
9)数据检验单元获取步骤7)中存储的主用状态信息，以确定数据同步的方向；
10)数据检验单元读取参数存储配置单元定义的同步数据元信息，动态生成同步校验线程；每个校验线程负责系统内至少一个数据表的校验工作；
11)数据检验单元根据同步数据库元信息及数据表版本序列号(SCN)获取当前主用状态的系统中的数据变动项，将数据项名称及数据表版本序列号发送至数据同步单元；
12)重复步骤9)及步骤11)，对主、备系统数据的差异项进行持续监测；
13)数据同步单元读取步骤7)中存储的主用状态信息，以确定数据同步的方向；
14)数据同步单元读取参数存储配置单元定义的同步数据元信息，动态生成数据同步线程，每个同步线程负责系统内至少一张数据表的同步工作；
15)数据同步单元从共享内存读取同步数据表的上一个周期步骤19)中记录的当前主用状态的系统数据表版本序列号，接收步骤11)发送的最新数据表版本序列号，若数据表版本序列号一致，表示主用状态的系统中同一个数据表内容未发生变化无需同步；否则进行步骤16)；
16)数据同步单元中的数据库同步代理模块获取当前主用状态的系统数据表中的变化数据内容或全量数据内容，采用增量或全量方式由参数存储配置单元定义；
17)源数据库同步代理模块获取主用状态的系统数据库数据，并发送至数据同步模块；
18)根据同步数据元信息，将获取的数据项动态组装为数据报文，动态组装报文的结构由参数存储配置单元中定义的同步数据元信息决定，其包括数据字段名称，字段类型，字段长度信息；
19)数据同步模块将数据报文传送至目的数据库同步代理模块，进行数据内容的存储操作；若数据表同步完成，则将当前主用状态的系统中已成功同步的数据表版本序列号写入共享内存；
20)重复步骤13)至步骤19)，由数据同步单元生成的同步线程进行数据同步。
本发明的有益效果：
本发明实现了主、备系统数据库同步，通过各单元的协同工作达到系统间的数据双向同步，各模块分工明确，流程清晰，且未依赖第三方开源或商业软件，自主可控。
在主、备系统的工作模式切换时，可自适应的切换数据流同步方向。其中设计的数据库同步单元，采用了基于SCN/更新时间的数据版本控制管理和动态表数据组装协议，具备易配置、健壮性好的特点，可适应在各类需要同步数据库的场景，其运行平稳可靠，能够有效保障全国民航流量的管理工作。
附图说明
图1为本发明系统的原理图。
具体实施方式
为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。
Figure BDA0003284037570000051
参照图1所示，本发明的一种主备系统数据实时同步系统，包括：参数存储配置单元，数据同步单元，数据检验单元，系统状态中控单元及数据分发服务单元；
参数存储配置单元，用于定义并存储主、备系统中需同步的数据范围与数据类别，定义外部接入数据的类别及系统状态信息的存储；
其中，所述参数存储配置单元具体包括：
根据地域、源系统、数据类别及数据传输格式四个属性定义外部接入的空管数据，由上述四个属性的组合生成信息标签，用于唯一标识一路输入数据并进行存储；
定义外部数据源的系统传输数据流向，即定义信息标签与数据分发目的地的对应关系；分发目的地为向主系统分发、向备系统分发或向主系统和备系统均分发，所述对应关系以配置文件形式进行存储；
定义同步数据元信息，即定义需要同步的数据范围、数据内容，包含数据项名称，数据字段存储类型，数据项长度，以配置文件方式进行存储；
对主、备系统的状态及设备信息进行存储；
对参数数据提供基于配置文件形式/共享内存的发布，供其它各单元获取，修改配置。
数据分发服务单元，用于接收外部空管运行数据流，根据信息类型过滤并分路发送数据至主、备系统；
其中，所述数据分发服务单元具体包括：
根据参数存储配置单元定义的信息标签，对外部输入的空管数据(飞行器监视信息综合航迹，飞行计划数据，气象信息，航行情报数据)进行筛选分类，分类后的各类数据源的消息数据帧内设置信息标签，以标识不同来源的数据；
根据参数存储配置单元定义的外部数据源的系统传输数据流向，确定输入数据的分发方向；
根据所述确定的消息标签与数据流向，通过消息中间件将外部数据传输至需分发的系统中。
系统状态中控单元，用于设置主、备系统的使用状态，即主用状态和备用状态；并根据主、备系统当前的工作状态(即是否为主用)，控制主用状态的系统；
其中，所述系统状态中控单元具体包括：
实时获取主系统、备系统的应用可用性及业务网络连通性，发送至参数存储配置单元存储，并进行显示；
定时将设置后的主、备系统当前的工作状态发送给主、备系统；
定时采集主、备系统的运行告警信息及故障信息，并进行显示。
数据检验单元，用于判断当前主用状态的系统中外部人工操作数据项是否与备用状态的系统中外部人工操作数据项一致，若二者中的数据不一致，则将发生变化的数据项名称发送至数据同步单元；
其中，所述数据检验单元具体包括：
获取系统状态中控单元设置的主、备系统当前的工作状态，以确定数据同步的方向；
通过获取参数存储配置单元定义的同步数据范围与数据类别，以多线程方式进行数据校验作业，对生成的各操作系统线程进行连续编号。
其中，所述数据校验作业内容包括：
根据线程号，匹配同步配置文件中定义的待校验数据范围，各线程负责不同的数据类别的校验工作；
确定线程的数据校验范围后，根据参数存储配置单元定义的同步数据元信息获取线程负责校验的数据项；
根据数据表版本序列号变化，数据更新时间戳检索主用状态的系统中的数据变动项，将发生变动的数据项名称发送至数据同步单元。
数据同步单元，用于根据系统状态中控单元发布的主、备系统的使用状态信息，确定数据同步的方向，即由当前主用状态的系统向当前备用状态的系统数据库同步；其采用全量或增量方式将发生变化的数据发送至当前备用状态的系统，通过动态组装报文的方式传输数据表至备用状态的系统的数据库。
其中，所述数据同步单元具体包括：
数据同步模块，用于分配数据同步作业，读取参数存储配置单元中存储的主、备系统的状态信息，以确定数据同步的方向；将数据检验单元发送的数据项变动传输至源数据库同步代理模块，并接收源数据库同步代理模块抽取的数据信息、动态组装成报文，并转发至目的数据库同步代理模块；
源数据库同步代理模块，用于连接当前为主用状态的系统数据库，并根据数据同步模块分配的同步作业，进行数据抽取作业；
目的数据库同步代理模块，用于连接当前为备用状态的系统数据库，并根据数据同步模块发送的数据，进行数据存储。
优选示例中，所述数据同步作业具体包括：
根据线程号，匹配同步配置文件中定义的同步数据范围，各线程负责不同的数据类别的同步工作；
接收数据检验单元发送的发生变动的数据项名称信息；
根据参数存储配置单元定义的同步数据元信息，将源数据库同步代理模块抽取的原始数据动态组装为数据报文，通过增量或全量方式传输至备用状态的系统，由目的数据库同步代理模块对数据报文解析，进行数据存储。
本发明还提供一种主备系统数据实时同步方法，基于上述系统，步骤如下：
1)对外部的网络输入数据分类，对各类数据源设置消息标签，通过参数存储配置单元存储并发布；
2)对接入的外部数据预处理，在网络正文消息组装时附加消息头，并在消息头内部设置一段数据帧，用于标识不同来源的数据；该数据帧内容与步骤1)中定义的消息标签内容一致；
3)数据分发单元从源头接收网络数据，参照步骤2)中设置的数据帧，解析网络数据的消息头数据，根据步骤1)中的消息标签进行过滤，对满足配置条件的消息，通过消息中间件分发至主，备系统中；
4)重复步骤3)，使外部数据分路传输至主、备系统；
5)实时获取主系统及备系统的应用可用性、业务网络连通性，并通过人机界面显示；
6)判断主、备系统的状态并周期性将主用状态数据发布至主/备系统；
7)主、备系统对接收到的所述步骤6)发布的主用状态消息进行存储；
8)定期采集主、备系统的运行告警信息及故障信息发送至系统状态中控单元，重复步骤5)、6)确定主、备系统的状态。
优选示例中，所述同步方法具体还包括：当发生主备用状态切换时，进行如下步骤；
9)数据检验单元获取步骤7)中存储的主用状态信息，以确定数据同步的方向；
10)数据检验单元读取参数存储配置单元定义的同步数据元信息，动态生成同步校验线程；每个校验线程负责系统内至少一个数据表的校验工作；
11)数据检验单元根据同步数据库元信息及数据表版本序列号(SCN)获取当前主用状态的系统中的数据变动项，将数据项名称及数据表版本序列号发送至数据同步单元；
12)重复步骤9)及步骤11)，对主、备系统数据的差异项进行持续监测；
13)数据同步单元读取步骤7)中存储的主用状态信息，以确定数据同步的方向；
14)数据同步单元读取参数存储配置单元定义的同步数据元信息，动态生成数据同步线程，每个同步线程负责系统内至少一张数据表的同步工作；
15)数据同步单元从共享内存读取同步数据表的上一个周期步骤19)中记录的当前主用状态的系统数据表版本序列号，接收步骤11)发送的最新数据表版本序列号，若数据表版本序列号一致，表示主用状态的系统中同一个数据表内容未发生变化无需同步；否则进行步骤16)；
16)数据同步单元中的数据库同步代理模块获取当前主用状态的系统数据表中的变化数据内容或全量数据内容，采用增量或全量方式由参数存储配置单元定义；
17)源数据库同步代理模块获取主用状态的系统数据库数据，并发送至数据同步模块；
18)根据同步数据元信息，将获取的数据项动态组装为数据报文，动态组装报文的结构由参数存储配置单元中定义的同步数据元信息决定，其包括数据字段名称，字段类型，字段长度信息；
19)数据同步模块将数据报文传送至目的数据库同步代理模块，进行数据内容的存储操作；若数据表同步完成，则将当前主用状态的系统中已成功同步的数据表版本序列号写入共享内存；
20)重复步骤13)至步骤19)，由数据同步单元生成的同步线程进行数据同步。
本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。

Claims (10)

1.一种主备系统数据实时同步系统，其特征在于，包括：参数存储配置单元，数据同步单元，数据检验单元，系统状态中控单元及数据分发服务单元；
参数存储配置单元，用于定义并存储主、备系统中需同步的数据范围与数据类别，定义外部接入数据的类别及系统状态信息的存储；
数据分发服务单元，用于接收外部空管运行数据流，根据信息类型过滤并分路发送数据至主、备系统；
系统状态中控单元，用于设置主、备系统的使用状态，即主用状态和备用状态；并根据主、备系统当前的工作状态，控制主用状态的系统；
数据检验单元，用于判断当前主用状态的系统中外部人工操作数据项是否与备用状态的系统中外部人工操作数据项一致，若二者中的数据不一致，则将发生变化的数据项名称发送至数据同步单元；
数据同步单元，用于根据系统状态中控单元发布的主、备系统的使用状态信息，确定数据同步的方向，即由当前主用状态的系统向当前备用状态的系统数据库同步；其采用全量或增量方式将发生变化的数据发送至当前备用状态的系统，通过动态组装报文的方式传输数据表至备用状态的系统的数据库。
2.根据权利要求1所述的主备系统数据实时同步系统，其特征在于，所述参数存储配置单元具体包括：
根据地域、源系统、数据类别及数据传输格式四个属性定义外部接入的空管数据，由上述四个属性的组合生成信息标签，用于唯一标识一路输入数据并进行存储；
定义外部数据源的系统传输数据流向，即定义信息标签与数据分发目的地的对应关系；分发目的地为向主系统分发、向备系统分发或向主系统和备系统均分发，所述对应关系以配置文件形式进行存储；
定义同步数据元信息，即定义需要同步的数据范围、数据内容，包含数据项名称，数据字段存储类型，数据项长度，以配置文件方式进行存储；
对主、备系统的状态及设备信息进行存储；
对参数数据提供基于配置文件形式/共享内存的发布，供其它各单元获取，修改配置。
3.根据权利要求1所述的主备系统数据实时同步系统，其特征在于，所述数据分发服务单元具体包括：
根据参数存储配置单元定义的信息标签，对外部输入的空管数据进行筛选分类，分类后的各类数据源的消息数据帧内设置信息标签，以标识不同来源的数据；
根据参数存储配置单元定义的外部数据源的系统传输数据流向，确定输入数据的分发方向；
根据所述确定的消息标签与数据流向，通过消息中间件将外部数据传输至需分发的系统中。
4.根据权利要求1所述的主备系统数据实时同步系统，其特征在于，所述系统状态中控单元具体包括：
实时获取主系统、备系统的应用可用性及业务网络连通性，发送至参数存储配置单元存储，并进行显示；
定时将设置后的主、备系统当前的工作状态发送给主、备系统；
定时采集主、备系统的运行告警信息及故障信息，并进行显示。
5.根据权利要求1所述的主备系统数据实时同步系统，其特征在于，所述数据检验单元具体包括：
获取系统状态中控单元设置的主、备系统当前的工作状态，以确定数据同步的方向；
通过获取参数存储配置单元定义的同步数据范围与数据类别，以多线程方式进行数据校验作业，对生成的各操作系统线程进行连续编号。
6.根据权利要求5所述的主备系统数据实时同步系统，其特征在于，所述数据校验作业内容包括：
根据线程号，匹配同步配置文件中定义的待校验数据范围，各线程负责不同的数据类别的校验工作；
确定线程的数据校验范围后，根据参数存储配置单元定义的同步数据元信息获取线程负责校验的数据项；
根据数据表版本序列号变化，数据更新时间戳检索主用状态的系统中的数据变动项，将发生变动的数据项名称发送至数据同步单元。
7.根据权利要求1所述的主备系统数据实时同步系统，其特征在于，所述数据同步单元具体包括：
数据同步模块，用于分配数据同步作业，读取参数存储配置单元中存储的主、备系统的状态信息，以确定数据同步的方向；将数据检验单元发送的数据项变动传输至源数据库同步代理模块，并接收源数据库同步代理模块抽取的数据信息、动态组装成报文，并转发至目的数据库同步代理模块；
源数据库同步代理模块，用于连接当前为主用状态的系统数据库，并根据数据同步模块分配的同步作业，进行数据抽取作业；
目的数据库同步代理模块，用于连接当前为备用状态的系统数据库，并根据数据同步模块发送的数据，进行数据存储。
8.根据权利要求7所述的主备系统数据实时同步系统，其特征在于，所述数据同步作业具体包括：
根据线程号，匹配同步配置文件中定义的同步数据范围，各线程负责不同的数据类别的同步工作；
接收数据检验单元发送的发生变动的数据项名称信息；
根据参数存储配置单元定义的同步数据元信息，将源数据库同步代理模块抽取的原始数据动态组装为数据报文，通过增量或全量方式传输至备用状态的系统，由目的数据库同步代理模块对数据报文解析，进行数据存储。
9.一种主备系统数据实时同步方法，基于权利要求1-8中任意一项所述系统，其特征在于，步骤如下：
1)对外部的网络输入数据分类，对各类数据源设置消息标签，通过参数存储配置单元存储并发布；
2)对接入的外部数据预处理，在网络正文消息组装时附加消息头，并在消息头内部设置一段数据帧，用于标识不同来源的数据；该数据帧内容与步骤1)中定义的消息标签内容一致；
3)数据分发单元从源头接收网络数据，参照步骤2)中设置的数据帧，解析网络数据的消息头数据，根据步骤1)中的消息标签进行过滤，对满足配置条件的消息，通过消息中间件分发至主，备系统中；
4)重复步骤3)，使外部数据分路传输至主、备系统；
5)实时获取主系统及备系统的应用可用性、业务网络连通性，并通过人机界面显示；
6)判断主、备系统的状态并周期性将主用状态数据发布至主/备系统；
7)主、备系统对接收到的所述步骤6)发布的主用状态消息进行存储；
8)定期采集主、备系统的运行告警信息及故障信息发送至系统状态中控单元，重复步骤5)、6)确定主、备系统的状态。
10.根据权利要求9所述的主备系统数据实时同步方法，其特征在于，所述同步方法具体还包括：当发生主备用状态切换时，进行如下步骤；
9)数据检验单元获取步骤7)中存储的主用状态信息，以确定数据同步的方向；
10)数据检验单元读取参数存储配置单元定义的同步数据元信息，动态生成同步校验线程；每个校验线程负责系统内至少一个数据表的校验工作；
11)数据检验单元根据同步数据库元信息及数据表版本序列号获取当前主用状态的系统中的数据变动项，将数据项名称及数据表版本序列号发送至数据同步单元；
12)重复步骤9)及步骤11)，对主、备系统数据的差异项进行持续监测；
13)数据同步单元读取步骤7)中存储的主用状态信息，以确定数据同步的方向；
14)数据同步单元读取参数存储配置单元定义的同步数据元信息，动态生成数据同步线程，每个同步线程负责系统内至少一张数据表的同步工作；
15)数据同步单元从共享内存读取同步数据表的上一个周期步骤19)中记录的当前主用状态的系统数据表版本序列号，接收步骤11)发送的最新数据表版本序列号，若数据表版本序列号一致，表示主用状态的系统中同一个数据表内容未发生变化无需同步；否则进行步骤16)；
16)数据同步单元中的数据库同步代理模块获取当前主用状态的系统数据表中的变化数据内容或全量数据内容，采用增量或全量方式由参数存储配置单元定义；
17)源数据库同步代理模块获取主用状态的系统数据库数据，并发送至数据同步模块；
18)根据同步数据元信息，将获取的数据项动态组装为数据报文，动态组装报文的结构由参数存储配置单元中定义的同步数据元信息决定，其包括数据字段名称，字段类型，字段长度信息；
19)数据同步模块将数据报文传送至目的数据库同步代理模块，进行数据内容的存储操作；若数据表同步完成，则将当前主用状态的系统中已成功同步的数据表版本序列号写入共享内存；
20)重复步骤13)至步骤19)，由数据同步单元生成的同步线程进行数据同步。
CN202111141290.8A 2021-09-28 2021-09-28 一种主备系统数据实时同步系统及方法 Active CN113946623B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111141290.8A CN113946623B (zh) 2021-09-28 2021-09-28 一种主备系统数据实时同步系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111141290.8A CN113946623B (zh) 2021-09-28 2021-09-28 一种主备系统数据实时同步系统及方法

Publications (2)

Publication Number Publication Date
CN113946623A true CN113946623A (zh) 2022-01-18
CN113946623B CN113946623B (zh) 2024-04-09

Family

ID=79329229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111141290.8A Active CN113946623B (zh) 2021-09-28 2021-09-28 一种主备系统数据实时同步系统及方法

Country Status (1)

Country Link
CN (1) CN113946623B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1996969A (zh) * 2006-11-30 2007-07-11 武汉市中光通信公司 基于高可用性系统的综合接入媒体网关设备
US20120158653A1 (en) * 2010-12-21 2012-06-21 Targus Information Corporation On demand multi-location large database synchronization system
CN109857808A (zh) * 2019-01-28 2019-06-07 南瑞集团有限公司 基于中立数据结构的纵向数据同步系统及方法
CN111813809A (zh) * 2020-06-15 2020-10-23 南京莱斯信息技术股份有限公司 飞行计划集中处理的双中心数据同步系统及方法
CN112562422A (zh) * 2020-11-30 2021-03-26 中国电子科技集团公司第二十八研究所 空中交通管制系统双机冗余模式下的航迹信息自同步方法
CN113055539A (zh) * 2021-03-09 2021-06-29 南京莱斯电子设备有限公司 一种基于VoIP双冗余交换服务器的通信系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1996969A (zh) * 2006-11-30 2007-07-11 武汉市中光通信公司 基于高可用性系统的综合接入媒体网关设备
US20120158653A1 (en) * 2010-12-21 2012-06-21 Targus Information Corporation On demand multi-location large database synchronization system
CN109857808A (zh) * 2019-01-28 2019-06-07 南瑞集团有限公司 基于中立数据结构的纵向数据同步系统及方法
CN111813809A (zh) * 2020-06-15 2020-10-23 南京莱斯信息技术股份有限公司 飞行计划集中处理的双中心数据同步系统及方法
CN112562422A (zh) * 2020-11-30 2021-03-26 中国电子科技集团公司第二十八研究所 空中交通管制系统双机冗余模式下的航迹信息自同步方法
CN113055539A (zh) * 2021-03-09 2021-06-29 南京莱斯电子设备有限公司 一种基于VoIP双冗余交换服务器的通信系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴世雄;: "一种空管自动化系统主备同步监控的设计与实现", 现代计算机, no. 04, 5 February 2020 (2020-02-05) *
谢小军;芦翰晨;施若馨;: "分布式电力应急救援感知与协同信息交互技术", 系统仿真学报, no. 12, 8 December 2017 (2017-12-08) *

Also Published As

Publication number Publication date
CN113946623B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
CN108667725A (zh) 一种基于多种接入及边缘计算的工业软网关以及实现方法
CN112118174B (zh) 软件定义数据网关
CN107291787A (zh) 主备数据库切换方法和装置
CN105046344B (zh) 面向智能电网调度技术支持系统的主站数据质量优化方法
CN106294741B (zh) 一种自动化数据查询同步存储系统
CN105426419B (zh) 异构系统间数据升迁系统和方法
CN109450094A (zh) 一种变电站继电保护巡检方法及系统
CN104468274A (zh) 一种集群监控管理方法及系统
CN112865311B (zh) 一种电力系统消息总线监视方法和装置
CN108989385A (zh) 一种基于Zabbix监控采集自动同步CMDB的实现方法
CN107302569A (zh) 一种面向云平台的安全监控数据采集与存储方法
US6804710B1 (en) Configuration information management system, method, program, and program storage device
CN112186901B (zh) 一种变电站全景感知监控方法及系统
CN113505048A (zh) 基于应用系统画像的统一监控平台及实现方法
CN111913933A (zh) 基于统一支撑平台的电网历史数据管理方法及系统
CN203340096U (zh) 交互式电力通信网络仿真装置
CN103744901A (zh) 智能变电站双机同步存储历史数据的系统和装置
CN113946623B (zh) 一种主备系统数据实时同步系统及方法
CN115689277B (zh) 云边协同技术下的化工园区风险预警系统
CN104731786A (zh) 一种轨道交通综合监控系统的数据管理方法及装置
CN103414595B (zh) 电力调度数据网链路监测系统拓扑图生成方法
CN116226067A (zh) 日志管理方法、日志管理装置、处理器和日志平台
CN116431324A (zh) 一种基于Kafka高并发数据采集与分发的边缘系统
CN106254540B (zh) 一种适用于分布式系统的节点服务监控系统及实现方法
CN115237989A (zh) 一种矿山数据采集系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant