CN112395139B - 一种实现高可用部署报文信息同步上报方法及系统 - Google Patents

一种实现高可用部署报文信息同步上报方法及系统 Download PDF

Info

Publication number
CN112395139B
CN112395139B CN202110041614.4A CN202110041614A CN112395139B CN 112395139 B CN112395139 B CN 112395139B CN 202110041614 A CN202110041614 A CN 202110041614A CN 112395139 B CN112395139 B CN 112395139B
Authority
CN
China
Prior art keywords
information
reported
reporting
host
response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110041614.4A
Other languages
English (en)
Other versions
CN112395139A (zh
Inventor
刘小伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Sipuling Technology Co Ltd
Original Assignee
Wuhan Sipuling Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Sipuling Technology Co Ltd filed Critical Wuhan Sipuling Technology Co Ltd
Priority to CN202110041614.4A priority Critical patent/CN112395139B/zh
Publication of CN112395139A publication Critical patent/CN112395139A/zh
Application granted granted Critical
Publication of CN112395139B publication Critical patent/CN112395139B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/1675—Temporal synchronisation or re-synchronisation of redundant processing components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2023—Failover techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/273—Asynchronous replication or reconciliation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5682—Policies or rules for updating, deleting or replacing the stored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/80—Database-specific techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/82—Solving problems relating to consistency

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Hardware Redundancy (AREA)

Abstract

本发明涉及一种实现高可用部署报文信息同步上报方法，包括主机上报流程；所述主机上报流程包括以下步骤：读取主数据库中未上报信息并上报至服务器；上报完成后，将已上报信息及其ID值写入已上报缓存区；将已上报缓存区中已上报信息及其ID值发送至备机，并接收备机的响应；接收到备机的响应后，将与响应相关的信息从所述已上报缓存区中删除，并将响应全局变量置为相关信息的ID值。本发明可以保证所有需要上报的日志信息均上报至服务器，不会发生丢失，且主备机上报信息一致性高。

Description

一种实现高可用部署报文信息同步上报方法及系统
技术领域
本发明涉及主备同步信息上报技术领域，尤其涉及一种实现高可用部署报文信息同步上报方法及系统。
背景技术
在现代的网络应用中，对涉及一些网络安全的日志，网管服务器需要及时的知道这些信息，而且这些信息还必须完成全部上报；于是催生了基于高可用部署场景的部署架构。
本发明的研究核心是高可用部署架构的主备上报系统，高可用部署即高可用性（High Availability），包括主机和备机，主机和备机在同一时刻只有一台与网络服务器进行通信；当主机因某些原因崩溃或者重启时，备机会自动接管业务。
目前，为了保证高可用部署的性能，主机与备机之间的高可用部署通信不是可靠的，即主机发送消息至备机后，并没有响应报文，具体业务流程如下：
1、主机（例如网关、网络安全设备等）会收集/监控通过该设备的报文，如果发现其为一些异常报文（例如攻击、非允许通行报文等），则将其五元组信息写入到数据库；
2、主机的上报进程读取数据库的逐条五元组信息，然后将其上报给网管服务器；
3、上报成功后，将数据库中的该条记录设置为已上报。
在实际的业务场景中，网管服务器往往管理着大量的设备，在出现攻击行为时，网管服务器的处理性能有限，在此种情况下，主机就可能积累大量的未上报信息，如果此时主机发生重启，这些信息可能就会丢失。
发明内容
有鉴于此，有必要提供一种实现高可用部署报文信息同步上报方法及系统，用以解决高可用部署架构的服务器处理能力有限，无法及时处理所有未上报信息，未上报信息存在较大的丢失风险的问题。
本发明提供一种实现高可用部署报文信息同步上报方法，包括主机上报流程；所述主机上报流程包括以下步骤：
读取主数据库中未上报信息并上报至服务器；
上报完成后，将已上报信息及其ID值写入已上报缓存区；
将已上报缓存区中已上报信息及其ID值发送至备机，并接收备机的响应；
接收到备机的响应后，将与响应相关的信息从所述已上报缓存区中删除，并将响应全局变量置为相关信息的ID值。
进一步的，读取主数据库中未上报信息并上报至服务器，具体为：
检测主数据库中是否存在未上报信息，如果是，则转下一步，否则继续进行未上报信息的检测；
从主数据库中读取不超过设定条数的信息，并按照与服务器约定的格式进行组装；
将组装的信息上报至服务器。
进一步的，上报完成后，将已上报信息及其ID值写入已上报缓存区，具体为：
判断服务器是否返回上报响应，如果是，则判定上报成功，将已上报信息及其ID值以链表形式写入已上报缓存区，并在主数据库中对已上报信息进行标记，否则，重新进行未上报信息的上报。
进一步的，将已上报缓存区中已上报信息及其ID值发送至备机，具体为：
检查响应全局变量是否为0；
如果响应全局变量不为0，则进一步检查距离上次发送已上报信息的时间间隔是否超过第一设定时长，如果不超过，则继续检查响应全局变量是否为0，如果超过，则检查已上报缓存区是否为空，如果为空，则继续检查响应全局变量是否为0，如果不为空则将已上报缓存区中已上报信息及其ID值发送至备机；
如果响应全局变量为0，则检查已上报缓存区是否为空，如果为空，则继续检查响应全局变量是否为0，如果不为空则将已上报缓存区中已上报信息及其ID值发送至备机。
进一步的，将已上报缓存区中已上报信息及其ID值发送至备机，还包括：
发送完成后，将响应全局变量置为第一个发送信息的ID值。
进一步的，还包括备机上报流程；所述备机上报流程包括以下步骤：
读取未上报信息并发送至主机；
发送完成后，将已发送信息及其ID值写入已发送缓存区；
接收到主机的响应后，将已发送信息从备数据库中删除，并从已发送缓存区中清除已发送信息对应的节点；
所述主机上报流程还包括：
接收所述备机发送的未上报信息，并将其写入主数据库中，与主数据库中其它未上报信息一同进行上报。
进一步的，读取未上报信息并发送至主机，具体为：
检查已发送缓存区内是否存在节点；
如果发送缓存区内不存在节点，则从备数据库中读取不超过设定条数的未上报信息，并发送至主机；
如果存在节点，则进一步检查距离上次发送节点上信息的时间间隔是否超过第二设定时长，如果超过，则将节点上的信息发送至主机，如果不超过，则继续检查已发送缓存区中是否存在节点。
进一步的，所述备机上报流程，还包括：
接收主机发送的已上报信息及其ID并写入备数据库，向主机发送响应。
本发明还提供一种实现高可用部署报文信息同步上报系统，基于所述实现高可用部署报文信息同步上报方法实现高可用部署报文信息同步上报。
进一步的，所述实现高可用部署报文信息同步上报系统包括主机、备机和服务器；所述主机采用所述主机上报流程向所述服务器进行信息上报，并向备机发送信息保持一致性；所述备机采用所述备机上报流程向所述服务器进行信息上报。
有益效果：本发明中，主机读取主数据库中未上报信息，将其上报给服务器，上报成功后，将其写入已上报缓存区，形成缓存记录，每条缓存记录含有数据库中记录的唯一ID值。形成缓存记录的作用在于将记录发送至备机，以保持主机与备机之间的一致性。主机将读取已上报缓存区中含ID值的信息并发送给备机，备机收到后响应一条信息，并将这些含ID值的五元组信息写入备数据库中，使得主数据库与备数据库中已上报信息保持一致。主机收到备机的响应后，说明备机已经对当前已上报信息进行了上报状态更新，因此检查响应相关的ID值，并将ID值相关的信息从已上报缓存区中删除。本发明通过数据库的唯一ID值对信息进行标记，并在主机上报信息后通知备机，通过备机的响应确保备机成功接收到已上报信息的通知，实现主备机信息的一致性。通过主备一致性的上报逻辑，保障所有的信息都可以准确无误上报至网管服务器，即使主机发生异常重启等故障时，与主机数据保持一致的备机也可以接管上报业务，实现无遗漏地、准确地信息上报。
附图说明
图1为本发明提供的实现高可用部署报文信息同步上报方法第一实施例的主机上报信息至服务器的流程图；
图2为本发明提供的实现高可用部署报文信息同步上报方法第一实施例的主机发送信息至备机的流程图；
图3为本发明提供的实现高可用部署报文信息同步上报方法第一实施例的备机发送信息至主机流程图；
图4为本发明提供的实现高可用部署报文信息同步上报系统第一实施例的系统架构图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
实施例1
本发明的实施例1提供了实现高可用部署报文信息同步上报方法，包括主机上报流程；所述主机上报流程包括以下步骤：
读取主数据库中未上报信息并上报至服务器；
上报完成后，将已上报信息及其ID值写入已上报缓存区；
将已上报缓存区中已上报信息及其ID值发送至备机，并接收备机的响应；
接收到备机的响应后，将与响应相关的信息从所述已上报缓存区中删除，并将响应全局变量置为相关信息的ID值。
本实施例中信息为五元组信息，五元组信息包括源地址、目的地址、源端口、目的端口以及协议类型；ID值指数据库ID，为整形数据，向数据库中每插入一条数据，该ID值自加一，以保证所有的记录永不重复；服务器具体为网关服务器。主机读取主数据库的五元组信息中未上报信息，将其上报给网管服务器，上报成功后，将其写入已上报缓存区，形成缓存记录，每条缓存记录含有数据库中记录的唯一ID值。形成缓存记录的作用在于将记录发送至备机，以保持主机与备机之间的一致性。主机将读取已上报缓存区中的含ID值的信息，将其发送给备机，备机收到后响应一条信息，并将这些含ID值的五元组信息写入备数据库中，使得主数据库与备数据库中已上报信息保持一致。主机收到备机的响应后，说明备机已经对当前已上报信息进行了上报状态更新，因此检查响应相关的ID值，并将ID值相关的信息从已上报缓存区中删除。
本发明的通过数据库的唯一ID值对信息进行标记，并在主机上报信息后通知备机，通过备机的响应确保备机成功接收到已上报信息的通知，实现主备机信息的一致性。通过主备一致性的上报逻辑，保障所有的信息都可以准确无误上报至网管服务器，即使主机发生异常重启等故障时，与主机数据保持一致的备机也可以接管上报业务，实现无遗漏地、准确地信息上报。
本发明可以在主机发生异常重启时，仍然保障以下信息的一致性：所有的攻击报文五元组信息都可以上报到网管服务器；主机与备机的数据库均能够记录所有的攻击报文的五元组信息，即所有的五元组信息在主机上可以查询，在备机上也可以查询到；主机已经上报过的信息在主备发生切换后也不会进行重复上报。
本发明在高可用部署部署下，满足服务器以下场景需求：保证所有的攻击行为五元组信息可以上报到服务器；保证主备数据的一致性，可以随机查询，尤其是对一些高可用部署不可靠的场景仍然能够保证；极大的简化了管理人员的维护工作和溯源问题。
应该理解的，本发明除了可以应用在网络管理的攻击报文上报场景中，还可以将其应用到其它任何信息的同步上报场景中，本实施例仅以网络管理报文上报为例进行说明，并不用于对应用场景的限定。
具体的，在进行同步上报之前，还需要进行一些准确工作，由于本发明在主机和备机中设置了一些缓存区，用于实现主备机一致性，因此需要先对这些缓存区进行初始化，包括已上报缓存区和已发送缓存区。已上报缓存区用于存储主机已上报至服务器的五元组信息；已发送缓存区用于存储备机已发送至主机的五元组信息；已上报缓存区的发送至备机的全局变量report_id置0。
另外，在上报之前，需要各客户端设备将异常攻击写入数据库，写入的数据库包括主数据库和备数据库，设备根据自身的策略规则或其他机制获取异常攻击行为的五元组信息，并将其写入数据库中。数据库包含信息如下：ID值、源IP、目的IP、源端口、目的端口、协议类型、上报标志flag。对于ICMP报文，源端口和目的端口分别为其type值和code值。
优选的，读取主数据库中未上报信息并上报至服务器，具体为：
检测主数据库中是否存在未上报信息，如果是，则转下一步，否则继续进行未上报信息的检测；
从主数据库中读取不超过设定条数的信息，并按照与服务器约定的格式进行组装；
将组装的信息上报至服务器。
优选的，上报完成后，将已上报信息及其ID值写入已上报缓存区，具体为：
判断服务器是否返回上报响应，如果是，则判定上报成功，将已上报信息及其ID值以链表形式写入已上报缓存区，并在主数据库中对已上报信息进行标记，否则，重新进行未上报信息的上报。
具体的，如图1所示，在实现同步上报时，主机与服务器之间的交互流程包括：
S001：判断主数据库中是否有未上报信息，如果是，则进入S002步骤，否则继续S001步骤；
具体的，主机上报进程判断主数据库中是否存在未上报的五元组信息，即五元组信息的上报标记flag=0，若无则继续S001步骤，若有则进入S002步骤；
S002：从主数据库读取至多80条信息；
具体的，主机上报进程从主数据库中读取至多80条未上报信息，读取信息条数的限制阈值可以根据服务器的性能酌情调整；
S003：组装信息并发送给服务器；
具体的，按照与服务器约定的格式组装，将组装的信息上报给服务器；
S004：判断服务器接收是否成功，若未成功，则进入S002步骤，若成功则进入S005步骤；
具体的，上报成功时服务器需要返回正确的响应，因此可以根据服务器响应判断服务器是否接收成功；
S005：已上报信息写入本地已上报缓存区；
具体的，将已上报的信息以链表形式加入到已上报缓存区，待将其发送给备机；
S006：更新主数据库中已上报信息的flag值为1，然后进入S001步骤；
具体的，更新数据库信息，将已上报信息在主数据库中对应的上报标记置为已上报，也即将上报标记flag写为1，然后进入S001步骤。
优选的，将已上报缓存区中已上报信息及其ID值发送至备机，具体为：
检查响应全局变量是否为0；
如果响应全局变量不为0，则进一步检查距离上次发送已上报信息的时间间隔是否超过第一设定时长，如果不超过，则继续检查响应全局变量是否为0，如果超过，则检查已上报缓存区是否为空，如果为空，则继续检查响应全局变量是否为0，如果不为空则将已上报缓存区中已上报信息及其ID值发送至备机；
如果响应全局变量为0，则检查已上报缓存区是否为空，如果为空，则继续检查响应全局变量是否为0，如果不为空则将已上报缓存区中已上报信息及其ID值发送至备机。
具体的，如图2所示，在实现同步上报时，主机将已上报信息同步至备机的交互流程包括：
S101：检查report_id全局变量是否为0，若不为0，则进入S102步骤，若为0，则进入到S103；
具体的，report_id全局变量即响应全局变量，若不为0，说明还未收到来自备机的响应，则进入S102步骤，若为0，说明已经收到来自备机的响应，则进入到S103；
S102：判断发送时间间隔是否超过10分钟，若超过10分钟，则进入S103，若未超过10分钟，则进入S101；
具体的，高可用部署主备并通信不可靠，因此检查距离上次的发送已上报信息的时间间隔是否已超过10分钟，若超过10分钟，则上次发送的报文可能是备机未收到，则进入S103，若未超过10分钟，则上次发送的报文备机已经收到，则进入S101；
S103：判断已上报缓存区是否为空；
具体的，检查主机已上报缓存区的缓存链表是否为空，若为空则继续执行S101步骤，否则进入到S104；缓存链表的每个节点存储至多80条五元组信息，发送信息含数据库对应的ID值，与S002步骤中维持一致即可；
S104：将已上报信息发送给备机；
具体的，将信息通过高可用部署通道发送给备机；
S105：将report_id全局变量置为发送信息中的第一个五元组的数据库ID值。
优选的，将已上报缓存区中已上报信息及其ID值发送至备机，还包括：
发送完成后，将响应全局变量置为第一个发送信息的ID值。
优选的，还包括备机上报流程；所述备机上报流程包括以下步骤：
读取未上报信息并发送至主机；
发送完成后，将已发送信息及其ID值写入已发送缓存区；
接收到主机的响应后，将已发送信息从备数据库中删除，并从已发送缓存区中清除已发送信息对应的节点；
所述主机上报流程还包括：
接收所述备机发送的未上报信息，并将其写入主数据库中，与主数据库中其它未上报信息一同进行上报。
在实现同步上报时，备机将未上报信息发送给主机，以便主机对所有未上报信息进行统一上报。具体的：备机读取备数据库的五元组未上报信息，将含ID值的未上报信息写入已发送缓存区；主机收到备机的上报五元组信息，响应一条消息，响应消息中包含已收到的所有五元组信息及其ID值，并将这些五元组写入主数据库，等待和其他未上报的报文一起上报。备机收到主机的响应后，将ID值相关的信息从备数据库记录中删除，并从已发送缓存区中清除相应节点。
优选的，读取未上报信息并发送至主机，具体为：
检查已发送缓存区内是否存在节点；
如果发送缓存区内不存在节点，则从备数据库中读取不超过设定条数的未上报信息，并发送至主机；
如果存在节点，则进一步检查距离上次发送节点上信息的时间间隔是否超过第二设定时长，如果超过，则将节点上的信息发送至主机，如果不超过，则继续检查已发送缓存区中是否存在节点。
具体的，如图3所示，在实现同步上报时，备机将未上报信息发送至主机的交互流程包括：
S201：检查已发送缓存区内是否存在节点，若存在节点，则进入S202，否则进入S203；
具体的，若存在节点，则说明有数据待发送至主机；
S202：检查距离上次发送是否超过1分钟，，若是，则进入S204，否则进入S201；
具体的，检查距离上次发送未上报信息的时间间隔是否超过1分钟；
S203：从数据库中读取至多80条未上报信息；
具体的，从数据库中读取至多80条flag=0的数据库条目信息；
S204：将未上报信息发送至主机；
具体的，将节点上的未上报信息发送至主机。
优选的，所述备机上报流程，还包括：
接收主机发送的已上报信息及其ID并写入备数据库，向主机发送响应。
备机收到主机S104步骤中信息，则直接将其写入备数据库中，并给主机发送响应消息，响应消息中包含已收到的所有五元组信息的ID。
实施例2
本发明的实施例2提供了实现高可用部署报文信息同步上报系统，基于实施例1提供的实现高可用部署报文信息同步上报方法实现高可用部署报文信息同步上报。
本发明实施例提供的实现高可用部署报文信息同步上报系统，基于实现高可用部署报文信息同步上报方法实现，因此，实现高可用部署报文信息同步上报方法所具备的技术效果，实现高可用部署报文信息同步上报系统同样具备，在此不再赘述。
优选的，如图4所示，所述实现高可用部署报文信息同步上报系统包括主机1、备机2和服务器3；所述主机1采用所述主机上报流程向所述服务器1进行信息上报，并向备机发送信息保持一致性；所述备机2采用所述备机上报流程向所述服务器3进行信息上报。各客户端10将报文信息上报至主机1和备机2。
本实施例采用主机1、备机2、服务器3构建高可用部署架构，这种高可用部署架构与现有的并无不同，但是其采用的实现高可用部署报文信息同步上报方法与现有技术相比有较大区别，能够保证主备机上报信息的一致性，确保所有信息准确无误上报，无遗漏、无重复。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种实现高可用部署报文信息同步上报方法，其特征在于，包括主机上报流程；所述主机上报流程包括以下步骤：
读取主数据库中未上报信息并上报至服务器；
上报完成后，将已上报信息及其ID值写入已上报缓存区；
将已上报缓存区中已上报信息及其ID值发送至备机，并接收备机的响应；
接收到备机的响应后，将与响应相关的信息从所述已上报缓存区中删除，并将响应全局变量置为相关信息的ID值；
其中，将已上报缓存区中已上报信息及其ID值发送至备机，具体为：
检查响应全局变量是否为0；
如果响应全局变量不为0，则进一步检查距离上次发送已上报信息的时间间隔是否超过第一设定时长，如果不超过，则继续检查响应全局变量是否为0，如果超过，则检查已上报缓存区是否为空，如果为空，则继续检查响应全局变量是否为0，如果不为空则将已上报缓存区中已上报信息及其ID值发送至备机；
如果响应全局变量为0，则检查已上报缓存区是否为空，如果为空，则继续检查响应全局变量是否为0，如果不为空则将已上报缓存区中已上报信息及其ID值发送至备机。
2.根据权利要求1所述的实现高可用部署报文信息同步上报方法，其特征在于，读取主数据库中未上报信息并上报至服务器，具体为：
检测主数据库中是否存在未上报信息，如果是，则转下一步，否则继续进行未上报信息的检测；
从主数据库中读取不超过设定条数的信息，并按照与服务器约定的格式进行组装；
将组装的信息上报至服务器。
3.根据权利要求1所述的实现高可用部署报文信息同步上报方法，其特征在于，上报完成后，将已上报信息及其ID值写入已上报缓存区，具体为：
判断服务器是否返回上报响应，如果是，则判定上报成功，将已上报信息及其ID值以链表形式写入已上报缓存区，并在主数据库中对已上报信息进行标记，否则，重新进行未上报信息的上报。
4.根据权利要求1所述的实现高可用部署报文信息同步上报方法，其特征在于，将已上报缓存区中已上报信息及其ID值发送至备机，还包括：
发送完成后，将响应全局变量置为第一个发送信息的ID值。
5.根据权利要求1所述的实现高可用部署报文信息同步上报方法，其特征在于，还包括备机上报流程；所述备机上报流程包括以下步骤：
读取未上报信息并发送至主机；
发送完成后，将已发送信息及其ID值写入已发送缓存区；
接收到主机的响应后，将已发送信息从备数据库中删除，并从已发送缓存区中清除已发送信息对应的节点；
所述主机上报流程还包括：
接收所述备机发送的未上报信息，并将其写入主数据库中，与主数据库中其它未上报信息一同进行上报。
6.根据权利要求5所述的实现高可用部署报文信息同步上报方法，其特征在于，读取未上报信息并发送至主机，具体为：
检查已发送缓存区内是否存在节点；
如果发送缓存区内不存在节点，则从备数据库中读取不超过设定条数的未上报信息，并发送至主机；
如果存在节点，则进一步检查距离上次发送节点上信息的时间间隔是否超过第二设定时长，如果超过，则将节点上的信息发送至主机，如果不超过，则继续检查已发送缓存区中是否存在节点。
7.根据权利要求5所述的实现高可用部署报文信息同步上报方法，其特征在于，所述备机上报流程，还包括：
接收主机发送的已上报信息及其ID并写入备数据库，向主机发送响应。
8.一种实现高可用部署报文信息同步上报系统，其特征在于，基于如权利要求1-7任一所述的实现高可用部署报文信息同步上报方法实现高可用部署报文信息同步上报。
9.根据权利要求8所述的实现高可用部署报文信息同步上报系统，其特征在于，所述实现高可用部署报文信息同步上报系统包括主机、备机和服务器；所述主机采用所述主机上报流程向所述服务器进行信息上报，并向备机发送信息保持一致性；所述备机采用所述备机上报流程向所述服务器进行信息上报。
CN202110041614.4A 2021-01-13 2021-01-13 一种实现高可用部署报文信息同步上报方法及系统 Active CN112395139B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110041614.4A CN112395139B (zh) 2021-01-13 2021-01-13 一种实现高可用部署报文信息同步上报方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110041614.4A CN112395139B (zh) 2021-01-13 2021-01-13 一种实现高可用部署报文信息同步上报方法及系统

Publications (2)

Publication Number Publication Date
CN112395139A CN112395139A (zh) 2021-02-23
CN112395139B true CN112395139B (zh) 2021-04-06

Family

ID=74624875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110041614.4A Active CN112395139B (zh) 2021-01-13 2021-01-13 一种实现高可用部署报文信息同步上报方法及系统

Country Status (1)

Country Link
CN (1) CN112395139B (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101316194B (zh) * 2007-05-31 2011-04-06 华为技术有限公司 提高监听用户面数据上报可靠性的方法及装置
US9864772B2 (en) * 2010-09-30 2018-01-09 International Business Machines Corporation Log-shipping data replication with early log record fetching
CN104618127B (zh) * 2013-11-01 2019-01-29 深圳市腾讯计算机系统有限公司 主备存储节点切换方法和系统
CN106453625B (zh) * 2016-11-17 2019-05-17 东软集团股份有限公司 信息同步方法及高可用性集群系统
CN106603692B (zh) * 2016-12-27 2020-12-01 中国银联股份有限公司 一种分布式存储系统中的数据存储方法及装置
CN110636128A (zh) * 2019-09-20 2019-12-31 苏州浪潮智能科技有限公司 一种数据同步方法、系统、电子设备及存储介质

Also Published As

Publication number Publication date
CN112395139A (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
WO2021121370A1 (zh) 用于消息队列的消息丢失检测方法和装置
US9430308B2 (en) Operational status of network nodes
CN103514173B (zh) 数据处理的方法和节点设备
CN104092717B (zh) 消息处理方法及系统、消息目的端设备
CN110535692B (zh) 故障处理方法、装置、计算机设备、存储介质及存储系统
CN108345617B (zh) 一种数据同步方法、装置以及电子设备
CN109491609B (zh) 一种缓存数据处理方法、装置、设备及可读存储介质
CN113515531B (zh) 数据访问方法、装置、客户端及存储介质
CN109600375A (zh) 消息跟踪方法、装置、电子设备及存储介质
WO2022033586A1 (zh) 一种消息发送方法及装置
CN111342986B (zh) 分布式节点管理方法及装置、分布式系统、存储介质
CN112395139B (zh) 一种实现高可用部署报文信息同步上报方法及系统
CN111831954B (zh) 内容数据更新方法、装置、计算机设备及存储介质
WO2017080362A1 (zh) 数据管理方法及装置
CN111684428B (zh) 超规模的云化n路路由保护
CN111083160A (zh) 资源信息恢复方法及装置
CN109639665B (zh) 基于多通信介质扩展发布订阅系统传输协议的方法
CN111131024A (zh) 聚合链路的处理方法及装置
CN109962797B (zh) 一种存储系统和推送业务视图的方法
CN114567589B (zh) 路由上报的识别方法及装置
CN113949658B (zh) 表项处理方法、系统、装置、电子设备及存储介质
CN114003612A (zh) 针对数据库异常状况的处理方法及处理系统
CN116931814A (zh) 一种云硬盘扩容的方法、装置、电子设备及存储介质
CN111130941B (zh) 一种网络错误检测方法、装置以及计算机可读存储介质
CN114374705A (zh) 服务集群和消息推送方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant