CN111064770B - 一种电网系统数据旁路捕获和同步的方法及系统 - Google Patents

一种电网系统数据旁路捕获和同步的方法及系统 Download PDF

Info

Publication number
CN111064770B
CN111064770B CN201911100983.5A CN201911100983A CN111064770B CN 111064770 B CN111064770 B CN 111064770B CN 201911100983 A CN201911100983 A CN 201911100983A CN 111064770 B CN111064770 B CN 111064770B
Authority
CN
China
Prior art keywords
data
bypass
server
check code
data block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911100983.5A
Other languages
English (en)
Other versions
CN111064770A (zh
Inventor
沈力
陈硕
乔林
宋纯贺
薄珏
刘树吉
王忠锋
李钊
李力刚
吕旭明
崔世界
卢彬
徐志远
周巧妮
付亚同
吴赫
冉冉
刘碧琦
胡楠
曲睿婷
徐立波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Shenyang Institute of Automation of CAS
Information and Telecommunication Branch of State Grid Liaoning Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Shenyang Institute of Automation of CAS
Information and Telecommunication Branch of State Grid Liaoning Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Shenyang Institute of Automation of CAS, Information and Telecommunication Branch of State Grid Liaoning Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201911100983.5A priority Critical patent/CN111064770B/zh
Publication of CN111064770A publication Critical patent/CN111064770A/zh
Application granted granted Critical
Publication of CN111064770B publication Critical patent/CN111064770B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/90—Buffering arrangements
    • H04L49/9057—Arrangements for supporting packet reassembly or resequencing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3236—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions
    • H04L9/3239—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions involving non-keyed hash functions, e.g. modification detection codes [MDCs], MD5, SHA or RIPEMD

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种电网系统数据旁路捕获和同步的方法及系统，方法包括将旁路服务器接入网关，建立旁路服务器与主服务器之间的通信以及旁路服务器与网关之间的通信；旁路服务器对数据进行旁路捕获，得到网关发出的所有数据包；对数据包进行解析、过滤和重组，以数据块的形式存储；将数据块的校验码与主服务器上对应数据块的校验码比较后进行同步；系统包括传感器、网关、旁路服务器和主服务器。本发明通过网卡混杂工作模式实现数据的旁路捕获，基于校验值对比法实现旁路数据库和主数据库的数据同步，从而提升电网大数据质量，增加电网运行状态监控的准确性。

Description

一种电网系统数据旁路捕获和同步的方法及系统
技术领域
本发明涉及网络数据传输技术领域，特别地，涉及一种电网系统数据旁路捕获和同步的方法及系统。
背景技术
电网系统数据质量管理是指对电网系统数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。针对数据的改善和管理，主要包括数据分析、数据评估、数据清洗、数据监控、错误预警等内容；针对组织的改善和管理，主要包括确立组织数据质量改进目标、评估组织流程、制定组织流程改善计划、制定组织监督审核机制、实施改进、评估改善效果等多个环节。
数据质量可以从完整性、准确性、一致性、可用性、时效性、来源等多个方面加以评估。高质量数据是有效进行数据分析的前提和基础。数据质量问题的产生环节主要包括数据创建、数据获取、数据传输、数据装载、数据使用、数据维护等方面的内容。电网系统的数据传输过程中，通信网络可能受到环境噪声的影响，如当现有网络系统出现故障时，导致网络阻塞、丢包等问题，使前端传感器采集的数据将无法完整准确地传输至服务器端，严重降低了电网系统数据的质量。
发明内容
本发明旨在解决如何在网络出现故障、阻塞或丢包的情况下提升网络数据质量并且增加电网运行状态的准确性，使前端传感器采集的数据的完整准确地传输至服务器端的技术问题。
为此，本发明提供了一种电网系统数据旁路捕获和同步的方法，包括以下步骤：
步骤1：将旁路服务器网卡设置为混杂模式，通过所述旁路服务器对网关发出的数据进行旁路捕获，得到与旁路服务器网卡直接连接的网关发出的所有数据包；所述旁路服务器接入网关，分别建立与主服务器和网关的通信；
步骤2：对得到的数据包进行解析、过滤和重组，得到的数据根据定长分块方法以数据块的形式存储于旁路服务器；
步骤3：将旁路服务器上数据块的校验码与主服务器上对应数据块的校验码比较后进行同步。
进一步地，步骤2中，对得到的数据包进行解析、过滤和重组，包括：
步骤2.1：对得到的数据包进行解析，得到数据包的目的地址及对应数据；
步骤2.2：过滤得到与主服务器有相同目的地址的数据；
步骤2.3：分析与主服务器有相同目的地址的数据，获取其应用层协议类型、分片和偏移信息，以及应用数据；
步骤2.4：根据分片和偏移信息对应用数据进行重组，得到重组后的数据。
进一步地，步骤2.2中的目的地址为目的MAC地址、IP地址、端口号的一种或几种。
进一步地，步骤2.2中的过滤过程包括：
步骤2.2.1：分析帧首部，获取源和目的MAC地址、帧长度，以及网络层协议类型，仅保留与待捕获数据MAC地址相匹配的帧；
步骤2.2.2：分析IP首部，获取源和目的IP地址和传输层协议类型，仅保留与待捕获数据IP地址相匹配的帧；
步骤2.2.3：分析传输层首部，获取源和目的端口号，仅保留与待捕获数据端口号相匹配的帧。
进一步地，步骤2中的定长分块方法为将数据划分为相同大小的数据块，每个数据块中包含的数据量为512KB的整数倍。
进一步地，步骤3中的将旁路服务器上数据块的校验码与主服务器上对应数据块的校验码比较后进行同步，包括：
步骤3.1：在旁路服务器上，对第一数据块生成第一校验码；
步骤3.2：将第一校验码以及用于确定数据块位置的应用数据特征量和偏移量发至主服务器；
步骤3.3：在主服务器上，根据应用数据特征量和偏移量搜索到第一数据块对应的第二数据块，并生成第二校验码；
步骤3.4：将第二校验码与第一校验码进行比较，如果相同，则返回步骤3.1，直至遍历旁路服务器上的全部数据块；如果不同，则通知旁路服务器将第一数据块发送至主服务器替换第二数据块，返回步骤3.1，直至遍历旁路服务器上的全部数据块。
一种电网系统数据旁路捕获和同步的系统，包括：
传感器，连接网关，采集终端设备的数据发送至网关；
网关，连接主服务器，与主服务器建立通信；
主服务器，接收网关发送的数据，并将旁路服务器上数据块的校验码与主服务器上对应数据块的校验码比较后进行同步；
旁路服务器，连接网关和主服务器，捕获网关发出的所有数据包；旁路服务器对得到的数据包进行解析、过滤和重组，得到的数据根据定长分块方法以数据块的形式进行存储。
进一步地，旁路服务器对得到的数据包进行解析、过滤和重组，包括：
旁路服务器对得到的数据包进行解析，得到数据包的目的地址及对应数据；过滤得到与主服务器有相同目的地址的数据；分析与主服务器有相同目的地址的数据，获取其应用层协议类型、分片和偏移信息，以及应用数据；根据分片和偏移信息对应用数据进行重组，得到重组后的数据。
进一步地，目的地址为目的MAC地址、IP地址、端口号的一种或几种。
进一步地，过滤包括：
分析帧首部，获取源和目的MAC地址、帧长度，以及网络层协议类型，仅保留与待捕获数据MAC地址相匹配的帧；
分析IP首部，获取源和目的IP地址和传输层协议类型，仅保留与待捕获数据IP地址相匹配的帧；
分析传输层首部，获取源和目的端口号，仅保留与待捕获数据端口号相匹配的帧。
进一步地，在所述旁路服务器上，对第一数据块生成第一校验码，将第一校验码以及用于确定数据块位置的应用数据特征量和偏移量发至主服务器；
在所述主服务器上，根据应用数据特征量和偏移量搜索到第一数据块对应的第二数据块，并生成第二校验码；将第二校验码与第一校验码进行比较，如果相同，则轮询下一数据块，直至遍历旁路服务器上的全部数据块；如果不同，则通知旁路服务器将第一数据块发送至主服务器替换第二数据块，轮询下一数据块，直至遍历旁路服务器上的全部数据块。
本发明的有益效果如下：
1.通过网卡混杂工作模式实现数据的旁路捕获，基于校验值(或称校验码)对比法实现旁路数据库和主数据库的数据同步，从而提升电网大数据质量，增加电网运行状态监控的准确性。
2.数据旁路捕获过程无需停机，也不影响现有的网络拓扑和工作状态，有利于电网系统的安全稳定运行；
3.旁路数据库和主数据库的数据同步基于校验值的对比，无需直接传输原始数据，显著降低了旁路数据库和主数据库之间的通信量；
4.通过旁路捕获的数据可以分析获得网络故障的来源，从而为网络故障修复奠定了基础。
本发明的附加方面和优点将在下面的描述部分中给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明的方法流程图；
图2为本发明的实施例中旁路捕获流程图；
图3为本发明的实施例中同步流程图；
图4为本发明的系统结构图；
1为传感器，2为终端设备，3为网关，4为主服务器，5为旁路服务器。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
参考图1，其示出了本发明的方法流程图；
一种电网系统数据旁路捕获和同步的方法，包括以下步骤：
步骤1：将旁路服务器接入网关，建立旁路服务器与主服务器之间的通信以及旁路服务器与网关之间的通信。旁路服务器是具备网络连接能力的一般服务器，用于捕获和存储网关发送至主服务器的量测数据，并根据特定规则选取部分量测数据同步至主服务器。
步骤2：将旁路服务器网卡设置为混杂模式，混杂模式是计算机网卡的一种工作标准模式，旁路服务器对数据进行旁路捕获，得到与旁路服务器网卡直接连接的网关发出的所有数据包。
步骤3：对得到的数据包进行解析、过滤和重组，得到的数据根据定长分块方法以数据块的形式存储于旁路服务器；其中定长分块方法为将数据划分为相同大小的数据块，每个数据块包含的数据一般为512K的整数倍。旁路服务器与主服务器的数据同步过程是以数据块为单位进行的。由于量测数据的采集速度可视为恒定，数据块越小，校验码生成、传输和对比的次数越多，但数据同步的时延越小，需要传输和同步的原始数据量越小；数据块越大，校验码生成、传输和对比的次数越少，但数据同步的时延越大，需要传输和同步的原始数据量越多。本发明中设置的数据块大小为1M。
步骤3.1：对得到的数据包进行解析，得到数据包的目的地址及对应数据；目的地址为目的MAC地址、IP地址、端口号的一种或几种。
步骤3.2：过滤得到与主服务器有相同目的地址的数据。
步骤3.2.1：分析帧首部，获取源和目的MAC地址、帧长度，以及网络层协议类型，仅保留与待捕获数据MAC地址相匹配的帧。
步骤3.2.2：分析IP首部，获取源和目的IP地址和传输层协议类型，仅保留与待捕获数据IP地址相匹配的帧。
步骤3.2.3：分析传输层首部，获取源和目的端口号，仅保留与待捕获数据端口号相匹配的帧。
步骤3.3：分析与主服务器有相同目的地址的数据，获取其应用层协议类型、分片和偏移信息，以及应用数据。
步骤3.4：根据分片和偏移信息对应用数据进行重组，得到重组后的数据。
参考图2为本发明的实施例中旁路捕获流程图；
旁路捕获的过程如下：
对于网卡在混杂模式下捕获的以太帧数据包，其1至6字节为目的 MAC地址，7至12字节为源MAC地址，13至14字节为协议类型，其余为用户数据，因此可以通过解析以太帧获取目的MAC地址、源MAC地址、协议类型和用户数据。旁路服务器通过过滤算法仅保留目的MAC地址、源MAC地址、协议类型与发送至主服务器的数据的目的MAC地址、源 MAC地址、协议类型相一致的用户数据。
对于保留的以太帧用户数据，如果协议类型为IPv4，其1至4位为版本，5至8位为头长，9至16位为服务类型，17至32位为包裹总长，33 至48位为重组标识，49至51位为标志位，52至64位为段偏移量，65至 72位为生存时间，73至80位为协议代码，81-96位为头检验和，97至128 位为源IP地址，129至160位为目的IP地址，161至192位为选项字段，其余为用户数据，因此可以通过解析IPv4数据包获取协议类型、源IP地址、目的IP地址和用户数据。旁路服务器通过过滤算法仅保留与发送至主服务器的数据的源IP、目的IP和协议类型相同的用户数据。
对于保留的IP用户数据，如果协议类型为TCP的用户数据，其1至 16位为源端口，17至32位为目标端口，33至64位为数据序号，65至96 位为确认序号，97字至100位为报头长度，101至106位保留，107至112 保留，113至128位窗口大小，129至144位为校验和，145至160位为紧急指针，161至192为选项字段，其余为用户数据；如果协议类型为UDP 的用户数据，其1至16位为源端口，17至32位为目标端口，33至48位为总长度，49至64为校验和，其余为数据。旁路服务器通过过滤算法仅保留源端口、目的端口、协议类型与发送至主服务器的数据的源端口、目的端口和协议类型相同的用户数据。
此时过滤后获得的用户数据即为由传感器发送至主服务器的量测数据。
步骤4：将旁路服务器上数据块的校验码与主服务器上对应数据块的校验码比较后进行同步。
步骤4.1：在旁路服务器上，对第一数据块生成第一校验码；
步骤4.2：将第一校验码以及用于确定数据块位置的应用数据特征量和偏移量发至主服务器；
步骤4.3：在主服务器上，根据应用数据特征量和偏移量搜索到第一数据块对应的第二数据块，并生成第二校验码；
步骤4.4：将第二校验码与第一校验码进行比较，如果相同，则返回步骤4.1，直至遍历旁路服务器上的全部数据块；如果不同，则通知旁路服务器将第一数据块发送至主服务器替换第二数据块，返回步骤4.1，直至遍历旁路服务器上的全部数据块。
参考图3，其示出了本发明的实施例中同步流程；
在旁路服务器上，对旁路服务器中的数据块A计算md5校验码Amd5；
旁路服务器将数据块A的md5校验码，以及用于确定数据块位置的应用数据特征量和偏移量发至主服务器；
主服务器依据数据特征量和偏移量搜索对应的数据块B；
计算数据块B的md5校验码Bmd5；
如果数据块B的md5校验码Bmd5与数据块A的md5校验码Amd5 相同，则通知旁路服务器处理下一数据块；
如果数据块B的md5校验码Bmd5与数据块A的md5校验码Amd5 不同，则通知旁路服务器将数据块A发送至主服务器；
用数据块A替换数据块B；
通知旁路服务器处理下一数据块。
参考图4，其示出了本发明的系统结构图；
一种电网系统数据旁路捕获和同步的系统，包括：
传感器，连接网关，采集终端设备的数据发送至网关；本发明中，传感器为用于电网系统设备运行状态感知的常见传感器，包括但不局限于用于变压器、GIS设备、汇控柜、输电线路监测的电压互感器、电流互感器、温度传感器、湿度传感器、震动传感器、声音传感器、气体传感器、图像传感器等。
网关，连接主服务器，与主服务器建立通信；
主服务器，连接网关，接收网关发送的数据；
旁路服务器，连接网关和主服务器，捕获网关发出的所有数据包；旁路服务器对得到的数据包进行解析、过滤和重组，得到的数据根据定长分块方法以数据块的形式进行存储；将旁路服务器上数据块的校验码与主服务器上对应数据块的校验码比较后进行同步。
所述旁路服务器对得到的数据包进行解析、过滤和重组，包括：
旁路服务器对得到的数据包进行解析，得到数据包的目的地址及对应数据；过滤得到与主服务器有相同目的地址的数据；分析与主服务器有相同目的地址的数据，获取其应用层协议类型、分片和偏移信息，以及应用数据；根据分片和偏移信息对应用数据进行重组，得到重组后的数据。
其中过滤包括：
分析帧首部，获取源和目的MAC地址、帧长度，以及网络层协议类型，仅保留与待捕获数据MAC地址相匹配的帧；
分析IP首部，获取源和目的IP地址和传输层协议类型，仅保留与待捕获数据IP地址相匹配的帧；
分析传输层首部，获取源和目的端口号，仅保留与待捕获数据端口号相匹配的帧。
在所述旁路服务器上，对第一数据块生成第一校验码，将第一校验码以及用于确定数据块位置的应用数据特征量和偏移量发至主服务器；
在所述主服务器上，根据应用数据特征量和偏移量搜索到第一数据块对应的第二数据块，并生成第二校验码；将第二校验码与第一校验码进行比较，如果相同，则轮询下一数据块，直至遍历旁路服务器上的全部数据块；如果不同，则通知旁路服务器将第一数据块发送至主服务器替换第二数据块，轮询下一数据块，直至遍历旁路服务器上的全部数据块。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和系统，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。所述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中。以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种电网系统数据旁路捕获和同步的方法，其特征在于，包括以下步骤：
步骤1：通过旁路服务器对网关发出的数据进行旁路捕获，得到与旁路服务器网卡直接连接的网关发出的所有数据包；所述旁路服务器预先接入网关并分别与主服务器和网关建立通信；所述旁路服务器网卡为混杂模式；
步骤2：对得到的数据包进行解析、过滤和重组，得到的数据根据定长分块方法以数据块的形式存储于旁路服务器，并将数据块的校验码发送至主服务器；
步骤3：将旁路服务器上数据块的校验码与主服务器上对应数据块的校验码比较后进行同步；
所述将旁路服务器上数据块的校验码与主服务器上对应数据块的校验码比较后进行同步，包括：
步骤3.1：在旁路服务器上，对第一数据块生成第一校验码；
步骤3.2：将第一校验码以及用于确定数据块位置的应用数据特征量和偏移量发至主服务器；
步骤3.3：在主服务器上，根据应用数据特征量和偏移量搜索到第一数据块对应的第二数据块，并生成第二校验码；
步骤3.4：将第二校验码与第一校验码进行比较，如果相同，则返回步骤3.1，直至遍历旁路服务器上的全部数据块；如果不同，则通知旁路服务器将第一数据块发送至主服务器替换第二数据块，返回步骤3.1，直至遍历旁路服务器上的全部数据块。
2.根据权利要求1所述的电网系统数据旁路捕获和同步的方法，其特征在于，所述对得到的数据包进行解析、过滤和重组，包括：
步骤2.1：对得到的数据包进行解析，得到数据包的目的地址及对应数据；
步骤2.2：过滤得到与主服务器有相同目的地址的数据；
步骤2.3：分析与主服务器有相同目的地址的数据，获取其应用层协议类型、分片和偏移信息，以及应用数据；
步骤2.4：根据分片和偏移信息对应用数据进行重组，得到重组后的数据。
3.根据权利要求2所述的电网系统数据旁路捕获和同步的方法，其特征在于，所述目的地址为目的MAC地址、IP地址、端口号的一种或几种。
4.根据权利要求2所述的电网系统数据旁路捕获和同步的方法，其特征在于，所述过滤过程包括：
步骤2.2.1：分析帧首部，获取源和目的MAC地址、帧长度，以及网络层协议类型，仅保留与待捕获数据MAC地址相匹配的帧；
步骤2.2.2：分析IP首部，获取源和目的IP地址和传输层协议类型，仅保留与待捕获数据IP地址相匹配的帧；
步骤2.2.3：分析传输层首部，获取源和目的端口号，仅保留与待捕获数据端口号相匹配的帧。
5.根据权利要求1所述的电网系统数据旁路捕获和同步的方法，其特征在于，所述定长分块方法为将数据划分为相同大小的数据块，每个数据块中包含的数据量为512KB的整数倍。
6.一种电网系统数据旁路捕获和同步的系统，其特征在于，包括：
传感器，连接网关，采集终端设备的数据发送至网关；
网关，连接主服务器，与主服务器建立通信；
主服务器，接收网关发送的数据，并将旁路服务器上数据块的校验码与主服务器上对应数据块的校验码比较后进行同步；
旁路服务器，连接网关和主服务器，捕获网关发出的所有数据包；对得到的数据包进行解析、过滤和重组，得到的数据根据定长分块方法以数据块的形式进行存储；
在所述旁路服务器上，对第一数据块生成第一校验码，将第一校验码以及用于确定数据块位置的应用数据特征量和偏移量发至主服务器；
在所述主服务器上，根据应用数据特征量和偏移量搜索到第一数据块对应的第二数据块，并生成第二校验码；将第二校验码与第一校验码进行比较，如果相同，则轮询下一数据块，直至遍历旁路服务器上的全部数据块；如果不同，则通知旁路服务器将第一数据块发送至主服务器替换第二数据块，轮询下一数据块，直至遍历旁路服务器上的全部数据块。
7.根据权利要求6所述的电网系统数据旁路捕获和同步的系统，其特征在于，所述旁路服务器对得到的数据包进行解析、过滤和重组，包括：
旁路服务器对得到的数据包进行解析，得到数据包的目的地址及对应数据；过滤得到与主服务器有相同目的地址的数据；分析与主服务器有相同目的地址的数据，获取其应用层协议类型、分片和偏移信息，以及应用数据；根据分片和偏移信息对应用数据进行重组，得到重组后的数据。
8.根据权利要求7所述的电网系统数据旁路捕获和同步的系统，其特征在于，所述目的地址为目的MAC地址、IP地址、端口号的一种或几种。
9.根据权利要求7所述的电网系统数据旁路捕获和同步的系统，其特征在于，所述过滤包括：
分析帧首部，获取源和目的MAC地址、帧长度，以及网络层协议类型，仅保留与待捕获数据MAC地址相匹配的帧；
分析IP首部，获取源和目的IP地址和传输层协议类型，仅保留与待捕获数据IP地址相匹配的帧；
分析传输层首部，获取源和目的端口号，仅保留与待捕获数据端口号相匹配的帧。
CN201911100983.5A 2019-11-12 2019-11-12 一种电网系统数据旁路捕获和同步的方法及系统 Active CN111064770B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911100983.5A CN111064770B (zh) 2019-11-12 2019-11-12 一种电网系统数据旁路捕获和同步的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911100983.5A CN111064770B (zh) 2019-11-12 2019-11-12 一种电网系统数据旁路捕获和同步的方法及系统

Publications (2)

Publication Number Publication Date
CN111064770A CN111064770A (zh) 2020-04-24
CN111064770B true CN111064770B (zh) 2021-11-05

Family

ID=70297869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911100983.5A Active CN111064770B (zh) 2019-11-12 2019-11-12 一种电网系统数据旁路捕获和同步的方法及系统

Country Status (1)

Country Link
CN (1) CN111064770B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6195680B1 (en) * 1998-07-23 2001-02-27 International Business Machines Corporation Client-based dynamic switching of streaming servers for fault-tolerance and load balancing
CN1851659A (zh) * 2005-12-21 2006-10-25 华为技术有限公司 一种主设备和备份设备之间数据核查的方法
CN102254031A (zh) * 2011-08-03 2011-11-23 无锡浙潮科技有限公司 基于批处理请求的Microsoft SQL Server数据库集群
CN103902617A (zh) * 2012-12-28 2014-07-02 华为技术有限公司 分布式数据库同步方法和系统
CN105516292A (zh) * 2015-12-03 2016-04-20 国家电网公司 一种智能变电站云平台的热备方法
CN108667921A (zh) * 2018-04-27 2018-10-16 中国农业银行股份有限公司 一种基于网络旁路的银行业务推荐信息生成方法及系统
CN109005246A (zh) * 2018-09-12 2018-12-14 北京中电普华信息技术有限公司 一种数据的同步方法、装置及系统
CN109246098A (zh) * 2018-08-31 2019-01-18 桂林电子科技大学 一种支持备份服务器同步密文比较的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8291478B2 (en) * 2010-05-21 2012-10-16 Dell Products L.P. System and method for information handling system multi-level authentication for backup services

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6195680B1 (en) * 1998-07-23 2001-02-27 International Business Machines Corporation Client-based dynamic switching of streaming servers for fault-tolerance and load balancing
CN1851659A (zh) * 2005-12-21 2006-10-25 华为技术有限公司 一种主设备和备份设备之间数据核查的方法
CN102254031A (zh) * 2011-08-03 2011-11-23 无锡浙潮科技有限公司 基于批处理请求的Microsoft SQL Server数据库集群
CN103902617A (zh) * 2012-12-28 2014-07-02 华为技术有限公司 分布式数据库同步方法和系统
CN105516292A (zh) * 2015-12-03 2016-04-20 国家电网公司 一种智能变电站云平台的热备方法
CN108667921A (zh) * 2018-04-27 2018-10-16 中国农业银行股份有限公司 一种基于网络旁路的银行业务推荐信息生成方法及系统
CN109246098A (zh) * 2018-08-31 2019-01-18 桂林电子科技大学 一种支持备份服务器同步密文比较的方法
CN109005246A (zh) * 2018-09-12 2018-12-14 北京中电普华信息技术有限公司 一种数据的同步方法、装置及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《利用ActiveX实现设备监控信息流的旁路捕获》;王宪平;《电讯技术》;20161214;第56卷(第11期);第1283-1287页 *
《基于旁路技术的IEC61968消息监管及交互测试方案》;刘鹏;《电力系统自动化》;20180325;第42卷(第6期);第92-96页 *

Also Published As

Publication number Publication date
CN111064770A (zh) 2020-04-24

Similar Documents

Publication Publication Date Title
CN112866075B (zh) 面向Overlay网络的带内网络遥测方法、系统及相关装置
EP2429128B1 (en) Flow statistics aggregation
US7428664B2 (en) Protocol replay system
US20130166960A1 (en) Byte By Byte Received Data Integrity Check
CN109067938B (zh) 一种测试dns服务器的方法及装置
JP2004312734A (ja) 受動型計測アナライザおよびルーター／スイッチ
JP5681085B2 (ja) パケットのフラグメント化の検査
US9203728B2 (en) Metadata capture for testing TCP connections
US20130266014A1 (en) Hashing of network packet flows for efficient searching
US20160294566A1 (en) Switching Device and Packet Discarding Method
CN113364624B (zh) 基于边缘计算的混合云流量采集方法和系统
US20130329572A1 (en) Misdirected packet statistics collection and analysis
CN104539483A (zh) 网络测试系统
JP6616230B2 (ja) ネットワーク装置
CN112335203B (zh) 处理局域网诊断数据
CN111064770B (zh) 一种电网系统数据旁路捕获和同步的方法及系统
RU2019142997A (ru) Способ и устройство для обнаружения аномалий инфраструктуры
CN112350844A (zh) 用于数据传输的方法和装置
GB2575246A (en) Processing local area network diagnostic data
KR101069405B1 (ko) 아이피 망에서의 과금 자료 검증 장치 및 방법
CN114765633A (zh) 基于列车实时以太网协议的网络报文解析方法及装置
CN116319468B (zh) 网络遥测方法、装置、交换机、网络、电子设备和介质
EP2854340B1 (en) Misdirected packet statistics collection and analysis
Sannikov et al. GetTCP+: Performance monitoring system at transport layer
CN117478564A (zh) SRv6网络的业务测量方法以及SRv6网络

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant