CN107979640A - 一种数据传输方法及装置 - Google Patents

一种数据传输方法及装置 Download PDF

Info

Publication number
CN107979640A
CN107979640A CN201711167601.1A CN201711167601A CN107979640A CN 107979640 A CN107979640 A CN 107979640A CN 201711167601 A CN201711167601 A CN 201711167601A CN 107979640 A CN107979640 A CN 107979640A
Authority
CN
China
Prior art keywords
message
data
file
called side
data file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711167601.1A
Other languages
English (en)
Other versions
CN107979640B (zh
Inventor
阙华坤
党三磊
孙勇
陈启冠
蔡乾乾
齐爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of Guangdong Power Grid Co Ltd
Measurement Center of Guangdong Power Grid Co Ltd
Original Assignee
Electric Power Research Institute of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of Guangdong Power Grid Co Ltd filed Critical Electric Power Research Institute of Guangdong Power Grid Co Ltd
Priority to CN201711167601.1A priority Critical patent/CN107979640B/zh
Publication of CN107979640A publication Critical patent/CN107979640A/zh
Application granted granted Critical
Publication of CN107979640B publication Critical patent/CN107979640B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/113—Details of archiving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Communication Control (AREA)

Abstract

本发明公开了一种数据传输方法及装置，解决了现有的省集中主站系统每天采集数据的消息数(每条数据库记录可能对应多条消息)超十亿条，考虑到系统运行时可能发生的故障情况，系统要求能够达到峰值每天处理30亿条的消息处理能力(平均3.5万条每秒)，按照该指标计算，消息消费峰谷比按照1:2估算(即系统30％的时间处于高峰处理阶段)，则峰值消息处理能力为10.5万条每秒，容易出现传输失败或差错，需要提供一种能高效传输且可以满足大流量、无差错、准实时的传输的数据传输方法的技术问题。

Description

一种数据传输方法及装置
技术领域
本发明涉及电力传输领域，尤其涉及一种数据传输方法及装置。
背景技术
根据现场运行环境要求，现有的省集中主站系统每天采集数据的消息数 (每条数据库记录可能对应多条消息)超十亿条，考虑到系统运行时可能发 生的故障情况，系统要求能够达到峰值每天处理30亿条的消息处理能力(平 均3.5万条每秒)，按照该指标计算，消息消费峰谷比按照1:2估算(即系统 30％的时间处于高峰处理阶段)，则峰值消息处理能力为10.5万条每秒，容易 出现传输失败或差错，因此，提供一种能高效传输且可以满足大流量、无差 错、准实时的传输的数据传输方法是本领域技术人员需要解决的技术问题。
发明内容
本发明提供了一种数据传输方法，用于解决现有的省集中主站系统每天 采集数据的消息数(每条数据库记录可能对应多条消息)超十亿条，考虑到 系统运行时可能发生的故障情况，系统要求能够达到峰值每天处理30亿条的 消息处理能力(平均3.5万条每秒)，按照该指标计算，消息消费峰谷比按照 1:2估算(即系统30％的时间处于高峰处理阶段)，则峰值消息处理能力为10.5 万条每秒，需要提供一种能高效传输且可以满足大流量、无差错、准实时的 传输的数据传输方法的技术问题。
本发明提供的一种数据传输方法，包括：
构建数据源部件，所述数据源部件用于当接收到调用方发送的指定消息 接口的调用指令后，调用指定消息接口，并从数据源中获取与指定消息对应 的数据文件；
构建归档部件，所述归档部件用于将获取所述数据文件对应的记录通过 WAL规则记录更新到归档日志文件，并建立与所述归档日志文件对应的归档 索引文件；
构建汇聚部件，所述汇聚部件用于当获取所述数据文件的数量达到预设 值时，通过调用指定消息接口返回数据文件中的消息集合给所述调用方。
优选地，构建数据源部件，所述数据源部件用于当接收到调用方发送的 指定消息接口的调用指令后，调用指定消息接口，并从与指定消息对应的数 据源中获取数据文件具体包括：
构建目录监控文件源部件，所述目录监控文件源部件用于当接收到调用 方发送的指定消息接口的调用指令后，调用指定消息接口，并从与指定消息 对应的指定目录中获取自描述数据格式的数据文件。
优选地，构建数据源部件，所述数据源部件用于当接收到调用方发送的 指定消息接口的调用指令后，调用指定消息接口，并从与指定消息对应的数 据源中获取数据文件具体包括：
构建Kafka消息队列源部件，所述Kafka消息队列源部件用于当接收到调 用方发送的指定消息接口的调用指令后，调用指定消息接口，并从与指定消 息对应的数据源中获取用标准的Kafka消息格式定义的数据文件。
优选地，构建数据源部件，所述数据源部件用于当接收到调用方发送的 指定消息接口的调用指令后，调用指定消息接口，并从与指定消息对应的数 据源中获取数据文件具体包括：
构建TCP连接消息源部件，所述TCP连接消息源部件用于当接收到调用 方发送的指定消息接口的调用指令后，调用指定消息接口，并从与指定消息 对应的与TCP服务端口连接的客户端中获取数据文件。
优选地，所述汇聚部件，具体用于当获取所述数据文件的数量达到预设 值时，将所述数据文件保存为文本文件到指定目录，调用指定消息接口通过 摆渡的方式返回数据文件中的消息集合给所述调用方。
优选地，所述汇聚部件具体用于，当获取所述数据文件的数量达到预设 值时，将数据文件按照Kafka消息队列的描述插入到Kafka分布式消息队列中， 并调用指定消息接口返回Kafka分布式消息队列中的数据文件中的消息集合 给所述调用方。
优选地，所述汇聚部件具体用于，当获取所述数据文件的数量达到预设 值时，将所述数据文件组织成TCP消息传输包，调用指定消息接口返回TCP 消息传输包中的消息集合给所述调用方。
优选地，所述将所述数据文件组织成TCP消息传输包，调用指定消息接 口返回TCP消息传输包中的消息集合给所述调用方之后还包括：
若所述汇聚部件在预设时间内接收到所述调用方返回的应答结果为接收 失败或在预设时间内未接收到所述调用方返回的应答结果时，所述汇聚部件 重新通过调用指定消息接口返回数据文件中的消息集合给所述调用方。
本发明提供的一种数据传输装置，包括：
第一构建模块，用于构建数据源部件，所述数据源部件用于当接收到调 用方发送的指定消息接口的调用指令后，调用指定消息接口，并从数据源中 获取与指定消息对应的数据文件；
第二构建模块，用于构建归档部件，所述归档部件用于将获取所述数据 文件对应的记录通过WAL规则记录更新到归档日志文件，并建立与所述归档 日志文件对应的归档索引文件；
第三构建模块，用于构建汇聚部件，所述汇聚部件用于当获取所述数据 文件的数量达到预设值时，通过调用指定消息接口返回数据文件中的消息集 合给所述调用方。
第一触发模块，用于触发所述归档部件，使得所述归档部件在是所述汇 聚部件通过调用指定消息接口返回数据文件中的消息集合给所述调用方后， 生成对应的消息事务文件。
优选地，所述第一构建模块具体用于，构建目录监控文件源部件，所述 目录监控文件源部件用于当接收到调用方发送的指定消息接口的调用指令后， 调用指定消息接口，并从与指定消息对应的指定目录中获取自描述数据格式 的数据文件。
从以上技术方案可以看出，本发明具有以下优点：
本发明提供的一种数据传输方法，包括：构建数据源部件，所述数据源 部件用于当接收到调用方发送的指定消息接口的调用指令后，调用指定消息 接口，并从数据源中获取与指定消息对应的数据文件；构建归档部件，所述 归档部件用于将获取所述数据文件对应的记录通过WAL规则记录更新到归 档日志文件，并建立与所述归档日志文件对应的归档索引文件；构建汇聚部 件，所述汇聚部件用于当获取所述数据文件的数量达到预设值时，通过调用 指定消息接口返回数据文件中的消息集合给所述调用方；触发所述归档部件，使得所述归档部件在是所述汇聚部件通过调用指定消息接口返回数据文件中 的消息集合给所述调用方后，生成对应的消息事务文件。
本发明中，设计构建了三个部件，分别为数据源部件(Source)、归档部 件(Archive)和汇聚部件(Sink)，能够根据配置数据源部件从各类型的数据 源中获取数据文件，配置归档部件对数据传输的各个过程和结果进行记录， 保障了消息通信的高可靠性，汇聚部件可以针对调用方的请求将数据源部件 获取的数据文件通过对应的接口返回至调用方，解决了现有的省集中主站系 统每天采集数据的消息数(每条数据库记录可能对应多条消息)超十亿条， 考虑到系统运行时可能发生的故障情况，系统要求能够达到峰值每天处理30 亿条的消息处理能力(平均3.5万条每秒)，按照该指标计算，消息消费峰谷 比按照1:2估算(即系统30％的时间处于高峰处理阶段)，则峰值消息处理能 力为10.5万条每秒，容易出现传输失败或差错，需要提供一种能高效传输且 可以满足大流量、无差错、准实时的传输的数据传输方法的技术问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面 描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲， 在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明提供的一种数据传输方法的一个实施例的流程示意图；
图2为本发明提供的一种数据传输方法的另一个实施例的流程示意图；
图3为本发明提供的一种数据传输装置的一个实施例的结构示意图。
具体实施方式
本发明实施例提供了一种数据传输方法及装置，解决了解决现有的省集 中主站系统每天采集数据的消息数(每条数据库记录可能对应多条消息)超 十亿条，考虑到系统运行时可能发生的故障情况，系统要求能够达到峰值每 天处理30亿条的消息处理能力(平均3.5万条每秒)，按照该指标计算，消息 消费峰谷比按照1:2估算(即系统30％的时间处于高峰处理阶段)，则峰值消 息处理能力为10.5万条每秒，需要提供一种能高效传输且可以满足大流量、 无差错、准实时的传输的数据传输方法的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将 结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整 地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部 的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性 劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，本发明实施例提供了一种数据传输方法的一个实施例，包括：
101：构建数据源部件，数据源部件用于当接收到调用方发送的指定消息 接口的调用指令后，调用指定消息接口，并从数据源中获取与指定消息对应 的数据文件；
102：构建归档部件，归档部件用于将获取数据文件对应的记录通过WAL 规则记录更新到归档日志文件，并建立与归档日志文件对应的归档索引文件；
归档部件可以对应单独一个主目录，目录名采用消息类型命名，主目录 下共建四个二级目录，用途设计如下：
(1)归档日志目录(archive)：存储已经完成的写入的归档日志文件(dat)、 归档索引文件(idx)和消息事务文件(tx)，该目录中的文件可以进行消息状 态跟踪处理。
(2)归档日志工作目录(current)：存储正在处理中的各类归档部件，这 些文件，正在进行输出，不能对这些文件进行多线程处理，由各自的数据发 生源处理。当相关归档日志文件满足输出条件(采用“时间片式处理技术” 输出文件)时，将这些文件迁移到“归档日志目录”进行消息状态跟踪处理。
(3)预处理消息缓存目录(predata)：程序启动时，将检查本节点运行 时处理的所有消息，将“汇聚部件(Sink)”没有传递到目标位置的消息，重 新组织，程序初始化完成后，优先将缓存的消息提交给“汇聚部件(Sink)” 进行消息处理，这部分消息处理完成后，才从定义的“数据源(Source)”获 取新的消息进行处理。
(4)错误消息日志目录(errdata)：程序运行过程中，对于超出程序异常 处理逻辑之外的传输失败消息，保存在该目录下的文件中。
需要说明的是，归档部件的更新方式可以有以下特点：(1)更新过程每 隔一段间隔时间执行一次(执行间隔可配置，缺省10秒)。
(2)结果有三种：一种是未匹配状态的消息形成新的tx文件，一种是存 在消息状态未完成的idx重写文件；第三种是删除归档文件中所有消息已经完 成的dat文件和idx文件。
(3)当处理tx文件时，发现有些消息不在归档目录中，可能还在归档工 作目录中未输出，所以未匹配状态的消息将生成到新的tx文件(tx文件记录 数达到配置记录数要求时输出文件，无需时间控制，直到本次处理所有的通 信文件处理完毕)。
103：构建汇聚部件，汇聚部件用于当获取数据文件的数量达到预设值时， 通过调用指定消息接口返回数据文件中的消息集合给调用方。
104：触发归档部件，使得归档部件在是汇聚部件通过调用指定消息接口 返回数据文件中的消息集合给调用方后，生成对应的消息事务文件。
本发明实施例中，设计构建了三个部件，分别为数据源部件(Source)、 归档部件(Archive)和汇聚部件(Sink)，能够根据配置数据源部件从各类型 的数据源中获取数据文件，配置归档部件对数据传输的各个过程和结果进行 记录，保障了消息通信的高可靠性，汇聚部件可以针对调用方的请求将数据 源部件获取的数据文件通过对应的接口返回至调用方，解决了现有的省集中 主站系统每天采集数据的消息数(每条数据库记录可能对应多条消息)超十 亿条，考虑到系统运行时可能发生的故障情况，系统要求能够达到峰值每天处理30亿条的消息处理能力(平均3.5万条每秒)，按照该指标计算，消息消 费峰谷比按照1:2估算(即系统30％的时间处于高峰处理阶段)，则峰值消息 处理能力为10.5万条每秒，容易出现传输失败或差错，需要提供一种能高效 传输且可以满足大流量、无差错、准实时的传输的数据传输方法的技术问题。
以上是对一种数据传输方法的一个实施例进行的描述，下面是对一种数 据传输方法的另一个实施例进行详细的描述。
参照图2，本发明提供的一种数据传输方法的另一个实施例，包括：
201：构建TCP连接消息源部件，TCP连接消息源部件用于当接收到调 用方发送的指定消息接口的调用指令后，调用指定消息接口，并从与指定消 息对应的与TCP服务端口连接的客户端中获取数据文件；
构建TCP连接消息源部件前可以通过配置TCP帧听端口，接收客户端的 连接，然后从客户端接收消息，建立客户端连接数不限，一个TCP服务端口 为一个数据源，在此端口建立的所有客户端连接为同一个数据源的消息。
202：构建归档部件，归档部件用于将获取数据文件对应的记录通过WAL 规则记录更新到归档日志文件，并建立与归档日志文件对应的归档索引文件；
203：构建汇聚部件，汇聚部件用于当获取数据文件的数量达到预设值时， 将数据文件组织成TCP消息传输包，调用指定消息接口返回TCP消息传输包 中的消息集合给调用方，若汇聚部件在预设时间内接收到调用方返回的应答 结果为接收失败或在预设时间内未接收到调用方返回的应答结果时，汇聚部 件重新通过调用指定消息接口返回数据文件中的消息集合给调用方。
根据隔离阵列传输规范，正向数据传输存在两种数据传输方式，方式一： 将待传输消息保存为文本文件，保存到指定目录，隔离阵列软件通过摆渡的 方式将文件摆渡到对端，实现消息传递；方式二：可以与对端应用程序建立 TCP连接，将数据发送到对端，但是对端只能应答一个数据位，应答消息的 传输结果。因此在正向消息传递时，也可以使用TCP连接的方式进行数据传 输，其中，使用TCP进行消息发送时，效率将比文件摆渡方式更加可控，消 息传递时延更低，但是使用TCP方式进行消息传递仅限于正向消息传递，必 要的时候，在硬件性能配置不高的情况下，可以局部提升正向消息传输性能。 为了保障消息传递无丢失，可以采用接收应答机制，确保发送的消息被对端 明确接收成功。
使用TCP进行消息发送时的特点可以是：(1)窗口大小可配置：生产线 启动时，根据“汇聚部件(Sink)”的参数描述，与对端建立配置数量的TCP 客户端连接(缺省窗口大小可以为16)。
(2)消息发送确认机制：消息发送客户端有消息发送任务时，将消息组 织成TCP消息传输包，每次传输一条消息，等待对端消息接收成功的应答， 对端应答结果为0表示接收成功，1表示接收错误，请求重发，如果在超时时 间内没有接收到对端应答，也将重发消息，每条消息最多重发3次(可配置， 缺省3次)，最后失败，将记录消息处理状态为“3-Sink发送超时，4-Sink发 送失败”。
204：触发所述归档部件，使得所述归档部件在是所述汇聚部件通过调用 指定消息接口返回数据文件中的消息集合给所述调用方后，生成对应的消息 事务文件。
以上是对一种数据传输方法的另一个实施例进行的描述，下面将对一种 数据传输装置的一个实施例进行详细的描述。
参照图3，本发明提供的一种数据传输装置的一个实施例，包括：
第一构建模块301，用于构建数据源部件，数据源部件用于当接收到调用 方发送的指定消息接口的调用指令后，调用指定消息接口，并从数据源中获 取与指定消息对应的数据文件；
第二构建模块302，用于构建归档部件，归档部件用于将获取数据文件对 应的记录通过WAL规则记录更新到归档日志文件，并建立与归档日志文件对 应的归档索引文件；
第三构建模块303，用于构建汇聚部件，汇聚部件用于当获取数据文件的 数量达到预设值时，通过调用指定消息接口返回数据文件中的消息集合给调 用方；
第一触发模块304，用于触发归档部件，使得归档部件在是汇聚部件通过 调用指定消息接口返回数据文件中的消息集合给调用方后，生成对应的消息 事务文件。
本实施例中的具体实施方式已在上述实施例中说明，这里不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描 述的系统，系统和模块的具体工作过程，可以参考前述方法实施例中的对应 过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的模块和方法， 可以通过其它的方式实现。例如，以上所描述的模块实施例仅仅是示意性的， 例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外 的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或 一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或 直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连 接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作 为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方， 或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或 者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中， 也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模 块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模 块的形式实现。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制； 尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应 当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其 中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案 的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种数据传输方法，其特点在于，包括：
构建数据源部件，所述数据源部件用于当接收到调用方发送的指定消息接口的调用指令后，调用指定消息接口，并从数据源中获取与指定消息对应的数据文件；
构建归档部件，所述归档部件用于将获取所述数据文件对应的记录通过WAL规则记录更新到归档日志文件，并建立与所述归档日志文件对应的归档索引文件；
构建汇聚部件，所述汇聚部件用于当获取所述数据文件的数量达到预设值时，通过调用指定消息接口返回数据文件中的消息集合给所述调用方；
触发所述归档部件，使得所述归档部件在是所述汇聚部件通过调用指定消息接口返回数据文件中的消息集合给所述调用方后，生成对应的消息事务文件。
2.根据权利要求1所述的数据传输方法，其特征在于，构建数据源部件，所述数据源部件用于当接收到调用方发送的指定消息接口的调用指令后，调用指定消息接口，并从与指定消息对应的数据源中获取数据文件具体包括：
构建目录监控文件源部件，所述目录监控文件源部件用于当接收到调用方发送的指定消息接口的调用指令后，调用指定消息接口，并从与指定消息对应的指定目录中获取自描述数据格式的数据文件。
3.根据权利要求1所述的数据传输方法，其特征在于，构建数据源部件，所述数据源部件用于当接收到调用方发送的指定消息接口的调用指令后，调用指定消息接口，并从与指定消息对应的数据源中获取数据文件具体包括：
构建Kafka消息队列源部件，所述Kafka消息队列源部件用于当接收到调用方发送的指定消息接口的调用指令后，调用指定消息接口，并从与指定消息对应的数据源中获取用标准的Kafka消息格式定义的数据文件。
4.根据权利要求1所述的数据传输方法，其特征在于，构建数据源部件，所述数据源部件用于当接收到调用方发送的指定消息接口的调用指令后，调用指定消息接口，并从与指定消息对应的数据源中获取数据文件具体包括：
构建TCP连接消息源部件，所述TCP连接消息源部件用于当接收到调用方发送的指定消息接口的调用指令后，调用指定消息接口，并从与指定消息对应的与TCP服务端口连接的客户端中获取数据文件。
5.根据权利要求1至4所述的任意一种数据传输方法，其特征在于，所述汇聚部件，具体用于当获取所述数据文件的数量达到预设值时，将所述数据文件保存为文本文件到指定目录，调用指定消息接口通过摆渡的方式返回数据文件中的消息集合给所述调用方。
6.根据权利要求3所述的一种数据传输方法，其特征在于，所述汇聚部件具体用于，当获取所述数据文件的数量达到预设值时，将数据文件按照Kafka消息队列的描述插入到Kafka分布式消息队列中，并调用指定消息接口返回Kafka分布式消息队列中的数据文件中的消息集合给所述调用方。
7.根据权利要求4所述的一种数据传输方法，其特征在于，所述汇聚部件具体用于，当获取所述数据文件的数量达到预设值时，将所述数据文件组织成TCP消息传输包，调用指定消息接口返回TCP消息传输包中的消息集合给所述调用方。
8.根据权利要求7所述的一种数据传输方法，其特征在于，所述将所述数据文件组织成TCP消息传输包，调用指定消息接口返回TCP消息传输包中的消息集合给所述调用方之后还包括：
若所述汇聚部件在预设时间内接收到所述调用方返回的应答结果为接收失败或在预设时间内未接收到所述调用方返回的应答结果时，所述汇聚部件重新通过调用指定消息接口返回数据文件中的消息集合给所述调用方。
9.一种数据传输装置，其特点在于，包括：
第一构建模块，用于构建数据源部件，所述数据源部件用于当接收到调用方发送的指定消息接口的调用指令后，调用指定消息接口，并从数据源中获取与指定消息对应的数据文件；
第二构建模块，用于构建归档部件，所述归档部件用于将获取所述数据文件对应的记录通过WAL规则记录更新到归档日志文件，并建立与所述归档日志文件对应的归档索引文件；
第三构建模块，用于构建汇聚部件，所述汇聚部件用于当获取所述数据文件的数量达到预设值时，通过调用指定消息接口返回数据文件中的消息集合给所述调用方；
第一触发模块，用于触发所述归档部件，使得所述归档部件在是所述汇聚部件通过调用指定消息接口返回数据文件中的消息集合给所述调用方后，生成对应的消息事务文件。
10.根据权利要求9所述的数据传输装置，其特征在于，所述第一构建模块具体用于，构建目录监控文件源部件，所述目录监控文件源部件用于当接收到调用方发送的指定消息接口的调用指令后，调用指定消息接口，并从与指定消息对应的指定目录中获取自描述数据格式的数据文件。
CN201711167601.1A 2017-11-21 2017-11-21 一种数据传输方法及装置 Active CN107979640B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711167601.1A CN107979640B (zh) 2017-11-21 2017-11-21 一种数据传输方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711167601.1A CN107979640B (zh) 2017-11-21 2017-11-21 一种数据传输方法及装置

Publications (2)

Publication Number Publication Date
CN107979640A true CN107979640A (zh) 2018-05-01
CN107979640B CN107979640B (zh) 2020-08-14

Family

ID=62010918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711167601.1A Active CN107979640B (zh) 2017-11-21 2017-11-21 一种数据传输方法及装置

Country Status (1)

Country Link
CN (1) CN107979640B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109240339A (zh) * 2018-11-23 2019-01-18 南京航空航天大学 延迟容忍网络中紧急状态驱动的多摆渡机飞行控制方法
CN110875951A (zh) * 2018-09-04 2020-03-10 北京奇虎科技有限公司 一种调用消息并发量统计方法及装置
CN111818178A (zh) * 2020-07-28 2020-10-23 南方电网数字电网研究院有限公司 一种数据采集方法、装置、计算机设备和存储介质
CN113239005A (zh) * 2021-06-02 2021-08-10 上海许继电气有限公司 一种电力监控系统i、iv区数据同步方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103532754A (zh) * 2013-10-12 2014-01-22 北京首信科技股份有限公司 一种通过高速内存、分布式处理海量日志的系统及方法
CN105574104A (zh) * 2015-12-11 2016-05-11 上海爱数信息技术股份有限公司 一种基于ObjectStore的LogStructure存储系统及其数据写入方法
US9501488B1 (en) * 2013-12-30 2016-11-22 EMC IP Holding Company LLC Data migration using parallel log-structured file system middleware to overcome archive file system limitations
CN106815125A (zh) * 2015-12-02 2017-06-09 阿里巴巴集团控股有限公司 一种日志审计方法及平台
CN107317838A (zh) * 2017-05-24 2017-11-03 重庆邮电大学 一种基于流式数据处理架构的天文元数据归档方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103532754A (zh) * 2013-10-12 2014-01-22 北京首信科技股份有限公司 一种通过高速内存、分布式处理海量日志的系统及方法
US9501488B1 (en) * 2013-12-30 2016-11-22 EMC IP Holding Company LLC Data migration using parallel log-structured file system middleware to overcome archive file system limitations
CN106815125A (zh) * 2015-12-02 2017-06-09 阿里巴巴集团控股有限公司 一种日志审计方法及平台
CN105574104A (zh) * 2015-12-11 2016-05-11 上海爱数信息技术股份有限公司 一种基于ObjectStore的LogStructure存储系统及其数据写入方法
CN107317838A (zh) * 2017-05-24 2017-11-03 重庆邮电大学 一种基于流式数据处理架构的天文元数据归档方法及系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110875951A (zh) * 2018-09-04 2020-03-10 北京奇虎科技有限公司 一种调用消息并发量统计方法及装置
CN110875951B (zh) * 2018-09-04 2022-07-01 北京奇虎科技有限公司 一种调用消息并发量的统计方法及装置
CN109240339A (zh) * 2018-11-23 2019-01-18 南京航空航天大学 延迟容忍网络中紧急状态驱动的多摆渡机飞行控制方法
CN109240339B (zh) * 2018-11-23 2021-08-10 南京航空航天大学 延迟容忍网络中紧急状态驱动的多摆渡机飞行控制方法
CN111818178A (zh) * 2020-07-28 2020-10-23 南方电网数字电网研究院有限公司 一种数据采集方法、装置、计算机设备和存储介质
CN113239005A (zh) * 2021-06-02 2021-08-10 上海许继电气有限公司 一种电力监控系统i、iv区数据同步方法及装置
CN113239005B (zh) * 2021-06-02 2022-12-02 上海许继电气有限公司 一种电力监控系统i、iv区数据同步方法及装置

Also Published As

Publication number Publication date
CN107979640B (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
CN107979640A (zh) 一种数据传输方法及装置
CN101795222B (zh) 多级转发服务系统及方法
CN103634203B (zh) 消息异步传输方法、装置和系统
CN103607302B (zh) 故障信息上报方法、监控设备及管理设备
CN102707696B (zh) 一种多串口数据传输方法及传输中心系统
JP2013504806A (ja) ファイルディレクトリに基づいたファイルの転送のための方法、装置、およびシステム
CN104660627B (zh) 一种上位机与下位机的通信方法和系统
CN107592215A (zh) 一种管理消息中间件的方法
CN107949014A (zh) 数据传输方法、装置、系统及移动终端
CN107360177A (zh) 一种基于udp的报文传输方法及装置
CN105808364B (zh) 融合PC系统和android系统的双系统通信方法和系统
CN107688512A (zh) 一种优化虚拟机数据备份方法和系统
CN105025063A (zh) 面向大规模终端设备的在线数据传输方法
CN101459694A (zh) 针对分布式文件系统的高可用消息传输框架和方法
KR101975082B1 (ko) 소프트웨어 정의 네트워킹 네트워크에서 트랜잭션 관리 방법
CN102368711A (zh) 一种面向并行文件系统的通信系统
CN106648922A (zh) 一种基于xmpp的数据采集方法
CN101958919A (zh) 一种基于非ip数据隧道的多文件并行传输方法及系统
CN106411616B (zh) 一种通过1553b总线管理以太网终端的装置及方法
CN107896230A (zh) 一种支持高并发命令执行通道的系统
CN104270255A (zh) 一种基于linx进程的节点间通信模块及方法
CN102413133A (zh) 一种时间可控的客户端服务器传输方法
CN102571412A (zh) 嵌入式分布式系统目标机服务器
JPH09261232A (ja) Ａｔｍ交換機における複数応答通信制御方法
CN112463083A (zh) 一种基板控制管理器信息的远程收集方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20201110

Address after: 510080 Dongfeng East Road, Dongfeng, Guangdong, Guangzhou, Zhejiang Province, No. 8

Patentee after: Electric Power Research Institute of Guangdong Power Grid Co.,Ltd.

Patentee after: Measurement Center of Guangdong Power Grid Co.,Ltd.

Address before: 510080 Dongfeng East Road, Dongfeng, Guangdong, Guangzhou, Zhejiang Province, No. 8

Patentee before: Electric Power Research Institute of Guangdong Power Grid Co.,Ltd.

TR01 Transfer of patent right