CN107317802A - 一种基于soa与dds的数据实时处理分发系统 - Google Patents

一种基于soa与dds的数据实时处理分发系统 Download PDF

Info

Publication number
CN107317802A
CN107317802A CN201710417212.3A CN201710417212A CN107317802A CN 107317802 A CN107317802 A CN 107317802A CN 201710417212 A CN201710417212 A CN 201710417212A CN 107317802 A CN107317802 A CN 107317802A
Authority
CN
China
Prior art keywords
data
theme
subject
interface
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710417212.3A
Other languages
English (en)
Inventor
邵武长
周淦
蒯亮
张瑞权
陈鸣
陈一鸣
薛晓玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
No6 Research Institute Of China Electronics Corp
6th Research Institute of China Electronics Corp
Original Assignee
No6 Research Institute Of China Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by No6 Research Institute Of China Electronics Corp filed Critical No6 Research Institute Of China Electronics Corp
Priority to CN201710417212.3A priority Critical patent/CN107317802A/zh
Publication of CN107317802A publication Critical patent/CN107317802A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/08—Protocols for interworking; Protocol conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/50—Queue scheduling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/06—Notations for structuring of protocol data, e.g. abstract syntax notation one [ASN.1]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本文公开了一种基于SOA与DDS的数据实时处理分发系统，由协议适配服务、质量控制服务、数据分发服务及数据监测服务等组件构成。协议适配服务是为采集终端提供的网络数据接口服务，可进行协议的灵活配置及数据转换；质量控制服务提供对原始数据质量的控制，对采集数据进行数据缓存、数据分类及数据过滤的处理；数据分发服务提供主题订阅分发的统一接口，通过主题分发接口发布数据，通过主题订阅接口获取数据；所述的数据监测服务提供数据监测统计的接口，包括数据统计、并发统计、链路监测分析及异常监测等功能，能够对整个系统的数据链路进行监测和统计。

Description

一种基于SOA与DDS的数据实时处理分发系统
技术领域
本发明设计属于计算机通信技术领域，具体的说是一种基于SOA与DDS的数据实时处理分发系统。
背景技术
随着信息系统环境与资源接入方式越来越复杂，系统处理的数据可能来自于遵循不同数据通信协议的采集终端，这对信息系统的数据处理能力有了更高的要求，一方面需要处理不同的数据通信协议将其转换为系统内部更具普适性的数据格式，便于其他子系统进一步处理，另一方面还需要保证数据处理的实时性能和数据质量，确保数据能够正确、快速、灵活的分发给负责后续处理的子系统。目前采用的C/S架构的数据处理系统由于服务节点和接口的瓶颈容易导致数据处理的阻塞以及数据分发的低效，已经不能够满足复杂环境下的信息系统数据实时处理分发的要求。SOA是一种面向服务的体系架构，采用这种架构可以对不同的数据采集终端提供灵活的协议适配服务，完成不同结构数据资源的整合。DDS是一种实时系统的数据分发服务，它采用发布/订阅模式的通信模型，实现了以数据为中心的快速分发机制。本发明基于SOA与DDS设计了一种包含协议适配服务、质量控制服务、数据分发服务及数据监测服务的数据实时处理分发系统，保证了通信数据的完整性、正确性与可监测性。
发明内容
本发明的技术任务是提供一种基于SOA与DDS的数据实时处理分发系统。
本发明的技术任务是按以下方式实现的，通过一种数据协议适配服务接收处理采集终端的数据，经质量控制服务对数据进行缓存、分类及过滤处理，然后根据数据协议及主题成员的配置将实时数据转换为主题数据，通过DDS数据分发服务提供的主题发布接口将主题数据发送至订阅该主题的所有系统节点，系统组成如附图1所示。
所述的协议适配服务是为采集终端提供的网络数据接口，通过对终端数据协议的数据结构进行配置管理，可以实现对不同协议的终端提供网络接口服务，将终端数据转换为统一类型用于分发处理的主题数据。
所述的质量控制服务提供对原始数据质量的控制，对采集数据进行数据缓存、数据分类及数据过滤的处理，保证采集数据完整、正确、可用，及时得到处理。
所述的数据分发服务提供主题订阅分发的统一接口，根据预定义的主题数据结构生成主题数据处理方法，通过主题分发接口发布主题数据，通过主题订阅接口获取主题数据。
所述的数据监测服务提供数据监测统计的接口，包括数据统计、并发统计、链路监测分析及异常监测等功能，能够对整个系统的数据链路进行监测和统计。
本发明的一种基于SOA与DDS的数据实时处理分发系统和现有技术相比，具有的效果是：能够对不同采集终端的数据协议进行配置管理，能够对原始采集数据进行缓存、分类及过滤的处理，可以对过滤数据进行解析并转换成主题数据，能够将其发送到系统内订阅主题数据的其他节点，对主题数据能够进行监测统计。
附图说明
图1一种基于SOA与DDS的数据实时处理分发系统组成图
图2一种基于SOA与DDS的数据实时处理分发系统实施流程图
具体实施方式
下面结合附图2，对本发明的技术方案做进一步的说明。具体实施方式如下：
该数据实时处理分发系统通过协议配置工具进行终端数据协议的配置管理，包括协议的帧头结构、数据域结构及帧尾结构的配置，将协议结构按照顺序及字段长度存储至协议文件中；通过协议配置工具对系统需要处理的主题数据结构进行配置，然后通过主题处理工具生成主题处理方法库；将协议数据结构与主题数据结构进行映射配置，标记协议数据的字段与主题数据字段的转换关系；系统启动首先加载以上配置进行系统的初始化，然后开始监听网络数据并启动数据处理线程。
接收到采集终端的网络数据后，数据质量控制服务对数据进行缓存处理，将原始数据加入数据缓存队列，根据数据采集频率及数据实时性需求，数据处理主线程对缓存队列的数据进行轮询处理；线程取出队列中的数据后，根据数据帧头标识位对数据进行分类，将其重新分配到各数据处理分线程中；分线程对分类数据进行数据过滤，根据数据协议的配置对数据进行结构解析并检验数据完整性，不完整的数据将其加入临时数据区并等待下一帧数据进行拼接；对过滤后的完整数据进行协议转换处理，协议适配服务根据过滤数据帧头标志位查找相应的数据协议以及主题映射关系配置，从帧头开始按数据结构字节长度取出数据并创建主题数据。
数据分发服务封装主题发布接口，实现主题写入流程包括创建域、创建数据发布者、创建数据写入者等过程，支持任意类型主题数据的发布操作，在主题数据创建后，数据发布端直接调用主题发布接口将主题数据发送至网络中；封装主题订阅接口，实现主题读取流程包括创建域、创建数据订阅者、创建主题监听器、创建数据读取者等过程，对各类型的主题数据创建相应的主题监听器并采用消息机制触发主题处理操作，订阅主题数据后，主题监听器将主题数据实时推送至数据订阅端进行处理。
在发布主题数据的同时，数据监测服务将对发送的数据进行监测统计，其中数据统计是对数据发送量、时间及平均速率进行统计计算，并发统计通过主题数据类型对主题发布接口并发数进行统计，链路状态监测是对采集终端到本系统的通信链路进行监测，周期性判断链路通信状态，异常监测包括对数据流量异常、CPU及内存利用率异常、数据丢包率等状态进行监测统计。
通过上面具体实施方式，所述技术领域的技术人员可实现本发明。但应当理解，本发明并不限于上述的具体实施方式，在公开的实施方式的基础上，所述技术领域的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。

Claims (5)

1.一种基于SOA与DDS的数据实时处理分发系统，整个系统包含四部分：协议适配服务、质量控制服务、数据分发服务以及数据监测服务。
2.根据权利要求书1所述的协议适配服务通过协议配置工具进行终端数据协议的配置管理，包括协议的帧头结构、数据域结构及帧尾结构的配置；对系统需要处理的主题数据结构进行配置，通过主题处理工具生成主题处理方法库；将协议数据结构与主题数据结构进行映射配置，标记协议数据的字段与主题数据字段的转换关系。
3.根据权利要求书1所述的数据质量控制服务对原始数据进行缓存处理，由数据处理主线程对缓存队列的数据进行轮询处理，根据帧头标识位对原始数据进行数据分类，将其重新分配到各数据处理分线程中进行数据过滤，根据数据协议的配置对数据进行结构解析并检验数据完整性，不完整的数据将其加入临时数据区并等待下一帧数据进行拼接；对过滤后的完整数据进行协议转换处理，根据过滤数据帧头标志位查找相应的数据协议以及主题映射关系配置，从帧头开始按数据结构字节长度取出数据并创建主题数据。
4.根据权利要求书1所述的数据分发服务封装主题发布接口，实现主题写入流程包括创建域、创建数据发布者、创建数据写入者过程，支持任意类型主题数据的发布操作，在主题数据创建后，数据发布端直接调用主题发布接口将主题数据发送至网络中；封装主题订阅接口，实现主题读取流程包括创建域、创建数据订阅者、创建主题监听器、创建数据读取者过程，对各类型的主题数据创建相应的主题监听器并采用消息机制触发主题处理操作，订阅主题数据后，主题监听器将主题数据实时推送至数据订阅端进行处理。
5.根据权利要求书1所述的数据监测服务对发送的主题数据进行监测统计，对数据发送量、时间及平均速率进行数据统计，对主题发布接口并发数进行并发统计，对采集终端到本系统的通信链路进行周期性监测，对数据流量异常、CPU及内存利用率异常、数据丢包率等状态进行异常监测。
CN201710417212.3A 2017-06-06 2017-06-06 一种基于soa与dds的数据实时处理分发系统 Pending CN107317802A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710417212.3A CN107317802A (zh) 2017-06-06 2017-06-06 一种基于soa与dds的数据实时处理分发系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710417212.3A CN107317802A (zh) 2017-06-06 2017-06-06 一种基于soa与dds的数据实时处理分发系统

Publications (1)

Publication Number Publication Date
CN107317802A true CN107317802A (zh) 2017-11-03

Family

ID=60183603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710417212.3A Pending CN107317802A (zh) 2017-06-06 2017-06-06 一种基于soa与dds的数据实时处理分发系统

Country Status (1)

Country Link
CN (1) CN107317802A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108306852A (zh) * 2017-12-05 2018-07-20 上海金融期货信息技术有限公司 一种基于简单二进制编码的消息中间件系统和方法
CN108563664A (zh) * 2018-01-04 2018-09-21 上海电气集团股份有限公司 一种工业设备端的实时数据处理方法
CN109814871A (zh) * 2018-12-29 2019-05-28 中国科学院空间应用工程与技术中心 基于dds总线的节点管理方法及系统
CN110266783A (zh) * 2019-06-13 2019-09-20 中国铁道科学研究院集团有限公司通信信号研究所 一种基于dds的铁路ctc系统通信平台
CN111404722A (zh) * 2020-02-19 2020-07-10 中国船舶工业系统工程研究院 一种服务集成框架的全服务架构
CN112202869A (zh) * 2020-09-27 2021-01-08 华人运通(上海)云计算科技有限公司 数据传输方法、服务器、车辆和计算机存储介质
CN114979215A (zh) * 2022-05-25 2022-08-30 重庆长安汽车股份有限公司 一种基于soa的中控和仪表间信息传输方法、系统及车辆
CN115037807A (zh) * 2022-06-10 2022-09-09 湖南大学 一种工业机器人服务总线上集成dds协议的方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101848236A (zh) * 2010-05-06 2010-09-29 北京邮电大学 具有分布式网络架构的实时数据分发系统及其工作方法
CN103731504A (zh) * 2014-01-16 2014-04-16 国网山东省电力公司青岛供电公司 配电网领域dds通信方法
JP2017120497A (ja) * 2015-12-28 2017-07-06 川崎重工業株式会社 航空機搭載システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101848236A (zh) * 2010-05-06 2010-09-29 北京邮电大学 具有分布式网络架构的实时数据分发系统及其工作方法
CN103731504A (zh) * 2014-01-16 2014-04-16 国网山东省电力公司青岛供电公司 配电网领域dds通信方法
JP2017120497A (ja) * 2015-12-28 2017-07-06 川崎重工業株式会社 航空機搭載システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
石秀娟: ""专用网中数据分发与web服务融合技术研究"", 《中国优秀硕士论文全文数据库》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108306852A (zh) * 2017-12-05 2018-07-20 上海金融期货信息技术有限公司 一种基于简单二进制编码的消息中间件系统和方法
CN108306852B (zh) * 2017-12-05 2020-12-04 上海金融期货信息技术有限公司 一种基于简单二进制编码的消息中间件系统和方法
CN108563664A (zh) * 2018-01-04 2018-09-21 上海电气集团股份有限公司 一种工业设备端的实时数据处理方法
CN109814871A (zh) * 2018-12-29 2019-05-28 中国科学院空间应用工程与技术中心 基于dds总线的节点管理方法及系统
CN109814871B (zh) * 2018-12-29 2022-05-13 中国科学院空间应用工程与技术中心 基于dds总线的节点管理方法及系统
CN110266783A (zh) * 2019-06-13 2019-09-20 中国铁道科学研究院集团有限公司通信信号研究所 一种基于dds的铁路ctc系统通信平台
CN111404722A (zh) * 2020-02-19 2020-07-10 中国船舶工业系统工程研究院 一种服务集成框架的全服务架构
CN111404722B (zh) * 2020-02-19 2023-04-07 中国船舶工业系统工程研究院 一种服务集成框架的全服务架构
CN112202869A (zh) * 2020-09-27 2021-01-08 华人运通(上海)云计算科技有限公司 数据传输方法、服务器、车辆和计算机存储介质
CN114979215A (zh) * 2022-05-25 2022-08-30 重庆长安汽车股份有限公司 一种基于soa的中控和仪表间信息传输方法、系统及车辆
CN115037807A (zh) * 2022-06-10 2022-09-09 湖南大学 一种工业机器人服务总线上集成dds协议的方法及系统
CN115037807B (zh) * 2022-06-10 2023-08-18 湖南大学 一种工业机器人服务总线上集成dds协议的方法及系统

Similar Documents

Publication Publication Date Title
CN107317802A (zh) 一种基于soa与dds的数据实时处理分发系统
TWI473455B (zh) 機載通訊網路
CN111565113B (zh) 用于sdn控制器的灵活以太网网络拓扑抽象方法及系统
CN101006727B (zh) 分布式多媒体服务器系统和多媒体信息发布方法
CN103064731A (zh) 一种提高消息队列系统性能的装置及其方法
CN112511218B (zh) 一种基于微服务的卫星地面站监控系统
CN111142487A (zh) 一种基于opc ua统一架构协议的设备数据采集系统
CN103199968A (zh) 一种消息的发送方法和系统
CN104168164A (zh) Afdx网络中的数据获取的分布方法
CN112711635B (zh) 一种分布式物联设备跨区域数据一致性的方法和服务集群
CN107204110A (zh) 一种基于宽带网络的表计数据快速抄读的方法
CN102136924A (zh) 一种告警信息的过滤分发处理方法和一种服务器
CN106464584A (zh) 根据程序设计接口提供路由器信息
CN110417499A (zh) 基于mqtt协议的站台区域广播系统
CN114710571B (zh) 数据包处理系统
CN117478765A (zh) 一种基于物联网多协议适配的信息交互方法
CN101674193B (zh) 传输控制协议连接的管理方法和装置
CN108011795B (zh) 一种实现通信设备中多板卡和多数据通道管理的方法及系统
US20240020297A1 (en) Metrics and events infrastructure
CN201387555Y (zh) 一种综合远程监控系统
CN113626161B (zh) 一种分布式多用户的数据调度方法及系统
WO2011137678A1 (zh) 一种在客户端处理多用户并发信令跟踪的方法及系统
CN102263669B (zh) 基于组播转换的可控组播系统的网管系统及方法
CN105763380A (zh) 一种网管数据获取方法和装置
CN112615773A (zh) 一种消息处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171103

WD01 Invention patent application deemed withdrawn after publication