CN108400992A - 一种流式通信数据协议解析软件框架实现系统及方法 - Google Patents

一种流式通信数据协议解析软件框架实现系统及方法 Download PDF

Info

Publication number
CN108400992A
CN108400992A CN201810181041.3A CN201810181041A CN108400992A CN 108400992 A CN108400992 A CN 108400992A CN 201810181041 A CN201810181041 A CN 201810181041A CN 108400992 A CN108400992 A CN 108400992A
Authority
CN
China
Prior art keywords
data
service
task
protocol
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810181041.3A
Other languages
English (en)
Other versions
CN108400992B (zh
Inventor
王昌庆
俞鹏飞
杨吉祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telecommunication Science And Technology Fifth Research Institute Co Ltd
Original Assignee
Telecommunication Science And Technology Fifth Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telecommunication Science And Technology Fifth Research Institute Co Ltd filed Critical Telecommunication Science And Technology Fifth Research Institute Co Ltd
Priority to CN201810181041.3A priority Critical patent/CN108400992B/zh
Publication of CN108400992A publication Critical patent/CN108400992A/zh
Application granted granted Critical
Publication of CN108400992B publication Critical patent/CN108400992B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/65Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种流式通信数据协议解析软件框架实现系统及方法,包括资源层、流式通信协议数据处理业务层和用户GUI/CUI交互层;针对于流式通信协议码流数据解析,层层剥离迭代解析的流式数据处理,体系化的构建软件框架从UI交互、任务控制流程构建、流式通信协议码流数据解析任务及数据输出任务模型均有针对性的解决技术方案;构建软件框架中的模块构件间的连接控制管理均有清晰的描述,各个模块构件均可单独实现为动态库,保障模块构件的可根据实际的项目需要进行适用性修正或替换,整个软件框架具备良好的可伸缩性。

Description

一种流式通信数据协议解析软件框架实现系统及方法
技术领域
本发明涉及通信(讯)协议技术领域,特别是涉及一种一种流式通信数据协议解析软件框架实现系统方法。
背景技术
软件框架概念的出现都是源于人们对复用的渴望。“不要重复发明轮子”,成了软件界的一句经典名言。从最初的单个函数源代码的复用,到面向对象中类的复用(通常以类库的形式体现),再到基于组件编程中二进制组件(.NET中是以IL程序集形式存在的)的复用,人们复用软件的抽象层次越来越高。现在,框架复用是抽象层次的又一提升,框架的复用不仅仅是功能的复用,更是设计的复用。
现有的软件框架主要限于通用的应用软件开发,如Java软件框架,StrutsHibernate Spring ibatis EJB;C++软件框架,MFC ACE Qt Boost。
另外通用的流式处理开源框架,如Storm,Spark和Samza等,这三种实时计算系统都是开源的分布式系统,具有低延迟、可扩展和容错性诸多优点,它们的共同特色在于:允许你在运行数据流代码时,将任务分配到一系列具有容错能力的计算机上并行运行。此外,它们都提供了简单的API来简化底层实现的复杂程度。
Storm和Spark流式处理开源框架应用于流式通信数据协议解析,主要存在如下缺陷:
1、分布式流式系统架构相对于通信数据协议解析过于庞大,一般通信数据协议解析均采用单机的中高端PC服务器来承载。
2、如图1所示,针对于通信协议解析这种层层剥离迭代解析的流式数据处理,并发状态控制成本及复杂度太高,难以发挥分布式计算的优势及处理任务间控制的灵活性。
3、核心技术掌握技术门槛过高,其主要适用于原生态的软件开发,难以与用户已有的协议解析算法进行有机结合等。
本提案提出一种针对流式通信数据协议解析的软件框架实现方法,它封装了通信协议解析领域内处理流程的控制逻辑。
发明内容
本发明提供一种流式通信数据协议解析软件框架实现系统及方法,具有能够封装了通信协议解析领域内处理流程的控制逻辑的特点。
本发明采用的技术方案如下:
根据本发明提供的一种流式通信数据协议解析软件框架实现系统包括资源层、流式通信协议数据处理业务层和用户GUI/CUI交互层;
所述用户GUI/CUI交互层实现系统服务界面,与底层的交互采用网络通信接口方式的远程服务调用,并进行异步提交;
所述流式通信协议数据处理业务层包括,
控制接口,接收用户GUI/CUI交互层下达的控制指令并响应;根据所述控制指令的指令类型,调用各个业务模块接口下达相应的指令,并反馈控制结果;
任务控制调度模块,面向多通道通信协议数据流提供数据协议解析服务,将通道通信协议数据流解析进行步骤分割,实现通道通信协议数据流解析的可并发性;继承抽象控制接口实现内部控制逻辑,响应控制接口的控制命令;与数据协议解析工厂模块、数据输出工厂模块、数据采集模块和数据协议结构识别模块通过提供统一的抽象工厂服务接口,来调度数据协议解析业务模块;
数据协议解析工厂模块,面向任务控制调度模块,提供协议解析任务构建、执行和控制服务;
数据协议解析任务模块,面向数据协议解析工厂模块,提供流式数据解析处理服务;
数据输出工厂模块,面向任务控制调度模块提供协议解析载荷数据输出任务执行、控制服务;
数据输出任务模块,面向数据输出工厂模块,提供流式数据解析处理服务;
数据协议结构识别模块,面向任务控制调度模块,提供完成指定通信数据线路/通道的承载数据的协议类型解析识别服务;
数据采集模块,面向任务控制调度模块,提供指定通信数据线路/通道的源数据码流的采集服务;
数据共享总线,面向系统的各中任务处理及数据采集提供无阻塞式的内存数据缓存服务,同一份内存缓存数据可共享给多个数据消费模块,提供共享读取交互处理;并自主完成内存复用维护管理;
消息总线,面向系统的各中软件模块提供无阻塞式的异步消息缓存交互服务,同一份内存消息数据可共享给多个软件模块获取;并自主完成消息的生命周期维护管理,保障统一模块的不同消息输出的有序性;
所述资源层面向系统的各核心业务模块提供资源管理接口封装服务,实现外部资源的资源抽象控制层,控制采集设备及CPU计算、存储、网络等资源单位,实现对资源的充分利用,防范系统热点、过载保护,实现资源调用的透明化等。
根据本发明提供的一种流式通信数据协议解析软件框架实现方法,包括资源管理方法、流式通信协议数据业务处理方法和用户GUI/CUI交互方法;
其中所述用户GUI/CUI交互方法包括,实现系统服务界面,与底层的交互采用网络通信接口方式的远程服务调用,并进行异步提交;
所述流式通信协议数据业务处理方法包括,
接收用户GUI/CUI交互层下达的控制指令并响应;根据所述控制指令的指令类型,调用各个业务模块接口下达相应的指令,并反馈控制结果;
任务控制调度时,面向多通道通信协议数据流提供数据协议解析服务,将通道通信协议数据流解析进行步骤分割,实现通道通信协议数据流解析的可并发性;继承抽象控制接口实现内部控制逻辑,响应控制接口的控制命令;与数据协议解析工厂服务、数据输出工厂服务、数据采集服务和数据协议结构识别服务通过提供统一的抽象工厂服务接口,来调度数据协议解析业务服务;
数据协议解析工厂服务,面向任务控制调度模块,提供协议解析任务构建、执行和控制服务;
数据协议解析任务服务,面向数据协议解析工厂服务,提供流式数据解析处理服务;
数据输出工厂服务,面向任务控制调度服务提供协议解析载荷数据输出任务执行、控制服务;
数据输出任务服务,面向数据输出工厂服务,提供流式数据解析处理服务;
数据协议结构识别服务,面向任务控制调度服务,提供完成指定通信数据线路/通道的承载数据的协议类型解析识别服务;
数据采集服务,面向任务控制调度服务,提供指定通信数据线路/通道的源数据码流的采集服务;
数据共享总线服务,面向系统的各中任务处理及数据采集提供无阻塞式的内存数据缓存服务,同一份内存缓存数据可共享给多个数据消费模块,提供共享读取交互处理;并自主完成内存复用维护管理;
消息总线服务,面向系统的各中软件模块提供无阻塞式的异步消息缓存交互服务,同一份内存消息数据可共享给多个软件模块获取;并自主完成消息的生命周期维护管理,保障统一模块的不同消息输出的有序性;
所述资源管理方法包括:面向系统的各核心业务模块提供资源管理接口封装服务,实现外部资源的资源抽象控制层,控制采集设备及CPU计算、存储、网络等资源单位,实现对资源的充分利用,防范系统热点、过载保护,实现资源调用的透明化等。
与数据协议解析工厂服务、数据输出工厂服务、数据采集服务和数据协议结构识别服务通过提供统一的抽象工厂服务接口,来调度数据协议解析业务服务的具体方法包括:
根据控制指令初始化数据采集服务,向其下达指定通信数据线路/通道数据采集任务及参数;
针对各通道数据流,向数据协议结构识别服务下达指定通信数据线路/通道的数据流协议结构识别任务;
根据通道数据流协议结构,进行解析流程步骤分割为多个异步协议解析任务,并构建各个异步协议解析任务的内存缓存数据通路等任务参数,完成多个异步协议解析任务间的数据解耦;初始化数据协议解析工厂服务,向其下达各个异步协议解析任务参数;并根据控制指令进行接收异步协议解析任务状态汇报及任务启停控制;
根据通道通信协议数据流解析输出要求,初始化数据输出工厂服务,向其下达各个数据输出任务参数;并根据控制指令进行数据输出任务状态汇报及任务启停控制。
数据解析服务的具体方法包括:
针对各解析任务,为任务分配任务执行资源,根据任务参数调用数据协议解析任务服务初始化构建任务;
根据任务控制调度任务状态汇报及任务启停控制要求,完成任务状态汇总上报及有序任务启停控制。
数据协议解析任务服务的具体方法包括:
根据数据协议解析工厂服务数据协议结构参数,装配相应的协议解析处理单元算法,构建流式数据协议解析流转处理流程;
依据数据协议解析工厂服务控制要求上报处理流量及数据流处理状态报告、按任务启停控制要求,是否持续执行从指定内存缓存数据通路获取数据及将解析的载荷数据输出到指定的内存缓存数据通路。
数据输出工厂服务的具体方法包括:
针对各通道通信协议数据流解析输出任务要求,为数据输出任务分配任务执行资源,根据任务参数调用数据输出任务服务初始化构建输出任务;
根据任务控制调度服务任务状态汇报及输出任务启停控制要求,完成输出任务状态汇总上报及有序输出任务启停控制。
数据输出任务服务的具体方法包括:
根据数据输出工厂服务数据协议结构参数,调用文件存储、数据库存储或网络传输接口,构建流式数据协议解析载荷数据输出流程;
依据数据输出工厂服务控制要求上报输出流量及数据流输出状态报告、按输出任务启停控制要求,是否持续执行从指定内存缓存数据通路获取数据输出到指定的输出接口中。
数据采集服务的具体方法包括:
根据任务控制调度服务数据采集任务参数,设置采集卡软硬件设备工作参数;
依据数据输出工厂服务控制要求上报输出流量及数据流输出状态报告、按输出任务启停控制要求,是否持续周期性从数据采集设备获取采集数据,并将采集到的源数据码流输出到指定的内存缓存数据通路。
与现有技术相比,本发明技术方案针对于流式通信协议码流数据解析,这种层层剥离迭代解析的流式数据处理,体系化的构建软件框架从UI交互、任务控制流程构建、流式通信协议码流数据解析任务及数据输出任务模型均有针对性的解决技术方案。
附图说明
图1为现有技术层层剥离迭代解析的通信协议解析原理示意图。
图2为图1所示实施例中的原理示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本说明书(包括摘要和附图)中公开的任一特征,除非特别叙述,均可被其他等效或者具有类似目的的替代特征加以替换。即,除非特别叙述,每个特征只是一系列等效或类似特征中的一个例子而已。
如图2所示,一种流式通信数据协议解析软件框架实现系统,包括资源层、流式通信协议数据处理业务层和用户GUI/CUI交互层;
所述用户GUI/CUI交互层实现系统服务界面,与底层的交互采用网络通信接口方式的远程服务调用,并进行异步提交,保障底层业务工作的流畅性与独立性;
所述流式通信协议数据处理业务层包括,
控制接口,接收用户GUI/CUI交互层下达的控制指令并响应;根据所述控制指令的指令类型,调用各个业务模块接口下达相应的指令,并反馈控制结果;其中,如果涉及到实时的监视信息,则由各个业务模块以消息的形式异步反馈,再组合封装后反馈给用户GUI/CUI交互层;与用户GUI/CUI交互层提供网络协议(如Socket、ICE等)接口交互,与系统内部模块通过提供统一的抽象控制接口(各模块继承实现内部控制逻辑),来操控各个系统模块;
任务控制调度模块,面向多通道通信协议数据流提供数据协议解析服务,将通道通信协议数据流解析进行步骤分割,实现通道通信协议数据流解析的可并发性;继承抽象控制接口实现内部控制逻辑,响应控制接口的控制命令;与数据协议解析工厂模块、数据输出工厂模块、数据采集模块和数据协议结构识别模块通过提供统一的抽象工厂服务接口(模块继承实现内部控制逻辑),来调度数据协议解析业务模块;
数据协议解析工厂模块,面向任务控制调度模块,提供协议解析任务构建、执行和控制服务;
数据协议解析任务模块,面向数据协议解析工厂模块,提供流式数据解析处理服务(支持多种任务子类以满足不同的任务特性);
数据输出工厂模块,面向任务控制调度模块提供协议解析载荷数据输出任务执行、控制服务;
数据输出任务模块,面向数据输出工厂模块,提供流式数据解析处理服务;
数据协议结构识别模块,面向任务控制调度模块,提供完成指定通信数据线路/通道(如各光纤线路的信号数据通道)的承载数据的协议类型解析识别服务;
数据采集模块,面向任务控制调度模块,提供指定通信数据线路/通道(如各光纤线路的信号数据通道)的源数据码流的采集服务;
数据共享总线,面向系统的各中任务处理及数据采集提供无阻塞式的内存数据缓存服务,同一份内存缓存数据可共享给多个数据消费模块,提供共享读取交互处理;并自主完成内存复用维护管理;
消息总线,面向系统的各中软件模块提供无阻塞式的异步消息缓存交互服务,同一份内存消息数据可共享给多个软件模块获取;并自主完成消息的生命周期维护管理,保障统一模块的不同消息输出的有序性;
所述资源层面向系统的各核心业务模块提供资源管理接口封装服务,实现外部资源的资源抽象控制层,控制采集设备及CPU计算、存储、网络等资源单位,实现对资源的充分利用,防范系统热点、过载保护,实现资源调用的透明化等。
对于流式通信数据协议解析的软件框架系统模块之间的控制及数据流转关系包括:
GUI/CUI交互流程构建:由用户GUI/CUI交互层直接下达控制指令,控制接口响应用户GUI/CUI交互层的控制操作指令;控制接口层根据指令类型,调用各个业务模块接口下达相应指令,并发反馈控制结果;其中如涉及实时的监视信息,则由各个模块以消息的形式异步反馈,再由控制模块组合封装后反馈给视图层。
数据采集流程构建:由任务控制调度模块接收控制接口下达指定通信数据线路/通道数据解析任务,根据控制接口指令初始化数据采集模块,向其下达指定通信数据线路/通道数据采集任务及参数;数据采集模块根据采集任务参数,设置采集卡软硬件设备工作参数,并持续周期性从数据采集设备获取采集数据,并将采集到的源数据码流输出到指定的内存缓存数据通路。
流式数据解析流程构建:由任务控制调度模块根据控制接口下达通信数据线路/通道数据解析任务,完成线路/通道数据采集控制,调用数据协议结构识别模块完成线路/通道的数据流协议结构识别;根据通道数据流协议结构,进行通信数据线路/通道数据解析总体任务分割为多个异步协议解析任务,并构建各个异步协议解析任务的内存缓存数据通路等任务参数;初始化数据协议解析工厂模块,向其下达各个异步协议解析任务参数;数据协议解析工厂模块针对各解析任务,为任务分配任务执行资源,根据任务参数调用数据协议解析任务模块初始化构建任务;数据协议解析任务模块根据数据协议结构参数,装配相应的协议解析处理单元算法,构建流式数据协议解析在各个协议解析处理单元内流转处理流程。
流式数据输出流程构建:任务控制调度模块根据控制接口通道通信协议数据流解析输出要求,初始化数据输出工厂模块,向其下达各个数据输出任务参数;数据输出工厂模块针对各通道通信协议数据流解析输出任务要求,为数据输出任务分配任务执行资源,根据任务参数调用数据输出任务模块初始化构建输出任务;数据输出任务模块根据数据输出工厂模块数据协议结构参数,调用文件存储、数据库存储或网络传输接口,构建流式数据协议解析载荷数据输出流程;
流式数据解析流程执行流程:数据采集模块持续周期性从数据采集设备获取采集数据,并将采集到的源数据码流输出到指定的内存缓存数据通路;各个实例化的数据协议解析任务模块任务体持续执行从指定内存缓存数据通路获取数据及将解析的载荷数据输出到指定的内存缓存数据通路,同一通信数据线路/通道的数据协议解析任务模块间各自完成职责范围内的协议解析及载荷数据剥离输出,他们组合迭代解析完成特定通信数据线路/通道进行数据通信协议具备固定的层层协议封装解析,最终完成载荷码流的解析;由数据输出任务模块提取输出至网络、数据库或文件。
一种流式通信数据协议解析软件框架实现方法,包括资源管理方法、流式通信协议数据业务处理方法和用户GUI/CUI交互方法;
其中所述用户GUI/CUI交互方法包括,实现系统服务界面,与底层的交互采用网络通信接口方式的远程服务调用,并进行异步提交,保障底层业务工作的流畅性与独立性;
所述流式通信协议数据业务处理方法包括,
接收用户GUI/CUI交互层下达的控制指令并响应;根据所述控制指令的指令类型,调用各个业务模块接口下达相应的指令,并反馈控制结果;其中,如果涉及到实时的监视信息,则由各个业务模块以消息的形式异步反馈,再组合封装后反馈给系统服务界面;与系统服务界面提供网络协议(如Socket、ICE等)接口交互,与系统内部模块通过提供统一的抽象控制接口(各模块继承实现内部控制逻辑),来操控各个系统模块;
任务控制调度时,面向多通道通信协议数据流提供数据协议解析服务,将通道通信协议数据流解析进行步骤分割,实现通道通信协议数据流解析的可并发性;继承抽象控制接口实现内部控制逻辑,响应控制接口的控制命令;与数据协议解析工厂服务、数据输出工厂服务、数据采集服务和数据协议结构识别服务通过提供统一的抽象工厂服务接口(模块继承实现内部控制逻辑),来调度数据协议解析业务服务;
数据协议解析工厂服务,面向任务控制调度模块,提供协议解析任务构建、执行和控制服务;
数据协议解析任务服务,面向数据协议解析工厂服务,提供流式数据解析处理服务(支持多种任务子类以满足不同的任务特性);
数据输出工厂服务,面向任务控制调度服务提供协议解析载荷数据输出任务执行、控制服务;
数据输出任务服务,面向数据输出工厂服务,提供流式数据解析处理服务;
数据协议结构识别服务,面向任务控制调度服务,提供完成指定通信数据线路/通道(如各光纤线路的信号数据通道)的承载数据的协议类型解析识别服务;
数据采集服务,面向任务控制调度服务,提供指定通信数据线路/通道(如各光纤线路的信号数据通道)的源数据码流的采集服务;
数据共享总线服务,面向系统的各中任务处理及数据采集提供无阻塞式的内存数据缓存服务,同一份内存缓存数据可共享给多个数据消费模块,提供共享读取交互处理;并自主完成内存复用维护管理;
消息总线服务,面向系统的各中软件模块提供无阻塞式的异步消息缓存交互服务,同一份内存消息数据可共享给多个软件模块获取;并自主完成消息的生命周期维护管理,保障统一模块的不同消息输出的有序性;
所述资源管理方法包括:面向系统的各核心业务模块提供资源管理接口封装服务,实现外部资源的资源抽象控制层,控制采集设备及CPU计算、存储、网络等资源单位,实现对资源的充分利用,防范系统热点、过载保护,实现资源调用的透明化等。
针对于流式通信协议码流数据解析,这种层层剥离迭代解析的流式数据处理,本提案体系化的构建软件框架从UI交互、任务控制流程构建、流式通信协议码流数据解析任务及数据输出任务模型均有针对性的解决技术方案。
本提案体系化的构建软件框架中的模块构件间的连接控制管理均有清晰的描述,各个模块构件均可单独实现为动态库,保障模块构件的可根据实际的项目需要进行适用性修正或替换,整个软件框架具备良好的可伸缩性。
本发明体系化的构建软件框架中提出流式通信协议码流数据解析,可基于通道数据流协议结构,进行解析流程步骤分割为多个异步协议解析任务,并构建各个异步协议解析任务的内存缓存数据通路等任务参数,完成多个异步协议解析任务间的数据解耦。为流式数据处理提供了一种可扩展的高并发能力的设计思路。
相较于Storm和Spark流式处理开源框架应用于流式通信数据协议解析本提案软件框架有较强恰如其分的适用性,同时开发者对核心技术有更强的掌握力,同时提案中提供数据协议解析任务通过提供统一的抽象算法处理接口实现与协议解析处理单元算法统一封装,来构建协议解析处理单元算法服务方案,对于用户已有的协议解析算法可有机结合。
本发明体系化的构建软件框架可适用SDH、ATM、DDN、IP等多种码流数据协议数据解析。
与数据协议解析工厂服务、数据输出工厂服务、数据采集服务和数据协议结构识别服务通过提供统一的抽象工厂服务接口,来调度数据协议解析业务服务的具体方法包括:
根据控制指令初始化数据采集服务,向其下达指定通信数据线路/通道数据采集任务及参数;
针对各通道数据流,向数据协议结构识别服务下达指定通信数据线路/通道的数据流协议结构识别任务;
根据通道数据流协议结构,进行解析流程步骤分割为多个异步协议解析任务,并构建各个异步协议解析任务的内存缓存数据通路等任务参数,完成多个异步协议解析任务间的数据解耦;初始化数据协议解析工厂服务,向其下达各个异步协议解析任务参数;并根据控制指令进行接收异步协议解析任务状态汇报及任务启停控制;
根据通道通信协议数据流解析输出要求,初始化数据输出工厂服务,向其下达各个数据输出任务参数;并根据控制指令进行数据输出任务状态汇报及任务启停控制。
数据解析服务的具体方法包括:
针对各解析任务,为任务分配任务执行资源,根据任务参数调用数据协议解析任务服务初始化构建任务;
根据任务控制调度任务状态汇报及任务启停控制要求,完成任务状态汇总上报及有序任务启停控制。
继承工厂服务接口实现内部控制逻辑,响应任务控制调度的控制命令。与数据协议解析任务服务通过提供统一的抽象任务服务接口(任务继承实现内部控制逻辑),来构建控制任务服务。
数据协议解析任务服务的具体方法包括:
根据数据协议解析工厂服务数据协议结构参数,装配相应的协议解析处理单元算法,构建流式数据协议解析流转处理流程;
依据数据协议解析工厂服务控制要求上报处理流量及数据流处理状态报告、按任务启停控制要求,是否持续执行从指定内存缓存数据通路获取数据及将解析的载荷数据输出到指定的内存缓存数据通路。
继承任务服务接口实现内部控制逻辑,响应数据协议解析工厂服务的控制命令。通过提供统一的抽象算法处理接口实现与协议解析处理单元算法统一封装,来构建协议解析处理单元算法服务。
数据输出工厂服务的具体方法包括:
针对各通道通信协议数据流解析输出任务要求,为数据输出任务分配任务执行资源,根据任务参数调用数据输出任务服务初始化构建输出任务;
根据任务控制调度服务任务状态汇报及输出任务启停控制要求,完成输出任务状态汇总上报及有序输出任务启停控制。
继承工厂服务接口实现内部控制逻辑,响应任务控制调度服务的控制命令。与数据输出任务服务通过提供统一的抽象输出任务服务接口(任务继承实现内部控制逻辑),来构建控制数据输出任务服务。
数据输出任务服务的具体方法包括:
根据数据输出工厂服务数据协议结构参数,调用文件存储、数据库存储或网络传输接口,构建流式数据协议解析载荷数据输出流程;
依据数据输出工厂服务控制要求上报输出流量及数据流输出状态报告、按输出任务启停控制要求,是否持续执行从指定内存缓存数据通路获取数据输出到指定的输出接口中。
继承输出任务服务接口实现内部控制逻辑,响应数据输出工厂服务的控制命令。通过提供统一的输出接口实现与文件存储、数据库存储或网络传输接口输出功能单元统一封装,来构建协议解析载荷数据输出服务。
对于数据协议结构识别服务,特定通信数据线路/通道进行数据通信协议具备固定的层层协议封装转换路径的特性,数据协议结构识别就是完成指定线路/通道的数据通信协议封装路径识别并构建统一的结构标识输出。任务控制调度就是基于通道数据流协议结构,进行合理的解析流程步骤分割为多个异步协议解析任务。
数据采集服务的具体方法包括:
根据任务控制调度服务数据采集任务参数,设置采集卡软硬件设备工作参数;
依据数据输出工厂服务控制要求上报输出流量及数据流输出状态报告、按输出任务启停控制要求,是否持续周期性从数据采集设备获取采集数据,并将采集到的源数据码流输出到指定的内存缓存数据通路。
继承工厂服务接口实现内部控制逻辑,响应任务控制调度的控制命令。通过采集卡软硬件设备服务接口,来构建通信数据线路/通道(如各光纤线路的信号数据通道)的源数据码流的采集服务。
对于数据共享总线服务,基于数据共享总线的应用,实现各通信数据通道(如各光纤线路的信号数据通道)的流式数据协议解析数据入口及其解析载荷数据的出口内存缓存数据通路;同时作为某一通信数据通道流式数据解析中各个异步协议解析任务(参见任务控制调度说明)间的解耦内存缓存数据通路,成为异步协议解析任务间的数据库传递器,使得异步协议解析任务间并发、接续、协同完成该通信数据通道流式数据解析的总体任务。

Claims (8)

1.一种流式通信数据协议解析软件框架实现系统,其特征在于:包括资源层、流式通信协议数据处理业务层和用户GUI/CUI交互层;
所述用户GUI/CUI交互层实现系统服务界面,与底层的交互采用网络通信接口方式的远程服务调用,并进行异步提交;
所述流式通信协议数据处理业务层包括,
控制接口,接收用户GUI/CUI交互层下达的控制指令并响应;根据所述控制指令的指令类型,调用各个业务模块接口下达相应的指令,并反馈控制结果;
任务控制调度模块,面向多通道通信协议数据流提供数据协议解析服务,将通道通信协议数据流解析进行步骤分割,实现通道通信协议数据流解析的可并发性;继承抽象控制接口实现内部控制逻辑,响应控制接口的控制命令;与数据协议解析工厂模块、数据输出工厂模块、数据采集模块和数据协议结构识别模块通过提供统一的抽象工厂服务接口,来调度数据协议解析业务模块;
数据协议解析工厂模块,面向任务控制调度模块,提供协议解析任务构建、执行和控制服务;
数据协议解析任务模块,面向数据协议解析工厂模块,提供流式数据解析处理服务;
数据输出工厂模块,面向任务控制调度模块提供协议解析载荷数据输出任务执行、控制服务;
数据输出任务模块,面向数据输出工厂模块,提供流式数据解析处理服务;
数据协议结构识别模块,面向任务控制调度模块,提供完成指定通信数据线路/通道的承载数据的协议类型解析识别服务;
数据采集模块,面向任务控制调度模块,提供指定通信数据线路/通道的源数据码流的采集服务;
数据共享总线,面向系统的各中任务处理及数据采集提供无阻塞式的内存数据缓存服务,同一份内存缓存数据可共享给多个数据消费模块,提供共享读取交互处理;并自主完成内存复用维护管理;
消息总线,面向系统的各中软件模块提供无阻塞式的异步消息缓存交互服务,同一份内存消息数据可共享给多个软件模块获取;并自主完成消息的生命周期维护管理,保障统一模块的不同消息输出的有序性;
所述资源层面向系统的各核心业务模块提供资源管理接口封装服务,实现外部资源的资源抽象控制层,控制采集设备及CPU计算、存储、网络等资源单位,实现对资源的充分利用,防范系统热点、过载保护,实现资源调用的透明化等。
2.一种流式通信数据协议解析软件框架实现方法,其特征在于:包括资源管理方法、流式通信协议数据业务处理方法和用户GUI/CUI交互方法;
其中所述用户GUI/CUI交互方法包括,实现系统服务界面,与底层的交互采用网络通信接口方式的远程服务调用,并进行异步提交;
所述流式通信协议数据业务处理方法包括,
接收用户GUI/CUI交互层下达的控制指令并响应;根据所述控制指令的指令类型,调用各个业务模块接口下达相应的指令,并反馈控制结果;
任务控制调度时,面向多通道通信协议数据流提供数据协议解析服务,将通道通信协议数据流解析进行步骤分割,实现通道通信协议数据流解析的可并发性;继承抽象控制接口实现内部控制逻辑,响应控制接口的控制命令;与数据协议解析工厂服务、数据输出工厂服务、数据采集服务和数据协议结构识别服务通过提供统一的抽象工厂服务接口,来调度数据协议解析业务服务;
数据协议解析工厂服务,面向任务控制调度模块,提供协议解析任务构建、执行和控制服务;
数据协议解析任务服务,面向数据协议解析工厂服务,提供流式数据解析处理服务;
数据输出工厂服务,面向任务控制调度服务提供协议解析载荷数据输出任务执行、控制服务;
数据输出任务服务,面向数据输出工厂服务,提供流式数据解析处理服务;
数据协议结构识别服务,面向任务控制调度服务,提供完成指定通信数据线路/通道的承载数据的协议类型解析识别服务;
数据采集服务,面向任务控制调度服务,提供指定通信数据线路/通道的源数据码流的采集服务;
数据共享总线服务,面向系统的各中任务处理及数据采集提供无阻塞式的内存数据缓存服务,同一份内存缓存数据可共享给多个数据消费模块,提供共享读取交互处理;并自主完成内存复用维护管理;
消息总线服务,面向系统的各中软件模块提供无阻塞式的异步消息缓存交互服务,同一份内存消息数据可共享给多个软件模块获取;并自主完成消息的生命周期维护管理,保障统一模块的不同消息输出的有序性;
所述资源管理方法包括:面向系统的各核心业务模块提供资源管理接口封装服务,实现外部资源的资源抽象控制层,控制采集设备及CPU计算、存储、网络等资源单位,实现对资源的充分利用,防范系统热点、过载保护,实现资源调用的透明化等。
3.根据权利要求2所述的流式通信数据协议解析软件框架实现方法,其特征在于:与数据协议解析工厂服务、数据输出工厂服务、数据采集服务和数据协议结构识别服务通过提供统一的抽象工厂服务接口,来调度数据协议解析业务服务的具体方法包括:
根据控制指令初始化数据采集服务,向其下达指定通信数据线路/通道数据采集任务及参数;
针对各通道数据流,向数据协议结构识别服务下达指定通信数据线路/通道的数据流协议结构识别任务;
根据通道数据流协议结构,进行解析流程步骤分割为多个异步协议解析任务,并构建各个异步协议解析任务的内存缓存数据通路等任务参数,完成多个异步协议解析任务间的数据解耦;初始化数据协议解析工厂服务,向其下达各个异步协议解析任务参数;并根据控制指令进行接收异步协议解析任务状态汇报及任务启停控制;
根据通道通信协议数据流解析输出要求,初始化数据输出工厂服务,向其下达各个数据输出任务参数;并根据控制指令进行数据输出任务状态汇报及任务启停控制。
4.根据权利要求2所述的流式通信数据协议解析软件框架实现方法,其特征在于:数据解析服务的具体方法包括:
针对各解析任务,为任务分配任务执行资源,根据任务参数调用数据协议解析任务服务初始化构建任务;
根据任务控制调度任务状态汇报及任务启停控制要求,完成任务状态汇总上报及有序任务启停控制。
5.根据权利要求2所述的流式通信数据协议解析软件框架实现方法,其特征在于:数据协议解析任务服务的具体方法包括:
根据数据协议解析工厂服务数据协议结构参数,装配相应的协议解析处理单元算法,构建流式数据协议解析流转处理流程;
依据数据协议解析工厂服务控制要求上报处理流量及数据流处理状态报告、按任务启停控制要求,是否持续执行从指定内存缓存数据通路获取数据及将解析的载荷数据输出到指定的内存缓存数据通路。
6.根据权利要求2所述的流式通信数据协议解析软件框架实现方法,其特征在于:数据输出工厂服务的具体方法包括:
针对各通道通信协议数据流解析输出任务要求,为数据输出任务分配任务执行资源,根据任务参数调用数据输出任务服务初始化构建输出任务;
根据任务控制调度服务任务状态汇报及输出任务启停控制要求,完成输出任务状态汇总上报及有序输出任务启停控制。
7.根据权利要求2所述的流式通信数据协议解析软件框架实现方法,其特征在于:数据输出任务服务的具体方法包括:
根据数据输出工厂服务数据协议结构参数,调用文件存储、数据库存储或网络传输接口,构建流式数据协议解析载荷数据输出流程;
依据数据输出工厂服务控制要求上报输出流量及数据流输出状态报告、按输出任务启停控制要求,是否持续执行从指定内存缓存数据通路获取数据输出到指定的输出接口中。
8.根据权利要求2所述的流式通信数据协议解析软件框架实现方法,其特征在于:数据采集服务的具体方法包括:
根据任务控制调度服务数据采集任务参数,设置采集卡软硬件设备工作参数;
依据数据输出工厂服务控制要求上报输出流量及数据流输出状态报告、按输出任务启停控制要求,是否持续周期性从数据采集设备获取采集数据,并将采集到的源数据码流输出到指定的内存缓存数据通路。
CN201810181041.3A 2018-03-06 2018-03-06 一种流式通信数据协议解析软件框架实现系统及方法 Active CN108400992B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810181041.3A CN108400992B (zh) 2018-03-06 2018-03-06 一种流式通信数据协议解析软件框架实现系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810181041.3A CN108400992B (zh) 2018-03-06 2018-03-06 一种流式通信数据协议解析软件框架实现系统及方法

Publications (2)

Publication Number Publication Date
CN108400992A true CN108400992A (zh) 2018-08-14
CN108400992B CN108400992B (zh) 2020-05-26

Family

ID=63092413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810181041.3A Active CN108400992B (zh) 2018-03-06 2018-03-06 一种流式通信数据协议解析软件框架实现系统及方法

Country Status (1)

Country Link
CN (1) CN108400992B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110209377A (zh) * 2019-04-26 2019-09-06 平安科技(深圳)有限公司 基于工厂类的接口报文处理方法、装置、设备和存储介质
CN110928608A (zh) * 2019-12-30 2020-03-27 上海御渡半导体科技有限公司 一种支持多种通信协议的可扩展通信框架及通信方法
CN111027076A (zh) * 2019-12-26 2020-04-17 山西银河电子设备厂 一种安全隔离的计算机应用系统及其设计方法
CN111596962A (zh) * 2019-02-20 2020-08-28 中标软件有限公司 一种基于高速协议通道的实时微内核系统及其初始化方法
CN112328313A (zh) * 2020-11-09 2021-02-05 中国船舶重工集团公司第七0七研究所九江分部 一种应用于嵌入式系统的通用架构
CN112532736A (zh) * 2020-12-07 2021-03-19 珠海驿联新能源汽车有限公司 一种基于Spring依赖注入的物联网智能设备数据采集方法
CN113485700A (zh) * 2021-07-07 2021-10-08 华中科技大学鄂州工业技术研究院 基于Qt的光机电模块化控制软件的设计方法及设备
CN115086303A (zh) * 2022-06-29 2022-09-20 徐工汉云技术股份有限公司 一种多数据源数据转发器及其设计方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130073532A1 (en) * 2011-09-21 2013-03-21 International Business Machines Corporation Coordination of event logging operations and log management
WO2013078231A1 (en) * 2011-11-24 2013-05-30 Alibaba Group Holding Limited Distributed data stream processing method and system
CN103645951A (zh) * 2013-12-19 2014-03-19 北京邮电大学 一种跨平台的移动数据管理系统及其方法
CN105376110A (zh) * 2015-10-26 2016-03-02 上海华讯网络系统有限公司 以大数据流式技术实现网络数据包的分析方法及系统
CN106155697A (zh) * 2016-07-30 2016-11-23 北京慧摩尔科技有限公司 一种面向服务的开发框架(YC‑Framework)

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130073532A1 (en) * 2011-09-21 2013-03-21 International Business Machines Corporation Coordination of event logging operations and log management
WO2013078231A1 (en) * 2011-11-24 2013-05-30 Alibaba Group Holding Limited Distributed data stream processing method and system
CN103645951A (zh) * 2013-12-19 2014-03-19 北京邮电大学 一种跨平台的移动数据管理系统及其方法
CN105376110A (zh) * 2015-10-26 2016-03-02 上海华讯网络系统有限公司 以大数据流式技术实现网络数据包的分析方法及系统
CN106155697A (zh) * 2016-07-30 2016-11-23 北京慧摩尔科技有限公司 一种面向服务的开发框架(YC‑Framework)

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵金鑫: "《中国优秀硕士学位论文全文数据库 信息科技辑》", 30 August 2015 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111596962A (zh) * 2019-02-20 2020-08-28 中标软件有限公司 一种基于高速协议通道的实时微内核系统及其初始化方法
CN111596962B (zh) * 2019-02-20 2023-05-30 中标软件有限公司 一种基于高速协议通道的实时微内核系统及其初始化方法
CN110209377A (zh) * 2019-04-26 2019-09-06 平安科技(深圳)有限公司 基于工厂类的接口报文处理方法、装置、设备和存储介质
CN111027076A (zh) * 2019-12-26 2020-04-17 山西银河电子设备厂 一种安全隔离的计算机应用系统及其设计方法
CN110928608A (zh) * 2019-12-30 2020-03-27 上海御渡半导体科技有限公司 一种支持多种通信协议的可扩展通信框架及通信方法
CN110928608B (zh) * 2019-12-30 2024-03-22 上海御渡半导体科技有限公司 一种支持多种通信协议的可扩展通信框架及通信方法
CN112328313A (zh) * 2020-11-09 2021-02-05 中国船舶重工集团公司第七0七研究所九江分部 一种应用于嵌入式系统的通用架构
CN112328313B (zh) * 2020-11-09 2023-07-14 中国船舶重工集团公司第七0七研究所九江分部 一种应用于嵌入式软件的通用系统
CN112532736B (zh) * 2020-12-07 2022-12-06 珠海驿联新能源汽车有限公司 一种基于Spring依赖注入的物联网智能设备数据采集方法
CN112532736A (zh) * 2020-12-07 2021-03-19 珠海驿联新能源汽车有限公司 一种基于Spring依赖注入的物联网智能设备数据采集方法
CN113485700B (zh) * 2021-07-07 2022-06-28 华中科技大学鄂州工业技术研究院 基于Qt的光机电模块化控制软件的设计方法及设备
CN113485700A (zh) * 2021-07-07 2021-10-08 华中科技大学鄂州工业技术研究院 基于Qt的光机电模块化控制软件的设计方法及设备
CN115086303A (zh) * 2022-06-29 2022-09-20 徐工汉云技术股份有限公司 一种多数据源数据转发器及其设计方法
CN115086303B (zh) * 2022-06-29 2024-05-17 徐工汉云技术股份有限公司 一种多数据源数据转发器及其设计方法

Also Published As

Publication number Publication date
CN108400992B (zh) 2020-05-26

Similar Documents

Publication Publication Date Title
CN108400992A (zh) 一种流式通信数据协议解析软件框架实现系统及方法
US5809235A (en) Object oriented network event management framework
US5764915A (en) Object-oriented communication interface for network protocol access using the selected newly created protocol interface object and newly created protocol layer objects in the protocol stack
US5938733A (en) Object oriented representation of network requests in a client server model
US6182109B1 (en) Dynamic execution unit management for high performance user level network server system
CN101741850B (zh) 面向混合网络服务的多任务并发执行系统及方法
CN101826987B (zh) 一种基于融合开放网络的混合服务支撑系统及方法
CN107566153B (zh) 一种自管理的微服务实现方法
CN109309599B (zh) 一种基于路灯硬件平台实现物联网设备高并发通信的方法
US20030120666A1 (en) Real-time monitoring of service performance through the use of relational database calculation clusters
Dubey et al. A software platform for fractionated spacecraft
US20240061663A1 (en) Compiling system and compiling method for programmable network element
WO2020164229A1 (zh) 用于sdn控制器的灵活以太网网络拓扑抽象方法及系统
CN103902390A (zh) 基于Android的应用层的进程间通信方法及基础应用通信系统
CN107463582A (zh) 分布式部署Hadoop集群的方法及装置
CN110515889B (zh) 嵌入式fpga集群智能计算平台硬件框架
CN104778042A (zh) 一种基于事件流处理和插件式开发框架的流数据处理方法
CN105183470A (zh) 一种自然语言处理系统化服务平台
CN114710571B (zh) 数据包处理系统
CN110806855B (zh) 一种can设备开发系统及其方法
CN1955990B (zh) 综合电信平台中的流程执行方法及系统
Wu et al. Research on network element management model based on cloud native technology
CN106131073A (zh) 一种适用于多应用场景的通信框架和通信方法
CN114978850A (zh) 智能电网异构高并发大数据协同接入系统
De Florio et al. A system structure for adaptive mobile applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant