CN108111344A - 一种可链接式流式数据解析动态流程构建模型实现方法 - Google Patents

一种可链接式流式数据解析动态流程构建模型实现方法 Download PDF

Info

Publication number
CN108111344A
CN108111344A CN201711370575.2A CN201711370575A CN108111344A CN 108111344 A CN108111344 A CN 108111344A CN 201711370575 A CN201711370575 A CN 201711370575A CN 108111344 A CN108111344 A CN 108111344A
Authority
CN
China
Prior art keywords
data
interlinkage
processing
signal
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711370575.2A
Other languages
English (en)
Other versions
CN108111344B (zh
Inventor
俞鹏飞
王桂林
张振华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telecommunication Science And Technology Fifth Research Institute Co Ltd
Original Assignee
Telecommunication Science And Technology Fifth Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telecommunication Science And Technology Fifth Research Institute Co Ltd filed Critical Telecommunication Science And Technology Fifth Research Institute Co Ltd
Priority to CN201711370575.2A priority Critical patent/CN108111344B/zh
Publication of CN108111344A publication Critical patent/CN108111344A/zh
Application granted granted Critical
Publication of CN108111344B publication Critical patent/CN108111344B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)
  • Communication Control (AREA)

Abstract

本发明提供了一种可链接式流式数据解析动态流程构建模型实现方法，根据通道/信号码流解析任务的任务参数，获取数据通信路径并匹配可链接式处理单元算法，构建可链接式处理单元算法单元实例化对象；通过可链接式处理单元算法单元控制接口初始化所述实例化对象，以通道/信号的数据通信路径为次序设置各个可链接式处理算法单元间的链接关系，实现通道/信号的数据在流式处理流转的处理链构建；最后调用该处理链单元链接首节点的数据接口和参数接口，完成码流数据在各链接式处理算法单元对象的流转处理。与现有技术相比，能针对流式通信协议码流数据解析，这种层层剥离迭代解析的流式数据处理，且在信号码流处理的流式及控制上均有良好的可伸缩性。

Description

一种可链接式流式数据解析动态流程构建模型实现方法
技术领域
本发明涉及一种可链接式流式数据解析动态流程构建模型实现方法，特别是涉及一种适用于数据通信领域的可链接式流式数据解析动态流程构建模型实现方法。
背景技术
目前，流式数据处理应用主要热点在分布式云计算领域。如在一篇申请号为“CN201110450268.1”的中国专利申请文件中公开了一种适用流式处理的大规模数据连续分析系统实现方法，其适用流式处理的大规模数据连续分析系统，包括元数据管理模块，用于管理数据表和数据库的元信息；查询计划生成模块，用于接收查询请求，生成优化的查询计划；数据导入任务生成模块，用于接收数据导入请求，生成数据导入MR作业集；增量处理模块，用于并行地增量地提交Hadoop系统数据导入和查询作业；MR消息处理模块，用于接收Hadoop系统的Map或Reduce函数的结果，将结果输出给Reduce端或下一个作业；数据库连接模块，用于作为Hadoop系统和数据库之间的接口。该发明使用Hadoop系统将各节点中的数据库有机组织在一起，并发地执行数据导入和数据查询，使用管道技术改进MapReduce(MR)执行流程，使得数据查询以连续的流水的方式执行，大大缩短了大规模数据分析的时间。
通信产业是大数据的基础承载者。通信网络承载海量数据，无论是结构化，还是非结构化抑或是混合数据，都在通信网络上传输、承载、存储、交换。与此同时，所有接入信息网络人、物，又产生新的数据留下信息轨迹。通信网在由电信网转变成计算网同时，也形成了一个庞大的每天都在膨胀、更新的数据富矿。无疑，通信企业具有天然的大数据资源。
但对于通信产业大数据这个富矿的挖掘，首要解决的是基于设备和网络上的海量流式码流数据进行码流解析、协议解析转化、分类萃取有效数据，进而为进一步信息化数据大数据分析挖掘的提供数据源。而现有流式数据处理限于基于信息化数据大数据分析挖掘的分布式云计算技术解决方案。
发明内容
本发明要解决的技术问题是提供一种可链接式流式数据解析动态流程构建模型实现方法及系统，应对通信协议数据码流解析这种层层剥离、分接、迭代解析的流式数据处理流式数据解析动态流程构建模型。
本发明采用的技术方案如下：
一种可链接式流式数据解析动态流程构建模型实现方法，具体方法步骤为：
步骤一、根据通道/信号码流解析任务的任务参数，获取通道/信号数据通信路径；
步骤二、基于所述通道/信号数据通信路径，匹配可链接式处理单元算法，构建可链接式处理单元算法单元实例化对象；
步骤三、根据所述任务参数配置，通过可链接式处理单元算法单元控制接口初始化所述实例化对象；
步骤四、基于可链接式处理算法单元链接接口，以通道/信号的数据通信路径为次序设置各个可链接式处理算法单元间的链接关系，实现通道/信号的数据在流式处理流转的处理链构建；
步骤五、调用该处理链单元链接首节点的数据接口和参数接口，完成码流数据在各链接式处理算法单元对象的流转处理。
所述任务参数为任务通信协议数据的协议封装类型参数，所述数据通信路径为协议封装转换路径。
获取通道/信号数据通信路径的具体方法为：对任务的通信协议数据进行逐层协议识别及协议解析验证，得到其协议封装类型，从而实现信号路径的识别。
与现有技术相比，本发明的有益效果是：
1、能针对流式通信协议码流数据解析，这种层层剥离迭代解析的流式数据处理，且在信号码流处理的流式及控制上均有良好的可伸缩性；
2、在信号码流处理上有较强恰如其分的适用性，开发者对核心技术有更强的掌握力，同时可链接式处理单元封装设计适用于用户已有的协议解析算法封装。
3、能够适用SDH、ATM、PSTN、IP、VSTA等有线或无线多种码流数据协议数据解析处理流程构建。
附图说明
图1为本发明其中一实施例的基础解析中解扰处理算法示意图。
图2为本发明其中一实施例的动态流程装配示意图。
图3为信号数据封装过程示意图。
图4为本发明其中一实施例的信号路径识别原理示意图。
图5为本发明其中一实施例的流式信号数据解析原理示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本说明书（包括摘要和附图）中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
具体实施例1
一种可链接式流式数据解析动态流程构建模型实现方法，具体方法步骤为：
步骤一、根据通道/信号码流解析任务的任务参数，获取通道/信号数据通信路径；
步骤二、基于所述通道/信号数据通信路径，匹配可链接式处理单元算法，构建可链接式处理单元算法单元实例化对象；
步骤三、根据所述任务参数配置，通过可链接式处理单元算法单元控制接口初始化所述实例化对象；
步骤四、基于可链接式处理算法单元链接接口，以通道/信号的数据通信路径为次序设置各个可链接式处理算法单元间的链接关系，实现通道/信号的数据在流式处理流转的处理链构建；
步骤五、调用该处理链单元链接首节点的数据接口和参数接口，完成码流数据在各链接式处理算法单元对象的流转处理。
根据任务参数，获取通道/信号数据通信路径，获取任务执行资源，进而完成执行流程装配，并启动执行流程。
所述可链接式处理单元算法本领域技术人员能够根据自己相关匹配常识选择现有技术算法或者自己设定算法。
在本具体实施例中，如图1所示，通过对信号的X^43+1 解扰处理实现对信号的基础解析。
各种具体信号协议解析算法单元，封装完成具体信号协议范围内的数据协议解码。根据本具体实施例的实际业务应用有众多的基础解析算法单元集合，一般封装为静态库或动态库。其通用性特征就是：
算法输入特性：
参数1：in_pdata：待处理数据码流
参数2：inDataPara: 处理数据码流的描述元数据（解析所需元数据参数信息，如数据长度、数据误码率等）
算法输出特性：
参数1：Out_pdata：完成当前协议解析的载荷数据码流
参数2：OutDataPara: 输出载荷数据码流的描述元数据（后续处理所需参数信息，如数据长度、当前处理置信度率等）。
实现信号基础解析算法单元（包括流式数据读取和流式数据输出处理）可链式封装，将对各个基础解析算法单元均封装为可链式解析算法单元，使得各个基础解析算法单元具备的动态流程装配能力。
可链式封装设计方法为，针对每个基础解析算法单元，由一个对应的可链接式处理单元进行可链接式抽象接口继承后，完成对基础解析算法单元接口的调用处理逻辑封装，并实现可链接式抽象接口控制逻辑。
可链接式接口控制逻辑实现，包括两种类型接口，一种是提供给动态流程装配的控制接口和链接流程配置接口，另一种是可链接式处理单元间的流转推送数据接口和参数接口。
控制接口（Cotrol Port）：算法处理单元初始化、资源释放控制及其他控制需求的接口。
链接流程配置接口（Connect Port）：根据指定通道/信号的数据通信协议封装路径需要，进行后续处理对象的接口链接设计及接口。进而实现通道/信号的数据在各个可链接式处理单元间根据链接要求自行流转执行。可以对单个可链接式处理单元设置多个后续可链接式处理单元，该可链接式处理单元能够将其解析出的载荷数据分为多个副本（或类别）数据及参数推送给后续的各个可链接式处理单元（如图2所示中A算法单元同时链接到B、C算法单元）；同样可将对多个可链接式处理单元设置同一个后续可链接式处理单元，多个前序可链接式处理单元可已将其各自解析出的载荷数据及参数均推送给同一后续可链接式处理单元（如图2所示中到B、C算法单元后续处理链接到流式数据输出处理单元）。
数据接口（Data Port）和参数接口（Para Port）：各个可链接式处理单元在完成内部处理后，均调后续可链接式处理单元的数据接口和参数接口推送数据和参数。当可链接式处理单元的后续处理为空时，即为通道/信号的数据的最后一个处理者，其直接完成内部处理后返回。
本技术方案能针对流式通信协议码流数据解析，这种层层剥离迭代解析的流式数据处理，且可链接式设计在信号码流处理的流式及控制上均有良好的可伸缩性。信号码流处理上有较强恰如其分的适用性，开发者对核心技术有更强的掌握力。
具体实施例2
在具体实施例1的基础上，所述任务参数为任务通信协议数据的协议封装类型参数，所述数据通信路径为协议封装转换路径。
如图3所示，特定通道/信号的通信协议数据具备固定的层层协议封装转换路径的特性。可链接式处理单元封装设计适用于用户已有的协议解析算法封装。
具体实施例3
在具体实施例2的基础上，获取通道/信号数据通信路径的具体方法为：对任务的通信协议数据进行逐层协议识别及协议解析验证，得到其协议封装类型，从而实现信号路径的识别。
如图4所示，依据特定通道/信号的通信协议数据具备固定的层层协议封装转换路径的特性，根据通道/信号码流解析任务对相应通信协议数据进行调制识别及解调，得到所述相应通信协议数据的调制封装类型，从而实现信号路径识别，如图5所示，为特定通道/信号路径流式数据处理提供动态流程装配构建依据。
如图2所示，在本具体实施例中，基于通道/信号的数据通信协议封装路径参数，匹配可链接式处理单元算法单元，构建可链接式处理单元算法单元实例化对象。依据任务参数配置通过可链接式处理单元算法单元控制接口初始化实例化对象，进而基于可链接式处理算法单元链接接口，以通道/信号的数据通信协议封装路径为次序设置各个可链接式处理算法单元间的链接关系，实现通道/信号的数据在流式处理流转流程构建。
在动态流程装配完成通道/信号的数据在流式处理流转流程构建模型构建后，通道/信号码流解析任务分配线程执行资源后，调用处理链首节点（如图2中的首处理单元-可链接式流式数据提取单元）的数据接口和参数接口，该处理链就可自行逐步完成码流数据在各可链接式处理算法单元对象的流转处理。对与流式数据的循环处理执行循环调用处理链首节点的数据接口和参数接口或周期间歇性将首节点的数据接口和参数接口作为回调上下文挂载到线程池任务队列等待线程时间片轮询执行。

Claims (3)

1.一种可链接式流式数据解析动态流程构建模型实现方法，具体方法步骤为：
步骤一、根据通道/信号码流解析任务的任务参数，获取通道/信号数据通信路径；
步骤二、基于所述通道/信号数据通信路径，匹配可链接式处理单元算法，构建可链接式处理单元算法单元实例化对象；
步骤三、根据所述任务参数配置，通过可链接式处理单元算法单元控制接口初始化所述实例化对象；
步骤四、基于可链接式处理算法单元链接接口，以通道/信号的数据通信路径为次序设置各个可链接式处理算法单元间的链接关系，实现通道/信号的数据在流式处理流转的处理链构建；
步骤五、调用该处理链单元链接首节点的数据接口和参数接口，完成码流数据在各链接式处理算法单元对象的流转处理。
2.根据权利要求1所述的构建模型实现方法，所述任务参数为任务通信协议数据的协议封装类型参数，所述数据通信路径为协议封装转换路径。
3.根据权利要求2所述的构建模型实现方法，获取通道/信号数据通信路径的具体方法为：对任务的通信协议数据进行逐层协议识别及协议解析验证，得到其协议封装类型，从而实现信号路径的识别。
CN201711370575.2A 2017-12-19 2017-12-19 一种可链接式流式数据解析动态流程构建模型实现方法 Active CN108111344B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711370575.2A CN108111344B (zh) 2017-12-19 2017-12-19 一种可链接式流式数据解析动态流程构建模型实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711370575.2A CN108111344B (zh) 2017-12-19 2017-12-19 一种可链接式流式数据解析动态流程构建模型实现方法

Publications (2)

Publication Number Publication Date
CN108111344A true CN108111344A (zh) 2018-06-01
CN108111344B CN108111344B (zh) 2020-08-04

Family

ID=62210045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711370575.2A Active CN108111344B (zh) 2017-12-19 2017-12-19 一种可链接式流式数据解析动态流程构建模型实现方法

Country Status (1)

Country Link
CN (1) CN108111344B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090171999A1 (en) * 2007-12-27 2009-07-02 Cloudscale Inc. System and Methodology for Parallel Stream Processing
CN103150324A (zh) * 2012-12-26 2013-06-12 人民搜索网络股份公司 一种基于链式处理的数据收集系统及其方法
CN105024971A (zh) * 2014-04-18 2015-11-04 中兴通讯股份有限公司 一种通信协议转换方法及装置
CN105204837A (zh) * 2014-06-27 2015-12-30 南京南瑞继保电气有限公司 一种逻辑编程的实现方法和装置
CN107273137A (zh) * 2017-06-30 2017-10-20 上海棠棣信息科技股份有限公司 用于快速完成定制业务的可移植软件平台、方法和机器人

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090171999A1 (en) * 2007-12-27 2009-07-02 Cloudscale Inc. System and Methodology for Parallel Stream Processing
CN103150324A (zh) * 2012-12-26 2013-06-12 人民搜索网络股份公司 一种基于链式处理的数据收集系统及其方法
CN105024971A (zh) * 2014-04-18 2015-11-04 中兴通讯股份有限公司 一种通信协议转换方法及装置
CN105204837A (zh) * 2014-06-27 2015-12-30 南京南瑞继保电气有限公司 一种逻辑编程的实现方法和装置
CN107273137A (zh) * 2017-06-30 2017-10-20 上海棠棣信息科技股份有限公司 用于快速完成定制业务的可移植软件平台、方法和机器人

Also Published As

Publication number Publication date
CN108111344B (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
CN106559251B (zh) 一种基于yang模型的编译方法、及对应的接口、组件和系统
CN102594833B (zh) 一种通信协议适配方法和系统
CN102968307B (zh) 一种基于java的web开发中间件
CN101408899B (zh) 一种网站多数据源切换方法和装置
CN109246251A (zh) 一种微服务调用方法、装置、系统、设备及可读存储介质
CN100583783C (zh) 基于配置策略的电信领域遗留系统集成工具
CN102902537B (zh) 基于FastCGI和HTML模板的嵌入式WEB MVC开发框架
CN108932588B (zh) 一种前后端分离的水电站群优化调度系统及方法
CN102447585B (zh) 将网络配置协议响应报文转换为命令行的方法及装置
CN111552838B (zh) 数据处理方法及装置、计算机设备、存储介质
CN103179133B (zh) 基于实体类的客户端与服务器通信的方法
CN105049256B (zh) 一种通用自定义接口报文实现方法及系统
CN108429808B (zh) 一种物联网跨平台资源交互的方法和系统
CN104639507B (zh) 一种异构网络间的承载协议报文数据传输方法及系统
CN103747004A (zh) 物联网平台通信协议的实现方法
CN104881490A (zh) 一种web表单数据存取方法和系统
CN101808051B (zh) 应用整合网关及其控制方法
CN103001945A (zh) 一种多元化资源标识安全访问方法
CN104811922A (zh) 一种相邻节点注册方法和装置、跨节点注册方法和系统
CN101848239A (zh) 一种高时效性的分布式服务集成调用系统
CN106230889B (zh) 移动应用业务组件资源管理方法及系统
CN112511591A (zh) 一种医院接口数据交互的实现方法、装置、设备和介质
CN1314225C (zh) 一种基于xml文档实现开放电信业务的方法
CN112688802B (zh) 一种基于api网关的高效能交换中间件
CN106528175B (zh) 面向bs架构的数据接口生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant