CN113055296B - 一种数据处理方法、装置、系统以及终端设备 - Google Patents

一种数据处理方法、装置、系统以及终端设备 Download PDF

Info

Publication number
CN113055296B
CN113055296B CN202110283377.2A CN202110283377A CN113055296B CN 113055296 B CN113055296 B CN 113055296B CN 202110283377 A CN202110283377 A CN 202110283377A CN 113055296 B CN113055296 B CN 113055296B
Authority
CN
China
Prior art keywords
data
telemetry
message
forwarding
telemetering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110283377.2A
Other languages
English (en)
Other versions
CN113055296A (zh
Inventor
柯明明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fiberhome Telecommunication Technologies Co Ltd
Original Assignee
Fiberhome Telecommunication Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fiberhome Telecommunication Technologies Co Ltd filed Critical Fiberhome Telecommunication Technologies Co Ltd
Priority to CN202110283377.2A priority Critical patent/CN113055296B/zh
Publication of CN113055296A publication Critical patent/CN113055296A/zh
Application granted granted Critical
Publication of CN113055296B publication Critical patent/CN113055296B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/74Address processing for routing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00Network arrangements, protocols or services for addressing or naming
    • H04L61/09Mapping addresses
    • H04L61/25Mapping addresses of the same type
    • H04L61/2503Translation of Internet protocol [IP] addresses

Abstract

本发明涉及通信技术领域,特别涉及一种数据处理方法、装置、系统以及终端设备。该数据处理方法包括获取数据采集配置指令;根据所述数据采集配置指令进行遥测数据采集,并将采集的所述遥测数据进行报文封装;配置遥测报文转发规则,以使进行了报文封装的所述遥测数据支持通过主控板转发面上报至控制器;根据所述遥测报文转发规则,转发进行了报文封装的所述遥测数据。本发明通过利用终端设备的主控板转发面直接将各节点的遥测数据按照指定规则上报到控制设备,上报过程不占用主控板中央控制器和运行内存,不会影响各节点中央控制器原有的管理业务,提高了终端设备的遥测处理能力。

Description

一种数据处理方法、装置、系统以及终端设备
技术领域
本发明涉及通信技术领域,特别涉及一种数据处理方法、装置、系统以及终端设备。
背景技术
传统网络监控方式是基于SNMP(Simple Network Management Protocol简单网络管理协议)、CLI(Command-Line Interface命令行界面)采集信息的方式,通过拉模式(PullMode)来获取设备的监控数据。随着无线化和物联网的发展,园区网络的节点数量和接入网络的终端数量都呈现快速增长的趋势,传统网络监控方式逐渐不能满足人们的需求。网络遥测(Telemetry)技术是一项远程的从物理设备或虚拟设备上高速采集数据的技术,Telemetry技术支持智能运维系统管理更多的设备和监控数据,拥有更高的数据采集精度和更加实时的监控过程,对设备自身功能和性能的影响小,相较于传统网络监控方式可以更好的满足用户要求。设备通过推模式(Push Mode)周期性的主动向采集器上送设备的接口流量统计、CPU(Central Processing Unit中央处理器)或内存数据等信息,支持结构化数据,相对传统拉模式(Pull Mode)的一问一答式交互,具备更高的执行效率和更高的亚秒级采集精度。
在光网络通信设备,例如OLT(Optical Line Terminal光线路终端)设备中基于遥测(Telemetry)功能进行数据采集,目前的方案是将整个OLT系统的遥测采集数据都汇集到主控板CPU,再由主控板CPU部署的采集单元代为上报到控制器,此方案在现有设备落地实施中存在以下缺点:在大数据流量、复杂应用环境下,主控板CPU由于承担着繁重的日常任务就可能消耗绝大部分资源,在开启了遥测采集功能后,主控板CPU在处理遥测采集数据时就会影响设备的其他管理业务;同时主控板内存也可能不足以额外存储OLT系统监控的采集数据;而且业务板的采集能力有限,开启了遥测采集功能后,主控板和业务板之间的管理通道会出现性能瓶颈,影响现有管理业务。
因此,如何解决现有技术中光网络通信设备的遥测数据采集和上报困难的问题,提供一种适用于光网络通信设备的遥测功能实现方法有重要意义。
发明内容
本发明提供一种数据处理方法、装置、系统以及终端设备,能够在不影响其它性能采集报文的正常处理的情况下实现遥测报文快速实时转发,以解决现有技术中光网络通信设备的遥测数据采集和上报困难的问题。
为实现上述目的,按照本发明的一个方面,提供了一种数据处理方法,所述方法包括:
获取数据采集配置指令;
根据所述数据采集配置指令进行遥测数据采集,并将采集的所述遥测数据进行报文封装;
配置遥测报文转发规则,以使进行了报文封装的所述遥测数据支持通过主控板转发面上报至控制器;
根据所述遥测报文转发规则,转发进行了报文封装的所述遥测数据。
可选的,所述根据所述数据采集配置指令进行遥测数据采集,并将采集的所述遥测数据进行报文封装包括:
根据所述数据采集配置指令,调用各节点转发面接口获取所述数据采集配置指令对应的采集对象的遥测数据;
对所述遥测数据进行报文封装,并发送到主控板转发面。
可选的,所述对所述遥测数据进行报文封装,并发送到主控板转发面包括:
采用本节点内网信息封装所述遥测数据头部,并通过各节点遥测客户端发送到主控板转发面。
可选的,所述配置遥测报文转发规则,以使进行了报文封装的所述遥测数据支持通过主控板转发面上报至控制器包括:
通过控制遥测服务端调用主控板转发面接口,进行遥测报文转发规则配置。
可选的,所述根据所述遥测报文转发规则,转发进行了报文封装的所述遥测数据包括:
获取所述进行了报文封装的所述遥测数据的网络地址;
将所述网络地址进行转换,并根据转换后的所述网络地址转发所述遥测数据。
可选的,所述将所述网络地址进行转换包括:
将网络地址转换为公网网络地址。
按照本发明的另一方面,提供了一种数据处理装置,其特征在于,所述数据处理装置包括:
指令获取模块,用于获取数据采集配置指令;
数据采集模块,用于根据所述数据采集配置指令进行遥测数据采集,并将采集的所述遥测数据进行报文封装;
配置模块,用于配置遥测报文转发规则,以使进行了报文封装的所述遥测数据支持通过主控板转发面上报至控制器;
数据转发模块,用于根据所述遥测报文转发规则,转发进行了报文封装的所述遥测数据。
可选的,所述数据采集模块包括:
采集单元,用于根据所述数据采集配置指令,调用各节点转发面接口获取所述数据采集配置指令对应的采集对象的遥测数据;
报文封装单元,用于对所述数据进行报文封装,并发送到主控板转发面。
按照本发明的又一方面,提供了一种终端设备,其特征在于,所述终端设备包括:
至少一个处理器;
以及,与所述至少一个处理器通信连接的存储器;
其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述任一数据处理方法。
按照本发明的又一方面,提供了一种数据处理系统,其特征在于,所述数据处理系统包括上述终端设备,以及与所述终端设备通信连接的控制设备。
与现有技术相比较,本发明所构思的技术方案具有如下有益效果:本发明实施例提供了一种数据处理方法、装置、系统以及终端设备,通过利用终端设备的主控板转发面直接将各节点的遥测数据按照指定规则上报到控制设备,上报过程不占用主控板中央控制器和运行内存,不会影响各节点中央控制器原有的管理业务,从而提高终端设备的遥测处理能力。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1为本发明实施例提供的一种数据处理系统的示意图;
图2为本发明实施例提供的光线路终端设备基于遥测的数据采集示意图;
图3为本发明实施例提供的在光线路终端设备实现遥测功能的示意图;
图4为本发明实施例中在主控板转发面进行遥测报文地址转换的示意图;
图5为本发明实施例在光线路终端设备中的遥测报文转发路径示例;
图6为本发明实施例提供的一种数据处理方法的流程图;
图7为本发明实施例提供的一种数据处理装置的示意图;
图8为本发明实施例提供的一种终端设备示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
需要说明的是,如果不冲突,本发明实施例中的各个特征可以相互组合,均在本发明的保护范围之内。另外,虽然在装置示意图中进行了功能模块的划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于装置示意图中的模块划分,或流程图中的顺序执行所示出或描述的步骤。
本发明其中一个实施例提供的数据处理系统,请参阅图1至图5,所述数据处理系统包括:一种终端设备20,以及与所述终端设备20通信连接的控制设备10。所述控制设备10和所述终端设备20之间进行数据传输,所述控制设备10下发数据采集配置指令到所述终端设备20,所述终端设备20包括主控板和至少一个业务板,所述主控板上设有北向接口,所述北向接口接收到所述数据采集配置指令后对所述数据采集配置指令进行解析,得到数据采集配置,所述数据采集配置中包括采集对象和采集数据模型等信息,所述北向接口将所述数据采集配置发送至所述终端设备20的各节点,所述主控板或任一业务板均可视为一个节点,所述终端设备20的各节点根据所述数据采集配置进行数据采集,并将所述采集到的所述遥测数据根据所述采集数据模型进行报文封装,得到遥测报文。所述主控板调用转发面接口,进行遥测报文转发规则配置,确定遥测报文转发规则;所述终端设备20的各节点将所述遥测报文发送至主控板的转发面,根据配置好的所述遥测报文转发规则对所述遥测报文进行处理,具体包括将所述遥测报文的网络地址转换为公网网络地址。所述主控板通过转发面将进行网络地址转换后的所述遥测报文发送给所述控制设备10。其中,所述控制设备10包括控制模块101和采集模块102,所述控制设备10可以是控制器100,所述终端设备20可以是光网络通信设备,所述光网络通信设备包括但不限于机架式三层交换机、路由器和OLT设备(Optical Line Terminal光线路终端),所述控制设备10的控制模块101用于发数据采集配置指令到所述终端设备20,所述控制设备10的所述采集模块102用于接收所述终端设备20发送的所述遥测报文。
请参阅图2,以EPON(Ethernet Passive Optical Network以太网无源光网络)为例,EPON将以太网技术和高速传输技术结合起来,可以实现语音、数据、视频多业务的综合接入。EPON接入网设备具体包括OLT(Optical Line Terminal光线路终端)、ODN(OpticalDistribution Network光分配网络)和ONU(Optical Network Unit光网络单元)。其中,所述终端设备20可以为光线路终端200,所述光线路终端200即OLT设备,所述控制设备10为控制器100。控制器100下发数据采集配置指令到所述OLT设备,所述控制器100包含控制模块101和采集模块102。所述控制模块101用于下发数据采集配置指令,所述采集模块102用于接收和储存根据所述终端设备20上报的遥测报文。所述数据采集配置指令可以选择通过NETCONF协议(Network Configuration Protocol网络配置协议)下发,所述遥测报文的上报模式可以选择通过gRPC协议(RPC:Remote Procedure Call Protocol远程过程调用协议)上报,其中,采集数据配置模型为an-telemetry.yang;遥测报文上报模型为grpc-dialout.proto、telemetry.proto。本实施例中的所述数据采集配置指令选择通过NETCONF下发,所述遥测报文的上报模式选择通过UDP(User Datagram Protocol用户数据报协议)上报,其中,采集数据配置模型为an-telemetry.yang;遥测报文上报模型为grpc-dialout.proto、telemetry.proto,所述控制模块101支持通过NETCONF协议基于配置数据模型下发数据采集配置指令,所述OLT设备支持作为UDP的客户端基于规范的采集数据模型进行数据封装并上报给所述采集模块102,其中,所述数据采集配置指令中包含采集对象信息。
所述数据采集配置指令的下发以及所述遥测报文的上报模式还可以选择gPRC订阅及gRPC上报模式,其中,采集数据配置模型为grpc-dialin.proto;遥测报文上报模型为grpc-dialout.proto、telemetry.proto。需要说明的是,若选用gRPC订阅及gRPC上报模式,则所述控制模块101支持作为gRPC客户端下发数据采集配置订阅,其中,所述数据采集配置订阅中包含采集对象信息,所述OLT设备支持作为gRPC的服务器端接收上述数据采集配置订阅,基于规范的采集数据模型进行数据封装并上报给所述采集模块102。
请参阅图3,以OLT设备为例,OLT设备包括管理面、控制面和转发面,其中,OLT设备的转发芯片主要用于依据指定规则和流程进行数据转发,属于转发面,图3中所示的主控板和业务板中除了转发芯片外的其他部件均运行在设备CPU上,属于管理面。所述OLT设备包括主控板和至少一个业务板,所述OLT设备包括TLM组件和TLM_CLIENT组件,所述TLM组件设置在所述OLT设备的所述主控板上,所述TLM组件作为遥测服务端,用于接收控制器100下发的所述数据采集配置指令并对所述数据采集配置指令进行解析,得到数据采集配置,将所述数据采集配置分发至所述OLT设备各节点的TLM_CLIENT组件,其中,所述主控板或任一业务板均可视为一个节点,所述TLM_CLIENT组件作为各节点的遥测客户端,用于接收主控板TLM组件下发的所述数据采集配置,并根据所述数据采集配置进行遥测数据采集。
请参阅图3,所述OLT设备主控板上的遥测服务端调用北向接口获取控制器100通过NETCONF协议下发的数据采集配置指令并对所述数据采集配置指令进行解析,得到数据采集配置,图3中描述为北向协议处理,并将所述数据采集配置通过遥测服务端发送至所述OLT设备各节点的遥测客户端。北向接口是为用户接入和管理网络而定义的接口,通常是以简单、易用且直观的界面形式呈现给用户,用户通过界面点击或配置发送命令,而系统内部则使用北向接口将这些命令发送给数据处理层。所述OLT设备的各节点的遥测客户端接收到所述数据采集配置后,根据所述数据采集配置内的具体信息开启或关闭本节点的遥测数据采集任务。若开启本节点的遥测数据采集任务,则该节点的遥测客户端根据下发的所述数据采集配置调用本节点转发面提供的接口,通过所述接口获取指定采集对象的采集项,并将采集的遥测数据根据所述数据采集配置内的采集数据模型进行报文封装,得到遥测报文,进行报文封装时可采用本节点内网信息封装所述遥测数据头部。各节点的遥测客户端将封装好的所述遥测报文发送到所述OLT设备的主控板转发面。其中,所述遥测报文采用本节点内网信息进行封装后,只需要在主控板的转发面进行流程处理,就能将所述遥测报文快速上报到控制器100。
请参阅图3和图4,所述OLT设备的主控板上的遥测服务端调用主控板转发面接口设置遥测报文转发规则,所述遥测报文转发规则用于使所述遥测报文拥有公网网络地址,可以直接通过主控板转发面直接将所述遥测报文上报到控制器100。所述遥测报文转发规则可以包含在所述数据采集配置的下发指令中,通过北向协议处理下发到主控转发面,也可以根据其他北向命令通过北向接口(可以是CMD命令行、NETCONF/YANG,SNMP等)下发到主控板遥测服务端。所述OLT设备包括主控板和业务板,其中主控板可以和公网通信,而业务板由于没有公网MAC(Media Access Control,介质访问控制)地址和IP地址(InternetProtocol Address互联网协议地址),不能直接和公网通信,业务板各节点的遥测客户端传输到主控板转发面的所述遥测报文也不能直接和公网通信,本方案中所述OLT设备的主控板转发芯片根据所述遥测报文转发规则,利用主控板转发面的NAT(Network AddressTranslation,网络地址转换)协议将各节点遥测客户端发送来的所述遥测报文进行网络地址转换,将业务板上报的所述遥测报文的内网IP地址转换为公网IP地址就能和公网进行通信了,所述遥测报文再通过IP路由转发到控制器100。所述遥测报文转发规则还可以是直接采用ACL规则(Access Control List访问控制列表),将所述遥测报文的内网MAC地址替换为公网MAC地址。
请参阅图4和图5,以通过UDP协议方式上报所述遥测报文为例,所述OLT设备主控板转发面接收到的所述遥测报文是基于UDP封装的三层报文,其中,MAC层和UDP层是所述遥测报文的封装部分,具体的,MAC层包括以太网头部信息,UDP层包括UDP报文头信息等。需要说明的是,所述遥测报文除了通过UDP协议上报以外还可以有其他上报模式,例如还可以通过gRPC协议上报所述遥测报文,此时所述遥测报文是基于TCP(Transmission ControlProtocol,传输控制协议)封装的三层报文,封装部分为MAC层和TCP层,其中,MAC层包括以太网头部信息,TCP层包括TCP报文头信息等。
在进行报文封装时,所述遥测报文采用了本节点内网信息封装头部,其中,所述业务板的本节点内网信息包括但不限于:源IP、源MAC和L4源端口等。所述遥测报文转发规则根据NAT规则配置,具体包括:业务板到主控板方向(出方向),配置源IP+源L4端口的转换规则;主控板到业务板方向(入方向),使用特殊的NAT HOST(主机),匹配目的IP和目的L4端口,进行三层转发同时,修改目的IP和目的L4端口。
请参阅图5,所述OLT设备中所述遥测报文通过转发面转发路径的具体示例:
业务板和主控板之间内部通信基于VLAN建立了二层通道,举例VLAN为4091;主控板基于VLAN 4091和主控板管理口MAC地址建立三层VLANIF接口,所述三层VLANIF接口用于业务板和主控板内部通信的三层报文转发,并配置VLAN 4091三层接口的默认网关,举例为IP:10.28.100.254/24;
业务板将所述遥测报文依据本节点内网信息进行封装后,通过VLAN4091发送到所述三层VLAN 4091接口;主控板转发面收到所述遥测报文后,进行三层转发,完成MAC替换;
主控板转发面依据上述配置的所述遥测报文转发规则生效,将所述遥测报文进行源IP和L4源端口转换,转发到控制器100;
主控板转发面接收到控制器100响应报文,依据上述遥测报文转发规则中的入方向规则,完成目的IP和目的L4端口转换,并进行三层转发,采用所述三层VLANIF接口,将控制器100的响应报文转发给业务板。
其中,控制器100接收到所述遥测报文后会对所述遥测报文做出响应,并下发响应报文。
在本系统中,所述遥测报文没有上报到主控板CPU,不占用主控板CPU进程,而是直接在主控板的转发面通过指定规则直接上报到控制器100,从而提高所述OLT设备的遥测处理能力。
请参阅图8,所述终端设备20在其他一些实施例中包括:至少一个处理器201,图8中以一个处理器201为例;以及,与所述至少一个处理器201通信连接的存储器202;
其中,所述存储器202存储有可被所述至少一个处理器201执行的指令,所述指令被所述至少一个处理器201执行,以使所述至少一个处理器201能够执行下述实施例中所述的任一数据处理方法。
处理器201和存储器202可以通过总线或其他方式连接,图8中以通过总线连接为例,存储器202作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本发明实施例中的数据处理系统对应的程序指令/模块(例如图7中的模块和单元)。处理器201通过运行存储在存储器202中的非易失性软件程序、指令以及模块,从而执行各种功能应用以及数据处理,即实现上述系统实施例数据处理流程。
存储器202可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序。此外,存储器202可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器202可选包括相对于处理器201远程设置的存储器202。
所述一个或者多个模块存储在所述存储器202中,当被所述一个或者多个处理器201执行时,执行上述任意实施例中的数据处理流程,例如,执行图6中的方法步骤。
上述产品可执行本发明实施例所提供的方法,具备执行方法相应的功能模块。未在本实施例中详尽描述的技术细节,可参见本发明实施例所提供的方法。
请参阅图6,本发明另一个实施例提供了一种数据处理方法,所述方法应用于上述数据处理系统中,所述方法包括以下步骤:
S101、获取数据采集配置指令;
以OLT设备和控制器100之间的遥测数据采集及传输为例,所述OLT设备的主控板CPU接收并解析控制器100下发的所述数据采集配置指令并得到数据采集配置,主控板通过遥测服务端将所述数据采集配置分发到主控板和业务板的遥测客户端。
S102、根据所述数据采集配置指令进行遥测数据采集,并将采集的所述遥测数据进行报文封装;
所述OLT设备各节点的遥测客户端接收到所述遥测服务端发送的所述数据采集配置后,负责开启或关闭本节点的数据采集任务。所述数据采集配置中包括采集对象和采集数据模型等信息,开启数据采集任务时,调用本节点转发面提供的接口获取指定采集对象的采集数据,将采集到的遥测数据根据所述采集数据模型进行报文封装,得到遥测报文。
具体的,所述步骤包括:
根据所述数据采集配置指令,调用各节点转发面接口获取所述数据采集配置指令对应的采集对象的数据;
根据数据采集配置对所述遥测数据进行报文封装,并发送到主控板转发面;
其中,所述OLT设备各节点的遥测客户端在进行报文封装时采用本节点内网信息对采集到的所述遥测数据头部进行封装,得到遥测报文,并将所述遥测报文通过各节点遥测客户端发送到主控板转发面。其中,本节点内网信息包括但不限于IP、MAC和L4源端口等信息。采用本节点内网信息封装所述遥测数据头部后,只需要在主控板的转发面根据设定好的遥测报文转发规则进行转发处理,就能将封装好的所述遥测报文快速上报到控制器100。
S103、配置遥测报文转发规则,以使进行了报文封装的所述遥测数据支持通过主控板转发面上报至控制器;
所述OLT设备通过控制主控板的遥测服务端调用主控板转发面接口,进行遥测报文转发规则配置。其中所述遥测报文转发规则具体用于将各节点遥测客户端发送来的所述遥测报文进行网络地址转换,使封装好的所述遥测报文能够直接通过主控板转发面发往控制器100。包括依据NAT转换规则,将报文中内网IP地址转换为公网IP地址,再通过IP路由进行转发。所述NAT转换规则具体包括:
业务板到主控板方向(出方向),配置源IP+源L4端口的转换规则;
主控板到业务板方向(入方向),使用特殊的NAT HOST,匹配目的IP+目的L4端口,进行三层转发同时,修改目的IP和目的L4端口。
所述遥测报文转发规则还可以是直接采用ACL规则,将所述遥测报文的内网MAC地址进行替换为公网MAC地址。
S104、根据所述遥测报文转发规则,转发进行了报文封装的所述遥测数据。
具体的,所述步骤包括:
获取所述进行了报文封装的所述遥测数据的网络地址;
将所述网络地址进行转换,并根据转换后的所述网络地址转发所述遥测数据。
其中,所述进行了报文封装的所述遥测数据就是上述步骤S102中所描述的遥测报文,其中,业务板在进行报文封装时采用本节点内网信息对采集到的所述遥测数据头部进行封装,所得到的遥测报文没有公网网络地址,不能与公网直接通信,需要进行网络地址转换,将所述遥测报文的内网网络地址转换为公网网络地址。所述进行网络地址转换具体包括依据上述配置好的所述遥测报文转发规则,将所述遥测报文中的内网IP地址转换为公网IP地址,就可以在主控板转发面通过IP路由转发到控制器100。
本实施例提供的数据处理方法可以应用于上述实施例描述的数据处理系统,该方法通过利用了OLT设备的转发面,在数据发送端设定指定的遥测报文转发规则,不破坏主控板和业务板原有的遥测协议交互流程,即可在不占用主控板CPU和运行内存的情况下直接通过主控板转发面实现各节点的所述遥测报文的快速实时转发,不会影响其他场景下性能采集报文的正常处理。由此,本发明实施例提供的数据处理方法解决了现有主控CPU能力不足,主控板和业务板管理通道压力大而无法具体实现遥测功能的问题。
需要说明的是,本实施例提供的数据处理方法与上述系统实施例有相同的发明构思,未在本实施例中详尽描述的技术细节具体可参考上述系统实施例。
请参阅图7,本发明又一个实施例提供了一种数据处理装置30,所述数据处理装置30包括:指令获取模块301、数据采集模块302、配置模块303和数据转发模块304。
所述指令获取模块301具体用于获取并解析控制器100所发出的数据采集配置指令,将解析出的数据采集配置发送至所述数据采集模块302。
所述数据采集模块302具体用于接收所述指令获取模块301发送的所述数据采集配置,根据所述数据采集配置进行遥测数据采集,并将采集的所述遥测数据按照规范的采集数据模型进行报文封装。
其中,所述数据采集模块302还包括采集单元3021和报文封装单元3022。所述采集单元3021具体用于接收所述数据采集配置指令并解析所述数据采集配置指令,得到数据采集配置,所述数据采集配置中包括采集对象和采集数据模型等信息。根据所述数据采集配置获取对应的采集对象的遥测数据,将采集到的所述遥测数据传输至报文封装单元3022。所述报文封装单元3022具体用于根据所述数据采集配置中的采集数据模型将所述遥测数据进行报文封装,并通过各节点转发面发送到主控板转发面,具体的,可以根据本节点内网信息封装对接收到的所述遥测数据头部进行封装,得到遥测报文,并将所述遥测报文通过各节点转发面发送到数据转发模块304。
所述配置模块303具体用于配置遥测报文转发规则,以使进行了报文封装的所述遥测数据支持通过主控板转发面上报至控制器。所述遥测报文转发规则用于使封装好的所述遥测报文能够通过主控板转发面直接发送至所述控制器100,例如,使所述遥测报文拥有公网网络地址。其中,所述配置模块303具体可通过控制遥测服务端调用主控板转发面接口进行遥测报文转发规则配置,并将所述遥测报文转发规则发送至数据转发模块304。
所述数据转发模块304具体用于获取所述配置模块303配置的所述遥测报文转发规则和所述数据采集模块302采集的所述遥测报文,并根据所述遥测报文转发规则对所述遥测报文进行相应的处理,使得所述遥测报文能够与公网通信,并将能够与公网通信的所述遥测报文发送至控制器100。对于所述OLT设备来说,在业务板和主控板之间进行的遥测报文数据传输属于OLT设备内部通信,业务板采用的都是内网MAC地址和IP地址,所以在所述OLT设备中主控板转发面接收到各节点传递来的所述遥测报文后,需要将所述遥测报文的内网MAC地址和IP地址按照设定好的所述遥测报文转发规则转换为可发送到控制器100的公网MAC和IP地址。所述遥测报文转发规则具体请参见上述数据处理系统或数据处理方法实施例,此处不再赘述。其中,所述数据转发模块304还包括网络地址获取单元3041和网络地址转换单元3042,所述网络地址获取单元3041具体用于获取所述进行了报文封装的所述遥测数据的网络地址;所述网络地址转换单元3042用于根据所述遥测报文转发规则将所述网络地址进行转换,具体包括将所述遥测报文的内网网络地址转换为公网网络地址,并根据转换后的所述网络地址将所述遥测报文转发至控制器100。
需要说明的是,上述数据处理装置可执行本发明实施例所提供的数据处理方法,具备执行方法相应的功能模块和有益效果。未在数据处理装置实施例中详尽描述的技术细节,可参见本发明实施例所提供的数据处理系统和数据处理方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它变化,为了简明,它们没有在细节中提供;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种数据处理方法,其特征在于,所述方法包括:
获取数据采集配置指令;
根据所述数据采集配置指令进行遥测数据采集,并将采集的所述遥测数据进行报文封装;
配置遥测报文转发规则,以使进行了报文封装的所述遥测数据支持通过主控板转发面上报至控制器;
根据所述遥测报文转发规则,转发进行了报文封装的所述遥测数据。
2.根据权利要求1所述的数据处理方法,其特征在于,所述根据所述数据采集配置指令进行遥测数据采集,并将采集的所述遥测数据进行报文封装包括:
根据所述数据采集配置指令,调用各节点转发面接口获取所述数据采集配置指令对应的采集对象的遥测数据;
对所述遥测数据进行报文封装,并发送到主控板转发面。
3.根据权利要求2所述的数据处理方法,其特征在于,所述对所述遥测数据进行报文封装,并发送到主控板转发面包括:
采用本节点内网信息封装所述遥测数据头部,并通过各节点遥测客户端发送到主控板转发面。
4.根据权利要求1所述的数据处理方法,其特征在于,所述配置遥测报文转发规则,以使进行了报文封装的所述遥测数据支持通过主控板转发面上报至控制器包括:
通过控制遥测服务端调用主控板转发面接口,进行遥测报文转发规则配置。
5.根据权利要求1所述的数据处理方法,其特征在于,所述根据所述遥测报文转发规则,转发进行了报文封装的所述遥测数据包括:
获取所述进行了报文封装的所述遥测数据的网络地址;
将所述网络地址进行转换,并根据转换后的所述网络地址转发所述遥测数据。
6.根据权利要求5所述的数据处理方法,其特征在于,所述将所述网络地址进行转换包括:
将网络地址转换为公网网络地址。
7.一种数据处理装置,其特征在于,所述数据处理装置包括:
指令获取模块,用于获取数据采集配置指令;
数据采集模块,用于根据所述数据采集配置指令进行遥测数据采集,并将采集的所述遥测数据进行报文封装;
配置模块,用于配置遥测报文转发规则,以使进行了报文封装的所述遥测数据支持通过主控板转发面上报至控制器;
数据转发模块,用于根据所述遥测报文转发规则,转发进行了报文封装的所述遥测数据。
8.根据权利要求7所述的数据处理装置,其特征在于,所述数据采集模块包括:
采集单元,用于根据所述数据采集配置指令,调用各节点转发面接口获取所述数据采集配置指令对应的采集对象的遥测数据;
报文封装单元,用于对所述数据进行报文封装,并发送到主控板转发面。
9.一种终端设备,其特征在于,所述终端设备包括:
至少一个处理器;
以及,与所述至少一个处理器通信连接的存储器;
其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至6中任一项所述的数据处理方法。
10.一种数据处理系统,其特征在于,所述数据处理系统包括:权利要求9所述的终端设备,以及与所述终端设备通信连接的控制设备。
CN202110283377.2A 2021-03-16 2021-03-16 一种数据处理方法、装置、系统以及终端设备 Active CN113055296B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110283377.2A CN113055296B (zh) 2021-03-16 2021-03-16 一种数据处理方法、装置、系统以及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110283377.2A CN113055296B (zh) 2021-03-16 2021-03-16 一种数据处理方法、装置、系统以及终端设备

Publications (2)

Publication Number Publication Date
CN113055296A CN113055296A (zh) 2021-06-29
CN113055296B true CN113055296B (zh) 2022-06-21

Family

ID=76512827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110283377.2A Active CN113055296B (zh) 2021-03-16 2021-03-16 一种数据处理方法、装置、系统以及终端设备

Country Status (1)

Country Link
CN (1) CN113055296B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114338484A (zh) * 2021-12-29 2022-04-12 中国电信股份有限公司 光网络性能数据融合采集方法、装置、设备和存储介质
CN117527060A (zh) * 2022-07-28 2024-02-06 中国电信股份有限公司 一种onu数据的采集方法、装置及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102447634B (zh) * 2011-12-29 2014-12-03 华为技术有限公司 一种发送报文的方法、装置和系统
CN104734868A (zh) * 2013-12-19 2015-06-24 中兴通讯股份有限公司 业务节点间业务处理方法及装置
CN108566451B (zh) * 2014-03-11 2021-05-14 华为技术有限公司 一种消息处理方法、接入控制器及网络节点
CN105991342B (zh) * 2015-03-23 2019-09-06 杭州迪普科技股份有限公司 分布式设备的业务处理方法、装置及分布式设备
CN109525681A (zh) * 2017-09-19 2019-03-26 中兴通讯股份有限公司 Mac地址学习方法、线卡及分布式设备
CN112152964A (zh) * 2019-06-26 2020-12-29 中兴通讯股份有限公司 网络攻击防御方法、装置、接收设备及计算机存储介质
CN111082962B (zh) * 2019-08-16 2023-01-31 苏州迈科网络安全技术股份有限公司 基于云端的终端识别系统及识别方法
US20200257517A1 (en) * 2020-04-23 2020-08-13 Intel Corporation Firmware update techniques
CN112131239A (zh) * 2020-09-30 2020-12-25 腾讯科技(深圳)有限公司 一种数据处理方法、计算机设备以及可读存储介质

Also Published As

Publication number Publication date
CN113055296A (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
CN109391500B (zh) 一种配置管理方法、装置及设备
CN113812126B (zh) 报文传输方法、装置及系统,可读存储介质
US9832499B2 (en) Cable TV network broadband access system with distributed deployment and centralized control
EP2482502B1 (en) Message handling method and apparatus
CN113055296B (zh) 一种数据处理方法、装置、系统以及终端设备
CN109314667B (zh) Sdn接口设备
CN111835786A (zh) 一种对多规约设备数据采集、设备控制的系统及实现方法
CN107360105B (zh) Sdn管理控制的方法、装置及系统、olt
CN106789606B (zh) 一种网络通信系统、其管理方法及通信方法
US20190036796A1 (en) Monitoring data transmission method and related device
CN108989078A (zh) 一种视联网中节点设备故障检测方法和装置
CN106301838B (zh) 一种基于snmp的传输网统一网络管理系统
CN110035297B (zh) 视频处理方法和装置
CN109728968B (zh) 获得目标传输路径的方法、相关设备及系统
CN111385156B (zh) sFlow流采样方法、装置及系统
CN111211977B (zh) 一种支持外界多异构信道连接的舰船通信方法及系统
CN110336710B (zh) 一种终端的测试方法、系统及装置和存储介质
CN112351355B (zh) 一种基于gRPC的ONU通道的管理方法和系统
CN114884811A (zh) 一种时间敏感网络集中用户配置实现方法
Luo et al. Design of centralized control architecture for distribution network communication network based on SDN
CN114726680A (zh) 前传管控方法和系统
CN116455760A (zh) 一种基于软件定义网络的数据分发系统及方法
CN110691058A (zh) 数据传输方法和装置
CN112787744B (zh) 一种sdh帧数据的处理方法、设备和计算机可读存储介质
CN105245827B (zh) 一种视频数据传输方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant