CN105262740A - 一种大数据传输方法和系统 - Google Patents

一种大数据传输方法和系统 Download PDF

Info

Publication number
CN105262740A
CN105262740A CN201510623631.3A CN201510623631A CN105262740A CN 105262740 A CN105262740 A CN 105262740A CN 201510623631 A CN201510623631 A CN 201510623631A CN 105262740 A CN105262740 A CN 105262740A
Authority
CN
China
Prior art keywords
critical data
data
onu
olt
compression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510623631.3A
Other languages
English (en)
Other versions
CN105262740B (zh
Inventor
曾雯
杜赟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Raisecom Technology Co Ltd
Original Assignee
Raisecom Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Raisecom Technology Co Ltd filed Critical Raisecom Technology Co Ltd
Priority to CN201510623631.3A priority Critical patent/CN105262740B/zh
Publication of CN105262740A publication Critical patent/CN105262740A/zh
Application granted granted Critical
Publication of CN105262740B publication Critical patent/CN105262740B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/02—Standardisation; Integration
    • H04L41/0246—Exchanging or transporting network management information using the Internet; Embedding network management web servers in network elements; Web-services-based protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5077—Network service management, e.g. ensuring proper service fulfilment according to agreements wherein the managed service relates to simple transport services, i.e. providing only network infrastructure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/045—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply hybrid encryption, i.e. combination of symmetric and asymmetric encryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/06—Network architectures or network communication protocols for network security for supporting key management in a packet data network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/02—Standardisation; Integration
    • H04L41/0213—Standardised network management protocols, e.g. simple network management protocol [SNMP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Small-Scale Networks (AREA)

Abstract

本发明公开了一种大数据传输方法和系统，包括：将终端设备ONU的状态或配置信息分类成关键数据和非关键数据。将ONU的关键数据上报并保存在局端设备OLT本地数据表中，以及将ONU的非关键数据保存在本地ONU。当网管需要ONU的关键数据时，OLT直接从OLT本地数据表中获取关键数据后上报；当网管需要ONU的非关键数据时，OLT获取ONU的非关键数据后上报。通过本发明的方案，能够降低网络传输的数据量并缩短网络的更新时间，提高了传输效率。

Description

一种大数据传输方法和系统
技术领域
本发明涉及PON网络通信领域，尤其涉及一种大数据传输方法和系统。
背景技术
在电信网络中，通常使用网管系统对通信设备进行集中管理。传统的网管系统主要包括五大功能：配置管理、性能管理、告警管理、维护管理和安全管理。网管要实现对通信设备的集中管理，需要与设备之间传输大量的数据，才能达到对设备进行配置管理、性能监控等功能。
在现有的网管系统中，网管通过与设备系统内部建立socket进程，通过之前协商的传输内容，系统软件将约定的数据通过SNMP方式从设备获取并将数据打包，然后不进行任何额外处理就向网管端进行传输。由于网管和设备之间使用100M网线进行通信，这就导致了网管与各设备之间进行资源同步时，约定的传输数据量非常有限，而且传输过程中可能出现丢包等问题，当想要传输数据比较大时，很大程度上会造成网管资源同步不成功，导致网管无法正确管理网元；分析一下原因发现，设备与网管之间资源同步的数据量会受到物理链路的限制，为了优先保证网管对各个网元的正常管理，约定的传输数据不得不受到限制，网管只能获取设备最基本的网元、拓扑等基本参数；如果需要通过资源同步获取设备更多的管理参数时，网管和局端/终端设备之间的物理链路成为了带宽瓶颈。同时，在传输的过程中，对约定的传输数据也不会进行任何额外的安全性方面的处理，因此传输过程中的安全性也不能得到保证。
发明内容
为了解决上述问题，本发明提出了一种大数据传输方法和系统，能够降低网络传输的数据量并缩短网络的更新时间，提高了传输效率。
为了达到上述目的，本发明提出了一种大数据传输方法，该方法包括：
将终端设备ONU的状态或配置信息分类成关键数据和非关键数据。
将ONU的关键数据上报并保存在局端设备OLT本地数据表中，以及将ONU的非关键数据保存在本地ONU。
当网管需要ONU的关键数据时，OLT直接从OLT本地数据表中获取关键数据后上报；当网管需要ONU的非关键数据时，OLT获取ONU的非关键数据后上报。
优选地，该方法还包括：
将ONU的状态或配置信息分类成关键数据和非关键数据之后，通过局端设备OLT对关键数据进行定期更新和维护，并将更新后的关键数据存储在OLT本地数据表中。
优选地，该方法还包括：
当ONU的状态或配置信息发生变化时，主动触发OLT更新OLT本地数据表。
优选地，该方法还包括：在关键数据和非关键数据进行上报或者保存之前，对关键数据和非关键数据进行压缩，该压缩包括以下步骤：
预先构造压缩字典，压缩字典中包括表征ONU的状态或者配置数据的字；预先构造压缩编码集，压缩编码集中的压缩编码与压缩字典中的字一一对应。
当预定义字节长度的滑动窗口中的数据为已经在压缩字典中定义的字时，根据压缩字典中的字确定其所对应的压缩编码集中的压缩编码。
将所获得的压缩编码作为压缩后的关键数据或者非关键数据。
优选地，该方法还包括：
当预定义字节长度的滑动窗口中的数据为未在压缩字典中定义的字时，将滑动窗口中的当前数据作为压缩字典中的字，存储在压缩字典中。
对于所存储的字对应设置一个新的压缩编码增加到压缩编码集中。
将所获得的该新的压缩编码作为压缩后的关键数据或者非关键数据。
优选地，
预定义字节长度为4字节。
优选地，该方法还包括：利用滑动窗口遍历数据。
优选地，该方法还包括：在OLT上报压缩后的关键数据和/或非关键数据之前，对压缩后的关键数据和/或非关键数据进行加密。
该加密包括以下步骤：
在OLT上预生成私有密钥和密钥KEY，并将私有密钥发送给网管。
在网管上预生成公开密钥，并将公开密钥发送给OLT。
在OLT上使用公开密钥对密钥KEY进行加密，并将加密结果发送给网管。
在OLT上使用私有密钥对附加消息进行加密；该附加信息包括：不属于关键数据或非关键数据，但需要由OLT上报给网管的信息。
在OLT上使用密钥KEY对压缩后的关键数据和/或非关键数据，以及加密后的附加信息进行加密。
优选地，
关键数据包括：设备基本信息、设备运行状态信息、端口属性及虚拟局域网VLAN信息、广域网WAN连接配置信息、语音基本呼叫及注册信息和因特网管理协议IGMP基本配置信息。
非关键数据包括：服务质量QOS、访问控制列表ACL、组播、以太网口供电、环路检测、端口镜像、生成树协议STP、应用APP防控、动态主机配置协议DHCP、串口服务器、点到点以太网协议代理PPPoEAgent、语音附加策略及配置、社区公共电视天线系统CATV以及TDMoP。
为了达到上述目的，本发明还提出了一种大数据传输系统，该系统包括：终端设备ONU、局端设备OLT和网管；其中，ONU包括分类模块和第一上报模块；OLT包括第二上报模块。
分类模块，用于将ONU的状态或配置信息分类成关键数据和非关键数据。
第一上报模块，用于将ONU的关键数据上报，以及将ONU的非关键数据保存在本地ONU。
第二上报模块，用于将ONU上报的关键数据存储在OLT本地数据表中；当网管需要ONU的关键数据时，直接从OLT本地数据表中获取关键数据后上报；当网管需要ONU的非关键数据时，获取ONU的非关键数据后上报。
优选地，该ONU还包括更新模块。
更新模块，用于对ONU的关键数据进行定期更新和维护，并将更新后的关键数据发送给第一上报模块。
优选地，更新模块还用于：
当ONU的状态或配置信息发生变化时，主动触发OLT更新OLT本地数据表。
优选地，该ONU还包括：压缩模块。
压缩模块，用于在关键数据和非关键数据进行上报或者保存之前，对关键数据和非关键数据进行压缩，该压缩包括以下步骤：
预先构造压缩字典，压缩字典中包括表征ONU的状态或者配置数据的字；预先构造压缩编码集，压缩编码集中的压缩编码与压缩字典中的字一一对应。
当预定义字节长度的滑动窗口中的数据为已经在压缩字典中定义的字时，根据压缩字典中的字确定其所对应的压缩编码集中的压缩编码。
将所获得的压缩编码作为压缩后的关键数据或者非关键数据。
优选地，压缩模块还用于：
当预定义字节长度的滑动窗口中的数据为未在压缩字典中定义的字时，将滑动窗口中的当前数据作为压缩字典中的字，存储在压缩字典中。
对于所存储的字对应设置一个新的压缩编码增加到压缩编码集中。
将所获得的该新的压缩编码作为压缩后的关键数据或者非关键数据。
优选地，
预定义字节长度为4字节。
优选地，该ONU还包括：遍历模块。
遍历模块，用于利用滑动窗口遍历数据。
优选地，该OLT还包括：加密模块。
加密模块，用于在上报压缩后的关键数据和/或非关键数据之前，对压缩后的关键数据和/或非关键数据进行加密。
该加密包括以下步骤：
预生成私有密钥和密钥KEY，并将私有密钥发送给网管。
获得在网管上预生成的公开密钥。
使用公开密钥对密钥KEY进行加密，并将加密结果发送给网管。
使用私有密钥对附加消息进行加密；附加信息包括：不属于关键数据或非关键数据，但需要由OLT上报给网管的信息。
使用密钥KEY对压缩后的关键数据和/或非关键数据，以及加密后的附加信息进行加密。
优选地，
关键数据包括：设备基本信息、设备运行状态信息、端口属性及虚拟局域网VLAN信息、广域网WAN连接配置信息、语音基本呼叫及注册信息和因特网管理协议IGMP基本配置信息。
非关键数据包括：服务质量QOS、访问控制列表ACL、组播、以太网口供电、环路检测、端口镜像、生成树协议STP、应用APP防控、动态主机配置协议DHCP、串口服务器、点到点以太网协议代理PPPoEAgent、语音附加策略及配置、社区公共电视天线系统CATV以及TDMoP。
与现有技术相比，本发明包括：将终端设备ONU的状态或配置信息分类成关键数据和非关键数据。将ONU的关键数据上报并保存在局端设备OLT本地数据表中，以及将ONU的非关键数据保存在本地ONU。当网管需要ONU的关键数据时，OLT直接从OLT本地数据表中获取关键数据后上报；当网管需要ONU的非关键数据时，OLT获取ONU的非关键数据后上报。通过本发明的方案，能够降低网络传输的数据量并缩短网络的更新时间，提高了传输效率。
附图说明
下面对本发明实施例中的附图进行说明，实施例中的附图是用于对本发明的进一步理解，与说明书一起用于解释本发明，并不构成对本发明保护范围的限制。
图1为本发明实施例的大数据传输方法流程图；
图2为本发明实施例的如何通过压缩字典对数据进行压缩的方法流程图；
图3为本发明实施例的如何进行数据加密的方法流程图；
图4为本发明实施例中按照数据压缩比进行评估的实验效果图；
图5为本发明实施例中按照编码效率进行评估的实验效果图；
图6为本发明实施例中按照传输时延进行评估的实验效果图；
图7为本发明实施例的大数据传输系统框图。
具体实施方式
为了便于本领域技术人员的理解，下面结合附图对本发明作进一步的描述，并不能用来限制本发明的保护范围。
在电信网络中，通常使用网管系统对通信设备进行集中管理。网管准备进行资源同步时，通过与系统内部建立套接字socket进程来实现，传输的数据由网管与设备事先协商好，系统在准备好数据并进行传输过程中，存在以下两种情况：
1、在获取网元设备大量配置信息时，无源光纤网络PON网络中网元的总数据量就会成倍增加，这样就会挤占用户业务的带宽或者设备管理带宽，突发的大量更新信息可能会造成用户业务的临时中断、板间通信受阻、设备管理报文丢失等情况。
2、随着要获取的网元数据量的增加，报文就会分若干片，这样会增长网管软件的更新时间和，这样整个网络的数据更新就会变慢。由于报文数量的增加会增大报文重传的数量，就会更加增长更新时间。
本发明针对上述问题，结合PON网络的特点，对网络配置数据提出一种数据筛选、压缩、加密的融合方法。在保证了传输的准确性和安全性的同时，具有较高的压缩比，极大的降低了网络传输的数据量，提高了传输的效率，网络的更新时间更短。
本发明的主要目的是提供一种融合的网络数据筛选、压缩和加密算法,通过对数据源信息进行筛选、压缩和加密处理,解决了数据流量过大的情况下导致的数据丢失,冗余、受带宽限制等问题，保证网管收到数据的完整性和实时性。
为了使对本发明实施例的介绍更加清楚，对以下几个概念先进行说明如下：
1、数据源：指终端设备ONU。
2、压缩字典：指各个ONU的状态或者配置数据集合，包含很多字。
3、压缩字典中的字：指由若干个(典型地，4个)字节来表征的数据源的状态或者配置数据，其与数据源不是一对一的关系，而是一对多的关系。
这是由于PON网络可以看作是一种树形结构，其中OLT的每个PON口作为一个根节点，每个PON口下所对应的ONU作为该根节点对应的叶子节点，叶子节点作为数据源，其状态或者配置数据具有多重复性。
4、滑动窗口：根据数据源的特点定义的一个与表征压缩字典中字的字节数相同字节的窗口(典型地，4字节大小的窗口)，该窗口的内容可与一段数据源相关，通过按设定字节大小的比例进行滑动，最终生成一个与压缩字典中的字相比较的字。
5、压缩编码：指将若干个字节的字进一步压缩对应成的通用符号，例如，阿拉伯数字1,2……。
6、压缩编码集：指通用符号集，与数据源一一对应，可以从阿拉伯数字1开始编码，压缩编码集中的个数与数据源的个数一致，并且压缩编码集中的数据可以重复，重复度越高压缩比例越大。
基于上述的设定，本发明提出了一种大数据传输方法，如图1所示，该方法包括：
S101、将终端设备ONU的状态或配置信息分类成关键数据和非关键数据。
在本发明方案中，局端设备OLT和网管系统首先对通过管理信息库MIB获取的全部数据信息进行分类，，将需要从各个ONU获得的ONU的状态或配置信息分类成关键数据和非关键数据，此处说明一点，对于关键数据与非关键数据的划分为系统所确定，在整个系统网管、OLT及ONU均保持一致认定，通常本领域普通技术人员可以根据组网要求设定不同的数据分别为关键数据和非关键数据。
优选地，
关键数据即网管主要关注的信息。关键数据包括：设备基本信息、设备运行状态信息、端口属性及虚拟局域网VLAN信息、广域网WAN连接配置信息、语音基本呼叫及注册信息和因特网管理协议IGMP基本配置信息。
非关键数据即无需关心的设备配置或者状态信息。非关键数据包括：服务质量QOS、访问控制列表ACL、组播、以太网口供电、环路检测、端口镜像、生成树协议STP、应用APP防控、动态主机配置协议DHCP、串口服务器、点到点以太网协议代理PPPoEAgent、语音附加策略及配置、社区公共电视天线系统CATV以及TDMoP。
S102、将ONU的关键数据上报并保存在OLT本地数据表中，以及将ONU的非关键数据保存在本地ONU。
S103、当网管需要ONU的关键数据时，OLT直接从OLT本地数据表中获取关键数据后上报；当网管需要ONU的非关键数据时，OLT获取ONU的非关键数据后上报。
对于上述实现过程进一步说明的是：由于OLT根据之前和网管协商好的配置数据集，通过简单网络管理协议SNMP方式WALK(进入)到PON口下每个ONU的索引，进而GETNEXT到每个ONU下的实际数据，即可以从作为数据源的ONU得到所需的状态或者配置数据。
由此可见，通过将ONU的状态或配置信息进行分类且分别存储后，由于网管对ONU进行信息查询时，根据所需要的不同类型的数据，从不同的存储地分别获取，而不需要每次都获取整个信息数据，具体来说，局端设备OLT只要在OLT本地数据表上就可以查询到ONU的关键数据，这样网管只需从OLT上获取关键数据即可，无需不断地从所有ONU获取各个ONU的当前状态或配置信息，从而使得网管能够快速地更新网络设备的状态。如果网管需要获取ONU的所有信息，OLT也只需要从ONU上再次获取非关键数据即可，由此可见，本发明实施例中提出的大数据传输方法虽然减少了每次交互过程中网管和OLT/ONU之间数据的传送量，但是却在同等的带宽情况下增加了网管对于终端设备的数据获取总量。
优选地，该方法还包括：
将ONU的状态或配置信息分类成关键数据和非关键数据之后，通过局端设备OLT对关键数据进行定期更新和维护，并将更新后的关键数据存储在OLT本地数据表中。
优选地，该方法还包括：
当ONU的状态或配置信息发生变化时，主动触发OLT更新OLT本地数据表。
在本发明实施例中，当OLT没有对ONU状态信息进行及时获知更新时，如果ONU的状态或配置信息发生变化，也会主动触发OLT，对OLT本地数据表进行更新。在本发明更优的实施例中，可以通过预设的压缩字典对关键数据和/或非关键数据进行压缩后再存储及传输，从而进一步减少数据传输量。参考图2，如何通过压缩字典对数据进行压缩的具体实现方式如下：
S201、预先构造压缩字典，压缩字典中包括表征ONU的状态或者配置数据的字；预先构造压缩编码集，压缩编码集中的压缩编码与压缩字典中的字一一对应。
在本步骤中，可以预先根据系统的配置设定多个压缩字典中的字及压缩编码集中压缩编码，即，预先构造压缩字典及压缩编码集，当然，也可以构造预定格式但内容为空的压缩字典及压缩编码集。
S202、利用预定义字节长度(典型的，4字节)的滑动窗口在所需要的关键数据和/或非关键数据上进行滑动，对关键数据和/或非关键数据进行遍历，判断滑动窗口中的数据是否为已经在压缩字典中定义的字，即，判断滑动窗口中出现的数据块中的字是否在压缩字典中已存在，如果是，执行步骤S203，否则，执行步骤205。
S203、根据压缩字典中的字确定其所对应的压缩编码集中的压缩编码，所获得的压缩编码即可作为压缩后的关键数据或者非关键数据。
S204、判断滑动窗口的当前位置是否已完成对关键数据和/或非关键数据的遍历，如果是，结束；否则，将滑动窗口滑动后，执行步骤S202。
S205、将滑动窗口中的数据(4字节)为一个单位作为压缩字典中的字，存储在压缩字典中，并且对于该新增的字对应设置一个新的压缩编码增加到压缩编码集中，并且将所获得的该新的压缩编码作为压缩后的关键数据或者非关键数据，然后执行步骤204。
对于上述将ONU的状态或者配置数据进行压缩需要补充说明的是：ONU上的状态或者配置数据可以通过4个字节来定义是根据ONU的数据特性较优选择的方式，其基本上在占用较小资源的情况下可以满足对常用状态或者配置数据的表征，当然，在一些特殊的实施例中，也可以定义更多或者更少的字节数，这可以根据实际场景下满足数据表征的要求来确定。
在上述实施例中，当ONU以压缩后的压缩编码作为关键数据或者非关键数据进行传输后，在网管和OLT上也以对应的方式可以进行识别，在此不再进行赘述。
在本发明更优的实施例中，还可以对需要传输的数据进行加密，使用不同的密钥对压缩后的数据(即：网管需要的关键数据和/或非关键数据)进行加密处理，设备侧(由于网管直接从OLT获得数据，因此这里的设备侧主要指OLT)会生成两种密钥，一种密钥为加密传输数据的密钥KEY，另一种为加密密钥KEY的公钥和私钥的密钥对。设备侧使用生成的密钥KEY对数据进行加密，使用自己的私有密钥标识不同的设备，使用网管的公开密钥对加密数据的密钥KEY进行加密处理，从而保证了数据从设备发送至网管的安全性及完整性。
以下将对如何进行数据加密进行详细描述：
优选地，参考图3，将压缩后的关键数据和/或非关键数据进行加密包括：
S301、在OLT和网管上分别预先生成私有秘钥及公开密钥，并将OLT生成的私有密钥发送给网管，将网管生成的公开密钥发送给OLT，以便对方解密或加密数据；同时，OLT还生成专门加密数据的密钥KEY。
S302、在OLT上使用网管预先生成的公开密钥对在OLT上生成的用于对存储的所述关键数据和/或非关键数据进行加密的密钥KEY进行加密，并将加密结果发送给网管。
S303、在OLT上使用OLT的私有密钥对附加消息进行加密，其中，附加消息为不属于关键数据或非关键数据，但需要由OLT上报给网管的信息，例如，设备网间互联协议IP地址、网元名称、型号、版本信息。
S304、在OLT上使用密钥KEY对压缩后的关键数据和/或所述非关键数据，以及加密后的附加信息进行统一加密。
根据上面步骤输出的算法，就可以对传输数据进行加密，完成所有的加密后传输该加密后的数据。
在本发明方案的实施例中，通过一系列测试获得了很好的测试结果，假定传输文件的大小是一定的，图4至图6分别从起始时间、获取时间、数据准备时间、数据传输时间4个关键点进行绘制，根据数据压缩编码性能评价指标，分别从数据压缩比(如图4所示)、编码效率(如图5所示)、传输时延(如图6所示)进行了对比分析，均获得了理想的效果。其中，在图4至图6中，线1表示未经过本发明方案处理的结果；线2表示经过本发明方案处理的结果。
为了达到上述目的，本发明还提出了一种大数据传输系统01，如图7所示，该系统包括：终端设备ONU02、局端设备OLT03和网管04；其中，ONU02包括分类模块021和第一上报模块022；OLT03包括第二上报模块031。
分类模块021，用于将ONU的状态或配置信息分类成关键数据和非关键数据。
优选地，
关键数据包括：设备基本信息、设备运行状态信息、端口属性及虚拟局域网VLAN信息、广域网WAN连接配置信息、语音基本呼叫及注册信息和因特网管理协议IGMP基本配置信息。
非关键数据包括：服务质量QOS、访问控制列表ACL、组播、以太网口供电、环路检测、端口镜像、生成树协议STP、应用APP防控、动态主机配置协议DHCP、串口服务器、点到点以太网协议代理PPPoEAgent、语音附加策略及配置、社区公共电视天线系统CATV以及TDMoP。
第一上报模块022，用于将ONU的关键数据上报并保存在OLT本地数据表中，以及将ONU的非关键数据保存在本地ONU。
第二上报模块031，用于将ONU上报的关键数据存储在OLT本地数据表中；当网管需要ONU的关键数据时，直接从OLT本地数据表中获取关键数据后上报；当网管需要ONU的非关键数据时，获取ONU的非关键数据后上报。
优选地，该ONU02还包括更新模块023。
更新模块023，用于将ONU的状态或配置信息分类成关键数据和非关键数据之后，通过局端设备OLT对关键数据进行定期更新和维护，并将更新后的关键数据存储在OLT本地数据表中。
优选地，更新模块023还用于：
当ONU的状态或配置信息发生变化时，主动触发OLT更新OLT本地数据表。
优选地，该ONU02还包括：压缩模块024。
压缩模块024，用于在关键数据和非关键数据进行上报或者保存之前，对关键数据和非关键数据进行压缩，该压缩包括以下步骤：
预先构造压缩字典，压缩字典中包括表征ONU的状态或者配置数据的字；预先构造压缩编码集，压缩编码集中的压缩编码与压缩字典中的字一一对应。
当预定义字节长度的滑动窗口中的数据为已经在压缩字典中定义的字时，根据压缩字典中的字确定其所对应的压缩编码集中的压缩编码。
将所获得的压缩编码作为压缩后的关键数据或者非关键数据。
优选地，压缩模块024还用于：
当预定义字节长度的滑动窗口中的数据为未在压缩字典中定义的字时，将滑动窗口中的当前数据作为压缩字典中的字，存储在压缩字典中。
对于所存储的字对应设置一个新的压缩编码增加到压缩编码集中。
将所获得的该新的压缩编码作为压缩后的关键数据或者非关键数据。
优选地，
预定义字节长度为4字节。
优选地，该ONU02还包括：遍历模块025。
遍历模块06，用于利用滑动窗口遍历数据。
优选地，该OLT03还包括：加密模块032。
加密模块032，用于在上报压缩后的关键数据和/或非关键数据之前，对压缩后的关键数据和/或非关键数据进行加密。
该加密包括以下步骤：
预生成私有密钥和密钥KEY，并将私有密钥发送给网管。
获得在网管上预生成的公开密钥。
使用公开密钥对密钥KEY进行加密，并将加密结果发送给网管。
使用私有密钥对附加消息进行加密；附加信息包括：不属于关键数据或非关键数据，但需要由OLT上报给网管的信息。
使用密钥KEY对压缩后的关键数据和/或非关键数据，以及加密后的附加信息进行加密。
与现有技术相比，本发明包括：将终端设备ONU的状态或配置信息分类成关键数据和非关键数据。将ONU的关键数据上报并保存在局端设备OLT本地数据表中，以及将ONU的非关键数据保存在本地ONU。当网管需要ONU的关键数据时，OLT直接从OLT本地数据表中获取关键数据后上报；当网管需要ONU的非关键数据时，OLT获取ONU的非关键数据后上报。通过本发明的方案，能够降低网络传输的数据量并缩短网络的更新时间，提高了传输效率。
与现有技术相比，本发明具有以下优势：
1、网元信息大量增加的情况下，网络中的数据传输量增加幅度不大，网络时延同样增加不大。
2、解决了网管和设备之间进行资源同步时，约定的传输数据不够丰富，及传输过程中安全性不够高等问题。
需要说明的是，以上所述的实施例仅是为了便于本领域的技术人员理解而已，并不用于限制本发明的保护范围，在不脱离本发明的发明构思的前提下，本领域技术人员对本发明所做出的任何显而易见的替换和改进等均在本发明的保护范围之内。

Claims (18)

1.一种大数据传输方法，其特征在于，所述方法包括：
将终端设备ONU的状态或配置信息分类成关键数据和非关键数据；
将ONU的关键数据上报并保存在局端设备OLT本地数据表中，以及将ONU的非关键数据保存在本地ONU；
当网管需要ONU的关键数据时，OLT直接从OLT本地数据表中获取关键数据后上报；当网管需要ONU的非关键数据时，OLT获取ONU的非关键数据后上报。
2.如权利要求1所述的大数据传输方法，其特征在于，所述方法还包括：
将所述ONU的状态或配置信息分类成关键数据和非关键数据之后，通过局端设备OLT对所述关键数据进行定期更新和维护，并将更新后的所述关键数据存储在OLT本地数据表中。
3.如权利要求2所述的大数据传输方法，其特征在于，所述方法还包括：
当所述ONU的状态或配置信息发生变化时，主动触发所述OLT更新所述OLT本地数据表。
4.如权利要求1至3中任一项所述的大数据传输方法，其特征在于，所述方法还包括：在所述关键数据和非关键数据进行上报或者保存之前，对所述关键数据和非关键数据进行压缩，所述压缩包括以下步骤：
预先构造压缩字典，所述压缩字典中包括表征ONU的状态或者配置数据的字；预先构造压缩编码集，所述压缩编码集中的压缩编码与所述压缩字典中的字一一对应；
当预定义字节长度的滑动窗口中的数据为已经在所述压缩字典中定义的字时，根据所述压缩字典中的字确定其所对应的压缩编码集中的压缩编码；
将所获得的压缩编码作为压缩后的关键数据或者非关键数据。
5.如权利要求4所述的大数据传输方法，其特征在于，所述方法还包括：
当预定义字节长度的滑动窗口中的数据为未在所述压缩字典中定义的字时，将所述滑动窗口中的当前数据作为所述压缩字典中的字，存储在所述压缩字典中；
对于所存储的字对应设置一个新的压缩编码增加到所述压缩编码集中；
将所获得的该新的压缩编码作为压缩后的关键数据或者非关键数据。
6.如权利要求4所述的大数据传输方法，其特征在于，
所述预定义字节长度为4字节。
7.如权利要求5所述的大数据传输方法，其特征在于，所述方法还包括：利用所述滑动窗口遍历所述数据。
8.如权利要求1所述的大数据传输方法，其特征在于，所述方法还包括：在OLT上报压缩后的所述关键数据和/或所述非关键数据之前，对压缩后的所述关键数据和/或所述非关键数据进行加密；
所述加密包括以下步骤：
在所述OLT上预生成私有密钥和密钥KEY，并将所述私有密钥发送给所述网管；
在所述网管上预生成公开密钥，并将所述公开密钥发送给所述OLT；
在所述OLT上使用所述公开密钥对所述密钥KEY进行加密，并将加密结果发送给所述网管；
在所述OLT上使用私有密钥对附加消息进行加密；所述附加信息包括：不属于关键数据或非关键数据，但需要由OLT上报给网管的信息；
在所述OLT上使用密钥KEY对压缩后的关键数据和/或非关键数据，以及加密后的附加信息进行加密。
9.如权利要求1所述的大数据传输方法，其特征在于，
所述关键数据包括：设备基本信息、设备运行状态信息、端口属性及虚拟局域网VLAN信息、广域网WAN连接配置信息、语音基本呼叫及注册信息和因特网管理协议IGMP基本配置信息；
所述非关键数据包括：服务质量QOS、访问控制列表ACL、组播、以太网口供电、环路检测、端口镜像、生成树协议STP、应用APP防控、动态主机配置协议DHCP、串口服务器、点到点以太网协议代理PPPoEAgent、语音附加策略及配置、社区公共电视天线系统CATV以及TDMoP。
10.一种大数据传输系统，其特征在于，所述系统包括：终端设备ONU、局端设备OLT和网管；其中，所述ONU包括分类模块和第一上报模块；所述OLT包括第二上报模块；
所述分类模块，用于将所述ONU的状态或配置信息分类成关键数据和非关键数据；
所述第一上报模块，用于将ONU的关键数据上报，以及将ONU的非关键数据保存在本地ONU；
所述第二上报模块，用于将ONU上报的关键数据存储在OLT本地数据表中；当所述网管需要ONU的关键数据时，直接从OLT本地数据表中获取的关键数据后上报；当网管需要ONU的非关键数据时，获取ONU的非关键数据后上报。
11.如权利要求10所述的大数据传输系统，其特征在于，所述ONU还包括更新模块；
所述更新模块，用于对ONU的所述关键数据进行定期更新和维护，并将更新后的所述关键数据发送给所述第一上报模块。
12.如权利要求11所述的大数据传输系统，其特征在于，所述更新模块还用于：
当所述ONU的状态或配置信息发生变化时，主动触发所述OLT更新所述OLT本地数据表。
13.如权利要求10至12中任一项所述的大数据传输系统，其特征在于，所述ONU还包括：压缩模块；
所述压缩模块，用于在所述关键数据和非关键数据进行上报或者保存之前，对所述关键数据和非关键数据进行压缩，所述压缩包括以下步骤：
预先构造压缩字典，所述压缩字典中包括表征ONU的状态或者配置数据的字；预先构造压缩编码集，所述压缩编码集中的压缩编码与所述压缩字典中的字一一对应；
当预定义字节长度的滑动窗口中的数据为已经在所述压缩字典中定义的字时，根据所述压缩字典中的字确定其所对应的压缩编码集中的压缩编码；
将所获得的压缩编码作为压缩后的关键数据或者非关键数据。
14.如权利要求13所述的大数据传输系统，其特征在于，所述压缩模块还用于：
当预定义字节长度的滑动窗口中的数据为未在所述压缩字典中定义的字时，将所述滑动窗口中的当前数据作为所述压缩字典中的字，存储在所述压缩字典中；
对于所存储的字对应设置一个新的压缩编码增加到所述压缩编码集中；
将所获得的该新的压缩编码作为压缩后的关键数据或者非关键数据。
15.如权利要求13所述的大数据传输系统，其特征在于，
所述预定义字节长度为4字节。
16.如权利要求14所述的大数据传输系统，其特征在于，所述ONU还包括：遍历模块；
所述遍历模块，用于利用所述滑动窗口遍历所述数据。
17.如权利要求10所述的大数据传输系统，其特征在于，所述OLT还包括：加密模块；
所述加密模块，用于在上报压缩后的所述关键数据和/或所述非关键数据之前，对压缩后的所述关键数据和/或所述非关键数据进行加密；
所述加密包括以下步骤：
预生成私有密钥和密钥KEY，并将所述私有密钥发送给所述网管；
获得在所述网管上预生成的公开密钥；
使用所述公开密钥对所述密钥KEY进行加密，并将加密结果发送给所述网管；
使用私有密钥对附加消息进行加密；所述附加信息包括：不属于关键数据或非关键数据，但需要由OLT上报给网管的信息；
使用密钥KEY对压缩后的关键数据和/或非关键数据，以及加密后的附加信息进行加密。
18.如权利要求10所述的大数据传输系统，其特征在于，
所述关键数据包括：设备基本信息、设备运行状态信息、端口属性及虚拟局域网VLAN信息、广域网WAN连接配置信息、语音基本呼叫及注册信息和因特网管理协议IGMP基本配置信息；
所述非关键数据包括：服务质量QOS、访问控制列表ACL、组播、以太网口供电、环路检测、端口镜像、生成树协议STP、应用APP防控、动态主机配置协议DHCP、串口服务器、点到点以太网协议代理PPPoEAgent、语音附加策略及配置、社区公共电视天线系统CATV以及TDMoP。
CN201510623631.3A 2015-09-25 2015-09-25 一种大数据传输方法和系统 Active CN105262740B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510623631.3A CN105262740B (zh) 2015-09-25 2015-09-25 一种大数据传输方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510623631.3A CN105262740B (zh) 2015-09-25 2015-09-25 一种大数据传输方法和系统

Publications (2)

Publication Number Publication Date
CN105262740A true CN105262740A (zh) 2016-01-20
CN105262740B CN105262740B (zh) 2019-08-06

Family

ID=55102245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510623631.3A Active CN105262740B (zh) 2015-09-25 2015-09-25 一种大数据传输方法和系统

Country Status (1)

Country Link
CN (1) CN105262740B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107018164A (zh) * 2016-01-28 2017-08-04 中国移动通信集团浙江有限公司 一种业务处理方法及装置
WO2017156980A1 (zh) * 2016-03-15 2017-09-21 中兴通讯股份有限公司 一种对光网络单元onu的数据进行处理方法及装置
CN107342951A (zh) * 2017-06-21 2017-11-10 苏睿 数据传输方法及装置
CN107547129A (zh) * 2016-06-23 2018-01-05 中兴通讯股份有限公司 链路状态检测方法及系统
CN110300038A (zh) * 2018-03-23 2019-10-01 中兴通讯股份有限公司 一种智能家居设备的通信方法、线卡、设备及存储介质
CN112637239A (zh) * 2020-12-31 2021-04-09 河南信大网御科技有限公司 一种快速裁决系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103064914A (zh) * 2012-12-20 2013-04-24 曙光信息产业(北京)有限公司 数据处理系统以及数据处理方法
CN103379140A (zh) * 2012-04-17 2013-10-30 中国移动通信集团公司 一种日志处理规则同步方法及相关设备和系统
CN103546230A (zh) * 2012-07-09 2014-01-29 上海斐讯数据通信技术有限公司 Mib数据上传方法及gpon网络
CN102035784B (zh) * 2009-09-04 2014-07-09 英特尔移动通信技术德累斯顿有限公司 用于基带ofdm接收机中干扰减轻的方法和装备
CN102739624B (zh) * 2011-04-15 2014-09-10 中兴通讯股份有限公司 一种无源光网络单元的业务自动迁移方法和系统
CN104184545A (zh) * 2013-05-27 2014-12-03 华为技术有限公司 一种传输数据的方法及解码端、编码端
CN103138833B (zh) * 2013-02-01 2015-09-02 北京邮电大学 基于流量监测的pon中网络编码配对关系管理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102035784B (zh) * 2009-09-04 2014-07-09 英特尔移动通信技术德累斯顿有限公司 用于基带ofdm接收机中干扰减轻的方法和装备
CN102739624B (zh) * 2011-04-15 2014-09-10 中兴通讯股份有限公司 一种无源光网络单元的业务自动迁移方法和系统
CN103379140A (zh) * 2012-04-17 2013-10-30 中国移动通信集团公司 一种日志处理规则同步方法及相关设备和系统
CN103546230A (zh) * 2012-07-09 2014-01-29 上海斐讯数据通信技术有限公司 Mib数据上传方法及gpon网络
CN103064914A (zh) * 2012-12-20 2013-04-24 曙光信息产业(北京)有限公司 数据处理系统以及数据处理方法
CN103138833B (zh) * 2013-02-01 2015-09-02 北京邮电大学 基于流量监测的pon中网络编码配对关系管理方法
CN104184545A (zh) * 2013-05-27 2014-12-03 华为技术有限公司 一种传输数据的方法及解码端、编码端

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107018164A (zh) * 2016-01-28 2017-08-04 中国移动通信集团浙江有限公司 一种业务处理方法及装置
CN107018164B (zh) * 2016-01-28 2020-11-06 中国移动通信集团浙江有限公司 一种业务处理方法及装置
WO2017156980A1 (zh) * 2016-03-15 2017-09-21 中兴通讯股份有限公司 一种对光网络单元onu的数据进行处理方法及装置
CN107196778A (zh) * 2016-03-15 2017-09-22 中兴通讯股份有限公司 一种光网络单元onu数据处理方法及装置
CN107547129A (zh) * 2016-06-23 2018-01-05 中兴通讯股份有限公司 链路状态检测方法及系统
CN107342951A (zh) * 2017-06-21 2017-11-10 苏睿 数据传输方法及装置
CN110300038A (zh) * 2018-03-23 2019-10-01 中兴通讯股份有限公司 一种智能家居设备的通信方法、线卡、设备及存储介质
CN112637239A (zh) * 2020-12-31 2021-04-09 河南信大网御科技有限公司 一种快速裁决系统及方法

Also Published As

Publication number Publication date
CN105262740B (zh) 2019-08-06

Similar Documents

Publication Publication Date Title
CN105262740A (zh) 一种大数据传输方法和系统
CN100512194C (zh) 链路聚合方法、装置、mac帧收发方法和系统
KR100594153B1 (ko) 점대다 토폴로지의 네트워크에서 논리링크의 형성과 그보안 통신 방법
US11272396B2 (en) Frame aggregation method, network setting frame sending method, and device
CN102523119B (zh) 基于snmp协议的epon网管系统数据传输方法
CN111010274B (zh) 一种安全低开销的SRv6实现方法
DE202012003716U1 (de) Vorrichtung für ein skalierbares und sicheres Transportprotokoll zur Sensordatenerfassung
CN103023702A (zh) 批量mib的处理方法
CN104495553A (zh) 智能电梯监测管理平台
CN108616549A (zh) 一种文件上传方法及文件服务器
TW201233107A (en) Grouping small burst transmissions for downlink machine-to-machine communications
CN110809026B (zh) 一种文件处理方法、装置、电子设备及存储介质
CN105119911A (zh) 一种基于sdn流的安全认证方法及系统
CN114071698A (zh) 一种具备参数动态配置与状态感知的自组网数据收发方法及装置
US11171860B2 (en) Method for obtaining target transmission route, related device, and system
CN105551220A (zh) 一种转炉煤气干法除尘的远程数据采集方法
CN108894915B (zh) 一种风力发电远程监控系统及其工作方法
CN109150829A (zh) 软件定义云网络可信数据分发方法、可读存储介质和终端
CN111131213B (zh) 一种r-goose电力报文的实现方法
CN109818814B (zh) 一种量子保密通信网络模拟系统
CN102124698B (zh) 用于在网络管理环境中导出结构化数据的系统和方法
CN108900518A (zh) 可信的软件定义云网络数据分发系统
CN101909043A (zh) 一种基于简单网络管理协议的数据传输的方法及系统
CN112822054B (zh) 一种多个相关设备利用同一网元的远程管理方法
WO2020207429A1 (zh) 报文处理方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100094 First to Fifth Floors of Building 11, East Yard, No. 10 Wangdong Road, Northwest Haidian District, Beijing

Applicant after: Raisecom Technology Inc.

Address before: 100085 No. 2 Building, No. 28 Shangdi Sixth Street, Haidian District, Beijing

Applicant before: Raisecom Technology Inc.

GR01 Patent grant
GR01 Patent grant