CN114531332A - 数据传输方法、数据处理方法、设备及存储介质 - Google Patents

数据传输方法、数据处理方法、设备及存储介质 Download PDF

Info

Publication number
CN114531332A
CN114531332A CN202011233609.5A CN202011233609A CN114531332A CN 114531332 A CN114531332 A CN 114531332A CN 202011233609 A CN202011233609 A CN 202011233609A CN 114531332 A CN114531332 A CN 114531332A
Authority
CN
China
Prior art keywords
data
data packet
packet
storage area
compression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011233609.5A
Other languages
English (en)
Inventor
周先涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN202011233609.5A priority Critical patent/CN114531332A/zh
Publication of CN114531332A publication Critical patent/CN114531332A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/02Standardisation; Integration
    • H04L41/0246Exchanging or transporting network management information using the Internet; Embedding network management web servers in network elements; Web-services-based protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04Protocols for data compression, e.g. ROHC
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22Parsing or analysis of headers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例提供一种数据传输方法、数据处理方法、网络设备、网管设备及存储介质,属于数据通讯技术领域。该方法包括:对采集到的指标数据进行编码,得到编码数据,并将所述编码数据缓存至预先分配的存储区域内;对所述存储区域内缓存的编码数据进行打包得到数据包,并将所述数据包发送至网管侧。本发明实施例的技术方案旨在降低网络开销和网络带宽的占用。

Description

数据传输方法、数据处理方法、设备及存储介质
技术领域
本发明涉及数据通讯技术领域,尤其涉及一种数据传输方法、数据处理方法、网络设备、网管设备及存储介质。
背景技术
随着网络的设备规模日益增大,承载的业务越来越多,用户对网络的智能运维提出了更高的要求,包括监控的指标数据需要拥有更高的精度以便及时检测和快速调整微突发流量,以及要降低监控过程对设备功能和性能的影响以便提高设备和网络的利用率。
目前,在网络监控领域中主要运用Telemetry技术,将网络设备上实时采集到的数据推送给管控系统。但由于不同数据类型的数据的上报周期不同,会出现大量零散数据上报,网络传输有效的净荷少,开销大。并且,由于每个上报周期内上报的数据量非常多,且每组数据的关联性较大,网络传输中还会涉及到拆包、组包、乱序恢复等复杂的处理过程,网络占用较大。
发明内容
本发明实施例的主要目的在于提供一种数据传输方法、数据处理方法、网络设备、网管设备及存储介质,旨在降低网络开销和网络带宽的占用。
第一方面,本发明实施例提供一种数据传输方法,应用于设备侧,所述方法包括:
对采集到的指标数据进行编码,得到编码数据,并将所述编码数据缓存至预先分配的存储区域内;对所述存储区域内缓存的编码数据进行打包得到数据包,并将所述数据包发送至网管侧。
第二方面,本发明实施例还提供一种数据处理方法,应用于网管侧,所述方法包括:
接收设备侧发送的数据包,并对所述数据包进行解包,得到数据包内的编码数据;对所述数据包内的编码数据进行解码处理,并将解码后的数据发送给业务模块进行业务处理。
第三方面,本发明实施例还提供一种网络设备,所述网络设备包括处理器、存储器、存储在所述存储器上并可被所述处理器执行的计算机程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线,其中所述计算机程序被所述处理器执行时,实现如本发明说明书提供的任一项数据传输方法的步骤。
第四方面,本发明实施例还提供一种网管设备,所述网络设备包括处理器、存储器、存储在所述存储器上并可被所述处理器执行的计算机程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线,其中所述计算机程序被所述处理器执行时,实现如本发明说明书提供的任一项数据处理方法的步骤。
第五方面,本发明实施例还提供一种存储介质,用于计算机可读存储,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如本发明说明书提供的任一项数据传输方法的步骤或者任一项数据处理方法的步骤。
本发明实施例提供一种数据传输方法、数据处理方法、网络设备、网管设备及存储介质,本发明实施例通过对采集到的指标数据进行编码,得到编码数据,并将编码数据缓存至预先分配的存储区域内,然后对存储区域内缓存的编码数据进行打包得到数据包,并将数据包发送至网管侧。通过在设备侧预先分配存储区域,将需要打包的编码数据放入存储区域中,再对存储区域内缓存的编码数据进行打包,能够对大量零散数据进行共同打包处理,降低网络传输开销。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据传输系统的结构示意图;
图2为本发明实施例提供的一种数据传输方法的流程示意图;
图3为本发明实施例提供的一种数据处理方法的流程示意图;
图4为本发明实施例提供的一种网络设备的结构示意性框图;
图5为本发明实施例提供的一种网管设备的结构示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。
应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
本发明实施例提供一种数据传输方法、数据处理方法、网络设备、网管设备及存储介质。其中,该数据传输方法可应用于网络设备中,用于减少传送数据中的冗余信息和网络开销,降低网络带宽的占用,减少不必要的拆包、组包、乱序等处理过程。
请参照图1,图1为本发明实施例提供的一种数据传输系统的结构示意图。
如图1所示,该数据传输系统100包括网络侧的网络设备110和网管侧的网管设备120。其中,网络设备110可以是路由器、交换机、PTN、OTN、MSTP等,网管设备120可以是EMS、NMS等。
网络设备110与网管设备120之间通讯连接,网络设备110用于采集指标数据,并将指标数据发送给网管设备120,网管设备120再将接收到的指标数据下发给业务模块进行业务处理。在具体实施过程中,可以采用Telemetry技术,将网络设备110上实时采集到的数据推送给网管设备120。
网络设备110采集指标数据,并将采集到的指标数据进行编码,得到编码数据。其中,指标数据是指一些监控设备运行情况的数据,例如CPU利用率、内存利用率和端口的收发包统计等。进行编码时可以采用多种编码方式,例如,GPB格式编码、XML格式编码和JSON格式编码等。
网络设备110内预先分配有存储区域,该预先分配的存储区域用于存储编码数据,将编码数据缓存在预先分配的存储区域内,在存储区域内存储的编码数据达到一定条件时,将存储区域内存储的编码数据进行打包,得到数据包,将数据包发送给网管设备120,进行数据传输。
其中,在存储区域内存储的编码数据达到一定条件可以是存储区域内存储的编码数据的数据量达到了预设阈值,或者存储区域内存储的编码数据的存储时间达到了预设时长。
在具体实施过程中,存储区域内存储的编码数据的存储时间是否达到预设时长,可以使用定时器来实现。在存储区域内开是有数据存入时,开启定时器,当定时器时间到达时,则认为此时存储区域内存储的编码数据的存储时间达到了预设时长。
需要说明的是,存储区域内存储的编码数据的数据量达到了预设阈值,也可以是指存储区域内存储的编码数据相对于该存储区域的内存占比达到了预设阈值。
例如,当存储区域内存储的编码数据的内存占比达到70%时,则将存储区域内存储的编码数据进行打包,得到数据包,并把数据包发送给网管设备120。
又例如,设置定时器的时间为30s,自存储区域内开始存入编码数据时,定时器开始计时。当定时器时间到达时,将存储区域内存储的编码数据进行打包,得到数据包,并把数据包发送给网管设备120。
在一实施例中,网络设备110在对编码数据进行打包,得到数据包之后,还可以判断是否需要对数据包进行压缩,当判断需要对数据包进行压缩时,采用压缩算法对数据包进行压缩,然后将压缩数据包发送给网管设备120,进行数据传输。
其中,可根据数据包内所包括的编码数据的数据类型和数据长度来确定是否需要对数据包进行压缩。例如,对于一些数据长度小于预设长度的编码数据,可以不进行压缩,或者对于一些数据量较少的数据类型的数据,也可以不进行压缩。
在具体实施过程中,不进行压缩的预设长度和数据类型都可以预先进行配置。此外,也可以预先配置一些不需要压缩的特定的数据,使不对这些特定数据进行数据压缩。
在对数据包进行压缩时,可以采用多种压缩算法,例如DEFLATE等。在对数据包进行压缩时,可以修改数据包的报头,在报头中设置压缩标识和使用的压缩算法的压缩算法编码。压缩标识用于表示该数据包是经过数据压缩后的数据包,而根据压缩算法编码,则可以便于网管设备120选择正确的压缩算法对数据包进行解压缩。
网管设备120在接收到数据包后,对数据包进行解压缩处理,得到打包的编码数据。
其中,在对数据包进行解压缩处理时,可读取数据包的报头,从数据包的报头中获取压缩标识。若压缩标识表示该数据包为压缩后的数据包,则根据报头中的压缩算法编码调用对应的压缩算法,对数据包进行解压缩,得到打包的编码数据。而若压缩标识表示该数据包未经过压缩处理,则可以直接将数据包作为打包的编码数据。
网管设备120内也预先分配有存储区域,将得到的打包的编码数据缓存在预先分配的存储区域中,然后对数据进行解包处理。其中,解包处理也即从打包的编码数据中取出所有的编码数据,并将取出后的编码数据缓存在存储区域中。
在具体实施过程中,当网络设备110选择GPB编码对指标数据进行编码时,编码数据本身就携带了数据属性信息,无需再在编码数据的数据包上增加标识来表示该数据包为打包后的数据,网管设备120可以根据完整的数据包的数据长度即可进行解包。
在从打包的编码数据中取出第一条编码数据后,根据取出的编码数据的数据长度和缓存的编码数据的数据长度,即可确定是否还存在后续的编码数据,若有,则依次取出,若没有,则表示编码数据已经全部被取出,可进行解码处理。
网管设备120对取出的编码数据进行解码处理,然后将解码后的数据发送给相应的业务模块进行业务处理。其中,业务处理包括对解码后的数据进行呈现或存储等处理。
下面基于该数据传输系统并结合附图,对本发明的一些实施例作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
请参照图2,图2为本发明实施例提供的一种数据传输方法的流程示意图。该数据传输方法主要应用于设备侧,也即图1中的网络设备。
如图2所示,该数据传输方法包括步骤S201至步骤S202。
步骤S201、对采集到的指标数据进行编码,得到编码数据,并将编码数据缓存至预先分配的存储区域内。
指标数据具体是指一些监控设备运行情况的数据,例如CPU利用率、内存利用率和端口的收发包统计等。网络设备在采集到指标数据后,可以对采集到的指标数据进行编码,得到编码数据,在进行编码时可以采用多种编码方式,例如GPB格式编码、XML格式编码和JSON格式编码等。
由于对于同一类指标数据,数据之间是存在关联性的,并且采集到的每组指标数据会有部分信息重复,因此在网络设备内预先分配用于存储编码数据的存储区域,在得到编码数据后,可将编码数据先缓存在预先分配的存储区域内,而不是直接进行数据打包和发送,由此来避免大量零散数据的上传。
步骤S202、对存储区域内缓存的编码数据进行打包得到数据包,并将数据包发送至网管侧。
对存储区域内缓存的编码数据进行打包,得到缓存的编码数据的数据包,然后将数据包发送给网管侧,由网管侧的设备对数据包进行解包等处理后,进行后续处理。
在一实施例中,对存储区域内缓存的编码数据进行打包得到数据包,包括:当存储区域内存储的编码数据的数据量达到预设阈值时,对存储区域内缓存的编码数据进行打包得到数据包;或者当存储区域内存储的编码数据的存储时间达到预设时长时,对存储区域内缓存的编码数据进行打包得到数据包。
其中,预设阈值和预设时长都可以是预先根据实际的使用场景或实际情况设置好的。
存储区域内存储的编码数据的数据量达到预设阈值,除了可以是指存储区域内存储的编码数据的数据数量达到预设阈值,还可以是指存储区域内存储的编码数据所占用内存与存储区域的总内存的内存占比达到预设阈值。
确定存储区域内存储的所述编码数据的存储时间是否达到预设时长,可以利用定时器来实现,当定时器的时间到达时,确定存储区域内存储的所述编码数据的存储时间达到预设时长。
在存储区域内缓存的编码数据达到预设条件时,再将缓存的编码数据一起进行打包得到数据包,避免出现多个单包数据量很小的数据包在网络上进行传输的情况,降低网络传输开销,对于汇聚节点,也能够降低管理通道带宽的占用。
在一实施例中,将数据包发送至网管侧,包括:对数据包进行数据压缩得到压缩数据,并将压缩数据发送至网管侧。
在将数据包发送至网管侧之前,可以包括对数据包进行数据压缩得到压缩数据,然后将压缩数据发送至网管侧。对数据包进行压缩,得到压缩数据,在向网管侧发送时可直接发送压缩数据,数据压缩能够降低在网络中传输的数据量,降低网络开销。在进行数据压缩前,对编码数据进行打包可以提升压缩效果。
在一实施例中,对数据包进行数据压缩,包括:使用压缩算法对数据包进行压缩,并修改数据包的报头,报头包括压缩标记以及压缩算法对应的压缩算法编码。
使用压缩算法对数据包进行压缩,压缩算法例如可以是DEFLATE等。在对数据包进行压缩后,修改数据包的报头,其中,报头包括压缩标记,表示该数据包为经过压缩的数据包,以及对该数据进行压缩时使用的压缩算法对应的压缩算法编码。
在一实施例中,对数据包进行数据压缩得到压缩数据,包括:获取数据包的数据属性,并根据数据包的数据属性确定是否需要对数据包进行数据压缩,数据属性信息包括数据包的数据长度和/或数据类型;若数据包的数据长度大于预设长度和/或数据包的数据类型为预设类型时,确定需要对数据包进行数据压缩。
获取数据包的数据属性,并根据数据包的数据属性来判断是否需要对数据包进行数据压缩。其中,数据属性信息包括数据包的数据长度和/或数据类型。例如,数据包的数据长度大于预设长度时,认为需要对数据包进行数据压缩,数据包的数据类型为预设类型时,认为需要对数据包进行数据压缩。
在具体实施过程中,还可以预先设置一些需要进行数据压缩或者不需要进行数据压缩的数据。在网络设备采集到这些数据时,可直接根据用户预先配置的内容来确定是否对数据包进行压缩。
对于需要进行数据压缩的数据包,可调用相关的压缩算法,并修改数据包的报头,完成数据包的压缩,并将得到的压缩数据发送给网管侧;而对于不需要进行数据压缩的数据包,可直接将数据包发送给网管侧。
上述实施例提供的数据传输方法,通过对采集到的指标数据进行编码,得到编码数据,并将编码数据缓存至预先分配的存储区域内,然后对存储区域内缓存的编码数据进行打包得到数据包,并将数据包发送至网管侧。通过在设备侧预先分配存储区域,将需要打包的编码数据放入存储区域中,再对存储区域内缓存的编码数据进行打包,能够对大量零散数据进行共同打包处理,降低网络传输开销。
请参照图3,图3为本发明实施例提供的一种数据处理方法的流程示意图。该数据处理方法主要应用于网管侧,也即图1中的网管设备。
如图3所示,该数据传输方法包括步骤S301至步骤S302。
S301、接收设备侧发送的数据包,并对数据包进行解包,得到数据包内的编码数据。
网管设备接收设备侧发送过来的数据包,并对数据包进行解包,得到数据包内的编码数据。
在一实施例中,对数据包进行解包,包括:将数据包缓存在预先分配的存储区域中,并从数据包中提取首条编码数据;获取首条编码数据的数据长度以及数据包的数据长度,并根据数据包的数据长度和首条编码数据的数据长度,从数据包中逐条提取编码数据。
由于在对指标数据进行编码时,可以采用多种编码方式,以GPB编码为例,在对指标数据进行GPB编码后,编码数据本身携带了数据属性,也即通过对数据属性的提取可以得到编码数据的数据包的数据长度和每个编码数据的数据长度。
因此,在对数据包进行解包时,首先将受到的数据包缓存在预先分配的存储区域中,然后从数据包中提取首条编码数据,通过该编码数据的数据长度和数据包的数据长度,确定数据包中在该首条编码数据后是否还有尚未提取出的编码数据,由此从数据包中逐条提取编码数据。
在具体实施过程中,存储区域为预先分配好的,每一个数据包都可以分别存储在一个预先分配好的存储区域中。由此可以在有多个数据包到达网管设备时,可以直接将各个数据包缓存入各个存储区域中,无需在数据包到来时进行多次内存分配,提高效率和速度。
在一实施例中,在对所述数据包进行解包之前,该数据处理方法包括:读取数据包的报头,报头中包括压缩标记以及压缩算法对应的压缩算法编码;基于压缩标记确定数据包是否为压缩数据;若数据包为压缩数据,则根据压缩算法编码调用对应的压缩算法,对压缩数据进行解压缩,得到解压缩数据。
在对数据包进行解包之前,可读取数据包的报头,根据报头中的压缩标记来确定数据包是否为压缩数据,若确定数据包为压缩数据,则根据报头中的压缩算法编码,调用对应的压缩算法,对压缩数据进行解压缩,得到解压缩数据,然后对解压缩数据进行解包,得到数据包内的编码数据。若确定数据包不是压缩数据,则可以直接对数据包进行解包,得到数据包内的编码数据。
S302、对数据包内的编码数据进行解码处理,并将解码后的数据发送给业务模块进行业务处理。
在对数据包进行解包,得到数据包内的编码数据后,可以调用编码算法对编码数据进行解码处理,并将解码后的数据发送给业务模块进行业务处理。其中,业务处理包括对解码后的数据进行呈现或存储等处理。
上述实施例提供的数据处理方法,通过接收设备侧发送的数据包,并对数据包进行解包,得到数据包内的编码数据;对数据包内的编码数据进行解码处理,并将解码后的数据发送给业务模块进行业务处理。实现对设备侧发送的数据的接收,并对数据进行解包、解压缩、解码等处理,以便业务模块进行业务处理。
请参阅图4,图4为本发明实施例提供的一种网络设备的结构示意性框图。
如图4所示,网络设备400包括处理器401和存储器402,处理器401和存储器402通过总线403连接,该总线比如为I2C(Inter-integrated Circuit)总线。
具体地,处理器401用于提供计算和控制能力,支撑整个XXXX设备的运行。处理器301可以是中央处理单元(Central Processing Unit,CPU),该处理器301还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
具体地,存储器402可以是Flash芯片、只读存储器(ROM,Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
本领域技术人员可以理解,图4中示出的结构,仅仅是与本发明实施例方案相关的部分结构的框图,并不构成对本发明实施例方案所应用于其上的网络设备的限定,具体的服务器可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
其中,所述处理器用于运行存储在存储器中的计算机程序,并在执行所述计算机程序时实现本发明实施例提供的任意一种所述的数据传输方法。
在一实施例中,所述处理器用于运行存储在存储器中的计算机程序,并在执行所述计算机程序时实现如下步骤:
对采集到的指标数据进行编码,得到编码数据,并将所述编码数据缓存至预先分配的存储区域内;对所述存储区域内缓存的编码数据进行打包得到数据包,并将所述数据包发送至网管侧。
在一实施例中,所述处理器在实现所述对所述存储区域内缓存的编码数据进行打包得到数据包时,用于实现:当所述存储区域内存储的所述编码数据的数据量达到预设阈值时,对所述存储区域内缓存的编码数据进行打包得到数据包;或者当所述存储区域内存储的所述编码数据的存储时间达到预设时长时,对所述存储区域内缓存的编码数据进行打包得到数据包。
在一实施例中,所述处理器在实现所述将所述数据包发送至网管侧时,用于实现:对所述数据包进行数据压缩得到压缩数据,并将所述压缩数据发送至网管侧。
在一实施例中,所述处理器在实现所述对所述数据包进行数据压缩得到压缩数据时,用于实现:获取所述数据包的数据属性,并根据所述数据包的数据属性确定是否需要对所述数据包进行数据压缩,所述数据属性信息包括所述数据包的数据长度和/或数据类型;若所述数据包的数据长度大于预设长度和/或所述数据包的数据类型为预设类型时,确定需要对所述数据包进行数据压缩。
在一实施例中,所述处理器在实现所述对所述数据包进行数据压缩时,用于实现:使用压缩算法对所述数据包进行压缩,并修改所述数据包的报头,所述报头包括压缩标记以及所述压缩算法对应的压缩算法编码。
需要说明的是,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的网络设备的具体工作过程,可以参考前述数据传输方法实施例中的对应过程,在此不再赘述。
请参阅图5,图5为本发明实施例提供的一种网管设备的结构示意性框图。
如图5所示,网管设备500包括处理器501和存储器502,处理器501和存储器502通过总线503连接,该总线比如为I2C(Inter-integrated Circuit)总线。
具体地,处理器501用于提供计算和控制能力,支撑整个XXXX设备的运行。处理器301可以是中央处理单元(Central Processing Unit,CPU),该处理器301还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
具体地,存储器502可以是Flash芯片、只读存储器(ROM,Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
本领域技术人员可以理解,图5中示出的结构,仅仅是与本发明实施例方案相关的部分结构的框图,并不构成对本发明实施例方案所应用于其上的网络设备的限定,具体的服务器可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
其中,所述处理器用于运行存储在存储器中的计算机程序,并在执行所述计算机程序时实现本发明实施例提供的任意一种所述的数据处理方法。
在一实施例中,所述处理器用于运行存储在存储器中的计算机程序,并在执行所述计算机程序时实现如下步骤:
接收设备侧发送的数据包,并对所述数据包进行解包,得到数据包内的编码数据;对所述数据包内的编码数据进行解码处理,并将解码后的数据发送给业务模块进行业务处理。
在一实施例中,所述处理器在实现所述对所述数据包进行解包之前,用于实现:读取所述数据包的报头,所述报头中包括压缩标记以及压缩算法对应的压缩算法编码;基于所述压缩标记确定所述数据包是否为压缩数据;若所述数据包为压缩数据,则根据所述压缩算法编码调用对应的压缩算法,对所述压缩数据进行解压缩,得到解压缩数据。
在一实施例中,所述处理器在实现所述对所述数据包进行解包时,用于实现:将所述数据包缓存在预先分配的存储区域中,并从所述数据包中提取首条编码数据;获取所述首条编码数据的数据长度以及所述数据包的数据长度,并根据所述数据包的数据长度和所述首条编码数据的数据长度,从所述数据包中逐条提取编码数据。
需要说明的是,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的网管设备的具体工作过程,可以参考前述数据处理方法实施例中的对应过程,在此不再赘述。
本发明实施例还提供一种存储介质,用于计算机可读存储,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如本发明实施例说明书提供的任一项数据传输方法的步骤或者数据处理方法的步骤。
其中,所述存储介质可以是前述实施例所述的网络设备或网管设备的内部存储单元,例如所述网络设备或网管设备的硬盘或内存。所述存储介质也可以是所述网络设备或网管设备的外部存储设备,例如所述网络设备或网管设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施例中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
应当理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。以上所述,仅为本发明的具体实施例,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (11)

1.一种数据传输方法,其特征在于,应用于设备侧,所述方法包括:
对采集到的指标数据进行编码,得到编码数据,并将所述编码数据缓存至预先分配的存储区域内;
对所述存储区域内缓存的编码数据进行打包得到数据包,并将所述数据包发送至网管侧。
2.根据权利要求1所述的数据传输方法,其特征在于,所述对所述存储区域内缓存的编码数据进行打包得到数据包,包括:
当所述存储区域内存储的所述编码数据的数据量达到预设阈值时,对所述存储区域内缓存的编码数据进行打包得到数据包;或者
当所述存储区域内存储的所述编码数据的存储时间达到预设时长时,对所述存储区域内缓存的编码数据进行打包得到数据包。
3.根据权利要求1所述的数据传输方法,其特征在于,所述将所述数据包发送至网管侧,包括:
对所述数据包进行数据压缩得到压缩数据,并将所述压缩数据发送至网管侧。
4.根据权利要求3所述的数据传输方法,其特征在于,所述对所述数据包进行数据压缩得到压缩数据,包括:
获取所述数据包的数据属性,并根据所述数据包的数据属性确定是否需要对所述数据包进行数据压缩,所述数据属性信息包括所述数据包的数据长度和/或数据类型;
若所述数据包的数据长度大于预设长度和/或所述数据包的数据类型为预设类型时,确定需要对所述数据包进行数据压缩。
5.根据权利要求3所述的数据传输方法,其特征在于,所述对所述数据包进行数据压缩,包括:
使用压缩算法对所述数据包进行压缩,并修改所述数据包的报头,所述报头包括压缩标记以及所述压缩算法对应的压缩算法编码。
6.一种数据处理方法,其特征在于,应用于网管侧,所述方法包括:
接收设备侧发送的数据包,并对所述数据包进行解包,得到数据包内的编码数据;
对所述数据包内的编码数据进行解码处理,并将解码后的数据发送给业务模块进行业务处理。
7.根据权利要求6所述的数据处理方法,其特征在于,在所述对所述数据包进行解包之前,所述方法包括:
读取所述数据包的报头,所述报头中包括压缩标记以及压缩算法对应的压缩算法编码;
基于所述压缩标记确定所述数据包是否为压缩数据;
若所述数据包为压缩数据,则根据所述压缩算法编码调用对应的压缩算法,对所述压缩数据进行解压缩,得到解压缩数据。
8.根据权利要求6所述的数据处理方法,其特征在于,所述对所述数据包进行解包,包括:
将所述数据包缓存在预先分配的存储区域中,并从所述数据包中提取首条编码数据;
获取所述首条编码数据的数据长度以及所述数据包的数据长度,并根据所述数据包的数据长度和所述首条编码数据的数据长度,从所述数据包中逐条提取编码数据。
9.一种网络设备,其特征在于,所述网络设备包括处理器、存储器、存储在所述存储器上并可被所述处理器执行的计算机程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线,其中所述计算机程序被所述处理器执行时,实现如权利要求1至5中任一项所述的数据传输方法的步骤。
10.一种网管设备,其特征在于,所述网管设备包括处理器、存储器、存储在所述存储器上并可被所述处理器执行的计算机程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线,其中所述计算机程序被所述处理器执行时,实现如权利要求6至8中任一项所述的数据处理方法的步骤。
11.一种存储介质,用于计算机可读存储,其特征在于,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现权利要求1至5中任一项所述的数据传输的方法的步骤或者实现如权利要求6至8中任一项所述的数据处理方法的步骤。
CN202011233609.5A 2020-11-06 2020-11-06 数据传输方法、数据处理方法、设备及存储介质 Pending CN114531332A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011233609.5A CN114531332A (zh) 2020-11-06 2020-11-06 数据传输方法、数据处理方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011233609.5A CN114531332A (zh) 2020-11-06 2020-11-06 数据传输方法、数据处理方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114531332A true CN114531332A (zh) 2022-05-24

Family

ID=81618689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011233609.5A Pending CN114531332A (zh) 2020-11-06 2020-11-06 数据传输方法、数据处理方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114531332A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115102951A (zh) * 2022-07-29 2022-09-23 上海电气风电集团股份有限公司 一种数据实时发布方法、装置和设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115102951A (zh) * 2022-07-29 2022-09-23 上海电气风电集团股份有限公司 一种数据实时发布方法、装置和设备

Similar Documents

Publication Publication Date Title
JP7122455B2 (ja) トラフィック伝送方法、装置及びコンピュータ記憶媒体
CN101674315B (zh) 一种时间戳压缩、解压缩的方法及装置
CN112511325B (zh) 网络拥塞控制方法、节点、系统及存储介质
US10817460B2 (en) RDMA data sending and receiving methods, electronic device, and readable storage medium
CN114640886B (zh) 自适应带宽的音视频传输方法、装置、计算机设备及介质
CN108847248B (zh) 蓝牙设备音频处理方法、系统、可读存储介质和蓝牙设备
CN112671661A (zh) 物联网数据传输方法及系统
CN114531332A (zh) 数据传输方法、数据处理方法、设备及存储介质
CN112335203B (zh) 处理局域网诊断数据
CN109547356A (zh) 一种电能计量的数据传输方法、系统、设备及计算机存储介质
CN114449291A (zh) 数据传输方法、设备及计算机存储介质
CN113452630B (zh) 数据合流方法、数据拆分方法、装置、设备及存储介质
CN116094652A (zh) 音视频数据的传输方法、装置、电子设备及可读介质
CN104038307A (zh) 数据流传输系统及方法
CN110868373A (zh) 多媒体数据传输方法、装置及计算机可读存储介质
CN109995589B (zh) 日志采集方法及系统
CN114666776A (zh) 数据发送方法、装置、设备和可读存储介质
CN114142968A (zh) 一种数据包传输方法、装置、终端设备和存储介质
JP2023007048A (ja) ストリーミングサーバ、送信方法及びプログラム
CN111988674A (zh) 一种多媒体数据传输方法、装置、设备及存储介质
CN112422613B (zh) 数据处理方法、数据处理平台和计算机可读存储介质
CN104092690B (zh) 流媒体的回看媒体流带宽控制系统及方法
CN117319422B (zh) 一种城市规划领域物联网数据的区块链成块方法及系统
CN114448957B (zh) 音频数据传输方法和装置
CN114422499B (zh) 一种文件下载方法、系统及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination