CN107426307A - 数据处理方法及装置 - Google Patents
数据处理方法及装置 Download PDFInfo
- Publication number
- CN107426307A CN107426307A CN201710562848.7A CN201710562848A CN107426307A CN 107426307 A CN107426307 A CN 107426307A CN 201710562848 A CN201710562848 A CN 201710562848A CN 107426307 A CN107426307 A CN 107426307A
- Authority
- CN
- China
- Prior art keywords
- data
- transmitted
- transmission
- transmission data
- bar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/563—Data redirection of data network streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/14—Session management
- H04L67/141—Setup of application sessions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
- H04L67/5681—Pre-fetching or pre-delivering data based on network characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种数据处理方法及装置,该方法包括:确定至少一条待传输数据;将所述至少一条待传输数据进行数据封装,获得第一传输数据;将所述第一传输数据进行数据压缩,获得第二传输数据;将所述第二传输数据发送至接收端,以使所述接收端将所述第二传输数据进行数据解压缩以及数据解封装获得所述至少一条待传输数据。本发明实施例减少了待传输数据的传输带宽,提高了传输效率。
Description
技术领域
本发明属于计算机技术领域,具体地说,涉及一种数据处理方法及装置。
背景技术
WebSocket是一种基于TCP的全双工通信协议,该协议是由HTML5提供的一种发送端与接收端之间进行全双工通讯的网络技术,例如,用于浏览网页的浏览器可以是一个接收端,发送网页数据至浏览器的服务器可以是一个发送端。当发送端向接收端发送待传输数据时,可以基于WebSocket协议与所述接收端建立长连接,以随时向发送端发送待传输数据。
现有技术中,发送端端基于WebSocket协议向接收端器发送待传输数据时,直接将待传输数据以字符串或者二进制数据的形式发送至接收端。由于直接发送待传输数据,而待传输数据的数量较大时,会占用较大带宽,影响数据的正常传输。
发明内容
有鉴于此,本发明提出了一种数据处理方法及装置,解决了现有技术中发送端向接收端发送大量数据时,占用较多带宽的问题,提高了数据的传输效率。
为了解决上述技术问题,本发明的第一方面提供一种数据处理方法,该方法包括:
确定至少一条待传输数据;
将所述至少一条待传输数据进行数据封装,获得第一传输数据;
将所述第一传输数据进行数据压缩,获得第二传输数据;
将所述第二传输数据发送至接收端,以使所述接收端将所述第二传输数据进行数据解压缩以及数据解封装获得所述至少一条待传输数据。
优选地,所述确定至少一条待传输数据包括:
接收任一条待传输数据,并缓存所述任一条待传输数据;
如果缓存容量达到缓冲上限阈值时,确定缓存的至少一条待传输数据。
优选地,所述接收任一条待传输数据,并缓存所述任一条待传输数据之后,所述方法还包括:
如果缓存容量未达到缓冲下限阈值,继续缓存所述任一条待传输数据。
优选地,所述将所述至少一条待传输数据进行封装,获得第一传输数据包括:
生成第一传输数据的数据头;
为所述至少一条待传输数据中的每一条待传输数据设置标识符;
将所述至少一条传输数据以及其对应的标识符进行拼接,生成所述第一传输数据的数据体。
优选地,所述确定至少一条待传输数据之前,所述方法包括:
确定数据发送总量大于预设数量的至少一条待传输数据。
本发明的第二方面提供了一种数据处理装置,该装置包括:
确定模块,用于确定至少一条待传输数据;
封装模块,用于将所述至少一条待传输数据进行数据封装,获得第一传输数据;
压缩模块,用于将所述第一传输数据进行数据压缩,获得第二传输数据;
发送模块,用于将所述第二传输数据发送至接收端,以使所述接收端将所述第二传输数据进行数据解压缩以及数据解封装获得所述至少一条待传输数据。
优选地,所述确定模块包括:
缓存单元,用于接收任一条待传输数据,并缓存所述任一条待传输数据;
确定单元,用于如果缓存容量达到缓冲上限阈值时,确定缓存的至少一条待传输数据。
优选地,所述确定模块还包括:
判断单元,用于如果缓存容量未达到缓冲下限阈值,继续缓存所述任一条待传输数据。
优选地,所述封装模块包括:
生成单元,用于生成第一传输数据的数据头;
设置单元,用于为所述至少一条待传输数据中的每一条待传输数据设置标识符;
拼接单元,用于将所述至少一条传输数据以及其对应的标识符进行拼接,生成所述第一传输数据的数据体。
优选地,所述装置包括:
数量模块,用于确定数据发送总量大于预设数量的至少一条待传输数据。
与现有技术相比,本发明实施例中,在确定至少一条待传输数据之后,将所述待传输数据进行数据封装,获得第一传输数据。在数据封装之后,将所述第一传输数据进行数据压缩,获得第二传输数据。由于所述第一传输数据将所述至少一条待传输数据进行了格式统一,方便了将所述第一传输数据进行压缩,并获得压缩后的第二传输数据,所述第二传输数据的内存占用小于所述至少一条待传输数据,因此,在将所述第二传输数据发送至接收端时,可以减少带宽占用,有利于数据传输。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明实施例的一种数据处理方法的一个实施例的流程图;
图2是本发明实施例的一种数据处理方法的又一个实施例的流程图;
图3是本发明实施例的一个封装数据的一个结构示意图;
图4是本发明实施例的一个封装数据的又一个结构示意图;
图5是本发明实施例的一种数据处理装置的一个实施例的结构示意图;
图6是本发明实施例的一种数据处理装置的又一个实施例的结构示意图。
具体实施方式
以下将配合附图及实施例来详细说明本发明的实施方式,藉此对本发明如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
本发明实施例主要应用于基于WebSocket协议的双向传输系统中,例如,传输弹幕消息的网络直播系统中。
在基于WebSocket协议的全双工通信过程中,接收端请求与发送端建立连接之后,发送端可以基于WebSocket协议发送待传输数据。传输过程中,将任一条待传输数据逐条发送,在传输过程中未进行任何数据压缩工作,需要占用与所有待传输数据的内存占用大小相同的带宽。特别是在发送端需要传输的数量非常大时,逐条发送待传输数据的方式需要占用更大带宽,不利于大量待传输数据的传输。
因此,发明人想到是否可以将基于WebSocket协议传输的数据进行压缩,以节约数据传输占用的带宽,据此提出了本发明的技术方案。
在本发明实施例中,确定至少一条待传输数据,可以将所述待传输数据进行数据封装,获得第一传输数据,封装后的第一传输数据为后续压缩提供了便利。将所述第一传输数据进行数据压缩,获得第二传输数据,压缩之后的第二传输数据,与未压缩的所述至少一条待传输数据相比,其占用内存变小。进而,可以以较小的内存占用将所述第二传输数据发送至接收端,使其在传输过程中占用带宽也变小,提高数据的传输效率。进而可以使所述接收端将所述第二传输数据进行解压缩,以及数据解封装获得所述待传输数据。
下面将结合附图对本发明的技术方案进行详细描述。
图1为本发明实施例提供的一种数据处理方法的一个实施例的流程图,该方法可以包括以下几个步骤:
101:确定至少一条待传输数据。
本实施例的技术方案应用于发送端中,发送端可以向接收端发送待传输数据,在某些实施例中,所述待传输数据的数量非常大,例如,弹幕服务器可以向客户端端发送大量的弹幕数据。当所述待传输数据的数量非常大时,需要将所述待传输数据分多次传输。发送端与接收端之间可以基于WebSocket协议进行数据传输。
可选地,可以在发送端设置一个缓冲区,以用于缓冲用户需要发送的任一条所述待传输数据。所述缓冲区的内存占用大小可以依据WebSocket协议的单次最大传输量而定,例如,所述缓冲区的大小可以是所述WebSocket协议中单次最大传输量,当然,所述缓冲区的大小也可以略小于该最大传输量。所述缓冲区在缓冲所述至少一条待传输数据的过程中,可以实时检测已缓存的所述至少一条待传输数据,以确定缓冲区中缓存的所述至少一条待传输数据。
102:将所述至少一条待传输数据进行数据封装,获得第一传输数据。
封装数据可以是按照自定义方式进行封装的,封装的数据需要包括数据头以及数据体两部分。其中,数据头可以包括数据封装包的版本信息,数据类型,以及数据长度等信息;数据体中每一条待传输数据可以包括相应的标识信息以标识对应的一条待传输数据。
将所述至少一条待传输数据进行数据封装,可以为所述至少一条待传输数据中的每一条待传输数据添加头文件信息,并将每一条待传输数据拼接形成所述数据体。
103:将所述第一传输数据进行数据压缩,获得第二传输数据。
将所述至少一条待传输数据进行数据封装后,每一条待传输数据均可以符合相同的数据格式,可以根据该数据格式,将第一传输数据进行压缩获得第二传输数据。压缩后的第二传输数据可以减少所述至少一条待传输数据的内存占用,以减少数据传输过程中的带宽占用。
可选地,将所述第一传输数据进行数据压缩可以使用通用的zlib库中的DEFLATE压缩算法对所述第一传输数据进行压缩,也即所述DEFLATE压缩算法可以将所述第一传输数据压缩成第二传输数据。
104:将所述第二传输数据发送至接收端,以使所述接收端将所述第二传输数据进行解压缩以及数据解封装获得所述至少一条待传输数据。
发送端将所述第二传输数据发送至接收端,是指所述发送端将封装以及压缩后获得的第二传输数据发送至接收端。接收端接收所述第二传输数据,可以根据预先设置的解压缩算法以及解封装算法,将所述第二传输数据进行解压缩以及解封装,以获取所述至少一条待传输数据。
本发明实施例中,确定至少一条待传输数据之后,将所述待传输数据进行数据封装以及数据压缩,以减少所述至少一条待传输数据的内存占用,进而在数据传输时可以减少所述至少一条待传输数据的带宽占用,在大量传输待传输数据时,可以减少由于数据传输需要占用较大带宽对数据传输的不利影响。
如图2所示为本发明所示的一种数据处理方法的又一个实施例的流程,所述方法可以包括以下几个步骤:
201:接收任一条待传输数据,并缓存所述任一条待传输数据。
202:如果缓存容量达到缓冲上限阈值时,确定缓存的至少一条待传输数据。
203:将所述至少一条待传输数据进行数据封装,获得第一传输数据。
204:将所述第一传输数据进行数据压缩,获得第二传输数据。
205:将所述第二传输数据发送至接收端,以使所述接收端将所述第二传输数据进行解压缩以及数据解封装获得所述至少一条待传输数据。
可选地,WebSocket协议底层可以采用TCP(Transmission Control Protocol传输控制协议)传输协议。所述TCP传输协议中,传输的数据包可占用内存的最大值为1460Bytes(字节),因此,在确定所述至少一条待传输数据时,可以设置所述缓冲阈值为1460Bytes。同时,为了减少传输次数,可以限定所述至少一条待传输数据的缓存容量,例如,缓存的所述至少一条待传输数据的容量占用可以接近但小于1460Bytes。
本发明实施例中,通过限定所述至少一条待传输数据的缓存容量的缓冲上限阈值,可以避免一次性传输所述待传输数据的缓存容量较大,而占用内存较大时,导致的数据分包,可以最大限度地避免增加不必要的数据分包。
但是,在使用缓冲上限阈值确定所述至少一条待传输数据时,可能会造成每次传输数据的数量过小,进而增加传输次数。
因此,作为又一个实施例,所述接收任一条待传输数据,并缓存所述任一条待传输数据之后,所述方法还可以包括:
如果缓存容量未达到缓冲下限阈值,继续缓存所述任一条待传输数据。
本发明实施例中,通过缓冲下限阈值的设定,可以避免一次性缓存的待传输数据容量过小而导致的单个压缩包中传输的所述至少一条待传输数据的数量较少,造成不必要的传输浪费。可以达到最大化利用传输带宽,以最少的传输次数传输最大数量的待传输数据,提高传输效率。
可选地,一个待传输数据压缩包中待传输数据的最佳数量可以为3~10条。
作为又一个实施例,所述确定至少一条待传输数据之前,所述方法可以包括:
确定数据发送总量大于预设数量的至少一条待传输数据。
所述数据发送总量是指在所述发送端中缓存的等待发送的所述至少一条待传输数据的数量。
本发明实施例中,通过数据发送总量来确定所述至少一条待传输数据,可以使所述至少一条待传输数据的数据总量满足预设数量,进而可以一次传输预设数量的待传输数据,以减少传输次数,提高传输效率。
作为又一个实施例,所述将所述至少一条待传输数据进行封装,获得第一传输数据可以包括:
生成所述第一传输数据的数据头;
为所述至少一条待传输数据中的每一条待传输数据设置标识符;
将所述至少一条传输数据以及其对应的标识符进行拼接,生成所述第一传输数据的数据体。
可选地,所述第一传输数据的数据头可以包括版本信息、数据类型信息以及数据长度等。所述版本信息用于标识数据封装包的版本号;所述数据类型信息用于标识所封装的数据的数据类型;所述数据长度用于标识一个待传输数据压缩包中所述至少一条待传输数据的数据大小。如图3所示,数据封装格式中,可以包括数据头301以及数据体302,其中,数据头可以包括:版本信息ve3011,数据类型信息op3012,数据长度dl3013。
可选地,所述第一传输数据的数据体可以由多条待传输数据构成,每一条待传输数据可以包括标识信息以及数据信息,其中,所述标识信息用于标识每一条待传输数据的身份信息;数据信息为每一条待传输数据的数据;所述数据信息与所述标识信息一一对应。如图4中所示的数据体,可以包括多条待传输数据401,其中,每一条待传输数据可以包括标识信息id4011以及数据信息body4012。每一条待传输数据的数据体还可以包括每一条待传输数据的数据长度信息,如图4所示的数据长度信息bodylength4013,为与所述数据信息body4012对应的一条待传输数据的数据长度。
本发明实施例中,将所述至少一条待传输数据按照一定的方式进行了封装,以使封装后的第一传输数据可以进行压缩,其压缩比率较高,可以进一步减少所述至少一条待传输数据在传输过程中的带宽占用,有利于数据传输。
如图5所示为本发明实施例一种数据处理装置的一个实施例的结构示意图,该装置可以包括以下几个模块:
确定模块501:用于确定至少一条待传输数据。
本实施例的技术方案应用于发送端中,发送端可以向接收端发送待传输数据,在某些实施例中,所述待传输数据的数量非常大,例如,弹幕服务器可以向客户端端发送大量的弹幕数据。当所述待传输数据的数量非常大时,需要将所述待传输数据分多次传输。发送端与接收端之间可以基于WebSocket协议进行数据传输。
可选地,所述确定模块具体可以用于在发送端设置一个缓冲区,以缓冲用户需要发送的任一条所述待传输数据。所述缓冲区的内存占用大小可以依据WebSocket协议的单次最大传输量而定,例如,所述缓冲区的大小可以是所述WebSocket协议中单次最大传输量,当然,所述缓冲区的大小也可以略小于该最大传输量。所述确定模块具体还可以用于在所述缓冲区缓冲所述至少一条待传输数据的过程中,实时检测已缓存的所述至少一条待传输数据,以确定缓冲区中缓存的所述至少一条待传输数据。
封装模块502:用于将所述至少一条待传输数据进行数据封装,获得第一传输数据。
封装数据可以是按照自定义方式进行封装的,封装的数据需要包括数据头以及数据体两部分。其中,数据头可以包括数据封装包的版本信息,数据类型,以及数据长度等信息;数据体中每一条待传输数据可以包括相应的标识信息以标识对应的一条待传输数据。
所述封装模块具体可以用于为所述至少一条待传输数据中的每一条待传输数据添加头文件信息,并将每一条待传输数据拼接形成所述数据体,以将所述至少一条待传输数据进行数据封装。
压缩模块503:用于将所述第一传输数据进行数据压缩,获得第二传输数据。
将所述至少一条待传输数据进行数据封装后,每一条待传输数据均可以符合相同的数据格式,可以根据该数据格式,将第一传输数据进行压缩获得第二传输数据。压缩后的第二传输数据可以减少所述至少一条待传输数据的内存占用,以减少数据传输过程中的带宽占用。
可选地,所述压缩模块具体可以用于将所述第一传输数据进行数据压缩时,可以使用通用的zlib库中的DEFLATE压缩算法对所述第一传输数据进行压缩,也即所述DEFLATE压缩算法可以将所述第一传输数据压缩成第二传输数据。
发送模块504:用于将所述第二传输数据发送至接收端,以使所述接收端将所述第二传输数据进行数据解压缩以及数据解封装获得所述至少一条待传输数据。
发送端将所述第二传输数据发送至接收端,是指所述发送端将封装以及压缩后获得的第二传输数据发送至接收端。接收端接收所述第二传输数据,可以根据预先设置的解压缩算法以及解封装算法,将所述第二传输数据进行解压缩以及解封装,以获取所述至少一条待传输数据。
本发明实施例中,确定至少一条待传输数据之后,将所述待传输数据进行数据封装以及数据压缩,以减少所述至少一条待传输数据的内存占用,进而在数据传输时可以减少所述至少一条待传输数据的带宽占用,在大量传输待传输数据时,可以减少由于数据传输需要占用较大带宽对数据传输的不利影响。
如图6所示为本发明实施例一种数据处理装置的又一个实施例的结构示意图,该装置与图5所示的装置的不同之处在于,所述确定模块501可以包括:
缓存单元601,用于接收任一条待传输数据,并缓存所述任一条待传输数据;
确定单元602,用于如果缓存容量达到缓冲上限阈值时,确定缓存的至少一条待传输数据。
可选地,WebSocket协议底层可以采用TCP(Transmission Control Protocol传输控制协议)传输协议。所述TCP传输协议中,传输的数据包可占用内存的最大值为1460Bytes(字节),因此,在确定所述至少一条待传输数据时,可以设置所述缓冲阈值为1460Bytes。同时,为了减少传输次数,可以限定所述至少一条待传输数据的缓存容量,例如,缓存的所述至少一条待传输数据的容量占用可以接近但小于1460Bytes。
本发明实施例中,通过限定所述至少一条待传输数据的缓存容量的缓冲上限阈值,可以避免一次性传输所述待传输数据的缓存容量较大,而占用内存较大时,导致的数据分包,可以最大限度地避免增加不必要的数据分包。
但是,在使用缓冲上限阈值确定所述至少一条待传输数据时,可能会造成每次传输数据的数量过小,进而增加传输次数。
因此,作为又一个实施例,所述确定模块还可以包括:
判断单元,用于如果缓存容量未达到缓冲下限阈值,继续缓存所述任一条待传输数据。
本发明实施例中,通过缓冲下限阈值的设定,可以避免一次性缓存的待传输数据容量过小而导致的单个压缩包中传输的所述至少一条待传输数据的数量较少,造成不必要的传输浪费。可以达到最大化利用传输带宽,以最少的传输次数传输最大数量的待传输数据,提高传输效率。
可选地,一个待传输数据压缩包中待传输数据的最佳数量可以为3~10条。
作为又一个实施例,所述装置可以包括:
数量模块,用于确定数据发送总量大于预设数量的至少一条待传输数据。
所述数据发送总量是指在所述发送端中缓存的等待发送的所述至少一条待传输数据的数量。
本发明实施例中,通过数据发送总量来确定所述至少一条待传输数据,可以使所述至少一条待传输数据的数据总量满足预设数量,进而可以一次传输预设数量的待传输数据,以减少传输次数,提高传输效率。
作为又一个实施例,所述封装模块可以包括:
生成单元,用于生成第一传输数据的数据头;
设置单元,用于为所述至少一条待传输数据中的每一条待传输数据设置标识符;
拼接单元,用于将所述至少一条传输数据以及其对应的标识符进行拼接,生成所述第一传输数据的数据体。
可选地,所述第一传输数据的数据头可以包括版本信息、数据类型信息以及数据长度等。所述版本信息用于标识数据封装包的版本号;所述数据类型信息用于标识所封装的数据的数据类型;所述数据长度用于标识一个待传输数据压缩包中所述至少一条待传输数据的数据大小。
可选地,所述第一传输数据的数据体可以由多条待传输数据构成,每一条待传输数据可以包括标识信息以及数据信息,其中,所述标识信息用于标识每一条待传输数据的身份信息;数据信息为每一条待传输数据的数据;所述数据信息与所述标识信息一一对应。每一条待传输数据的数据体还可以包括每一条待传输数据的数据长度信息。
本发明实施例中,将所述至少一条待传输数据按照一定的方式进行了封装,以使封装后的第一传输数据可以进行压缩,其压缩比率较高,可以进一步减少所述至少一条待传输数据在传输过程中的带宽占用,有利于数据传输。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解,硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式,而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语,故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内,本领域技术人员能够在一定误差范围内解决所述技术问题,基本达到所述技术效果。此外,“耦接”一词在此包含任何直接及间接的电性耦接手段。因此,若文中描述一第一装置耦接于一第二装置,则代表所述第一装置可直接电性耦接于所述第二装置,或通过其他装置或耦接手段间接地电性耦接至所述第二装置。说明书后续描述为实施本发明的较佳实施方式,然所述描述乃以说明本发明的一般原则为目的,并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
上述说明示出并描述了本发明的若干优选实施例,但如前所述,应当理解本发明并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本文所述申请构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围,则都应在本发明所附权利要求的保护范围内。
Claims (10)
1.一种数据处理方法,其特征在于,包括:
确定至少一条待传输数据;
将所述至少一条待传输数据进行数据封装,获得第一传输数据;
将所述第一传输数据进行数据压缩,获得第二传输数据;
将所述第二传输数据发送至接收端,以使所述接收端将所述第二传输数据进行数据解压缩以及数据解封装获得所述至少一条待传输数据。
2.根据权利要求1所述的方法,其特征在于,所述确定至少一条待传输数据包括:
接收任一条待传输数据,并缓存所述任一条待传输数据;
如果缓存容量达到缓冲上限阈值时,确定缓存的至少一条待传输数据。
3.根据权利要求2所述的方法,其特征在于,所述接收任一条待传输数据,并缓存所述任一条待传输数据之后,所述方法还包括:
如果缓存容量未达到缓冲下限阈值,继续缓存所述任一条待传输数据。
4.根据权利要求1所述的方法,其特征在于,所述将所述至少一条待传输数据进行封装,获得第一传输数据包括:
生成第一传输数据的数据头;
为所述至少一条待传输数据中的每一条待传输数据设置标识符;
将所述至少一条传输数据以及其对应的标识符进行拼接,生成所述第一传输数据的数据体。
5.根据权利要求1所述的方法,其特征在于,所述确定至少一条待传输数据之前,所述方法包括:
确定数据发送总量大于预设数量的至少一条待传输数据。
6.一种数据处理装置,其特征在于,包括:
确定模块,用于确定至少一条待传输数据;
封装模块,用于将所述至少一条待传输数据进行数据封装,获得第一传输数据;
压缩模块,用于将所述第一传输数据进行数据压缩,获得第二传输数据;
发送模块,用于将所述第二传输数据发送至接收端,以使所述接收端将所述第二传输数据进行数据解压缩以及数据解封装获得所述至少一条待传输数据。
7.根据权利要求6所述的装置,其特征在于,所述确定模块包括:
缓存单元,用于接收任一条待传输数据,并缓存所述任一条待传输数据;
确定单元,用于如果缓存容量达到缓冲上限阈值时,确定缓存的至少一条待传输数据。
8.根据权利要求7所述的装置,其特征在于,所述确定模块还包括:
判断单元,用于如果缓存容量未达到缓冲下限阈值,继续缓存所述任一条待传输数据。
9.根据权利要求6所述的装置,其特征在于,所述封装模块包括:
生成单元,用于生成第一传输数据的数据头;
设置单元,用于为所述至少一条待传输数据中的每一条待传输数据设置标识符;
拼接单元,用于将所述至少一条传输数据以及其对应的标识符进行拼接,生成所述第一传输数据的数据体。
10.根据权利要求6所述的装置,其特征在于,所述装置包括:
数量模块,用于确定数据发送总量大于预设数量的至少一条待传输数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710562848.7A CN107426307A (zh) | 2017-07-11 | 2017-07-11 | 数据处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710562848.7A CN107426307A (zh) | 2017-07-11 | 2017-07-11 | 数据处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107426307A true CN107426307A (zh) | 2017-12-01 |
Family
ID=60427051
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710562848.7A Pending CN107426307A (zh) | 2017-07-11 | 2017-07-11 | 数据处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107426307A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109068183A (zh) * | 2018-08-08 | 2018-12-21 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种直播弹幕分发方法及装置 |
CN109544964A (zh) * | 2018-12-29 | 2019-03-29 | 同济大学 | 一种无人驾驶车的航线传输系统 |
CN109982111A (zh) * | 2017-12-28 | 2019-07-05 | 贵州白山云科技股份有限公司 | 文本内容传输优化方法及基于直播网络系统的文本内容传输优化方法、装置 |
CN115858450A (zh) * | 2023-02-24 | 2023-03-28 | 深圳华龙讯达信息技术股份有限公司 | 一种高适应性cpu的信号传输系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1816182A (zh) * | 2005-02-02 | 2006-08-09 | 华为技术有限公司 | 一种基站控制器向基站传输数据的方法 |
CN101035086A (zh) * | 2007-04-20 | 2007-09-12 | 杭州华三通信技术有限公司 | 数据传输方法及装置 |
CN101527654A (zh) * | 2009-04-20 | 2009-09-09 | 中兴通讯股份有限公司 | 一种网管系统中的数据传输方法及系统 |
US20150172383A1 (en) * | 2013-12-12 | 2015-06-18 | International Business Machines Corporation | Resource over-subscription |
CN105376335A (zh) * | 2015-12-15 | 2016-03-02 | 北京奇虎科技有限公司 | 一种采集数据上传方法和装置 |
CN105657017A (zh) * | 2016-01-04 | 2016-06-08 | 北京百度网讯科技有限公司 | 数据传输方法、装置和系统 |
-
2017
- 2017-07-11 CN CN201710562848.7A patent/CN107426307A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1816182A (zh) * | 2005-02-02 | 2006-08-09 | 华为技术有限公司 | 一种基站控制器向基站传输数据的方法 |
CN101035086A (zh) * | 2007-04-20 | 2007-09-12 | 杭州华三通信技术有限公司 | 数据传输方法及装置 |
CN101527654A (zh) * | 2009-04-20 | 2009-09-09 | 中兴通讯股份有限公司 | 一种网管系统中的数据传输方法及系统 |
US20150172383A1 (en) * | 2013-12-12 | 2015-06-18 | International Business Machines Corporation | Resource over-subscription |
CN105376335A (zh) * | 2015-12-15 | 2016-03-02 | 北京奇虎科技有限公司 | 一种采集数据上传方法和装置 |
CN105657017A (zh) * | 2016-01-04 | 2016-06-08 | 北京百度网讯科技有限公司 | 数据传输方法、装置和系统 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109982111A (zh) * | 2017-12-28 | 2019-07-05 | 贵州白山云科技股份有限公司 | 文本内容传输优化方法及基于直播网络系统的文本内容传输优化方法、装置 |
CN109982111B (zh) * | 2017-12-28 | 2020-05-22 | 贵州白山云科技股份有限公司 | 基于直播网络系统的文本内容传输优化方法、装置 |
CN109068183A (zh) * | 2018-08-08 | 2018-12-21 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种直播弹幕分发方法及装置 |
CN109544964A (zh) * | 2018-12-29 | 2019-03-29 | 同济大学 | 一种无人驾驶车的航线传输系统 |
CN115858450A (zh) * | 2023-02-24 | 2023-03-28 | 深圳华龙讯达信息技术股份有限公司 | 一种高适应性cpu的信号传输系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107426307A (zh) | 数据处理方法及装置 | |
CN113411313B (zh) | 数据传输方法、装置和系统 | |
CN103250462B (zh) | 用于实现移动电信网络中的业务加速的方法 | |
CN106470238A (zh) | 应用于服务器负载均衡中的连接建立方法及装置 | |
US11023412B2 (en) | RDMA data sending and receiving methods, electronic device, and readable storage medium | |
CN102217251A (zh) | 一种数据转发方法、数据处理方法、系统以及相关设备 | |
CN106992908A (zh) | 一种智能家居管理系统及其管理方法 | |
CN104994079A (zh) | 访问请求的处理方法和装置、加速服务器 | |
CN108235382A (zh) | 一种传输速率调整的方法、节点设备以及服务器 | |
CN101656588A (zh) | 一种传输数据的方法及系统 | |
CN110620762A (zh) | 基于rdma的数据传输方法、网卡、服务器及介质 | |
CN106713187A (zh) | 一种报文传输方法和装置 | |
CN105933325A (zh) | 一种基于NFSoRDMA的内核态RPC通信加速方法 | |
CN105828014B (zh) | 一种音视频传输方法及装置 | |
CN114422617A (zh) | 一种报文处理方法、系统及计算机可读存储介质 | |
CN103634229B (zh) | 一种片间通讯方法及控制装置 | |
CN110661745B (zh) | 一种开销传输方法、装置、设备及计算机可读存储介质 | |
CN109451524A (zh) | 一种数据处理方法和装置 | |
CN106686410A (zh) | Hls流媒体传输方法以及装置 | |
US20120041998A1 (en) | Network Interface for Accelerating XML Processing | |
CN111741005A (zh) | 基于海洋浮标的北斗数据传输系统及数据包报头压缩方法 | |
CN102404184A (zh) | 数据传输系统及其传输方法 | |
CN101572716A (zh) | 传输小型计算机系统接口scsi包的方法和装置 | |
CN105577620A (zh) | 一种超文本传输协议数据还原方法及装置 | |
CN103580805B (zh) | 报文的处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20210309 Address after: 101300 309, 3rd floor, 60 Fuqian 1st Street, Tianzhu District, Shunyi District, Beijing Applicant after: Beijing longzhixin Technology Co.,Ltd. Address before: 100041 room 120, 4th floor, building 17, yard 30, Shixing street, Shijingshan District, Beijing Applicant before: BEIJING PANDA MUTUAL ENTERTAINMENT TECHNOLOGY Co.,Ltd. |
|
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171201 |