CN106507107B - 数据的处理方法和装置 - Google Patents

数据的处理方法和装置 Download PDF

Info

Publication number
CN106507107B
CN106507107B CN201611119393.3A CN201611119393A CN106507107B CN 106507107 B CN106507107 B CN 106507107B CN 201611119393 A CN201611119393 A CN 201611119393A CN 106507107 B CN106507107 B CN 106507107B
Authority
CN
China
Prior art keywords
data
character
row
initial
encoding operation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611119393.3A
Other languages
English (en)
Other versions
CN106507107A (zh
Inventor
崔玉斌
宋征
赵明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumavision Technologies Co Ltd
Original Assignee
Sumavision Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumavision Technologies Co Ltd filed Critical Sumavision Technologies Co Ltd
Priority to CN201611119393.3A priority Critical patent/CN106507107B/zh
Publication of CN106507107A publication Critical patent/CN106507107A/zh
Application granted granted Critical
Publication of CN106507107B publication Critical patent/CN106507107B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8543Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723Monitoring of network processes or resources, e.g. monitoring of network load

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明提供了一种数据的处理方法和装置,涉及互联网数据传输的技术领域,包括获取初始传输数据,其中,初始传输数据为服务器和客户端之间传输的数据,初始传输数据包括以下类型:网页框架数据、文本数据、图像数据和音视频数据;对初始传输数据执行编码操作,编码之后得到目标传输数据,其中,不同类型的初始传输数据所执行的编码操作不相同;将编码之后得到的目标传输数据在服务器和客户端之间进行传输,以缓解现有技术中在对互联网的传输数据进行压缩时,压缩效果较差的技术问题。

Description

数据的处理方法和装置
技术领域
本发明涉及互联网数据传输的技术领域,尤其是涉及一种数据的处理方法和装置。
背景技术
目前,随着互联网技术的大发展,4G网络与WiFi的普及,以及终端设备网络化的潮流,使互联网数据传输占据用户数字生活的主导地位。然而,由于互联网设备数量众多(包括传输设备与终端设备),其功耗与使用寿命都与传输的总数据量有关。因此,如何有效地压缩互联网需要传输的数据,是目前涉及国计民生的迫切需求,任重而道远,非常值得研究。
互联网的传输数据包括:网页框架、文本数据、图片和音视频等等。其中,网页框架的数据包括:CSS,HTML,JAVASCRIPT脚本等各种元素数据,这些数据的重用性非常大,但往往忽视了对这类数据的压缩。然而,网页中数据量较大的是文本数据,文本数据的压缩主要是采用UTF-8编码的方式,需要2字节来传输字符,压缩性能不佳。对于网页中的图片,类型众多,数据量也非常大,需要压缩。目前压缩比较高的方式是把图像压缩成可伸缩矢量图,但没有通用的算法,压缩性能波动性大。然而,针对音视频,国际上有非常多的压缩标准,例如针对视频数据的H.264/H.265,针对音频数据的AAC等等。但是,上述压缩方法的压缩效果较差,导致压缩性能不佳。
发明内容
本发明的目的在于提供一种数据的处理方法和装置,以缓解现有技术中在对互联网的传输数据进行压缩时,压缩效果较差的技术问题。
根据本发明实施例的一个方面,提供了一种数据的处理方法,包括:获取初始传输数据,其中,所述初始传输数据为服务器和客户端之间传输的数据,所述初始传输数据包括以下类型:网页框架数据、文本数据、图像数据和音视频数据;对所述初始传输数据执行编码操作,编码之后得到目标传输数据,其中,不同类型的初始传输数据所执行的编码操作不相同;将编码之后得到的所述目标传输数据在所述服务器和所述客户端之间进行传输。
根据本发明实施例的另一个方面,提供了一种数据的处理装置,包括:获取单元,用于获取初始传输数据,其中,所述初始传输数据为服务器和客户端之间传输的数据,所述初始传输数据包括以下类型:网页框架数据、文本数据、图像数据和音视频数据;编码单元,用于对所述初始传输数据执行编码操作,编码之后得到目标传输数据,其中,不同类型的初始传输数据所执行的编码操作不相同;传输单元,用于将编码之后得到的所述目标传输数据在所述服务器和所述客户端之间进行传输。
在本发明实施例中,对获取到的互联网的传输数据中的网页框架数据、文本数据、图像数据和音视频数据分别按照不同的编码方式进行编码操作,得到编码之后的数据,并对编码之后的数据在互联网和客户端之间传输,本发明实施例通过按照不同的方法对传输数据进行分别处理,达到了有效对传输进行压缩的目的,进而缓解了现有技术中在对互联网的传输数据进行压缩时,压缩效果较差的技术问题,从而实现了提高数据压缩效果的技术效果。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种数据的处理方法的流程图;
图2是根据本发明实施例的一种对网页框架数据进行编码处理的流程图;
图3是根据本发明实施例的一种对图像数据进行编码处理的流程图;
图4是根据本发明实施例的一种数据的处理装置的示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
根据本发明实施例,提供了一种数据的处理方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种数据的处理方法的流程图,如图1所示,该方法包括如下步骤:
步骤S102,获取初始传输数据,其中,初始传输数据为服务器和客户端之间传输的数据,初始传输数据包括以下类型:网页框架数据、文本数据、图像数据和音视频数据。
步骤S104,对初始传输数据执行编码操作,编码之后得到目标传输数据,其中,不同类型的初始传输数据所执行的编码操作不相同。
步骤S106,将编码之后得到的目标传输数据在服务器和客户端之间进行传输。
在本发明实施例中,对获取到的互联网的传输数据中的网页框架数据、文本数据、图像数据和音视频数据分别按照不同的编码方式进行编码操作,得到编码之后的数据,并对编码之后的数据在互联网和客户端之间传输,本发明实施例通过按照不同的方法对传输数据进行分别处理,达到了有效对传输进行压缩的目的,进而缓解了现有技术中在对互联网的传输数据进行压缩时,压缩效果较差的技术问题,从而实现了提高数据压缩效果的技术效果。
进一步地,对初始传输数据执行编码操作包括步骤S1:
对网页框架数据、文本数据、图像数据和音视频数据分别执行第一编码操作、第二编码操作、第三编码操作和第四编码操作,其中,第一编码操作、第二编码操作、第三编码操作和第四编码操作中任意两个编码操作不相同,网页框架数据包括CSS脚本、HTML脚本和JAVASCRIPT脚本。
图2是根据本发明实施例的一种对网页框架数据进行编码处理的流程图,如图2所示,第一编码操作包括霍夫曼编码方式,该方法包括如下步骤:
步骤S11,对CSS脚本、HTML脚本和JAVASCRIPT脚本进行整合,得到目标集合;
步骤S12,在目标集合中提取至少一个关键字;
步骤S13,统计每个关键字在目标集合中出现的频率;
步骤S14,按照霍夫曼编码方式对频率进行编码,得到编码之后的网页框架数据。
在本发明实施例中,网页框架数据都中的CSS脚本、HTML脚本和JAVASCRIPT脚本等数据可以看作是一个有限数据集合,因此,可以按照一定的语法元素进行排列整合,得到一个集合(即,上述目标集合)。例如,JAVASCRIPT脚本语言的关键字是有限的,因此,可以将网页中除了文本,图片和音视频以外的数据,统一做成一个大集合。接下来,统计集合中每个关键字的出现频率,并按照霍夫曼编码方式对频率进行编码,得到编码之后的网页框架数据。
在本发明的一个可选实施方式中,对文本数据执行第二编码操作包括如下步骤:
步骤S21,获取文本数据中的全部字符;
步骤S22,对每个字符分解为N×N的矩阵区域,其中,矩阵区域将每个字符分解成多个斑点,N为大于1的正整数;
步骤S23,依次将每个字符的矩阵区域的第i行的N个子区域中存在斑点的区域标识为第一数值,并将N个子区域中不存在斑点的区域标识为第二数值,得到每个字符的第i行的目标数值,其中,i依次取1至N;
步骤S24,基于全部字符中首字符的N个目标数值确定首字符的编码值;
步骤S25,基于首字符的编码值依次确定全部字符中的其他字符编码结果。
本领域技术人员均知晓中文是可以拆解成笔划的,并且笔划的数目远远低于汉字的数目,英文也可以拆解成基本的笔划。然而,笔划再往细分,文字可以看作是斑点的组合。本发明把互联网上的通用文本结构分解为横竖N×N的矩阵区域,例如,分解成16x16的256个区域,每个区域可以存在一个斑点,其中,区域的划分方法在编解码器中共享。
在对字符按照上述方法进行分解之后,任何一个字符可用斑点的组合表示,例如,可以将该字符的矩阵区域的第i行的16个子区域中存在斑点的区域用1(第一数值)标识,不存在斑点的区域用0(第二数值)标识。
具体地,在本发明实施例中,首先,可以通过上述方法确定文本数据中首字符的N个(例如,16个)目标数据确定该首字符的编码值,其中,该目标数值即为该首字符N行(例如,16行)的斑点组合。在确定首字符的编码值之后,就可以依次确定文本中其他字符的编码结果。
可选地,基于全部字符中首字符的N个目标数值确定首字符的编码值包括如下步骤:
步骤S241,依次计算首字符的第j行的目标数值与前j-1行的目标数值的差值,得到j-1个差值,其中,j依次取2至N;
步骤S242,将j-1个差值中最小的差值作为第j行的编码值;
步骤S243,将首字符的第一行的目标数值和第j行的编码值的组合确定为首字符的编码值,其中,j依次取2至N。
在本发明实施例中,在对第一个字符(即,首字符)进行编码时,该首字符的矩阵区域的横向第一行(16比特)对应一个数值(即上述目标数值),该首字符的矩阵区域的下面各个行采用差分编码差值。
具体地,计算第2行的目标数值与第一行的目标数值的差值,然后,将该差值作为第2行的编码值。然后,计算第3行的目标数值分别与第1行和第2行的目标数值的差值,并将二者之间的较小值作为第3行的编码值。按照上述算法,依次类推,得到首字符每行的编码值,以完成对首字符的编码处理。
对于文本数据中的其他字符,采用时域预测差分的模式编码下一个字符。
可选地,基于首字符的编码值依次确定全部字符中的其他字符编码结果包括如下步骤:
步骤S251,将目标字符的所有行的目标数值按照在目标字符中出现的概率由大到小进行排序,得到排序序列,并将排序序列中前K个目标数值,生成样本码表,其中,目标字符为全部字符中位于当前字符之前的字符;
步骤S252,在样本码表中查找与当前字符的待编码行相似度最大的行,并计算相似度最大的行与待编码行的差值,其中,当前字符为全部字符中除首字符之外的任意一个字符,目标字符为全部字符中位于当前字符之前的字符;
步骤S252,确定差值为当前字符的第一行的编码值;
步骤S253,根据样本码表中的编码值确定当前字符的矩阵区域中剩余N-1行的编码值,其中,当前字符的第一行的编码值和剩余N-1行的编码值组成当前字符的编码值。
在本发明实施例中,在对文本中的其他字符进行编码处理时,参考当前字符前的一个或者多个字符,对当前字符进行编码处理。
具体地,首先,将目标字符的所有行的目标数值按照出现频率进行排序,然后,将排序序列中前K(例如,1024)个目标数值生成样本码表。然后,在样本码表中查找与当前字符的第一行目标数值最相似的行,也即,相似度最高的行,并计算相似度最大的行与待编码航的差值,以确定该差值即为当前字符的第一行的编码值。其中,当前字符之前的全部字符即为上述目标字符,目标字符的数量可以为一个,或者,多个。在确定当前字符的第一行的编码值之后,基于样本码表中的编码值,按照差分编码差值确定当前字符其他行的编码值。
例如,计算第三个字符时,首先,在前两个字符的每行的目标数值中查找与第三个字符的第一行的目标数值相似度最高的行,以作为第一行的编码值。前两个字符的所有编码行,生成码表。然后,基于码表确定第三个字符的其他行的编码值,进而,确定第三个字符的编码值。
本领域技术人员知晓,如果将字符分成16×16的矩阵,那么每一行的全集合是2的16次幂,然而,文字填满256个点的概率近似为0。假设,斑点数占256的比例为一随机变量Pc,通过统计可获得该随机变量在各个概率段上的分布。通过分析可知,Pc越小,那么文字或者字符越简单。而互联网上出现概率大的文字为简单文字,简单文字的编码差分值是较小的数。即在一段常见的互联网文本中,总是可以找到非常多相似的笔划。因此,采用本发明提出的方法编码,可以充分挖掘文本间的互信息量,大幅地压缩互联网的文本编码。例如,英文26个大写字母,笔划非常的相似,如果有一句话“attitude is everything”,传统方法需要22个字节编码传输,而采用本发明的算法,至少可以减少6个相同字符的传输,而实际上会压缩地更大,因为这句话中adeseehng都包含弯,即(顺时针旋转90度的笔划),通过本发明实施例中的描述的编码方法,可以去掉a后面8个弯的编码量。
图3是根据本发明实施例的一种对图像数据进行编码处理的流程图,如图3所示,对图像数据执行第三编码操作包括如下步骤:
步骤S31,通过离散余弦变换将图像数据分成M×M个图像区域,得到每个图像区域的离散余弦变换直流系数;
步骤S32,获取每个图像区域的离散余弦变换直流系数的量化系数,其中,量化系数以M×M个图像区域的中心向外逐渐增大;
步骤S33,根据量化系数,从M×M个图像区域左上角开始到图像中心,以螺旋的方式对每个离散余弦变换直流系数进行量化;
步骤S34,对量化之后的离散余弦变换直流系数以螺旋的方式进行差分编码,得到编码之后的图像数据。
众所周知,图片的压缩编码格式特别的多,例如,经常使用的格式包括“.bmp,.jpg,.gif,.png”等等。然而,这些压缩编码格式的性能还是不能满足实际应用的需求。目前,存在svg可缩放矢量图形标准,可以更好地压缩图片,但计算量大,压缩率根据不同的图片内容发生动态变化。本发明提出了新颖的对称螺旋线图片压缩方法。
首先,根据DCT变换(离散余弦变换)把图像数据分成M×M个图像块(即,M×M个图像区域),得到每个图像块的DCT系数,其中,可以将图像数据变换为大小8x8的图像块。然后,以图像中心为坐标(0,0)点,采用极坐标定位每一个块。采用螺旋的方式从图像左上角外围到图像中心进行块DCT系数的差分编码。其中,在差分编码之前,可以获取每个图像区域的离散余弦变换系数的量化系数,然后,根据量化系数,对余弦变换系数进行量化;在对离散余弦变换系数进行量化之后,就可以对量化之后的离散余弦直流系数以螺旋的方式进行差分编码,得到编码之后的图像数据。
需要说明的是,在本发明实施例中,针对每一图像区域,设计基于极坐标位置半径的加权系数,进行反比例量化,也就是说,图像中心量化系数小,图像边缘量化系数大,即,量化系数从图像区域的中心开始向外逐渐增大。另外,针对块的DCT系数,采用基于zigzag的递增量化系数QP方法,量化步长随着位置索引的增大而成比例的提高。这样保证低频分量细量化,高频分量粗量化,块间差分编码数据量小。
在本发明的一个可选实施方式中,对音视频数据执行第四编码操作包括:通过SVC编码方式对音视频数据进行处理,得到不同分辨率的原始码流数据;
将编码之后得到的目标传输数据在服务器和客户端之间进行传输包括:获取当前时刻每个节点服务器的所能传输的最大数据量;根据最大数据量为每个节点服务器分配不同分辨率的码流数据,并通过每个节点服务器将不同分辨率的码流数据传输至边缘服务器,其中,边缘服务器在接收到不同分辨率的原始码流数据之后,对不同分辨率的原始码流数据进行合成,得到原始码流数据,并将原始码流数据在服务器和客户端之间进行传输。
在本发明实施例中,音视频编码经过多年的研究,达到不错的压缩性能。本发明实施例中的提出的数据的处理方法中针对互联网应用的视频网络编码解决方案,采用SVC编码方式,得到不同分辨率的码流,然后,把这些码流存储到网络CDN的各个服务器节点上。
众所周知,CDN节点服务器的吞吐量是实时变化的,本发明实施例提供的数据的处理方法,可以把用户直播或点播的请求数据,根据节点服务器的负担自动地分配到各个CDN节点服务器上,以使每个节点服务器发送SVC不同层的数据。例如,负载轻且TTL小的节点服务器发送基本层大块的数据,负载重或TTL大的节点服务器发送小块增强层的数据或者不发送数据。然后,在小区边缘服务器上进行流媒体数据包的汇聚,解码SVC并缓存。用户在请求点播或者直播数据时,直接请求边缘服务器即可。这样,整个流媒体网络的负载可以均衡地分布在各个CDN服务器上。
另外,SVC的编码方式有多种,一种简单的方式是帧间隔模式。例如一个15帧的GOP的帧顺序结构为IPBBPBBPBBPBBIBB,其中斜的I为下一个GOP的。GOP中I、P帧为基本层,B帧为增强层(2个B可以有2个增强层),可以根据实际的需求增加B帧的数量,例如4个B或8个B。
进一步地,通过SVC编码方式对音视频数据进行处理,得到不同分辨率的原始码流数据包括:在空域上,获取运动补偿过程中插值生成的半像素上采样宏块和1/4像素上采样宏块;分别将每一帧中全部半像素上采样宏块和全部1/4像素上采样宏块拼接生成2层空域金字塔的视频帧序列;将每一帧中全部半像素上采样宏块进行拼接,得到半像素视频帧;将每一帧中全部1/4像素上采样宏块进行拼接,得到1/4像素视频帧;对2层空域金字塔的视频帧序列,半像素视频帧和1/4像素视频帧进行SVC编码,其中,整像素视频帧,半像素视频帧和1/4像素视频帧重要程度依次降低。
一般情况下,视频发布在互联网上都是经过下采样的。因此在空域上,利用运动补偿过程中插值生成的半像素上采样宏块和1/4像素上采样宏块,可以生成2层空域金字塔的数据。一帧中所有半像素上采样宏块宏块拼接在一起组合成连续的半像素上采样视频帧序列,可以进行SVC编码。同理,可以生成1/4像素上采样视频帧序列,进行SVC编码。
进一步地,通过SVC编码方式对音视频数据进行处理,得到不同分辨率的原始码流数据包括:通过SVC编码方式对音视频数据进行编码,在时域上得到多组画面组;依据每个画面组中内部编码帧,前向预测帧和双向预测帧重要程度,通过差错保护算法分别对内部编码帧,前向预测帧和双向预测帧进行保护,其中,内部编码帧和前向预测帧的重要程度高于双向预测帧的重要程度。
在本发明实施例中,针对互联网IP分组数据报的拥塞,或者移动网络和无线网络的丢包情况,SVC编码具有优势。具体地,在信道编码时,内部编码帧I、前向预测帧P帧重要,双向预测帧B帧不重要;空域基本层重要,半像素空域增强层次要,1/4像素空域增强层不重要。因此,可以根据数据包的不同重要性进行不均衡差错保护(UEP),提高数据传输系统端到端整体的压缩效率。总之,本发明实施例提出的数据的处理方法中,在对音视频数据进行处理时,采用了SVC+UEP+网络编码的模式,可以进行互联网流媒体服务器负载均衡,从信源信道联合编码的角度,提高压缩效率,降低网络传输吞吐量,提高用户QoS。
综上,本发明针对互联网传输的各类数据设计了相应的压缩方法,包括信源信道联合压缩和服务器的负载均衡,该方法能够有效地提高了传输性能,节省互联网的能源成本,提高设备的寿命。
本发明实施例还提供了一种数据的处理装置,该数据的处理装置主要用于执行本发明实施例上述内容所提供的数据的处理方法,以下对本发明实施例提供的数据的处理装置做具体介绍。
图4是根据本发明实施例的一种数据的处理装置的示意图,如图4所示,该数据的处理装置主要包括获取单元41、编码单元42和传输单元43,其中:
获取单元,用于获取初始传输数据,其中,初始传输数据为服务器和客户端之间传输的数据,初始传输数据包括以下类型:网页框架数据、文本数据、图像数据和音视频数据;
编码单元,用于对初始传输数据执行编码操作,编码之后得到目标传输数据,其中,不同类型的初始传输数据所执行的编码操作不相同;
传输单元,用于将编码之后得到的目标传输数据在服务器和客户端之间进行传输。
在本发明实施例中,对获取到的互联网的传输数据中的网页框架数据、文本数据、图像数据和音视频数据分别按照不同的编码方式进行编码操作,得到编码之后的数据,并对编码之后的数据在互联网和客户端之间传输,本发明实施例通过按照不同的方法对传输数据进行分别处理,达到了有效对传输进行压缩的目的,进而缓解了现有技术中在对互联网的传输数据进行压缩时,压缩效果较差的技术问题,从而实现了提高数据压缩效果的技术效果。
可选地,编码单元包括:编码子单元,用于对网页框架数据、文本数据、图像数据和音视频数据分别执行第一编码操作、第二编码操作、第三编码操作和第四编码操作,其中,第一编码操作、第二编码操作、第三编码操作和第四编码操作中任意两个编码操作不相同,网页框架数据包括CSS脚本、HTML脚本和JAVASCRIPT脚本。
可选地,第一编码操作包括霍夫曼编码方式,编码子单元包括:整合模块,用于对CSS脚本、HTML脚本和JAVASCRIPT脚本进行整合,得到目标集合;提取模块,用于在目标集合中提取至少一个关键字;统计模块,用于统计每个关键字在目标集合中出现的频率;第一编码模块,用于按照霍夫曼编码方式对频率进行编码,得到编码之后的网页框架数据。
可选地,编码子单元包括:第一获取模块,用于获取文本数据中的全部字符;第一分解模块,用于对每个字符分解为N×N的矩阵区域,其中,矩阵区域将每个字符分解成多个斑点,N为大于1的正整数;标识模块,用于依次将每个字符的矩阵区域的第i行的N个子区域中存在斑点的区域标识为第一数值,并将N个子区域中不存在斑点的区域标识为第二数值,得到每个字符的第i行的目标数值,其中,i依次取1至N;第一确定模块,用于基于全部字符中首字符的N个目标数值确定首字符的编码值;第二确定模块,用于基于首字符的编码值依次确定全部字符中的其他字符编码结果。
可选地,第一确定模块包括:计算子模块,用于依次计算所述首字符的第j行的目标数值与前j-1行的目标数值的差值,得到j-1个差值,其中,j依次取2至N;第一确定子模块,用于将所述j-1个差值中最小的差值作为所述第j行的编码值;第二确定子模块,用于将所述首字符的第一行的目标数值和所述第j行的编码值的组合确定为所述首字符的编码值,其中,j依次取2至N。
可选地,第二确定模块包括:排序生成模块,用于将目标字符的所有行的目标数值按照在所述目标字符中出现的概率由大到小进行排序,得到排序序列,并将所述排序序列中前K个目标数值,生成样本码表,其中,所述目标字符为所述全部字符中位于所述当前字符之前的字符;查找子模块,用于在所述样本码表中查找与所述当前字符的待编码行相似度最大的行,并计算所述相似度最大的行与所述待编码行的差值,其中,所述当前字符为所述全部字符中除所述首字符之外的任意一个字符;第三确定子模块,用于确定所述差值为所述当前字符的第一行的编码值;第四确定子模块,用于根据当前字符的第一行的编码值和码表,确定当前字符的矩阵区域中剩余N-1行的编码值,其中,当前字符的第一行的编码值和剩余N-1行的编码值组成当前字符的编码值。
可选地,编码子单元包括:第二分解模块,用于通过离散余弦变换将所述图像数据分成M×M个图像区域,得到每个图像区域的离散余弦变换直流系数,其中,M为大于1的正整数;第二获取模块,用于获取每个所述图像区域的离散余弦变换直流系数的量化系数,其中,所述量化系数以所述M×M个图像区域的中心向外逐渐增大;量化模块,用于根据所述量化系数,从所述M×M个图像区域左上角开始到图像中心,以螺旋的方式对每个所述离散余弦变换直流系数进行量化;第二编码模块,用于对量化之后的所述离散余弦变换直流系数以所述螺旋的方式进行差分编码,得到编码之后的所述图像数据。
可选地,编码子单元包括:处理模块,用于通过SVC编码方式对音视频数据进行处理,得到不同分辨率的原始码流数据;将编码之后得到的目标传输数据在服务器和客户端之间进行传输包括:第三获取模块,用于获取当前时刻每个节点服务器的所能传输的最大数据量;分配模块,用于根据最大数据量为每个节点服务器分配不同分辨率的码流数据,并通过每个节点服务器将不同分辨率的码流数据传输至边缘服务器,其中,边缘服务器在接收到不同分辨率的码流数据之后,对码流数据进行合成,得到原始码流数据,并将原始码流数据在服务器和客户端之间进行传输。
可选地,处理模块用于:在空域上,获取运动补偿过程中插值生成的半像素上采样宏块和1/4像素上采样宏块;分别将每一帧中全部半像素上采样宏块和全部1/4像素上采样宏块拼接生成2层空域金字塔的视频帧序列;将每一帧中全部半像素上采样宏块进行拼接,得到半像素视频帧;将每一帧中全部1/4像素上采样宏块进行拼接,得到1/4像素视频帧;对2层空域金字塔的视频帧序列,半像素视频帧和1/4像素视频帧进行SVC编码,其中,整像素视频帧,半像素视频帧和1/4像素视频帧重要程度依次降低。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种数据的处理方法,其特征在于,包括:
获取初始传输数据,其中,所述初始传输数据为服务器和客户端之间传输的数据,所述初始传输数据包括以下类型:网页框架数据、文本数据、图像数据和音视频数据;
对所述初始传输数据执行编码操作,编码之后得到目标传输数据,其中,不同类型的初始传输数据所执行的编码操作不相同;
将编码之后得到的所述目标传输数据在所述服务器和所述客户端之间进行传输;
其中,对所述文本数据执行第二编码操作包括:
获取所述文本数据中的全部字符;
对每个字符分解为N×N的矩阵区域,其中,所述矩阵区域将所述每个字符分解成多个斑点,N为大于1的正整数;
依次将所述每个字符的矩阵区域的第i行的N个子区域中存在所述斑点的区域标识为第一数值,并将所述N个子区域中不存在所述斑点的区域标识为第二数值,得到所述每个字符的第i行的目标数值,其中,i依次取1至N;
基于所述全部字符中首字符的N个目标数值确定所述首字符的编码值;
基于所述首字符的编码值依次确定所述全部字符中的其他字符编码结果。
2.根据权利要求1所述的方法,其特征在于,对所述初始传输数据执行编码操作包括:
对所述网页框架数据、所述文本数据、所述图像数据和所述音视频数据分别执行第一编码操作、第二编码操作、第三编码操作和第四编码操作,其中,所述第一编码操作、所述第二编码操作、所述第三编码操作和所述第四编码操作中任意两个编码操作不相同,所述网页框架数据包括CSS脚本、HTML脚本和JAVASCRIPT脚本。
3.根据权利要求2所述的方法,其特征在于,所述第一编码操作包括霍夫曼编码方式,对所述网页框架数据执行第一编码操作包括:
对所述CSS脚本、所述HTML脚本和所述JAVASCRIPT脚本进行整合,得到目标集合;
在所述目标集合中提取至少一个关键字;
统计每个关键字在所述目标集合中出现的频率;
按照霍夫曼编码方式对所述频率进行编码,得到编码之后的所述网页框架数据。
4.根据权利要求1所述的方法,其特征在于,基于所述全部字符中首字符的N个目标数值确定所述首字符的编码值包括:
依次计算所述首字符的第j行的目标数值与前j-1行的目标数值的差值,得到j-1个差值,其中,j依次取2至N;
将所述j-1个差值中最小的差值作为所述第j行的编码值;
基于所述首字符的第一行的目标数值和所述第j行的编码值,确定所述首字符的编码值,其中,j依次取2至N。
5.根据权利要求1所述的方法,其特征在于,基于所述首字符的编码值依次确定所述全部字符中的其他字符编码结果包括:
将目标字符的所有行的目标数值按照在所述目标字符中出现的概率由大到小进行排序,得到排序序列,并将所述排序序列中前K个目标数值,生成样本码表,其中,所述目标字符为所述全部字符中位于当前字符之前的字符;
在所述样本码表中查找与所述当前字符的待编码行相似度最大的行,并计算所述相似度最大的行与所述待编码行的差值,其中,所述当前字符为所述全部字符中除所述首字符之外的任意一个字符;
确定所述差值为所述当前字符的第一行的编码值;
根据所述样本码表中的编码值确定所述当前字符的矩阵区域中剩余N-1行的编码值,其中,所述当前字符的第一行的编码值和剩余N-1行的编码值组成所述当前字符的编码值。
6.根据权利要求2所述的方法,其特征在于,对所述图像数据执行第三编码操作包括:
通过离散余弦变换将所述图像数据分成M×M个图像区域,得到每个图像区域的离散余弦变换直流系数,其中,M为大于1的正整数;
获取每个所述图像区域的离散余弦变换直流系数的量化系数,其中,所述量化系数以所述M×M个图像区域的中心向外逐渐增大;
根据所述量化系数,从所述M×M个图像区域左上角开始到图像中心,以螺旋的方式对每个所述离散余弦变换直流系数进行量化;
对量化之后的所述离散余弦变换直流系数以所述螺旋的方式进行差分编码,得到编码之后的所述图像数据。
7.根据权利要求2所述的方法,其特征在于,
对所述音视频数据执行第四编码操作包括:通过SVC编码方式对所述音视频数据进行处理,得到不同分辨率的原始码流数据;
将编码之后得到的所述目标传输数据在所述服务器和所述客户端之间进行传输包括:获取当前时刻每个节点服务器的所能传输的最大数据量;根据所述最大数据量为每个所述节点服务器分配不同分辨率的原始码流数据,并通过每个所述节点服务器将所述不同分辨率的原始码流数据传输至边缘服务器,
其中,所述边缘服务器在接收到所述不同分辨率的原始码流数据之后,对所述码流数据进行合成,得到所述原始码流数据,并将所述原始码流数据在所述服务器和所述客户端之间进行传输。
8.根据权利要求7所述的方法,其特征在于,通过SVC编码方式对所述音视频数据进行处理包括:
在空域上,获取运动补偿过程中插值生成的半像素上采样宏块和1/4像素上采样宏块;
分别将每一帧中全部所述半像素上采样宏块和全部所述1/4像素上采样宏块拼接生成2层空域金字塔的视频帧序列;
将所述每一帧中全部所述半像素上采样宏块进行拼接,得到半像素视频帧;
将所述每一帧中全部所述1/4像素上采样宏块进行拼接,得到1/4像素视频帧;
对所述2层空域金字塔的视频帧序列,所述半像素视频帧和所述1/4像素视频帧进行SVC编码,其中,整像素视频帧,所述半像素视频帧和所述1/4像素视频帧重要程度依次降低。
9.一种数据的处理装置,其特征在于,包括:
获取单元,用于获取初始传输数据,其中,所述初始传输数据为服务器和客户端之间传输的数据,所述初始传输数据包括以下类型:网页框架数据、文本数据、图像数据和音视频数据;
编码单元,用于对所述初始传输数据执行编码操作,编码之后得到目标传输数据,其中,不同类型的初始传输数据所执行的编码操作不相同;
传输单元,用于将编码之后得到的所述目标传输数据在所述服务器和所述客户端之间进行传输;
其中,所述编码单元还用于:
获取所述文本数据中的全部字符;
对每个字符分解为N×N的矩阵区域,其中,所述矩阵区域将所述每个字符分解成多个斑点,N为大于1的正整数;
依次将所述每个字符的矩阵区域的第i行的N个子区域中存在所述斑点的区域标识为第一数值,并将所述N个子区域中不存在所述斑点的区域标识为第二数值,得到所述每个字符的第i行的目标数值,其中,i依次取1至N;
基于所述全部字符中首字符的N个目标数值确定所述首字符的编码值;
基于所述首字符的编码值依次确定所述全部字符中的其他字符编码结果。
CN201611119393.3A 2016-12-08 2016-12-08 数据的处理方法和装置 Active CN106507107B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611119393.3A CN106507107B (zh) 2016-12-08 2016-12-08 数据的处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611119393.3A CN106507107B (zh) 2016-12-08 2016-12-08 数据的处理方法和装置

Publications (2)

Publication Number Publication Date
CN106507107A CN106507107A (zh) 2017-03-15
CN106507107B true CN106507107B (zh) 2019-07-05

Family

ID=58330821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611119393.3A Active CN106507107B (zh) 2016-12-08 2016-12-08 数据的处理方法和装置

Country Status (1)

Country Link
CN (1) CN106507107B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109587531A (zh) * 2017-09-28 2019-04-05 华为技术有限公司 视频传输方法、装置及系统
CN109257609B (zh) * 2018-09-30 2021-04-23 Oppo广东移动通信有限公司 数据处理方法及装置、电子设备及存储介质
CN109274682B (zh) * 2018-10-26 2021-03-05 上海营湾医疗科技有限公司 数据处理方法及其设备
CN116303731B (zh) * 2023-05-22 2023-07-21 四川互慧软件有限公司 医院标准主数据的对码方法、装置及电子设备
CN116821967B (zh) * 2023-08-30 2023-11-21 山东远联信息科技有限公司 用于隐私保护的交集计算方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6624761B2 (en) * 1998-12-11 2003-09-23 Realtime Data, Llc Content independent data compression method and system
JP3591726B2 (ja) * 2001-12-07 2004-11-24 ソニー株式会社 データ通信制御システム、送信機及び送信方法
CN101034997A (zh) * 2006-03-09 2007-09-12 新数通兴业科技(北京)有限公司 一种数据信息精确发布的方法和系统
CN102314697B (zh) * 2011-07-20 2013-04-10 张行清 基于数据类型的数值型数据压缩及解压缩方法
CN103428483B (zh) * 2012-05-16 2017-10-17 华为技术有限公司 一种媒体数据处理方法及设备
EP3304746B1 (en) * 2015-05-21 2021-04-07 Zeropoint Technologies AB Methods, devices and systems for hybrid data compression and decompression
CN105007082A (zh) * 2015-07-09 2015-10-28 广东欧珀移动通信有限公司 一种数据压缩方法、装置及终端
CN105045873B (zh) * 2015-07-17 2018-02-09 深圳市腾讯计算机系统有限公司 一种数据文件的推送方法、装置及系统

Also Published As

Publication number Publication date
CN106507107A (zh) 2017-03-15

Similar Documents

Publication Publication Date Title
CN106507107B (zh) 数据的处理方法和装置
CN102246165B (zh) 利用压缩梯度直方图来代表和标识特征描述符的方法和装置
CN103081467B (zh) 用于多滤波器自适应滤波的滤波器描述信令
CN106851293B (zh) 用于帧内预测的解码图像的装置
CN106658019A (zh) 参考帧编解码的方法与装置
CN106060547A (zh) 解码高分辨率图像的方法和装置
CN105247867A (zh) 用于不同层间预测类型的参考图片的独立重新采样及选择
CN105432085A (zh) 对多层视频译码的层间预测信令的优化
CN104969259A (zh) 处理高动态范围图像
CN105451019A (zh) 一种面向无线视频传感器网络的图像压缩传输方法
CN102300094B (zh) 一种视频编码方法
CN104780379A (zh) 一种屏幕图像集合的压缩方法
CN102845063A (zh) 用于视频编码的设备、方法和计算机程序
CN101039420B (zh) 一种基于流格式的指定区域图像传输及显示方法
CN102238374B (zh) 对图像数据进行压缩编码的方法和装置
CN107454412A (zh) 一种视频图像的处理方法、装置及系统
Jo et al. Efficient Computation Offloading in Mobile Cloud Computing for Video Streaming Over 5G.
CN113301347A (zh) 一种hevc高清视频编码的优化方法
KR101502630B1 (ko) 적응 축약 필터
CN104581158B (zh) 量化表、图像压缩处理方法、装置、终端及图像搜索系统
CN109274682A (zh) 数据处理方法及其设备
Naveed et al. SCRAS server-based crosslayer rate-adaptive video streaming over 4G-LTE for UAV-based surveillance applications
CN104767997A (zh) 一种面向视频的视觉特征编码方法及装置
Liu et al. Video image scaling technology based on adaptive interpolation algorithm and TTS FPGA implementation
CN104244012A (zh) 一种ct数据压缩方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180427

Address after: 100085 Haidian District, Beijing, Shanghai Information Industry Base Development Road 15, 1 buildings.

Applicant after: BEIJING SUMAVISION TECHNOLOGIES CO., LTD.

Address before: 100000, 6 floor, 1 building, No. 1, Shanghai East Road, Haidian District, Beijing, 602, -6023

Applicant before: Beijing poly chat network technology Co., Ltd.

GR01 Patent grant
GR01 Patent grant