具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例一提供的一种数据处理方法的流程图,如图1所示,该方法包括:
步骤101、接收第一网络数据;
步骤102、从第一网络数据中分离出设定类型的数据,以生成剩余网络数据,该第一网络数据包括该设定类型的数据和该剩余网络数据;
本实施例中,接收到的来自网络的第一网络数据中可以包括多种类型的数据,例如:文字数据、图像数据、音频数据和视频数据等。
本实施例中,设定类型可以根据需要进行设定,例如设定类型可以设定为图像、音频和/或视频,则设定类型的数据可以包括图像数据、音频数据和/或视频数据。
本实施例中,第一网络数据中包括的设定类型的数据可以包括图像数据、音频数据和/或视频数据。
步骤103、对设定类型的数据进行降低精度处理,生成低精度的设定类型的数据;
本实施例中,对设定类型的数据进行降低精度处理可以为对设定类型的数据进行压缩处理。或者,对于设定类型的数据为文件数据时,还可以进行裁剪、冗余去除等操作。
步骤104、将该低精度的设定类型的数据与该剩余网络数据进行合并处理,生成第二网络数据;
本实施例中,对设定类型的数据进行了降低精度处理,会减小设定类型的数据的数据量,当将低精度的设定类型的数据与该剩余网络数据合并后生成了第二网络数据,生成的第二网络数据的数据量小于第一网络数据的数据量。
步骤105、发送第二网络数据。
本实施例中,接收第一网络数据,对从第一网络数据中分离出的设定类型的网络数据进行降低精度处理,并将低精度的设定类型的数据与剩余网络数据进行合并生成第二网络数据,并发送第二网络数据,对设定类型的数据进行了降低精度处理使发送的第二网络数据的数据量小于接收到的第一网络数据的数据量,从而降低了数据传输过程中的网络流量,由于本实施例在实现降低网络流量过程中无需在数据传输的两端存储“数据块”和与“数据块”对应的索引,从而降低了部署设备的成本。
上述步骤,介绍了发送侧的动作,相应的接收侧对接收到的第二网络数据进行处理,包括:
接收第二网络数据;
从第二网络数据中分离出设定类型数据,以生成剩余网络数据;
对该设定类型数据进行恢复处理,其中,恢复处理可以包括解压缩等;
将恢复之后的设定类型数据与剩余网络数据进行合并处理。
图2为本发明实施例二提供的一种数据处理方法的流程图,如图2所示,该方法包括:
步骤201、接收第一网络数据;
本实施例中,可以接收网络侧发送的第一网络数据,该第一网络数据是网络侧根据终端发送的数据请求报文返回的。
本实施例中,第一网络数据中可以包括多种类型的数据,例如:文字数据、图像数据、音频数据和视频数据等。
步骤202、识别第一网络数据中是否包括设定类型的数据,如果识别出第一网络数据中包括设定类型的数据则执行步骤203、如果识别出第一网络数据中不包括设定类型的数据则执行步骤208;
设定类型可以根据需要进行设定,例如设定类型可以设定为图像、音频和/或视频,则相应地,设定类型的数据可以包括图像数据、音频数据和/或视频数据。
步骤203、从第一网络数据中分离出设定类型的数据,以生成剩余网络数据,该第一网络数据包括该设定类型的数据和该剩余网络数据;
本实施例中,分离出的设定类型的数据包括图像数据、音频数据和视频数据。
步骤204、判断设定类型的数据的数据量是否大于设置的设定类型的数据的阈值,如果是则执行步骤205,如果否则执行步骤208;
本实施例中,设定类型的数据的阈值可以根据网络拥塞状况或接收网络数据的终端的能力等因素来设置,其中,终端能力可以包括终端的显示能力。例如,当网络拥塞状况严重或者接收网络数据的终端的能力较低时,可以将设定类型的数据的阈值设置成较小值;或者当网络拥塞状况缓解或者接收网络数据的终端的能力较高时,可以将设定类型的数据的阈值设置成较大值。实际应用中,还可以根据其他因素进行设置,在此不一一列举。
本实施例中,可以为每种设定类型的数据设置该设定类型的数据的阈值。当设定类型的数据为图像数据时,设定类型的数据的阈值为图像数据的阈值,则判断设定类型的数据的数据量是否大于设置的设定类型的数据的阈值包括:判断图像数据的数据量是否大于设置的图像数据的阈值;当设定类型的数据为音频数据时,设定类型的数据的阈值为音频数据的阈值,则判断设定类型的数据的数据量是否大于设置的设定类型的数据的阈值包括:判断音频数据的数据量是否大于设置的音频数据的阈值;当设定类型的数据为视频数据时,设定类型的数据的阈值为视频数据的阈值,则判断设定类型的数据的数据量是否大于设置的设定类型的数据的阈值包括:判断视频数据的数据量是否大于设置的视频数据的阈值。
对于设定类型的数据包括两种以上类型的数据时,可以对不同的类型进行分别处理,例如,从设定类型的数据中分离出图像数据、视频数据、音频数据,之后分别对图像数据按照图像数据的阈值进行处理,视频数据按照视频数据的阈值进行处理,音频数据按照音频数据的阈值进行处理。
步骤205、对设定类型的数据进行降低精度处理,生成低精度的设定类型的数据;
本实施例中,对设定类型的数据进行降低精度处理具体可以为:根据设定类型的数据的压缩参数对设定类型的数据进行压缩处理。
本实施例中,可以为每种设定类型的数据设置该设定类型的数据的压缩参数。当设定类型的数据为图像数据时,设定类型的数据的压缩参数为图像数据的压缩参数,则根据设定类型的数据的压缩参数对设定类型的数据进行压缩处理包括:根据图像数据的压缩参数对图像数据进行等比例压缩处理。其中,若该图像数据为静态图像数据,则根据设定类型的数据的压缩参数对设定类型的数据进行压缩处理包括:根据图像数据的压缩参数对静态图像数据进行等比例压缩处理;其中,若该图像数据为动态图像数据时,则根据设定类型的数据的压缩参数对设定类型的数据进行压缩处理包括:根据图像数据的压缩参数对动态图像数据中的每一帧数据进行等比例压缩处理。当设定类型的数据为音频数据时,设定类型的数据的压缩参数为音频数据的压缩参数,则根据设定类型的数据的压缩参数对设定类型的数据进行压缩处理包括:根据音频数据的压缩参数对音频数据进行等比例压缩处理。当设定类型的数据为视频数据时,设定类型的数据的压缩参数为视频数据的压缩参数,则根据设定类型的数据的压缩参数对设定类型的数据进行压缩处理包括:根据视频数据的压缩参数对视频数据进行等比例压缩处理。
对于设定类型的数据包括两种以上类型的数据时,可以对不同的类型进行分别处理,例如,从设定类型的数据中分离出图像数据、视频数据、音频数据,之后分别对图像数据按照图像数据的压缩参数进行处理,视频数据按照视频数据的压缩参数进行处理,音频数据按照音频数据的压缩参数进行处理。
进一步地,本实施例中,还可以为不同类型的终端设置该终端的终端标识信息对应的设定类型的数据的压缩参数。
设定类型的数据的压缩参数还可以为终端标识信息对应的设定类型的数据的压缩参数。则根据设定类型的数据的压缩参数对设定类型的数据进行压缩处理包括:从设置的终端标识与压缩参数的对应关系中查询出终端标识信息对应的设定类型的压缩参数,并根据该终端标识信息对应的设定类型的数据的压缩参数对设定类型的数据进行压缩处理。其中,当设定类型的数据包括多种类型时,可以对不同类型的数据分别进行处理,每种类型分别对应各自的压缩参数。本实施例中,可以预先设置终端标识与压缩参数的对应关系,该终端标识与压缩参数的对应关系包括终端标识信息及该终端标识信息对应的设定类型的数据的压缩参数。本实施例中,终端标识信息可以从终端发送给网络侧的数据请求报文中获取。具体地,在步骤201之前还可以包括:接收到终端发送的数据请求报文,该数据请求报文携带终端标识信息;从数据请求报文中获取终端标识信息;将该数据请求报文转发给网络侧。则步骤201中接收到网络侧根据该数据报文请求返回给终端的第一网络数据。终端标识信息可以包括操作系统类型、浏览器类型或者型号等。例如:当终端为个人计算机(Personal Computer,以下简称:PC)时,终端标识信息可以为操作系统类型和浏览器类型;当终端为手机时,终端标识信息可以为型号。
当设定类型的数据为图像数据时,该终端标识与压缩参数的对应关系包括终端标识信息与该终端标识信息对应的图像数据的压缩参数,则可以从设置的终端标识与压缩参数的对应关系中查询出终端标识信息对应的图像数据的压缩参数,并根据该终端标识信息对应的图像数据的压缩参数对图像数据进行等比例压缩处理。当设定类型的数据为音频数据时,该终端标识与压缩参数的对应关系包括终端标识信息与该终端标识信息对应的音频数据的压缩参数,则可以从设置的终端标识与压缩参数的对应关系中查询出终端标识信息对应的音频数据的压缩参数,并根据该终端标识信息对应的音频数据的压缩参数对音频数据进行等比例压缩处理。当设定类型的数据为视频数据时,该终端标识与压缩参数的对应关系包括终端标识信息与该终端标识信息对应的视频数据的压缩参数,则可以从设置的终端标识与压缩参数的对应关系中查询出终端标识信息对应的视频数据的压缩参数,并根据该终端标识信息对应的视频数据的压缩参数对音频数据进行等比例压缩处理。
上述对设定类型的数据进行压缩处理,可以降低设定类型的数据的精度,从而减小设定类型的数据的数据量。
步骤206、将低精度的设定类型的数据与剩余网络数据进行合并处理,生成第二网络数据;
本实施例中,并未对剩余网络数据进行任何处理。
本实施例中,由于对设定类型的数据进行了降低精度处理会减小设定类型的数据的数据量,因此将低精度的设定类型的数据与剩余网络数据进行合并生成的第二网络数据的数据量小于第一网络数据的数据量。
步骤207、发送第二网络数据,流程结束;
本实施例中,可以将第二网络数据直接发送给终端或者通过其它网络设备将第二网络数据发送给终端。
步骤208、发送第一网络数据,流程结束;
本实施例中,可以将第一网络数据直接发送给终端或者通过其它网络设备将第一网络数据发送给终端。
本实施例中,当步骤204中判断出第一网络数据的数据量小于设置的阈值时或者步骤202中识别出第一网络数据中未包括设定类型的数据时,可以直接将接收到的第一网络数据发送出去,即转发该第一网络数据,而无需对第一网络数据进行降低精度处理。
进一步地,本实施例中,接收到的第一网络数据可以为第一传输数据的分片数据。具体地,第一传输数据被拆分成多个“数据块”,即被拆分成多个分片数据,第一传输数据以分片数据的形式进行传输,则本实施例中,接收到的第一网络数据为分片数据,则生成的第二网络数据也为分片数据。则本实施例中的方法进一步还可以包括:将多个第二网络数据进行合并处理,生成与第一传输数据对应的第二传输数据,则发送第二网络数据可以为:发送第二传输数据。
本实施例中,对从第一网络数据中分离出的设定类型的网络数据进行降低精度处理,并将低精度的设定类型的数据与剩余网络数据进行合并生成第二网络数据,并发送第二网络数据,对设定类型的数据进行了降低精度处理使发送的第二网络数据的数据量小于接收到的第一网络数据的数据量,从而降低了传输过程中的网络流量,由于本实施例在实现降低网络流量过程中无需在数据传输的两端存储“数据块”和“数据块”对应的索引,从而降低了部署设备的成本。本实施例的方法可以降低数据传输过程中的网络流量,从而减少了数据传输过程中占用的带宽资源,在一定程度上缓解了带宽资源紧张的问题。本实施例的方法可实现对接收到的网络数据的实时处理,从而满足了数据传输的实时性要求;由于实时性较好,在处理过程中对存储空间的要求较少,从而节约了存储资源。采用本实施例中的方法由于可以降低发送给终端的网络数据的数据量,因此在终端本身的能力较低的情况下,可以缩短终端接收网络数据的时间。
图3为本发明实施例三提供的一种数据处理装置的结构示意图,如图3所示,该装置包括:接收模块11、分离模块12、处理模块13、合并模块14和发送模块15。
接收模块11用于接收第一网络数据;
分离模块12用于从接收模块11接收的第一网络数据中分离出设定类型的数据,生成剩余网络数据,该第一网络数据包括设定类型的数据和该剩余网络数据;
处理模块13用于对设定类型的数据进行降低精度处理,生成低精度的设定类型的数据;
合并模块14用于将低精度的设定类型的数据与分离模块12生成的剩余网络数据进行合并处理,生成第二网络数据;发送模块15用于发送第二网络数据。
本实施例的数据处理装置,接收第一网络数据,对从第一网络数据中分离出的设定类型的网络数据进行降低精度处理,并将低精度的设定类型的数据与剩余网络数据进行合并生成第二网络数据,并发送第二网络数据,对设定类型的数据进行了降低精度处理使发送的第二网络数据的数据量小于接收到的第一网络数据的数据量,从而降低了数据传输过程中的网络流量,由于本实施例在实现降低网络流量过程中无需在数据传输的两端存储“数据块”和“数据块”对应的索引,因此无需在数据传输的两端对称的部署存储“数据块”和“数据块”对应的索引的设备,仅通过一个数据处理装置就可实现降低数据传输过程中的网络流量,从而降低了部署设备的成本。且该数据处理装置可灵活部署于网络中,不需要修改网络拓扑结构。
图4为本发明实施例四提供的一种数据处理装置的结构示意图,如图4所示,该装置在上述实施例三的基础上还包括与接收模块11和分离模块12及发送模块15连接的识别模块16以及与分离模块12和处理模块13及发送模块15连接的判断模块17。识别模块16用于识别第一网络数据中是否包括设定类型的数据。该判断模块17用于当所述分离模块12分离出所述设定类型的数据时,判断所述设定类型的数据的数据量是否大于等于设置的设定类型的数据的阈值,其中,所述处理模块具体用于当所述判断模块判断出所述设定类型的数据的数据量大于等于设置的设定类型的数据的阈值时,对设定类型的数据进行降低精度处理,生成低精度的设定类型的数据。
进一步地,当第一网络数据为第一传输数据的分片数据时,合并模块14还用于将多个第二网络数据进行合并处理,生成第一传输数据对应的第二传输数据,并由发送模块15发送第二传输数据。
图5为本发明实施例五提供的一种传输系统的结构示意图,一种传输系统,包括:
发送端51,用于接收第一网络数据;从所述第一网络数据中分离出设定类型的数据,以生成剩余网络数据,所述第一网络数据包括所述设定类型的数据和所述剩余网络数据;对所述设定类型的数据进行降低精度处理,生成低精度的设定类型的数据;将所述低精度的设定类型的数据与所述剩余网络数据进行合并处理,以生成第二网络数据;发送所述第二网络数据。
接收端52,用于接收来自所述发送端51的所述第二网络数据;从所述第二网络数据中分离出所述设定类型数据,以生成所述剩余网络数据;对所述设定类型数据进行恢复处理;将恢复之后的所述设定类型数据与剩余网络数据进行合并处理。
通过本实施例提供的网络传输系统,在实现降低网络流量过程中无需在数据传输的两端存储“数据块”和“数据块”对应的索引,因此无需在数据传输的两端对称的部署存储“数据块”和“数据块”对应的索引的设备,仅通过一个数据处理装置就可实现降低数据传输过程中的网络流量,从而降低了部署设备的成本。且该数据处理装置可灵活部署于网络中,不需要修改网络拓扑结构。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上实施例仅用以说明本发明的技术方案而非对其进行限制,尽管参照较佳实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对本发明的技术方案进行修改或者等同替换,而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。