CN111193752A - 一种数据压缩的方法、装置、压缩服务器和存储介质 - Google Patents
一种数据压缩的方法、装置、压缩服务器和存储介质 Download PDFInfo
- Publication number
- CN111193752A CN111193752A CN202010131429.XA CN202010131429A CN111193752A CN 111193752 A CN111193752 A CN 111193752A CN 202010131429 A CN202010131429 A CN 202010131429A CN 111193752 A CN111193752 A CN 111193752A
- Authority
- CN
- China
- Prior art keywords
- compression
- dictionary
- compression dictionary
- data
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明公开了一种数据压缩的方法、装置、压缩服务器和存储介质。其中，该方法包括：在动态更新的压缩字典集合中确定当前业务请求下的适配压缩字典；采用适配压缩字典对当前业务请求下的业务响应数据进行压缩，并将压缩后的业务响应数据添加至压缩字典集合对应的训练样本库中，以动态训练压缩字典集合中的最新压缩字典。本发明提供的技术方案，避免采用固定的压缩字典压缩特征变化的业务数据时造成压缩效率过低的情况，保证最新压缩字典与当前业务数据特征的最高压缩匹配性，后续采用最新压缩字典作为适配字典特征进行数据压缩，避免数据压缩效率随着时间推移而不断降低的情况，提高数据压缩的自适应性，保持压缩效率随着时间推移的一致性。
Description
技术领域
本发明实施例涉及数据处理技术领域，尤其涉及一种数据压缩的方法、装置、压缩服务器和存储介质。
背景技术
随着互联网技术的快速发展，对于不同业务场景下客户端与服务端之间的业务数据交互也越来越广泛，此时为了保证业务数据的交互实时性，通常会采用数据压缩的方式来减少客户端与服务端之间的数据交互量，从而提高数据传输速率，降低客户端对服务端的业务响应的延时。
目前，最常见的数据压缩算法为基于字典法的数据压缩，该字典压缩算法能够支持服务端根据不同场景下业务数据的属性特征来训练出对应的压缩字典，后续采用训练出的压缩字典对不同时刻下的业务数据进行压缩，但是随着业务数据在不同时刻下的特征变化，基于历史阶段的业务数据所训练出的压缩字典会与在当前阶段新生成的业务数据的属性特征变得不匹配，从而使得业务数据的压缩效率随着时间推移而不断降低，导致客户端和服务器之间的业务数据交互随着交互时间推移而产生交互延时的问题。
发明内容
本发明实施例提供了一种数据压缩的方法、装置、压缩服务器和存储介质，避免数据压缩效率随着时间推移而不断降低的情况，提高数据压缩的自适应性。
第一方面，本发明实施例提提供了一种数据压缩的方法，该方法包括：
在动态更新的压缩字典集合中确定当前业务请求下的适配压缩字典；
采用所述适配压缩字典对当前业务请求下的业务响应数据进行压缩，并将压缩后的业务响应数据添加至所述压缩字典集合对应的训练样本库中，以动态训练所述压缩字典集合中的最新压缩字典。
第二方面，本发明实施例提供了一种数据压缩的装置，该装置包括：
字典适配模块，用于在动态更新的压缩字典集合中确定当前业务请求下的适配压缩字典；
数据压缩模块，用于采用所述适配压缩字典对当前业务请求下的业务响应数据进行压缩，并将压缩后的业务响应数据添加至所述压缩字典集合对应的训练样本库中，以动态训练所述压缩字典集合中的最新压缩字典。
第三方面，本发明实施例提供了一种数据交互系统，该系统包括：客户端和压缩服务端；其中，
所述客户端向所述压缩服务端上报当前业务请求；所述压缩服务端在动态更新的压缩字典集合中确定所述当前业务请求下的适配压缩字典，采用所述适配压缩字典对当前业务请求下的业务响应数据进行压缩，并将压缩后的业务响应数据反馈给所述客户端，同时将压缩后的业务响应数据添加至所述压缩字典集合对应的训练样本库中，以动态训练所述压缩字典集合中的最新压缩字典。
第四方面，本发明实施例提供了一种压缩服务器，该压缩服务器包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的数据压缩的方法。
第五方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述的数据压缩的方法。
本发明实施例提供的一种数据压缩的方法、装置、压缩服务器和存储介质，首先在动态更新的压缩字典集合中确定当前业务请求下的适配压缩字典，采用该适配压缩字典对本次请求的业务响应数据进行压缩，实时符合当前业务的压缩要求，避免采用固定的压缩字典压缩特征变化的业务数据时造成的压缩效率过低的情况，同时将压缩后的业务响应数据添加至压缩字典集合对应的训练样本库中，以不断采用当前的业务数据特征动态训练压缩字典集合中的最新压缩字典，从而保证最新压缩字典与当前业务数据特征的压缩匹配性，以便后续采用最新压缩字典作为适配字典特征进行数据压缩，避免数据压缩效率随着时间推移而不断降低的情况，提高数据压缩的自适应性，保持压缩效率随着时间推移的一致性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1A为本发明实施例一提供的一种数据压缩的方法的流程图；
图1B为本发明实施例一提供的数据压缩过程的原理示意图；
图2A为本发明实施例二提供的一种数据压缩的方法的流程图；
图2B为本发明实施例二提供的方法中动态训练压缩字典集合中的最新压缩字典的原理示意图；
图3A为本发明实施例三提供的一种数据压缩的方法的流程图；
图3B为本发明实施例三提供的方法中数据压缩过程的原理示意图；
图4A为本发明实施例四提供的一种数据交互系统的结构示意图；
图4B为本发明实施例四提供的系统中进行业务数据交互的流程图；
图5为本发明实施例五提供的一种数据压缩的装置的结构示意图；
图6为本发明实施例六提供的一种压缩服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
图1A为本发明实施例一提供的一种数据压缩的方法的流程图，本实施例可适用于对任一业务场景下的业务数据进行压缩的情况中。本实施例提供的数据压缩的方法可以由本发明实施例提供的数据压缩的装置来执行，该装置可以通过软件和/或硬件的方式来实现，并集成在执行本方法的压缩服务器中，该压缩服务器可以是参与业务数据交互的后台服务器。
具体的，参考图1A，该方法可以包括如下步骤：
S110，在动态更新的压缩字典集合中确定当前业务请求下的适配压缩字典。
具体的，客户端与服务端之间进行数据交互时，为了保证数据响应的实时性，服务端通常会将针对客户端请求所响应到的业务数据进行对应压缩后返回给客户端，目前为了保证业务数据的压缩效率，通常会采用基于字典法的数据压缩，而随着时间推移，业务数据的数据特征会不断发生变化，与所采用的压缩字典匹配度越来越低，此时基于字典法的数据压缩效率会不断降低，因此为了避免数据压缩效率在时间推移下不断降低的问题，本实施例预先设置了一个压缩字典集合，该压缩字典集合中存在的压缩字典不定，在不同时段下会根据当前时段内的业务数据特征生成新的压缩字典，并添加至压缩字典集合中，从而保证压缩字典集合的动态更新，以便后续能够在压缩字典集合中筛选出当前时刻客户端适配的压缩字典进行数据压缩，从而保证每一时刻下客户端请求到的业务数据的压缩效率。
需要说明的是，为了保证客户端与服务端上所支持的压缩字典的一致性，本实施例中的压缩字典集合在动态更新后，会不断将压缩字典集合中新出现的压缩字典反馈给客户端，保证客户端与服务端上压缩字典集合的一致性，以便后续客户端在收到压缩后的数据后能够采用相应的压缩字典进行成功解压。
可选的，客户端在向服务端请求相应的业务数据时，会生成相应的当前业务请求，此时由于服务端会向客户端不断反馈新的压缩字典，保证客户端与服务端上压缩字典集合的动态更新一致性，而客户端相对于服务端压缩字典集合在动态更新时会存在一定的更新时间延迟，因此客户端在生成当前业务请求时，该当前业务请求中通常会携带客户端当前支持的压缩字典集合中最新的压缩字典，例如客户端所支持的压缩字典集合1中存在压缩字典1、压缩字典2和压缩字典3，而服务端所支持的压缩字典集合2中除了压缩字典1、压缩字典2和压缩字典3之外，可能还会在业务请求过程中动态生成压缩字典4，此时客户端向服务端发送当前业务请求时，该当前业务请求中携带客户端所支持的压缩字典3。进一步的，服务端接收到当前业务请求后，首先会解析该当前业务请求以得到客户端当前支持的压缩字典标识，进而在服务端本地支持的压缩字典集合中确定出该压缩字典标识对应的适配压缩字典，后续采用该适配压缩字典对所请求的业务数据进行压缩，保证适配压缩字典与当前业务数据特征之间的一致性，提高每一时刻下业务数据的压缩效率。
S120，采用适配压缩字典对当前业务请求下的业务响应数据进行压缩，并将压缩后的业务响应数据添加至压缩字典集合对应的训练样本库中，以动态训练压缩字典集合中的最新压缩字典。
具体的，服务端在确定出客户端当前支持的适配压缩字典后，首先会查找出当前业务请求下指定的业务响应数据，进而在向客户端反馈该业务响应数据前，会采用该适配压缩字典对客户端本次请求的业务响应数据进行压缩，此时该适配压缩字典与当前请求业务响应数据的数据特征之间存在一定的匹配性，从而保证该业务响应数据在数据交互时的压缩效率，后续将压缩后的业务响应数据反馈给客户端；同时由于本实施例中的压缩字典集合是动态更新的，且为了防止业务数据的压缩效率在时间推移下不断降低的问题，会对当前时段下各个训练样本的业务数据特征进行分析，进而不断生成与当前训练样本的业务数据特征匹配的新的压缩字典，保证压缩字典集合的动态更新，因此如图1B所示，本实施例会不断根据训练样本库中当前时段下各个训练样本的业务数据特征对压缩字典集合中的最新压缩字典进行重新训练，得到新的最新压缩字典，并添加至压缩字典集合中，以实现压缩字典集合的动态更新，此时在每次采用适配压缩字典对业务响应数据进行压缩后，可以直接将压缩后的业务响应数据添加至该压缩字典集合对应的训练样本库中，使得训练样本库中的训练样本具备当前时段的业务数据特征，以便后续动态采用当前时段的训练样本库训练该压缩字典集合中的最新压缩字典，得到新的最新压缩字典添加至该压缩字典集合中，此时新的最新压缩字典与当前的业务数据特征匹配，也可以将新的最新压缩字典反馈给客户端，保证客户端上的压缩字典集合与服务端的动态更新一致性。
需要说明的是，本实施例中动态训练压缩字典集合中的最新压缩字典的训练时机可以根据业务数据特征的变化情况进行人为设定，可以是定时训练，也可以是根据某一触发条件进行有条件的训练，本实施例对此不作限定。
示例性的，本实施例的压缩字典集合中的各个压缩字典均可以是在上一压缩字典的基础上采用训练样本库中的当前时段下的业务数据进行训练，将上一压缩字典训练后得到的压缩字典作为当前新的压缩字典，也就是压缩字典集合中各个压缩字典的版本号不同，通过当前的业务数据特征不断训练压缩字典集合中当前版本的压缩字典，得到新版本的压缩字典，从而实现压缩字典集合的动态更新。
本实施例提供的技术方案，首先在动态更新的压缩字典集合中确定当前业务请求下的适配压缩字典，采用该适配压缩字典对本次请求的业务响应数据进行压缩，实时符合当前业务的压缩要求，避免采用固定的压缩字典压缩特征变化的业务数据时造成的压缩效率过低的情况，同时将压缩后的业务响应数据添加至压缩字典集合对应的训练样本库中，以不断采用当前的业务数据特征动态训练压缩字典集合中的最新压缩字典，从而保证最新压缩字典与当前业务数据特征的压缩匹配性，以便后续采用最新压缩字典作为适配字典特征进行数据压缩，避免数据压缩效率随着时间推移而不断降低的情况，提高数据压缩的自适应性，保持压缩效率随着时间推移的一致性。
实施例二
图2A为本发明实施例二提供的一种数据压缩的方法的流程图，图2B为本发明实施例二提供的方法中动态训练压缩字典集合中的最新压缩字典的原理示意图。本实施例是在上述实施例的基础上进行优化。具体的，如图2A所示，本实施例对于动态训练压缩字典集合中的最新压缩字典的具体过程进行详细的解释说明。
可选的，如图2A所示，本实施例中可以包括如下步骤：
S210，在动态更新的压缩字典集合中确定当前业务请求下的适配压缩字典。
S220，采用适配压缩字典对当前业务请求下的业务响应数据进行压缩，并将压缩后的业务响应数据添加至压缩字典集合对应的训练样本库中。
可选的，本实施例在将压缩后的业务响应数据添加至该压缩字典集合对应的训练样本库后，动态训练压缩字典集合中的最新压缩字典存在定期训练和根据触发条件训练两种方式，如下进行分别介绍。
S230，定时采用训练样本库中压缩时间点处于第一特定压缩时段内的训练样本，训练压缩字典集合中的最新压缩字典。
具体的，由于压缩字典集合对应的训练样本库中的各个训练样本均为不同时刻下压缩后的业务响应数据，因此本实施例可以针对训练样本库中各个训练样本的压缩时间点对应设定用于根据当前业务数据特征来训练最新压缩字典，以得到与当前业务数据特征匹配的压缩字典的第一特定压缩时段；示例性的，该第一特定压缩时段可以是上一定时训练与当前定时训练之间的时段；此时定时在训练样本库中筛选出压缩时间点处于第一特定压缩时段内的业务响应数据，进而通过分析所筛选出的业务响应数据的数据特征变化，对该压缩字典集合中的最新压缩字典进行训练，从而得到新的最新压缩字典，添加至压缩字典集合中，以实现压缩字典集合的动态更新；例如每相隔10天则采用训练样本库训练一次压缩字典集合中的最新压缩字典时，第一特定压缩时段可以是两次训练之间的10天，也就是采用训练样本库中压缩时间点处于上一训练与当前训练之间的10天内的压缩后的业务响应数据对最新压缩字典进行训练。
S240，在训练样本库中每添加一个新的训练样本时，则采用训练样本库中压缩时间点处于第二特定压缩时段内的训练样本，训练压缩字典集合中的最新压缩字典。
具体的，由于业务数据是不断变化的，在定时采用训练样本库中压缩时间点处于第一特定压缩时段内的训练样本，训练压缩字典集合中的最新压缩字典时，可能当前业务数据特征与处于第一特定压缩时段内的训练样本的数据特征的匹配性已经降低了，此时定时训练出的新的最新压缩字典可能与当前业务数据特征不够匹配，因此本实施例可以采用流式训练的方式，实时训练压缩字典集合中的最新压缩字典，即如图2B所示，在训练样本库中每添加一个新的训练样本时，也就是每次将压缩后的业务响应数据添加至压缩字典集合对应的训练样本库中时，均在此时在训练样本库中筛选出压缩时间点处于第二特定压缩时段内的训练样本，采用所筛选出的训练样本来训练该压缩字典集合中的最新压缩字典，从而保证在每次业务响应时均根据当前业务响应数据对应训练一次最新压缩字典。
进一步的，由于采用训练样本库中压缩时间点处于第二特定压缩时段内的训练样本，训练压缩字典集合中的最新压缩字典时，每一训练样本与当前业务数据特征的匹配度不同，为了保证所训练出的最新压缩字典能够与当前业务数据特征的匹配度最高，本实施例在采用训练样本库中压缩时间点处于第二特定压缩时段内的训练样本，训练压缩字典集合中的最新压缩字典之前，还可以包括：采用移动平均算法计算第二特定压缩时段内不同压缩时间点下的训练样本的权重。
具体的，本实施例在每次训练最新压缩字典时，均需要预先采用现有的移动平均算法计算本次训练时处于第二特定压缩时段内的不同压缩时间点下的各个训练样本的权重，能够保证压缩时间点与本次训练时间越近的训练样本的权重越高，后续在训练样本库中每添加一个新的训练样本时，均采用训练样本库中压缩时间点处于第二特定压缩时段内的训练样本以及该训练样本的权重，训练压缩字典集合中的最新压缩字典，保证训练后的最新压缩字典能够与当前业务数据特征最为匹配。
需要说明的是，本实施例中的S230和S240均是对压缩字典集合中的最新压缩字典进行动态训练的操作，可以择一执行。
本实施例提供的技术方案，首先在动态更新的压缩字典集合中确定当前业务请求下的适配压缩字典，采用该适配压缩字典对本次请求的业务响应数据进行压缩，实时符合当前业务的压缩要求，避免采用固定的压缩字典压缩特征变化的业务数据时造成的压缩效率过低的情况，同时将压缩后的业务响应数据添加至压缩字典集合对应的训练样本库中，以定时或者在训练样本库中每添加一个新的训练样本时，均不断采用当前的业务数据特征动态训练压缩字典集合中的最新压缩字典，从而保证最新压缩字典与当前业务数据特征的最高压缩匹配性，以便后续采用最新压缩字典作为适配字典特征进行数据压缩，避免数据压缩效率随着时间推移而不断降低的情况，提高数据压缩的自适应性，保持压缩效率随着时间推移的一致性。
实施例三
图3A为本发明实施例三提供的一种数据压缩的方法的流程图，图3B为本发明实施例三提供的方法中数据压缩过程的原理示意图。本实施例是在上述实施例的基础上进行优化。具体的，如图3B所示，本实施例对于数据压缩过程中存在的其他步骤过程进行详细的解释说明。
可选的，如图3A所示，本实施例中可以包括如下步骤：
S310，在动态更新的压缩字典集合中确定当前业务请求下的适配压缩字典。
S320，确定当前业务请求指定的业务响应数据。
可选的，服务端在确定出适配压缩字典后，首先需要分析当前业务请求指定的请求信息，以筛选出当前业务请求指定的业务响应数据，便于客户端后续压缩反馈给客户端。
S330，按照业务响应数据在客户端上的展示顺序，对业务响应数据进行数据重排。
可选的，为了确保客户端上能够尽快按序展示业务响应数据，本实施例可以针对客户端对业务响应数据的展示要求，分析出业务响应数据在客户端上的展示顺序，如图3B所示，进而按照该展示顺序对业务响应数据进行数据重排，后续采用适配压缩字典对重排后的业务响应数据进行压缩，以在每次压缩完成后，直接将所压缩的业务响应数据反馈给客户端，此时客户端收到一定量的业务响应数据后，该业务响应数据为展示顺序靠前的数据，则客户端可以先行进行展示，后续在收到其他业务相应数据后继续在后面追加展示，以保证业务响应数据的实时展示，避免客户端上业务响应数据首次展示时出现延迟的问题。
S340，采用适配压缩字典对重排后的业务响应数据进行压缩，并将压缩后的业务响应数据添加至压缩字典集合对应的训练样本库中，以动态训练压缩字典集合中的最新压缩字典。
S350，根据当前业务请求中携带的数据分片属性，对压缩后的业务响应数据进行分片并依次反馈给客户端。
可选的，客户端在生成当前业务请求时，会对应携带客户端期望展示的数据分片属性，此时服务端在向客户端反馈业务响应数据时，可以直接根据当前业务请求中携带的数据分片属性，对压缩后的业务响应数据进行分片，并将数据分片依次反馈给客户端。
S360，如果接收到客户端的字典更新指令，且压缩字典集合中存在新训练出的压缩字典，则向客户端下发该新训练出的压缩字典。
可选的，客户端在动态更新压缩字典集合时，会定时从服务端拉取新训练的最新压缩字典，因此客户端会定时向服务端发送字典更新指令，服务端在收到该字典更新指令，且服务端本地的压缩字典集合中存在新训练出的最新压缩字典后，可以直接将新训练出的最新压缩字典下发给客户端，以保证客户端与服务端上压缩字典集合的动态更新一致性。
本实施例提供的技术方案，首先在动态更新的压缩字典集合中确定当前业务请求下的适配压缩字典，采用该适配压缩字典对本次请求的业务响应数据进行压缩，实时符合当前业务的压缩要求，避免采用固定的压缩字典压缩特征变化的业务数据时造成的压缩效率过低的情况，同时将压缩后的业务响应数据添加至压缩字典集合对应的训练样本库中，以不断采用当前的业务数据特征动态训练压缩字典集合中的最新压缩字典，从而保证最新压缩字典与当前业务数据特征的最高压缩匹配性，以便后续采用最新压缩字典作为适配字典特征进行数据压缩，避免数据压缩效率随着时间推移而不断降低的情况，提高数据压缩的自适应性，保持压缩效率随着时间推移的一致性。
实施例四
图4A为本发明实施例四提供的一种数据交互系统的结构示意图，图4B为本发明实施例四提供的系统中进行业务数据交互的流程图。本实施例是在上述实施例的基础上进行优化。具体的，如图4A所示，本实施例中的数据交互系统可以包括：客户端40和压缩服务端41。
具体的，客户端40向压缩服务端41上报当前业务请求；压缩服务端41在动态更新的压缩字典集合中确定当前业务请求下的适配压缩字典，采用适配压缩字典对当前业务请求下的业务响应数据进行压缩，并将压缩后的业务响应数据反馈给客户端40，同时将压缩后的业务响应数据添加至压缩字典集合对应的训练样本库中，以动态训练压缩字典集合中的最新压缩字典。
进一步的，针对压缩服务端41上所执行的不同压缩功能，该压缩服务端41可以具体分为业务子服务端410、字典子服务端420和配置子服务端430。
示例性的，业务子服务端410在动态更新的压缩字典集合中确定当前业务请求下的适配压缩字典，采用适配压缩字典对当前业务请求下的业务响应数据进行压缩，并将压缩后的业务响应数据反馈给客户端40，同时将压缩后的业务响应数据转发给字典子服务端420；字典子服务端420将压缩后的业务响应数据添加至压缩字典集合对应的训练样本库中，以动态训练压缩字典集合中的最新压缩字典。
同时，字典子服务端420在动态训练压缩字典集合中的最新压缩字典后，还可以向业务子服务端410发送字典更新通知；业务子服务端410将字典更新通知中携带的新训练出的压缩字典更新到压缩字典集合中。
此外，字典子服务端420在动态训练压缩字典集合中的最新压缩字典后，还可以将新训练出的压缩字典发布到配置子服务端430中；配置子服务端430在接收到客户端40定时生成的字典更新指令后，将压缩字典集合中新训练出的最新压缩字典发送给客户端40。
同时，业务子服务端410还可以根据当前业务请求中携带的数据分片属性，对压缩后的业务响应数据进行分片并依次反馈给客户端40；客户端40顺序展示业务响应数据中的不同数据分片。
进一步的，如图4B所示，本实施例按照如下步骤，对客户端40和压缩服务端41中的业务子服务端410、字典子服务端420和配置子服务端430之间的数据交互过程进行说明：
S401，客户端向压缩服务端上的业务子服务端上报当前业务请求。
S402，业务子服务端在动态更新的压缩字典集合中确定当前业务请求下的适配压缩字典，采用适配压缩字典对当前业务请求下的业务响应数据进行压缩。
S403，业务子服务端根据当前业务请求中携带的数据分片属性，对压缩后的业务响应数据进行分片。
S404，业务子服务端将压缩后的业务响应数据中的数据分片反馈给客户端。
S405，客户端顺序展示业务响应数据中的不同数据分片。
S406，业务子服务端将压缩后的业务响应数据转发给字典子服务端。
S407，字典子服务端将压缩后的业务响应数据添加至压缩字典集合对应的训练样本库中，以动态训练压缩字典集合中的最新压缩字典。
S408，字典子服务端向业务子服务端发送字典更新通知。
S409，业务子服务端将字典更新通知中携带的新训练出的压缩字典更新到压缩字典集合中。
S410，字典子服务端将新训练出的压缩字典发布到配置子服务端中。
S411，客户端向配置子服务端定时发送字典更新指令。
S412，配置子服务端将压缩字典集合中新训练出的压缩字典发送给客户端。
本实施例提供的技术方案，首先在动态更新的压缩字典集合中确定当前业务请求下的适配压缩字典，采用该适配压缩字典对本次请求的业务响应数据进行压缩，实时符合当前业务的压缩要求，避免采用固定的压缩字典压缩特征变化的业务数据时造成的压缩效率过低的情况，同时将压缩后的业务响应数据添加至压缩字典集合对应的训练样本库中，以不断采用当前的业务数据特征动态训练压缩字典集合中的最新压缩字典，从而保证最新压缩字典与当前业务数据特征的最高压缩匹配性，以便后续采用最新压缩字典作为适配字典特征进行数据压缩，避免数据压缩效率随着时间推移而不断降低的情况，提高数据压缩的自适应性，保持压缩效率随着时间推移的一致性。
实施例五
图5为本发明实施例五提供的一种数据压缩的装置的结构示意图，具体的，如图5所示，该装置可以包括：
字典适配模块510，用于在动态更新的压缩字典集合中确定当前业务请求下的适配压缩字典；
数据压缩模块520，用于采用适配压缩字典对当前业务请求下的业务响应数据进行压缩，并将压缩后的业务响应数据添加至压缩字典集合对应的训练样本库中，以动态训练压缩字典集合中的最新压缩字典。
本实施例提供的技术方案，首先在动态更新的压缩字典集合中确定当前业务请求下的适配压缩字典，采用该适配压缩字典对本次请求的业务响应数据进行压缩，实时符合当前业务的压缩要求，避免采用固定的压缩字典压缩特征变化的业务数据时造成的压缩效率过低的情况，同时将压缩后的业务响应数据添加至压缩字典集合对应的训练样本库中，以不断采用当前的业务数据特征动态训练压缩字典集合中的最新压缩字典，从而保证最新压缩字典与当前业务数据特征的最高压缩匹配性，以便后续采用最新压缩字典作为适配字典特征进行数据压缩，避免数据压缩效率随着时间推移而不断降低的情况，提高数据压缩的自适应性，保持压缩效率随着时间推移的一致性。
进一步的，上述数据压缩模块520，可以具体用于：
定时采用训练样本库中压缩时间点处于第一特定压缩时段内的训练样本，训练压缩字典集合中的最新压缩字典。
进一步的，上述数据压缩模块520，还可以具体用于：
在训练样本库中每添加一个新的训练样本时，则采用训练样本库中压缩时间点处于第二特定压缩时段内的训练样本，训练压缩字典集合中的最新压缩字典。
进一步的，上述数据压缩的装置，还可以包括：
权重计算模块，用于采用移动平均算法计算第二特定压缩时段内不同压缩时间点下的训练样本的权重。
相应的，上述数据压缩模块520，可以具体用于：
采用训练样本库中压缩时间点处于第二特定压缩时段内的训练样本以及该训练样本的权重，训练压缩字典集合中的最新压缩字典。
进一步的，上述数据压缩的装置，还可以包括：
字典更新模块，用于如果接收到客户端的字典更新指令，且压缩字典集合中存在新训练出的压缩字典，则向客户端下发该新训练出的压缩字典。
进一步的，上述数据压缩的装置，还可以包括：
响应确定模块，用于确定当前业务请求指定的业务响应数据；
数据重排模块，用于按照业务响应数据在客户端上的展示顺序，对业务响应数据进行数据重排。
相应的，上述数据压缩模块520，可以具体用于：
采用适配压缩字典对重排后的业务响应数据进行压缩。
进一步的，上述数据压缩的装置，还可以包括：
数据分片模块，用于根据当前业务请求中携带的数据分片属性，对压缩后的业务响应数据进行分片并依次反馈给客户端。
本实施例提供的数据压缩的装置可适用于上述任意实施例提供的数据压缩的方法，具备相应的功能和有益效果。
实施例六
图6为本发明实施例六提供的一种压缩服务器的结构示意图，如图6所示，该压缩服务器包括处理器60、存储装置61和通信装置62；压缩服务器中处理器60的数量可以是一个或多个，图6中以一个处理器60为例；压缩服务器中的处理器60、存储装置61和通信装置62可以通过总线或其他方式连接，图6中以通过总线连接为例。
存储装置61作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明任意实施例所述的数据压缩的方法对应的程序指令/模块。处理器60通过运行存储在存储装置61中的软件程序、指令以及模块，从而执行压缩服务器的各种功能应用以及数据处理，即实现上述数据压缩的方法。
存储装置61可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置61可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置61可进一步包括相对于处理器60远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信装置62可用于实现客户端与压缩服务器之间的网络连接或者移动数据连接。
本实施例提供的一种压缩服务器可用于执行上述任意实施例提供的数据压缩的方法，具备相应的功能和有益效果。
实施例七
本发明实施例七还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可实现上述任意实施例中的数据压缩的方法。该方法具体可以包括：
在动态更新的压缩字典集合中确定当前业务请求下的适配压缩字典；
采用适配压缩字典对当前业务请求下的业务响应数据进行压缩，并将压缩后的业务响应数据添加至压缩字典集合对应的训练样本库中，以动态训练压缩字典集合中的最新压缩字典。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的数据压缩的方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述数据压缩的装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (15)
1.一种数据压缩的方法，其特征在于，包括：
在动态更新的压缩字典集合中确定当前业务请求下的适配压缩字典；
采用所述适配压缩字典对当前业务请求下的业务响应数据进行压缩，并将压缩后的业务响应数据添加至所述压缩字典集合对应的训练样本库中，以动态训练所述压缩字典集合中的最新压缩字典。
2.根据权利要求1所述的方法，其特征在于，所述动态训练所述压缩字典集合中的最新压缩字典，包括：
定时采用所述训练样本库中压缩时间点处于第一特定压缩时段内的训练样本，训练所述压缩字典集合中的最新压缩字典。
3.根据权利要求1所述的方法，其特征在于，所述动态训练所述压缩字典集合中的最新压缩字典，包括：
在所述训练样本库中每添加一个新的训练样本时，则采用所述训练样本库中压缩时间点处于第二特定压缩时段内的训练样本，训练所述压缩字典集合中的最新压缩字典。
4.根据权利要求3所述的方法，其特征在于，在采用所述训练样本库中压缩时间点处于第二特定压缩时段内的训练样本，训练所述压缩字典集合中的最新压缩字典之前，还包括：
采用移动平均算法计算所述第二特定压缩时段内不同压缩时间点下的训练样本的权重；
相应的，所述采用所述训练样本库中压缩时间点处于第二特定压缩时段内的训练样本，训练所述压缩字典集合中的最新压缩字典，包括：
采用所述训练样本库中压缩时间点处于第二特定压缩时段内的训练样本以及该训练样本的权重，训练所述压缩字典集合中的最新压缩字典。
5.根据权利要求1-4任一项所述的方法，其特征在于，还包括：
如果接收到客户端的字典更新指令，且所述压缩字典集合中存在新训练出的压缩字典，则向所述客户端下发该新训练出的压缩字典。
6.根据权利要求1-4任一项所述的方法，其特征在于，在采用所述适配压缩字典对当前业务请求下的业务响应数据进行压缩之前，还包括：
确定所述当前业务请求指定的业务响应数据；
按照所述业务响应数据在客户端上的展示顺序，对所述业务响应数据进行数据重排；
相应的，所述采用所述适配压缩字典对当前业务请求下的业务响应数据进行压缩，包括：
采用所述适配压缩字典对重排后的业务响应数据进行压缩。
7.根据权利要求1-4任一项所述的方法，其特征在于，在采用所述适配压缩字典对当前业务请求下的业务响应数据进行压缩之后，还包括：
根据所述当前业务请求中携带的数据分片属性，对压缩后的业务响应数据进行分片并依次反馈给客户端。
8.一种数据压缩的装置，其特征在于，包括：
字典适配模块，用于在动态更新的压缩字典集合中确定当前业务请求下的适配压缩字典；
数据压缩模块，用于采用所述适配压缩字典对当前业务请求下的业务响应数据进行压缩，并将压缩后的业务响应数据添加至所述压缩字典集合对应的训练样本库中，以动态训练所述压缩字典集合中的最新压缩字典。
9.一种数据交互系统，其特征在于，包括：客户端和压缩服务端；其中，
所述客户端向所述压缩服务端上报当前业务请求；所述压缩服务端在动态更新的压缩字典集合中确定所述当前业务请求下的适配压缩字典，采用所述适配压缩字典对当前业务请求下的业务响应数据进行压缩，并将压缩后的业务响应数据反馈给所述客户端，同时将压缩后的业务响应数据添加至所述压缩字典集合对应的训练样本库中，以动态训练所述压缩字典集合中的最新压缩字典。
10.根据权利要求9所述的数据交互系统，其特征在于，所述压缩服务端包括业务子服务端和字典子服务端；其中，
所述业务子服务端在动态更新的压缩字典集合中确定所述当前业务请求下的适配压缩字典，采用所述适配压缩字典对当前业务请求下的业务响应数据进行压缩，并将压缩后的业务响应数据反馈给所述客户端，同时将压缩后的业务响应数据转发给所述字典子服务端；
所述字典子服务端将压缩后的业务响应数据添加至所述压缩字典集合对应的训练样本库中，以动态训练所述压缩字典集合中的最新压缩字典。
11.根据权利要求10所述的数据交互系统，其特征在于，所述字典子服务端还用于：在动态训练所述压缩字典集合中的最新压缩字典后，向所述业务子服务端发送字典更新通知；
所述业务子服务端还用于：将所述字典更新通知中携带的新训练出的压缩字典更新到所述压缩字典集合中。
12.根据权利要求10所述的数据交互系统，其特征在于，所述压缩服务端还包括配置子服务端；
所述字典子服务端还用于：在动态训练所述压缩字典集合中的最新压缩字典后，将新训练出的压缩字典发布到所述配置子服务端中；
所述配置子服务端在接收到所述客户端定时生成的字典更新指令后，将所述压缩字典集合中新训练出的压缩字典发送给所述客户端。
13.根据权利要求10所述的数据交互系统，其特征在于，所述业务子服务端还用于：根据所述当前业务请求中携带的数据分片属性，对压缩后的业务响应数据进行分片并依次反馈给客户端；
所述客户端还用于：顺序展示所述业务响应数据中的不同数据分片。
14.一种压缩服务器，其特征在于，所述压缩服务器包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的数据压缩的方法。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的数据压缩的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010131429.XA CN111193752A (zh) | 2020-02-28 | 2020-02-28 | 一种数据压缩的方法、装置、压缩服务器和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010131429.XA CN111193752A (zh) | 2020-02-28 | 2020-02-28 | 一种数据压缩的方法、装置、压缩服务器和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111193752A true CN111193752A (zh) | 2020-05-22 |
Family
ID=70708505
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010131429.XA Pending CN111193752A (zh) | 2020-02-28 | 2020-02-28 | 一种数据压缩的方法、装置、压缩服务器和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111193752A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111782660A (zh) * | 2020-07-17 | 2020-10-16 | 支付宝(杭州)信息技术有限公司 | 基于键值存储的数据压缩的方法和系统 |
| CN113518088A (zh) * | 2021-07-12 | 2021-10-19 | 北京百度网讯科技有限公司 | 数据处理方法、装置、服务器、客户端和介质 |
| WO2022095636A1 (zh) * | 2020-11-03 | 2022-05-12 | 大唐移动通信设备有限公司 | 一种进行数据压缩的方法和装置及设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070096953A1 (en) * | 2005-10-31 | 2007-05-03 | Fujitsu Limited | Data compression method and compressed data transmitting method |
| US20140172806A1 (en) * | 2012-12-19 | 2014-06-19 | Salesforce.Com, Inc. | Systems, methods, and apparatuses for implementing data masking via compression dictionaries |
| CN107645538A (zh) * | 2017-08-14 | 2018-01-30 | 阿里巴巴集团控股有限公司 | 提供动态压缩字典的方法及装置和电子设备 |
| US9973597B1 (en) * | 2014-12-10 | 2018-05-15 | Amazon Technologies, Inc. | Differential dictionary compression of network-accessible content |
| CN108280099A (zh) * | 2017-01-11 | 2018-07-13 | 广州市动景计算机科技有限公司 | 数据字典管理方法、装置及服务器 |
-
2020
- 2020-02-28 CN CN202010131429.XA patent/CN111193752A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070096953A1 (en) * | 2005-10-31 | 2007-05-03 | Fujitsu Limited | Data compression method and compressed data transmitting method |
| US20140172806A1 (en) * | 2012-12-19 | 2014-06-19 | Salesforce.Com, Inc. | Systems, methods, and apparatuses for implementing data masking via compression dictionaries |
| US9973597B1 (en) * | 2014-12-10 | 2018-05-15 | Amazon Technologies, Inc. | Differential dictionary compression of network-accessible content |
| CN108280099A (zh) * | 2017-01-11 | 2018-07-13 | 广州市动景计算机科技有限公司 | 数据字典管理方法、装置及服务器 |
| CN107645538A (zh) * | 2017-08-14 | 2018-01-30 | 阿里巴巴集团控股有限公司 | 提供动态压缩字典的方法及装置和电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 吕佳佳: "《面向 PLC 物联网应用的 XML 实时数据压缩方法研究》", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111782660A (zh) * | 2020-07-17 | 2020-10-16 | 支付宝(杭州)信息技术有限公司 | 基于键值存储的数据压缩的方法和系统 |
| WO2022095636A1 (zh) * | 2020-11-03 | 2022-05-12 | 大唐移动通信设备有限公司 | 一种进行数据压缩的方法和装置及设备 |
| CN113518088A (zh) * | 2021-07-12 | 2021-10-19 | 北京百度网讯科技有限公司 | 数据处理方法、装置、服务器、客户端和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111193752A (zh) | 一种数据压缩的方法、装置、压缩服务器和存储介质 | |
| CN101540799B (zh) | 一种移动终端软件升级方法 | |
| CN108848060B (zh) | 一种多媒体文件处理方法、处理系统及计算机可读存储介质 | |
| US20130318208A1 (en) | Dynamic package creation for predictive page load optimization | |
| CN110413650B (zh) | 一种业务数据的处理方法、装置、设备和存储介质 | |
| WO2020108544A1 (zh) | 同步缓存数据的方法、装置和系统 | |
| CN111159233B (zh) | 分布式缓存方法、系统、计算机设备以及存储介质 | |
| CN111225010A (zh) | 数据处理方法、数据处理系统以及装置 | |
| US11974193B2 (en) | Data processing method and apparatus, server, and computer-readable storage medium | |
| CN111381749A (zh) | 一种图像显示和处理方法、装置、设备和存储介质 | |
| CN102724231A (zh) | 一种资源下载的方法、服务器及用户终端 | |
| CN106850273B (zh) | 服务器及其流媒体服务提供方法 | |
| CN110334076B (zh) | 数据处理方法、系统、服务器和装置 | |
| CN111193789B (zh) | 订阅信息推送方法、装置、计算机设备和可读存储介质 | |
| CN113783913A (zh) | 一种消息推送管理方法和装置 | |
| WO2020134865A1 (zh) | 一种交互数据分发控制方法、装置、电子设备及存储介质 | |
| CN114679602A (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
| CN108629039B (zh) | 一种数据处理方法及装置 | |
| CN110311754B (zh) | 一种数据的接收方法、装置、存储介质及电子设备 | |
| CN110865845A (zh) | 提高接口访问效率的方法、存储介质 | |
| CN113905248A (zh) | 直播视频数据传输方法、装置、设备以及存储介质 | |
| CN114221925A (zh) | 消息推送方法、装置、电子设备及存储介质 | |
| CN112565818A (zh) | 二三维一体化的操作站平台构建方法和电子设备 | |
| CN114363640B (zh) | 数据存储方法、装置及系统 | |
| CN111143161A (zh) | 日志文件的处理方法、装置、存储介质和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200522 |
|
| RJ01 | Rejection of invention patent application after publication |