CN109981111A - 一种数据压缩编码的方法、装置及存储电子设备 - Google Patents

Abstract

本发明涉及一种数据压缩编码的方法、装置及存储电子设备，本发明通过数据压缩编码处理，实现了按对按时间序列排布的批量数据进行压缩编码的过程。通过统计参数推算概率再构建码表的方式，方便计算，易于机器实现。跟现有技术相比，仅需要将统计参数与编码后的信息一起传输，不用传输码表。在实现无损压缩的同时，有效的减少了数据量，极大的提高的数据压缩编码、传输的效率。

Description

一种数据压缩编码的方法、装置及存储电子设备

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据压缩编码的方法、装置及存储电子设备。

背景技术

随着社会的发展，从事证券交易相关的公司越来越多，随着金融投资策略研究的深入，及时获取准确相关行情及交易数据是这些公司的基本需求。而证券交易过程中，产生的数据体积比较庞大，并随着交易的进行不断增加，需要对交易过程中产生的大量数据进行压缩，以方便存储、处理和传输。现有技术中，虽然有针对证券交易数据进行压缩处理的技术，如申请ZL201910021307.2中提到的数据压缩存储处理装置及方法，但是通常仅针对行情数据进行压缩处理，并未从数据的编码、传输、解码过程，全方位的提高效率。且并且由于算法效率较低，加载速度受限，实时性不够高。对于交易速度要求高，数据量大的机构公司来说，依然不能满足要求。

数字信号的熵压缩技术在本领域是熟知的。熵编码是一种无损的压缩方式，在编码过程中按熵原理不丢失任何信息。信息熵为信源的平均信息量，即不确定性的度量。根据熵编码理论，一个事件的信息量是这个事件发生的概率的负对数，信息熵是信息量的期望，因此，对定义在字母表[σ]符串S来说，S的信息熵定义为其中P为第个字符在S中出现的概率，熵编码的任务就是通过对S的字母表[σ]进行编码，从而使得S的存储中间接近信息熵。

常见的熵编码有：香农(Shannon)编码、霍夫曼(Huffman)编码和算术编码(arithmetic coding)。不同的编码方式构造码表的方式不同，编码和解码的效率的也不同。如经典的教科书式熵编码是霍夫曼编码，通过构造霍夫曼树来实现的前缀编码。算术码是通过算术运算将字符串映射为[0,1]之间的小数来实现的编码。霍夫曼编码的优点在于只需要进行位运算，编码和解码的速度都比较快；缺点则是对于每一个字符只能通过整数个比特编码去近似，这样无法做到编码后的空间使用接近信息熵。算术码可以做到任意的精度去逼近信息熵，但是由于需要进行反复的浮点数加法和乘法运算，相对霍夫曼的位运算，编码和解码的速度都比较低。

而本申请涉及的证券交易过程产生的数据，往往是按时间序列排布的多种数据类型组成的混合数据流，且具有同种类型的批量数据的数据量较大，但同种之前变化不大的特点。针对这一类型数据，如果采用上述常规编码算法的通过字符频率算出码表再进行熵编码，往往效率较低。并且通过实践发现，如果采用常规的熵编码算法对上述数据进行编码，传输过程中附上码表一起传输，在压缩数据总体量较小的情况下，甚至会出现编码压缩后的数量比编码压缩前大的情况。

发明内容

本发明为克服上述的不足之处，目的在于提供一种高效的数据压缩编码的方法、装置及存储电子设备，能处理按时间序列排布的批量数据，该批量数据通常是同一批数据类型相同，分布类似的数据周期性反复出现，该数据可以是交易过程中获取或产生的一系列数据混合数据流，包括股票、期货、期权等二级市场所有交易行情数据，开盘时各个股票信息、品种信息，盘中行情数据、逐笔下单和成交数据，日内交易系统内部的资金、仓位信息、下单和交易回报等内部系统协议等多种数据；也可以是其他时间序列批量出现的数据，比如阵列传感器产生的数据，服务器集群的监控数据。针对这些数据同种类型的批量数据的数据量较大，但同种数据之前变化不大的特点，按照时间序列对同种类型数据做差得到δ，并根据δ的分布概率，推算码表，最后传输码表参数的方法，在实现无损压缩的同时，有效的减少了数据量，极大的提高的数据压缩编码、传输的效率，在实践中，为系统的实时性提供保障。

本发明是通过以下技术方案达到上述目的：一种数据压缩编码装置，包括数据输入单元、数据预处理单元、做差压缩单元、信息片段拆分单元、信息片段统计单元、概率推算与修正单元A、码表构建单元A、编码器；所述数据预处理单元，用于对获取的数据进行预处理，使之符合压缩编码标准，包括浮点取整；所述做差压缩单元，根据不同的数据类型，按预设方式对数据做差得差值δ，并通过差值δ对数据进行替换；所述信息片段拆分单元，能够实现将差值δ进行整理和拆分，分别放入标准化长度的存储单位中。所述信息片段统计单元，能够实现从信息片段进行统计计算，获取同种数据类型拆分后的信息片段的相关统计参数。所述概率推算与修正单元A，用于根据所述信息片段统计单元发送过来的信息片段统计参数推算具体的信息片段的概率。所述码表构建单元A，通过推算与修正后的概率构建编码的码表。所述编码器，用于获取信息片段作为信源信号输入编码器，通过码表构建单元A构建的码表对信息片段进行编码。

作为优选，还包括解码端，编码端和解码端之间通过接口与存储/传输媒介进行信息交换；编码端具有接口A能够实现将统计参数与编码信号一起打包形成编码信号包，再通过存储/传输媒介进行写入/发送编码信号包；解码端包括接口B、解码器、概率推算与修正单元B、码表构建单元B、数据还原单元；所述接口B被配置为可以通过存储/传输媒介读取/接收编码信号包，并从编码信号中分离出编码信号以及对应的用于构建码表的统计参数；所述概率推算与修正单元B1，与编码端相同，用于通过统计参数推算具体的信息片段的概率。所述码表构建单元B，通过推算后的概率构建熵编码的码表，构建码表的方式与编码端构建码表的方式相同。所述解码器，用于根据码表构建单元B的构建的码表，对接收端口传输过来的编码后的信号进行解码。所述数据还原单元，被配置为能够实现从解码器中获取将解码后的信息片段还原为原始数据。

作为优选，还包括数据输入单元，从数据来源处获取需要编码的原始数据，所述数据为证券市场交易过程中产生的、时间序列的批量的混合数据流，也可以是非交易相关的其他时间序列批量出现的数据，比如阵列传感器产生的数据，服务器集群的监控数据等。

作为优选，标准化长度可以根据需要选取4bit、8bit或者其他存储长度。标准化长度中留一位作为标记位，用来标记δ数据的边界。

作为优选，所述信息片段的概率可以通过正态分布的概率密度函数在该区间上的积分来推算。

作为优选，统计参数可以为期望μ和标准差σ，优选的，做差基准选择得当的情况下，期望可以为0，统计参数为信息片段的选标准差σ。

作为优选，所述信息片段的统计参数还包括差值δ中0的个数，用于概率推算过程中对信息片段的概率进行修正，并对概率密度函数进行归一化运算，编码完成后，将0个数与信息片段统计参数一起打包传输。

本发明还提供一种数据压缩编码方法，包括以下步骤：

(1)数据预处理，包括浮点取整，将符号位单独存放；

(2)对按预设方式对选定基准，并数据做差，得到差值δ，用差值δ替换原数据；

(3)按照标准化长度对δ进行拆分，得到信息片段；

(4)对信息片段统计，获取信息片段的统计参数；

(5)通过统计参数计算得到概率；

(6)由概率推算码表；

(7)通过码表对信息片段进行编码。

作为优选，在数据预处理步骤前，还需要获取进行处理的数据，所述数据为按时间序列排布的批量的混合数据流；编码后的信息片段与统计参数一起打包，再通过存储/传输媒介进行写入/发送编码信号包；解码端读取/接收编码信号包后，分离出编码后的信号以及对应的用于构建码表的统计参数，统计参数推算具体的信息片段的概率，并通过概率构建码表，对编码信号进行解码，最后将数据进行还原，其中概率推算和码表构建的方式与编码端相同。

作为优选，对数据做差得到差值δ的方法为：首先根据数据类型确定基准，所述基准可以为以起始时间点的数据作为基准、以取数据样本的均值为基准、以数据样本预测值为基准、以数据与同类型相邻数据值之差作为基准；其次将原数据与基准做差，得到差值δ，再通过δ替换原数据。

作为优选，所述步骤(3)按照标准化长度对δ进行拆分，是指将差值δ放入标准化长度的存储单位中，长度不足的在前面补0，超过标准化长度的δ，拆分成数个标准化的长度的信息片段；所述标准化长度是处理后的δ占用的最小存储单位的bit数，可以根据需要可以取4bit、8bit或者其他；其中，标准化长度中留一位作为标记位，用来标记δ数据的边界。

作为优选，信息片段的概率可以通过正态分布的概率密度函数在该区间上的积分来推算；所述统计参数可以为期望μ和标准差σ，优选的，做差基准选择得当的情况下，期望可以为0，统计参数为信息片段的选标准差σ。

作为优选，所述信息片段的统计参数还包括差值δ中0的个数，用于概率推算过程中对信息片段的概率进行修正，并对概率密度函数进行归一化运算，编码完成后，将0个数与信息片段统计参数一起打包传输。

作为优选，编码方式采用熵编码；码表的构建方式可以采用霍夫曼编码中构造霍夫曼树来实现的编码，也可以使用算术编码中通过[0,1]映射来实现。优选地，采用霍夫曼编码的方式构建码表。

本发明还提供一种电子设备，包括存储器、处理器、总线以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序实现所述数据压缩编码方法时的步骤。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有一个或多个计算机程序，其特征在于：所述一个或多个程序当被包括多个应用程序的电子设备执行时，实现所述数据压缩编码方法的步骤。

本发明的有益效果在于：本发明通过数据压缩编码处理，实现了按对按时间序列排布的批量数据进行压缩编码的过程。通过统计参数推算概率再构建码表的方式，方便计算，易于机器实现。跟现有技术相比，仅需要将统计参数与编码后的信息一起传输，不用传输码表。在实现无损压缩的同时，有效的减少了数据量，极大的提高的数据压缩编码、传输的效率。

附图说明

图1是本发明较佳实施例提供数据压缩编码装置方框示意图；

图2是本发明较佳实施例提供的数据压缩编码处理方法流程图；

图3是本发明较佳实施例提供的数据压缩存储电子设备的模块图。

具体实施方式

下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：

实施例：在本实施例中，应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。在说明书和权利要求书中，术语“包括”和“包含”以开放的方式实用并因此被解释为是指“包括，但不限于……”。另外，术语“数据类型”，可以指本发明所述系统涉及的所有不同的数据结构。包括股票、期货、期权等二级市场所有交易行情数据，开盘时各个股票信息、品种信息，盘中行情数据、逐笔下单和成交数据，日内交易系统内部的资金、仓位信息、下单和交易回报等内部系统协议等也可以包括非证券交易类型数据，如阵列传感器产生的数据，服务器集群的监控数据。术语“标准化长度”处理后数据占用的最小存储单位的bit数，根据需要可以为4bit、8bit或者其他存储长度。术语“信息片段”，指求得数据δ后，通过整理和拆分，将δ拆分为标准化长度的数据信息片段，主要操作为长度不足的在前面补0，超过标准化长度的δ，拆分成多个标准化的长度的信息片段。

如图1所示是本发明较佳实施例提供的数据压缩编码装置的方框示意图，本发明提供一种数据压编码装置，包括编码端101和解码端103，编码端101和解码端103之间通过存储/传输媒介102进行信息交换。其中，编码端101包括数据输入单元104、数据预处理单元105、做差压缩单元106、信息片段拆分单元107、信息片段统计单元108、概率推算与修正单元A109、码表构建单元A110、编码器112、接口A111；解码端103包括接口B113、解码器116、概率推算与修正单元B114、码表构建单元B115、数据还原单元117、数据输出118。

所述数据输入单元104，是指从数据来源处获取需要编码的原始数据，存放在内存中，进行下一步处理。

在一个具体的实施例中，所述数据来源包括股票行情服务器、券商柜台服务器、指令交易服务器、交易系统客户端及其他内部系统，也可以包括其他非证券交易的设备、监控、传感器等。

在一个具体的实施例中，所述原始数据可以为股票、期货、期权等二级市场所有交易行情，包括开盘时各个股票、品种信息，盘中行情数据、逐笔下单和成交数据，日内交易系统内部的资金、仓位信息、下单和交易回报等内部系统协议组成的按时间序列排布的混合数据流。也可以是其他时间序列批量出现的数据，比如阵列传感器产生的数据，服务器集群的监控数据等。数据具有同种类型批量数据量较大，但同种数据之间变化不大的特点。

所述数据预处理单元105，对数据输入单元获取的数据进行预处理，使之符合本发明中数据压缩编码的处理标准，包括数据对于浮点数取整形，并将对应的浮点位单独存放，并同样进行后续处理。

所述做差压缩单元106，即实现对同种数据类型，取一数据值为基准，通过同种类型原始数据与该基准分别做差得到δ，再通过差值δ对原数据进行替换，实现数据量的极大压缩。

在一个具体实施例中，由于数据为多种数据类的组成的混合数据流，针对不同的类型的数据特点，基准选择的方式也不同。对同种批量按时间序列排布的数据，选择起始时间点的数据作为基准，对连续变化的数据可以取数据样本的均值，或者取数据样本预测值为基准。对一些规律变化的数据，也可以将数据与同类型相邻数据值之差作为基准。

在一个具体实施例中，与基准做差的数据可以是不同数据类型同一字段数据，比如不同结构体的时间字段可以直接互相做差。也可以是不同数据类型不同但是相关的字段数据。

在一个具体实施例中，具体做差取δ的方式可以根据不同数据类型采用不同的做差方式，再通过δ替换数据本身。

所述信息片段拆分单元107，用于将δ进行整理和拆分，分别放入标准化长度的存储单位中。通过信息片段统计单元的统计后，将拆分后的信息片段存入编码器中准备进行编码。长度不足的在前面补0，超过标准化长度的δ，拆分成数个标准化的长度的信息片段。所述标准化长度，可以是处理后的δ占用的最小存储单位的bit数。

在一个具体的实施例中，标准化长度可以根据需要可以取4bit、8bit或者其他存储长度。

在一个具体的实施例中，标准化长度中留一位作为标记位，用来标记原δ数据的边界。通过标记位可以区分δ拆分片段的情况，在数据还原的时候能通过标记位确定标记该信息片段是否是需要与后一信息片段拼接。

在一个具体的实施例中，将0开头的标记位作为特殊标记，用于表示该原始数据变为0的情况，如仓位清0。由于在处理的混合数据流中，该情况出现较为频繁，该特殊标记位的使用可以有效的减少数据量。

所述信息片段统计单元108，对信息片段拆分单元进行统计计算，用于计算同种数据类型拆分后的信息片段的相关统计参数，并将该统计参数发送到接口A。

所述概率推算与修正单元A109，用于根据信息片段统计单元发送过来的信息片段统计参数推算具体的信息片段的概率，并将该概率用于码表构建。

在一个具体的实施例中，通过信息片段的概率可以通过概率密度函数在该区间上的积分来求得。即

在一个具体的实施例中，由于本发明待处理的数据的特点，可以推算得到信息片段基本符合正态分布规律，这一点在实践中也得到验证。因此采用正态分布的概率密度函数

在一个具体的实施例中，信息片段的统计参数可以为期望μ和方差σ²。

在一个具体的实施例中，在做差基准选择得当的情况下，期望可以为0。因此只需要计算并传输δ的标准差σ。

在一个具体的实施例中，在这类数据中，由于δ中0的个数较多，为了使得通过概率密度函数推算的概率更符合实际，需要对概率进行修正。其方法为，在信息片段统计单元单独统计0的个数，并将0的个数与统计参数一起传输。并在概率推算与修正单元的概率推算中考虑0的个数对概率进行修正，并进行概率密度函数的归一化运算，即使得

所述码表构建单元A110，通过推算与修正后的概率构建熵编码的码表。

在一个具体的实施例中，码表的构建方式可以采用霍夫曼编码中构造霍夫曼树来实现的编码，也可以使用算术编码中通过[0,1]映射来实现。优选地，采用霍夫曼编码的方式构建码表。

所述编码器112，将信息片段拆分单元发送的信息片段作为信源信号输入编码器，通过码表构建单元A构建的码表对其进行编码。

码表构建与编码方式均属于本领域通用的常规技术，在此不赘述。

所述接口A111，接收信息片段统计单元发送过来的统计参数和δ中0的个数，与编码信号一起打包形成编码信号包。再通过存储/传输媒介进行写入/发送编码信号包。

所述接口B113，被配置为可以通过存储/传输媒介读取/接收编码信号包。

本发明的所述编码信号包可以存储在数字存储介质上，或者可以传输的在传输介质。

在一个具体实施例中，所述编码信号包可以存储在数字存储介质上。具体地，接口A可以通过I/O口将编码信号包写入数字存储介质上。接口B可以通过I/O口将编码信号包从数字存储介质中读取出来。

具体地，所述存储介质为现有技术中的数字存储介质，例如RAM、ROM、PROM、EPROM、EEPROM、闪存、硬盘、软盘、DVD、蓝光盘、CD等。

在一个具体实施例中，所述编码信息包可以通过传输媒介进行传输。具体地，接口A可以通过传输介质与远程计算机连接，将编码信息包发送端解码端的接口B。

具体地，传输介质可以为无线传输介质，或有线传输，比如互联网或者专线。

在一个具体实施例中，接口B还实现从接受/写入的编码信号包中分离出编码信号以及对应的用于构建码表的统计参数和δ中0的个数。并将编码信号传入解码器准备解码，将统计参数和δ中0的个数传入概率推算与修正单元B。

所述概率推算与修正单元B114，与编码端相同，用于通过发送过来的信息片段统计参数推算具体的信息片段的概率，并将该概率用于码表构建。

在一个具体的实施例中，通过信息片段的概率可以通过概率密度函数在该区间上的积分来求得。即

在一个具体的实施例中，跟编码端相同，采用正态分布的概率密度函数

在一个具体的实施例中，信息片段的统计参数可以为期望μ和方差σ²。

在一个具体的实施例中，在做差基准选择得当的情况下，期望可以为0。因此只需要接受δ的标准差σ并进行计算。

在一个具体的实施例中，获取传输过来的δ中0的个数，并在概率推算与修正单元的概率推算中对概率进行修正，并进行概率密度函数的归一化运算，即使得

所述码表构建单元B115，通过推算与修正后的概率构建熵编码的码表，构建码表的方式与编码端构建码表的方式相同。

所述解码器116，用于根据码表构建单元B的构建的码表，对接口B处编码后的信号进行解码。熵编码解码的方式在本领域均属于常规的手段。

所述数据还原单元117，被配置为能够实现从解码器中获取将解码后的信息片段还原为原始数据。

在一个具体实施例中，数据还原单元能够实现根据标记位标记的边界，将信息片段重新拼接得到δ。

在一个具体实施例中，还可以包括，得到δ以后，再在基准将δ加上去，还原原始数据等步骤。

所述数据输出118，能够实现将还原后的数据输出进一步利用。

可以理解的是，上述构建信息片段的具体过程，信息片段的大小，概率计算及编码的具体方法，仅仅是一种示例性的方式，本领域技术人员还可以采用其他方式来实现，本发明的实施例对此不作限定。

上述装置能够实现数据的压缩编码，在无损压缩的前提下，有效的减少数据量，提高传输处理效率。在该装置中，通过δ的标准差推算概率，虽然通过推算概率构建的不是最优的信息熵，但是针对本发明所处理的批量的同种类型之前变化不大的情况，通过本发明的装置的处理能实现通过标准差的传输代替码表，减少传输量，极大的提高压缩和传输效率，减少了数据庞大造成的传输及加载的延时。

基于同一发明构思，本发明还提供一种数据压缩编码方法，包括如下步骤：

需要获取进行处理的数据，所述数据为按时间序列排布的批量的混合数据流；

数据预处理，包括浮点取整，将符号位单独存放。

对按预设方式对选定基准，并数据做差，得到差值δ，用差值δ替换原数据。

按照标准化长度对δ进行拆分，得到信息片段。

对信息片段统计，获取信息片段的统计参数。

通过统计参数计算得到概率。

由概率推算码表，并通过码表对信息片段进行编码。

请参阅图2所示的数据压缩存储处理方法流程图，是本发明较佳实施例提供的数据压缩存储方法的流程图，本发明实施例数据压缩存储方法包括以下步骤：

S201待处理数据获取。获取需要进行压缩编码的数据，并将数据存储在内存中，进行下一步处理。

通过数据输入模块，从数据来源处获取数据。在一个实施例中，所述数据来源包括股票行情服务器、券商柜台服务器、指令交易服务器、交易系统客户端及其他内部系统，也可以包括其他非证券交易的设备、监控、传感器等。

在一个实施例中，所述数据可以为股票、期货、期权等二级市场所有交易行情，包括开盘时各个股票、品种信息，盘中行情数据、逐笔下单和成交数据，日内交易系统内部的资金、仓位信息、下单和交易回报等内部系统协议组成的混合数据流。也可以是其他时间序列批量出现的数据，比如阵列传感器产生的数据，服务器集群的监控数据等。

通常情况下，针对不同的数据类型，数据产生的频率和时间单位都是不相同的。在交易时间，盘中行情、逐笔和成交数据等数据为实时数据，股票、期货等历史K线数据以“日”为单位。下单、成交数量、交易回报等在交易时间内实时传输处理。传感器、监控数据，通常采用设备内设置的单位时间。

S202数据预处理。按照预设的预处理方式，对数据进行预处理，得到预处理后的标准待处理数据。

在一个具体实施例中，预处理可以包括数据浮点取整。使得预处理后的数据为整型，便于后期编码压缩。其中，浮点位信息单独进行处理和存放。

S203对数据做差得δ。对按预设方式对选定基准，并将数据与基准做差，得到差值δ。

在一个具体的实施例中，对数据做差得δ的方法为：首先确定数据的类型。

根据数据类型分配处理方式。根据混合数据流不同的类型，确定不同的处理方式，分配不同的做差处理算法。

根据数据及字段类型，确定做差的基准。

在一个具体实施例中，针对不同的类型的数据特点，基准选择的方式也不同。当数据连续变化，相邻价格之间差值不会太大的数量的类型可以选取传输的一个具体数据或取样本的均值为第一基准，比如股票交易行情分时数据的价格，逐笔下单的价格等。对同种批量按时间序列排布的数据，选择起始时间点的数据作为第一基准；针对交易行情分时数据的价格取一个特定时间对应的行情分时数据价格或一段时间内价格的均值为第一基准，针对某一时段内逐笔下单价格，取特定一笔下单价格或一段时间内下单价格的均值为的第一基准。

在一个具体实施例中，对于一些按规律出现但是存在部分连续部分跳变的数据，可以采用以数据样本的预测值为第一基准。在一个实施例中，针对股票代码，由于持仓的原因或者股票代码本身可能是部分连续部分跳变的情况，比如股票代码600010，600011，600012之后就是600015，相应地，针对一段时间的行情数据，其股票代码也是按一定规律出现的，因此，可以根据股票代码出现的规律对下一个出现的股票代码数据进行预测，以预测值为第一基准。

在一个具体实施例中，将待压缩数据项与第一基准做差，得到第一差值。待处理数据可以为相同数据类型同一字段的数据，可以是不同数据类型同一字段数据，也可以是不同数据类型不同但是相关的字段数据。其中，不同结构体的时间字段可以直接互相做差。也可以是不同数据类型不同但是相关的字段数据，通过对应关系表的维护实现，比如成交回报的成交数量字段可以跟对应下单回报的下单数量做差。

在一个具体实施例中，对于规律变化的数据，比如时间信息，可以采用第二基准的方式，将选取数据与同类型同字段的前一数据值之差作为第二基准，待处理数据与同类型同字段的相邻前一数据值之差与第二基准做差，得到第二差值。比如可以取一特定时间字段与其前一数据时间字段做差，得到第二基准。将待压缩数据时间字段与当前待压缩数据时间字段的前一时间字段的差与第二基准做差，得到第二差值。

在一个具体实施例中，将第一差值、第二差值替换待处理数据。由此实现通过差值δ替换数据。

S204δ拆分并标记边界。用于将差值δ进行整理和拆分，分别放入标准化长度的存储单位中。通过信息片段统计单元的统计后，将拆分后的信息片段存入编码器中准备进行编码。长度不足的在前面补0，超过标准化长度的δ，拆分成数个标准化的长度的信息片段。所述标准化长度，可以是处理后的δ占用的最小存储单位的bit数。

在一个具体的实施例中，标准化长度可以根据需要可以取4bit、8bit或者其他存储长度。

在一个具体的实施例中，标准化长度中留一位作为标记位，用来标记原δ数据的边界。通过标记位可以区分δ拆分片段的情况，在数据还原的时候能通过标记位确定标记该信息片段是否是需要与后一信息片段拼接。

在一个具体的实施例中，将0开头的标记位作为特殊标记，用于表示该原始数据变为0的情况，如仓位清0。由于在处理的混合数据流中，该情况出现较为频繁，该特殊标记位的使用可以有效的减少数据量。

S205获取信息片段的统计参数。对得到的信息片段进行统计，用于计算同种数据类型拆分后的信息片段的相关统计参数。

S206计算得到概率，并修正。通过统计参数计算得到概率，并修正。根据信息片段统计单元发送过来的信息片段统计参数推算具体的信息片段的概率，并将该概率用于码表构建。

在一个具体的实施例中，通过信息片段的概率可以通过概率密度函数在该区间上的积分来求得。即

在一个具体的实施例中，由于本发明待处理的数据的特点，可以推算得到信息片段基本符合正态分布规律，这一点在实践中也得到验证。。因此采用正态分布的概率密度函数

在一个具体的实施例中，信息片段的统计参数可以为期望μ和方差σ²。

在一个具体的实施例中，在做差基准选择得当的情况下，期望可以为0。因此只需要计算并传输δ的标准差σ。

在一个具体的实施例中，在这类数据中，由于δ中0的个数较多，为了使得通过概率密度函数推算的概率更符合实际，需要对概率进行修正。其方法为，在信息片段统计单元单独统计0的个数，并将0的个数与统计参数一起传输。并在概率推算与修正单元的概率推算中使用0个数对概率进行修正并进行概率密度函数的归一化运算，即使得

S207构建码表，通过推算与修正后的概率构建熵编码的码表。

在一个具体的实施例中，码表的构建方式可以采用霍夫曼编码中构造霍夫曼树来实现的编码，也可以使用算术编码中通过[0,1]映射来实现。优选地，采用霍夫曼编码的方式构建码表。

S208通过码表对信息片段进行编码。将信息片段拆分单元发送的信息片段作为信源信号，通过编码器，基于码表对信息片段进行编码。

码表构建与编码方式均属于本领域通用的常规技术，在此不赘述。

S209编码后的信息片段与统计参数一起打包。接收信息片段统计单元发送过来的统计参数和δ中0的个数，与编码信号一起打包形成编码信号包。再通过存储/传输媒介进行写入/发送编码信号包。

在一个实施例中，还具有解码端接口，可以通过存储/传输媒介读取/接收编码信号包。

本发明的所述编码信号包可以存储在数字存储介质上，或者可以传输的在传输介质。

在一个具体实施例中，所述编码信号包可以存储在数字存储介质上，具体地，编码端接口通过I/O口将编码信号包写入数字存储介质，解码端接口可以通过I/O口将编码信号包从数字存储介质中读取出来。

具体地，所述存储介质为现有技术中的数字存储介质，例如RAM、ROM、PROM、EPROM、EEPROM、闪存、硬盘、软盘、DVD、蓝光盘、CD等。

在一个具体实施例中，所述编码信息包可以通过传输媒介进行传输，编码端接口可以通过传输介质与远程计算机连接，将编码信息包发送端解码端的解码端接口。

具体地，传输介质可以为无线传输介质，或有线传输，比如互联网或者专线。

在一个具体实施例中，解码端接口从读取接收到的数据中分离出编码后的信号以及对应的用于构建码表的统计参数和δ中0的个数。并将编码后的信号传入解码器准备解码，将统计参数和δ中0的个数用于概率的推算与修正。

在一个具体实施例中，从发送过来的信息片段统计参数推算具体的信息片段的概率，并将该概率用于码表构建。

在一个具体的实施例中，通过信息片段的概率可以通过概率密度函数在该区间上的积分来求得。即

在一个具体的实施例中，跟编码端相同，采用正态分布的概率密度函数

在一个具体的实施例中，信息片段的统计参数可以为期望μ和方差σ²。

在一个具体的实施例中，在做差基准选择得当的情况下，期望可以为0。因此只需要接受δ的标准差σ并进行计算。

在一个具体的实施例中，获取传输过来的δ中0的个数对概率进行修正，并在概率推算中进行概率密度函数的归一化运算，即使得

通过推算与修正后的概率构建熵编码的码表，构建码表的方式与编码端构建码表的方式相同。

根据码表构建单元的构建的码表，对接收端口传输过来的编码后的信号进行解码。其中，熵编码解码的方式在本领域均属于常规的手段。

从解码器中获取将解码后的信息片段还原原始数据。

在一个具体实施例中，数据还原单元能够实现根据标记位标记的边界，将信息片段重新拼接得到δ。

在一个具体实施例中，还可以包括，得到δ以后，再在基准将δ加上去，还原原始数据等步骤。

将还原后的数据输出进一步利用。

图3出示的是本发明实施例提供的一种电子设备的模块图。在硬件层面，该电子设备包括处理器，可选地，还包括网络接口、存储模块和其他外设接口。数据压缩、编码方法可以通过在该电子设备实现。当然，该电子设备还可能包括其他业务所需要的硬件。

存储器、处理器、网络接口、其他外设接口各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过通讯总线或信号线实现电性连接。该通讯总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(Peripheral Component Interconnect，外设部件互连标准)总线、QPI(QuickPathInterconnect，快速通道互联)或EISA(Extended Industry Standard Architecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

所述数据压缩编码设备包括至少一个可以软件或固件(firmware)的形式存储于存储模块中或固化一个终端设备的操作系统(operating system，OS)中的软件功能模块。存储模块可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。存储模块用于存放程序，所述处理器用于执行存储模块中存储的可执行程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储模块可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成网络覆盖性能表征装置。处理器，执行存储模块所存放的程序，并具体用于执行以下操作：

需要获取进行处理的数据，所述数据为按时间序列排布的批量的混合数据流；

数据预处理，包括浮点取整，将符号位单独存放；

对按预设方式对选定基准，并数据做差，得到差值δ，用差值δ替换原数据；

按照标准化长度对δ进行拆分，得到信息片段；

对信息片段统计，获取信息片段的统计参数；

通过统计参数计算得到概率；

由概率推算码表，并通过码表对信息片段进行编码。

处理器可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

所述网络接口用于网络专线通讯的输入/输出装置接口，使得该电子设备能够实现与包括股票行情服务器、券商柜台服务器、指令交易服务器、交易系统客户端及其他电子设备之间实现数据传输。

所述外设接口将各种外设输入/输入装置耦合至处理器以及存储器。在一些实施例中，外设接口，处理器以及存储控制器可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有一个或多个计算机程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，实现如下步骤：

需要获取进行处理的数据，所述数据为按时间序列排布的批量的混合数据流；

数据预处理，包括浮点取整，将符号位单独存放；

对按预设方式对选定基准，并数据做差，得到差值δ，用差值δ替换原数据；

按照标准化长度对δ进行拆分，得到信息片段；

对信息片段统计，获取信息片段的统计参数；

通过统计参数计算得到概率；

由概率推算码表，并通过码表对信息片段进行编码。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

以上的所述乃是本发明的具体实施例及所运用的技术原理，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的保护范围。

Claims (16)

1.一种数据压缩编码装置，其特征在于，编码端包括数据输入单元、数据预处理单元、做差压缩单元、信息片段拆分单元、信息片段统计单元、概率推算与修正单元A、码表构建单元A、编码器；

所述数据预处理单元，用于对获取的数据进行预处理，使之符合压缩编码标准，包括浮点取整；

所述做差压缩单元，根据不同的数据类型，按预设方式对数据做差得差值δ，并通过差值δ对数据进行替换；

所述信息片段拆分单元，能够实现将差值δ进行整理和拆分，分别放入标准化长度的存储单位中；

所述信息片段统计单元，能够实现从信息片段进行统计计算，获取同种数据类型拆分后的信息片段的相关统计参数；

所述概率推算与修正单元A，用于根据所述信息片段统计单元发送过来的信息片段统计参数推算具体的信息片段的概率；

所述码表构建单元A，通过推算与修正后的概率构建编码的码表；

所述编码器，用于获取信息片段作为信源信号输入编码器，通过码表构建单元A构建的码表对信息片段进行编码。

2.根据权利要求1所述的一种数据压缩编码装置，其特征在于：还包括解码端，编码端和解码端之间通过接口与存储/传输媒介进行信息交换；

编码端具有接口A，能够实现将统计参数与编码信号一起打包形成编码信号包，再通过存储/传输媒介进行写入/发送编码信号包；

解码端包括接口B、解码器、概率推算与修正单元B、码表构建单元B、数据还原单元；所述接口B被配置为可以通过存储/传输媒介读取/接收编码信号包，并从编码信号中分离出编码信号以及对应的用于构建码表的统计参数；所述概率推算与修正单元B，与编码端相同，用于通过统计参数推算具体的信息片段的概率；所述码表构建单元B，通过推算后的概率构建熵编码的码表，构建码表的方式与编码端构建码表的方式相同；

所述解码器，用于根据码表构建单元B的构建的码表，对接收端口传输过来的编码后的信号进行解码；

所述数据还原单元，被配置为能够实现从解码器中获取将解码后的信息片段还原为原始数据。

3.根据权利要求1所述的一种数据压缩编码装置，其特征在于：还包括数据输入单元，从数据来源处获取需要编码的原始数据，所述数据为证券市场交易过程中产生的、时间序列的批量的混合数据流，也可以是非交易相关的其他时间序列批量出现的数据，比如阵列传感器产生的数据，服务器集群的监控数据等。

4.根据权利要求1-3任一项所述的一种数据压缩编码装置，其特征在于：所述的标准化长度可以根据需要选取4bit、8bit或者其他存储长度；标准化长度中留一位作为标记位，用来标记δ数据的边界。

5.根据权利要求1-3任一项所述的一种数据压缩编码装置，其特征在于：所述信息片段的概率可以通过正态分布的概率密度函数在该区间上的积分来推算。

6.根据权利要求1-5任一项所述的一种数据压缩编码装置，其特征在于：所述统计参数可以为期望μ和标准差σ，优选的，做差基准选择得当的情况下，期望可以为0，统计参数为信息片段的选标准差σ。

7.根据权利要求1-6任一项所述的一种数据压缩编码装置，其特征在于：作为优选，所述信息片段的统计参数还包括差值δ中0的个数，用于概率推算过程中对信息片段的概率进行修正，并对概率密度函数进行归一化运算，编码完成后，将0个数与信息片段统计参数一起打包传输。

8.一种数据压缩编码的方法，其特征在于包括以下步骤：

(1)数据预处理，包括浮点取整，将符号位单独存放；

(2)对按预设方式对选定基准，并数据做差，得到差值δ，用差值δ替换原数据；

(3)按照标准化长度对δ进行拆分，得到信息片段；

(4)对信息片段统计，获取信息片段的统计参数；

(5)通过统计参数计算得到概率；

(6)由概率推算码表；

(7)通过码表对信息片段进行编码。

9.根据权利要求8所述的一种数据压缩编码的方法，其特征在于，在数据预处理步骤前，还需要获取进行处理的数据，所述数据为按时间序列排布的批量的混合数据流；编码后的信息片段与统计参数一起打包，再通过存储/传输媒介进行写入/发送编码信号包；解码端读取/接收编码信号包后，分离出编码后的信号以及对应的用于构建码表的统计参数，统计参数推算具体的信息片段的概率，并通过概率构建码表，对编码信号进行解码，最后将数据进行还原，其中概率推算和码表构建的方式与编码端相同。

10.根据权利要求8-9中任一项所述的一种数据压缩编码的方法，其特征在于，对数据做差得到差值δ的方法为：首先根据数据类型确定基准，所述基准可以为以起始时间点的数据作为基准、以取数据样本的均值为基准、以数据样本预测值为基准、以数据与同类型相邻数据值之差作为基准；其次将原数据与基准做差，得到差值δ，再通过δ替换原数据。

11.根据权利要求8-9中任一项所述的一种数据压缩编码的方法，其特征在于，所述步骤(3)按照标准化长度对δ进行拆分，是指将差值δ放入标准化长度的存储单位中，长度不足的在前面补0，超过标准化长度的δ，拆分成数个标准化的长度的信息片段；所述标准化长度是处理后的δ占用的最小存储单位的bit数，可以根据需要可以取4bit、8bit或者其他长度；其中，标准化长度中留一位作为标记位，用来标记δ数据的边界。

12.根据权利要求8-9中任一项所述的一种数据压缩编码的方法，其特征在于，信息片段的概率可以通过正态分布的概率密度函数在该区间上的积分来推算；所述统计参数可以为期望μ和标准差σ，优选的，做差基准选择得当的情况下，期望可以为0，统计参数为信息片段的选标准差σ。

13.根据权利要求8-12中任一项所述的一种数据压缩编码的方法，作为优选，所述信息片段的统计参数还包括差值δ中0的个数，用于概率推算过程中对信息片段的概率进行修正，并对概率密度函数进行归一化运算，编码完成后，将0个数与信息片段统计参数一起打包传输。

14.根据权利要求8-13中任一项所述的一种数据压缩编码的方法，其特征在于，编码方式采用熵编码；码表的构建方式可以采用霍夫曼编码中构造霍夫曼树来实现的编码，也可以使用算术编码中通过[0,1]映射来实现；优选地，采用霍夫曼编码的方式构建码表。

15.一种电子设备，其特征在于，包括存储器、处理器、总线以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求8-14任意一项的步骤。

16.一种计算机可读存储介质，所述的计算机可读存储介质上存储有一个或多个计算机程序，其特征在于：所述一个或多个程序当被包括多个应用程序的电子设备执行时，实现如权利要求8-14任意一项的步骤。