CN104112010B - 一种数据存储方法及装置 - Google Patents

Abstract

本发明适用于高频数据处理领域，提供了一种数据存储方法及装置。所述方法包括：获取交易所的行情数据；将获取的行情数据按照所述行情数据所属的交易所进行拆分，并保留拆分后行情数据中的有效数值；在每个预设间隔时间内，统计所述有效数值的交易价格信息，得到一数据集合；存储所述有效数值中变化后的数据，以及存储所述数据集合中变化后的数据；压缩并存储所述有效数值中没有变化的数据，以及压缩并存储所述数据集合中没有变化的数据。本发明实施例能够节约存储空间。

Description

一种数据存储方法及装置

技术领域

本发明属于高频数据处理领域，尤其涉及一种数据存储方法及装置。

背景技术

高频数据一般指时间间隔较短的证券交易数据。伴随金融投资策略的深入研究，高频数据已是当前金融理论研究的热点之一：比如，围绕高频数据，如何提取市场信息，进行金融市场微观结构分析，如何确定交易时机等。但随着时间的推移，高频数据越积越多，需要的存储成本也越来越大。

目前，主流的高频数据处理方法为：采用Oracle等关系型数据库进行存储，针对不同交易所的数据，按数据类型存储，用户提取数据时开发SQL语句，联合多个表检索需要的字段，组成数据集合应用。但由于采用Oracle数据库存储时，需要保存所有需要的字段，存在大量冗余数据，因此浪费了存储空间，导致存储成本过大。

发明内容

本发明实施例提供了一种数据存储方法及装置，旨在解决现有方法在存储高频数据时浪费存储空间，从而导致存储成本过大的问题。

本发明实施例是这样实现的，一种数据存储方法，所述方法包括下述步骤：

获取交易所的行情数据；

将获取的行情数据按照行情数据所属的交易所进行拆分，并保留拆分后行情数据中的有效数值，所述行情数据中的有效数值包括以下分量：股票代码、交易价格信息、买卖委托信息以及交易量；

在每个预设间隔时间内，统计所述有效数值的交易价格信息的集合，得到一数据集合；

存储所述有效数值中变化后的数据，以及存储所述数据集合中变化后的数据；

压缩并存储所述有效数值中没有变化的数据，以及压缩并存储所述数据集合中没有变化的数据。

本发明实施例的另一目的在于提供一种数据存储装置，所述装置包括：

数据获取单元，用于获取交易所的行情数据；

数据清洗单元，用于将获取的行情数据按照行情数据所属的交易所进行拆分，并保留拆分后行情数据中的有效数值，所述行情数据中的有效数值包括以下分量：股票代码、交易价格信息、买卖委托信息以及交易量；

数据整合单元，用于在每个预设间隔时间内，统计所述有效数值的交易价格信息的集合，得到一数据集合；

数据压缩单元，用于存储所述有效数值中变化后的数据，存储所述数据集合中变化后的数据；用于压缩并存储所述有效数值中没有变化的数据，以及压缩并存储所述数据集合中没有变化的数据。

在本发明实施例中，对获取的行情数据进行清洗，得到行情数据的有效数值，同时，在预设的间隔时间到来时，对行情数据的有效数值进行统计，得到相应的数据集合，再存储有效数值和数据集合中变化的数据，压缩并存储有效数值和数据集合中没有变化的数据。由于在存储行情数据之前，先对获取的行情数据进行清洗，丢弃无高频应用的数据，且在存储数据之前只存储发生变化的数据，因此减少了存储的数据量，减少了存储空间，从而降低了存储成本。

附图说明

图1是本发明第一实施例提供的一种数据存储方法的流程图；

图2是本发明第一实施例提供的一种操作系统目录的结构示意图；

图3是本发明第二实施例提供的一种数据存储装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

图1示出了本发明第一实施例提供的一种数据存储方法的流程图，在本实施例中，对获取的各个交易所的行情明细数据进行清洗、统计、压缩等处理后再存储，详述如下：

步骤S11，获取交易所的行情数据。

该步骤中，获取的行情数据可为多个交易所发出的行情数据。具体地，可从整合了各个交易所行情的行情系统获取。

步骤S12，将获取的行情数据按照行情数据所属的交易所进行拆分，并保留拆分后行情数据中的有效数值，所述行情数据中的有效数值包括以下分量：股票代码、交易价格信息、买卖委托信息以及交易量。

该步骤中，由于获取的行情数据可能是多个交易所发出的，而每个交易所发出的行情数据的格式可能不同，因此需要将获取的行情数据按照对应的交易所进行拆分。拆分后的数据包括有股票代码、交易价格信息、买卖委托信息以及交易量等分量，还可能包括有结算代码或委托信息等分量，由于后续分析将经常用到股票代码、交易价格信息、买卖委托信息以及交易量等分量，这些分量使用频率较高，因此定义上述分量为有效数值，而后续分析没用到的分量定义为无效数值。当然，行情数据中的有效数值还可以包括成交时间、股票名称、成交量、成交额等，此处不作限定。

步骤S13，在每个预设间隔时间内，统计所述有效数值的交易价格信息的集合，得到一数据集合。

该步骤中，预设间隔时间可以设置为1分钟，或者5分钟等，当然，也可以设置为其他间隔时间，此处不作限定。例如，假设预设间隔时间为1分钟时，统计每隔1分钟后行情数据的有效数值中的交易价格信息的集合，由于该集合是每个1分钟的数据集合，因此该集合的数据也称分时数据，

其中，在每个预设间隔时间内，统计所述有效数值中交易价格信息的集合，得到一数据集合的步骤具体包括：

在每个预设间隔时间内，统计同一股票代码的以下至少一种信息：开始价格、上笔价格、最高价格、最低价格、最新成交价格；以统计的信息组成一数据集合。

假设预设间隔时间为1分钟，则在3分钟内，统计股票代码“000750”的开始价格、上笔价格、最高价格、最低价格、最新成交价格、成交量、成交额组成的分时数据如表1所示:

表1：

在表1，每一条数据的时间间隔为1分钟。

步骤S14，存储所述有效数值中变化后的数据，以及存储所述数据集合中变化后的数据。

在一段时间内，行情数据的有效数值中，通常只有部分数据发生变化，例如，每只股票代码不变，可能交易价格保持不变，交易量发生变化，也可能交易价格发生变化，交易量也发生变化。同理，一段时间内的数据集合中也可能只有部分数据发生变化。在该步骤中，采用适流金融信息交换协议FAST方式编码只存储有效数值和数据集合中发生变化的数据。例如，对分时数据，假设000750在一分钟内，交易价格从8.56元变为9元，交易量都为100手，则只存储变化后的交易价格“9”元。

其中，在存储所述数据集合中变化后的数据的步骤时，还包括下述步骤：

判断下一次统计的数据集合的信息的时间间隔与上一次统计的数据集合的信息的时间间隔是否相同，若是，存储当前统计的数据集合的信息，若否，存储下一次统计的数据集合的信息的开始时间。

由于存储了统计的开始时间，且每条数据的时间间隔相同，因此能够确定下一条数据的统计时间。若中间的间隔时间大于2条，则在中间插入一个开始时间，以便节省中间没有数据的存储。例如，假设11:30～13:00之间都没有统计的数据集合，则在存储了11:30统计的数据集合之后，写入下一次统计的数据集合的信息的开始时间，13:00，这样，11:30～13:00之间就不用预留存储空间存储空白数据。

步骤S15，压缩并存储所述有效数值中没有变化的数据，以及压缩并存储所述数据集合中没有变化的数据。

该步骤中，有效数值和数据集合中使用频率低的数据判定为需归档的数据，比如，具有一定年限的有效数值、数据集合的使用概率通常较低，则可对这些数据执行压缩操作。对归档数据压缩时采用7Z压缩技术进行压缩，压缩后再存储。其中，7Z是一种主流高效的压缩格式，它拥有极高的压缩比，因此采用7Z压缩技术压缩后的数据能够极大地减少存储空间。

本发明实施例中，对获取的行情数据进行清洗，得到行情数据的有效数值，同时，在预设的间隔时间到来时，对行情数据的有效数值进行统计，得到相应的数据集合，再存储有效数值和数据集合中变化的数据，压缩并存储有效数值和数据集合中没有变化的数据。由于在存储行情数据之前，先对获取的行情数据进行清洗，丢弃使用频率低的数据，且在存储数据之前只存储发生变化的数据，因此减少了存储的数据量，减少了存储空间，从而降低了存储成本。

作为本发明另一实施例，在所述存储所述有效数值中变化后的数据，以及存储所述数据集合中变化后的数据的步骤之后，包括步骤：

B1、将所述有效数值中变化后的数据存入以股票代码命名的文件中，并存储所述文件，所述文件的存储路径与操作系统目录的相应子目录的存储路径相同；B2、将所述数据集合中变化后的数据存入以股票代码命名的文件中，并存储所述文件，所述文件的存储路径与操作系统目录的相应子目录的存储路径相同。

例如，将所述有效数值中变化后的数据存入以股票代码命名的文件中，并将得到的文件存入操作系统目录的分笔目录下；将所述数据集合中变化后的数据存入以股票代码命名的文件中，并将得到的文件存入操作系统目录的分时目录下。其中，操作系统目录的结构如图2所示，在图2中，仅列出了2个存储服务器，但在实际情况中，可以有多个，此处不作限定。

作为本发明另一实施例，在所述压缩并存储所述有效数值中没有变化的数据，以及压缩并存储所述数据集合中没有变化的数据的步骤之后，包括步骤：

C1、将所述压缩后的所述有效数值中没有变化的数据存入以股票代码命名的文件中，并存储所述文件，所述文件的存储路径与操作系统目录的相应子目录的存储路径相同；C2、将所述压缩后的所述数据集合中没有变化的数据存入以股票代码命名的文件中，并存储所述文件，所述文件的存储路径与操作系统目录的相应子目录的存储路径相同。

例如，将所述压缩后的所述有效数值中没有变化的数据存入以股票代码命名的文件中，并将得到的文件存入操作系统目录的股票代码文件下。

上述步骤B1、B2、C1、C2中，采用二进制文件按结构体存储数据，存储文件名为股票代码。

进一步地，在步骤C2之后，包括下述步骤：

接收数据提取指令；从操作系统目录的相应子目录的存储路径中提取与所述数据提取指令对应的数据；发送提取的数据。

该步骤中，用户从操作系统目录中选择一个子目录，并从该子目录下发出数据提取指令，该数据提取指令携带有需要获取数据的唯一标识，例如，数据的唯一标识为股票代码等。由于用户需要提取的数据通常为：最开始价格、上笔价格、最高价格、最低价格、最新成交价格等，而这些数据已经预先统计并存储，因此用户能够快速提取所需的数据，减少用户等待的时间。

实施例二：

图3示出了本发明第二实施例提供的一种数据存储装置的结构图，为了便于说明，仅示出了与本发明实施例相关的部分。

该数据存储装置包括：数据获取单元31、数据清洗单元32、数据整合单元33、数据压缩单元34。其中：

数据获取单元31，用于获取交易所的行情数据。

其中，获取的行情数据可为多个交易所发出的行情数据。

数据清洗单元32，用于将获取的行情数据按照行情数据所属的交易所进行拆分，并保留拆分后行情数据中的有效数值，所述行情数据中的有效数值包括以下分量：股票代码、交易价格信息、买卖委托信息以及交易量。

其中，行情数据中的有效数值还可以包括成交时间、股票名称、成交量、成交额等，此处不作限定。

数据整合单元33，用于在每个预设间隔时间内，统计所述有效数值的交易价格信息的集合，得到一数据集合。

其中，所述数据整合单元33包括：

预统计模块，用于在每个预设间隔时间内，统计同一股票代码的以下至少一种信息：开始价格、上笔价格、最高价格、最低价格、最新成交价格；

信息组成模块，用于以统计的信息组成一数据集合。

预设间隔时间可以设置为1分钟，或者5分钟等，当然，也可以设置为其他间隔时间，此处不作限定。

数据压缩单元34，用于存储所述有效数值中变化后的数据，存储所述数据集合中变化后的数据；用于压缩并存储所述有效数值中没有变化的数据，以及压缩并存储所述数据集合中没有变化的数据。

在一段时间内，对于发生变化的数据采用FAST方式编码后存储；对于没有发生变化的数据采用7Z压缩技术压缩后再存储。

本实施例中，由于在存储行情数据之前，先对获取的行情数据进行清洗，丢弃使用频率低的数据，且在存储数据之前只存储发生变化的数据，因此减少了存储的数据量，减少了存储空间，从而降低了存储成本。

进一步地，所述数据存储装置包括：

判断单元，用于判断下一次统计的数据集合的信息的时间间隔与上一次统计的数据集合的信息的时间间隔是否相同；

信息存储单元，用于在下一次统计的数据集合的信息的时间间隔与上一次统计的数据集合的信息的时间间隔相同时，存储当前统计的数据集合的信息；在下一次统计的数据集合的信息的时间间隔与上一次统计的数据集合的信息的时间间隔不同时，存储下一次统计的数据集合的信息的开始时间。

本实施例中，通过存储的统计同一股票代码的信息的开始时间以及预设时间间隔确定当前统计信息的时间，无需存储每次统计信息的时间，从而节省了存储空间。

进一步地，所述数据存储装置包括：

文件存储单元，用于将所述有效数值中变化后的数据存入以股票代码命名的文件中，并存储所述文件，所述文件的存储路径与操作系统目录的相应子目录的存储路径相同；用于将所述数据集合中变化后的数据存入以股票代码命名的文件中，并存储所述文件，所述文件的存储路径与操作系统目录的相应子目录的存储路径相同；用于将所述压缩后的所述有效数值中没有变化的数据存入以股票代码命名的文件中，并存储所述文件，所述文件的存储路径与操作系统目录的相应子目录的存储路径相同；以及用于将所述压缩后的所述数据集合中没有变化的数据存入以股票代码命名的文件中，并存储所述文件，所述文件的存储路径与操作系统目录的相应子目录的存储路径相同。

进一步地，所述数据存储装置包括：

提取指令接收单元，用于接收数据提取指令；

数据提取单元，用于从操作系统目录的相应子目录的存储路径中提取与所述数据提取指令对应的数据；

数据发送单元，用于发送提取的数据。

本实施例中，由于用户需要提取的数据通常为：最开始价格、上笔价格、最高价格、最低价格、最新成交价格等，而这些数据已经预先统计并存储，因此用户能够快速提取所需的数据，减少用户等待的时间。

本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以在存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据存储方法，其特征在于，所述方法包括下述步骤：

获取交易所的行情数据；

将获取的行情数据按照行情数据所属的交易所进行拆分，并保留拆分后行情数据中的有效数值，所述行情数据中的有效数值包括以下分量：股票代码、交易价格信息、买卖委托信息以及交易量；

在每个预设间隔时间内，统计所述有效数值的交易价格信息，得到一数据集合；

存储所述有效数值中变化后的数据，以及存储所述数据集合中变化后的数据；

采用7Z压缩技术压缩并存储所述有效数值中没有变化的数据，以及压缩并存储所述数据集合中没有变化的数据。

2.如权利要求1所述的方法，其特征在于，所述在每个预设间隔时间内，统计所述有效数值的交易价格信息，得到一数据集合的步骤具体包括：

在每个预设间隔时间内，统计同一股票代码的以下至少一种信息：开始价格、上笔价格、最高价格、最低价格、最新成交价格；

以统计的信息组成一数据集合。

3.如权利要求1所述的方法，其特征在于，在存储所述数据集合中变化后的数据的步骤时，还包括下述步骤：

判断下一次统计的数据集合的信息的时间间隔与上一次统计的数据集合的信息的时间间隔是否相同，若是，存储当前统计的数据集合的信息，若否，存储下一次统计的数据集合的信息的开始时间。

4.如权利要求1所述的方法，其特征在于，在所述存储所述有效数值中变化后的数据，以及存储所述数据集合中变化后的数据的步骤之后，包括步骤：

将所述有效数值中变化后的数据存入以股票代码命名的文件中，并存储所述文件，所述文件的存储路径与操作系统目录的相应子目录的存储路径相同；

将所述数据集合中变化后的数据存入以股票代码命名的文件中，并存储所述文件，所述文件的存储路径与操作系统目录的相应子目录的存储路径相同。

5.如权利要求1所述的方法，其特征在于，在所述压缩并存储所述有效数值中没有变化的数据，以及压缩并存储所述数据集合中没有变化的数据的步骤之后，包括步骤：

将所述压缩后的所述有效数值中没有变化的数据存入以股票代码命名的文件中，并存储所述文件，所述文件的存储路径与操作系统目录的相应子目录的存储路径相同；

将所述压缩后的所述数据集合中没有变化的数据存入以股票代码命名的文件中，并存储所述文件，所述文件的存储路径与操作系统目录的相应子目录的存储路径相同。

6.如权利要求5所述的方法，其特征在于，在所述将所述压缩后的所述数据集合中没有变化的数据存入以股票代码命名的文件中，并存储所述文件，所述文件的存储路径与操作系统目录的相应子目录的存储路径相同的步骤之后，包括下述步骤：

接收数据提取指令；

从操作系统目录的相应子目录的存储路径中提取与所述数据提取指令对应的数据；

发送提取的数据。

7.一种数据存储装置，其特征在于，所述装置包括：

数据获取单元，用于获取交易所的行情数据；

数据清洗单元，用于将获取的行情数据按照行情数据所属的交易所进行拆分，并保留拆分后行情数据中的有效数值，所述行情数据中的有效数值包括以下分量：股票代码、交易价格信息、买卖委托信息以及交易量；

数据整合单元，用于在每个预设间隔时间内，统计所述有效数值的交易价格信息的集合，得到一数据集合；

数据压缩单元，用于存储所述有效数值中变化后的数据，存储所述数据集合中变化后的数据；用于采用7Z压缩技术压缩并存储所述有效数值中没有变化的数据，以及压缩并存储所述数据集合中没有变化的数据。

8.如权利要求7所述的装置，其特征在于，所述数据整合单元包括：

预统计模块，用于在每个预设间隔时间内，统计同一股票代码的以下至少一种信息：开始价格、上笔价格、最高价格、最低价格、最新成交价格；

信息组成模块，用于以统计的信息组成一数据集合。

9.如权利要求7所述的装置，其特征在于，所述装置包括：

判断单元，用于判断下一次统计的数据集合的信息的时间间隔与上一次统计的数据集合的信息的时间间隔是否相同；

信息存储单元，用于在下一次统计的数据集合的信息的时间间隔与上一次统计的数据集合的信息的时间间隔相同时，存储当前统计的数据集合的信息；在下一次统计的数据集合的信息的时间间隔与上一次统计的数据集合的信息的时间间隔不同时，存储下一次统计的数据集合的信息的开始时间。

10.如权利要求7所述的装置，其特征在于，所述装置包括：

提取指令接收单元，用于接收数据提取指令；

数据提取单元，用于从操作系统目录的相应子目录的存储路径中提取与所述数据提取指令对应的数据；

数据发送单元，用于发送提取的数据。