CN113064860A - 一种动态数据缓存系统和方法 - Google Patents

Abstract

本发明公开了一种动态数据缓存系统和方法，降低对系统资源的占用，降低数据查询的延时，可进一步保证查询数据的连续性和完整性。其技术方案为：采用索引记录的方式记录各个指定索引顺序在文件中的存储位置，将带查询的历史k线数据根据位置索引文件先分好段并加载到内存中缓存空间，之后在收到其他节点的查询请求后，只需要将事先准备好的存储于缓存空间的数据进行应答即可，因此便于大文件的快速查询和解析。本发明支持交易日盘后的数据更新和位置索引文件的更新操作，无需重启即可更新缓存数据，支持程序7*24不间断运行。此外，本发明采用状态位及切换的方式保证查询请求的数据连续性，在缓存及索引变化时也不影响业务数据的准确完整。

Description

一种动态数据缓存系统和方法

技术领域

本发明涉及一种数据存储技术，具体涉及一种针对动态数据进行缓存存储的方法和系统。

背景技术

在行情服务端架构设计中，有一个专门负责历史数据查询的进程，该进程的作用就是为其他节点提供合约历史数据的查询功能。行情的历史k线数据本身是保存在文件中的，采用分号分隔的方式依次写入，如果在其他节点查询时才去读文件取数据，那么这种操作的接口调用延时会很高，对高并发的场景也不好支持，且资源利用率很低，对cpu资源、IO资源浪费严重。

发明内容

以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。

本发明的目的在于解决上述问题，提供了一种动态数据缓存系统和方法，降低对系统资源的占用，降低数据查询的延时，可进一步保证查询数据的连续性和完整性。

本发明的技术方案为：本发明揭示了一种动态数据缓存系统，系统包括内存缓存模块、索引生成模块、缓存数据查询模块，其中：

内存缓存模块，配置为将缓存划分为缓存数据部分和索引记录部分，其中缓存数据部分用于存储所有合约的所有周期数据，索引记录部分用于记录所有合约的所有周期数据在各自文件中的起始索引位置，以便直接从指定位置来读取加载文件数据；

索引生成模块，配置为获取所有合约的集合，分别读取每个合约的每个周期文件以获取总的记录条数，间隔生成索引记录，形成合约数据和对应文件位置之间的映射关系，生成涵盖所有合约的所有周期数据的所有索引记录，写入对应的位置索引文件中；

缓存数据查询模块，配置为执行以下处理：根据查询类型不同进行对应方式的查询，如果是五日分时的查询类型则直接找到该合约的历史分时数据，按照起始的交易日期进行查询；如果是历史k线的查询类型，则先比较查询数量和预设值，如果是对预设值以内数据的查询则采取缓存查询的方式，判断查询请求状态和历史节点状态，再根据查询请求状态和历史节点状态来确定查询新、或旧的缓存数据，如果是对预设值以外的数据的查询，则根据查询请求状态和历史节点状态读取位置索引文件中的索引信息。

根据本发明的动态数据缓存系统的一实施例，内存缓存模块的索引记录部分包括主索引及其备对象。

根据本发明的动态数据缓存系统的一实施例，内存缓存模块中以哈希方式对缓存数据部分进行索引。

根据本发明的动态数据缓存系统的一实施例，系统还包括数据更新模块，历史节点状态分为盘中状态和盘后切换状态，历史节点于盘后收到切换消息后，完成加载新的位置索引文件记录及当日的缓存的增加，从盘中状态切换为盘后切换状态，历史节点在夜盘开始前，确定完成保证数据连续性的时间段后，将状态从盘后切换状态切回盘中状态，再返回相应的索引位置信息。

本发明揭示了一种动态数据缓存方法，方法包括内存缓存的结构设计、索引生成流程、缓存数据查询流程，其中：

内存缓存的结构设计为将缓存划分为缓存数据部分和索引记录部分，其中缓存数据部分用于存储所有合约的所有周期数据，索引记录部分用于记录所有合约的所有周期数据在各自文件中的起始索引位置，以便直接从指定位置来读取加载文件数据；

索引生成流程包括获取所有合约的集合，分别读取每个合约的每个周期文件以获取总的记录条数，间隔生成索引记录，形成合约数据和对应文件位置之间的映射关系，生成涵盖所有合约的所有周期数据的所有索引记录，写入对应的位置索引文件中；

缓存数据查询流程包括根据查询类型不同进行对应方式的查询，如果是五日分时的查询类型则直接找到该合约的历史分时数据，按照起始的交易日期进行查询；如果是历史k线的查询类型，则先比较查询数量和预设值，如果是对预设值以内数据的查询则采取缓存查询的方式，判断查询请求状态和历史节点状态，再根据查询请求状态和历史节点状态来确定查询新、或旧的缓存数据，如果是对预设值以外的数据的查询，则根据查询请求状态和历史节点状态读取位置索引文件中的索引信息。

根据本发明的动态数据缓存方法的一实施例，内存缓存的索引记录部分包括主索引及其备对象。

根据本发明的动态数据缓存方法的一实施例，内存缓存中以哈希方式对缓存数据部分进行索引。

根据本发明的动态数据缓存方法的一实施例，方法还包括数据更新流程：缓存数据查询流程中的历史节点状态分为盘中状态和盘后切换状态，历史节点于盘后收到切换消息后，完成加载新的位置索引文件记录及当日的缓存的增加，从盘中状态切换为盘后切换状态，历史节点在夜盘开始前，确定完成保证数据连续性的时间段后，将状态从盘后切换状态切回盘中状态，再返回相应的索引位置信息。

本发明对比现有技术有如下的有益效果：本发明采用索引记录的方式记录各个指定索引顺序在文件中的存储位置，将带查询的历史k线数据根据位置索引文件先分好段并加载到内存中缓存空间，之后在收到其他节点的查询请求后，只需要将事先准备好的存储于缓存空间的数据进行应答即可，因此便于大文件的快速查询和解析。此外，本发明支持交易日盘后的数据更新和位置索引文件的更新操作，无需重启即可更新缓存数据，支持程序7*24不间断运行。此外，本发明采用状态位及切换的方式保证查询请求的数据连续性，在缓存及索引变化时也不影响业务数据的准确完整。

附图说明

在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。

图1示出了本发明的历史数据缓存结构的设计示意图。

图2示出了本发明的生成索引记录的流程图。

图3示出了本发明的业务节点查询历史缓存数据的流程图。

图4示出了本发明的数据更新过程中的节点状态转换的示意图。

具体实施方式

以下结合附图和具体实施例对本发明作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围进行任何限制。

本发明的动态数据缓存系统的一实施例包括内存缓存模块、索引生成模块、缓存数据查询模块。

为保证数据格式统一、管理便利，并支持相应的业务逻辑，关于历史索引数据的查询，本实施例将查询接口统一以500条为一个区间，按照倒序的方式来查询。即，先查最新的1-500条，再查次新的501-1000条，以此类推。缓存内部保存2000条以内的各合约各周期历史数据，这是因为基于用户行为分析，2000条数据足以覆盖用户的查询场景。2000条以外的数据通过索引记录的方式通过即时读文件来获取。索引记录是一张数据索引记录表，存储以倒序方式保存的各合约各周期的每500条数据为索引，在各自文件中的起始位置。当需要某个区间的数据时，直接根据索引记录在对应文件的指定位置读取500条数据。采用这种索引记录的方式，可以有效地减小数据定位的时间，增加文件读取效率并提高接口延时。在本实施例中，500条、2000条等的数值仅为举例，并不构成对本发明的限制。

图1示出了本发明的历史数据缓存结构，参见图1，内存缓存模块配置为将数据缓存结构整体分为两大部分，其中一个是缓存数据部分，该部分中保存了例如2000条以内的所有合约的所有周期数据，另一个是索引记录(records)部分，例如以500条为一个间隔区间，记录了所有合约的所有周期数据在各自文件中的起始索引位置，以便直接从指定位置来读取加载文件数据。为保证数据在盘后更新时查询的连续性，增加了索引记录部分的备对象(即图1中的索引记录B)，以便在盘后支持两种查询方式。因为每日盘后涉及当日数据的写入，更新了当日数据的合约文件索引就会发生变化。索引记录B则是盘后定时去加载新索引结构文件，获取最新的数据索引信息，索引记录A和B同时存在是为了支持在数据更新过程中用户查询的连续性。举例来说，用户查询某合约历史数据第2000-2499条时，使用索引记录A，这时该合约文件更新，更新方式为追加写入，对索引记录A的信息准确性不影响。文件更新后执行定时任务，将新的索引记录B加载到内存中。这时，如果要查询2500-2999条记录，为了保证与之前查询的连续性，需要使用旧的索引记录A的索引来查询。如果查询新的如2000-2499条记录时，则可以采用新的索引记录B，索引记录A、B每日盘后交替更新，互为补充，来保证不论何时查询时数据的连续性。

结合图1所示，历史数据缓存结构缓存各合约各周期的历史数据，并以哈希的方式对合约缓存对象进行索引。每个合约缓存对象包含了10种周期的缓存区，例如周期为1分钟、3分钟、5分钟等，缓存数据为2000条，为了支持五日分时查询，引入了历史分时数据支持按天的数据查询。

图2示出了本发明的索引生成模块配置的生成索引记录的流程。首先，获取所有合约的集合，分别读取每个合约的每个周期文件，获取总的记录条数。再以倒序的方式，以例如500条的间隔生成索引记录，即合约数据和对应文件位置之间的映射关系。最后，生成涵盖所有合约每一周期数据的所有索引记录，写入对应交易所的位置索引文件中。

图3示出了本发明的业务节点查询历史缓存数据的流程，即缓存数据查询模块配置的功能。首先根据查询类型区分，如果是五日分时的查询则直接找到该合约的历史分时数据，按照起始的交易日期进行查询。如果为历史k线查询，要先区分是2000条以内还是2000以外的数据。如果是对2000条以内数据的查询则采取缓存查询的方式，判断查询请求状态和历史节点状态，再根据查询请求状态和历史节点状态来确定查询新、或旧的缓存数据。如果是对2000条以外的数据的查询，则根据查询请求状态和历史节点状态读取主索引记录对象或者其备对象。

较佳的，系统还包括数据更新模块。数据更新模块配置执行以下的操作，如图4所示，为了保证查询时各区间数据的连续性，整个历史节点状态分为两个：盘中状态和盘后切换状态。历史节点会收到两个消息来完成状态的切换。首先，盘后会收到切换的消息，此时完成加载新的位置索引文件记录及当日的缓存的增加，切换为“盘后切换状态”，在夜盘开始前，确定完成前述“保证数据连续性”的时间段后(默认2小时，认为不会有递进(2000-2499，2500-2999，3000-3499)的请求在2小时区间外)，将状态切回盘中状态，再返回相应的索引位置信息。

历史进程启动后，加载各条合约各周期2000条以内的数据及各自的索引记录，进入盘中状态。每日盘后时间，加载更新后的位置索引文件，同时接收发来的当日数据更新到各周期缓存和分时缓存中，此时仍为盘中状态，即追加的数据并不会被读取。然后盘后状态切换定时任务触发，此时转换成盘后切换状态。此状态的缓存同时支持新、旧索引的查询、分时的查询和索引记录的查询。当发来的查询请求是从0开始索引时，说明此查询为某合约某周期的“从零查询”，使用缓存中更新的数据来应答，且应答时把状态标志位应答给查询方，告知其使用新状态位来发起查询请求。当发来的查询请求是非0开始的索引时，说明此查询为状态切换前的查询，为保证数据连续性，采用缓存中旧的数据来应答。状态切换的持续时间为2小时，认为该区间外不会有连续的请求，之后对数据缓存进行清理，清除旧的过期缓存数据和分时数据，状态也切换为盘中状态。至此完成一次状态的转换。

本发明还揭示了一种动态数据缓存方法，方法包括内存缓存的结构设计、索引生成流程、缓存数据查询流程。

对于内存缓存的结构，缓存划分为缓存数据部分和索引记录部分，其中缓存数据部分用于存储所有合约的所有周期数据，索引记录部分用于记录所有合约的所有周期数据在各自文件中的起始索引位置，以便直接从指定位置来读取加载文件数据。内存缓存的索引记录部分包括主索引及其备对象，以哈希方式对缓存数据部分进行索引。

索引生成流程则包括以下的处理：获取所有合约的集合，分别读取每个合约的每个周期文件以获取总的记录条数，间隔生成索引记录，形成合约数据和对应文件位置之间的映射关系，生成涵盖所有合约的所有周期数据的所有索引记录，写入对应的位置索引文件中。

缓存数据查询流程包括以下的处理：根据查询类型不同进行对应方式的查询，如果是五日分时的查询类型则直接找到该合约的历史分时数据，按照起始的交易日期进行查询；如果是历史k线的查询类型，则先比较查询数量和预设值，如果是对预设值以内数据的查询则采取缓存查询的方式，判断查询请求状态和历史节点状态，再根据查询请求状态和历史节点状态来确定查询新、或旧的缓存数据，如果是对预设值以外的数据的查询，则根据查询请求状态和历史节点状态读取位置索引文件中的索引信息。

此外，本发明的方法还包括数据更新流程，执行以下的步骤：缓存数据查询流程中的历史节点状态分为盘中状态和盘后切换状态，历史节点于盘后收到切换消息后，完成加载新的位置索引文件记录及当日的缓存的增加，从盘中状态切换为盘后切换状态，历史节点在夜盘开始前，确定完成保证数据连续性的时间段后，将状态从盘后切换状态切回盘中状态，再返回相应的索引位置信息。

尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。

本领域技术人员将进一步领会，结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。

结合本文所公开的实施例描述的各种解说性逻辑板块、模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其他此类配置。

结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。

在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。

提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。

Claims (8)

1.一种动态数据缓存系统，其特征在于，系统包括内存缓存模块、索引生成模块、缓存数据查询模块，其中：

内存缓存模块，配置为将缓存划分为缓存数据部分和索引记录部分，其中缓存数据部分用于存储所有合约的所有周期数据，索引记录部分用于记录所有合约的所有周期数据在各自文件中的起始索引位置，以便直接从指定位置来读取加载文件数据；

索引生成模块，配置为获取所有合约的集合，分别读取每个合约的每个周期文件以获取总的记录条数，间隔生成索引记录，形成合约数据和对应文件位置之间的映射关系，生成涵盖所有合约的所有周期数据的所有索引记录，写入对应的位置索引文件中；

缓存数据查询模块，配置为执行以下处理：根据查询类型不同进行对应方式的查询，如果是五日分时的查询类型则直接找到该合约的历史分时数据，按照起始的交易日期进行查询；如果是历史k线的查询类型，则先比较查询数量和预设值，如果是对预设值以内数据的查询则采取缓存查询的方式，判断查询请求状态和历史节点状态，再根据查询请求状态和历史节点状态来确定查询新、或旧的缓存数据，如果是对预设值以外的数据的查询，则根据查询请求状态和历史节点状态读取位置索引文件中的索引信息。

2.根据权利要求1所述的动态数据缓存系统，其特征在于，内存缓存模块的索引记录部分包括主索引及其备对象。

3.根据权利要求1所述的动态数据缓存系统，其特征在于，内存缓存模块中以哈希方式对缓存数据部分进行索引。

4.根据权利要求1所述的动态数据缓存系统，其特征在于，系统还包括：

数据更新模块，历史节点状态分为盘中状态和盘后切换状态，历史节点于盘后收到切换消息后，完成加载新的位置索引文件记录及当日的缓存的增加，从盘中状态切换为盘后切换状态，历史节点在夜盘开始前，确定完成保证数据连续性的时间段后，将状态从盘后切换状态切回盘中状态，再返回相应的索引位置信息。

5.一种动态数据缓存方法，其特征在于，方法包括内存缓存的结构设计、索引生成流程、缓存数据查询流程，其中：

内存缓存的结构设计为将缓存划分为缓存数据部分和索引记录部分，其中缓存数据部分用于存储所有合约的所有周期数据，索引记录部分用于记录所有合约的所有周期数据在各自文件中的起始索引位置，以便直接从指定位置来读取加载文件数据；

索引生成流程包括获取所有合约的集合，分别读取每个合约的每个周期文件以获取总的记录条数，间隔生成索引记录，形成合约数据和对应文件位置之间的映射关系，生成涵盖所有合约的所有周期数据的所有索引记录，写入对应的位置索引文件中；

缓存数据查询流程包括根据查询类型不同进行对应方式的查询，如果是五日分时的查询类型则直接找到该合约的历史分时数据，按照起始的交易日期进行查询；如果是历史k线的查询类型，则先比较查询数量和预设值，如果是对预设值以内数据的查询则采取缓存查询的方式，判断查询请求状态和历史节点状态，再根据查询请求状态和历史节点状态来确定查询新、或旧的缓存数据，如果是对预设值以外的数据的查询，则根据查询请求状态和历史节点状态读取位置索引文件中的索引信息。

6.根据权利要求5所述的动态数据缓存方法，其特征在于，内存缓存的索引记录部分包括主索引及其备对象。

7.根据权利要求5所述的动态数据缓存方法，其特征在于，内存缓存中以哈希方式对缓存数据部分进行索引。

8.根据权利要求5所述的动态数据缓存方法，其特征在于，方法还包括数据更新流程：缓存数据查询流程中的历史节点状态分为盘中状态和盘后切换状态，历史节点于盘后收到切换消息后，完成加载新的位置索引文件记录及当日的缓存的增加，从盘中状态切换为盘后切换状态，历史节点在夜盘开始前，确定完成保证数据连续性的时间段后，将状态从盘后切换状态切回盘中状态，再返回相应的索引位置信息。

Images